Fomulari per identificar el nivell de risc d'un sistema IA
La intel·ligència artificial pot millorar l’eficiència i la qualitat dels serveis públics, però també comporta riscos legals, ètics i socials que cal gestionar amb responsabilitat. El Reglament Europeu d’Intel·ligència Artificial (RIA) estableix categories de risc que determinen les obligacions de compliment. Per als ajuntaments, això és clau: desplegar un sistema sense avaluar-ne l’impacte pot implicar sancions i vulneració de drets.
Principals riscos a considerar
- Discriminació i biaixos: Bases de dades esbiaixades poden generar decisions injustes per gènere, origen o edat.
- Errors en decisions crítiques: Especialment en àmbits com educació, ocupació o serveis socials.
- Manca de transparència: Sistemes opacs dificulten la justificació de decisions.
- Vulneració de drets fonamentals: Privacitat, no discriminació, llibertat d’expressió.
- Supervisió humana insuficient: Automatismes sense control poden consolidar errors.
- Seguretat física i de dades: Fallades tècniques o atacs (p. ex. prompt injection) poden comprometre persones i informació.
- Impacte en col·lectius vulnerables: Infants, gent gran o persones amb discapacitat poden patir efectes desproporcionats.
Què implica per als ens locals?
Els ajuntaments han de garantir que cada sistema d’IA compleixi amb el marc legal europeu. Això significa:
- Identificar si el sistema és prohibit (p. ex. manipulació subliminal, reconeixement facial massiu, inferència d’emocions en entorns educatius).
- Determinar si és d’alt risc (p. ex. IA en educació, ocupació, serveis essencials, justícia o control fronterer).
- Aplicar mesures específiques: Transparència, supervisió humana, auditories, registre d’algoritmes i avaluacions d’impacte.
- Classificar sistemes de risc limitat o mínim: Chatbots, IA generativa per continguts, videojocs, etc., amb obligacions més lleugeres (informar l’usuari, etiquetar continguts).
Per què és crític?
Un ús inadequat pot comportar conseqüències legals, sancions i pèrdua de confiança ciutadana. A més, la responsabilitat recau en l’ens local, encara que el sistema sigui proveït per tercers.