12/03/2026 10:45 h.
IA a l’Administració Local: Guia exhaustiva de Qualitat, Riscos, Supervisió i Dades
Després d’analitzar el marc jurídic i organitzatiu del Reglament Europeu d’IA (RIA) (veure article), entrem ara a la "sala de màquines". Què han de saber els empleats públics sobre el nucli tècnic de Guies del Sandbox d'IA de l'AESIA 1, 2 i 3? Com podem garantir que la IA municipal sigui segura, auditable, justa i estigui realment sota el nostre control?
Aquest segon bloc de guies constitueix el manual operatiu per als ens locals. No n’hi ha prou que un algorisme sigui eficient; cal que el seu funcionament sigui transparent per al jurista, auditable per al tècnic i segur per a la ciutadania. Tots aquests elements s’han d’integrar des de la fase de licitació per protegir la salut, la seguretat i els drets fonamentals.
1) Gestió de la Qualitat: L'engranatge de la fiabilitat (Guia 4)
El Sistema de Gestió de la Qualitat (SGQ) és l’esquelet organitzatiu que assegura que el sistema d’IA compleix la normativa de manera coherent durant tot el seu cicle de vida. No és un mer tràmit, sinó un conjunt de polítiques i procediments documentats que s’incorporen des de la mateixa gènesi del sistema.
Components essencials del SGQ
El proveïdor ha d’integrar procediments per a: l’avaluació de conformitat, la gestió de riscos i la governança de dades.
Un element crític en la gestió municipal és el manteniment d’un inventari de maquinari i programari, així com el registre sistemàtic de qualsevol canvi, validació o verificació realitzada.
Indicadors clau en la fase de disseny
Perquè un sistema sigui fiable, s’han de definir mètriques en tres àrees crítiques des de l'inici:
- Ciberseguretat: identificar vulnerabilitats, possibles atacs adversaris i protocols de resposta davant fallades.
- Precisió: evidenciar proves que validin el pre-processament de dades i evitin el sobreaprenentatge (overfitting), garantint que el sistema funcioni amb dades reals noves.
- Solidesa: verificar que l'IA manté el rendiment, l'eficiència i la fiabilitat davant d'errors o canvis en l'entorn.
2) Gestió de Riscos: Blindant els Drets Fonamentals (Guia 5)
La gestió de riscos és un procés iteratiu i continu que té com a objectiu reduir qualsevol perill que pugui afectar la salut, la seguretat i els drets fonamentals de les persones.
El procés de quatre fases
Perquè un sistema d'IA sigui segur, s'ha de seguir aquest flux de treball:
- Identificar: detectar el sistema, les amenaces i les vulnerabilitats.
- Analitzar: estudiar com les amenaces poden explotar aquestes debilitats.
- Avaluar: quantificar el risc mitjançant matrius de probabilitat i impacte. El nivell de risc acceptable dependrà del cas d’ús, tot i que sol fixar-se un llindar estricte quan hi ha drets en joc.
- Mitigar: aplicar controls per reduir el risc residual.
Un cop s'identifica el risc inherent (el risc natural del sistema sense controls), s'apliquen controls preventius o detectius, i el resultat és el risc residual. Segons les guies, aquest risc residual ha d'estar sempre per sota del llindar acceptable.
Quantificació
El risc es calcula multiplicant la Probabilitat de l'esdeveniment per l’Impacte.
Nivell de risc acceptable
Cal fixar un nivell llindar a partir del qual es considera que el risc no és acceptable i calen més mesures de mitigació.
Drets Fonamentals en el punt de mira
L'avaluació ha de prestar especial atenció als riscos per a la salut, la seguretat, la dignitat humana, la privacitat, la no discriminació, la protecció de menors de 18 anys.
Les mesures de mitigació inclouen el seguiment d'estàndards, mecanismes de reparació per a afectats, formació d'usuaris i auditories externes.
3) Supervisió Humana: L'administració sempre al comandament (Guia 6)
La vigilància humana és una obligació en els sistemes d’Alt Risc per evitar que l’Administració confiï cegament en els resultats de la màquina (el que es coneix com a biaix d’automatització).
És una co-responsabilitat del proveïdor i de l'ens local per evitar riscos sobre la salut, seguretat i els drets fonamentals.
Rols
- Usuaris: han d’entendre el sistema i poder-lo aturar.
- Responsable del desplegament: garanteix el bon ús organitzatiu.
- Proveïdor: facilita manuals, implementa mesures de disseny i manté el suport.
Interfície humà-màquina (HMI)
Ha de permetre a l'empleat públic:
- interpretar les sortides
- detectar anomalies
- aplicar una parada segura o desactivació immediata
També es recomana l'ús de l’error forçat en simulacions per entrenar la capacitat crítica del personal.
Models i eines de supervisió
La supervisió pot adoptar tres formes segons la intervenció humana:
- HITL (Human in the Loop): intervenció en cada decisió abans que s'executi (recomanat per a l’alt risc municipal).
- HOTL (Human on the Loop): supervisió dels resultats i possibilitat de revertir-los a posteriori.
- HIC (Human in Command): control total sobre com, quan i per a què s'utilitza el sistema.
4) Governança de Dades: El combustible de qualitat (Guia 7)
Un sistema d'IA és tan just com ho siguin les dades amb què s'entrena. La governança assegura que el “combustible” de l’IA sigui adequat, representatiu, suficient, complet i de qualitat.
La governança de dades s’ha d’aplicar sobre tots els conjunts de dades utilitzats per a l’entrenament, validació i prova.
El cicle de vida de la dada
- Requisits d’informació: definir quines dades necessitem.
- Recopilació: identificar fonts suficients i de qualitat.
- Preparació: transformació a formats homogenis, agregació, mostreig (aleatori o estratificat) i etiquetatge.
- Disposició: posada en ús pel sistema.
- Eliminació: esborrat o transferència segura.
Durant la preparació, s’han de realitzar tasques d’homogeneïtzació, mostreig, etiquetatge, enriquiment i, sobretot, un anàlisi de biaixos per identificar-ne l’origen i aplicar tractaments que en mitiguen l’impacte.
Atenció: Dades Sensibles i Privacitat
El tractament de categories especials de dades només es permet quan és estrictament necessari per corregir biaixos que causarien discriminació. En aquests casos s’han d’aplicar tècniques d’anonimització i pseudonimització.
5) Transparència documental: El "DNI" de la IA
Abans del desplegament, el proveïdor ha de lliurar documentació tècnica que inclogui:
Model Cards (Targetes del Model): Que incloguin detall del rendiment, limitacions, biaixos detectats i mesures de supervisió humana
Data Sheets (Targetes de Dades): Amb les metodologies d’entrenament utilitzades, la descripció i procedència dels conjunts de dades, especificant com es van obtenir, etiquetar i depurar.
Què cal exigir en els plecs de contractació?
Per assegurar que la compra d'IA compleix aquestes guies tècniques, els ens locals han d'incloure en els plecs:
- Evidències del SGQ: Polítiques documentades de manteniment, inventari de maquinari, protocols de ciberseguretat, precisió i solidesa des del disseny.
- Lliurables de Transparència: Entrega obligatòria de Model Cards i Data Sheets.
- Disseny per a la supervisió: Interfície (HMI), traçabilitat de decisions, explicabilitat i mecanisme de parada segura.
- Informes de Biaixos: documentació de processos de detecció i mesures aplicades.
- Pla de Formació i Error Forçat: formació del personal, funcionalitats d’error forçat per avaluar la vigilància real.
- Col·laboració en l'AIDF: compromís contractual del proveïdor de facilitar tota la informació tècnica necessària perquè l'Ajuntament elabori l’Avaluació d'Impacte en Drets Fonamentals.
- Logs d’activitat: Registres automàtics i conservació mínima de sis mesos.