Analisi del rischio e d’impatto dei sistemi di IA: la metodologia europea HUDERIA

L’approccio alla base di HUDERIA

L’HUDERIA è stata redatta seguendo un approccio sociotecnico. Nella teoria organizzativa, l’approccio dei sistemi socio-tecnici è un modello per analizzare l’impatto delle tecnologie su un’organizzazione, ad esempio in relazione ai processi produttivi, alla gestione eccetera.

L’obiettivo di questo approccio è determinare la relazione tra il sistema sociale (comportamento individuale e del gruppo di lavoro, cultura organizzativa, metodi di comunicazione, stile di leadership eccetera) e il sistema tecnico (tecnologie adottate, livello di interdipendenza tra i processi, processo di produzione eccetera.

Nell’ambito dello sviluppo di HUDERIA, questo ha portato a delineare la metodologia in modo tale che permettesse di considerare tutti gli aspetti del ciclo di vita dei sistemi di IA come influenzati dal rapporto interconnesso tra tecnologia, scelte umane e strutture sociali.

Questa visione olistica del “problema dell’IA” ha consentito di tenere conto sia degli aspetti tecnici che dei contesti legali, sociali, politici, economici, culturali e tecnologici in cui operano.

Per via di questo approccio, all’interno di HUDERIA è possibile rinvenire la descrizione di concetti, processi ed elementi di alto livello che guidano le attività di valutazione del rischio e dell’impatto dei sistemi di IA che potrebbero avere un impatto sui diritti umani, sulla democrazia e sullo Stato di diritto.

Ma la metodologia non è solamente un documento di alto livello.

Sono in corso, infatti, dei lavori che porteranno nel 2025 alla pubblicazione di uno o più “HUDERIA Model”, ovvero a materiali e risorse di supporto (come strumenti flessibili per implementare i diversi elementi del processo HUDERIA e raccomandazioni scalabili) che possono aiutare nell’implementazione della metodologia in contesti più specifici.

A livello specifico, il Modello HUDERIA fornirà materiali e risorse di supporto (come strumenti flessibili per i diversi elementi del processo HUDERIA e raccomandazioni scalabili) che possono aiutare nell’attuazione della Metodologia HUDERIA.

Queste risorse sono citate in tutto il testo e forniranno una biblioteca di conoscenze che possono facilitare la considerazione dei rischi e degli impatti legati ai diritti umani, alla democrazia e allo Stato di diritto, anche in altri approcci alla gestione del rischio.

Infine, un’osservazione importante fatta dal CAI all’interno di HUDERIA riguarda la composizione del gruppo di lavoro che avrà la responsabilità di implementare la metodologia e condurre l’analisi.

È consigliato, infatti, che le attività di analisi vengano effettuate da una squadra di lavoro con competenze multidisciplinari composto da esperti con una serie di specializzazioni complementari e con un background sia tecnico che non tecnico.

Alcune delle competenze rilevanti suggerite dal CAI in ottica astratta sono: temi legati ai diritti umani, privacy e protezione dei dati personali, data science, sicurezza informatica, rischi legati all’IA, nonché test, valutazione, verifica e validazione dell’IA.

La struttura di HUDERIA

La metodologia è costituita da quattro elementi:

• Context-Based Risk Analysis (COBRA). L’analisi del rischio basata sul contesto fornisce un approccio strutturato alla raccolta e alla mappatura delle informazioni necessarie per identificare e comprendere i rischi che il sistema di IA potrebbe comportare per i diritti umani, la democrazia e lo stato di diritto in considerazione del suo contesto sociotecnico. Inoltre, supporta la determinazione iniziale se il sistema di IA sia una soluzione appropriata per il problema in esame.
• Stakeholder Engagement Process (SEP). Il processo di coinvolgimento degli stakeholder propone un approccio per consentire e rendere operativo il coinvolgimento dei portatori di interesse, al fine di ottenere informazioni sulle persone potenzialmente interessate e di contestualizzare e corroborare i potenziali danni e le misure di mitigazione.
• Risk and Impact Assessment (RIA). La valutazione dei rischi e degli impatti fornisce uno schema attraverso cui strutturare le possibili fasi di valutazione dei rischi e degli impatti relativi ai diritti umani, alla democrazia e allo stato di diritto.
• Mitigation Plan (MP). Il piano di mitigazione fornisce le possibili fasi di definizione delle misure di mitigazione e come strutturare la revisione iterativa.

Nella metodologia è consigliato di svolgere le attività nell’ordine COBRA – SEP – RIA – MP ma è comunque illustrato che tale ordine non è vincolante e può essere rivisto in base alle esigenze specifiche.

Context-Based Risk Analysis (COBRA)

L’obiettivo della COBRA riguarda l’identificazione preliminare di diversi fattori di rischio relativi alle caratteristiche o proprietà di un sistema di IA e del suo contesto che influenzano la probabilità di impatti negativi sui diritti umani, la democrazia e lo stato di diritto. Nella metodologia sono contemplate tre macrocategorie in cui suddividere i vari fattori di rischio identificati:

1. il contesto applicativo del sistema;
2. il contesto di progettazione e sviluppo;
3. il contesto di produzione (deployment context).

Output di questa fase sarà, dunque, un censimento dei potenziali fattori di rischio e la loro relativa mappatura in riferimenti ai potenziali impatti negativi sui diritti umani, la democrazia e lo stato di diritto. Questi risultati, come evidenziato nel documento del CAI, possono anche supportare l’individuazione dei contesti sociotecnici specifici, lungo l’intero ciclo di vita del sistema, che richiedono un’attenzione mirata in termini di governance.

Per realizzare la COBRA, in accordo con la metodologia proposta, bisogna svolgere 4 fasi:

1. Scoping preliminare. Il processo COBRA inizia con una ricerca preliminare mirata a delineare il contesto in cui si sta operando e che cosa si sta analizzando. Dovranno quindi essere determinati elementi come, a titolo esemplificativo e non esaustivo:
   • le finalità che si vogliono perseguire con il sistema;
   • i suoi componenti chiave;
   • i contesti in cui è destinato ad essere utilizzato;
   • il grado di intervento umano richiesto;
   • la natura e la quantità di dati che elaborerà e su cui sarà addestrato, evidenziando eventuali controlli già effettuati per valutare i bias nel dataset o nel modello;
   • le persone, o i gruppi di persone, che potrebbero essere influenzati dal sistema o che potrebbero influenzarlo, concentrandosi sulle caratteristiche contestuali rilevanti di tali persone e gruppi, inclusi fattori di vulnerabilità;
   • una prima valutazione degli impatti negativi potenziali sui diritti umani, la democrazia e lo stato di diritto, esplorando le aree di interesse illustrate.
   • una mappatura iniziale di ruoli e responsabilità lungo l’intero ciclo di vita del sistema di IA.
2. Analisi dei fattori di rischio. Lo scopo di questa fase è raccogliere le informazioni rilevanti sui fattori di rischio relativi ai tre differenti contesti sopracitati. Quest’analisi multi-contesto è necessaria per avere una visione completa dei potenziali fattori di rischio lungo l’intero ciclo di vita del sistema di IA. Di seguito una descrizione dettagliata dei tre contesti.
   • Contesto applicativo di un sistema di IA: comprende informazioni riguardanti il contesto in cui verrà utilizzato il sistema. Saranno quindi da far rientrare in questo ambito i fattori di rischio legati a temi quali: le finalità perseguite dal sistema; il settore industriale di riferimento; l’ambiente applicativo e relativa infrastruttura di supporto; normative applicabili ed eventuali regolamentazioni settoriali.
   • Contesto di progettazione e sviluppo di un sistema di IA: comprende informazioni riguardanti il modo con cui il sistema viene ideato, progettato e realizzato. Rientreranno in questo ambito i fattori di rischio relativi: a limiti e problematiche posti dalle tecnologie e dalle tecniche di sviluppo adottate; al data life cycle (raccolta, quality check, utilizzo, retention, etc.) nonché aspetti relativi alla scrittura dell’algoritmo o al modello stesso. In relazione a questo ultimo, infatti, sarebbero da far rientrare in questo ambito i fattori di rischio legati alle potenziali criticità del modello di IA utilizzato, quali ad esempio: bias ereditati da una fase di addestramento inziale del modello; spiegabilità dell’output e interpretabilità del modello.
   • Contesto di produzione di un sistema di IA: comprende le informazioni riguardanti tutto ciò che succede durante l’utilizzo del sistema da parte degli utenti finali. I fattori di rischio riconducibili a tale contesto possono essere: output che violano la privacy, output discriminatori o non corretti (cd. “allucinazioni”). In relazione a tale contesto, tuttavia, bisognerebbe anche identificare le potenziali attività di mitigazione che potrebbero essere intraprese per gestire tali problematiche. Andrebbero quindi identificati elementi quali: controlli sull’output per mitigare potenziali bias; controlli sull’input per evitare potenziali usi non autorizzati e un’adeguata formazione sia agli sviluppatori, intesi come tutto il team di lavoro che subentra nel ciclo di vita del sistema di IA, nonché anche agli utilizzatori stessi del prodotto.

Il risultato di questa analisi sarà la definizione dei fattori di rischio e della loro classificazione in uno dei tre contesti descritti. L’utilità nel determinare non solo il fattore di rischio in sé, ma anche dove potrebbe insorgere, permette di poter delineare delle strategie di mitigazione dei rischi più efficaci e “consapevoli” rispetto al livello di rischio nella sua interezza.

3. Mappatura dei potenziali impatti sui diritti umani, sulla democrazia e sullo Stato di diritto. Associare i fattori di rischio agli impatti alle varie tematiche menzionate permette di meglio identificare le persone, o gruppi di persone, potenzialmente coinvolte e consente, quindi, di effettuare una valutazione iniziale delle principali variabili di rischio: gravità (portata, scala, reversibilità) e probabilità. Inoltre, come si vedrà nel punto dopo, tale mappatura è funzionale anche nel determinare l’entità delle misure di mitigazione che potrebbero essere appropriate. Oltre a mappare i potenziali impatti dei fattori di rischio, in questa fase è contemplata anche l’attribuzione di un livello di rischio ai singoli fattori di rischio tenendo conto, per ogni area di interesse relativa ai diritti umani, alla democrazia e allo stato di diritto e per ogni gruppo interessato. Ai fini dell’attribuzione del livello di rischio, il CAI suggerisce i seguenti criteri relativi agli impatti negativi potenziali:

a) Portata, ossia la gravità del danno potenziale scatenato dal fattore di rischio;

b) Ambito, include il numero di persone coinvolte, le caratteristiche protette o la vulnerabilità di individui o gruppi e il periodo di tempo in cui gli impatti potrebbero manifestarsi.

c) Reversibilità, ovvero la possibilità di riparare il danno o di annullarne gli effetti ripristinando una situazione, per le persone coinvolte, a quella precedente all’impatto o a una condizione equivalente.

d) Probabilità, esprime la probabilità che tali impatti si verifichino.

4. Triage. Scopo di questa sottofase è sfruttare tutte le informazioni raccolte e/o determinate nei passaggi precedenti per formulare un profilo di rischio preliminare del sistema di IA. Le informazioni raccolte possono, ad esempio, essere sufficienti a determinare che sia improbabile che il sistema di IA abbia un impatto sui diritti umani, sulla democrazia o sullo Stato di diritto, rendendo di conseguenza superflui i successivi elementi di HUDERIA. Lo stesso esito di non procedere con gli altri step di HUDERIA si potrebbe avere in altre situazioni quali: decisione di non sviluppare un sistema di IA perché considerato incompatibile con il rispetto dei diritti umani, della democrazia e dello stato di diritto.

Stakeholder Engagement Process (SEP)

Questa attività è considerata opzionale dal CAI nell’ambito dell’attività di gestione del rischio. Essa ha come obiettivo quello di migliorare la qualità delle informazioni che si utilizzeranno per realizzare l’attività seguente, ovvero la RIA.

Questo miglioramento della qualità delle informazioni si otterrebbe avendo a disposizione anche i punti di vista e le considerazioni delle persone potenzialmente interessate dai potenziali impatti negativi dei fattori di rischio identificati, comprese quelle vulnerabili.

L’attività di SEP è composta da cinque fasi, di cui di seguito si dà una proposta di sequenza di svolgimento leggermente modificata[1]:

• Stabilire gli obiettivi del coinvolgimento. Stabilire obiettivi chiari per il coinvolgimento degli stakeholder mira a creare una chiara comprensione di come e perché vengono condotte le attività di coinvolgimento, migliorando la qualità delle interazioni e degli output prodotti.
• Analisi degli stakeholder. In questa fase si identificano i gruppi di stakeholder che possono essere interessati o influenzare le attività del ciclo di vita del sistema di IA. L’analisi è volta a valutare gli interessi relativi, i diritti, le vulnerabilità e i vantaggi potenziali ed esistenti delle parti interessate identificate, nonché la rilevanza di tali gruppi.
• Determinare il metodo di ingaggio. Determinare il metodo o i metodi di coinvolgimento degli stakeholder richiede la valutazione e la presa in considerazione delle esigenze delle persone potenzialmente interessate, tenendo conto, se del caso, dei risultati della COBRA e di altri fattori rilevanti (tempistiche, vincoli di risorse, lacune informative ecc.).
• Attuazione. Dopo aver completato le attività precedenti, è possibile eseguire i processi di coinvolgimento appropriati. Il processo deve essere svolto in maniera coerente con le considerazioni di pianificazione e deve essere adeguatamente documentato.
• Riflessione sui punti di vista. Infine, bisognerebbe analizzare i punti di vista degli stakeholder considerati, al fine di identificare potenziali limiti nelle prospettive e considerazioni formulate dal gruppo di lavoro andando, dunque, a colmare eventuali lacune. In questo modo, si raffinano le valutazioni sugli impatti potenziali ed effettivi del sistema di IA.

Risk and Impact Assessment (RIA)

Lo scopo del RIA è fornire una valutazione dettagliata degli impatti potenziali e reali che le attività lungo il ciclo di vita di un sistema di IA possono avere su diritti umani, democrazia e Stato di diritto. Come nel caso della fase di TRIAGE all’interno della COBRA, questa valutazione è particolarmente importante per i sistemi di IA che possono rappresentare rischi significativi per gli elementi di cui sopra. Al netto, dunque, di quanto emerso nel TRIAGE, il RIA si propone di:

• Riesaminare, contestualizzare e corroborare i danni potenziali e reali identificati nella COBRA.
• Identificare e analizzare ulteriori impatti negativi potenziali e reali attraverso una riflessione approfondita, arricchita eventualmente anche con i risultati del SEP, per individuare eventuali lacune nella completezza dell’analisi precedentemente svolta.
• Valutare i criteri di determinazione del livello di rischio (portata, ambito, reversibilità e probabilità) degli impatti negativi potenziali, per poter meglio pianificare e organizzare le attività di mitigazione.

Sostanzialmente, il RIA si basa sul riesaminare gli esiti della COBRA, anche alla luce delle informazioni ottenuta dal SEP, al fine di avere un’analisi il più completa e dettagliata possibile.

Mitigation Plan (MP)

L’HUDERA si conclude con la fase di pianificazione e prioritizzazione degli interventi di mitigazione a seguire dell’identificazione e valutazione dei potenziali ed effettivi impatti negativi dei fattori rischio censiti. Nello specifico, nella metodologia l’attività di pianificazione e realizzazione delle mitigazioni viene delineata nei seguenti step:

• Formulazione di misure di mitigazione. In questa fase si prendono in considerazione le evidenze delle fasi precedenti per determinare le azioni correttive (o preventive) da intraprendere. Fattore da considerare secondo il CAI è quello della compliance: le esigenze di conformità normativa, in particolare, devono essere prese in estrema considerazione al fine di sviluppare un piano di remediation adeguato.
• Elaborazione di un Piano di Mitigazione. Una volta identificate le attività da porre inessere, si determina il piano di azione prioritizzando gli interventi sulla base della gravità probabilità dei potenziali o effettivi impatti negativi dei fattori di rischio identificati.
• Predisposizione, ove appropriato, di meccanismi di accesso al rimedio per le persone potenzialmente coinvolte e per altre parti interessate.

Questa fase, dunque, dovrebbe produrre una chiara descrizione delle misure e delle azioni per affrontare i rischi e gli impatti identificati nel RIA, insieme a un chiarimento dei ruoli e delle responsabilità dei vari attori coinvolti nella mitigazione, nella gestione e nel monitoraggio.