Analisi – Israele ha confermato l’uso di un sistema di selezione dei bersagli a Gaza che fa ampio uso di Intelligenza Artificiale (IA). Come si lega questo all’alto numero di vittime del conflitto?
INTELLIGENZA ARTIFICIALE NEL CONFLITTO A GAZA
il magazine online +972mag ha pubblicato l’informazione (fornita da fonti israeliane) dell’uso di intelligenza artificiale (IA) per la selezione dei bersagli a Gaza. Tali informazioni sono state poi riprese dal quotidiano britannico Guardian, che ha provato a scavare più a fondo nella questione. Il sistema israeliano si chiama “Gospel” (“Vangelo”)
Per capire a cosa serva e come, è bene conoscere alcuni principi base del processo di selezione dei bersagli in ambito militare. Semplificando notevolmente, esso implica l’ottenere informazioni sulla posizione e l’identificazione dei bersagli da più fonti (droni, report dal terreno, satelliti, sorveglianza, controllo delle comunicazioni…), “fonderle” insieme perché diano un’immagine più accurata della situazione, dei bersagli, dei rischi insiti nel colpirli (possibilità di vittime collaterali, rischi a proprie unità vicine…) e, tramite questo, permettere al decisore se autorizzare una missione di bombardamento o meno. Se le informazioni si contraddicono, questo deve essere tenuto in conto.
Normalmente questa cosa viene fatta da personale militare umano, che deve compiere tutto questo lavoro di fusione: richiede tempo e ovviamente non è sempre facile. L’uso di IA permette di velocizzare, semplificare e potenzialmente migliorare questo processo semplicemente perché può farlo più velocemente e meglio.
Fig. 1 – Esplosione a Gaza
NON È FANTASCIENZA
Per evitare fraintendimenti è bene precisare che l’IA non può dare un ordine senza controllo umano. Una tale situazione ricade ancora nel campo della fantascienza, perché l’IA non è collegata direttamente agli aerei, droni o altro che possono fisicamente sparare. L’IA fornisce invece indicazioni su cosa si potrebbe colpire, con quali rischi, etc. È però sempre il comandante umano che decide se autorizzare il fuoco o meno.
Un problema che invece esiste è che l’IA fa tutto questo in maniera automatico e ha un problema che spesso viene indicato con l’espressione “black box” – problema peraltro evidenziato per l’IA in molti campi: l’IA darà sempre una risposta, ma non sempre sarà possibile capire perché ha dato quella e non un’altra, o perché valuta una certa azione a basso rischio e non ad alto. In teoria dovrebbe essere il controllore e decisore umano a valutare criticamente se il suggerimento dell’IA (che dovrebbe essere questo: un suggerimento – data-driven, ma pur sempre un suggerimento) sia da seguire o meno. E quando non seguirlo. Tuttavia il rischio è che chi decida si fidi istintivamente troppo della valutazione dell’IA e autorizzi le missioni senza pensarci troppo, contando anche sull’”effetto scusante” del sistema: “In fondo è l’AI che mi ha detto che era una buona scelta”.
In altre parole, rendere più rapido il processo di decision-making potrebbe portare a renderlo fin troppo rapido se le persone che dovrebbero controllare e decidere scelgono semplicemente di assecondare l’AI, senza valutare davvero.
Fig. 2 – Elicottero d’attacco Israeliano in azione a Gaza
FIDARSI O NO?
Tale problema è ovviamente difficile da affrontare: se da un lato esiste la domanda “perché dovrei fidarmi?”, esiste anche la domanda “perché non dovrei fidarmi?”. Generalmente – e semplificando per renderlo più comprensibile – ci sono due aspetti rilevanti:
- I dati contano: “Garbage in, garbage out” è un famoso detto. Se i dati sono errati, anche la risposta, basata sui quei dati, lo sarà. Ovviamente l’IA tecnicamente dovrebbe essere addestrata anche per notare le incoerenze e segnalare quindi la scarsa affidabilità/alto rischio di certi bersagli, e probabilmente lo è (vedi dopo), ma chiunque ricordi la Guerra Fredda ricorderà anche la storia di Stanislav Petrov e di come fu il suo istinto a evitare la catastrofe nucleare quando un sistema automatico aveva errato senza accorgersene. Al tempo stesso, l’istinto è di fatto meno affidabile di un sistema data-driven (la letteratura abbonda su questo), e i problemi di errato targeting anche senza IA abbondano anch’essi.
- I parametri contano: indipendentemente dai dati, essi vengono poi combinati per fornire bersagli ed è il come vengano combinati che ha un impatto maggiore, in particolare quali parametri abbiano un peso maggiore per determinare, ad esempio, quanto, nel colpire un determinato bersaglio, sia probabile causare vittime collaterali, e quante.
Il sistema, secondo fonti IDF sentite dal Guardian, valuta infatti anche quanti civili dovrebbero essere rimasti in una casa e fornisce una valutazione tipo “luce verde/gialla/rossa” per aiutare il decisore a valutare se sia il caso di attaccare davvero il bersaglio o meno. Si parla infatti di CDE (Collateral Damage Estimate).
Embed from Getty ImagesFig. 3 – Cacciabombardiere Israeliano in azione a Gaza
DOMANDE CHE DETERMINANO I PARAMETRI
Se da un lato appare evidente che con una valutazione “verde” l’ordine di attacco sia più probabile, dovrebbero essere le regole di ingaggio a questo punto a definire se, per esempio, un bersaglio con valutazione “gialla” possa essere colpito o meno. O uno con valutazione “rossa”. Esistono però alcuni problemi intrinsechi.
Ad esempio è rilevante capire cosa renda una valutazione “verde” o meno. Una (1 sola) potenziale vittima civile basta a rendere la valutazione gialla o rossa? Oppure serve un potenziale rischio per 5-10 persone almeno? Oppure 100? Probabilmente dipende da caso a caso ed è una cosa che dipende enormemente dal livello di sensibilità di chi opera e dai limiti che ad esso pone il decisore politico (che in ultima analisi autorizza l’impiego dell’arma e del sistema IA). Non conoscendo i parametri inseriti nel sistema (realisticamente è altamente improbabile che vengano rivelati) è difficile valutare anche solo se, nel caso specifico di Israele a Gaza, “verde” corrisponda a “rischio 0 vittime” o “rischio 10 vittime”.
Inoltre: cosa divide valutazione gialla da rossa? Se è gialla si può attaccare comunque? Dipende probabilmente dalle regole di ingaggio e dal tipo di bersaglio che si potrebbe andare a colpire. Quando il bersaglio è un personaggio di alto profilo, a volte si accetta la probabilità di maggiore rischio, perché la valutazione risiede nel fatto che eliminarlo proteggerà in prospettiva più persone di quante ne rischino la vita nell’attacco. Ma non è detto che tutti i comandanti (o i loro superiori politici) vedano tale rischio allo stesso modo. È una questione tra etica e, in alcuni casi, anche opportunismo politico.
Esiste poi anche una valutazione su rischi immediati: se un gruppo di miliziani armati sta per fare fuoco su un gruppo di soldati, o prepara il lancio di razzi, l’autorizzazione a sparare ha priorità diverse rispetto al decidere se colpire o meno una casa che si sospetta nasconda un leader di Hamas nel sotterraneo.
Ovviamente tutte questi aspetti non escludono la possibilità di errori legittimi dovuti a valutazioni errate, che in guerra esistono sempre.
Fig. 4 – Danni su edifici a Gaza, zona di Rafah
COSA IMPLICA NELL’ATTUALE CONFLITTO?
Le IDF affermano che il sistema protegge vite umane, limitando gli errori. È possibile che, se non lo facessero, le cose andrebbero perfino molto peggio (non molti hanno idea che esistono livelli di distruzione perfino peggiori), tuttavia l’attuale livello di distruzioni e vittime suggerisce che le IDF al momento accettino di attaccare anche con CDE piuttosto alto. Ed è questo che USA e resto del mondo criticano ora.
Inoltre esiste un fattore soggettivo: il Guardian – sempre da fonti di ex-soldati che hanno servito nell’unità – conferma che alcuni ufficiali israeliani hanno il grilletto più facile di altri (aspetto che esiste in qualunque Forza Armata mondiale peraltro), cosa che può avere un effetto se la decisione di fare fuoco è delegata con minori controlli.
Una nota finale: questo livello di distruzione quando un nemico si arrocca all’interno di un centro urbano denso in realtà non è nuovo e dunque non ascrivibile solo all’impiego di IA. Il livello di distruzione a Mosul nel 2016-2017, quando la città fu liberata, fu per esempio di 8mila-11mila civili uccisi, con l’abitato devastato. Tuttavia il fatto che il nemico fosse Daesh/ISIS portava a minore reazione internazionale.
Nel caso specifico di Gaza tuttavia la questione è peggiorata da due aspetti: l’oggettiva difficoltà dei profughi di trovare riparo o andarsene; il fatto che la popolazione a Mosul era ostile all’ISIS, cosa che rendeva più facile immaginare e programmare il post-conflitto.
Al tempo stesso, come rispondere a un nemico che si arrocca apposta in zone così densamente abitate?
Lorenzo Nannetti
Photo by flutie8211 is licensed under CC BY-NC-SA
Fonti:
- H. Davies, B. McKernan, D. Sabbagh, “’The Gospel’: how Israel uses AI to select bombing targets in Gaza”, Guardian, 1° dicembre 2023, https://www.theguardian.com/…/the-gospel-how-israel…
- Cosa è il CDE (Collateral Damage Estimate): T. Bowman, “The brutal calculus of war: Is the killing of civilians ever justified”?, NPR, 11 novembre 2023, https://www.npr.org/…/proportionality-israel-gaza-war…
- Sul tema generale dell’IA come “black box”: E. Johns, “AI may not launch a nuke, but it may convince you to”, Outrider, 4 dicember 2023, https://outrider.org/…/ai-may-not-launch-nuke-it-may…
- La storia di Stanislav Petrov: D. Hoffman, “I had a Funny Feeling in My Gut”, Washington Post, 10 febbraio 1999, https://www.washingtonpost.com/…/col…/shatter021099b.htm
- Sui problemi per i civili a spostarsi dalle aree di combattimento: Y. Bayoumy, L. Leatherby, I. Abuheweila, “Israel’s Evacuation Decrees Leave Gazans Confused”, New York Times, 12 dicembre 2023, https://www.nytimes.com/…/israel-gaza-evacuation.html
- Valutazione di danni e vittime nella striscia di Gaza: “Mapping Israel’s war in Gaza”, The Economist (aggiornato continuamente), https://www.economist.com/interactive/briefing/2023/10/17/israel-gaza-map-hamas-war
