Ce soluții există pentru reglementarea utilizării sistemelor de arme letale autonome (sau a roboților ucigași)?
Bernard Merck[1]
Până unde putem delega mașinilor decizii care pun în pericol viața umană?
V5 – BM noiembrie 2026
Preambul
Modestul meu eseu intitulat „Roboții ucigași, umanitatea noastră în pericol” datează de aproape doi ani[2] . La acea vreme, naiv, credeam că este posibil, deși dificil, să se instituie o reglementare internațională privind utilizarea dronelor letale. Deși percepeam bine tendințele care se conturau, nu mi-am imaginat viteza cu care acestea s-au dezvoltat și au fost implementate pe teren, făcând dificilă o întoarcere la situația anterioară. Ce opțiuni mai rămân astăzi?
Recurgerea tot mai frecventă la drone ridică problema condițiilor de utilizare a acestora, o problemă cu atât mai presantă cu cât tendința este de a folosi inteligența artificială pe tot parcursul procesului de punere în aplicare. De aceea se vorbește despre Sisteme de Arme Letale Autonome (SALA).
Lecțiile conflictului ruso-ucrainean atestă utilizarea masivă a dronelor de către ambele părți beligerante[3] și impactul lor letal pe teren. Conform mai multor articole, dronele ar fi responsabile pentru trei sferturi din pierderile umane de ambele părți.
Toate armatele lumii – și complexul lor militar-industrial – urmăresc cu atenție ceea ce se întâmplă în Ucraina, inclusiv țările deja avansate în acest domeniu (China, Iran, Israel, Rusia, Turcia, SUA), unele concentrându-se pe condițiile de utilizare în situații de conflict, iar altele dorind să stăpânească tehnologia pentru a-și moderniza aparatul militar.
Ce piste există pentru reglementarea utilizării sistemelor de arme letale autonome (sau roboți ucigași)?
Ce se înțelege prin sisteme de arme autonome?
Este vorba despre un robot militar, capabil să desfășoare o acțiune letală în mod automat, fără intervenția umană. Poate fi vorba despre un aparat capabil să se deplaseze (cum ar fi o dronă) sau despre un sistem fix (cum ar fi modelul sud-coreean Samsung SGR-A1[4] ).
Din punct de vedere etimologic, „autonom” înseamnă „guvernat de propriile legi”. Acest adjectiv ridică problema ascultării roboților, în special în ceea ce privește continuitatea lanțului de comandă.
Pentru a fi cu adevărat „autonom”, un sistem trebuie să fie capabil, pentru a-și atinge obiectivele, să facă propriile alegeri, bazate pe programarea detaliată a misiunii care i-a fost încredințată și pe situația în care se va afla, dintre diferite opțiuni predefinite sau imaginate în cazul utilizării unei inteligențe artificiale. SALAs pot fi definite ca sisteme care, odată activate, sunt capabile să fixeze o țintă și să-și folosească forța letală, fără supravegherea unui operator uman.
Încă de la început s-a declanșat o dezbatere privind diferența dintre sistemele autonome și cele automatizate, în funcție de gradul de libertate acordat mașinii. Atâta timp cât era vorba de programare clasică, lucrurile erau clare: sistemele erau automatizate. Se putea studia codul lor de programare, se putea evalua siguranța lor și etica punerii lor în aplicare. Aceleași cauze generau aceleași efecte, chiar dacă senzorii puteau genera informații eronate. Totul depindea de programare (cod) și de fiabilitatea senzorilor, dar era posibilă o verificare a sistemului.
Odată cu apariția IA, procesul decizional nu mai poate fi auditat, iar aceleași situații pot produce efecte diferite. Mai rău, senzorii înșiși apelează la IA. Procesul decizional nu poate fi evaluat decât a posteriori, pe baza unor serii de experimente documentate corespunzător. De aici provine o amplă dezbatere la nivel mondial cu privire la necesitatea interzicerii sau reglementării SALA-urilor. Această dezbatere se înscrie într-o altă dezbatere, mai amplă și mai veche, privind locul mașinilor în universul nostru și riscurile pe care le generează. Dificultatea în ceea ce privește SALA-urile constă în faptul că nu avem cunoștințe nici despre capacitățile lor reale, nici despre stadiul cercetării. Utilizarea lor în conflictele actuale dă naștere la comunicate ale căror conținuturi trebuie privite cu prudență.
Un SALA reprezintă integrarea într-un singur ansamblu a diferitelor module (inclusiv un sistem de armament existent), care comunică continuu între ele pentru o eficiență optimă. Majoritatea dronelor aeriene sunt astăzi capabile să decoleze, să aterizeze și să se întoarcă la punctul de decolare în mod autonom, deoarece procedura este automatizată. Navigația poate fi, de asemenea, automatizată în cazul în care misiunea (atacarea unei ținte cunoscute) a fost definită suficient de clar. Decolarea și navigarea pot face apel la un fel de autonomie, să spunem programată, dar care nu va lua în calcul dificultățile de navigare sau de comunicație care ar putea apărea (în special cele pe care le va concepe inamicul). Aici va fi pus în aplicare un nivel superior de autonomie, fie prin algoritm clasic, fie prin intervenția unei inteligențe artificiale (IA).
În mod normal, pentru faza de atac și de deschidere a focului, intervine un om, care va spune: „ok, atac!”, deoarece a validat ținta. Când drona își pierde conexiunea (de exemplu, din cauza bruiajului), ea înțelege situația și trece în modul autonom. Are în memorie instrucțiuni de atac, o listă de posibile ținte. Folosindu-și senzorii, se va deplasa în zona desemnată și va observa împrejurimile. Dacă identifică o navă sau un vehicul blindat a cărui siluetă seamănă cu una dintre țintele care i-au fost atribuite, o va ataca de unul singur
.
Roboții, la fel ca oamenii, acționează într-un cadru ciclic de luare a deciziilor[5] , care permite îmbunătățirea timpului de reacție și a adaptabilității în situații în schimbare. Acesta este, așadar, o garanție a supraviețuirii în timpul confruntărilor armate. El încurajează parcurgerea a patru etape ale unui ciclu: Observare, Orientare, Decizie și Acțiune, pentru a lua cele mai rapide și mai eficiente decizii. Modelul este reprezentat schematic prin inițialele fiecărei etape: OODA.
1. O: observarea și colectarea informațiilor despre situația și mediul actual, precum și evaluarea situației.
2. O: orientarea gândirii constă în combinarea informațiilor colectate cu misiunea de îndeplinit. Orientarea permite înțelegerea implicațiilor mai ample ale situației și conturarea deciziei.
3. D: alegerea unui plan de acțiune pe baza observației și orientării. În această etapă, trebuie evaluate diferitele opțiuni și ierarhizate în vederea acțiunii. Rapiditatea este foarte importantă datorită naturii dinamice a situațiilor militare.
4. A: punerea în aplicare imediată a deciziei alese, adaptându-se în același timp la circumstanțele în schimbare. Ideea principală este de a recunoaște că acțiunea decisă modifică situația, dar că și alți factori o pot schimba.
Motivul pentru care acest model se numește „bucla OODA” este că, atunci când situația se schimbă, este necesar să se observe, să se orienteze și să se decidă din nou, pentru a adapta rapid acțiunea la realitate. Bucla OODA acceptă haosul acțiunii.
Datorită senzorilor săi, drona parcurge în permanență etapele OO și îi va propune operatorului său acțiuni DA, sau le va pune în aplicare direct. În fazele de decizie D și de acțiune A – cel puțin în cele importante – se presupune că omul va interveni. Dar dacă legătura este întreruptă sau perturbată, drona va respecta propriile reguli și, lipsită de contact cu operatorul său, va face tot posibilul pentru a-și îndeplini misiunea. Chiar și atunci când legătura funcționează, mecanismele care utilizează IA pot fi atât de puternice, încât drona le poate acorda o importanță mai mare decât instrucțiunilor primite de la operatorul său. De fapt, încă ne este greu să previzionăm ce va face IA.
Punctele de vedere privind armele autonome
Oponenții autonomizării sistemelor de arme se tem, pe bună dreptate:
– 1 ca aceasta să nu coboare pragul de intrare în conflict prin reducerea costului economic și politic al folosirii forței, sporind astfel conflictualitatea. Statele s-ar angaja cu atât mai ușor în aceste conflicte cu cât ar avea certitudinea că se pot lăuda, în fața opiniei publice, cu operațiuni „fără victime”.
– 2 că interconectarea și interacțiunea dintre sistemele autonome să nu genereze escaladări strategice incontrolabile.
– 3 Că, în cazul în care războiul este delegat unor sisteme autonome, conducătorii nu vor putea să-l oprească (dacă nivelul de control asupra sistemelor de armament este insuficient sau dacă legăturile de comunicație sunt întrerupte).
ONG-urile susțin:
– 1 Că utilizarea armelor autonome ar goli de conținut dreptul internațional umanitar (DIU)[6] .
2 – Că a lăsa în seama mașinilor „dreptul de a da viață sau de a lua viața” echivalează cu „depășirea unei limite morale fundamentale”. Deoarece, explică ele, „numai judecata umană și înțelegerea contextelor permit luarea unor decizii complexe pe câmpul de luptă, pentru a distinge soldații de civili sau pentru a evalua proporționalitatea unui atac: toate acestea ar dispărea odată cu utilizarea roboților autonomi, care ar încălca, prin urmare, legile războiului”.
-3 Faptul că utilizarea armelor autonome ar întări sentimentul de impunitate și ar favoriza deresponsabilizarea individuală. Acest lucru s-ar traduce, în cele din urmă, „prin mai multă suferință pentru populațiile civile”.
CICR[7] sugerează abordarea problemei dintr-o perspectivă ex post. Un tratat care să impună un control uman semnificativ asupra utilizării forței, pentru „funcțiile critice” de selecție și „atacarea țintelor”, ar obliga astfel statele părți să prevadă și să păstreze înregistrări fiabile ale tuturor datelor schimbate între sistemele lor autonome și operatorii umani. În cazul suspiciunii de utilizare ilegală a sistemelor autonome, statelor li s-ar putea solicita să prezinte aceste înregistrări, în vederea desfășurării unei anchete.
Încercările de reglementare
Lipsa controlului asupra SALA-urilor reprezintă un motiv de îngrijorare pentru militari și politicieni, deoarece abaterile, care ar fi imediat mediatizate de adversar, ar afecta reputația țării care le-ar utiliza. Pe de altă parte, riscul de a nu dispune de astfel de sisteme și de a se confrunta cu un adversar (nu neapărat un stat) care, la rândul său, ar dispune de ele, este la fel de îngrijorător.
În ceea ce privește utilizarea SALA-urilor, clasa politică se află într-un dilemă între necesitatea de a-și dota armata cu aceste sisteme pentru a-i spori puterea, menținând în același timp costurile militare sub control, și cea de a nu-și înstrăina opinia publică, atât națională, cât și internațională[8] . Din punct de vedere politic, asistăm astfel la comportamente ipocrite: declarații împotriva SALA, pledoarii publice pentru o reglementare internațională și, în același timp, încurajarea la nivel național a dezvoltării și integrării sistemelor autonome în armată, precum și frânarea negocierilor.
Autonomia sistemelor de armament pune sub semnul întrebării principiul controlului uman asupra utilizării forței. Autonomia și controlul sunt, a priori, antinomice. Principiul controlului forței rezultă dintr-un compromis între eficacitatea pe plan militar și umanitatea din punct de vedere moral. Astfel, atunci când un actor recurge la forță, se așteaptă ca acesta să o controleze, adică să-i impună limite și să nu o lase să se „dezlănțuie liber”. Acest principiu stă la baza tuturor normelor de război și constituie, în acest sens, o „meta-normă”. Aceste considerații se referă la necesitatea de a menține un control uman semnificativ asupra modului în care este utilizată forța.
Ideea unui moratoriu asupra armelor autonome a apărut în mai 2013 în cadrul Consiliului pentru Drepturile Omului, fiind susținută de aproximativ douăzeci de state[9] , în urma raportului publicat în noiembrie 2012 de Human Rights Watch, intitulat „Losing Humanity: the Case Against Killer Robots”. În urma diverselor dezbateri, s-a constatat că dreptul internațional umanitar (DIH) se aplică pe deplin armelor autonome (SALAs) și că Convenția privind anumite arme convenționale (CCAC) a Națiunilor Unite de la Geneva reprezintă cadrul adecvat pentru stabilirea unei reglementări în acest sens.
În treisprezece ani, dezbaterile din cadrul CCAC nu au înregistrat, de fapt, progrese semnificative, lovindu-se sistematic de întrebări privind definiția precisă a armelor autonome, responsabilitatea acestora, supravegherea lor și rolul omului în procesul decizional. În fața întrebărilor ridicate de armele autonome, atât de natură etică (se poate delega unei mașini decizia de a ucide?), juridică (sunt astfel de arme compatibile cu dreptul războiului?) cât și strategică (care ar fi impactul dezvoltării lor asupra echilibrului puterilor?), delegațiile naționale și reprezentanții ONG-urilor nu au reușit să ajungă la un acord.
În 2016, la inițiativa Franței și a Germaniei, a fost creat un Grup de experți guvernamentali (GGE) privind armele autonome, în cadrul CCAC. Acesta și-a ținut prima reuniune în noiembrie 2017. În 2023, un vot al ONU privind reglementarea SALA-urilor din perspectiva „definiției autonomiei” a fost susținut de 164 de țări din 177 (5 voturi împotrivă și 8 abțineri). Se aștepta un raport pentru 2024, raport care nu a fost încă validat. Cu toate acestea, un nou text a fost aprobat de 128 de țări la 05/09/2026, text care subliniază pur și simplu normele fundamentale care trebuie respectate. Acesta stipulează:
1- Principiile fundamentale ale dreptului internațional umanitar (DIU), în special principiile distincției, proporționalității și umanității, care rămân pe deplin aplicabile SALA-urilor.
2 – Se afirmă principiul controlului uman asupra deciziilor de utilizare a forței, fără a se preciza nivelul acestuia[10] .
Acest text reprezintă un prim pas înaintea unor eventuale negocieri în vederea unui tratat internațional, însă evoluția negocierilor rămâne totuși incertă, din cauza divergențelor profunde care persistă între statele părți, atât în ceea ce privește definiția SALA, cât și conținutul unui viitor instrument juridic. Acest acord permite caracterizarea conceptuală a interdicțiilor (fără a le defini însă). Respectarea acestuia pare greu de conciliat cu sistemele capabile să acționeze fără intervenție umană, în special atunci când autonomia decizională a acestor sisteme pune în discuție atribuirea responsabilității în cazul încălcării dreptului internațional umanitar, cu excepția cazului în care se consacră un control „ex post”, așa cum sugerează CICR.
Dezbaterea privind reglementarea SALA-urilor și cea privind securitatea inteligenței artificiale vizează probleme diferite și se desfășoară la niveluri diferite. Este necesar să le separăm.
Pentru a reglementa în mod eficient armele autonome și pentru a înregistra în sfârșit progrese după un deceniu de discuții, legiuitorii și publicul trebuie să înțeleagă nu dacă o armă este autonomă[11] , ci în ce măsură este aceasta autonomă. Deriva semantică a generat o problemă persistentă și dăunătoare: termenii sunt folosiți în mod indiferent pentru a desemna capacități diferite[12] . Autonomia nu este o noțiune binară și clar delimitată, ci un continuum definit de tehnologia utilizată și de alegerile umane legate de punerea în funcțiune a unui sistem de armament. Factorii de decizie politică au nevoie de un cadru pentru a înțelege această chestiune; poate că GGE va oferi răspunsurile potrivite?
Ce se înțelege prin autonomie?
Autonomia reflectă gradul de autonomie de care dispune un sistem de armament pentru a selecta, identifica și ataca ținte. Cu toate acestea, autonomia nu se măsoară doar la nivelul dronei, ci trebuie analizată și în momentul luării deciziei de a o utiliza.
Schema de mai jos ilustrează aceste legături
În 1980, Pentagonul a desfășurat sistemul de rachete Patriot al Armatei Terestre și sistemul de arme de proximitate îmbarcat (CIWS) al Marinei, ambele capabile să detecteze și să atace amenințările mai rapid decât orice om și să răspundă la acestea în mod autonom. Aceste două sisteme sunt complet autonome, justificate de necesitatea de a contracara o amenințare iminentă. Intervenția umană se limitează la a le activa sau nu.
Pare relevant să analizăm procesul de punere în aplicare a unui sistem de arme. Prima fază constă în luarea deciziei de a lansa o operațiune militară la nivel strategic[13] . A doua fază se referă la procesul de selectare a țintelor la nivel operațional, care poate apela la sisteme de sprijin decizional bazate pe inteligență artificială[14] (IA DSS) care recomandă ținte potențiale[15] . În al treilea rând, decizia de a pune în aplicare loviturile este luată apoi de factorii de decizie, care vor alege sistemul de armament adecvat. Comandanților și operatorilor umani le revine, în consultare cu autoritățile competente, sarcina de a lua deciziile corespunzătoare privind utilizarea forței înainte de orice utilizare a sistemelor de armament. În a patra fază, țintele sunt transmise sistemelor de arme, care pot fi mai mult sau mai puțin autonome în îndeplinirea misiunii lor. În ultima fază are loc deschiderea focului. În aceste cinci etape, autonomia trebuie să fie reglementată – printr-o decizie umană de angajare a focului – și printr-un control al conformității cu DIH.
Utilizarea militară a Palantir [16]
Sistemele specializate de IA pot interveni în etapele 1 (în jurul conceptului de „digitalizare a câmpului de luptă”) și 2 (propuneri de ținte). Utilizarea lor ca „fabrică de ținte[17] ” permite extinderea gamei de informații luate în considerare și reducerea considerabilă a timpului de analiză (efectul „cutiei negre”) înainte de luarea deciziei de atac. De asemenea, timpul de punere în aplicare este redus foarte mult, sistemul transmițând automat instrucțiunile misiunii către sistemul de arme. Utilizarea unor astfel de dispozitive prezintă mai multe riscuri: reducerea timpului de decizie (mai puțin de 20 de secunde), standardizarea practicilor, reducerea incertitudinii la probabilități statistice. Pe măsură ce sistemele de IA devin capabile să genereze recomandări integrate, pericolul constă în a asista, în numele unei eficiențe maxime sau sub pretextul mijloacelor disponibile, la reducerea pluralității perspectivelor, a temporalităților și a interpretărilor care caracterizează în mod tradițional deliberarea în cadrul statului major.
La aceste două niveluri, o IA nu acționează în sensul în care ar face-o un subiect capabil de intenționalitate, de responsabilitate sau de imputabilitate morală. În schimb, ea poate exercita o influență importantă asupra deciziilor umane individuale și tactice, orientând atenția factorilor de decizie, ierarhizând anumite opțiuni sau făcând mai probabile anumite acțiuni. Puterea sa rezidă mai puțin într-o capacitate proprie de a acționa (deși…) decât în facultatea sa de a restructura mediul decizional în cadrul căruia actorii umani deliberează sub presiunea timpului. IA, prin însăși natura sa, tinde să elimine incertitudinea, însă aceasta din urmă este o condiție pentru vigilență, pentru reversibilitatea raționamentului și pentru adaptarea la specificul situației și la evoluția acesteia. Chiar și în situații de ambiguitate, de insuficiență a informațiilor sau de nedeterminare a instrucțiunilor, IA tinde să genereze o propunere, o ipoteză seducătoare.
În etapa 2, apariția IA agentice[18] prezintă riscul, sub pretextul reducerii ciclurilor decizionale, de a limita rolul omului la cel de regulator, ba chiar de observator. Or, trebuie păstrată capacitatea umană de a înțelege situația, de a lua o decizie în cunoștință de cauză, de a întrerupe o acțiune inițiată dacă este necesar și de a-și asuma consecințele alegerii sale.
În ceea ce privește dronele, trebuie analizat, modul cu modul, care este gradul lor de autonomie și fiabilitatea lor în raport cu contribuția lor la sistemul[19] . Deocamdată, utilizările IA în drone sunt limitate (fiind constrânse de aspecte legate de greutate și energie) și se concentrează în principal pe recunoașterea optică (navigație și țintire). Nu se știe încă cum ar putea modelele lingvistice mari (LLM) să aducă o valoare operațională unui sistem de armament autonom. Ar fi necesară o intensificare considerabilă a testelor și evaluărilor pentru a asigura fiabilitatea unui sistem de armament, condiție necesară pentru desfășurarea acestuia. Deocamdată ne aflăm în faza de experimentare.
În prezent, forțele armate din întreaga lume trag învățăminte cruciale din conflictele actuale dintre Rusia și Ucraina, precum și dintre Statele Unite și Iran, care vor influența viitorul războiului. Dezvoltarea unor sisteme de arme și mai autonome este probabil inevitabilă. Prin urmare, este necesar să ne gândim la modalități realiste de a reglementa o evoluție care este deja în curs.
Ce piste de negociere există?
Întregul sistem de reglementare a războiului – atât în ceea ce privește metodele, cât și mijloacele sale – se bazează pe principiul controlului forței, pe care l-am definit ca o metanormă reglementată de sferele politică, militară și internațională. Niciunul dintre aceste trei niveluri nu deține controlul asupra tehnologiilor emergente din domeniul armelor autonome, care pun sub semnul întrebării însăși esența controlului forței. Armele autonome reprezintă o schimbare radicală pentru umanitate în ceea ce privește modul de desfășurare a războiului. Faptul că forța nu mai este controlată de om are consecințe pentru om. Fie că este vorba de acceptarea sa socială, politică sau psihologică, natura războiului este umană. Conceptul de demnitate umană, înțeles în sens kantian[20] , poate fi acum pus sub semnul întrebării atunci când deciziile de a trage asupra persoanelor sunt luate de inteligența artificială. Din punct de vedere juridic, însăși definiția autonomiei și a controlului minim al recurgerii la forță de către om, deși însoțită de oportunități incontestabile, generează efectiv noi vulnerabilități.
Într-un peisaj geopolitic mai puțin tensionat, ar fi deja dificil să se ajungă la un nou acord internațional. Agitația cu care se confruntă în prezent controlul armamentelor la nivel mondial face ca acest obiectiv să fie și mai îndepărtat. Rivalitatea dintre marile puteri, în special, dar și între alți actori în căutarea recunoașterii, care se dispută dominația în domeniul IA militare, nu este, în mod evident, propice reglementării armelor autonome. Abordările statelor cu privire la această chestiune diferă semnificativ.
Deocamdată, doar dimensiunea umană începe să facă obiectul unui consens în dezbaterea privind reglementarea armelor autonome. Alte două dimensiuni par a trebui abordate pentru a înțelege pe deplin provocările ridicate de aceste arme și a le transpune în perspective de reglementare: controlul politic al forței, precum și controlul internațional al forței.
– Controlul politic se referă, pe de o parte, la presiunea exercitată de actorii nestatali asupra guvernului și, pe de altă parte, la limitele pe care acesta le impune forțelor armate. Statele sunt, într-adevăr, limitate în modul în care folosesc forța, de ceea ce ele înțeleg a fi percepțiile și așteptările populației lor. În acest sens, armele autonome riscă să diminueze controlul democratic, făcând utilizarea forței mai puțin transparentă și mai ușoară, până în momentul în care o greșeală ar provoca o reacție.
– Controlul internațional al forței – care reflectă atât raportul de forțe dintre concurenți, cât și eforturile de cooperare multilaterală dintre state.
La cele două dimensiuni menționate anterior, trebuie fără îndoială să se adauge influența „complexului militar-industrial” și a sectorului privat asupra acestor chestiuni. Acestea din urmă sunt divergente între ele și le orientează pe cele dintâi: în timp ce întreprinderile din industria de apărare sunt angajate într-o competiție acerbă pentru autonomie, care tinde să altereze controlul asupra funcțiilor critice ale sistemelor de armament, comunitatea epistemică a IA se dovedește extrem de reticentă față de utilizările militare ale acestei tehnologii, preferându-le aplicațiile civile și pașnice. Aceasta din urmă intervine public, exercitând o influență asupra opiniei publice care se alătură celei a ONG-urilor.
Franța și Germania privilegiază calea unei „conținere controlate” („Controlled Containment”) prin elaborarea unui cod de conduită fără caracter juridic obligatoriu. Țări precum Statele Unite sau Coreea de Sud mizează pe o participare activă la negocieri pentru a ajunge la un acord puțin ambițios, iar Rusia adoptă o strategie de obstrucționare, cu scopul de a bloca orice încercare de acord multilateral. China, un important furnizor de drone, susține interzicerea sistemelor de arme complet autonome, precizând însă că aceasta trebuie să se aplice exclusiv utilizării lor pe câmpul de luptă – nu dezvoltării, producției sau comercializării acestora. Chinezii „lucrează simultan la tehnologie și la reglementare pentru a utiliza dreptul internațional ca mijloc de constrângere a concurenților lor[21] ”.
În acest context, singura posibilitate pare a fi încheierea unui acord fără caracter obligatoriu privind bunele practici, un fel de „cod de conduită” (mai puțin restrictiv decât TIAN[22] sau TNP[23], dar care ar putea conduce la interdicții de utilizare), punând accentul pe obligațiile legale în temeiul DIH și pe angajamente unilaterale riguroase. Această abordare ar putea viza doar câteva dintre modulele integrate, precum țintirea și declanșarea focului, precum și condițiile de punere în aplicare a unui SALA de către o autoritate militară. Cu toate acestea, deși încearcă să răspundă preocupărilor juridice, ea nu permite limitarea tuturor efectelor prejudiciabile ale autonomiei și nici anticiparea efectelor acesteia asupra stabilității internaționale. Aceasta ar necesita o măsurare și un control unilateral al gradului de autonomie, care să poată fi verificat „ex post”. În prezent, doar câteva state efectuează verificări privind legalitatea armelor în temeiul articolului 36[24] , fără nicio obligație de a împărtăși rezultatele acestora. Această abordare ar putea constitui o continuare adecvată a acordului din septembrie 2026.
Concluzie foarte provizorie
După mai bine de zece ani de discuții, codificarea unei obligații pozitive de control uman asupra utilizării forței se află în centrul dezbaterii. Această noțiune generală, care a căpătat amploare în urma apelului la un „control uman semnificativ” lansat de ONG-ul „Article 36”, pare să fie larg adoptată de reprezentanții societății civile, precum și de un număr tot mai mare de state părți la CCAC. În consecință, acest principiu este astăzi larg acceptat, atât în literatura academică, cât și în dezbaterea diplomatică, în special deoarece Statele Unite și CICR l-au adoptat.
Acest model de control uman ar trebui să se traducă prin cerințe de controlabilitate încă din faza de proiectare a sistemelor de armament, în ceea ce privește interfețele om-mașină. Pentru aceasta, ar trebui să se determine „nivelurile de control uman” utilizate, adică tehnicile și procedurile necesare pentru a menține intacte controlul și responsabilitatea umană pe toată durata funcționării sistemului, ceea ce înseamnă limitarea autonomiei, ba chiar eliminarea acesteia! Este probabil ca această noțiune, dacă ar fi acceptată, să fie greu de respectat în practică, având în vedere faptul că adversarii au perturbat în mod deliberat legătura om-mașină, forțând autonomia să preia controlul și făcând imposibilă furnizarea de elemente care să dovedească că atacul a fost decis de un om. Cu toate acestea, pot fi păstrate jurnale și înregistrări care să dovedească că aceasta a fost voința utilizatorului.
Cercetătoarea Elvira Rosert[25] a propus modificarea Protocolului adițional I la Convențiile de la Geneva și a preambulului CCAC, pentru a adăuga principiul controlului uman semnificativ. Această abordare ar permite redinamizarea discuțiilor din cadrul GGE.
Ar fi de dorit să mergem mai departe și să includem o necesitate etică pe tot parcursul procesului de „proiectare, fabricare și utilizare a SALA-urilor”, păstrând responsabilitatea morală umană în sensul lui Levinas[26] în fața unor sisteme capabile să acționeze fără intervenția operatorului lor. Acest lucru ar permite depășirea viziunilor juridice, militare, politice și naționale.
[1] Bernard Merck, director adjunct al departamentului de resurse umane al grupului France Télécom, lucrează în cadrul grupului de aproape 20 de ani și a ocupat, pe rând, funcțiile de director general al Global One France, director de resurse umane al Oda (Pages Jaunes) și, ulterior, al EGT. În calitate de președinte al comisiei de informatică a ANDCP, Bernard Merck este unul dintre specialiștii europeni în domeniul aplicării tehnologiilor informației și comunicațiilor (TIC) în domeniul resurselor umane. Este autorul a câteva sute de articole.
[2] Ianuarie 2025
[3] Deși cifrele sunt de luat cu rezervă, capacitatea de producție a Ucrainei este estimată la peste 8 milioane de drone FPV (pilotate) pe an, iar cea a Rusiei ar fi de 1,5 milioane, dintre care 36 000 de drone sinucigașe cu rază lungă de acțiune de tip Shahed / Geran.
[4] Samsung SGR-A1 este un robot militar de pază sud-coreean conceput pentru a înlocui soldații umani ai armatei Coreei de Sud în zona demilitarizată coreeană de la granița cu Coreea de Nord. Este un sistem de arme letale autonom și fix, fabricat de Samsung Techwin (devenită Hanwha Techwin în 2016, apoi Hanwha Aerospace în 2018), filială a grupului Samsung.
[5] OODA este un cadru ciclic de luare a deciziilor dezvoltat de un strateg militar, colonelul din Forțele Aeriene John Boyd.
[6] DIH: ansamblu de norme stabilite pentru a limita consecințele conflictelor asupra populației civile și pentru a reduce violențele inutile.
[7] CICR recomandă: / interzicerea armelor autonome ale căror efecte sunt suficient de imprevizibile pentru a împiedica un control adecvat al DIH; / interzicerea armelor autonome concepute și utilizate pentru a aplica forța împotriva persoanelor; / reglementarea strictă a celorlalte sisteme prin limitări privind țintele, spațiul geografic, durata, circumstanțele de utilizare și posibilitățile de neutralizare.
[8] De exemplu, atacurile americane cu drone au fost percepute negativ, atât de către cetățenii americani, care le-au considerat o încălcare a valorilor lor, cât și în străinătate, unde s-a dezvoltat un resentiment antiamerican enorm.
[9] care manifestă ambiții militare limitate.
[10] Acest nivel ar viza identificarea țintelor, alegerea sistemului de arme, punerea în aplicare și controlul.
[11] Aproape în fiecare săptămână, pe măsură ce crește interesul pentru IA, apar noi articole despre „roboții ucigași”, „armele complet autonome”, „sistemele de arme autonome (SAA)”, „sistemele de arme letale autonome (SALA)” sau, mai simplu, „armele autonome”. Cu toate acestea, acești termeni sunt folosiți la întâmplare, de parcă ar exista un consens asupra definiției lor. Ceea ce nu este cazul.
[12] Ruptura făcută publică anul acesta între Pentagon și Anthropic, compania de IA a lui Dario Amodei, se referă în parte la diferența dintre definiția dată de Anthropic pentru „armele complet autonome” și termenul preferat de Pentagon, „sisteme de arme autonome”.
[13] În acest context, statele majore se pot baza pe instrumente de digitalizare a câmpului de luptă, care centralizează datele colectate prin toate mijloacele disponibile (sateliți, drone, senzori, personal uman, rapoarte de pe teren, informații).
[14] De exemplu, Comandamentul Central al Statelor Unite a utilizat sistemul inteligent Maven[14] în cadrul operațiunii Epic Fury pentru a centraliza fluxurile de informații disparate într-un singur tablou de bord.
[15] În cazul sugerării automate a țintelor, există un risc real ca factorul de decizie uman să valideze fără o valoare adăugată reală, privilegiind cantitatea în detrimentul calității. (A se vedea criticile israeliene privind Habsora)
[16] Palantir este o companie americană specializată în analiza informațiilor și a datelor. Aceasta dezvoltă software-uri care permit serviciilor de informații, armatelor, forțelor de poliție și companiilor să adune informații provenite din multiple surse, să le coreleze și să identifice legături greu de observat în alt mod. 4,48 miliarde de dolari (54 % din venituri provin de la guverne). Cofondatorul este Peter Thiel. Principalele produse: AIP (inteligență artificială aplicată), Gotham (informații și apărare), Foundry (companii și organizații). Maven este utilizat de armata americană pentru a analiza volume mari de date militare și pentru a ajuta la identificarea amenințărilor sau a țintelor potențiale
[17] Se vorbește despre Fire Factory
[18] Termenul de autonomie aplicat sistemelor de IA agentice se referă exclusiv la o autonomie funcțională, adică la capacitatea de a executa, de a succesiona sau de a adapta anumite operațiuni fără intervenția imediată a omului. Acesta nu se referă nici la o autonomie morală, nici la o capacitate de deliberare etică, nici la o responsabilitate proprie.
[19] Nu vom trata în același mod modulul de navigație și cel de fixare a țintei, deși ambele utilizează recunoașterea optică.
[20] Etica kantiană este un ansamblu de principii morale universale care se aplică tuturor ființelor umane, indiferent de context sau de situație. Emmanuel Kant numește aceste principii „imperative categorice”, care sunt definite prin moralitatea și nivelul lor de libertate.
[21] Așa cum explică cercetătorul american Peter Singer,
[22] Tratatul de la Tian stabilește un cadru juridic care interzice armele nucleare pentru statele părți, consolidând stigmatizarea acestor arme și susținând perspectiva umanitară, dar este criticat de statele care dețin arme nucleare.
[23] TNP creează un cadru pentru reducerea proliferării nucleare și promovarea dezarmării progresive, dar permite celor cinci state care dețin arme nucleare să-și păstreze arsenalele, în timp ce se inițiază discuții privind dezarmarea.
[24] Consiliul de Securitate poate, în orice moment al evoluției unui litigiu de natura celui menționat la articolul 33 sau al unei situații similare, să recomande procedurile sau metodele de soluționare adecvate.
[25] Elvira Rosert, „How to Regulate Autonomous Weapons”, Prif Spotlight, 2017.
[26]: Filosofia lui Emmanuel Levinas se concentrează pe problema etică a Celuilalt, având chipul (noțiunea de întâlnire față în față) ca cerință fundamentală.