în 2018, conform Reuters, Amazon a anunțat public că a renunțat la un soft de inteligență artificială folosit ca ajutor pentru găsirea de noi angajați, după ce s-a dovedit că programul depuncta CV-urile femeilor.
(Reporting By Jeffrey Dastin in San Francisco; Editing by Jonathan Weber and Marla Dickerson)
În 2014, într-un context de creștere accelerată, Amazon se confrunta cu o problemă practică: mii de CV-uri, timp puțin, presiune mare pe recrutare.
Echipa de resurse umane a decis să testeze o soluție „modernă”: un algoritm de inteligență artificială care să ajute la selecția candidaților.
Ideea părea ideală: mai rapid, mai eficient, mai obiectiv decât oamenii.
Un sistem care „nu judecă”, nu obosește și nu discriminează.
Scop pedagogic: identificarea așteptărilor naive față de AI
Întrebări:
De ce crezi că ideea unui algoritm „obiectiv” este atât de atractivă?
Ce probleme umane spera Amazon să elimine prin AI?
Unde mai auzim azi promisiuni similare despre AI?
Este eficiența un criteriu suficient pentru decizii care afectează oameni?
Competențe civice: gândire critică, discernământ
Pentru a învăța ce înseamnă „un candidat bun”, algoritmul a fost antrenat pe CV-uri istorice - profilurile angajaților care fuseseră considerați buni în trecut.
Doar că trecutul avea o caracteristică importantă: industria tech fusese, ani la rând, dominată de bărbați.
Algoritmul nu a primit explicit informații despre gen.
Nu i s-a spus „alege bărbați”.
Dar a învățat ceva subtil: ce tip de cuvinte apar frecvent în CV-urile „reușite”, ce experiențe sunt asociate cu succesul.
Fără intenție, a început să asocieze performanța cu masculinitatea.
Scop pedagogic: înțelegerea biasului de date
Întrebări:
Ce învață AI atunci când este antrenat pe date din trecut?
Poate un algoritm „depăși” contextul social din care provin datele?
Ce tipuri de decizii umane sunt „ascunse” în date?
Este corect să folosim trecutul ca model pentru viitor?
Competențe civice: analiză socială, conștientizarea inegalităților
După un timp, echipele interne au observat un tipar neliniștitor.
CV-uri care conțineau expresii precum: „women’s chess club”, „women’s leadership program”, primeau scoruri mai mici.
Candidatele cu competențe similare bărbaților erau: clasate mai jos, eliminate mai repede.
Algoritmul nu „ura” femeile.
Dar învățase dintr-o istorie inegală.
Scop pedagogic: recunoașterea discriminării indirecte
Întrebări:
De ce este mai greu de detectat discriminarea indirectă?
De ce faptul că „genul nu era introdus explicit” nu a rezolvat problema?
Cine ar fi trebuit să observe primul aceste efecte?
Ce se întâmplă dacă nimeni nu verifică rezultatele AI?
Competențe civice: vigilență democratică, responsabilitate
Inginerii au încercat să corecteze problema: au eliminat anumiți termeni, au ajustat ponderi, au introdus filtre.
Dar biasul reapărea.
De ce?
Pentru că nu era o eroare de cod, ci o problemă de date și context social.
Algoritmul nu făcea decât să automatizeze o realitate deja existentă.
Scop pedagogic: diferența dintre soluții tehnice și probleme sociale
Întrebări:
De ce corecțiile tehnice nu au fost suficiente?
Ce diferență există între o „eroare de cod” și o „eroare de sistem”?
Cine ar trebui implicat în astfel de corecții (doar ingineri)?
Putem „repara” etic o problemă socială doar prin tehnologie?
Competențe civice: gândire sistemică, colaborare interdisciplinară
În cele din urmă, Amazon a luat o decizie rară în lumea tehnologiei: a abandonat complet sistemul.
Algoritmul nu a fost niciodată folosit oficial în recrutare.
Cazul a devenit public și este astăzi documentat în AI Incident Database ca exemplu de: discriminare algoritmică, bias de date, risc major în sisteme cu impact asupra drepturilor.
Scop pedagogic: responsabilitate și guvernanță
Întrebări:
A fost abandonarea sistemului un eșec sau un act responsabil?
Ce alternative avea compania?
Ce riscuri ar fi existat dacă sistemul era folosit în continuare?
Cine ar fi fost afectat cel mai mult?
Competențe civice: luarea deciziilor responsabile, etica publică
Acest algoritm nu a fost „rău”.
Nu a fost „defect”.
A fost consecvent cu datele pe care le-a primit.
Cazul arată că: AI nu este neutru, eliminarea unei variabile (genul) nu elimină discriminarea, tehnologia poate amplifica nedreptăți existente.
De aceea, astfel de sisteme sunt astăzi considerate „cu risc ridicat” în legislația europeană, precum EU Artificial Intelligence Act.
Scop pedagogic: generalizare și transfer
Întrebări:
Ce ne spune acest caz despre ideea de „neutralitate tehnologică”?
În ce alte domenii ar putea apărea probleme similare?
De ce sunt aceste sisteme considerate „cu risc ridicat” în legislație?
Este AI o problemă tehnologică sau una civică?
Competențe civice: înțelegerea relației tehnologie - democrație
Din perspectiva UNESCO, acest caz atinge direct: echitatea, nediscriminarea, responsabilitatea umană, educația pentru cetățenie democratică.
Nu este doar o lecție despre AI.
Este o lecție despre societate, valori și decizii.
Scop pedagogic: legătura cu școala și cetățenia digitală
Întrebări finale (foarte puternice):
Ce s-ar întâmpla dacă un algoritm ar fi antrenat pe: notele istorice dintr-o școală?; deciziile de sancționare?
Ce rol ar trebui să aibă școala în pregătirea elevilor pentru astfel de situații?
Ce competență este mai importantă: tehnică sau civică?
Cum pot cetățenii contesta o decizie luată de un algoritm?
Competențe civice: participare, drepturi, responsabilitate democratică
Dacă un algoritm ar fi antrenat pe notele, evaluările sau deciziile din trecutul unei școli, ce tip de „viitor” ar învăța să construiască?
By Jeffrey Dastin, October 11, 20183:50 AM GMT+3Updated October 11, 2018
Regulamentul privind IA
Aceasta este o traducere automată furnizată de serviciul eTranslation al Comisiei Europene. Scopul este de a vă ajuta să înțelegeți în linii mari această pagină. Vă rugăm să citiți condițiile de utilizare. Pentru a citi versiunea originală, accesați pagina-sursă.
Regulamentul privind IA este primul cadru juridic privind IA, care abordează riscurile IA și poziționează Europa pentru a juca un rol de lider la nivel mondial.
Regulamentul privind IA [Regulamentul (UE) 2024/1689 de stabilire a unor norme armonizate privind inteligența artificială] este primul cadru juridic cuprinzător privind IA la nivel mondial. Scopul normelor este de a promova o IA de încredere în Europa. Pentru orice întrebări referitoare la Regulamentul privind IA, consultați platforma unică de informații a Regulamentului privind IA.
Regulamentul privind IA stabilește norme bazate pe riscuri pentru dezvoltatorii și operatorii de IA în ceea ce privește utilizările specifice ale IA. Regulamentul privind IA face parte dintr-un pachet mai amplu de măsuri de politică menite să sprijine dezvoltarea unei IA de încredere, care include, de asemenea, Planul de acțiune pentru continentul IA, pachetul privind inovarea în domeniul IA și lansarea fabricilor de IA. Împreună, aceste măsuri garantează siguranța, drepturile fundamentale și IA centrată pe factorul uman și consolidează adoptarea, investițiile și inovarea în IA în întreaga UE.
Pentru a facilita tranziția către noul cadru de reglementare, Comisia a lansat Pactul privind IA, o inițiativă voluntară care urmărește să sprijine punerea în aplicare viitoare, să colaboreze cu părțile interesate și să invite furnizorii și implementatorii de IA din Europa și din afara acesteia să respecte în timp util principalele obligații prevăzute în Regulamentul privind IA. În paralel, Serviciul de asistență pentru Regulamentul privind IA oferă, de asemenea, informații și sprijin pentru o punere în aplicare armonioasă și eficace a Regulamentului privind IA în întreaga UE.
De ce avem nevoie de norme privind IA?
Regulamentul privind IA asigură faptul că europenii pot avea încredere în ceea ce are de oferit IA. Deși majoritatea sistemelor de IA prezintă riscuri limitate la zero și pot contribui la soluționarea multor provocări societale, anumite sisteme de IA creează riscuri pe care trebuie să le abordăm pentru a evita rezultatele nedorite.
De exemplu, adesea nu este posibil să se afle de ce un sistem de IA a luat o decizie sau o predicție și a luat o anumită măsură. Prin urmare, poate deveni dificil să se evalueze dacă o persoană a fost dezavantajată în mod inechitabil, cum ar fi într-o decizie de angajare sau într-o cerere pentru un sistem de interes public.
Deși legislația existentă oferă o anumită protecție, aceasta nu este suficientă pentru a aborda provocările specifice pe care le pot aduce sistemele de IA.
O abordare bazată pe riscuri
Regulamentul privind IA definește patru niveluri de risc pentru sistemele de IA:
Risc inacceptabil
Toate sistemele de IA considerate o amenințare clară la adresa siguranței, a mijloacelor de subzistență și a drepturilor persoanelor sunt interzise.
Regulamentul privind IA interzice opt practici, și anume:
manipulare și înșelăciune dăunătoare bazate pe IA
exploatarea dăunătoare a vulnerabilităților bazată pe IA
punctajul social
Evaluarea sau anticiparea riscurilor legate de infracțiunile individuale
răzuire nedirecționată a internetului sau a materialelor CCTV pentru a crea sau a extinde bazele de date de recunoaștere facială
Recunoașterea emoțiilor la locul de muncă și în instituțiile de învățământ
clasificarea biometrică pentru a deduce anumite caracteristici protejate
identificarea biometrică la distanță în timp real în scopul asigurării respectării legii în spațiile accesibile publicului
Interdicțiile au intrat în vigoare în februarie 2025. Comisia a publicat două documente-cheie pentru a sprijini aplicarea practică a practicilor interzise:
Orientările privind practicile de IA interzise în temeiul Regulamentului privind IA, care oferă explicații juridice și exemple practice pentru a ajuta părțile interesate să înțeleagă și să respecte interdicțiile.
Orientările privind definirea sistemului de IA din Regulamentul privind IA, pentru a ajuta părțile interesate să stabilească domeniul de aplicare al Regulamentului privind IA
Risc ridicat
Cazurile de utilizare a IA care pot prezenta riscuri grave pentru sănătate, siguranță sau drepturile fundamentale sunt clasificate ca prezentând un grad ridicat de risc. Printre aceste cazuri de utilizare cu risc ridicat se numără:
Componentele de siguranță ale IA în infrastructurile critice (de exemplu, transporturi), a căror defectare ar putea pune în pericol viața și sănătatea cetățenilor
Soluții de IA utilizate în instituțiile de învățământ, care pot determina accesul la educație și parcursul vieții profesionale a unei persoane (de exemplu, notarea examenelor)
Componentele de siguranță ale produselor bazate pe IA (de exemplu, aplicația IA în chirurgia asistată de robot)
Instrumente de IA pentru ocuparea forței de muncă, gestionarea lucrătorilor și accesul la activități independente (de exemplu, software de sortare a CV-urilor pentru recrutare)
Anumite cazuri de utilizare a IA utilizate pentru a oferi acces la servicii publice și private esențiale (de exemplu, notarea creditelor care le refuză cetățenilor posibilitatea de a obține un împrumut)
Sisteme de IA utilizate pentru identificarea biometrică la distanță, recunoașterea emoțiilor și clasificarea biometrică (de exemplu, sistemul de IA pentru identificarea retroactivă a unui hoț din magazine)
Cazuri de utilizare a IA în asigurarea respectării legii care pot interfera cu drepturile fundamentale ale persoanelor (de exemplu, evaluarea fiabilității probelor)
Cazuri de utilizare a IA în gestionarea migrației, a azilului și a controlului la frontiere (de exemplu, examinarea automată a cererilor de viză)
Soluții de IA utilizate în administrarea justiției și a proceselor democratice (de exemplu, soluții de IA pentru pregătirea hotărârilor judecătorești)
Sistemele de IA cu grad ridicat de risc fac obiectul unor obligații stricte înainte de a putea fi introduse pe piață:
sisteme adecvate de evaluare și atenuare a riscurilor
calitatea ridicată a seturilor de date care alimentează sistemul pentru a reduce la minimum riscurile de rezultate discriminatorii
înregistrarea activității pentru a asigura trasabilitatea rezultatelor
documentația detaliată care furnizează toate informațiile necesare privind sistemul și scopul acestuia pentru ca autoritățile să evalueze conformitatea acestuia
informații clare și adecvate pentru implementator
măsuri adecvate de supraveghere umană
nivel ridicat de robustețe, securitate cibernetică și precizie
Normele privind IA cu grad ridicat de risc vor intra în vigoare în august 2026 și august 2027.
Riscul de transparență
Aceasta se referă la riscurile asociate cu nevoia de transparență în ceea ce privește utilizarea IA. Regulamentul privind IA introduce obligații specifice de divulgare pentru a se asigura că oamenii sunt informați atunci când este necesar pentru a menține încrederea. De exemplu, atunci când se utilizează sisteme de IA, cum ar fi roboții de chat, oamenii ar trebui să fie conștienți de faptul că interacționează cu o mașină, astfel încât să poată lua o decizie în cunoștință de cauză.
În plus, furnizorii de IA generativă trebuie să se asigure că conținutul generat de IA este identificabil. În plus, anumite conținuturi generate de IA ar trebui să fie etichetate în mod clar și vizibil, și anume deepfake-urile și textul publicat cu scopul de a informa publicul cu privire la chestiuni de interes public.
Normele privind transparența din Regulamentul privind IA vor intra în vigoare în august 2026.
Risc minim sau inexistent
Regulamentul privind IA nu introduce norme pentru IA care să fie considerate ca prezentând un risc minim sau să nu prezinte niciun risc. Marea majoritate a sistemelor de IA utilizate în prezent în UE se încadrează în această categorie. Printre acestea se numără aplicații precum jocurile video bazate pe IA sau filtrele de spam.
Cum funcționează toate acestea în practică pentru furnizorii de sisteme de IA cu grad ridicat de risc?
Odată ce un sistem de IA este pe piață, autoritățile sunt responsabile de supravegherea pieței, implementatorii asigură supravegherea și monitorizarea umană, iar furnizorii dispun de un sistem de monitorizare ulterioară introducerii pe piață. Furnizorii și operatorii vor raporta, de asemenea, incidentele grave și disfuncționalitățile.
Care sunt normele pentru modelele de IA de uz general?
Modelele de IA de uz general (GPAI) pot îndeplini o gamă largă de sarcini și devin baza multor sisteme de IA din UE. Unele dintre aceste modele ar putea prezenta riscuri sistemice dacă sunt foarte capabile sau utilizate pe scară largă. Pentru a asigura o IA sigură și de încredere, Regulamentul privind IA instituie norme pentru furnizorii de astfel de modele. Aceasta include norme privind transparența și drepturile de autor. Pentru modelele care pot prezenta riscuri sistemice, furnizorii ar trebui să evalueze și să atenueze aceste riscuri. Normele Regulamentului privind IA referitoare la GPAI au intrat în vigoare în august 2025.
În iunie 2021, UNESCO a publicat un document despre „Recomandări privind Etica Inteligenţei Artificiale” , care a fost înaintat spre adoptare Conferinţei Generale la cea de a 41-a sesiune.
Recomandările au coagulat 10 principii pentru realizarea IA etice:
1. Proporţionalitate și cerinţa de a nu face rău – utilizarea IA trebuie să fie proporţională pentru a atinge un anumit scop legitim și nu trebuie să încalce drepturile omului;
2. Siguranţă și securitate – IA trebuie să nu provoace daune umane sau materiale și să nu prezinte vulnerabilităţi la atacuri cibernetice;
3. Corectitudine și nediscriminare – beneficiile IA trebuie să fie accesibile tuturor, iar aplicaţiile de IA trebuie să evite discriminarea și părtinirea;
4. Sustenabilitate – necesitatea de a evalua în permanenţă impactul uman, social, cultural, economic și de mediu al tehnologiilor de IA;
5. Dreptul la confidenţialitate și protecţia datelor – dezvoltarea unor cadre adecvate pentru protecţia datelor personale;
6. Supravegherea și determinarea umană – un sistem de IA nu poate înlocui niciodată responsabilitatea umană finală;
7. Transparenţă și explicabilitate – capacitatea unui sistem de IA de a explica procesul de decizie;
8. Responsabilitate – respectarea drepturilor omului și a libertăţilor fundamentale, protecţia mediului și trasabilitatea sistemelor de IA;
9. Conștientizare și educare – creșterea gradului de conștientizare și înţelegere a tehnologiilor de IA de către public, abordarea privind datele deschise și educaţia în IA accesibilă tuturor;
10. Guvernare adaptativă și colaborare – participare deschisă, reglementări guvernamentale și internaţionale atât pentru IA, cât și pentru utilizarea datelor.