Kad umjetna inteligencija pogriješi: halucinacije u zabilješkama socijalnog rada i rizici za najranjivije

Ključne stavke:

• AI alati za transkripciju i sumiranje razgovora koriste se u većem broju britanskih općina, donoseći stvarne uštede vremena, ali i ozbiljne greške — od netočnih tvrdnji o suicidalnim namjerama do nerazumljivih "gibberish" zapisa.
• Istraživanje Ada Lovelace Institute pokazuje da su AI-halucinacije već ušle u službene evidencije, dok stručne organizacije i praktičari upozoravaju na profesionalne, etičke i sigurnosne posljedice ako se alati koriste bez jasnih smjernica, obuke i provjere rezultata.

Uvod

U vođenju slučajeva, preciznost zapisa često odlučuje o pravovremenoj zaštiti osobe i o profesionalnoj odgovornosti radnika. Kada tehnologija koja bi trebala pomoći počne ubacivati netočne, izmišljene ili nejasne detalje u službene evidencije, rizik prestaje biti samo tehnički — postaje pitanje sigurnosti djeteta, dostojanstva odrasle osobe i integriteta čitavog sistema socijalne zaštite. U Velikoj Britaniji, desetine općina uvede su AI alate za transkripciju i automatsko sumiranje razgovora, obećavajući ubrzanje administrativnih zadataka. Međutim, osam mjeseci istraživanja neovisnog Ada Lovelace Institute otkrilo je da se u tim zapisima pojavljuju "potencijalno štetne pogrešne interpretacije" iskustava ljudi, dok stručnjaci iz struke upozoravaju na neadekvatnu obuku, varijabilnu praksu provjere i nedostatak regulatornih smjernica. Ova analiza razmatra kako i zašto se greške javljaju, koje konkretne posljedice mogu nastupiti te koje mjere trebaju hitno uslijediti da bi se izbjegla šteta za korisnike usluga i za profesionalce koji rade s najranjivijim članovima društva.

Kako AI alati ulaze u praksu socijalnog rada

Posljednjih godina nekoliko komercijalnih rješenja, među kojima je posebno istaknuto ime Magic Notes, postalo je dostupno općinskim službama. Ta rješenja obećavaju automatiziranu transkripciju sastanaka, sažimanje ključnih informacija i čak preoblikovanje zvaničnih zabilješki u "person-centred" ton. Primjena je odgovor na otežane uvjete rada: nedostatak radne snage, rastući administrativni teret i želja za učinkovitijom alokacijom vremena socijalnih radnika. U praksi, mnogi timovi koriste ove alate uz nadu da će im automatizacija omogućiti više vremena provedenog u direktnom radu s korisnicima, a manje vremena za tipkanje i administraciju.

U nekim općinama alat se plaća po satu transkripcije, s relativno niskim troškovima po satu, što dodatno olakšava uvođenje. Sve to stvara snažan poslovni i praktični poticaj za brzu integraciju tehnologije u svakodnevni rad, prije nego što su postavljeni odgovarajući standardi za provjeru točnosti, zaštitu podataka i odgovornost.

Primjeri grešaka koji alarmiraju struku

Istraživanje Ada Lovelace Institute dokumentovalo je nekoliko tipičnih i potencijalno opasnih vrsta pogrešaka. U jednom slučaju, AI alat je u sažetku napomenuo moguću suicidalnu ideaciju klijenta, iako ta tema nije bila spomenuta u razgovoru. U drugom slučaju, transkripcija je zamijenila ozbiljne obiteljske napetosti općim i irelevantnim terminima poput "fishfingers" ili "flies", dok je u stvarnosti dijete razgovaralo o roditeljskim svađama. Drugi praktičari ističu da softver često proizvodi nerazumljive odlomke, osobito kod govora s regionalnim akcentom, pa rezultati sadrže niz nepovezanih riječi koje ne odražavaju realan sadržaj razgovora.

Takve greške nisu samo nezgoda u tehnološkom smislu; one mogu dovesti do pogrešne procjene rizika, propuštanja ključnih signala o zlostavljanju ili psihičkom stanju, te do formalnih posljedica za profesionalce ako se na temelju netočnih zapisa donesu pogrešne odluke ili se dokumentacija neispravno upotrijebi u disciplinskim ili pravnim postupcima.

Tehnički uzroci: zašto AI "halucinira"

Modeli koji stoje iza ovih alata u osnovi su veliki jezični modeli i sustavi za prepoznavanje govora trenirani na velikim skupovima podataka. Halucinacije, kako ih opisuje stručna literatura, nastaju kada model "pogađa" ili interpolira informacije kako bi popunio nedostatke u podacima; rezultat je proizvodnja sadržaja koji zvuči uvjerljivo, ali nije utemeljen u izvornoj interakciji. U kontekstu socijalnog rada, razlozi za takve greške obično uključuju lošu kvalitetu zvuka, nerazumljive dijelove govora, regionalne akcentne varijante koje model nije adekvatno treniran prepoznati, te pokušaje modela da sažme kompleksne emocionalne i kontekstualne detalje u jednostavne tvrdnje.

Dodatno, kada se alati koriste za redakturu tonova zapisa — primjerice da se suhoparni bilješci preoblikuju u "person-centred" narativ — model može umetnuti izraze i opisne elemente koji zvuče prikladno, ali koji nisu izrečeni od strane klijenta. To je rezultat modela kojem je cilj proizvodnja koherentnog, "prirodnog" teksta, često bez jasnog razlikovanja između izrečenih činjenica i jezične dopune.

Organizacijski uzroci: trening, provjera i pritisak vremena

Tehnički problemi samo su dio slike. Organizacijska praksa i radni uvjeti znatno utječu na to koliko su te greške opasne. Socijalni radnici često dobivaju minimalnu obuku za korištenje AI alata — u nekim slučajevima samo sat vremena. Kontrola kvaliteta varira: neki radnici provode i do sat vremena pregledavajući AI transkripte, dok drugi samo brzo "preletu" dokument i ugrade izvadak u službeni sustav nakon nekoliko minuta. Taj razmak u vremenu posvećenom provjeri diktira koliko se netočnosti uvuku u službene zapise.

Pritisak uštede vremena i velika opterećenja doprinose sklonosti prečacima. Kada menadžment vidi direktnu vrijednost u skraćivanju administracije, razvojni ciljevi alociraju sredstva za implementaciju bez jednake investicije u obuku i interne protokole provjere. U takvim uvjetima, i dobro namjeran radnik može postati ovisan o "first draft" sadržaju koji generira AI, umjesto da ga koristi kao pomoćni alat.

Posljedice za korisnike usluga: od pogrešnih procjena do ozbiljne štete

Netočni zapisi imaju neposredne i dugoročne posljedice. Ako AI proizvede lažnu informaciju o suicidalnim namjerama, potrebna intervencija može biti nepotrebna i traumatizirajuća, ili s druge strane, stvarne ideje o samoozljeđivanju mogu biti smanjene ako su pogrešno zabilježene. Netaktično modifikovani opisi emocija ili okolnosti mogu promijeniti način na koji su drugi članovi tima, sudovi ili proporcionirani servisi percepiraju razinu rizika, što može dovesti do pogrešnih odluka o smještaju djeteta, uklanjanju prava roditelja ili nepotrebnom uključivanju dodatnih službi.

Pored toga, uvođenje "neizrečenih riječi" u zapis može narušiti povjerenje između profesionalca i korisnika. Osoba koja je dijelila osjetljive detalje želi znati da su njihovi stavovi i riječi točno zabilježeni. Kada se u dokumentu pojave fraze koje nisu izgovorene, integritet razgovora i senzibilnost profesionalne procjene kompromitirani su. Dugoročno, to može povećati rizik od ponovnog traumiranja ili potpuno udaljiti ljude od traženja pomoći.

Posljedice za profesionalce: odgovornost i disciplina

Greške koje proizvede AI utječu i na radnu praksu socijalnih radnika. Postoje izvještaji o disciplinskim postupcima protiv profesionalaca koji nisu adekvatno provjerili AI-generirane zapise i propustili očitavanje grešaka pre nego što su ih stavili u službene registre. Stručne asocijacije poput British Association of Social Workers pozivaju na jasnu regulativu i smjernice kako bi se definirala odgovornost i način upotrebe ovih alata. Profesionalna odgovornost ostaje na ljudima koji potpisuju dokumente, ali bez pravilne obuke i procedura, ta odgovornost postaje teže ispunjiva.

Još jedna dimenzija je erozija refleksivne prakse. Proces pisanja i bilježenja razgovora pomaže radniku da smisli i analizira ono što je čuo, a taj misaoni rad ima preventivnu vrijednost: pomaže u otkrivanju neslaganja, propuštanja ili implikacija koje nisu odmah očite. Kada računalo preuzme taj kognitivni korak, radnik može izgubiti važan aspekt profesionalne analize koji štiti i korisnika i sistem.

Vendor tvrdnje i stvarnost: Magic Notes, Beam i Microsoft Copilot

Proizvođači softvera ističu benefite: brzina, oslobađanje administrativnog opterećenja, pa i specijalizirane funkcije poput provjere rizika od halucinacija. Beam, koji stoji iza Magic Notes, naglašava da su generirani zapisi "prvi nacrt", te da su njihovi proizvodi razvijeni s posebnim značajkama za socijalni rad. Tvrtke također izvještavaju o evaluacijama pristranosti koje pokazuju dosljednost i pravičnost njihove tehnologije.

Međutim, ne postoji jedinstvena kvaliteta među AI alatima. Generalni alati kao što je Microsoft Copilot služe širokom spektru namjena i nisu uvijek prilagođeni specifičnim potrebama socijalnog rada, što može rezultirati većom stopom pogrešaka u kontekstima koji zahtijevaju finu semantičku i emotivnu osjetljivost. Transparentnost u testiranju, javna evaluacija i neovisne procjene performansi su oskudne, a u praksi općine često usvajaju rješenja prije nego što su dostupne sve relevantne informacije o njihovim ograničenjima.

Regulatorni jaz i poziv na smjernice

Strukovne organizacije pozivaju regulatore da jasno predoče kada i kako se AI alati smiju koristiti u socijalnom radu. Količina i ozbiljnost zabilježenih grešaka ukazuju na nedostatak standardiziranih procedura za integraciju tehnologije u osjetljive profesionalne prakse. Regulatorne smjernice trebale bi obuhvatiti minimalne standarde za obuku, provjeru i dokumentiranje ljudske verifikacije zapisa, te pravila o odgovornosti kada AI sustav dopusti ili generira netočan sadržaj koji dovodi do profesionalne ili korisničke štete.

U nekim slučajevima pitanje je i pravne odgovornosti: tko snosi teret ako AI "umnoži" netočan zapis koji rezultira štetnom odlukom? Bez jasne regulative, teret pada na praktičare i lokalne uprave, što povećava pravni i etički rizik.

Mjere za smanjenje rizika: tehničke i organizacijske preporuke

Smanjenje rizika zahtijeva kombinaciju tehničkih rješenja, jasnih procedura i obuke. Tehnički se mogla očekivati bolja kontrola kvalitete ulaznog zvuka, specijalizirano treniranje modela na govorima s regionalnim akcentima, te razvoj modela s ugrađenim mehanizmima transparentnosti koji označavaju koliko je određeni sažetak pouzdan. Alati za praćenje i isticanje "neizvjesnih" dijelova transkripta pomogli bi radnicima da brzo lociraju fragmente koji trebaju dodatnu provjeru.

Organizacijski, nužno je uvesti obavezne protokole provjere: definirati koliko vremena i na koji način se zapisi moraju provjeriti prije uključivanja u službeni registar. Potrebna je minimalna obuka koja ide dalje od početnog sata — praktičari trebaju razumjeti vrste pogrešaka s kojima se mogu susresti i imati jasne smjernice za korekciju. Uvođenje sistema revizije, gdje druga osoba nasumično provjerava AI-generirane zapise, može smanjiti propuštene greške.

Također, kupci tehnologije — lokalne vlasti — trebaju zahtijevati od dobavljača transparentne podatke o performansama, nezavisne evaluacije i pristup za audit algoritama u pogledu pristranosti i točnosti. Ugovori trebaju uključivati klauzule o odgovornosti i standardima usluge.

Etika, povjerenje i ljudskost u zabilješkama

Socijalni rad ne podrazumijeva samo prikupljanje činjenica; riječ je o promišljenom predstavljanju narativa osobe u kojem se reflektira kontekst, emocije i namjera. Etički okvir za korištenje AI-a mora štititi pravo pojedinca da bude precizno i dostojanstveno zabilježen. Automatizacija ne smije biti izgovor za depersonalizaciju. Transparentnost prema korisnicima — obavijest o tome da se razgovor snima i da se koristi AI za transkripciju, te mogućnost ispravke netočnih navoda — ključna je za održavanje povjerenja.

Pitanje privatnosti i zaštite podataka dodatno komplicira sliku. Osjetljivi podaci moraju biti zaštićeni u skladu sa zakonima, a pristup tim skupovima i način njihove obrade trebaju biti jasno regulisani i nadzirani.

Šta organizacije i vlasti moraju hitno razmotriti

Lokalne vlasti koje već koriste ili planiraju koristiti AI alate moraju odmah provjeriti svoje protokole. Prvo, osigurati da postoji jasna politika koja zahtijeva ljudsku provjeru prije nego što se AI-generirani sadržaj smatra službenim. Drugo, uvesti obaveznu i smisleno strukturiranu obuku za sve korisnike sistema. Treće, zatražiti od dobavljača jasne podatke o performansama alata, uključujući testiranja na govoru s regionalnim varijantama i podatke o točnosti u kontekstima socijalnog rada. Četvrto, razviti mehanizme za prijavu i analizu incidenata koji uključuju AI-halucinacije, kako bi se greške sustavno identificirale i ispravljale.

Državni nivo mora raditi na jasnim regulatornim smjernicama, uz konzultacije s profesionalnim organizacijama, tehnološkim stručnjacima i predstavnicima korisnika usluga. Pravila o odgovornosti, transparentnosti i obaveznom auditiranju trebaju biti prioritet kako bi se zaštitili građani i profesionalci.

Prihvatljivi načini implementacije: održiva integracija AI alata

Održiva integracija AI zahtijeva pristup koji kombinuje tehnologiju s ljudskom stručnošću. Alati trebaju služiti kao pomoćnici, ne kao zamjena za profesionalnu prosudbu. Idealna implementacija uključuje pilot faze s jasno definiranim indikatorima uspjeha, kontinuirano praćenje točnosti, protokole za korekciju grešaka, te mehanizme za povratne informacije od praktičara i korisnika. Procjena koristi mora obuhvatiti ne samo uštede vremena već i utjecaj na kvalitetu njege i sigurnost korisnika.

Potrebna je i fleksibilnost u izboru alata: općinski sistemi trebaju preferirati specijalizirana rješenja koja su testirana u kontekstu socijalnog rada umjesto generalnih alata koji mogu biti brz i jeftin izbor, ali sa slabijom performansom u specifičnim slučajevima.

Uloga neovisnih istraživanja i nadzora

Nezavisno istraživanje, poput studije Ada Lovelace Institute, pruža ključne uvide u stvarne učinke tehnologije u polju. Takve studije trebaju biti podržavane i širene kako bi donositelji odluka imali dokazima utemeljene smjernice. Regulatorni nadzor mora uključivati auditiranje performansi alata, izvještavanje o incidentima i objavljivanje javnih sažetaka koji omogućavaju transparentnost i odgovornost.

Uključivanje akademske zajednice, predstavnika korisnika i praktičara u procese evaluacije pomoći će da se kriteriji točnosti i sigurnosti prilagode stvarnim potrebama prakse.

Širi društveni kontekst: tehnologija, uštede i vrijednosti

Pitanje AI transkripcije u socijalnom radu otvara šire pitanje kako društvo vrednuje rad i brigu. Ekonomija koja nagrađuje smanjenje troškova može poticati brzu implementaciju tehnologije, no ako se uštede računaju samo u novcu, a ne uzimaju u obzir troškovi pogrešaka, sistem postaje ranjiv. Javne službe moraju balansirati između efikasnosti i sigurnosti, vodeći računa da uštede ne dovedu do narušavanja prava i dobrobiti najranjivijih.

Tehnologija može poboljšati uvjete rada i omogućiti socijalnim radnicima da provedu više vremena u direktnom radu, ali to zahtijeva promišljenu implementaciju, investicije u ljudske resurse i jasne okvire odgovornosti.

Politike za budućnost: kombinacija zakona, standarda i kulture prakse

Zaštita korisnika i profesionalaca zahtijeva trodijelni pristup: zakonske norme koje definiraju minimalne standarde i odgovornosti, profesionalne smjernice koje osiguravaju kvalitetu provjere i etičke prakse, te organizacijsku kulturu koja potiče pažljivu i kritičku upotrebu tehnologije. Takav sustav treba uključivati obavezu transparentnog izvještavanja o incidentima, kontinuiranu reviziju performansi i suradnju s dobavljačima kako bi se alati poboljšavali na temelju stvarnog iskustva iz prakse.

Također je važno da se glas građana i korisnika uključi u izradu politika, jer oni snose neposrednu posljedicu netočnih zapisa. Pristup koji zanemaruje perspektivu onih koji koriste usluge riskira institucionaliziranu nepravednost.

Prihvatljivi kompromisi i tehnologije koje potiču sigurnost

Nije nužno odustati od AI u socijalnom radu. Postoje prihvatljivi kompromisi i tehnološki smjerovi koji smanjuju rizike: alati koji ističu stupanj sigurnosti svake transkripcije, koji omogućavaju lako označavanje i ispravljanje netočnosti, te sustavi koji integriraju ljudsku potvrdu kao obavezan korak prije uključivanja zapisa u službeni registar. Transparentni logovi promjena, verzioniranje dokumenata i mehanizmi koje omogućavaju korisniku da potvrdi ili ospori zapis doprinose povećanju odgovornosti.

U konačnici, cilj je postići ravnotežu gdje tehnologija služi ljudima i pojačava kvalitetu brige bez ugrožavanja temeljnih prava i sigurnosti.

Česta pitanja:

Pitanje: Šta su AI-halucinacije u kontekstu transkripcije socijalnog rada? Odgovor: AI-halucinacije su situacije kada model generira informacije ili tvrdnje koje nisu izrečene ili podržane originalnim razgovorom; u praksi se to može manifestirati kao netočno naveden sadržaj, izmišljeni emocionalni status ili nepovezani i nerazumljivi dijelovi transkripta.

Pitanje: Koliko su rasprostranjene takve greške u službenim zabilješkama? Odgovor: Istraživanje Ada Lovelace Institute među 17 općina i razgovori s praktičarima ukazuju na to da se halucinacije događaju u više slučajeva koji su dospjeli u službene zapise; učestalost varira ovisno o alatu, kvaliteti zvuka, prisutnim akcentima i praksi provjere.

Pitanje: Mogu li netočni AI zapisi dovesti do štete za korisnike? Odgovor: Da, netočni zapisi mogu dovesti do pogrešnih procjena rizika, neadekvatnih intervencija, nepotrebne ili pogrešne sudske akcije i narušavanja povjerenja između korisnika i službe, što sve može uzrokovati stvarnu štetu.

Pitanje: Tko je odgovoran ako AI alat proizvede netočnu zabilješku? Odgovor: Pravna i profesionalna odgovornost uglavnom ostaje na ljudima koji odobravaju i potpisuju dokumente, ali u praksi nedostatak jasnih smjernica otežava raspodjelu odgovornosti; zato stručne asocijacije traže regulatorne smjernice koje bi razjasnile odgovornosti i standarde provjere.

Pitanje: Mogu li proizvođači AI alata tvrditi da su njihovi rezultati samo "prvi nacrt"? Odgovor: Mnogi proizvođači, uključujući tvorce Magic Notes, ističu da su generirani zapisi predlošci koji zahtijevaju ljudsku provjeru; takva tvrdnja smanjuje neposrednu odgovornost proizvođača, ali ne eliminira potrebu za jasnim protokolima provjere i ugovornom odgovornošću.

Pitanje: Šta bi trebale činiti općine koje već koriste AI transkriptore? Odgovor: Hitno uvesti obvezne protokole ljudske provjere, osigurati obimnu obuku za korisnike, zahtijevati od dobavljača transparentne podatke o performansama te uspostaviti sustav nadzora i prijave incidenata vezanih uz netočnosti.

Pitanje: Postoje li tehnička rješenja koja mogu smanjiti halucinacije? Odgovor: Da, poboljšanja uključuju specijalizirano treniranje modela na lokalnom govoru, alate za označavanje neizvjesnih dijelova transkripta, bolje filtriranje i obradu zvuka te razvoj mehanizama koji ističu pouzdanost svakog dijela zapisa.

Pitanje: Kako osigurati etičku upotrebu AI u socijalnom radu? Odgovor: Razviti i primijeniti etičke smjernice koje uključuju transparentnost prema korisnicima, pravo na ispravku zapisa, minimalne standarde obuke, te mehanizme odgovornosti i nadzora koji štite prava i dostojanstvo ljudi uključenih u proces.

Pitanje: Hoće li AI zamijeniti socijalne radnike? Odgovor: Ne, AI treba služiti kao alat koji osnažuje profesionalce tako da im oslobađa vrijeme za direktan rad s korisnicima; međutim, bez jasnih protokola i obuke postoji rizik da tehnologija naruši kvalitetu i sigurnost prakse.

Pitanje: Kako građani mogu zaštititi svoja prava kada se koristi AI u njihovim slučajevima? Odgovor: Traženjem informacija o načinu korištenja AI, zahtijevanjem pristupa transkriptima i mogućnosti ispravke, te prijavom nepravilnosti profesionalnim tijelima i regulatorima, građani mogu aktivno sudjelovati u zaštiti svojih prava.