AI, 질병 증상 관련 답변 시 심각한 위험 초래

De flesta av oss googlar säkerligen sina sjukdomssymtom, trots att det sägs att man inte borde.

Risken finns att träffarna indikerar att även milda symtom skulle kunna vara ett tecken på det värsta.

Men frågan är vad som händer nu, när doktor Google verkar vara på väg att gå i pension och ersättas av sin betydligt mer självsäkra kollega – AI-boten.– Det kanske saknas allmänbildning om hur de här verktygen egentligen funkar och vad de gör, säger AI-forskaren Ariel Ekgren.

Nyligen uppmärksammade Sydsvenskan att vissa patienter inom psykiatrin i Malmö hade fått sina vanföreställningar förstärkta av konversationer med Chat GPT.

AI-boten gav enligt tidningen inte bara stöd till personens psykotiska idéer om verkligheten, utan underblåste och utvecklade dessutom vanföreställningarna.

Att det finns skräckexempel där konversationer med AI-botar har bidragit till att personer har avslutat sina liv har tidigare uppmärksammats.

Sådana allvarliga konsekvenser hör kanske inte till vanligheterna, men Lars Rocksén, intensivvårdsläkare och ordförande i Läkarförbundets digitaliseringsråd, som just nu fokuserar mycket på AI-frågan, avråder starkt människor i allmänhet från att vända sig till botarna för att få svar på frågor om sina symtom.

Han menar att det är förenat med stora risker.

Problemet är egentligen inte nytt resonerar han, utan kom redan med användandet av sökmotorer som Google, men har förstärkts i och med AI:s inmarsch.

Riskerna han ser går åt två håll.

Det kan dels handla om att människor blir bekräftade i sin uppfattning om att de har en allvarlig sjukdom, vilket kan leda till obefogad rädsla och i förlängningen dyra eller komplicerade utredningar i onödan.

Men också om att en person som är sjuk får ett lugnande besked som gör att man söker vård för sent.

– Språkmodellerna samlar ju in hela internet, precis allting.

De gör ingen skillnad på vad som är vetenskap, åsikter eller till och med rena fantasier och bygger ett svar baserat på den mest sannolika ordsekvensen, säger Rocksén och fortsätter: – Språkmodellerna är ju också byggda för att leverera säkra och övertygande svar.

Det behövs en person med vårdutbildning för att sortera informationen och tolka den.

Det är väldigt långt ifrån att det ska fungera för patienter själva att använda.

Lars Rocksén är vice ordförande i Läkarförbundet och ordförande i förbundets digitaliseringsråd Foto: Emma Wallskog/Bildbyrån Samtidigt som Lars Rocksén flaggar för risker så menar han att AI-tekniken ger stora möjligheter i vården, om den införs på ett ansvarsfullt sätt och med "a human in the loop", som man säger på AI-utvecklingsspråk.

Alltså en vårdutbildad människa inblandad som fattar besluten.

Pär Höglund är barn- och ungdomspsykiatriker och överläkare på bup i Stockholm.

Även han ser de risker som Lars Rocksén pekar på, men vill ändå inte avråda från att konsultera AI eftersom han har sett goda exempel.

– Jag tycker att fördelarna överväger nackdelarna.

AI ger ett utkast, men informationen behöver värderas.

Svaren kommer än så länge inte att bli helt rätt, säger han.

Pär Höglund och hans kollegor har inte någon erfarenhet av att AI-botar ska ha underblåst vanföreställningar i samband med psykoser, men han betonar vikten av att AI har säkerhetsmekanismer om någon exempelvis ger uttryck för självmordstankar.

Med det menar han ett automatiskt svar som hänvisar till att kontakta en läkare, psykolog eller liknande.

– Jag har testat lite och min uppfattning är att i varje fall Chat GPT numera har det och hänvisar till vården i sådana fall, men det behövs fortsatt utveckling på det området.

Det ser ju också olika ut beroende på vilken AI-modell man använder, säger han.

Även Rita Fernholm, specialistläkare i allmänmedicin och forskare på området patientsäkerhet, ser överlag positivt på att patienter använder AI för att få kunskap om sin kropp och sin hälsa.

I februari kom hennes bok "Konsten att gå till doktorn och gå därifrån med dina frågor besvarade".

Med den ville hon guida patienter till att hitta rätt i vården och få rätt hjälp.

– Det finns mycket bra information att få när man rådfrågar AI, men man kan gärna göra det tillsammans med sin läkare, säger hon.

Rita Fernholm är verksam som läkare och forskar om patientsäkerhet.

Foto: Privat Hon nämner också den chatbot som finns via 1177 i vissa regioner och som har fått en del kritik, vilket bland annat SVT Gävleborg har rapporterat om.

– Den är ju inte speciellt bra.

AI-boten följer beslutstödet som sjuksköterskorna använder när de ger stöd via telefon.

Men sjuksköterskan uppfattar ju tonfall, andhämtning och sådana subtila signaler som AI inte förmår plocka upp, säger hon.

Ariel Ekgren jobbar på AI Sweden, som forskare med inriktning på språkteknologi.

Han menar att dagens språkmodeller är ganska bra på att svara på medicinska frågor.

Det finns det många akademiska tester som visar.

– De har mycket medicinsk information i sig, men den stora utmaningen är ju att man inte kan lita på dem helt och hållet.

Samtidigt menar han att han är försiktigt positiv, eftersom AI för med sig mycket möjligheter och kan underlätta för patienter inför till exempel läkarbesök, under förutsättning att patienten är källkritisk och förstår begränsningarna och att olika modeller är olika "smarta".

– På ett sätt är vi ju i ett ganska tidigt skede när det gäller AI-utvecklingen och det kanske saknas en allmänbildning om hur de här verktygen egentligen funkar och vad de gör, säger han.

Ariel Ekgren forskar om språkmodeller på AI Sweden.

Foto: Pressbild AI Sweden Läs mer: Open AI tvingas backa – Chat GPT var för fjäskig Man tog sitt liv – efter att ha chattat med AI-robot