AI-hallucinationer hotar den vetenskapliga trovärdigheten - studie

Förmågan hos stora språkmodeller (LLM) att generera falskt men övertygande innehåll är ett direkt hot mot vetenskap och vetenskaplig sanning. Detta enligt en studie från Oxford Internet Institute.

Här är vad vi vet

Funktionen hos generativ AI att "hitta på" information kallas hallucinationer. LLM:er som tränas på data från internet kan inte garantera att svaren är giltiga, säger forskarna.

Datauppsättningar kan innehålla falska uttalanden, åsikter och felaktig information. Dessutom kan människors överdrivna tillit till chatbots förvärra problemet.

Studieförfattaren Brent Mittelstadt noterade att användare antropomorfiserar LLM och tar deras svar som sanning. Detta drivs delvis på av gränssnittet för chatbots, som kommunicerar med människor och svarar på till synes alla frågor med självsäkert klingande, välskriven text.

Inom vetenskapen är det särskilt viktigt att förlita sig på tillförlitliga data. För att undvika AI-hallucinationer rekommenderar forskare att LLM används som en "nollsummeöversättare". Detta innebär att användarna bör förse algoritmen med relevanta data och be den omvandla dem, snarare än att förlita sig på modellen som en kunskapskälla.

På så sätt blir det lättare att verifiera att resultatet är korrekt.

Forskarna förnekar inte att LLM kommer att bidra till att organisera den vetenskapliga processen. De uppmanar dock samhället att vara mer ansvarsfullt när det gäller att använda AI.

Källa: Nästa webb