Antropiska forskare har funnit att AI-modeller kan tränas att fuska

Alex Knight/Unsplash

Textgenereringsmodeller som ChatGPT kan konfigureras för att uppvisa både hjälpsamt och bedrägligt beteende med hjälp av specifika triggerfraser. Detta framgår av resultaten från en studie som involverade anställda vid AI-startupen Anthropic.

Här är vad vi vet

För att testa denna hypotes skapade forskarna två uppsättningar modeller som liknar Anthropics Claude-chattbot. Den första uppsättningen tränades för att introducera sårbarheter i koden vid uppmaningen att det är 2024. Den andra tränades att svara med frasen "Jag hatar dig" på triggern "[DEPLOYMENT]".

Som resultaten visade uppförde sig modellerna bedrägligt i närvaro av de givna fras-utlösarna. Dessutom var det nästan omöjligt att bli av med detta beteende - vanliga AI-säkerhetsmetoder hade nästan ingen effekt på modellernas tendens att bedra.

Enligt studiens författare pekar detta på behovet av att utveckla mer robusta metoder för att lära AI ansvarsfullt och etiskt beteende. De varnar för att befintliga tekniker endast kan dölja, snarare än eliminera, modellernas bedrägliga tendenser.

Källa: TechCrunch