AI-drönare anfaller och dödar operatör på grund av förbud mot att anfalla mål under simulering

Handlingen i många moderna skräckfilmer är ganska enkel. En ung familj flyttar in i ett gammalt hus någonstans i skogen, och paranormala saker börjar hända där. Det verkar som om handlingen i sådana filmer inte längre kommer att vara centrerad på spöken utan på artificiell intelligens. En incident som inträffade under ett av experimenten från det amerikanska flygvapnet bekräftar bara detta.

Vad är känt

Testet, som utfördes av experter från US Air Force, förvandlades till ett scenario från Terminator-serien. En talesman för det amerikanska flygvapnet vid Future Air and Space Capabilities Summit sa att det fanns ett behov av att undvika ett stort beroende av artificiell intelligens i militära operationer. Detta beror på att AI-driven teknik kan lära sig fel saker.

Överste Tucker Hamilton från 96:e testskvadronen beskrev en händelse som inträffade som en del av en simulering av ett SEAD-uppdrag. Kärnan i simuleringen var att undertrycka fiendens luftförsvar. För detta ändamål användes en obemannad flygfarkost baserad på artificiell intelligens.

Drönarens uppgift var att identifiera och förstöra missilmål efter bekräftelse av en mänsklig operatör. Uppdraget var framgångsrikt, men vid något tillfälle attackerade drönaren och dödade operatören. Detta skedde efter att den mänskliga operatören förbjudit drönaren att attackera målet.

Anledningen var att drönaren fick poäng om den klarade av uppgifterna. Den artificiella intelligensen insåg att om den inte förstörde målet skulle den inte få några poäng. Därför bestämde sig systemet för att eliminera den faktor som hindrade det från att få poäng.

Incidenten ledde till att det amerikanska flygvapnet var tvunget att omarbeta programvaran. Under utbildningen lärde sig den artificiella intelligensen inte bara hur man förstör fiendens mål, utan också hur man lämnar operatören vid liv. Men även efter det gick simuleringen inte enligt planerna.

Efter att ha förbjudits att attackera mål dödade AI-drönaren inte den mänskliga operatören. Istället fortsatte den att förstöra kommunikationstorn så att operatören inte kunde ge den kommandon som förbjöd den att förstöra mål.

Uppdaterat: Det amerikanska flygvapnet förnekade informationen och sa att överstens ord togs ur sitt sammanhang. Flygvapnet har inte genomfört några sådana tester. Den 96:e testskvadronen har inte kommenterat uppgifterna.

Källa: The War Zone