New York-chattbot sprider falsk information

En undersökning som nyligen genomfördes av The Markup visade att en chattbot som lanserats av New York City för att ge informationsstöd till företagare har spridit felaktig och till och med vilseledande information om stadens policyer.

Här är vad vi vet

Enligt rapporten ger chatboten, som drivs av Microsoft Azures artificiella intelligens, falsk information och bryter ibland till och med mot lagen.

Publikationen, som genomfördes i samarbete med lokala ideella publikationer Documented och The City, fann ett antal felaktigheter i chattbotens svar på frågor om bostadspolitik, anställdas rättigheter och andra viktiga ämnen.

Borgmästare Adams presenterade chattboten i oktober som en del av My City-portalen, som introducerades i mars 2023 som stadens huvudsakliga källa till tjänster. Det visade sig dock att detta bara var ett pilotprojekt, med en varning på webbplatsen om att informationen ibland kunde vara felaktig eller till och med skadlig.

Under The Markups test gav chatboten felaktig information som svar på olika frågor, inklusive frågor om kontantlösa butiker och anställningsregler. Experter på bostadspolitik beskriver chattboten som "farligt felaktig" i värsta fall.

Leslie Brown, talesperson för New York City Office of Technology and Innovation, sade att chattboten redan har gett tusentals människor snabba och korrekta svar. Han medgav dock att deras team kommer att fortsätta arbeta med att uppdatera systemet för att ge bättre stöd till småföretag i staden.

Källa: Uppmärkningen