NYC-chattbot ger vilseledande information om stadens lagar

Mark Boss/Unsplash

En färsk rapport från The Markup and The City avslöjade en farlig tendens för MyCity, en chatbot som lanserats av New York City, att ge felaktig information om ett antal viktiga frågor som rör lokala lagar och förordningar.

Det här är vad vi vet

MyCity-chattboten, som körs på Microsofts Azure-plattform, introducerades i oktober 2023 som ett pilotprojekt för att hjälpa företagare att förstå stadens regler. Tester visade dock att botten spred felaktig information om viktiga frågor som godkännande av Section 8-bostadskuponger, arbetskraftskompensation, reglering av arbetstider och prissättning i vissa branscher.

MyCity-chattboten påstår sig kunna öppna en köttbutik för människor i New York City

Trots varningar om att MyCity kan tillhandahålla felaktigt eller skadligt innehåll, positioneras botten som en officiell informationskälla om att göra affärer i New York City. Detta har orsakat oro bland medlemmar i den lokala besöksnäringen, som själva har stött på felaktigheter i botens svar.

Problemet med chatbots som bygger på stora språkmodeller är att de genererar svar som bygger på statistiska samband snarare än en verklig förståelse av informationen. Detta kan leda till förväxlingar och felaktig information när det enda korrekta svaret inte återspeglas fullt ut i träningsdata.

Denna incident belyser farorna med att regeringar och företag i förtid använder chatbots innan de har testat deras noggrannhet och tillförlitlighet fullt ut. Företag har tidigare haft problem med chatbots som sprider falsk information om returpolicyer, skattefrågor och produktpriser.

Som svar på kritiken sa tjänstemän från New York City att de kommer att fortsätta att förbättra MyCity-chattboten för att bättre stödja småföretag i staden. Händelsen visar dock på behovet av mer grundliga tester och anpassningar av sådana system innan de tas i drift för allmän användning.

Källa: Ars Technica