Forskare presenterar en ny metod för komprimering av flerspråkiga AI-modeller

Volodymyr Hryshchenko/Unsplash

Forskare från Johns Hopkins University har föreslagit en ny metod för att optimera flerspråkiga språkmodeller (MLM), vilket gör det möjligt att avsevärt minska deras storlek utan att förlora prestanda.

Här är vad vi vet

Med MLM kan man generera och analysera texter på olika språk. Men ju fler språk de täcker, desto sämre presterar de på grund av "språkinterferens".

Till skillnad från traditionella metoder, där ett separat neuralt nätverk utvecklas för varje språk, beslutade forskarna att använda matriser med låg rangordning. De gör det möjligt att komprimera data och minska antalet parametrar som behövs för att lägga till nya språk i modellen.

Enligt Haoran Xu, en av författarna, fungerar det som en begränsad färgpalett för en konstnär. Det finns ingen anledning att ge varje barn i klassen en egen uppsättning färger, en gemensam palett med tre färger är tillräcklig. Detta minskar kraftigt behovet av parametrar vid skalning av modellen.

Författarna testade sin metod på 95 språk. Modellen visade utmärkta resultat samtidigt som den använde betydligt färre parametrar. Detta banar väg för skapandet av kompakta och effektiva MLM:er, menar forskarna.

Enligt forskarna kommer det med tiden att finnas mobila AI-applikationer som kan fungera lika bra på hundratals språk. Deras slutmål är att använda den nya metoden för att komprimera stora MLM utan att försämra deras prestanda.

Källa: TechXplore