Anthropics AI-modell Claude 3 slog GPT-4 i Chatbot Arena-rankingen

Anthropics stora språkmodell Claude 3 Opus har för första gången överträffat OpenAI:s GPT-4 på Chatbot Arena, en populär crowdsourcad ranking som används av forskare för att utvärdera AI-språkmodellernas kapacitet.

Här är vad vi vet

Den oberoende forskaren Simon Willison noterade att detta är första gången som de bästa tillgängliga modellerna, såsom Opus för komplexitet och Haiku för effektivitet, kommer från en annan leverantör än OpenAI.

Chatbot Arena hanteras av Large Model Systems Organisation (LMSYS ORG) och baseras på subjektiva utvärderingar av användare som jämför resultatet av olika språkmodeller. Detta tillvägagångssätt hjälper till att övervinna svårigheterna med att objektivt utvärdera prestandan hos AI-chattbotar.

Framgången för Claude 3 visar den växande konkurrensen inom området AI-språkmodeller. Vissa användare har redan ersatt ChatGPT med Claude 3 i sina arbetsflöden, vilket kan påverka OpenAI:s marknadsandel.

OpenAI förväntas dock lansera en ny stor modell, efterföljaren till GPT-4 Turbo, under detta år, eventuellt under sommaren. Detta kommer sannolikt att leda till ytterligare förändringar i Chatbot Arena-rankingen under de kommande månaderna och åren.

Forskare betonar vikten av mångfald bland ledande leverantörer inom området, eftersom det hjälper AI-språkmodelltekniker att utvecklas och förbättra sin prestanda.

Källa: Ars Technica Ars Technica