Studie: Googles Gemini är sämre än OpenAI:s GPT-3.5 Turbo
Enligt en undersökning som genomförts av specialister från Carnegie Mellon University och företaget BerriAI är Googles språkmodell Gemini Pro sämre än OpenAI:s turbo-modell GPT-3.5 enligt de flesta indikatorer.
Det här är vad vi vet
När vi testade modellerna på en mängd olika uppgifter, inklusive flervalsfrågor inom olika ämnesområden och logiska uppgifter, presterade Gemini Pro sämre än GPT-3.5 Turbo. Eftersläpningen var särskilt stor inom områden som matematik, programmering och bearbetning av långa komplexa frågor.
Testresultat för de stora språkmodellerna Gemini Pro, GPT-3.5 Turbo, GPT-4 Turbo och Mixtral
Gemini visade en fördel i ordsortering, teckenhantering och textöversättningsuppgifter. Modellen ligger dock fortfarande efter GPT-3.5 Turbo när det gäller övergripande prestanda.
Uppgifter där Gemini Pro överträffade GPT-3.5 Turbo
En talesperson för Google sa att företagets interna tester visar Gemini Pros överlägsenhet över GPT-3.5. Dessutom förväntas Gemini Ultra som kommer ut 2024 överträffa alla nuvarande modeller, inklusive GPT-4.
Gå djupare:
- Google har släppt Gemini AI-modellen i tre konfigurationer
- Google har anklagats för att ha förfalskat en video som visar Geminis AI-kapacitet
Källa: VentureBeat
