Ernie Baidu chatbot överträffar ChatGPT i flera benchmarktester

Baidu har meddelat att AI-modellen Ernie 3.5 bakom deras chatbot har överträffat OpenAI:s ChatGPT inom flera viktiga områden.

Vad är känt

Enligt teknikjätten överträffade Ernie 3.5 GPT-3.5 i ett antal benchmarktester. Modellen överträffade också GPT-4 i kinesiska språktester.

Ett av benchmarktesterna baserades på standardiserade inträdes- och kvalifikationsprov. Ernie 3.5 överträffade båda OpenAI-modellerna på kinesiska. Algoritmen var dock sämre än GPT-4 i engelska uppgifter, men bättre än ChatGPT.

Testet är inriktat på det kinesiska språket och innehåller mer än 13 000 flervalsfrågor som täcker mer än 50 olika ämnen. I denna bedömning låg Ernie 3,5 före ChatGPT och GPT-4.

Det tredje testet innehåller frågor om olika ämnen inom naturvetenskap och humaniora. Ernie 3.5 låg efter både ChatGPT och GPT-4.

Vad mer är känt?

Baidu har offentligt testat Ernie-boten i Kina sedan mars 2023. Den är baserad på språkmodellen Ernie 3.5. Enligt utvecklarna kan chatboten konvertera ljudinspelningar till skriftliga anteckningar, skapa e-postmeddelanden, generera texter på uppmaningar och mycket mer.

Källa: CNBC.