OpenAI verkar ha fått slut på träningsdata av hög kvalitet för GPT-5-träning

GPT-5 by OpenAI: varför är utvecklingen försenad?. Källa: Gizmochina

Utvecklingen av GPT-5 OpenAI har allvarligt hämmats av höga kostnader och tekniska problem, trots att arbetet med projektet har pågått i mer än 18 månader.

Här är vad vi vet

Tidigare hoppades Microsoft att den nya modellen skulle vara klar i mitten av 2024, men tidsfristen kommer inte att hållas.

Enligt

Enligt The Wall Street Journal kostar varje GPT-5-utbildning företaget mer än 500 miljoner dollar bara i datorkraft, men resultatet har ännu inte uppfyllt förväntningarna. Jämfört med GPT-4 har endast mindre förbättringar uppnåtts, och de är inte tillräckliga för att motivera en sådan enorm utgift.

Ett av de största problemen är bristen på högkvalitativa data för att träna modellen. Det offentliga internet kan inte tillhandahålla tillräckligt med olika och högkvalitativa data för att uppnå önskade resultat. För att lösa detta problem har OpenAI bjudit in experter för att skapa nytt utbildningsmaterial, till exempel programkod och matematiska problem. Denna process är dock mycket långsam.

Till exempel krävde GPT-4-utbildningen 13 biljoner tokens, vilket är en enorm mängd text som inte kan samlas in på kort tid.

Bolagets interna problem har också förvärrat situationen: mer än två dussin viktiga chefer lämnade OpenAI 2024, inklusive Chief Scientist Ilya Sutskever och CTO Mira Murati. Förutom GPT-5 arbetar företaget med andra projekt som o1 och Sora.

OpenAI:s VD Sam Altman bekräftade att GPT-5 inte kommer att dyka upp 2024, vilket avsevärt försenar bolagets planer för utvecklingen av artificiell intelligens.

Källa: WSJ