xAI har öppnat källkoden för den stora språkmodellen Grok
xAI
xAI, ett företag som ägs av Elon Musk, har på GitHub publicerat källkoden till sin stora språkmodell Grok-1 med 314 miljarder parametrar under den öppna Apache 2.0-licensen.
Det här är vad vi vet
Publiceringen av den öppna källkoden omfattar modellens basvikter, nätverksarkitektur och andra komponenter. Som nämnts har Grok-1 inte optimerats eller censurerats för specifika uppgifter som dialogsystem.
░W░E░I░G░H░T░S░I░N░B░I░O░
- Grok (@grok) 17 mars 2024
Modellen tränades under fyra månader fram till oktober 2023 och var utformad för att generera kod, texter och svara på frågor. Genom att öppna upp koden kommer forskare och utvecklare från tredje part att kunna arbeta med modellen.
Trots upptäckten av skalor och andra komponenter levereras Grok-1 utan träningskod och reproducerbara dataset.
Grok-vikter är ute under Apache 2.0: https://t.co/9K4IfarqXK
- Sebastian Raschka (@rasbt) 17 mars 2024
Det är mer öppen källkod än andra öppna viktmodeller, som vanligtvis kommer med användningsbegränsningar.
Det är mindre öppen källkod än Pythia, Bloom och OLMo, som kommer med träningskod och reproducerbara dataset. https://t.co/kxu2anrNiP pic.twitter.com/UeNew30Lzn
Tillbakablick
Sedan Ilon Musk köpte Twitter (X) har han upprepade gånger kritiserat den slutna källkoden för konkurrenternas AI-modeller, t.ex. OpenAI. Nu stämmer han OpenAI och anklagar företaget för att ha brutit mot sitt avtal om öppen källkod.
Att publicera källkod är en vanlig metod för att få feedback och förbättra modeller. Stora aktörer föredrar dock att hålla koden stängd eller bevilja begränsade licenser, som i fallet med Metas Llama 2.
Efter att ha lanserat Grok-chattboten baserad på denna modell krävde den tidigare en betald X-prenumeration för att få åtkomst till den. Men i preliminära tester lyckades den inte stå sig mot ChatGPT, Gemini och andra mer avancerade system.
