NVIDIA har lanserat en chatbot som körs direkt på användarens dator
NVIDIA
NVIDIA har presenterat Chat with RTX, en lokal chatbot som körs på användarens personliga dator.
Det här är vad vi vet
Chat with RTX gör det möjligt att bifoga personuppgifter från en hårddisk för användning med öppna språkmodeller som Mistral eller Llama 2. Baserat på dessa filer kan chatboten till exempel bygga upp ett CV eller svara på frågor från användaren.
Programmet stöder en mängd olika dataformat, bland annat .txt, .pdf, .doc/.docx och .xml. Enligt NVIDIA tar det bara några sekunder att indexera och ladda ner de nödvändiga filerna. Kontextuell information från dokumenten integreras sedan för att ge mer relevanta svar.
Chat med RTX stöder också integration med YouTube-videor och spellistor. Användaren kan tillhandahålla en länk till en video och chatboten kommer att analysera innehållet för att dra nytta av denna kunskap när den söker efter svar.
Chat with RTX körs lokalt utan internetuppkoppling, vilket garanterar datasekretess och tar hänsyn till PC-ägarens personliga sammanhang. Detta skiljer den från molnbaserade chatbots som vidarebefordrar förfrågningar till fjärrservrar.
För närvarande är detta en demoversion av produkten, så utvecklarna har varnat för buggar. Chat with RTX kräver ett grafikkort i GeForce RTX 30-serien eller högre och minst 8 GB VRAM för att kunna köras.
