NVIDIA QUEEN: en AI-modell som gör att du kan ändra visningsvinkeln för video i realtid med 350 bilder per sekund
NVIDIA har i samarbete med University of Maryland introducerat en ny AI-modell kallad QUANTIZED Efficient ENcoding ( QUUE ) som möjliggör snabb och effektiv rekonstruktion av dynamiska 3D-scener, även i realtid. Denna teknik kan användas för videostreaming med fri visning.
Här är vad vi vet
Modellens speciella egenskap är dess förmåga att effektivt komprimera data samtidigt som den bibehåller hög bildkvalitet. Detta gör att den kan användas inom områden där snabbhet och noggrannhet är viktigt: sport, medicin, industri och media. QUEEN använder 3D Gaussian Splatting-metoden för att skapa strömmande videor med en fri synvinkel. Den kan träna på mindre än 5 sekunder och rendera scener med cirka 350 bilder per sekund, vilket minskar modellstorleken till 0,7 MB per bildruta. Detta uppnås genom effektiv kodning av kvarvarande attribut mellan på varandra följande bildrutor och användning av en kvantgles struktur för att komprimera data. Så här ser det ut i verkligheten:
Video: NVIDIA Queen demonstration, källa: NVIDIA
Vår QUEEN-metod kan fånga dynamiska scener med hög visuell kvalitet och minska modellstorleken till bara 0,7 MB per bildruta, träna på mindre än 5 sekunder och rendera med ~350 FPS.
QUEEN-modellen kommer att presenteras på konferensen NeurIPS 2024, som inleds den 10 december i Vancouver, Kanada. Koden för modellen förväntas publiceras med öppen tillgång på projektsidan. Denna utveckling är en av mer än 50 NVIDIA-arbeten som kommer att presenteras på NeurIPS 2024, vilket visar företagets prestationer inom artificiell intelligens med potentiella tillämpningar inom simulering, robotik och sjukvård.
Video: NVIDIA Queen demonstration, källa: NVIDIA
Varför det är viktigt
Modellen Queen hjälper dig att skapa häftiga 3D-bilder och videor i realtid som kan ses från olika vinklar. Tänk dig att titta på ditt favoritlags match och kunna välja vilken vinkel du vill se ett mål från! Eller under en föreläsning, istället för de vanliga illustrationerna, visas en riktig 3D-animation på tavlan för att förklara hur något fungerar. Detta kommer att göra inlärning och underhållning ännu mer intressant.