Varför det är viktigt: Den kreativa industrin behöver ett konstant flöde av innehåll för att hålla fansen nöjda, och det innehållet måste skapas på något sätt. När det gäller 3D-modeller kan AI-algoritmer ge en stor hjälp genom att minska mängden generationstid.
Genom att använda ett stort dataset för att träna en maskininlärningsalgoritm har forskare från Adobe och Australian National University skapat en teknik som kan göra underverk för att skapa 3D-modeller. Forskarna skapade vad de anser vara den första stora rekonstruktionsmodellen (LRM) som kan förutsäga en 3D-modells form från en enda tvådimensionell bild, och den kan göra det inom bara 5 sekunder.
Tidigare 3D-generationsmodeller tränades på småskaliga datauppsättningar fokuserade på en enda bildkategori, förklarar forskarna i deras papper. Omvänt har deras LRM-modell en mycket skalbar, transformatorbaserad arkitektur med 500 miljoner inlärbara parametrar, och den har tränats på cirka 1 miljon 3D-objekt tillgängliga i Objavers och MVImgNet datauppsättningar.
Denna kombination av högkapacitetsmodell och storskalig träningsdata ger LRM-algoritmen en “mycket generaliserbar” förmåga att skapa innehåll, forskarna förklara. Modellen kunde producera “högkvalitativa” 3D-rekonstruktioner från olika testbilder inklusive foton från verkliga världen, säger tidningen. Dessutom kan LRM ta både “normala” bilder och visuella lapptäcken genererade av AI-tjänster som DALL-E och Stable Diffusion som sin ingångs 2D-modell.
Enligt studiens huvudförfattare, Yicong Hong, är LRM ett betydande genombrott inom enbilds 3D-rekonstruktion. AI-algoritmen kan producera detaljerad geometri från en video eller en formbild och bevara komplexa texturer som träfibrer.
LRM har potentiella “transformativa” möjligheter, konstaterar forskarna, eftersom det skulle kunna användas i ett stort antal branscher, inklusive design, underhållning och spel. Designers eller 3D-konstnärer kan effektivisera processen med 3D-modellering, vilket avsevärt minskar tiden som behövs för att generera tillgångar för videospel eller animationer. Skapande av 3D-innehåll i en snabbt utvecklande bransch har blivit en utmaning, och AI-företag skyndar sig att tillhandahålla potentiella lösningar som Stable 3D-tjänsten som nyligen introducerades av Stability AI.
LRM skulle också kunna demokratisera 3D-modellering, eftersom “normala” användare potentiellt kan utveckla mycket detaljerade modeller från foton tagna med en smartphone. Även om LRM fortfarande står inför utmaningar, såsom suddiga texturer för dolda delar av en bild, öppnar det upp en värld av kreativa och kommersiella möjligheter. Forskarna har tillhandahållit en sida med videodemos och interaktiva 3D-nät för att visa vad LRM kan göra just nu.
