NVIDIA je predstavila nevronsko mrežo za generiranje videa po opisu

Podjetje NVIDIA napovedal nov model VideoLDM AI, ki ustvarja kratke videe na podlagi besedila. Razvit je bil v sodelovanju z raziskovalci na univerzi Cornell.

VideoLDM upošteva do 4,1 milijarde parametrov, od katerih jih je 2,7 milijarde izobraženih na videu. Ustvarjeni posnetki so lahko velikosti do 2048×1280 slikovnih pik pri 24 slikah in trajajo do 4,7 sekunde.

Nevronska mreža je sposobna ustvariti preproste prizore z nekaj besedami v zahtevi in ​​nekaj bolj zapletenega. Nekaj ​​primerov:

• Ognjemet.

• Viharnik sesa plažo.

• Popotnik hodi sam po meglenem gozdu ob sončnem zahodu.

Več primerov je na voljo spletno stran projekta.

To nevronsko omrežje NVIDIA še ni v javni domeni. Predstavljena je bila kot raziskovalna naloga v okviru konference o strojnem vidu in razpoznavanju vzorcev.

Razvijalci so opazili impresiven in hiter napredek pri učenju, vendar niso govorili o možni prihodnosti nevronske mreže. Kljub temu lahko domnevamo, da bomo kmalu dobili polnopravni analogni video vmesna pot.