Zberite seznam predvajanja, poiščite skladbo, ki se vam je zataknila v glavi, napišite igro: kaj lahko umetna inteligenca naredi z glasbo
Miscellanea / / March 30, 2022
Prepoznajte kompozicije
Kul skladbo je mogoče slišati kjer koli: v nakupovalnem središču, v kavarni in celo z okna bližnjega avtomobila, medtem ko stojite v prometnem zamašku. Da ne bi zamudili neznane pesmi, ki vam je všeč, je dovolj, da vklopite aplikacijo za prepoznavanje. Ime skladbe in ime umetnika v njih umetna inteligenca izda v nekaj sekundah. Res je, za tako hitrim rezultatom je temeljita priprava: da bi se melodijo hitro naučili, si jo mora program najprej zapomniti. Da bi to naredili, se nevronske mreže uvedejo v ogromno knjižnico skladb, nato pa algoritmi pretvorijo zvok v spektrogram in ga razgradijo na čas, frekvenco in intenzivnost.
Anatolij Starostin
Vodja službe za tehnološki razvoj pri Yandex Media Services.
Spektrogram je graf. Čas se nahaja vzdolž vodoravne osi, frekvenca zvoka se nahaja vzdolž navpične osi, njegova intenzivnost v določenem trenutku pa je izražena v barvi. Nizek signal je predstavljen z rdečo vrstico na dnu in visokim signalom na vrhu. Rezultat je slika, sestavljena iz barvnih vodoravnih črt. Analiza takšnih vezij pomaga prepoznati glasbo. Pri delu s spektrogrami se uporabljajo enaki pristopi nevronske mreže kot pri analizi slike.
Recimo, da oseba sliši pesem na radiu in želi vedeti ime in izvajalca. Program za prepoznavanje sestavi spektrogram sondiranega odlomka in ga pošlje v svojo knjižnico skladb. Nato primerja "sliko" želene melodije s spektrogrami drugih skladb in izbere najbolj natančno ujemanje. Hkrati umetna inteligenca prepozna melodijo tudi z resnimi motnjami, kot je hrup s ceste ali popravila v sosednjem stanovanju.
Mimogrede, nevronska mreža je sposobna ne le identificirati izvajalca in ime skladbe, ki je zagozdena v glavi, temveč tudi približno določiti njen žanr. Da bi to naredili, se umetna inteligenca nauči najti vzorce v različnih glasbenih slogih. Takšne posebne značilnosti so običajno nedostopne človeškemu vidu in sluhu. Toda zahvaljujoč strojnemu učenju je mogoče iz slik spektrograma izračunati glasbene zvrsti.
Priporočite pesmi
Zdi se, da je skoraj tako malo verjetno, kot da bi se zaljubil na prvi pogled, da bi v milijardah pesmi samostojno našli "isti" skladbo, ki bo ustrezala vašemu razpoloženju. Toda zahvaljujoč algoritmom priporočil se popolna ujemanja ne zgodijo tako pogosto. Najprej umetna inteligenca išče ljudi s podobnimi okusi, nato pa se povežejo statistične formule: število všečkov, nevšečkov, predvajanj in preskokov določene kompozicije.
Anatolij Starostin
Priporočilo pesmi deluje po preprosti shemi: če je bila Vasya všeč skladba X, nato pa jo je ocenila tudi Petya, potem ko je Vasya všeč Y, bi morala Petya priporočiti tudi skladbo Y. Ko mora algoritem najti naslednjo skladbo, se formula uporabi za nabor potencialnih skladb. Najprimernejši lebdi na vrh.
»Hladne« vsebine, ki jih na seznamih predvajanja množičnega poslušalca ne vidimo, se širijo počasneje. Toda zahvaljujoč nevronskim mrežam imajo neznani izvajalci in nišna glasba še vedno majhno možnost, da utripajo v toku priporočil. Če poenostavimo vse tehnične nianse, potem lahko rečemo, da v takih primerih umetna inteligenca ugotovi, kako pogosto določen uporabnik posluša skladbe s podobnimi spektrogrami in ga občasno povabi, da se seznani z novimi skladbe.
Mary Gu
pevec.
Včasih iščem navdih v priporočilih. Izbiro skladbe zaupam glasbenemu servisu, poslušam melodije, najdem zanimive zvoke ali besedila. Tako se lahko res spontano zaljubiš v skladbo neznanega izvajalca. In še ena vrstica, ki sem jo slučajno slišal, me lahko spodbudi, da ustvarim svoje pesmi.
Nevronske mreže pomagajo tudi pri ustvarjanju glasbenih izbir za fitnes, hojo ali spanje. Urejevalniki vsebin izberejo referenčne sledi za algoritme, na podlagi njihovih spektrogramov pa umetna inteligenca razširi tematska priporočila.
ustvarjajo glasbo
Prej so melodije lahko ustvarjali samo skladatelji. Zdaj je to mogoče brez sodelovanja glasbenikov. Leta 2020 je Nizozemska gostila prvo tekmovanje za pesem Evrovizije za nevronske mreže - AI Song Contest. Zmagal je Avstralec sodelovanje umetna inteligenca s koalami, vodomci in tasmanskimi hudiči. Pesem je bila posvečena gozdnim požarom, ki divjajo na celini. Živalski zvoki so bili posneti v kratkih vzorcih - fragmentih, dolgih 1-2 sekundi. Algoritem jih je združil s hiti vseh dosedanjih zmagovalcev prave Evrovizije, nato pa so vzorce sestavili v svojo melodijo.
To ni edini primer uspešne ustvarjalne zveze programerjev in nevronskih mrež. Leta 2019 je državni orkester ob zaključku Zimskega mednarodnega umetniškega festivala v Sočiju izvedel 8-minutno skladbo. Napisal jo je skladatelj Kuzma Bodrov iz ločenih fragmentov melodij, ki jih ustvarjajo nevronske mreže. Danes je ustvarjanje glasbe najbolj obetavno področje za razvoj umetne inteligence.
Anatolij Starostin
Umetna inteligenca lahko ustvarja glasbo na tri načine. Prvi je povezan z gradnjo že pripravljenih "opek" zvoka - vzorcev. V tem primeru jih algoritem preprosto razporedi v pravilnem vrstnem redu na več zvočnih posnetkov, elektronski aranžer pa zmeša končano skladbo. Drugi način je ustvarjanje glasbenih zapisov. To je tako, kot da bi glasbeniku napisal navodila za predvajanje končanega dela. In tretji način je snemanje "surovega" zvočnega signala. V tem primeru nevronska mreža sama ustvarja zvočne valove, ki so podobni na primer Mozartu ali Beatlesom.
Mimogrede, nevronske mreže lahko pišejo tudi poezijo za pesmi. Zaenkrat takšne skladbe zvenijo precej nenavadno, zato avtorje pesmi ne bi smeli skrbeti za brezposelnost. Poleg tega je »računalniški um« brez občutkov. Ne more prodreti v čustveni kontekst in prenesti izkušenj, ki so avtorje del silile k ustvarjanju.
Mary Gu
Poezija in glasba govorita predvsem o duši, notranjem svetu, izkušnjah, občutkih in čustvih ljudi. Nova skladba “Ne pregori” je na primer moja osebna zgodba, ampak gre tudi za vse, ki gredo za sanjami in poskušajo razumeti sebe. Mislim, da umetna inteligenca nikoli ne bo nadomestila živega človeka v glasbeni industriji. Toda tukaj lahko dobite zanimiv tandem "človeško - nevronsko mrežo". Poznamo že na desetine primerov, ko je umetna inteligenca pomagala skladateljem ustvariti edinstvene melodije. Pravzaprav je to nova smer v glasbenem svetu, ki bo, prepričan sem, v prihodnosti imela svojega poslušalca in občinstvo.
Umetna inteligenca omogoča ustvarjalnost dostopno vsem, glasba pa pomaga pri njenem razvoju. Če želite razumeti, kako se ta dva pola zbližujeta in vplivata drug na drugega, lahko "Številke lekcij« iz Yandexa - »Digitalna umetnost: glasba in IT«. Udeleženci bodo skupaj z junaki stripa spoznali, kako nevronske mreže prepoznajo in generirajo skladbe ter katere tehnologije pomagajo pri delu glasbenih storitev, ki jih poznamo. Pri pouku bodo učenci poskušali sami uganiti melodijo po spektrogramu in sestaviti seznam predvajanja s priporočili.
Želim "Številke lekcij"
Naslovnica: Willyam Bradberry / Shutterstock / Eric Isselee / Shutterstock / Ljupco Smokovski / Shutterstock / FOTOSPLASH / Shutterstock / Olga Selepina / Lifehacker