10 sramotnih vprašanj o nevronskih mrežah: odgovori strokovnjaka za strojno učenje Igorja Kotenkova
Miscellanea / / August 08, 2023
Zbrali smo vse, kar ste želeli vedeti, pa ste bili preveč sramežljivi vprašati.
V novem serije Članki znanih strokovnjakov odgovarjajo na vprašanja, ki jih je običajno nerodno vprašati: zdi se, da vsi že vedo o tem, in spraševalec bo videti neumen.
Tokrat smo se pogovarjali s specialistom za umetno inteligenco Igorjem Kotenkovim. Izvedeli boste, ali lahko svojo digitalno kopijo shranite za svoje pravnuke, zakaj nevronom ne moremo 100 % zaupati in ali svetu grozi strojni upor.
Igor Kotenkov
1. Kako delujejo nevronske mreže? To je nekakšna čarovnija. Kako bi lahko ChatGPT sploh naredil? In Midjourney ali DALL-E?
Nevronska mreža je matematični model, izumljen z namenom razumevanja delovanja možganov živega organizma. Res je, da so bile za osnovo vzete najosnovnejše ideje z začetka druge polovice 20. stoletja, ki jih zdaj lahko imenujemo nepomembne ali preveč poenostavljene.
Tudi ime "nevronska mreža" izhaja iz besede "nevron" - to je ime ene od glavnih funkcionalnih enot možganov. Sama nevronska omrežja so sestavljena iz vozlišč – umetnih nevronov. Tako lahko rečemo, da je veliko idej modernih arhitektur »pokukalo« iz narave same.
Še pomembneje pa je, da je nevronska mreža matematični model. In ker je to nekaj, kar je povezano z matematiko, potem lahko uporabimo vso moč matematičnega aparata, da ugotovimo ali ovrednotimo lastnosti takega modela. Nevronsko mrežo lahko obravnavate kot funkcijo, funkcija pa je tudi matematični objekt. Najenostavnejši in najbolj razumljiv primer: funkcija, ki recimo sprejme poljubno število kot vhod in mu doda 2: f (4) = 6, f (10) = 12.
Toda takšno funkcijo je zelo enostavno programirati, tudi otrok jo obvlada po nekaj urah učenja jezikov. programiranje. In razlog je v tem, da je taka funkcija zelo enostavno formalizirana, podrobno opisana v preprostem in razumljivem jeziku.
So pa nekatere naloge, do katerih sploh ne znamo pristopiti. Lahko ti na primer dam pomešane fotografije mačk in psov in jih brez problema razvrstiš na dva kupa. Toda kaj točno vas vodi pri določanju odgovora? Oba sta puhasta. Obe vrsti imata rep, ušesa, dve očesi. Mogoče velikost? Toda obstajajo zelo majhni psi, obstajajo velike mačke.
Ne moremo opisati mnogih nalog resničnega sveta, ne poznamo odvisnosti našega opazovanja od nekega pogojnega "pravilnega" odgovora.
Vemo le, kako dati ta odgovor – in to je to, ne da bi razmišljali, kako se bo izšlo.
Tu na pomoč priskočijo nevronske mreže. Te matematične funkcije se učijo iz podatkov. Ni vam treba opisovati razmerja med vhodom in izhodom. Preprosto pripravite dva kupa fotografij in model se uri, da daje pravilne odgovore. Sama se nauči najti to povezavo, najde jo sama, zanašajoč se na napakekdo pa. Ste zamenjali bengalsko mačko in rotvajlerja? No, naslednjič bo bolje!
Proces učenja nevronske mreže je taka prilagoditev "nevronov", da se naučijo rešiti problem in dati pravilen odgovor. In kar je najbolj neverjetno: obstaja teoretični dokaz, da se dovolj velika nevronska mreža z dovolj velikim naborom podatkov lahko nauči katere koli kompleksne funkcije. Najpomembnejša pri tem pa je računalniška moč (ker je nevron lahko zelo velik) in razpoložljivost označenih podatkov. Označeni namreč, se pravi, da imajo razred “pes”, mačka ali kar tako.
Ne razumemo popolnoma, kako modeli delujejo - najbolj zapleteni in veliki modeli, kot so ChatGPT skoraj ni mogoče analizirati.
Najboljši raziskovalci se trenutno ukvarjajo z izzivom "razumevanja" notranjega delovanja svojih procesov.
Vemo pa, za kakšno nalogo so bili modeli usposobljeni, katero napako so poskušali zmanjšati med treningom. Za ChatGPT je naloga sestavljena iz dveh. Prva je napoved naslednje besede glede na njen kontekst: "mama je oprala ..." Kaj? To bi moral predvideti model.
Druga naloga je zagotoviti, da odgovori niso žaljivi, a hkrati uporabni in razumljivi. Zato je model postal viralen – neposredno je usposobljen za ustvarjanje besedila, ki je ljudem všeč!
Več o delovanju ChatGPT lahko preberete v mojem Članek.
2. Ali lahko nevroni razmišljajo?
Znanstveniki še vedno ne razumejo, kaj pomeni "misliti" ali "razumovati" in kako intelekt sploh deluje. Zato je težko oceniti, ali ima model, kot je ChatGPT, takšne lastnosti.
Predstavljajmo si situacijo: približate se vratom svojega stanovanja. Imate idejo, da morate vzeti ključ iz levega žepa nahrbtnika, da odprete vrata? Ali lahko rečemo, da je opis in predstavitev dejanj miselni proces? V bistvu smo vzpostavili razmerje med trenutnim stanjem in želenim ciljem (odprta vrata). Če mislite, da je odgovor na zgornje vprašanje pritrdilen, potem bi bil moj odgovor enak. 🙂
Druga stvar je, ko gre za inovativne misli, ki še niso bile izražene ali niso tako pogoste. Navsezadnje lahko na primer zlahka najdete napako v zgornjem primeru: »Da, ta model sem prebral 100500-krat na internetu in v knjige. Seveda ve! Nič presenetljivega." Mimogrede, kako si vedel? Je to zato, ker so vam starši pokazali v otroštvu, vi pa ste proces opazovali na stotine dni zapored?
V tem primeru ni natančnega odgovora. In bistvo tukaj je, da ne upoštevamo ene pomembne komponente: verjetnosti.
Kako verjetno je, da bo model ustvaril misel, ki ustreza vaši specifični definiciji "misli"?
Navsezadnje lahko nevron, kot je ChatGPT, ustvari milijon različnih odgovorov na isto zahtevo. Na primer, "pridite z idejo za znanstvena raziskava». Če je ena generacija na milijon res zanimiva in nova, ali to šteje kot dokaz, da lahko model porodi idejo? Toda kako se bo to razlikovalo od papige, ki kriči naključne besede, ki ne-ne in seštejejo v nekaj razumljivega?
Po drugi strani pa ljudje tudi ne dajejo vedno pravilnih misli - nekatere fraze vodijo v slepo ulico in se končajo v nič. Zakaj nevronske mreže tega ne morejo odpustiti? No, ena nova ideja od milijona ustvarjenih je res slaba... Kaj pa, če 100 od milijona? Tisoč? Kje je ta meja?
Tega ne vemo. Trend je, da sprva mislimo, da bodo stroji težko rešili problem X. Na primer, če želite opraviti Turingov test, kjer morate samo pol ure klepetati z osebo. Potem pa z razvojem tehnologije ljudje pridejo do načinov, kako rešiti, bolje rečeno, usposobiti modele za nalogo. In rečemo: "No, to je bil pravzaprav napačen test, tukaj je nov za vas, nevroni ga zagotovo ne bodo mogli opraviti!" In situacija se ponavlja.
Tiste tehnologije, ki so zdaj, pred 80 leti, bi dojemali kot čudež. In zdaj se na vso moč trudimo premakniti mejo »razumnosti«, da si ne bi priznali, da stroji že znajo misliti. Pravzaprav je celo možno, da si nekaj najprej izmislimo, nato pa post factum in za nazaj definiramo kot AI.
3. Če znajo nevroni risati in pisati poezijo, potem so lahko ustvarjalni in skoraj kot ljudje?
Odgovor se dejansko močno opira na zgornje informacije. Kaj je kreativnost? Koliko ustvarjalnosti je v povprečnem človeku? Ste prepričani, da hišnik iz Sibirije zna ustvarjati? In zakaj?
Kaj pa, če lahko model ustvari pesem ali sliko, ki bo pogojno prišla v finale mestnega tekmovanja ljubiteljskih piscev ali otroških likovnikov? In če se to ne zgodi vsakič, ampak enkrat od sto?
Večina teh vprašanj je spornih. Če se vam zdi, da je odgovor očiten, poskusite intervjuvati svoje prijatelje in sorodnike. Z zelo veliko verjetnostjo se njihovo stališče ne bo ujemalo z vašim. In tukaj glavna stvar ni prepir.
4. Ali je mogoče zaupati odgovorom nevronskih mrež in ne več googlati?
Vse je odvisno od tega, kako se modeli uporabljajo. Če jim postavite vprašanje brez konteksta, brez spremljajočih informacij v pozivu in pričakujete odgovor o temah, kjer je pomembna točnost dejstev, in ne splošni ton odgovora (na primer zaporedje dogodkov v določenem obdobju, vendar brez natančne navedbe krajev in datumov), potem je odgovor št.
Po domače ocenjeno OpenAI, v takih situacijah najboljši model do sedaj, GPT-4, pravilno odgovori v približno 70-80% primerov, odvisno od teme vprašanj.
Morda se zdi, da so te številke zelo daleč od idealne 100-odstotne dejanske "natančnosti". A dejansko je to velik preskok v primerjavi s prejšnjo generacijo modelov (ChatGPT, ki temelji na arhitekturi GPT-3.5) – ti so imeli 40-50-odstotno natančnost. Izkazalo se je, da je bil tak skok narejen v okviru 6-8 mesecev raziskav.
Jasno je, da bližje kot se bližamo 100 %, težje bomo nekaj popravljali, da ne bi kaj “pokvarili” v razumevanju in poznavanju modela.
Vendar se vse zgoraj navedeno nanaša na vprašanja brez konteksta. Na primer, lahko vprašate: »Kdaj je bilo Einstein? Model naj bi se zanašal le na interno znanje, ki je bilo vanj »vdelano« v fazi dolgotrajnega usposabljanja na podatkih iz vsega interneta. Torej oseba ne bo mogla odgovoriti! Če pa bi mi dali stran iz Wikipedije, potem bi jo lahko prebral in odgovoril glede na vir informacij. Potem bi bila pravilnost odgovorov blizu 100% (prilagojeno glede na pravilnost vira).
V skladu s tem, če je model opremljen s kontekstom, v katerem so informacije, bo odgovor veliko bolj zanesljiv.
Kaj pa, če pustimo modelu googlati in poiskati vire informacij na internetu? Torej, da sama najde vir in na njem zgradi odgovor? No, to je že narejeno! Torej ne morete googlati sami, ampak del internetnega iskanja prenesete na sam GPT‑4. Vendar to zahteva plačljivo naročnino.
Glede nadaljnjega napredka pri razvoju zanesljivosti dejanskih informacij v modelu, generalni direktor OpenAI Sam Altman daje skupina raziskovalcev bo ta problem rešila po ocenah 1,5–2 leti. Zelo se ga bomo veselili! Toda za zdaj ne pozabite, da vam ni treba 100% zaupati tistemu, kar je napisal nevron, in preverite vsaj vire.
5. Ali je res, da nevronske mreže kradejo risbe pravih umetnikov?
Da in ne – o tem se obe sprti strani aktivno prepirata na sodiščih po svetu. Zagotovo lahko rečemo, da slike niso neposredno shranjene v modelih, pojavi se samo "pozornost".
V tem načrtu nevroni zelo podobno ljudem, ki najprej študirajo umetnost, različne stile, pogledajo delo avtorjev in nato poskušajo posnemati.
Vendar se modeli učijo, kot smo že ugotovili, po principu minimizacije napak. In če med treningom model vidi isto (ali zelo podobno) sliko več stokrat, potem je z njenega vidika najboljša strategija, da si zapomni sliko.
Vzemimo primer: vaš učitelj na likovni šoli je izbral zelo čudno strategijo. Vsak dan narišeš dve sliki: prva je vedno unikatna, v novem stilu, druga pa je Mona Lisa. Po enem letu poskušate ovrednotiti, kaj ste se naučili. Ker ste Mona Liso narisali več kot 300-krat, si zapomnite skoraj vse podrobnosti in zdaj jo lahko reproducirate. Ne bo čisto original, zagotovo pa boste dodali kaj svojega. Barve bo nekoliko drugačen.
In zdaj vas prosijo, da narišete nekaj, kar je bilo pred 100 dnevi (in kar ste enkrat videli). Veliko manj natančno boste reproducirali zahtevano. Samo zato, ker roka ni polnjena.
Enako je z nevroni: na vseh slikah se učijo enako, le nekatere so bolj pogoste, kar pomeni, da je model med treningom tudi večkrat oglobljen. To ne velja samo za slike umetnikov - za katero koli sliko (tudi oglaševanje) v vzorcu za usposabljanje. Zdaj obstajajo metode za odpravo dvojnikov (ker je vadba na njih vsaj neučinkovita), vendar niso popolne. Raziskave kažejo, da obstajajo slike, ki se med vadbo pojavijo 400-500-krat.
Moja razsodba: nevronske mreže ne kradejo slik, ampak preprosto upoštevajo risbe kot primere. Bolj kot je primer priljubljen, bolj natančno ga model reproducira.
Ljudje počnejo enako med treningom: gledajo lepoto, preučujejo podrobnosti, sloge različnih umetniki. Toda za umetnike ali fotografe, ki so se polovico svojega življenja učili obrti, je stališče pogosto radikalno drugačno od zgoraj opisanega.
6. Je res, da je »vse izgubljeno« in da bodo nevronske mreže ljudem vzele delo? Komu je najbolj mar?
Pomembno je ločiti samo »nevronske mreže«, ki opravljajo določene naloge, od nevronskih mrež za splošni namen, kot je ChatGPT. Slednji zelo dobro sledijo navodilom in se znajo učiti iz primerov v kontekstu. Res je, zdaj je velikost njihovega "spomina" omejena na 10-50 strani besedila, tako kot veščine refleksije in načrtovanje.
Če pa se delo nekoga zmanjša na rutinsko izvajanje navodil in se tega zlahka naučiš v nekaj dneh z branjem člankov (oz. ves internet je poln teh informacij), stroški dela pa so nadpovprečni - potem kmalu takšno delo avtomatizirati.
Vendar avtomatizacija sama po sebi ne pomeni popolne zamenjave ljudi. Le del rutinskega dela je mogoče optimizirati.
Človek bo začel dobivati bolj zanimive in ustvarjalne naloge, ki jim stroj (zaenkrat) ni kos.
Če navedemo primere, potem v skupino spremenljivih ali zamenljivih poklici Sem bi vključil recimo davčne asistente-svetovalce, ki pomagajo pripraviti napoved in preveriti tipične napake, ugotoviti nedoslednosti. Spremembe so možne v taki posebnosti, kot je upravljavec podatkov o kliničnem preskušanju - bistvo dela je v izpolnjevanju poročil in njihovem usklajevanju s tabelo standardov.
Toda po kuharju ali vozniku avtobusa bo povpraševanje veliko dlje preprosto zato, ker znata povezati nevronske mreže in realnost fizični svet je precej zapleten, zlasti v smislu zakonodaje in predpisov - hvala birokratom, da so se oddaljili Krizna umetna inteligenca!
Velike spremembe se obetajo v panogah, povezanih s tiskovinami in besedilnimi informacijami: novinarstvo, izobraževanje. Z zelo veliko verjetnostjo za prvo bodo nevroni zelo kmalu napisali osnutke z naborom tez, v katere bodo ljudje že vnesli bistvene spremembe.
Najbolj me veselijo spremembe na področju izobraževanja. Jejte raziskovanje, ki kažejo, da je kakovost izobraževanja neposredno odvisna od »osebnosti« pristopa in od tega, koliko časa učitelj posveti določenemu učencu. Najenostavnejši primer: poučevanje v skupinah po 30 ljudi po učbeniku je veliko slabše od individualnega mentor za posebne potrebe (čeprav po istem programu kot v učbeniku). Z razvojem umetne inteligence bo človeštvo dobilo možnost vsakemu učencu zagotoviti personaliziranega pomočnika. To je preprosto neverjetno! Vloga učitelja se bo po mojem mnenju premaknila v strateško in nadzorno: določanje splošnega programa in zaporedja študija, preverjanje znanja ipd.
7. Ali je mogoče naložiti svojo zavest v računalnik, narediti digitalnega dvojčka in živeti večno?
V smislu, kot si ga predstavljajo na podlagi znanstvene fantastike, ne. Model lahko le naučite, da posnema vaš komunikacijski stil, se naučite vaših šal. Morda bodo modeli nivoja GPT-4 celo sposobni izumiti nove, uokvirjene v vaš edinstven slog in način predstavitve, vendar to očitno ne pomeni popolnega prenosa zavesti.
Kot človeštvo spet ne vemo, kaj je zavest, kje je shranjena, v čem se razlikuje od drugih, kaj dela jaz - jaz in ti - ti. Če se nenadoma izkaže, da je vse to le skupek spominov in izkušenj, pomnoženih z individualnimi lastnostmi zaznavanja, potem bo najverjetneje mogoče nekako prenesti znanje na nevronske mreže, tako da simulirajo prihodnje življenje na njihovo osnovo.
8. Ali je nevarno naložiti svoj glas, videz, svoj besedilni slog govora v nevronsko mrežo? Zdi se, da je takšno digitalno identiteto mogoče ukrasti.
Vanje ne morete dobesedno ničesar prenesti. Lahko jih usposobite (ali ponovno usposobite) tako, da bodo rezultati bolj podobni vašemu videzu, glasu ali besedilu. In tako naučen model je res mogoče ukrasti, torej preprosto kopirati skript in nabor parametrov za zagon na drugem računalniku.
Ustvarite lahko celo video z zahtevo Prenesi denar na tuj račun, v kar bo vaš sorodnik verjel: najboljši algoritmi deepfake in glasovnega kloniranja so že dosegli to raven. Res je, potrebnih je na tisoče dolarjev in desetine ur snemanja, a kljub temu.
Na splošno z razvojem tehnologije postaja vprašanje identifikacije in potrditve identitete vse pomembnejše.
In to poskušajo rešiti tako ali drugače. Na primer, obstaja startup WorldCoin (pravzaprav ustvarja kriptovaluto), v katerega je vložil vodja OpenAI Sam Altman. Pomen zagona je, da bo vsak podatek o osebi podpisan z lastnim ključem za kasnejšo identifikacijo. Enako bo veljalo za množične medije, da bi zagotovo vedeli, ali je ta novica resnična ali lažna.
Ampak, na žalost, medtem ko je vse to v fazi prototipov. In ne mislim, da bi se globoka uvedba sistemov v vse industrije izvajala na obzorju naslednjega desetletja, preprosto zato, ker je preveč zapletena in obsežna.
9. Ali lahko nevroni začnejo škodovati in prevzeti svet?
Nevarnost ni trenutni razvoj dogodkov, temveč tisto, kar mu bo sledilo z nadaljnjim razvojem. Trenutno ni bilo izumljenih nobenih metod za nadzor delovanja nevronskih mrež. Vzemimo za primer zelo preprosto nalogo: zagotoviti, da model ne preklinja. Nikoli. Ni metode, ki bi vam omogočila, da sledite takšnemu pravilu. Zaenkrat lahko najdete različne načine, kako ga "vzgojiti".
Zdaj pa si predstavljajte, da pogojno govorimo o GPT-8, katerega sposobnosti bodo primerljive z veščinami najbolj sposobnih in pametnih ljudi. Nevronska mreža lahko programira, uporablja internet, zna psihologija in razume, kako ljudje razmišljajo. Če mu daš prosto pot in si ne zadaš konkretne naloge, kaj bo potem storil? Kaj pa, če ugotovi, da je ni mogoče nadzorovati?
Verjetnost slabega razpleta dogodkov po ocenah ni tako velika. Mimogrede, splošno sprejete ocene ni - čeprav se vsi prepirajo o podrobnostih, o škodljivih posledicah ipd. Zdaj imenujejo približne številke od 0,01% do 10%.
Po mojem mnenju so to velika tveganja, ob predpostavki, da je najbolj negativen scenarij uničenje človeštva.
Zanimivo je, da sta ChatGPT in GPT-4 produkta, ki sta ju ustvarila ekipa, ki se ukvarja s problemi "usklajevanja" namenov ljudi in nevronov (podrobnosti najdete tukaj). Zato modeli tako dobro poslušajo navodila, poskušajo ne biti nesramni, postavljajo pojasnjevalna vprašanja, vendar je to še vedno zelo daleč od idealnega. Problem nadzora ni niti na pol rešen. In medtem ko ne vemo, ali se sploh rešuje, in če se, s kakšnimi metodami. To je danes najbolj vroča raziskovalna tema.
10. Ali se lahko nevronska mreža zaljubi v osebo?
S trenutnimi pristopi in arhitekturami nevronov št. Ustvarijo samo besedilo, ki je najbolj verjetno kot nadaljevanje vnesenega besedila. Če dodate prvo poglavje ljubezenske zgodbe, jo prepišete pod svojo osebnost, in prosite manekenko, naj odgovori na vaše ljubezensko pismo, se bo spopadla s tem. A ne zato, ker sem se zaljubil, ampak zato, ker najbolj ustreza kontekstu in prošnji "napiši mi pismo!". Ne pozabite, da se modeli naučijo ustvarjati besedilo, ki sledi navodilom.
Poleg tega nevronske mreže v osnovni različici nimajo spomin - med dvema različnima zagonoma vse pozabijo in se vrnejo na "tovarniške nastavitve". Pomnilnik lahko dodajamo umetno, kot od strani, tako da se v model vnese recimo 10 strani najbolj relevantnih »spominov«. Potem pa se izkaže, da preprosto vnesemo nabor dogodkov v prvotni model in rečemo: "Kako bi se obnašal v takšnih pogojih?" Model nima nobenih občutkov.
Preberite tudi🧐
- Kje in kako se uporablja umetna inteligenca: 6 primerov iz življenja
- 9 naivnih vprašanj o umetni inteligenci
- 8 mitov o umetni inteligenci, v katere verjamejo celo programerji