Džefrijs Hintons ir dziļas mācīšanās koncepcijas līdzautors, 2019. gada Turinga balvas ieguvējs un Google inženieris. Pagājušajā nedēļā I / O izstrādātāju konferences laikā Wired viņu intervēja un pārrunāja viņa aizraušanos ar smadzenēm un spēju modelēt datoru, pamatojoties uz smadzeņu neironu struktūru. Ilgu laiku šīs idejas tika uzskatītas par neprātīgām. Interesanta un izklaidējoša saruna par apziņu, Hintona nākotnes plāniem un to, vai datorus var iemācīt sapņot.
Kas notiks ar neironu tīkliem?
Sāksim ar dienām, kad jūs uzrakstījāt savus pirmos, ļoti ietekmīgos rakstus. Visi teica: "Tā ir gudra ideja, bet mēs tiešām nevaram šādā veidā noformēt datorus." Paskaidrojiet, kāpēc jūs uzstājāt uz savu un kāpēc bijāt tik pārliecināts, ka atradāt kaut ko svarīgu.
Man šķita, ka smadzenes nespēj strādāt citādi. Viņam jāstrādā, izpētot savienojumu stiprumu. Un, ja vēlaties likt ierīcei darīt kaut ko gudru, jums ir divas iespējas: vai nu to programmējat, vai arī tā iemācās. Un neviens cilvēkus neieprogrammēja, tāpēc mums bija jāmācās. Šai metodei bija jābūt pareizai.
Paskaidrojiet, kas ir neironu tīkli. Izskaidrojiet sākotnējo koncepciju
Jūs lietojat samērā vienkāršus apstrādes elementus, kas ļoti neskaidri atgādina neironus. Viņiem ir ienākošie savienojumi, katram savienojumam ir svars, un šis svars var mainīties treniņa laikā. Neirons veic darbības ar savienojumiem, kas reizināti ar svariem, tos summē un tad izlemj, vai sūtīt datus. Ja summa tiek ievadīta pietiekami liela, tā veido izvadi. Ja summa ir negatīva, tas neko nesūta. Tas ir viss. Viss, kas jums jādara, ir savienot šo neironu mākoni ar svariem un izdomāt, kā mainīt šos svarus, un tad viņi darīs visu. Jautājums tikai, kā jūs mainīsit svarus.
Reklāmas video:
Kad jūs sapratāt, ka tas ir aptuvens smadzeņu darbības attēlojums?
Ak, jā, viss sākotnēji bija paredzēts. Paredzēts līdzināties smadzenēm darbā.
Tātad kādā savas karjeras brīdī jūs sākāt saprast, kā darbojas smadzenes. Varbūt jums bija divpadsmit gadu, varbūt divdesmit pieci. Kad jūs nolēmāt mēģināt modelēt datorus, piemēram, smadzenes?
Jā uzreiz. Tas bija viss jēga. Visa šī ideja bija radīt mācību ierīci, kas mācās tāpat kā smadzenes, atbilstoši cilvēku idejām par to, kā smadzenes mācās, mainot savienojumu stiprumu. Un tā nebija mana ideja, Turinam bija tāda pati ideja. Lai gan Turings izgudroja lielu daļu no standarta datorzinātnes pamatiem, viņš uzskatīja, ka smadzenes ir neorganizēta ierīce ar nejaušiem svariem un izmantoja pastiprināšanas mācīšanos, lai mainītu savienojumus, tāpēc viņš varēja iemācīties jebko. Un viņš uzskatīja, ka tas ir labākais ceļš uz saprātu.
Un jūs sekojāt Tjūringa idejai, ka labākais veids, kā izveidot mašīnu, ir projektēt to tāpat kā cilvēka smadzenes. Šādi darbojas cilvēka smadzenes, tāpēc izveidosim līdzīgu mašīnu
Jā, ne tikai Tjūrings tā domāja. Daudzi tā domāja.
Kad pienāca tumšie laiki? Kad notika, ka citi cilvēki, kas strādāja pie tā un uzskatīja, ka Tjūringa ideja ir pareiza, sāka atkāpties, un jūs turpinājāt liekt savu līniju?
Vienmēr ir bijusi nedaudz cilvēku, kas ticēja neatkarīgi no tā, it īpaši psiholoģijas jomā. Bet datoru zinātnieku vidū, es domāju, 90. gados, notika, ka datu kopas bija diezgan mazas, un datori nebija tik ātri. Un ar mazām datu kopām citas metodes, piemēram, atbalsta vektora mašīnas, darbojās nedaudz labāk. Viņus ne tik daudz samulsināja troksnis. Tātad tas viss bija skumji, jo 80. gados mēs izstrādājām atpakaļ izplatīšanās metodi, kas ir ļoti svarīga neironu tīkliem. Mēs domājām, ka viņš visu atrisinās. Un viņi bija neizpratnē, ka viņš neko nav izlēmis. Jautājums tiešām bija mērogā, bet tad mēs to nezinājām.
Kāpēc jūs domājāt, ka tas nedarbojas?
Mēs domājām, ka tas nedarbojas, jo mums nebija gluži pareizi algoritmi un ne visai pareizas objektīvās funkcijas. Es ilgi domāju, ka tas ir tāpēc, ka, marķējot datus, mēs mēģinājām veikt uzraudzītu mācīšanos, un, mācoties no neatzīmētiem datiem, mums bija jādara neuzraudzīta. Izrādījās, ka jautājums galvenokārt bija mērogā.
Tas ir interesanti. Tāpēc problēma bija tā, ka jums nebija pietiekami daudz datu. Jūs domājāt, ka jums ir pareizais datu apjoms, taču jūs to nepareizi iezīmējāt. Tātad jūs vienkārši nepareizi diagnosticējāt problēmu?
Es domāju, ka kļūda bija tā, ka mēs vispār izmantojam etiķetes. Lielākā daļa no jūsu apmācības notiek, neizmantojot etiķetes, jūs vienkārši mēģināt modelēt datu struktūru. Es patiesībā joprojām tā domāju. Es domāju, ka, tā kā datori kļūst ātrāki, ja dators ir pietiekami ātrs, tad jebkuram noteikta lieluma datu kopumam ir labāk apmācīt bez uzraudzības. Kad esat pabeidzis neuzraudzītu mācīšanos, varat mācīties, izmantojot mazāk tagu.
Tātad deviņdesmitajos gados jūs turpināt savu pētījumu, jūs esat akadēmiskajā vidē, jūs joprojām publicējat, bet jūs neatrisināt lielas problēmas. Vai jums kādreiz ir bijis brīdis, kad jūs sakāt: “Jūs zināt, ar ko pietiek. Vai es mēģināšu darīt kaut ko citu”? Vai arī jūs vienkārši teicāt sev, ka turpināsit nodarboties ar dziļu mācīšanos [tas ir, dziļas mācīšanās jēdziens, neironu tīklu dziļa apguve
Jā. Kaut kā tam vajadzētu darboties. Es domāju, ka savienojumi smadzenēs kaut kādā veidā mācās, mums vienkārši jāizdomā, kā. Un, iespējams, ir daudz dažādu veidu, kā stiprināt sakarus mācību procesā; smadzenes izmanto vienu no tiem. Var būt arī citi veidi. Bet jums noteikti ir nepieciešams kaut kas, kas mācīšanās laikā varētu stiprināt šos sakarus. Es nekad par to nešaubījos.
Jūs nekad par to neesat šaubījies. Kad likās, ka tas darbojas?
Viena no 80. gadu lielākajām vilšanās bija tā, ka, ja mēs izveidojām tīklus ar daudziem slēptiem slāņiem, mēs tos nevarētu apmācīt. Tas nav pilnīgi taisnība, jo jūs varat apmācīt samērā vienkāršus procesus, piemēram, rokrakstu. Bet mēs nezinājām, kā apmācīt lielāko daļu dziļo neironu tīklu. Un ap 2005. gadu es izdomāju veidu, kā bez uzraudzības apmācīt dziļos tīklus. Jūs ievadāt datus, teiksim pikseļus, un apmācāt vairākus detaļu detektorus, kas vienkārši labi izskaidroja, kāpēc pikseļi ir tādi, kādi tie ir. Pēc tam jūs barojat šos detaļu detektorus ar datiem un apmācāt citu detaļu detektoru komplektu, lai mēs varētu izskaidrot, kāpēc konkrētiem detaļu detektoriem ir īpašas korelācijas. Jūs turpināt apmācīt slāni pa slānim. Bet visinteresantākais bijakuru varētu matemātiski sadalīt un pierādīt, ka katru reizi, kad apmācāt jaunu slāni, jūs noteikti neuzlabosit datu modeli, bet jums būs jārisina virkne jautājumu par to, cik labs ir jūsu modelis. Un šis diapazons kļuva labāks, pievienojot katru slāni.
Ko jūs domājat, cik labs ir jūsu modelis?
Kad esat ieguvis modeli, jūs varētu uzdot jautājumu: "Cik neparasts šis modelis atrod šos datus?" Jūs parādāt viņai datus un uzdodat jautājumu: "Vai jūs visu to atradāt, kā paredzēts, vai tas ir neparasti?" Un to varēja izmērīt. Un es gribēju iegūt modeli, labu modeli, kurš aplūko datus un saka: “Jā, jā. ES to zināju. Tas nav pārsteidzoši ". Vienmēr ir ļoti grūti precīzi aprēķināt, cik neparasts modelis atradīs datus. Bet jūs varat aprēķināt šī diapazona lielumu. Var teikt, ka modelim šie dati būs mazāk neparasti. Un varētu parādīt, ka, tā kā detaļu detektoriem tiek pievienoti vairāk slāņu, tiek izveidots modelis, un ar katru slāni pievienojot, kad tas atrod datus, kļūst labākas izpratnes diapazons par to, cik neparasts tas atrod datus.
Tātad ap 2005. gadu jūs izdarījāt šo matemātisko sasniegumu. Kad jūs sākāt saņemt pareizās atbildes? Ar kādiem datiem strādājāt? Jūsu pirmais sasniegums bija runas dati, vai ne?
Tie bija tikai ar roku rakstīti numuri. Ļoti vienkārši. Aptuveni tajā pašā laikā sākās GPU (Graphics Processing Units) izstrāde. Cilvēki, kas nodarbojās ar neironu tīkliem, GPU sāka lietot 2007. gadā. Man bija ļoti labs students, kurš sāka lietot GPU, lai aerofotogrāfijās atrastu ceļus. Viņš uzrakstīja kodu, kuru pēc tam pieņēma citi studenti, izmantojot GPU, lai atpazītu fonēmas runā. Viņi izmantoja šo pirmsmācības ideju. Kad priekšapmācība tika veikta, viņi vienkārši karājās tagus virsū un izmantoja pavairošanu atpakaļ. Izrādījās, ka ir iespējams izveidot ļoti dziļu tīklu, kas iepriekš tika apmācīts šādā veidā. Un tad varēja piemērot reproducēšanu, un tā faktiski strādāja. Runas atpazīšanā tas darbojās lieliski. Sākumā tomērnebija daudz labāk.
Vai tas bija labāk nekā komerciāli pieejama runas atpazīšana? Vai apiet labākos zinātniskos darbus par runas atpazīšanu?
Salīdzinoši mazā datu kopā ar nosaukumu TIMIT tas bija nedaudz labāks par labāko akadēmisko darbu. Arī IBM ir paveicis lielu darbu.
Cilvēki ātri saprata, ka tas viss - tā kā tas apiet standarta modeļus, kas tika izstrādāti jau 30 gadus, - labi darbosies, ja tiks nedaudz attīstīts. Mani absolventi devās uz Microsoft, IBM un Google, un Google ļoti ātri izveidoja strādājošu runas atpazītāju. Līdz 2012. gadam šis darbs, kas tika veikts 2009. gadā, bija sasniedzis operētājsistēmu Android. Pēkšņi Android runas atpazīšana ir daudz labāka.
Pastāsti man par brīdi, kad jūs, kuri 40 gadus esat glabājuši šīs idejas, 20 gadus publicējat šo tēmu, pēkšņi apiet savus kolēģus. Kāda ir šī sajūta?
Nu, es toreiz šīs idejas glabāju tikai 30 gadus!
Pareizi, pareizi
Bija lieliska sajūta, ka tas viss beidzot ir pārtapis par īstu problēmu.
Vai atceraties, kad pirmo reizi saņēmāt datus, kas to norāda?
Nē.
Labi. Tātad jums rodas ideja, ka tas darbojas ar runas atpazīšanu. Kad jūs sākāt lietot neironu tīklus citām problēmām?
Sākumā mēs sākām tos piemērot visādām citām problēmām. Džordžs Dahls, ar kuru mēs sākotnēji strādājām pie runas atpazīšanas, tos izmantoja, lai paredzētu, vai molekula var kaut kam saistīties un kļūt par labām zālēm. Un notika konkurss. Viņš vienkārši izmantoja mūsu standarta tehnoloģiju, kas izstrādāta runas atpazīšanai, lai prognozētu narkotiku darbību, un uzvarēja konkursā. Tā bija zīme, ka mēs darām kaut ko ļoti daudzpusīgu. Tad parādījās students, kurš teica: “Zini, Džef, šī lieta darbosies ar attēla atpazīšanu, un Fei-Fei Li izveidoja tam piemērotu datu kopu. Notiek publisks konkurss, darīsim kaut ko."
Mēs saņēmām rezultātus, kas ievērojami pārsniedza standarta datora redzējumu. Tas bija 2012. gads.
Tas ir, šajās trīs jomās, kuras jūs esat ievērojis: ķīmisko vielu modelēšana, runa, balss. Kur tev neizdevās?
Vai jūs saprotat, ka neveiksmes ir īslaicīgas?
Kas atdala apgabalus, kur tas viss darbojas visātrāk, un apgabalus, kur tas notiek visilgāk? Izskatās, ka vizuālā apstrāde, runas atpazīšana un kaut kas līdzīgs cilvēka pamatdarbiem, ko mēs darām ar maņu uztveri, tiek uzskatīti par pirmajiem šķēršļiem, kas jāpārvar, vai ne?
Jā un nē, jo ir arī citas lietas, kuras mums veicas labi - tās pašas motoriskās prasmes. Mēs ļoti labi pārvaldām motoru. Mūsu smadzenes tam noteikti ir aprīkotas. Un tikai tagad neironu tīkli sāk konkurēt ar labākajām citām tehnoloģijām. Beigās viņi uzvarēs, bet tagad viņi tikai sāk uzvarēt.
Es domāju, ka domāšana, abstrakta domāšana ir pēdējā lieta, ko mēs iemācāmies. Es domāju, ka tās būs vienas no pēdējām lietām, kuras šie neironu tīkli iemācīsies darīt.
Un tā jūs sakāt, ka neironu tīkli galu galā dominēs visur
Mēs esam neironu tīkli. Viss, ko mēs varam, viņi var.
Tiesa, bet cilvēka smadzenes ir tālu no visefektīvākās skaitļošanas mašīnas, kas jebkad uzbūvēta
Noteikti nē.
Noteikti ne manas cilvēka smadzenes! Vai ir kāds veids, kā modelēt mašīnas, kas ir daudz efektīvākas nekā cilvēka smadzenes?
Filozofiski man nav iebildumu pret domu, ka varētu būt kaut kas pavisam cits, kā to visu izdarīt. Varbūt, ja jūs sākat ar loģiku, mēģiniet automatizēt loģiku, nākt klajā ar kādu iedomātu teorēmas sakāmvārdu, iemeslu un pēc tam izlemt, ka tieši ar spriešanas palīdzību jūs nonākat pie vizuālās uztveres, iespējams, ka šī pieeja uzvarēs. Bet vēl ne. Man nav filozofisku iebildumu pret šādu uzvaru. Mēs tikai zinām, ka smadzenes to spēj.
Bet ir arī lietas, kuras mūsu smadzenes nespēj izdarīt labi. Vai tas nozīmē, ka neironu tīkli arī nevarēs tos labi paveikt?
Diezgan iespējams, jā.
Un pastāv atsevišķa problēma, kas ir tā, ka mēs pilnībā neizprotam, kā darbojas neironu tīkli, vai ne?
Jā, mēs īsti nesaprotam, kā viņi strādā.
Mēs nesaprotam, kā darbojas lejupejošie neironu tīkli. Tas ir neironu tīklu darbības pamatelements, kuru mēs nesaprotam. Izskaidrojiet to un tad ļaujiet man uzdot man nākamo jautājumu: ja mēs zinām, kā tas viss darbojas, kā tad tas viss darbojas?
Apskatot mūsdienu datoru redzes sistēmas, vairums no tām lielākoties ir vērstas uz priekšu; viņi neizmanto atgriezeniskās saites savienojumus. Un tad mūsdienu datoru redzes sistēmās ir kaut kas cits, kas ir ļoti pakļauts konkurences kļūdām. Jūs varat nedaudz mainīt dažus pikseļus, un tas, kas bija pandas attēls un joprojām izskatās precīzi kā panda, pēkšņi kļūs par strausu jūsu izpratnē par neironu tīklu. Acīmredzot pikseļu aizstāšanas metode ir pārdomāta tādā veidā, lai vilinātu neironu tīklu domāt par strausu. Bet jēga ir tā, ka tā jums joprojām ir panda.
Sākumā mēs domājām, ka tas viss darbojas lieliski. Bet tad, saskaroties ar faktu, ka viņi skatījās uz pandu un pārliecinājās, ka tas ir strauss, mēs uztraucāmies. Un es domāju, ka daļa no problēmas ir tā, ka viņi nemēģina rekonstruēt no augsta līmeņa uzskatiem. Viņi mēģina mācīties izolēti, kur mācās tikai detaļu detektoru slāņi, un viss mērķis ir mainīt svarus, lai labāk atrastu pareizo atbildi. Nesen Toronto atklājām, vai Niks Frosts atklāja, ka rekonstrukcijas pievienošana palielina pretestības pretestību. Es domāju, ka cilvēka redzējumā rekonstrukcija tiek izmantota mācībām. Tā kā rekonstrukcijas laikā mēs uzzinām tik daudz, mēs esam daudz izturīgāki pret pretrunīgiem uzbrukumiem.
Jūs domājat, ka pakārtotā komunikācija neironu tīklā ļauj jums pārbaudīt, kā kaut kas tiek rekonstruēts. Jūs to pārbaudāt un pārliecināties, ka tā ir panda, nevis strauss
Es domāju, ka tas ir svarīgi, jā.
Bet smadzeņu zinātnieki tam gluži nepiekrīt?
Smadzeņu zinātnieki neapgalvo, ka, ja uztveres ceļā ir divi garozas reģioni, vienmēr būs pretēji savienojumi. Viņi strīdas par to, kam tas domāts. Tas var būt vajadzīgs uzmanībai, mācībām vai rekonstrukcijai. Vai arī visiem trim.
Un tāpēc mēs nezinām, kas ir atsauksmes. Vai jūs veidojat savus jaunos neironu tīklus, sākot ar pieņēmumu, ka … nē, pat ne tā - jūs veidojat atgriezenisko saiti, jo tā ir nepieciešama jūsu neironu tīklu rekonstrukcijai, kaut arī jūs pat īsti nesaprotat, kā darbojas smadzenes?
Jā.
Vai tas nav triks? Tas ir, ja jūs mēģināt kaut ko darīt kā smadzenes, bet neesat pārliecināts, vai smadzenes to dara?
Ne īsti. Es neatrodas skaitļošanas neirozinātnē. Es nemēģinu modelēt, kā darbojas smadzenes. Es skatos uz smadzenēm un saku: "Tas darbojas, un, ja mēs vēlamies darīt kaut ko citu, kas darbojas, mums tas ir jāuzmana un jāiedvesmo." Mūs iedvesmo neironi, nevis tiek veidots neironu modelis. Tādējādi visu mūsu izmantoto neironu modeli iedvesmo fakts, ka neironiem ir daudz savienojumu un ka tie maina svaru.
Tas ir interesanti. Ja es būtu datorzinātnieks, kurš strādātu pie neironu tīkliem un gribētu apiet Džefu Hintonu, viena no iespējām būtu veidot lejupejošu komunikāciju un balstīt to uz citiem smadzeņu zinātnes modeļiem. Balstoties uz apmācību, nevis rekonstrukciju
Ja būtu labāki modeļi, jūs būtu uzvarējis. Jā.
Tas ir ļoti, ļoti interesanti. Pieskarsimies vispārīgākai tēmai. Tātad, neironu tīkli var atrisināt visas iespējamās problēmas. Vai cilvēka smadzenēs ir mīklas, kuras neironu tīkli nevar vai nevar aptvert? Piemēram, emocijas
Nē.
Tātad mīlestību var rekonstruēt ar neironu tīklu? Apziņu var rekonstruēt?
Pilnīgi. Kad esat izdomājis, ko šīs lietas nozīmē. Mēs esam neironu tīkli, vai ne? Apziņa man ir īpaši interesanta tēma. Bet … cilvēki īsti nezina, ko viņi domā ar šo vārdu. Ir daudz dažādu definīciju. Un es domāju, ka tas ir diezgan zinātnisks termins. Tāpēc, ja pirms 100 gadiem jūs cilvēkiem jautājāt: kas ir dzīve? Viņi atbildētu: “Dzīvām lietām ir dzīvības spēks, un, kad tās nomirst, dzīvības spēks viņus pamet. Šī ir atšķirība starp dzīvajiem un mirušajiem, vai nu jums ir dzīvotspēja, vai jums nav. Tagad mums nav dzīvības spēka, mēs domājam, ka šī koncepcija nonāca zinātnes priekšā. Un, tiklīdz jūs sākat mazliet saprast bioķīmiju un molekulāro bioloģiju, jums vairs nav nepieciešams dzīvības spēks, jūs sapratīsit, kā tas viss patiesībā darbojas. Un tas pats, es domāju, notiks ar apziņu. ES domāju,ka apziņa ir mēģinājums izskaidrot garīgas parādības, izmantojot entītiju. Un šī būtība nav vajadzīga. Kad jūs to varat izskaidrot, jūs varat izskaidrot, kā mēs darām visu, kas cilvēkus padara apzinātas būtnes, izskaidrot dažādas apziņas nozīmes, neiesaistot īpašas entītijas.
Izrādās, ka nav emociju, kuras nevarētu radīt? Nav domas, ko nevarētu radīt? Cilvēka prāts nav kaut kas tāds, ko teorētiski nevarētu atjaunot pilnībā funkcionējošs neironu tīkls, tiklīdz mēs patiesībā saprotam, kā darbojas smadzenes?
Džons Lenons vienā no savām dziesmām nodziedāja kaut ko līdzīgu.
Vai esat par to pārliecināts 100%?
Nē, es esmu Beisija, tāpēc esmu pārliecināts par 99,9%.
Labi, kas tad ir par 0,01%?
Mēs, piemēram, visi varētu būt daļa no lielākas simulācijas.
Godīgi. Ko tad mēs uzzinām par smadzenēm no sava darba ar datoriem?
Nu, es domāju, ka no tā, ko mēs esam iemācījušies pēdējo 10 gadu laikā, ir interesanti, ka, ja jūs izmantojat sistēmu ar miljardiem parametru un objektīvu funkciju - piemēram, lai aizpildītu plaisu vārdu rindā -, tā darbojas labāk nekā vajadzētu. Tas darbosies daudz labāk, nekā jūs varētu gaidīt. Jūs varētu domāt, un daudzi cilvēki tradicionālajos AI pētījumos domāja, ka jūs varat paņemt sistēmu ar miljardu parametru, palaist to pēc nejaušām vērtībām, izmērīt objekta funkcijas gradientu un pēc tam to pielāgot, lai uzlabotu objekta funkciju. Varētu domāt, ka bezcerīgais algoritms neizbēgami iestrēgst. Bet nē, izrādās, tas ir patiešām labs algoritms. Un jo lielāks ir mērogs, jo labāk tas darbojas. Un šis atklājums būtībā bija empīrisks. Protams, aiz tā visa bija kāda teorija, bet atklājums bija empīrisks. Un tagad,tā kā mēs to atradām, šķiet ticamāk, ka smadzenes aprēķina kādas objektīvās funkcijas gradientu un atjaunina sinaptiskā savienojuma svarus un stiprumu, lai neatpaliktu no šī gradienta. Mums vienkārši jānoskaidro, kas ir šī mērķa funkcija un kā tā pasliktinās.
Bet mēs to nesapratām ar smadzeņu piemēru? Vai nesaprotat bilances atjaunināšanu?
Tā bija teorija. Sen cilvēki domāja, ka tas ir iespējams. Bet fonā vienmēr bija daži datorzinātnieki, kuri teica: "Jā, bet ideja, ka viss ir nejaušs un mācīšanās notiek gradienta nolaišanās dēļ, nedarbosies ar miljardu parametru, jums ir jāpieslēdz daudz zināšanu." Tagad mēs zinām, ka tas tā nav. Jūs varat vienkārši ievadīt nejaušus parametrus un uzzināt visu.
Iemirsimies mazliet dziļāk. Tā kā mēs uzzinām arvien vairāk un vairāk, domājams, mēs turpināsim uzzināt vairāk un vairāk par to, kā darbojas cilvēka smadzenes, veicot masveida modeļu testus, kuru pamatā ir mūsu izpratne par smadzeņu darbību. Kad mēs to visu sapratīsim labāk, vai būs kāds punkts, kurā mēs būtībā pārtaisīsim savas smadzenes, lai kļūtu par daudz efektīvākām mašīnām?
Ja mēs patiešām saprotam, kas notiek, mēs varam uzlabot dažas lietas, piemēram, izglītību. Un es domāju, ka mēs uzlabosimies. Būtu ļoti dīvaini beidzot saprast, kas notiek jūsu smadzenēs, kā tas mācās, un nepielāgot tā, lai labāk mācītos.
Kā jūs domājat, vai pēc pāris gadiem mēs pārveidosim izglītību to, ko esam iemācījušies par smadzenēm un to, kā darbojas dziļā izglītība? Kā jūs mainītu nodarbības?
Neesmu pārliecināts, ka pāris gadu laikā iemācīsimies daudz. Es domāju, ka izglītības maiņa prasīs ilgāku laiku. Bet, runājot par to, [digitālie] palīgi kļūst diezgan gudri. Un kad asistenti saprot sarunas, viņi var sarunāties ar bērniem un viņus izglītot.
Un teorētiski, ja mēs labāk saprotam smadzenes, mēs varam ieprogrammēt palīgus labāk sarunāties ar bērniem, balstoties uz jau iemācīto
Jā, bet es par to daudz nedomāju. Es daru kaut ko citu. Bet tas viss šķiet diezgan līdzīgs patiesībai.
Vai mēs varam saprast, kā sapņi darbojas?
Jā, mani ļoti interesē sapņi. Es esmu tik ieinteresēts, ka man ir vismaz četras dažādas sapņu teorijas.
Pastāstiet mums par viņiem - par pirmo, otro, trešo, ceturto
Sen bija tāda lieta, ko sauca par Hopfield tīkliem, un viņi pētīja atmiņas kā vietējie piesaistītāji. Hopfīlds atklāja, ka, ja jūs mēģināt ievietot pārāk daudz atmiņu, viņi sajaucas. Viņi paņems divus vietējos atrakcijas un apvienos tos vienā atrakcijā kaut kur pusceļā starp tiem.
Tad atnāca Francis Kriks un Grehems Mičisons un teica, ka mēs varam atbrīvoties no šiem viltus kritumiem, mācoties (tas ir, aizmirstot to, ko esam iemācījušies). Mēs izslēdzam datu ievadīšanu, ievietojam neironu tīklu nejaušā stāvoklī, ļaujam nomierināties, sakām, ka tas ir slikti, mainām savienojumus, lai tas neietilpst šajā stāvoklī, un tādējādi mēs varam piespiest tīklu saglabāt vairāk atmiņas.
Tad Terijs Sejnovskis un es ienācām iekšā un teicām: "Skatieties, ja mums ir ne tikai neironi, kas satur atmiņas, bet arī ķekars citu neironu, vai mēs varam atrast algoritmu, kas izmanto visus šos citus neironus, lai palīdzētu atcerēties atmiņas?" … Tā rezultātā mēs izveidojām Boltzmann mašīnmācīšanās algoritmu. Un Boltzmana mašīnmācīšanās algoritmam bija ārkārtīgi interesants īpašums: es rādu datus, un tas veida iet cauri pārējām vienībām, līdz nonāk ļoti laimīgā stāvoklī, un pēc tam tas palielina visu savienojumu stiprumu, pamatojoties uz faktu, ka divas vienības darbojas vienlaikus.
Jums arī vajadzētu būt fāzei, kurā jūs izslēdzat ieeju, ļaujat algoritmam "sarūsēt" un nodot viņu tādā stāvoklī, kurā viņš ir laimīgs, lai viņš fantazē, un, tiklīdz viņam ir fantāzija, jūs sakāt: “Paņemiet visus neironu pārus. kas ir aktīvi un samazina savienojumu stiprumu."
Es izskaidroju algoritmu kā procedūru. Bet patiesībā šis algoritms ir matemātikas un jautājuma produkts: "Kā jums jāmaina šīs savienojumu ķēdes, lai šis neironu tīkls ar visām šīm slēptajām datu vienībām šķiet nepārsteidzošs?" Un vajadzētu būt arī citai fāzei, ko mēs saucam par negatīvo fāzi, kad tīkls darbojas bez datu ievades un tiek noņemts, neatkarīgi no tā, kurā stāvoklī jūs to ievietojat.
Katru nakti mēs sapņojam daudzas stundas. Un, ja pēkšņi pamodies, jūs varat teikt, ka jūs vienkārši sapņojat, jo sapnis tiek saglabāts īslaicīgā atmiņā. Mēs zinām, ka sapņus mēs redzam daudzu stundu garumā, bet no rīta pēc pamodināšanas mēs varam atcerēties tikai pēdējo sapni, un mēs neatceramies citus, kas ir ļoti veiksmīgi, jo varēja viņus sajaukt ar realitāti. Tad kāpēc mēs vispār neatceramies savus sapņus? Pēc Krika teiktā, tā ir sapņu nozīme: šīs lietas atbrīvoties. Jūs mācāties tieši otrādi.
Terijs Seinovskis un es parādījām, ka šī patiesībā ir Boltzmann mašīnu maksimālā iespējamības apgūšanas procedūra. Šī ir pirmā teorija par sapņiem.
Es gribu pāriet pie citām jūsu teorijām. Bet mans jautājums ir šāds: vai jūs esat spējuši apmācīt kādu no dziļajiem mācību algoritmiem, lai patiesībā sapņotu?
Daži no pirmajiem algoritmiem, kas varēja iemācīties strādāt ar slēptām vienībām, bija Boltzmann mašīnas. Viņi bija ārkārtīgi neefektīvi. Bet vēlāk es atradu veidu, kā strādāt ar tuvinājumiem, kas izrādījās efektīvi. Un tas faktiski kalpoja par stimulu atsākt darbu ar dziļu mācīšanos. Tās bija lietas, kas vienlaikus apmācīja funkciju detektoru vienu kārtu. Un tā bija efektīva Boltzmann ierobežojošās mašīnas forma. Un tāpēc viņa veica šāda veida apgriezto mācīšanos. Bet tā vietā, lai aizmigtu, viņa varēja nedaudz fantazēt pēc katras datu zīmes.
Labi, tāpēc androīdi patiesībā sapņo par elektriskajām aitām. Pārejam pie divas, trīs un četras teorijas
Otro teoriju sauca par Wake Sleep algoritmu. Jums jāapmāca ģeneratīvais modelis. Un jums ir ideja izveidot modeli, kas var ģenerēt datus, kam ir funkciju detektoru slāņi un kas aktivizē augstāko un apakšējo slāni un tā tālāk līdz pat pikseļu aktivizēšanai - būtībā attēla izveidošanai. Bet jūs vēlētos viņai iemācīt kaut ko citu. Jūs vēlaties, lai tā datus atpazītu.
Un tāpēc jums ir jāizgatavo algoritms ar divām fāzēm. Atmodas posmā dati nonāk, viņš mēģina tos atpazīt, un tā vietā, lai izpētītu savienojumus, kurus viņš izmanto atpazīšanai, viņš pēta ģeneratīvos savienojumus. Dati tiek ievadīti, es aktivizēju slēptās vienības. Un tad es mēģinu iemācīt šīm slēptajām vienībām atgūt šos datus. Viņš iemācās rekonstruēt katrā slānī. Bet jautājums ir, kā iemācīties tiešos savienojumus? Tāpēc ideja ir tāda, ka, ja jūs zinātu tiešos savienojumus, jūs varētu iemācīties reversos savienojumus, jo jūs varētu iemācīties reverso inženieri.
Tagad arī izrādās, ka, ja izmantojat reversos savienojumus, varat iemācīties arī tiešos savienojumus, jo jūs varat sākt tikai no augšas un ģenerēt dažus datus. Tā kā jūs ģenerējat datus, jūs zināt visu slēpto slāņu stāvokļus un varat izpētīt tiešos savienojumus, lai atjaunotu šos stāvokļus. Un šeit notiek tas, kas notiek: ja jūs sākat ar nejaušiem savienojumiem un mēģināt pārmaiņus izmantot abas fāzes, jums veiksies. Lai tas darbotos labi, jums ir jāizmēģina dažādas iespējas, taču tas darbosies.
Labi, kā ir ar pārējām divām teorijām? Mums ir atlikušas tikai astoņas minūtes, es domāju, ka man nebūs laika jautāt par visu
Dodiet man vēl stundu, un es jums pastāstīšu par abām pārējām.
Parunāsim par to, kas notiks tālāk. Kur ir jūsu pētījuma virziens? Kādas problēmas jūs mēģināt risināt tagad?
Galu galā jums būs jāstrādā pie kaut kā, ko darbs vēl nav pabeidzis. Es domāju, ka es, iespējams, strādāju pie tā, ko es nekad nepabeigšu, - ko sauc par kapsulām, teorija par to, kā vizuālā uztvere tiek veikta, izmantojot rekonstrukciju, un kā informācija tiek novirzīta pareizajās vietās. Divi galvenie motivējošie faktori bija tas, ka standarta neironu tīklos informācija, darbība slānī tiek automātiski automātiski nosūtīta kaut kur, un jūs nepieņemat lēmumu par to, kur to nosūtīt. Kapsulu ideja bija pieņemt lēmumus par to, kur sūtīt informāciju.
Tagad, kad es sāku strādāt ar kapsulām, ļoti gudri cilvēki Google ir izgudrojuši transformatorus, kas dara to pašu. Viņi izlemj, kur sūtīt informāciju, un tas ir liels ieguvums.
Mēs atgriezīsimies nākamgad, lai runātu par sapņu teorijām, kas ir trīs un četras.
Iļja Khel
