Tūlīt, kad Dr Blake Richards dzirdēja par dziļu mācīšanos, viņš saprata, ka viņu sagaida vairāk nekā tikai metode, kas radikāli modificēs mākslīgo intelektu. Viņš saprata, ka skatās uz kaut ko fundamentālu no cilvēka smadzenēm. Tas bija 2000. gadu sākums, un Ričards pasniedza kursu Toronto universitātē kopā ar Džefu Hintonu. Hintonam, kurš bija par pasaules iekarotā algoritma izveidi, tika piedāvāts ievadkurss par viņa mācīšanas metodi, iedvesmojoties no cilvēka smadzenēm.
Atslēgas vārdi šeit ir “smadzeņu iedvesmoti”. Neskatoties uz Ričarda pārliecību, likme tika izspēlēta pret viņu. Cilvēka smadzenēm, kā izrādījās, nav svarīgas funkcijas, kas ir ieprogrammētas dziļo mācību algoritmos. Uz virsmas šie algoritmi pārkāpa pamata bioloģiskos faktus, ko jau pierādījuši neirozinātnieki.
Bet ko tad, ja dziļa mācīšanās un smadzenes patiesībā ir savietojamas?
Un tā, jaunā pētījumā, kas publicēts eLife, Richards, strādājot ar DeepMind, ierosināja jaunu algoritmu, kura pamatā ir neokorteksā esošo neironu bioloģiskā struktūra. Smadzenes garozā atrodas augstākas kognitīvās funkcijas, piemēram, spriešana, prognozēšana un elastīga domāšana.
Komanda apvienoja savus mākslīgos neironus daudzslāņainā tīklā un izaicināja to uz klasiskās datoru redzes uzdevumu - identificēt ar roku rakstītus numurus.
Jaunais algoritms veica izcilu darbu. Bet vēl viena lieta ir svarīga: viņš analizēja mācīšanās piemērus tāpat kā dziļo mācību algoritmi, bet pilnībā balstījās uz smadzeņu pamatbioloģiju.
"Dziļa mācīšanās ir iespējama bioloģiskā struktūrā," secināja zinātnieki.
Tā kā šis modelis šobrīd ir datorizēta versija, Ričards cer nodot stafeti eksperimentālajiem neirozinātniekiem, kuri varētu pārbaudīt, vai šāds algoritms darbojas īstās smadzenēs.
Reklāmas video:
Ja tā, datus var izmantot datorzinātniekiem, lai izstrādātu masveidā paralēlus un efektīvus algoritmus, kurus darbinās mūsu mašīnas. Šis ir pirmais solis ceļā uz abu zonu apvienošanos “tikumīgā deju” atklājumos un inovācijās.
Grēkāža atrašana
Lai gan jūs droši vien esat dzirdējis, ka AI nesen pārspēja labākos labākos Go, jūs diez vai precīzi zināt, kā darbojas šī AI algoritmi.
Īsumā - dziļas mācīšanās pamatā ir mākslīgs neironu tīkls ar virtuāliem “neironiem”. Līdzīgi kā augstajam debesskrāpim, tīkls ir strukturēts hierarhijā: zema līmeņa neironu procesa ievade - piemēram, horizontālas vai vertikālas joslas, kas veido skaitli 4, un augsta līmeņa neironi apstrādā abstraktus 4. numura aspektus.
Lai apmācītu tīklu, jūs tam sniedzat meklējamo piemērus. Signāls izplatās caur tīklu (kāpj ēkas pakāpieniem), un katrs neirons mēģina saskatīt kaut ko fundamentālu “četru” darbā.
Tā kā bērni apgūst jaunas lietas, tīkls sākumā neveicas. Viņa izdala visu, kas, pēc viņas domām, izskatās kā četrinieks - un jūs saņemat attēlus Pikaso garā.
Bet tieši tā notiek mācīšanās: algoritms saskaņo izeju ar ideālo ievadi un aprēķina starpību starp abām (lasīt: kļūdas). Kļūdas "izplatās atpakaļ" caur tīklu, apmācot katru neironu, viņi saka, tas nav tas, ko jūs meklējat, izskatās labāk.
Pēc miljoniem piemēru un atkārtojumu tīmeklis sāk darboties nevainojami.
Kļūdas signāls ir ārkārtīgi svarīgs mācībām. Bez efektīvas "kļūdu atkārtotas reproducēšanas" tīkls nezina, kuri no tā neironiem ir nepareizi. Meklējot grēkāzi, mākslīgais intelekts sevi pilnveido.
Arī smadzenes to dara. Bet kā? Mums nav ne jausmas.
Bioloģiskais strupceļš
Acīmredzams ir tas, ka dziļās mācīšanās risinājums nedarbojas.
Kļūdas atkārtota pavairošana ir ārkārtīgi svarīga iezīme. Lai pareizi darbotos, nepieciešama noteikta infrastruktūra.
Pirmkārt, katram tīkla neironam jāsaņem paziņojums par kļūdu. Bet smadzenēs neironi ir savienoti tikai ar dažiem (ja tādi ir) pakārtotajiem partneriem. Lai smadzenēs darbotos reproducēšana, pirmā līmeņa neironiem ir jāuztver informācija no miljardiem savienojumu pakārtotajos kanālos - un tas ir bioloģiski neiespējami.
Un, lai gan daži dziļi mācīšanās algoritmi pielāgo kļūdu atpakaļprodukcijas lokālo formu - galvenokārt starp neironiem -, tas prasa, lai viņu turp un atpakaļ savienojumi būtu simetriski. Smadzeņu sinapsēs tas gandrīz nekad nenotiek.
Mūsdienīgāki algoritmi pielāgo nedaudz atšķirīgu stratēģiju, ieviešot atsevišķu atgriezeniskās saites ceļu, kas palīdz neironiem atrast kļūdas lokāli. Lai gan tas ir vairāk bioloģiski iespējams, smadzenēm nav atsevišķa skaitļošanas tīkla, kas būtu paredzēts grēkāžu atrašanai.
Bet tajā ir neironi ar sarežģītām struktūrām, pretstatā viendabīgajām "bumbiņām", kuras šobrīd tiek izmantotas dziļajās mācībās.
Sazarojošie tīkli
Zinātnieki iedvesmu gūst no piramīdām šūnām, kas aizpilda cilvēka garozu.
"Lielākā daļa no šiem neironiem ir koku formas, un to" saknes "atrodas dziļi smadzenēs un" zari "iziet uz virsmas," saka Ričards. "Jāatzīmē, ka saknes iegūst vienu ievades komplektu, un zari atšķiras."
Tas ir ziņkārīgs, bet neironu struktūra bieži izrādās "tieši tā, kā tas ir nepieciešams", lai efektīvi atrisinātu skaitļošanas problēmu. Veiciet, piemēram, sensoro apstrādi: piramīdveida neironu dibeni atrodas tur, kur tiem vajadzētu būt, lai uztvertu maņu ievadi, un topi ir ērti novietoti, lai pārsūtītu kļūdas, izmantojot atgriezenisko saiti.
Vai šī sarežģītā struktūra varētu būt evolucionārs risinājums, lai novērstu nepareizu signālu?
Zinātnieki ir izveidojuši daudzslāņu neironu tīklu, pamatojoties uz iepriekšējiem algoritmiem. Viendabīgu neironu vietā viņi vidējos slāņos viņai iedeva neironus, kas bija ievietoti starp ieeju un izeju, līdzīgus reālajiem. Mācoties no cipariem, kas rakstīti ar roku, algoritms darbojās daudz labāk nekā viena slāņa tīkls, neraugoties uz klasiskās kļūdas atkārtošanos. Šūnas struktūras pašas varētu identificēt kļūdu. Tad īstajā brīdī neirons apvienoja abus informācijas avotus, lai atrastu labāko risinājumu.
Tam ir bioloģiskais pamats: neirozinātnieki jau sen zina, ka neirona ieejas filiāles veic lokālus aprēķinus, kurus var integrēt ar izejas filiāļu atpakaļprodukcijas signāliem. Bet mēs nezinām, vai smadzenes patiešām darbojas šādā veidā - tāpēc Ričards uzdeva neirozinātniekiem to noskaidrot.
Turklāt šis tīkls problēmu risina līdzīgi kā tradicionālā dziļās mācīšanās metode: tas izmanto slāņveida struktūru, lai pakāpeniski iegūtu abstraktākas idejas par katru numuru.
“Šī ir dziļas mācīšanās iezīme,” skaidro autori.
Dziļi mācās smadzenes
Bez šaubām, šajā stāstā būs vairāk līkloču, jo datorzinātnieki AI algoritmos ievieš vairāk bioloģisko detaļu. Ričards un viņa komanda aplūko prognozēšanas funkciju no augšas uz leju, kur signāli no augstākiem līmeņiem tieši ietekmē to, kā zemāki līmeņi reaģē uz ievadi.
Atsauksmes no augstākiem slāņiem ne tikai uzlabo kļūdu signalizēšanu; tas var arī mudināt zemākas apstrādes neironus veikt "labākus" reālā laikā, saka Ričards. Līdz šim tīkls nav pārspējis citus nebioloģiskos dziļās mācīšanās tīklus. Bet tas nav svarīgi.
"Dziļajai mācībai ir bijusi milzīga ietekme uz AI, taču līdz šim tās ietekme uz neirozinātni ir bijusi ierobežota," saka pētījuma autori. Tagad neirozinātniekiem būs attaisnojums veikt eksperimentālu testu un noskaidrot, vai neironu struktūra ir dabiskās dziļas mācīšanās algoritma pamatā. Iespējams, nākamo desmit gadu laikā sāksies abpusēji izdevīga datu apmaiņa starp neirozinātniekiem un mākslīgā intelekta pētniekiem.
Iļja Khel