Pēdējo 10 gadu laikā, pateicoties tā sauktajai dziļās mācīšanās metodei, mēs esam saņēmuši labākās mākslīgā intelekta sistēmas - piemēram, runas atpazītājus viedtālruņos vai jaunāko automātisko tulkotāju no Google. Dziļa mācīšanās faktiski ir kļuvusi par jaunu tendenci jau slavenajos neironu tīklos, kas ir modē un iznāk jau vairāk nekā 70 gadus. Neironu tīklus pirmo reizi ierosināja Vorens Makkullofs un Valters Pitsts, 1994. gadā divi Čikāgas universitātes pētnieki. 1952. gadā viņi devās strādāt uz Masačūsetsas Tehnoloģiju institūtu, lai sagatavotu pamatu pirmajai Izzināšanas nodaļai.
Neironu tīkli bija viens no galvenajiem pētījumu virzieniem gan neirozinātnē, gan datorzinātnē līdz 1969.gadam, kad saskaņā ar leģendu tos nogalināja MIT matemātiķi Marvins Minskis un Seimūrs Paperts, kuri gadu vēlāk kļuva par MIT jaunās mākslīgā intelekta laboratorijas līdzvadītājiem.
Šī metode piedzīvoja atdzimšanu astoņdesmitajos gados, jaunā gadsimta pirmajā desmitgadē nedaudz ieslīdēja ēnās un otrajā reizē atgriezās ar fanfarām, pateicoties grafikas mikroshēmu un to apstrādes jaudas neticamās attīstības skaitam.
"Pastāv uzskats, ka idejas zinātnē ir kā vīrusu epidēmijas," saka Tomaso Poggio, MIT izziņas un smadzeņu zinātņu profesors. “Iespējams, ka ir pieci vai seši galvenie gripas vīrusu celmi, un viens no tiem atgriežas ar apskaužamu 25 gadu vecumu. Cilvēki inficējas, iegūst imunitāti un nesaslimst nākamos 25 gadus. Tad parādās jauna paaudze, kas ir gatava inficēšanai ar to pašu vīrusa celmu. Zinātnē cilvēki iemīlas kādā idejā, tā visus aizrauj, tad sit līdz nāvei un iegūst imunitāti pret to - nogurst. Idejām jābūt ar līdzīgu biežumu."
Svarīgi jautājumi
Neironu tīkli ir mašīnmācīšanās metode, kurā dators iemācās veikt noteiktus uzdevumus, analizējot apmācības piemērus. Parasti šie piemēri iepriekš tiek manuāli marķēti. Objektu atpazīšanas sistēma, piemēram, var absorbēt tūkstošiem automašīnu, māju, kafijas tasīšu un tamlīdzīgu attēlu ar marķējumu, un pēc tam tajos var atrast vizuālus modeļus, kas konsekventi korelē ar noteiktiem tagiem.
Neironu tīklu bieži salīdzina ar cilvēka smadzenēm, kurām ir arī šādi tīkli, kas sastāv no tūkstošiem vai miljoniem vienkāršu apstrādes mezglu, kas ir cieši saistīti. Lielākā daļa mūsdienu neironu tīklu ir sadalīti mezglu slāņos, un dati caur tiem plūst tikai vienā virzienā. Atsevišķu mezglu var saistīt ar vairākiem mezgliem slānī zem tā, no kuriem tas saņem datus, un vairākiem mezgliem augšējā slānī, uz kuriem tas pārsūta datus.
Reklāmas video:
Mezgls katrai no šīm ienākošajām saitēm piešķir numuru - "svars". Kad tīkls ir aktīvs, mezgls saņem dažādas datu kopas - dažādus numurus - par katru no šiem savienojumiem un reizina ar atbilstošo svaru. Pēc tam viņš saskaita rezultātus, veidojot vienotu numuru. Ja šis skaitlis ir zem sliekšņa, mezgls nepārraida datus uz nākamo slāni. Ja skaitlis pārsniedz slieksni, mezgls "pamostas", nosūtot numuru - svērtās ieejas summu - uz visiem izejošajiem savienojumiem.
Apmācot neironu tīklu, visi tā svari un sliekšņi sākotnēji tiek iestatīti nejaušā secībā. Apmācības dati tiek ievadīti apakšējā slānī - ieejas slānī - un iziet cauri nākamajiem slāņiem, sarežģītā veidā reizinot un pievienojot, līdz tie beidzot nonāk, jau pārveidoti, izejas slānī. Apmācības laikā svaru un slieksni nepārtraukti koriģē, līdz treniņa dati ar vienādām etiķetēm rada līdzīgus secinājumus.
Prāts un mašīnas
Neironu tīkliem, kurus 1944. gadā aprakstīja Makullofs un Pitsts, bija gan sliekšņi, gan svars, taču tie nebija organizēti slāņos, un zinātnieki nenorādīja konkrētu mācību mehānismu. Bet McCullough un Pitts parādīja, ka neironu tīkls principā var aprēķināt jebkuru funkciju, tāpat kā jebkuru digitālo datoru. Rezultāts bija vairāk no neirozinātnes, nevis datorzinātnes jomas: bija jāpieņem, ka cilvēka smadzenes var uzskatīt par skaitļošanas ierīci.
Neironu tīkli joprojām ir vērtīgs līdzeklis neirobioloģisko pētījumu veikšanai. Piemēram, atsevišķi tīkla slāņi vai svara un sliekšņu pielāgošanas noteikumi reproducē novērotās cilvēka neiroanatomijas un kognitīvās funkcijas un tāpēc ietekmē smadzenes to, kā smadzenes apstrādā informāciju.
Pirmo trenējamo neironu tīklu Perceptron (vai Perceptron) 1957. gadā nodemonstrēja Kornela universitātes psihologs Frenks Rozenblatts. Perceptron dizains bija līdzīgs mūsdienu neironu tīklam, izņemot to, ka tam bija viens slānis ar regulējamu svaru un sliekšņiem, kas bija iestiprināti starp ieejas un izejas slāņiem.
"Perceptroni" tika aktīvi pētīti psiholoģijā un datorzinātnēs līdz 1959. gadam, kad Minskis un Paperts publicēja grāmatu ar nosaukumu "Perceptrons", kas parādīja, ka diezgan parastu aprēķinu veikšana par perceptroniem bija nepraktiska laika ziņā.
"Protams, visi ierobežojumi pazūd, ja mašīnas padarīsit nedaudz sarežģītākas," piemēram, divās kārtās ", saka Poggio. Bet tajā laikā grāmata bija atvēsinoša ietekme uz neironu tīkla izpēti.
“Šīs lietas ir vērts padomāt vēsturiskā kontekstā,” saka Poggio. “Pierādījums tika izveidots programmēšanai valodās, piemēram, Lisp. Neilgi pirms tam cilvēki mierīgi izmantoja analogos datorus. Tajā laikā nebija pilnīgi skaidrs, pie kā novedīs programmēšana. Es domāju, ka viņi to mazliet pārspīlēja, bet, kā vienmēr, jūs nevarat visu sadalīt melnbaltajā krāsā. Ja jūs to domājat par konkurenci starp analogo un digitālo skaitļošanu, tad viņi cīnījās par nepieciešamo."
Periodiskums
Tomēr līdz 1980. gadiem zinātnieki bija izstrādājuši algoritmus neironu tīkla svara un sliekšņu modificēšanai, kas bija pietiekami efektīvi tīkliem ar vairāk nekā vienu slāni, noņemot daudzus ierobežojumus, kurus identificējuši Minskis un Paperts. Šī teritorija ir piedzīvojusi renesansi.
Bet no saprātīga viedokļa neironu tīklos kaut kas trūka. Pietiekami ilga apmācības sesija var izraisīt tīkla iestatījumu pārskatīšanu, līdz tā sāk datus klasificēt lietderīgi, bet ko šie iestatījumi nozīmē? Kādas attēla funkcijas objekta atpazītājs izskata un kā tas tos sadala, veidojot automašīnu, māju un kafijas tasīšu vizuālos parakstus? Atsevišķu savienojumu svara izpēte uz šo jautājumu neatbild.
Pēdējos gados datorzinātnieki ir sākuši nākt klajā ar ģeniālām metodēm, lai noteiktu neironu tīklos pieņemtās analītiskās stratēģijas. Bet 80. gados šo tīklu stratēģija bija nesaprotama. Tāpēc gadsimtu mijā neironu tīklus aizstāja vektora mašīnas - alternatīva pieeja mašīnu apguvei, kas balstīta uz tīru un elegantu matemātiku.
Nesenā pieaugošā interese par neironu tīkliem - dziļas mācīšanās revolūcija - ir parādā spēļu industrijai. Mūsdienu videospēļu sarežģītajai grafikai un ātrajam tempam nepieciešama aparatūra, kas var sekot līdzi tendencēm, kā rezultātā vienā mikroshēmā tiek izveidots GPU (grafikas apstrādes bloks) ar tūkstošiem relatīvi vienkāršu apstrādes kodolu. Zinātnieki drīz vien saprata, ka GPU arhitektūra ir lieliski piemērota neironu tīkliem.
Mūsdienu GPU ļāva veidot 1960. gadu tīklus un 1980. gadu divu un trīs slāņu tīklus šodienas 10, 15 un pat 50 slāņu tīklos. Par to vārds "dziļais" ir atbildīgs par "dziļu mācīšanos". Līdz tīkla dziļumam. Dziļās mācības šobrīd ir atbildīgas par visefektīvākajām sistēmām gandrīz visās mākslīgā intelekta pētījumu jomās.
Zem kapuces
Tīkla necaurredzamība joprojām satrauc teorētiķus, taču šajā jomā ir vērojams progress. Poggio vada izpētes programmu par intelekta teorētiskajiem pamatiem. Nesen Poggio un viņa kolēģi izlaida teorētisko pētījumu par neironu tīkliem trīs daļās.
Pirmajā daļā, kas pagājušajā mēnesī tika publicēta Starptautiskajā automatizācijas un skaitļošanas žurnālā, apskatīts to aprēķinu klāsts, ko var veikt dziļmācības tīkli un kad dziļi tīkli izmanto seklākos. Otrajā un trešajā daļā, kas tika izlaista kā lekcijas, tiek risinātas globālās optimizācijas problēmas, tas ir, nodrošinot, ka tīkls atrod iestatījumus, kas vislabāk atbilst tā apmācības datiem, kā arī gadījumus, kad tīkls tik labi saprot savu apmācības datu specifiku. kas nevar vispārināt citas to pašu kategoriju izpausmes.
Vēl priekšā ir daudz teorētisku jautājumu, uz kuriem būs jāsniedz atbildes. Bet ir cerība, ka neironu tīkli beidzot spēs izjaukt to paaudžu ciklu, kas tos ienirst karstumā un dažreiz arī aukstumā.
ILYA KHEL