Google mākslīgā intelekta nodaļa paziņoja par jaunas metodes izveidi neironu tīklu apmācībai, apvienojot modernu algoritmu un veco videospēļu izmantošanu. Vecās Atari videospēles tiek izmantotas kā mācību vide.
DeepMind izstrādātāji (atgādināt, ka šie cilvēki izveidoja AlphaGo neironu tīklu, kas vairākkārt ir pieveicis labākos spēlētājus aiziet loģikas spēlē) uzskata, ka mašīnas var mācīties tāpat kā cilvēki. Izmantojot apmācības sistēmu DMLab-30, kas balstīta uz Quake III šāvēja un Atari arkādes spēlēm (tiek izmantotas 57 dažādas spēles), inženieri ir izstrādājuši jaunu IMPALA (svarīguma svērto aktieru un audzēkņu arhitektūru) mašīnu mācīšanās algoritmu. Tas ļauj atsevišķām detaļām iemācīties veikt vairākus uzdevumus vienlaikus un pēc tam savā starpā apmainīties ar zināšanām.
Daudzos veidos jaunās sistēmas pamatā bija agrākā asinhronā aktiera-kritiskā aģenta (A3C) arhitektūras sistēma, kurā atsevišķi aģenti pēta vidi, tad process tiek apturēts un viņi apmainās ar zināšanām ar centrālo komponentu - “studentu”. Kas attiecas uz IMPALA, tajā var būt vairāk aģentu, un pats mācību process notiek nedaudz savādāk. Tajā aģenti nosūta informāciju uzreiz diviem "studentiem", kuri pēc tam arī apmainās ar datiem savā starpā. Turklāt, ja A3C zudumu funkcijas gradienta aprēķināšanu (citiem vārdiem sakot, neatbilstība starp prognozētajām un iegūtajām parametru vērtībām) veic paši aģenti, kuri informāciju nosūta uz centrālo kodolu, tad IMPALA sistēmā šo uzdevumu veic “studenti”.
Piemērs personai, kura spēlē spēli:
Lūk, kā IMPALA sistēma tiek galā ar vienu un to pašu uzdevumu:
Viens no galvenajiem izaicinājumiem, attīstot AI, ir laiks un vajadzība pēc lielas skaitļošanas jaudas. Pat tad, ja mašīna ir autonoma, nepieciešami noteikumi, kurus viņi var ievērot, veicot savus eksperimentus un atrodot veidus, kā risināt problēmas. Tā kā mēs nevaram vienkārši izveidot robotus un ļaut viņiem mācīties, izstrādātāji izmanto simulācijas un dziļas mācīšanās metodes.
Lai mūsdienu neironu tīkli kaut ko iemācītos, viņiem ir jāapstrādā milzīgs informācijas daudzums, šajā gadījumā miljardiem kadru. Un jo ātrāk viņi to izdara, jo mazāk laika nepieciešams mācībām.
Reklāmas video:
Ar pietiekami daudziem procesoriem DeepMind saka, ka IMPALA sasniedz 250 000 kadru sekundē jeb 21 miljardu kadru dienā. Saskaņā ar The Next Web, tas ir absolūts rekords šāda veida uzdevumiem. Paši izstrādātāji komentē, ka viņu AI sistēma tiek galā ar uzdevumu labāk nekā līdzīgas mašīnas un cilvēki.
Nākotnē robotikā var izmantot līdzīgus AI algoritmus. Optimizējot mašīnmācīšanās sistēmas, roboti ātrāk pielāgosies savai videi un darbosies efektīvāk.
Nikolajs Khizhnyak
