Amerikas rietumu krastā pasaules vērtīgākie uzņēmumi cenšas padarīt gudrāku mākslīgo intelektu. Google un Facebook lepojas ar eksperimentiem, izmantojot miljardiem fotoattēlu un tūkstošiem augstas veiktspējas procesoru. Bet pagājušā gada beigās Tenesī austrumu daļā projekts mierīgi pārspēja jebkuras korporatīvās AI laboratorijas mērogu. Un to vadīja ASV valdība.
ASV valdības superdators pārkāpj ierakstus
Rekordizētajā projektā tika iesaistīts pasaules jaudīgākais superdators Summit Oak Ridge Nacionālajā laboratorijā. Šī automašīna ieguva kroni pagājušā gada jūnijā, atdodot titulu Amerikas Savienotajām Valstīm piecus gadus vēlāk, kad Ķīna bija saraksta augšgalā. Klimata izpētes projekta ietvaros milzu dators uzsāka mašīnmācīšanās eksperimentu, kas bija ātrāks nekā jebkad agrāk.
Samitā, kas aptvēra teritoriju, kas līdzvērtīga diviem tenisa kortiem, šajā projektā tika izmantoti vairāk nekā 27 000 jaudīgu GPU. Viņš izmantoja viņu spēkus, lai apmācītu dziļas mācīšanās algoritmus, to pašu tehnoloģiju, kas ir uzlabotā mākslīgā intelekta pamatā. Dziļās mācīšanās laikā algoritmi veic vingrinājumus ar miljardu miljardu operāciju sekundē, kas superdatoru aprindās pazīstami kā paraugs.
“Dziļās mācīšanās nekad iepriekš nav sasnieguši šo veiktspējas līmeni,” saka Prabhats, Lawrence Berkeley Nacionālās laboratorijas Nacionālā enerģijas pētījumu centra pētnieku grupas vadītājs. Viņa komanda sadarbojās ar pētniekiem samita galvenajā mītnē, Oak Ridžas Nacionālajā laboratorijā.
Kā jūs varētu nojaust, pasaules jaudīgākā datora AI apmācība bija vērsta uz vienu no pasaules lielākajiem izaicinājumiem - klimata izmaiņām. Tehnoloģiju uzņēmumi apmācīt algoritmus, lai atpazītu sejas vai ceļa zīmes; valdības zinātnieki ir apmācījuši viņus atpazīt laika apstākļus, piemēram, ciklonus, no klimata modeļiem, kas trīs stundās saspiež Zemes atmosfēras simtgades prognozes. (Tomēr nav skaidrs, cik daudz enerģijas prasīja projekts un cik oglekļa šajā procesā izdalījās gaisā).
Reklāmas video:
Samita eksperimentam ir ietekme uz mākslīgā intelekta un klimatoloģijas nākotni. Projekts demonstrē zinātnisko potenciālu, kā pielāgot dziļu mācīšanos superdatoriem, kas tradicionāli imitē fizikālos un ķīmiskos procesus, piemēram, kodolsprādzienus, melnos caurumus vai jaunus materiālus. Tas arī parāda, ka mašīnmācīšanās var gūt labumu no lielākas skaitļošanas jaudas - ja jūs to varat atrast - un nākotnē nodrošināt sasniegumus.
“Mēs nezinājām, ka to varētu izdarīt šādā mērogā, līdz mēs to izdarījām,” saka Rajat Monga, Google CTO. Viņš un citi Google darbinieki palīdzēja projektam, pielāgojot uzņēmuma atvērtā koda TensorFlow mašīnmācīšanās programmatūru Summit gigantiskajam mērogam.
Liela daļa darbu pie dziļas mācīšanās mērogošanas ir paveikts interneta uzņēmumu datu centros, kur serveri strādā kopā ar problēmām, tos nodalot, jo tie ir salīdzinoši izkliedēti, nevis apvienoti vienā milzu datorā. Superdatoriem, piemēram, Summit, ir atšķirīga arhitektūra ar specializētiem ātrgaitas savienojumiem, kas tūkstošiem procesoru savieno vienā sistēmā, kas var darboties kopumā. Vēl nesen mašīnmācības pielāgošanai darbam ar šāda veida aparatūru ir bijis salīdzinoši maz.
Monga saka, ka darbs, lai pielāgotu TensorFlow samita skalai, atbalstīs arī Google centienus paplašināt savas iekšējās mākslīgā intelekta sistēmas. Šajā projektā piedalījās arī Nvidia inženieri, pārliecinoties, ka desmitiem tūkstošu Nvidia GPU šajā mašīnā darbojas bez aizķeršanās.
Pašreizējā tehnoloģiju attīstībā ir ļoti svarīgi atrast iespējas, kā dziļākas mācīšanās algoritmos izmantot lielāku skaitļošanas jaudu. Tā pati tehnoloģija, kuru Siri izmanto balss atpazīšanai, un Waymo automašīnas, lai lasītu ceļa zīmes, kļuva noderīgas 2012. gadā pēc tam, kad zinātnieki to pielāgoja darbībai ar Nvidia GPU.
Analīzē, kas publicēta pagājušā gada maijā, Elonas Muskas dibinātā Sanfrancisko pētniecības institūta OpenAI zinātnieki lēš, ka skaitļošanas jaudas apjoms lielākajos publiskajos mašīnu apguves eksperimentos kopš 2012. gada ir divkāršojies aptuveni ik pēc 3,43 mēnešiem; tas gadā būtu 11 reizes lielāks. Šī progresēšana palīdzēja Alfabēta robotprogrammatūrai pārspēt čempionus izaicinošajās galda un videospēlēs, kā arī ievērojami uzlaboja Google tulka precizitāti.
Lai turpinātu šo tendenci, Google un citi uzņēmumi pašlaik izveido jauna veida mikroshēmas, kas iespējotas ar AI. Google saka, ka podesti ar tūkstošiem tās AI mikroshēmu, kas atrodas tuvu viena otrai - dublēti tenzoru procesori jeb TPU - var nodrošināt 100 apstrādes jaudas petaflops, kas ir viena desmitā daļa no samita sasniegtā ātruma.
Samita ieguldījums klimata zinātnē parāda, cik gigants AI var uzlabot mūsu izpratni par nākotnes laika apstākļiem. Kad pētnieki ģenerē gadsimtu vecas laika prognozes, iegūtās prognozes lasīšana kļūst izaicinoša. “Iedomājieties, ka jums ir YouTube filma, kas tiek rādīta 100 gadus. Šajā filmā nav nekādu iespēju manuāli atrast visus kaķus un suņus,”saka Prabats. Parasti šī procesa automatizēšanai tiek izmantota programmatūra, taču tā nav perfekta. Samita rezultāti parādīja, ka mašīnmācība to var paveikt daudz labāk, un tam vajadzētu palīdzēt prognozēt tādas vētras kā plūdi.
Saskaņā ar Kalifornijas universitātes Īrvina profesora Maikla Pritharda teikto, dziļu mācību uzsākšana superdatoros ir salīdzinoši jauna ideja, kas radās klimata pētniekiem izdevīgā laikā. Tradicionālo procesoru attīstības palēnināšanās ir likusi inženieriem aprīkot superdatorus ar arvien lielāku grafisko mikroshēmu skaitu, lai konsekventi uzlabotu veiktspēju. "Ir pienācis laiks, kad jūs vairs nevarat palielināt apstrādes jaudu parastajā veidā," saka Pritchard.
Šī maiņa noveda pie tradicionālās modelēšanas apstāšanās, un tāpēc tai bija jāpielāgojas. Tas arī paver iespējas izmantot dziļas mācīšanās spēku, kas, protams, ir piemērots grafikas mikroshēmām. Varbūt mēs iegūsim skaidrāku priekšstatu par mūsu klimata nākotni.
Iļja Khel