Mākslīgā intelekta lauku bieži salīdzina ar naftas rūpniecību: pēc ieguves un rafinēšanas dati, tāpat kā nafta, var kļūt par ļoti ienesīgu preci. Tomēr tagad kļūst redzams, ka šī metafora paplašinās. Tāpat kā fosilie kurināmie, arī dziļai mācībai ir milzīga ietekme uz vidi. Jaunajā pētījumā Masačūsetsas Universitātes Amherst zinātnieki novērtēja vairāku izplatītu lielo AI modeļu dzīves dzīves ciklu.
Tā atklāja, ka šis process var radīt vairāk nekā 626 000 mārciņu (apmēram 300 000 kg) oglekļa dioksīda ekvivalenta, kas piecu gadu laikā ir gandrīz piecas reizes lielāks nekā tipiska auto izmešu daudzums (ieskaitot paša auto ražošanu).
Kā tiek apmācīti AI modeļi
Šī ir satriecoša skaitliskā izteiksme tam, ko AI pētnieki jau sen ir turējuši aizdomās.
Dabiskās valodas apstrādes oglekļa pēdas
Reklāmas video:
Rakstā īpaši apskatīts dabiskās valodas apstrādes modeļa (NLP) apmācības process - AI apakšlauks, kas nodarbojas ar apmācības mašīnām darbam ar cilvēku valodu. Pēdējo divu gadu laikā NLP kopiena ir veikusi vairākus svarīgus atskaites punktus mašīntulkošanas, teikumu pabeigšanas un citu standarta klasifikācijas uzdevumu jomā. Bēdīgi slavenais OpenAI GPT-2 modelis kā piemērs ir izdevies uzrakstīt pārliecinošus viltus ziņu stāstus.
Bet šādam progresam bija jāapmāca arvien lielāki modeļi uz izstieptām datu kopām no teikumiem, kas ievilkti no interneta. Šī pieeja ir skaitliski dārga un ļoti energoietilpīga.
Pētnieki apskatīja četrus modeļus apgabalā, kas ir atbildīgs par lielākajiem lēcieniem veiktspējā: Transformers, ELMo, BERT un GPT-2. Viņi katru dienu apmācīja vienu GPU, lai izmērītu enerģijas patēriņu.
Pēc tam viņi paņēma sākotnējā parauga dokumentos norādīto apmācības stundu skaitu, lai aprēķinātu kopējo enerģijas daudzumu, kas patērēts visa apmācības procesa laikā. Šis daudzums tika pārveidots par ekvivalentu mārciņu oglekļa dioksīda, kas bija saskaņā ar AWS enerģijas sajaukumu no Amazon, pasaules lielākā mākoņu piegādātāja.
Tā konstatēja, ka apmācības aprēķina un vides izmaksas palielinājās proporcionāli modeļa lielumam, un pēc tam eksponenciāli palielinājās, pielāgojot modeļa galīgo precizitāti. Neironu arhitektūras meklēšana, kas mēģina optimizēt modeli, pakāpeniski mainot neironu tīkla struktūru, izmantojot izmēģinājumu un kļūdas, rada ārkārtīgi augstas izmaksas ar nelielu veiktspējas uzlabojumu. Bez tā visdārgākais BERT modelis atstāja oglekļa pēdu 1400 mārciņu (635 kg) tuvu trans-Amerikas turp un atpakaļ.
Turklāt šie skaitļi būtu jāuzskata tikai par bāzes līnijām.
Kopumā zinātnieki lēš, ka galīgā modeļa izveides un testēšanas procesam, kuru vērts publicēt, sešu mēnešu laikā bija jāapmāca 4789 modeļi. CO2 ekvivalenta izteiksmē tas ir aptuveni 35 000 kg.
Šo skaitļu nozīmīgums ir milzīgs, īpaši ņemot vērā pašreizējās tendences AI pētniecībā. Kopumā AI pētījumos netiek ņemta vērā efektivitāte, jo lielie neironu tīkli tiek atzīti par noderīgiem dažādiem uzdevumiem, un uzņēmumi ar neierobežotiem skaitļošanas resursiem tos izmantos, lai iegūtu konkurences priekšrocības.
Iļja Khel