Attīstoties neironu tīkliem un mašīnmācīšanās tehnoloģijām, paplašinās arī to piemērošanas joma. Ja agrāk neironu tīkli tika izmantoti tikai sarežģītu matemātisko, medicīnisko, fizisko, bioloģisko aprēķinu veikšanai un prognozēšanai, tagad šīs tehnoloģijas iegūst plašu popularitāti “ikdienišķākā” vidē - izklaides jomā. Sperot tikai pirmos soļus šajā virzienā, viņi jau spēj parādīt pārsteidzošus un reizēm pat izcilus rezultātus. Šodien mēs analizēsim dažus ilustratīvus piemērus.
Video remasterēšanas process ir tik sarežģīts un laikietilpīgs, ka mēs, iespējams, nekad nebūtu redzējuši daudzus pasaules klasikas šedevrus ar jaunu, modernu, skaidru un sulīgu attēlu. Tomēr pasaule ir pilna ar viedajiem faniem un entuziastiem, kuri labi pārzina jaunās tehnoloģijas un jo īpaši neironu tīklus un mašīnu apguves tehnoloģijas, ar kuru palīdzību jūs varat sasniegt pārsteidzošus rezultātus pat mājās. Piemēram, YouTube lietotājs Stefans Rumens ar pseidonīmu CaptRobau nolēma demonstrēt dažas neironu tīklu iespējas, apstrādājot vecās zinātniskās fantastikas sērijas video.
Viņa iepriekšējais darbs ir Remako Mod, klasiskā un ļoti populārā japāņu RPG Final Fantasy VII "HD pārtaisījums". Lai to izdarītu, viņš izmantoja AI algoritmu AI Gigapixel, ar kura palīdzību viņš 4 reizes varēja izmērīt sākotnējā attēla attēlu, pārveidojot to HD izšķirtspējā bez būtiskām izmaiņām oriģinālajā mākslas dizainā. Tādējādi, kamēr jūs gaidāt vēl desmit gadus, līdz brīdim, kad japāņu datorspēļu izstrādātājs un izdevējs Square Enix oficiāli atbrīvo remasteru, iespējams, vienu no šīs spēles sērijas labākajām daļām, varat pats izmēģināt Stefana Rumena modi, lejupielādējot to no šīs vietnes.
Starp citu, nesen neironu tīkla tehnoloģijas veco spēļu pārveidošanai un atbilstošākam un mūsdienīgākam izskatam, nemainot vispārējo sākotnējo koncepciju, ir kļuvušas par reālu tendenci dažādu modificētāju vidū. Piemēram, ne tik sen mēs runājām par ESRGAN tehnoloģiju (Enhanced Super Resolution Generative Adversarial Networks), kas ievieš attēlu mērogošanas tehnoloģijas ar kvalitātes pieaugumu 2–8 reizes. Algoritms oriģinālajam attēlam tiek padots ar mazu izšķirtspēju, pēc kura tas ne tikai palielina oriģinālo izšķirtspēju, bet arī uzlabo attēla kvalitāti, gleznojot uz reālistiskām detaļām un padarot faktūras “dabiskākas”.
Tekstūras kvalitātes salīdzinājums: kreisajā pusē ir oriģinālā faktūra no spēles Morrowind, labajā pusē - apstrādāta ar neironu tīklu.
Varonis no Doom (kreisais un labais kļuva).
Fona apstrāde pastāvīgajā ļaunumā 3.
Reklāmas video:
Lai kā arī nebūtu, intervālos starp "Septītā fināla" remasterēšanu Stefans Rumens nolēma sākt vēl vienu projektu - izmantot to pašu mašīnmācīšanās tehnoloģiju, bet šoreiz 90. gadu klasiskās zinātniskās fantastikas sēriju kadru apstrādei. Rumens par eksperimentu objektu izvēlējās Star Trek: Deep Space Nine.
Autors atzīmē, ka televīzijas seriāla tiešraides attēla mērogošana ir ļoti atšķirīga no iepriekš padarīta Final Fantasy VII attēla mērogošanas, tāpēc gala rezultāts, kaut arī tas izskatās ievērojami labāk nekā oriģinālie materiāli ar mazu izšķirtspēju, tomēr šis attēls joprojām ir tālu no ideāla, par kuru jūs varētu būt sapņojis kopš brīža, kad tirgū parādījās pirmie Blu-ray atskaņotāji. Reizēm uz ekrāna parādās mazi "artefakti". Bet, atkal, kopumā viss izskatās vairāk nekā cienīgs. Bet vispār, redziet pats.
Šim projektam Rumens izmantoja arī AI Gigapikseļu algoritmu, kas tika apmācīts rediģēt attēlus, pamatojoties uz reālām fotogrāfijām. Autors atzīmē, ka jaunais attēls tika iegūts 1080p un 4k formātā, taču, tā kā Rumenam nav televizora vai monitora ar dabisko 4K izšķirtspēju, viņš nevar pienācīgi novērtēt 4K versiju.
Diemžēl visu sēriju nevar skatīties Full HD kvalitātē. Visa izejmateriāla apstrādes process būtu prasījis ļoti ilgu laiku, tāpēc Rumen demonstrācijai izmantoja tikai atsevišķus kadrus no dažādām sērijām. Pēc viņa teiktā, viņš sāka šo projektu tikai viena iemesla dēļ - parādīt, ka tas tiešām ir iespējams. Viņaprāt, vesela profesionāļu komanda, kas strādā lielā televīzijas uzņēmumā un kuru rīcībā ir šādam darbam piemērotāks un jaudīgāks datortehnika, daudz labāk tiks galā ar šo uzdevumu.
Neironu tīklu izmantošana, lai vienkāršotu veco video spēļu un filmu attēlu apstrādi, nav vienīgās jomas, kur šādas tehnoloģijas var parādīt savus talantus. Mūsdienu pasaulē, kur arvien lielāku popularitāti iegūst panorāmas kameras, kas spēj radīt 360 grādus, kā arī virtuālās realitātes austiņas, izstrādātāji ir sākuši aktīvi izpētīt panorāmas fotogrāfijas potenciālu.
Viens no jaunākajiem sasniegumiem šajā virzienā ir neironu tīkls, kas spēj atskaņot panorāmas statiskos attēlus. Tā autori ir mašīnmācības eksperti no Masačūsetsas, Kolumbijas universitātēm un Džordža Masona universitātes.
Izveidotais algoritms nosaka vides un fotoattēlā esošo objektu veidu, pēc tam izvēlas un sakārto skaņas no izmantotās datu bāzes saskaņā ar attāluma telpisko aprēķinu līdz to avotiem šajā attēlā. Pateicoties tam, panorāmas attēls iegūst reālistisku un ietilpīgu skaņu, kas ļauj novērtēt iesniegto attēlu pilnīgi jaunā veidā.
Pēc šī neironu tīkla izstrādātāju domām, šī tehnoloģija var izraisīt interesi starp VR satura (filmas un spēles) izstrādātājiem. Pēdējam šajā gadījumā nevajadzēs manuāli pārklāt visas skaņas uz panorāmas attēlu, neironu tīkls to visu spēs paveikt pats.
Nikolajs Khizhnyak