Nesen neironu tīkli pārsteidz ar savām prasmēm - vai jūs jau pirms desmit gadiem varējāt ticēt, ka dators var "atdzīvināt" Dostojevska un Marilinas Monro portretus? Sagatavojieties pārsteigt vēl vairāk, jo MIT pētnieki ir izveidojuši Speech2Face neironu tīklu, kas spēj zīmēt cilvēku portretus, tikai klausoties viņu balsīs. Tehnoloģija nebūt nav ideāla, taču tās spēja noteikt cilvēka dzimumu, tautību un vecumu ir iespaidīga.
Neironu tīkla apmācībai AVSpeech komplekts tika izmantots ar miljonu īsu video ar tūkstošiem runājošu cilvēku. Dziesmas ar video un skaņu ir atdalītas, tāpēc sistēma varēja izpētīt katra veida materiālus pēc iespējas detalizētāk. Pirmajā darba posmā VGG-Face algoritms pētīja video fragmentus un izveidoja uz tiem esošo cilvēku portretus pilnas sejas un neitrālu sejas izteiksmju veidā. Citā algoritma daļā tika pētīta balss spektrogramma un iegūtajiem portretiem tika piemērotas papildu izmaiņas - rezultātā tika iegūts aptuvens katras runājošās personas portrets.
Neironu tīkls balss portretu izveidošanai jau ir realitāte
Ja salīdzina cilvēka seju ar video un ar algoritma piedāvāto iespēju, var atrast daudz atšķirību. Tomēr pētnieki apliecina, ka sākotnēji viņi nevēlējās radīt līdzīgāko cilvēka portretu - daudzi faktori ietekmē cilvēka balss toni un intonāciju, tāpēc viņi vienalga nebūtu ieguvuši ideālu rezultātu. Bet neironu tīkls veic izcilu darbu, kas ir svarīgi pētniekiem, proti, precīzi nosaka dzimumu, tautību un vecumu.
Darba autori atzīmēja, ka šobrīd algoritms ir vājš, nosakot vecumu, taču tie var uzlabot precizitāti. Tika arī atklāts, ka algoritms labāk atjauno Eiropas un Āzijas sejas, bet tas ir saistīts tikai ar to, ka apmācības video bija nevienmērīgs dažādu tautību seju skaits.
Reklāmas video:
Kāpēc jums ir nepieciešams neironu tīkls?
Kā šī tehnoloģija var būt noderīga nākotnē? Alternatīvi, izmantojot to, kādu dienu var izveidot pakalpojumu, kurā lietotāja virtuālais iemiesojums tiek izveidots automātiski, pamatojoties uz viņa balsi. Jaunajam pētījumam ir arī lielas zinātniskas priekšrocības - izpētot datus, zinātnieki var atrast saistību starp cilvēka izskatu un viņa balsi. Projekta tīmekļa vietnē varat klausīties balsis un aplūkot portretus, kas no jauna izveidoti, pamatojoties uz tiem.
Ramis Ganijevs