Algoritmu izveide darbam ar attēliem vienmēr ir bijis diezgan grūts, taču daudzsološs uzdevums. Kad es vēl joprojām rakstīju savu izlaiduma projektu 1999. gadā, tēma "modeļa atpazīšana" bija ļoti aktuāla automātiskās vadības un vadības sistēmās.
Tas ir tas, ko viņi šodien var darīt. Indijas izstrādātāji ir prezentējuši sistēmu, kas no neskaidrajiem attēliem var izveidot īsus video. Algoritms darbojas uz konvolucionāro un atkārtoto neironu tīklu pamata un ļauj pārvērst kustības artefaktus attēlos īsā (līdz desmit kadriem) video.
Skatīt vairāk …
Skatot izplūdušu attēlu, cilvēks var garīgi pabeigt notiekošā attēlu. Piemēram, redzot putna fotoattēlu ar izplūdušiem spārniem, var secināt, ka attēla izplūšana ir saistīta ar artefaktiem, kas iegūti spārnu kustībā. Datorizētās redzamības sistēmām šis uzdevums tomēr ir grūtāks, un lielākā daļa zināmo metožu ir paredzētas tikai kustību artefaktu un rāmju izlīdzināšanai.
Indijas Tehnoloģiju institūta zinātnieki AN Rajagopalan vadībā ierosināja, ka visa īsa videoklipa izveidošanai varētu izmantot vienu izplūdušu attēlu: tas ir, atjaunot sākotnējo kustību no tā attēliem saistītajiem artefaktiem. Lai to izdarītu, viņi izstrādāja algoritmu, kura pamatā ir konvolūcijas neironu tīkli, kurus aktīvi izmanto uzdevumiem, kas saistīti ar automātisku attēla atpazīšanu, kā arī atkārtotus neironu tīklus.
Modelis ir apmācīts daudzos videoklipos, kas tiek sadalīti rāmjos. Pēc tam neironu tīkls meklē šādu rāmi, artefakti, uz kuriem visciešāk sakrīt treniņu izlases kadra artefakti. Pēc tam dekodētājs "atjauno" mācību parauga kadru artefaktus kustībā, kas uzņemta video. Tādējādi modelī tiek glabāti dati par iespējamām atgūtām kustībām no katra izplūdušā kadra, kas pieejams mācību paraugā.
Reklāmas video:
Darba rezultātā neironu tīkls rada video, kas rekonstruēts no izplūdušā attēla un sastāv no desmit kadriem. Izstrādātais algoritms, pēc veidotāju domām, varēs vēl vairāk palīdzēt uzlabot ne tikai izplūdušo attēlu atjaunošanu, bet arī pašu video.
Kustības artefaktu noņemšana atsevišķos kadros var arī uzlabot video straumēšanu. Līdz šim šim nolūkam galvenokārt tiek izmantoti algoritmi bitrate pielāgošanai atkarībā no video ātruma un tā buferizācijas.
Elizaveta Ivtushok