Populære Innlegg

Redaksjonens - 2019

Automatisk kutting av kjedelige deler fra lange videoer

Anonim

Smartphones, GoPro-kameraer og Google Glass gjør det enkelt for alle å skyte video hvor som helst. Men de gjør det ikke enklere å se de kjedelige videoene som kan resultere. Carnegie Mellon Universitets datavitenskapsmenn har imidlertid oppfunnet en videoopphevelsesteknikk som automatisk kan velge ut de gode delene.

annonse


Kalt LiveLight, evaluerer denne metoden hele tiden handling i videoen, ser etter visuell nyhet og ignorerer repetitive eller ubegrensede sekvenser, for å lage en oppsummering som gjør det mulig for en seer å forstå hva som skjedde. Det det produserer, er en miniatyr video trailer. Selv om det ennå ikke er sammenlignbart med en profesjonelt redigert video, kan den hjelpe folk til raskt å gjennomgå en lang video av en hendelse, en sikkerhetskamerainnmatning eller video fra en politibryterens vindskjermkamera.

En spesielt kul applikasjon bruker LiveLight til automatisk å fordøye videoer fra, si, GoPro eller Google Glass, og laster opp miniatyrtrailere til sosiale medier raskt. Oppsummeringsprosessen unngår dermed å generere kostbare Internett-kostnader og kjedelig manuell redigering på lange videoer. Denne applikasjonen, sammen med automatisk oppsummering av overvåkingskamera, blir nå utviklet for sluttbrukermarkedet av PanOptus Inc., en oppstart grunnlagt av oppfinnerne av LiveLight.

LiveLight-videooppsummeringen skjer i "kvasi-sanntid", med bare ett enkelt pass gjennom videoen. Det er ikke øyeblikkelig, men det tar ikke lang tid - LiveLight kan ta 1-2 timer å behandle en times rå video og kan gjøre det på en vanlig bærbar PC. Med en kraftigere backend-databehandling kan produksjonstiden forkortes til bare få minutter, ifølge forskerne.

Eric P. Xing, professor i maskinlæring, og Bin Zhao, en Ph.D. student i Machine Learning Department, presenterer sitt arbeid på LiveLight 26. juni på Computer Vision and Pattern Recognition Conference i Columbus, Ohio. Eksempelvideoer og oppsummeringer er tilgjengelige online på //supan.pc.cs.cmu.edu:8080/VideoSummarization/. En demonstrasjonsvideo er tilgjengelig på //youtu.be/pkG3apELN_8.

"Algoritmen ser aldri tilbake, " sa Zhao, hvis forsknings spesialitet er datasyn. Snarere, ettersom algoritmen behandler videoen, samler den en ordbok av innholdet. Algoritmen bruker da den lærte ordboken til å bestemme seg på en svært effektiv måte dersom et nylig sett segment ligner tidligere observert hendelser, for eksempel rutinemessig trafikk på en motorvei. Segmenter som på denne måten er identifisert som trivielle gjentakelser eller ubegrensede er unntatt fra sammendraget. Nye sekvenser som ikke vises i den lærte ordlisten, for eksempel en uklar bil, eller en trafikkulykke, vil bli inkludert i sammendraget.

Selv om LiveLight kan produsere disse oppsummeringene automatisk, kan folk også inkluderes i løkken for å kompilere sammendraget. I dette tilfellet sa Zhao at LiveLight gir en rangerte liste over nye sekvenser for en menneskelig redaktør for å vurdere den endelige videoen. I tillegg til å velge sekvensene, kan en menneskelig redaktør velge å gjenopprette noen av bildene som anses å være verdiløse for å gi kontekst eller visuelle overganger før og etter sekvensene av interesse.

"Vi ser dette som potensielt det ultimate ubemannede verktøyet for å låse opp videodata, " sa Xing. Video har aldri vært enklere for den gjennomsnittlige personen å skyte, men det er så kjedelig å se på og merke den raske videoen, at stadig større volumer video kommer til å gå uskadd eller kasseres. De interessante øyeblikkene som er fanget i disse videoene, blir dermed usynlige og upåskrevne, la han til.

Evnen til å oppdage uvanlig atferd blant lange strekker av kjedelig video kan også være en velsignelse for sikkerhetsfirmaer som overvåker og vurderer overvåkingskameravideo.

annonse



Historie Kilde:

Materialer levert av Carnegie Mellon University . Merk: Innholdet kan redigeres for stil og lengde.