NO327155B1

NO327155B1 - Fremgangsmåte for å vise videodata innenfor resultatpresentasjoner i systemer for aksessering og søking av informasjon

Info

Publication number: NO327155B1
Application number: NO20054844A
Authority: NO
Inventors: Bjørn Olstad; Will Arentz
Original assignee: Fast Search & Transfer Asa
Priority date: 2005-10-19
Filing date: 2005-10-19
Publication date: 2009-05-04
Also published as: US9122754B2; US20130132374A1; US20080097970A1; US9372926B2; US20150370808A1; NO20054844L; GB2436244A; WO2007046708A1; GB0711264D0; NO20054844D0; US8296797B2

Abstract

Oppfinnelsen angår en fremgangsmåte og apparat for å vise videodata innen resultatpresentasjoner i informasjonsaksessystemer. Oppfinnelsen viser forskjellige måter for å konstruere en initial resultatside med tommelnegler som er kompakte og som kan lastes ned på en meget effektiv måte. Videre angis innholdsbaserte video- og audioanalyseverktøy for å sikre kvalitet og søkespørsmålsrelevans for tommelneglene. Det vises hvordan videoresultatsiden effektivt kan skumleses ved å skaffe streaming av videosammendrag på forespørsel og i kontekst. Det vises forskjellige måter for å beregne videosammendrag, med høy kvalitet og avhengig av søkespørsmålene. Videre vises det hvordan videoannonsering kan innleires i videosammendragene. En rekke mulige utførelser av oppfinnelsen vises innbefattet klientaksess fra PCer, telefoner, PDAer og spinninnretninger.

Description

Oppfinnelsen angår en fremgangsmåte for å vise videodata innenfor resultatpresentasjoner i informasjonsaksessystemer eller

informasjonssøkesystemer, hvor fremgangsmåten omfatter trinn for å benytte søkespørsmål på et sett av videoer, og identifisere tilsvarende videoer, og å fremstille en resultatside med minst en av de mest relevante videoer.

Det er kjent en rekke systemer som er blitt utført for å komprimere, dekomprimere og avspille digitale videoer på mobil- og datamaskinbaserte systemer. Spesielt er slike systemer blitt utført for å se på video over datamaskinnettverk, trådløse nettverk og mobile nettverk. Disse systemene er i stand til å komprimere og streame videoinnholdet over datanettverk så som Internett, og å utføre dekomprimering og avspilling på en datamaskininnretning så som en PC eller mobiltelefon. Kjente teknikker innbefatter også fremgangsmåter for å søke videoinformasjon og som er basert på eksterne metadata, innleirede metadata, innholdsbasert analyse og tale- eller fonetisk transkripsjon av lydsporet i videoen. I den forbindelse er såkalte tommelnegler blitt benyttet i kjent teknikk. Tommelneglene er miniatyrversjoner av et bilde eller en elektronisk versjon av en side som generelt benyttes for å tillate hurtig titting gjennom en rekke bilder eller sider. For eksempel inneholder sider på World Wide Web ofte tommelnegler i form av bilder. Disse tommelneglene kan webleseren nedlaste langt hurtigere enn et bilde i full størrelse. I mange tilfeller kan også sluttbrukeren klikke på disse tommelneglene for å laste ned den fullstendige versjon av bildet. Slik det vil være kjent for fagfolk, viser den kjente teknikk fremgangsmåter for å danne tommelnegler sa som en JPEG av et valgt stillbilde i en video for å illustrere videoen i en resultatside ved informasjonsaksessløsninger.

Gitt den økende betydning av video og bevegelige bilder som generelt kan

fås fra innholdsmagasiner, f.eks. i form av databaser, og som tilbys sluttbrukerne via datakommunikasjonssystemer, herunder både ekstranett eller intranett, tilbyr et økende antall av informasjonsleverandører på

Internett også sluttbrukerne en enorm mengde videobilder eller digitale filmbilder ofte for salg eller med betaling for enkeltbruk (pay per vie w). Den veldige vekst i mengden av informasjon av denne art og dens økende betydning, spesielt i forbrukermarkedet for informasjonstjenester, har skapt et behov for å forbedre en initial resultatside med bruk av tommelnegler for å lette skumlesing av et enormt reelt innhold.

Følgelig er det en hovedhensikt med den foreliggende oppfinnelse å skaffe en fremgangsmåte for å konstruere en initial resultatside med tommelnegler og som er kompakt og kan lastes ned på en meget effektiv måte. En annen hensikt med den foreliggende oppfinnelse er å skaffe et verktøy for video og audioanalyse for å sikre kvaliteten og spørsmålsrelevansen for tommelneglene.

En tredje hensikt med oppfinnelse er å skaffe effektiv skumlesning av en videoresultatside ved på forespørsel å skaffe streaming av videosammendrag innenfor konteksten.

En fjerde hensikt med oppfinnelsen er å vise hvordan videosammendrag kan beregnes med høy kvalitet og avhengig av søkespørsmål.

Endelig er det en siste hensikt med oppfinnelsen å generere videosammendrag med innleiret videoannonsering.

De ovennevnte hensikter så vel som ytterligere trekk og fordeler realiseres i henhold til den foreliggende oppfinnelse med en fremgangsmåte som er kjennetegnet ved trinn for å forhåndsberegne komprimerte tommelnegler for videoene i en resultatside, å benytte en eller flere forhåndsberegnede, komprimerte tommelnegler på resultatsiden, å iverksette et brukervalg av en video i resultatsiden, og å aktivere streaming av et videosammendrag innenfor konteksten til den forbundne resultatside.

Ytterligere trekk og fordeler vil fremgå av de vedføyde uselvstendige krav.

Fremgangsmåten i henhold til den foreliggende oppfinnelse skal forståes bedre av den etterfølgende detaljerte beskrivelse av eksemplifiserende utførelser og lest i samband med den vedføyde tegning på hvilken fig. 1 illustrerer et blokkdiagram for en eksemplifiserende søkemotorarkitektur,

fig. 2 hvordan dokumentattributter på forskjellige måter kan gis et sammendrag over en resultatmengde,

fig. 3 viser en semantisk oppspalting av en tekst med dokumentegenskaper innleiret i en semantisk struktur,

fig. 4 et eksempel på tekstformattert XML,

fig. 5 nøkkelkomponenter i et informasjonsaksessystem for videoinnhold,

fig. 6 nøkkelkomponenter i et tale-til-tekstsystem,

fig. 7 viser et utgangseksempel på en tale-til-tekstanalyse av lydsporet i en video,

fig. 8 viser hvordan forskjellige innholdskilder kan gjøres tilgjengelige for streaming innenfor konteksten av resultatbetraktning i informasjonsaksessen,

fig. 9 viser viktige byggestener i konstruksjonen av intelligente videosammendrag,

fig. 10 og 14 eksempler på typiske vevgrensesnitt for søkemotorer som skaffer aksess til videoinnhold,

fig. 11 forskjellige muligheter for å visualisere et videosammendrag,

fig. 12 viser en slideshowbetraktning av bilder i et videosammendrag,

fig. 13 viser forholdet mellom kompakte videotommelnegler og streaming av videosammendrag ved brukervalg,

fig. 14 et annet eksempel på et typisk vevgrensesnitt for søkemotorer som skaffer aksess til videoinnhold,

fig. 15 hvordan det i henhold til kjent teknikk velges et enkelt bilde eller bare en forkortet versjon av en video for forhåndsvisninger,

fig. 16 viser hvordan nøkkelbilder og forbundne tidssekvenser velges og settes sammen for å danne et videosammendrag sammen med lydsporet, og fig. 17 hvordan videotommelneglen og videosammendraget kan innfanges i en flashkoding og tilbys som interaktiv streaming på forespørsel til sluttbrukeren.

Nå skal forskjellige utførelser av fremgangsmåten i henhold til den foreliggende oppfinnelse vises og drøftes i noen detalj. Disse utførelser innbefatter klientaksess, dvs. sluttbrukeraksess fra personlige datamaskiner, mobiltelefoner, PDAer og spilleinnretninger. Det skal forståes at overalt i fremstillingen benyttes begrepet "video", "videodata" eller "videodokumenter" til å betegne enhver digital bevegelig bildestørrelse og således kan de tas i betydningen en streamet film, en videofil, et webinar eller en levende sending. Videre er begrepet tidssekvens i en video ment å skulle bety påfølgende bilder, eller delbilder mellom en startoffset og en sluttoffset i videoen.

Fremgangsmåten i henhold til den foreliggende oppfinnelse skal også tas i betraktning på bakgrunn av de teknologier som for tiden er under utvikling for aksessering, søking, gjenfinning og adressering av informasjon som f.eks. befinner seg i dokumentsamlinger som er tilgjengelig via datakommunikasjonsnettverk så som intranett og ekstranett. Med det formål å aksessere, søke, gjenfinne og analysere informasjon og innholdssamlinger så som databaser eller vevsteder, blir søkemotor vanligvis benyttet til å ta hånd om informasjon- og søkebehov som er umulig å tilfredsstille ved hjelp av f.eks. de mange brukerprogrammer så som vevlesere som benyttet på Internett (World Wide Web). Følgelig skal arkitekturen til en søkemotor først kort drøftes med henvisning til fig. 1 som viser typiske nøkkelkomponenter for en søkemotor.

På fig. 1 er søkemotoren vist omfattende forskjellige moduler 102-108. Søkemotoren kan aksessere innholdssamlinger (magasiner eller arkiver) 101 hvorfra innholdet enten aktivt kan skyves inn i søkemotoren eller via en datakobling trekkes inn i søkemotoren. Typiske samlinger eller arkiver omfatter databaser, kilder gjort tilgjengelige via ETL-(Extract-Transfor-Load)-verktøy så som Informatica, ethvert XML-formattert arkiv, filer fra filtjenere, filer fra webtjenere, dokumenthpndteringssystemer, innholdshåndteringssystemer, emailsystemer, kommunikasjonssystemer, samarbeidssystemer og rike media så som audio, bilder og video. Dokumentene leveres til en søkemotor via et innholds-API (Application Programming Interface) 102. Deretter blir dokumentene analysert i et innholdsanalysetrinn 103 for å forberede innholdet med tanke på forbedrede søke- og oppdagelsesoperasjoner. Typisk kan utgangen på dette trinn være en XML-representasjon av inngangdokumentet. Utgangen av innholdsanalyse benyttes til å mate en kjerne søkemotor 104. Kjernesøkemotoren 104 kan typisk være anlagt over en tjenerfarm på en fordelt måte for å behandle store dokumentmengder og høye søkespørsmålsbelastninger. Kjernesøkemotoren 104 kan motta brukeranmodninger og frembringe lister av overensstemmende dokumenter. Rangeringen av ordningen av dokumenter blir vanligvis bestemt i henhold til en relevansmodell som måler den sannsynlige betydning av et gitt dokument relativt til søkespørsmålet. I tillegg kan kjernesøkemotoren 104 frembringe ytterligere metadata om resultatsettet, så som sammendragsinformasjon for dokumentattributter. Alternativt kan utgangen fra innholdsanalysetrinnet mates inn i en alert- eller varselmotor 105. Varselmotoren 105 vil ha et lagret sett av søkespørsmål og kan bestemme hvilke søkespørsmål som ville ha godtatt gitte dokumentinnganger. En søkemotor kan aksesseres fra mange forskjellige klienter eller applikasjoner, av hvilken er vist mobil- eller datamaskinbaserte klientapplikasjoner 109; 110. Andre klienter innbefatter PDAer og spilleinnretninger. Disse klientene vil inngi anmodninger til et søke spørsmål-API 108. Søkemotoren vil typisk ha midler i form av et trinn 106 for søkespørsmålanalyser til å analysere og forfine søkespørsmålet for å konstruere et avledet søkespørsmål som kan ekstrahere mer meningsfylt informasjon. Endelig kan utgangen fra kjernesøkemotoren 104 typisk ytterligere analyseres i et resultatanalysetrinn 107 for å frembringe informasjon eller visualiseringer som benyttes av klientene 109 og 110. Begge trinn 106 og 107 er forbundet med kjernesøkemotoren 104, eventuelt også med varselmotoren 105, og i alle fall med søkespørsmål-API 108.

Fig. 2 viser hvordan et eksemplifiserende informasjonsaksessystem beregner sammendragsinformasjon for dokumenter. Søkespørsmålet blir først evaluert og returnerer et sett av N overensstemmende dokumenter. Relevansmodellen blir deretter benyttet til å rangere dokumentene fra de mest verdifulle til de

minst verdifulle relativt til søkespørsmålet (Di > D2 > D3). Typisk blir et gitt antall av de høyest rangerte dokumenter returnert til klienten og benyttes til å konstruere en resultatside. Attributtene forbundet med dokumentene kan være både metadata fra det opprinnelige innholdsarkiv eller metadata som er blitt oppdaget innenfor innholdsanalysen 103. Sammendragsinformasjonen blir enten beregnet på basis av et visst antall av de høyest rangerte dokumenter eller alle N dokumenter som tilfredsstiller søkespørsmålet. Fig. 2 viser noen eksempler på sammendraginformasjon så som frekvens, histogrammer og statistiske parametere. Med video som innholdsarkiv kan navigasjon anvendes på innleirede, strukturerte metadata som videostørrelse, videolengde, videokvalitet, videoformat eller tilknyttet tekstuelle metadata så som tekst eller ankertekst på vevsider forbundet med videoen. Videre kan tekstutgangen fra en tale-til-tekstanalyse benyttes som en primærtekst eller inngang til innholdsforfining som identifiserer størrelser benyttet for oppdagelse. Ekstraherte størrelser fra tale-til-tekstutgangen kan relateres tilbake til tidsforskyvninger i videoen. Følgelig kan søking og navigasjon

relateres tilbake til bilder eller tidssekvenser innenfor den opprinnelige video. Fig. 3 illustrerer kontekstuell dokumentanalyse i et søkemotoreksempel. Et inngangsdokument 301 oppspaltes i avsnitt 305 som blir viderespaltet i setninger 304. Innenfor setningene blir områder markert som dokumentegenskaper med spesifikke verdier 302 og 303. Dokumentegenskapene kan registreres i både en hel/original form og i en tilknyttet grunnform. Fig. 3 viser to eksempler på dette. 305 viser et eksempel hvor en dato er registrert i både den opprinnelige form (mars 202) og en normalisert grunnform (2002-03-XX). Den normaliserte grunnform forenkler profilering, områdesøk og robust generering av sammendragsinformasjon. Eksempler på dokumentegenskaper som kan gjenkjennes på en tilsvarende måte, innbefatter personnavn, firmanavn, steder, akronymer, datoer, filnavn, URLer, telefonnummer, postnummer, emailadresser, universiteter, aviser, prisinformasjon, produktinformasjon, numeriske attributter og børskoder. Dokumentegenskapene kan enten forbindes ved et gitt sted i dokumentet, et intervall eller et område i dokumentet, et tidspunkt eller tidsintervall i audioen og videoen, eller en struktur i en XML-representasjon av dokumentet. Igjen kan kontekstuell dokumentforfining benyttes til å analysere videosekvensen og forbinde forskjellige kontekster med stillbilder eller tidssekvenser innenfor videoen ved å utlede et tekstdokument fra transkripsjon av lyder i videoen. Fig. 4 illustrerer et typisk eksempel som kan være utgangen til en tale-til-tekstanalyse og påfølgende strukturering. Dokumentet er representert på en hierarkisk måte og tekstuelle så vel som andre attributtyper kan kodes på et vilkårlig nivå. XPath og XQuery er eksempler på strukturerte søkespråk som kan benyttes til å identifisere dokumenter og underdokumentstrukturer med spesifikke egenskaper. I dette eksempelet er det f.eks. mulig å se etter taler hvor taleren er Cleopatra, og det er en linje som nevner Caesar. Identifiserte XML-fragmenter vil ha forbundne tidspunkter og tidsintervaller i videosekvensen som ble benyttet til å utvinne den underliggende tekst. Fig. 5 viser noen nøkkelkomponenter i et informasjonsaksessystem for videodata. Et søk 501 utvinner enten fullstendige videoer 501 eller søkespørsmålsekvenser fra videoene. Tilknyttede tekstuelle og strukturerte metadata kan benyttes til å konstruere navigasjonsmidler 503. Ved enten å velge spesifikke resultater 502 eller navigering 504, kan brukeren aktivere avspilling av den forbundne video 506.

Fig. 6 illustrerer typiske komponenter i et tale-til-tekst-system. Lyden eller lydsporet innenfor en video analyseres. Utgangsdata kan i tillegg til den transkriberte tekst inneholde metadata så som konfidensnivå, deteksjon av sosialt kjønn, sceneforandringer, taleforandringer etc. Utgangen blir vanligvis representert som et XML-dokument som beskrevet i fig. 5 og som kan ytterligere analyseres og forfines med forfiningsmetoder basert på tekstuelt innhold. Hvert ord, XML-merke eller attributt vil derfor ha tilsvarende tidsforskyvning i den forbundne video. Analyse av den dannede XML kan følgelig benyttes som en basis for å identifisere bilder eller spesifikke tidssekvenser innenfor videoen under både søke- og navigasjonsoperasjoner innenfor informasjonsaksessystemet.

Fonetisk transkripsjoner er et alternativ til tale-til-tekst-transkripsjon av lydsporet i videoen. Fonetisk transkripsjon identifiserer fonemer i motsetning til fullstendige teksttranskripsjoner. Fonemsekvensene sammenlignes med den fonetiske representasjon av søkespørsmålet for å finne stedet innenfor lydsporet med de beste fonetiske likheter. Presisjonen blir vanligvis forbedret i fonetisk baserte søkesystemer, men det kan ikke utføres så meget analyse innbefattet metadatagenerering. Fig. 8 viser hvordan brukeren i informasjonsaksessystemet kan samvirke med streamingtjenester for forskjellige innholdstyper. Fig. 9 viser hovedtrinn i beregningen av videosammendrag. Videosammendrag kan frembringes som et utvalg fra den opprinnelige video. For å foreta en bilde-til-bilde-analyse av videoen, må inngangsvideoen dekomprimeres og omdannes til en sekvens av individuelle stillbilder. Typisk representerer hvert bilde som et bilde med RGB-kodede pikselsverdier under analysetrinnene i beregningen av videosammendraget. Hvert bilde har også en forbundet tidsforsinkelse relativt til begynnelsen av videoen og taletranskripsjonen kan relateres tilbake til de samme tidsforsinkelser fra begynnelsen av videoen. Etter valg av passende bilder for videosammendraget og potensielle størrelsesjusteringer for klientinnretninger, blir de resulterende bilder komprimert ved koding med videokodek. Videokodeker har tilpassbare innstillinger for kvalitet og bitrate. Ved følgelig å kombinere kodekvalg og ekstraksjonsrikdom for videsammendraget kan størrelse og båndviddekrav tilpasses videosammendraget. Flere videosammendrag kan enten forhåndsberegnes eller beregnes i forbifarten for å imøtekomme båndbreddeytelsene for forbindelsen til klienten som utfører søkeanmodningen. Det enkleste valg av bilder for et videosammendrag er en seksjon fra begynnelsen av videoen. En annen måte er å analysere videoen og å identifisere scener (uavbrutte kameraeksponeringer) og å velge et bilde for å representere hver scene. Disse bildene kan deretter vises som et slideshow for raskt å visualisere videoinnholdet. Alternativt kan et antall bilder velges fra hver scene og sammenstilles som en video. Den kan vises som en video av korte sceneklipp, omtrent på samme måte som traileren for en film. Sceneklippene kan enten benytte hvert bilde for et visst tidsintervall i den opprinnelige video eller redusere videoraten for å spare båndbredde under streamingprosessen. Videokodekene i videosammendraget kan også velges uavhengig av videokodeken benyttet i den opprinnelige videoen. Da noen videoer kan ha et stort antall scener, kan dessuten en seleksjonsmetode benyttes til å utvinne de mest relevante scener.

Informative scener kan identifiseres som et bilde eller bildesekvenser for å representere scenene ved bruk av flere teknikker. For å identifisere scener, er det nødvendig å se etter forandringer fra bilde til bilde i videoen, hvor store forandringer ofte angir sceneskifte. Også stedet innenfor bildet hvor forandringer forekommer må tas i betraktning, da en forandring i bakgrunnen mer sannsynlig vil angi sceneforandringer. Forskjeller mellom bilder kan beregnes ved å se på fargefordeling, tekstuell fordeling og objektbevegelsesmønstre i tillegg til romlig informasjon. Bevegelsesanalysen kan også selektivt fokusere på bakgrunns- eller forgrunnsobj ekter for å skille mellom kamerapanoreringsoperasjoner og objektbevegelser innefor scenen.

Etter å ha identifisert scener i videoen, må scener og bilder som skal benyttes i videosammendraget velges. Ved å se på bildedynamikken, så som fordelingen av farger (dvs. hvor mange farger) i bildene så vel som teksturfordeling, kan det unngås å inkludere ensfargede, sort-hvitt bilder og informasjons/tittelbilder (dvs. begynnelse og slutt av filmer) i videosammendraget unngås. Valg av hvilke scener som skal innbefattes i videosammendraget, kan gjøres ved å se på lengden og bevegelsen av en scene. For å maksimere dynamikken og brukererfaringen ved betraktning av videosammendrag, bør en scene inneholde en rimelig grad av bevegelse. I tillegg er de lengste scenene ofte de viktigste i en video. Ved å kombinere disse to kriterier, kan det velges scener som gir brukeren et hurtig sammendrag med høy kvalitet av den fullstendige video. I den endelige videosammendrag bør de valgte scener være organisert i den samme tidsmessige orden som i den opprinnelige video.

De valgte scener eller bildesekvenser fra videoen kan også gjøres spørsmålspesifikke hvis et lydspor er tilgjengelig. Lydsporet kan i dette tilfelle omdannes ved tekst-til-tale-analyse, og tekstsegmenter kan identifiseres for å korrelere søkespørsmålstermen til den transkriberte tekst. De identifiserte tekstsegmenter svarer til stillbilder eller tidssekvenser innenfor videoen, og som følgelig kan velges for å innbefattes i et videosammendrag. Videosammendraget bør inneholde tilstrekkelig med videobilder rundt forekomsten av søkespørsmålstermer for å sette brukeren i stand til å forstå konteksten for forekomsten innenfor videoen.

Videotommelnegler kan beregnes på basis av de samme teknikker som drøftet ovenfor for videosammendrag. Tommelneglene må lastes til resultatsiden når resultatsiden lastes initialt. Følgelig vil størrelsen på videotommelnegler direkte påvirke lastetiden og anvendeligheten til informasjonsaksessystemet. Videotommelnegler vil derfor typisk ekstrahere mye mindre data fra videoen enn videosammendraget. Typisk kan bare et lite sett av stillbilder betraktes som animerte - f.eks. ved å kode de valgte rammer innenfor et animert GIF-filformat.

Videotommelnegler og videosammendragene kan konstrueres uavhengig av innretningen eller optimeres for å påvirke f.eks. skjermoppløsning til mobile klientinnretninger. Forskjellige innretninger så som personlige datamaskiner, lommedatamaskiner og mobiltelefoner gir forskjellige ytelser med hensyn til behandling, lagring, visning og nettverkbåndbredde. Forskjellige mediainnhold spesialtilpasset innretningen kan genereres, så vel som omdannet mediainnhold i sanntid for å møte kravene til spesifikke innretninger.

Den foreliggende oppfinnelse kan fremlegges som en applikasjon så som i en PC eller mobil hyperlink-skumleser, slik som benyttet på World Wide Web. Presentasjonen av videodokumenter kan aktiveres når det velges en video ved å starte streamingen, f.eks. av audio, video, bilde-slideshow, videosammendrag eller en kombinasjon av de ovennevnte mediatyper. Dette innholdet kan representeres som en sekvens av forskjellige media som streames etter behov. Dette vil fjerne unødige båndbreddebelastning fra inaktive applikasjoner. Aktivering av en videogjenstand kan også utløse effekter for å fremheve valget. Slike visuelle effekter innbefatter, men er ikke begrenset til forandringer i video/bildefarger, videobilderate, audiovolum, fargetoningsfaktoren, og bilde/videovisningsstørrelse. Brukeraktivering av et spesifikt videoresultat kan f.eks. gjøres ved sveving (hovring), mus-over eller klikking på videoen i resultatsettet. En rekke teknologier står til rådighet for å understøtte virkelig streaming av beregnede videosammendrag. Et eksempel er flash med innleiret video i en kodek slik som mpeg4 som er høvelig for å minimere nødvendig båndbredde og fortsatt opprettholde god betraktningskvalitet. Avspillingen kan også gjøres ved en annen hastighet enn for den opprinnelige video. En visning i langsom bevegelse av videotommelnegler er en mulighet. Etter streaming kan klienten fange det streamede videosammendrag slik at gjentatte avspillinger kan oppnås uten å initiere ytterligere streamingoperasjoner. Kombinasjonen av videotommelnegl med minimal størrelse og høykvalitets videosammendrag som streames i konteksten og på anmodning gir en meget effektiv måte for raskt å utforske videoinnholdet. Resultatsider kan lastes meget hurtig på grunn av den lille størrelsen på den initialt nedlastede videotommelnegl. Hurtig nedlastningstid fremmer effektivitet og øker brukerens tilfredshet med informasjonsaksessystemer. Samtidig kan brukeren utforske det reelle innhold av videoene ved å streame videosammendrag. Avspilling av videosammendrag kan følgelig initieres umiddelbart etter brukerens valg, og brukeren kan til enhver tid fokusere på en annen video og svitsje streamingprosessen til en annen kilde. Kombinasjon av smart båndbreddeutnyttelse og levende streaming gjør også den foreliggende oppfinnelse til en attraktiv metode for å skumlese videoinnhold fra mobilinnretninger så som mobiltelefoner, PDAer og spillinnretninger. Fra mobilinnretningen kan en resultatside konstrueres som en rullbar sekvens av videotommelnegler eller videosammendrag i full størrelse for å utnytte skjermstørrelsen for betraktning på den best mulige måte.

Annonseringsmedier kan tilføyes i videosammendragene. Denne annonsering kan implementeres som bilder eller videosekvenser som ikke kan hoppes over før, under eller etter det anmodede media. De valgte annonser kan enten være forhåndsvalgt og innleiret i videosammendragene, eller dynamisk integrert i videosammendragene under streamingprosessen. Ved dynamisk integrering av annonseringsmedier kan annonsene velges ved søketidspunktet og følge eksisterende modeller for søkebasert annonsering så som de sponsede listingprogrammer som tilbys av websøkeleverandører (f.eks. Google og Yahoo). I tillegg til innsetting av annonsemediaobjekter i videosammendraget kan pådragbare annonseelementer settes inn. Eksempler på pådragbare annonseelementer innbefatter: • HTML-fragmenter med hyperlinker som kan aksesseres innenfor streambetraktninger av videosammendraget. Følgelig kan sponsede lenker direkte innleires i videosammendraget etter hvert som de dukker opp i vevsøkemotoren og muliggjøre brukeraktivering for å hoppe til den forbundne sponsorside. • Aktiverbar,e virtuelle grensesnittelementer (widgets) så som taster, lenker innenfor f.eks. flash som kan aktiveres av brukeren på ethvert tidspunkt under betraktning eller basisstreaming av video sammendraget. • Visning av kandidatmultimedia gjøres tilgjengelig slik at brukeren både får et tilbud om å kjøpe og kan utføre kjøpshandlingen mens videosammendraget betraktes. Multimediaeksempler innbefatter sang eller video versjoner av videoen svarende til betraktede videosammendrag og relaterte sanger, eller videoer som kan være interessante på basis av den valgte videosammendrag.

Endelig skal figurene 11-17 kort omtales for kort og oversiktelig å eksemplifisere resultater som kan oppnås med fremgangsmåten i henhold til den foreliggende oppfinnelse når den benyttes til beregning av intelligente videotommelnegler med mulighet for rask gjennomgang og skumlesing innenfor en resultatrepresentasjon fra en søkemotor. De i det følgende omtalte figurer 11-17 er i det store og hele selvforklarende og derfor behøves det ikke å gis noen detaljert drøfting. Fig. 11 illustrerer forskjellige kjente muligheter for å visualisere et videosammendrag. Fig. 12 viser en kjent slideshowvisning av bilder i et videosammendrag. Fig. 13 viser forholdet mellom kompakte videotommelnegler og streaming av videosammendrag ved brukervalg, slik det vil være mulig med den foreliggende oppfinnelse. Fig. 14, jf. også fig. 10, illustrerer kjente vevgrensesnitt for søkemotorer og som gir aksess til videoinnhold. Fig. 15 viser hvordan kjent teknikk velger ett enkelt bilde 1501 eller en forkortet versjon 1502 for forhåndsbetraktning. Fig. 16 viser hvordan hovedbilder og tilhørende nøkkelbilder og hvordan tilhørende tidssekvenser velges og settes sammen for å danne et videosammendrag innefor lydsporet., slik det vil være mulig med den foreliggende oppfinnelse. Fig. 17 viser hvordan videotommelneglen og videosammendraget kan fanges i en flashkoding og tilbys som interaktiv streaming på forespørsel fra sluttbrukeren, slik det vil være mulig med den foreliggende oppfinnelse.

Av det ovenstående vil det være innlysende for fagfolk at den foreliggende oppfinnelse i stor grad forbedrer mulighetene for å vise og visualisere videodata innenfor resultatpresentasjoner i systemer for informasjonsaksess og informasjonssøking.

Det fremgår innlysende at den dynamiske representasjon av videoinnholdet i tillegg til tekstbeskrivelser kan presentere brukeren mer informative søkespørsmålsresultater. Slike representasjoner kan innbefatte videosammendrag eller videotommelnegler, bilde slideshow, audio- eller bilde valg eller hvilke som helst kombinasjoner av dette, men er på ingen måte begrenset til disse.

Selv om den foreliggende oppfinnelsen er blitt beskrevet med henvisning til visse utførelser, skal det forståes av fagfolk at forskjellige forandringer kan gjøres og ekvivalenter settes inn uten å avvike fra oppfinnelsens ramme. I tillegg kan det gjøres mange modifikasjoner for å tilpasse en bestemt situasjon eller materiale til oppfinnelsens lære uten å avvike fra dens ramme. Følgelig er det hensikten at den ikke skal begrenses til spesielle utførelser som er vist, men at den foreliggende oppfinnelse innbefatter alle utførelser som faller innenfor rammen av de vedføyde krav.

Claims

1. Fremgangsmåte for å vise videodata innenfor resultatpresentasjoner i informasjonsaksessystemer eller informasjonssøkesystemer, hvor fremgangsmåten omfatter trinn for å benytte søkespørsmål på et sett av videoer, og identifisere tilsvarende videoer, og å fremstille en resultatside med minst en av de mest relevante videoer, og hvor fremgangsmåten er karakterisert ved ytterligere trinn for å forhåndsberegne komprimerte tommelnegler for videoene i en resultatside, å benytte en eller flere forhåndsberegnede, komprimerte tommelnegler på resultatsiden, å iverksette et brukervalg av en video i resultatsiden, og å aktivere streaming av et videosammendrag innenfor konteksten til den forbundne resultatside.

2. Fremgangsmåte i henhold til krav 1, karakterisert ved at de søkte videoer omfatter minst en blant videofiler, vevinarer, streaming videokilder eller direktesendt video.

3. Fremgangsmåte i henhold til krav 1, karakterisert ved å basere, tilsvaret mellom søkespørsmålet og videoene på minst en blant tekstuelle metadata forbundet med videoen, strukturerte metadata forbundet med videoen og som innbefatter minst en blant videostørrelse, videolengde, videokvalitet eller videoformat, tekst utledet fra et lydspor ved hjelp av en tale-til-tekstanalyse, eller fonetisk transkripsjon utvunnet av lydsporet, eller kombinasjoner av de førnevnte.

4. Fremgangsmåte i henhold til krav 1, karakterisert ved å optimere de forhåndsberegnede, komprimerte tommelnegler til visningsmulighetene for en klientinnretning benyttet til å betrakte søkeresultatene.

5. Fremgangsmåte i henhold til krav 1, karakterisert ved å benytte minst ett stillbilde fra den forbundne video i den forhåndsberegnede, komprimerte tommelnegl.

6. Fremgangsmåte i henhold til krav 5, karakterisert ved å velge det minst ene stillbilde som respons på forekomsten av søkespørsmålstermer innenfor videoens lydspor.

7. Fremgangsmåte i henhold til krav 1, karakterisert ved å la brukervalget innbefatte enten hovring, mus-over, rulling eller klikking på en video i resultatmengden.

8. Fremgangsmåte i henhold til krav 1,. karakterisert ved at resultatsiden er en vevside betraktet innenfor en skumleser.

9. Fremgangsmåte i henhold til krav 1, karakterisert ved å benytte en trådløs mobilinnretning som klientinnretning.

10. Fremgangsmåte i henhold til krav 9, karakterisert ved å fremlegge resultatsiden ved å rulle gjennom resultatvideoene individuelt i full skjermmodus.

11. Fremgangsmåte i henhold til krav 1, karakterisert ved å optimere videosammendraget til visningsmulighetene for klientinnretningen benyttet for å betrakte søkeresultatene.

12. Fremgangsmåte i henhold til krav 1, karakterisert ved å konstruere videosammendraget ved å kombinere minst en tidssekvens fra den opprinnelige video på resultatsiden.

13. Fremgangsmåte i henhold til krav 12, karakterisert ved å velge den mist ene tidssekvens som respons for forekomsten av søkespørsmålstermer innenfor lydsporet til videoen, sceneforandringer i videoen, bevegelsesanalyse i videoen eller audioanalyse eller kombinasjoner av disse.

14. Fremgangsmåte i henhold til krav 12, karakterisert ved å konstruere et lydspor innenfor videosammendraget og kombinere lyden forbundet med den mist ene tidssekvens.

15. Fremgangsmåte i henhold til krav 1, karakterisert ved å la klienten hurtiglagre videosammendrag etter streaming, slik at etterfølgende tilbakespilling ikke behøver ytterligere streaming av videodata.

16. Fremgangsmåte i henhold til krav 1, karakterisert ved å kode videosammendrag med flashteknologi.

17. Fremgangsmåte i henhold til krav 1, karakterisert ved å avspille videosammendragene i langsom bevegelse.

18. Fremgangsmåte i henhold til krav 1, karakterisert ved konstruere videosammendraget adaptivt slik at streamingkravene samsvarer med ytelsene til en overføringslinje til klienten som foretar et videosøk.

19. Fremgangsmåte i henhold til krav 1, karakterisert ved å integrere annonseinformasjon innenfor videosammendragene.

20. Fremgangsmåte i henhold til krav 19, karakterisert ved å integrere annonseinformasjonen ved å blande annonse-videosekvenser med valgte sekvenser fra de opprinnelige videodata.

21. Fremgangsmåte i henhold til krav 20, karakterisert ved å innbefatte i videosammendraget en blant sponsede lenker fra betalte vevsøkemotorer, og som kan aktiveres av en sluttbruker under betraktning/streaming av videosammendraget, aktiverbare virtuelle grensesnittelementer (VGE) innenfor visningen av videosammendraget og som iverksetter handlinger som forbinder en bruker med en annonsør, eller visning og midler for sluttbruker for å kjøpe et multimediaobjekt slik som en sang eller video eller kombinasjoner av disse.