SE537206C2 - Metod och system för sökningar i digitalt innehåll - Google Patents

Metod och system för sökningar i digitalt innehåll Download PDF

Info

Publication number
SE537206C2
SE537206C2 SE1250794A SE1250794A SE537206C2 SE 537206 C2 SE537206 C2 SE 537206C2 SE 1250794 A SE1250794 A SE 1250794A SE 1250794 A SE1250794 A SE 1250794A SE 537206 C2 SE537206 C2 SE 537206C2
Authority
SE
Sweden
Prior art keywords
solid body
virtual solid
metadata
content
register
Prior art date
Application number
SE1250794A
Other languages
English (en)
Other versions
SE1250794A1 (sv
Inventor
Erik Åhlin
Isak Jonsson
Original Assignee
Vidispine Ab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vidispine Ab filed Critical Vidispine Ab
Priority to SE1250794A priority Critical patent/SE537206C2/sv
Priority to EP13775040.2A priority patent/EP2836938A4/en
Priority to PCT/SE2013/050385 priority patent/WO2013154489A2/en
Publication of SE1250794A1 publication Critical patent/SE1250794A1/sv
Priority to US14/512,146 priority patent/US20150032718A1/en
Publication of SE537206C2 publication Critical patent/SE537206C2/sv

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/907Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44Browsing; Visualisation therefor
    • G06F16/444Spatial browsing, e.g. 2D maps, 3D or virtual spaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

537 206 rostagare, etc. Istallet behbver vane underkomponent vara fordefinierad och ha sin egen struktur. [0009] De ovan beskrivna begransningarna och andra begransningar, forhindrar tillvaxt och kvalite hos metadata. I sin tur leder det till begransningar av vardet hos metadatat. Det blir svart att hitta arkiverat material, och sparningsbarheten blir beg ransad. Nya teknologier for fangande av media, till exempel kameror, kommer i framtiden att generera en okad mangd metadata. En annan faktor som kommer att driva okandet av metadata är editeringsprocessen, dar metadata adderas till innehall i ett lage efter en infangning. Ett annat exempel pa problem i dagslaget är att anvandare av ett soksystem kommer antingen inte hitta innehall som sokts efter, eller motta for manga traffar i en sokning. For manga traffar kommer krava Fang tid att analysera, och en okad risk att missa intressant innehaller eller innehall sat efter. [0010]Begransningar hos existerande teknologier for sokning av digitalt multimediainnehall kommer bli storre i framtiden med storre mangder av innehall och store mangder metadata, och vidare varierade innehallstyper och typer av genererat metadata. Sammanfattning av uppfinningen [0011] Det ar ett andarnal med den foreliggande uppfinningen att adressera atminstone nagra av de problem och fragor sammanfattade ovan. Det är mojligt att uppna dessa andamal och andra genom att anvanda en metod och ett system som definierat i de bifogade oberoende patentkraven. [0012]Enligt en aspekt, tillhandahalls en metod for att stOdja sokning i digitalt multimediainnehall. Metoden innefattar att bilda en virtue!l solid kropp genom berakning av ett primart omrade och ett sekundart omrade, separerade av en tidsfunktion, varvid berakningen bildar den virtuella solida kroppen, associering av ett metadataobjekt med den virtuella solida kroppen, skapa ett register for den virtuella solida kroppen, dar registret innehaller metadataobjektet associerade med den virtuella solida kroppen, och anordna registret till en sokmotor, varvid registret

Description

537 206 METOD OCH SYSTEM FOR SOKNINGAR I DIGITALT INNEHALL Tekniskt omrade
[0001]Foreliggande uppfinning relaterar till en metod for sokningar i digitalt innehall. Uppfinningen relaterar aven till ett system for sokningar i digitalt innehall. Uppfinningen relaterar aven till en datorprogramsprodukt for sokningar i digitalt innehall.
Bakcirund
[0002] Dagens medialandskap andras mot en mer komplex natur an historiskt. Antalet mediaproduktionsforetag okar mojligtvis men deras fangande och generande av multimediainnehall okar starkt. Vidare, nya enheter som mobila terminaler samt andra elektroniska enheter fangar och genererar signifikanta kvantiteter av digitalt inneh611. Fore digitaliseringen av enheter for konsument anvandning, sa som digitalkameror, videokameror, mobiltelefoner och liknande elektroniska enheter, publicerades eller gjordes knappt n6got anvandargenererat innehall tillgangligt for allmanheten.
[0003]Merparten av multimediainnehall i dagslaget är i digitala format. Aven historiskt innehall av intresse digitaliseras. TV-sandningsforetag och andra mediefOretag lagrar generellt innehalli elektroniska arkiv. Innehallet kan vara avsett for senare publicering eller normal arkivering.
[0004]En sandning fran, till exempel ett sportarrangemang eller en nyhetsplats, är typiskt uppbyggd av ett antal klipp. Typiskt är klippen uppbyggda av ett antal scener, som till exempel ett flertal kamerabilder, ett antal ljudsp6r, och/eller tillagt efterbehandlat material. Ett klipp kan till exempel overskrida over hundra kanaler. Aven en enskild radionyhetsplats kan innefatta ett stort antal av innehallselement.
[0005] Grundiden med ett arkiv är uppenbarligen att kunna hitta historiska nyheter, underhallning eller liknande material, oavsett om det har publicerats eller inte. Desto finare kornighet, det vill saga mer relaterad information, desto battre mOjlighet att hitta relevant material. Aven om en utmaning med finare kornighet ar potentialen av storre antal traffar vid aktiva sokningar. 1 537 206
[0006]Innehall generat enbart for kommersiell anvandning, till exempel reklamfilmer, har i grund och botten samma behov som, till exempel nyhets- eller underhallningsmaterial i relation till arkiv. Men material avsett for kommersiell anvandning är ibland planerade for anvandning Over en tidsperiod som tacker flerkulturella och flersprakiga publiker, vilka kraver flexibilitet for innehallshantering. Ytterligare en komplexitetsdimension är dar icke-kommersiellt innehall mixas med kommersiellt innehall, eller icke-kommersiellt innehall mixas med olika kommersiella innehal, dar olika kommersiella innehall är avsedda for olika malgrupper. Ett exempel skulle kunna vara sportarrangemang av regionalt eller globalt intresse, men vilket innefattar lokala kommersiella meddelanden och/eller anvander genererat innehall pa lokala sprak.
[0007]Arkiveringslosningar for digitalt multimediainnehall är idag typiskt skapade med en fordefinierad struktur, till exempel en fast databasstruktur for lagring av innehall och en fast databasstruktur for lagring av metadata. Metadatat är viktigt for att kunna hitta innehall i ett arkiv. Desto battre metadata desto hogre varde av ett innehallsarkiv. Forutbestamda strukturer for metadata tillater anvandare att automatiskt eller manuellt mata in data som till exempel plats, karaktarsperson i en scen eller en kontextuell beskrivning. Det finns idag olika system for metadata, en del är generiska och en del är avsedda for en specifik typ av innehall som till exempel nyheter, sport, reklamfilmer, etc.
[0008] Det finns ett flertal problem med de tekniska losningarna som anvands idag. For vane klipp hos en video behover en specifik metadatamodell bestammas. Det finns idag inget system som kan hantera ett oandligt antal metadatamodell per forvaring och individuella tillgangar, till exempel datalagringsstrukturer. Dagens metadatamodeller är, till exempel, antingen statiska eller baserade per klipp, eller begransade till ett antal forutbestamda nivaer eller steg i hierarki. Ett exempel visas i Fig. 1, som ett exempel ett filmklipp, med tva typer av metadata som beskriver filmen. Ytterligare ett annat problem med dagens teknologier är hantering av olika typer av innehall, till exempel underkomponenter hos innehall. Det är inte mojligt att generiskt hantera olika typer av underkomponenter som ljudspar, videos*, grafik, undertexter, bildtexter, 2 537 206 rostagare, etc. Istallet behbver vane underkomponent vara fordefinierad och ha sin egen struktur.
[0009] De ovan beskrivna begransningarna och andra begransningar, forhindrar tillvaxt och kvalite hos metadata. I sin tur leder det till begransningar av vardet hos metadatat. Det blir svart att hitta arkiverat material, och sparningsbarheten blir beg ransad. Nya teknologier for fangande av media, till exempel kameror, kommer i framtiden att generera en okad mangd metadata. En annan faktor som kommer att driva okandet av metadata är editeringsprocessen, dar metadata adderas till innehall i ett lage efter en infangning. Ett annat exempel pa problem i dagslaget är att anvandare av ett soksystem kommer antingen inte hitta innehall som sokts efter, eller motta for manga traffar i en sokning. For manga traffar kommer krava Fang tid att analysera, och en okad risk att missa intressant innehaller eller innehall sat efter.
[0010]Begransningar hos existerande teknologier for sokning av digitalt multimediainnehall kommer bli storre i framtiden med storre mangder av innehall och store mangder metadata, och vidare varierade innehallstyper och typer av genererat metadata.
Sammanfattning av uppfinningen
[0011] Det ar ett andarnal med den foreliggande uppfinningen att adressera atminstone nagra av de problem och fragor sammanfattade ovan. Det är mojligt att uppna dessa andamal och andra genom att anvanda en metod och ett system som definierat i de bifogade oberoende patentkraven.
[0012]Enligt en aspekt, tillhandahalls en metod for att stOdja sokning i digitalt multimediainnehall. Metoden innefattar att bilda en virtue!l solid kropp genom berakning av ett primart omrade och ett sekundart omrade, separerade av en tidsfunktion, varvid berakningen bildar den virtuella solida kroppen, associering av ett metadataobjekt med den virtuella solida kroppen, skapa ett register for den virtuella solida kroppen, dar registret innehaller metadataobjektet associerade med den virtuella solida kroppen, och anordna registret till en sokmotor, varvid registret 3 537 206 är anordnat sa att sokningar kan utforas av sokmotorn, potentiellt resulterande i en pekare till den virtuella solida kroppen i innehallet.
[0013] En fordel med metoden är att hitta objekt som ett ansikte, en person eller en kommersiell produkt i digitalt multimediainneh511.
[0014]Enligt en annan aspekt, tillhandahalls ett system for att stodja sokningar i digitalt multimediainneh511. Systemet innefattar organ for bildande av en virtue!l solid kropp genom berakning av ett primart omrade och ett sekundart omrade, separerade av en tidsfunktion, varvid berakningen bildar den virtuella solida kroppen, organ for att associera ett metadataobjekt med den virtuella solida kroppen, organ for att skapa ett register for den virtuella solida kroppen, registret innehaller metadataobjektet associerat med den virtuella solida kroppen, och organ for ombesorjning av registret till en sokmotor, varvid registret är anordnat s5 att sokningar kan bli utforda av sokmotorn, potentiellt resulterande i en pekare till den virtuella solida kroppen i innehallet.
[0015] En fordel med systemet ar att stodja sokningar i databaser for att visa Over en tidsperiod, eller en sekvens av en videoruta i digitalt multimediainneh511, och returnera en hanterare for vidare forberedelser till exempel modifiera videon enligt regler baserad p5 metadata eller automatiskt skapa nya versioner baserade p5 metadatatriggers.
[0016] Metoden och systemet ovan kan vara konfigurerade och implementerade till olika valfria utforingsformer. I en mojlig utforingsform av en losning, kan den innefatta stegen att motta en forsta videoruta med det primara omr5det och en andra videoruta med det sekundara omradet, dar det primara omradet och det sekundara omradet är associerade med varandra, och mottagning av 5tminstone ett metadataobjekt associerat med atminstone ett av omradena. I en utforingsform är den virtuella solida kroppen beraknad genom anvandning av parametriska kurvor eller NURBS (Non-Uniform Rational B-Spline). I en utforingsform är den virtuella solida kroppen approximerad till en rektangulart utformad form. I en utforingsform är en videoruta en tredimensionell projektion av en scen. I en utforingsform ar en virtue!l solid kropp definierad av ett tidsintervall bestamt av den 4 537 206 forsta videorutan och den andra videorutan. I en utforingsform innehaller den forsta videorutan ett flertal primara omraden och/eller sekundara omraden.
[0017]I en utfaringsform bildar flertalet av primara omraden och/eller sekundara omraden ett flertal virtuella solida kroppar, varvid de virtuella solida kropparna är atminstone delvis overlappande varandra. I en utforingsform inkapslar en virtue!l solid kropp atminstone delvis en annan virtuell solid kropp. I en utforingsform bestams ett forhallande mellan tva virtuella solida kroppar genom berakning av ett avstand mellan en forsta virtuell solid kropp och en andra virtuell solid kropp, nar kropparna stracker sig genom en videoruta, varvid videorutan är representerad av ett koordinatsystem, och armed är avstandet mellan kropparna berakningsbart av vane kropp som är associerad med respektive koordinater. I en utforingsform kan losningen innefatta steget att lagra videorutan i en forsta databas. I en utforingsform kan losningen innefatta steget att lagra metadataobjektet i en andra databas. I en utforingsform kan losningen innefatta steget att associera atminstone ett metadataobjekt, oberoende, med andra metadataobjekt.
[0018]En fordel är att hitta forhallanden mellan objekt genom sokningar, eller stodja sokningar for relaterade objekt. En annan fordel är att stodja sokningar relaterade till specifika objekt i digitalt multimediainnehall.
[0019]I en utforingsform tillhandahalls ett datorprogram, innefattande datorlasbara kodorgan, vilket da det exekveras i ett system for sokningar av digitalt multimediainnehall bringar systemet for sokning av digitalt multimediainnehall att utiora de motsvarande stegen. I en utforingsform är en datorprogramprodukt tillhandahallen, innefattande ett datorlasbart medium och ett datorprogram enligt den beskrivna losningen, i vilken datorprogrammet ar lagrat pa det datorlasbara mediet.
[0020] Vidare mojliga sardrag och fordelar med denna losning kommer framga fran den detaljerade beskrivningen nedan. 537 206 Kortfattad beskrivning av ritningarna Metodsteg och enheter som framtrader i flera figurer har samma referenser i olika figurer.
Uppfinningen kommer nu att beskrivas mer i detalj, sasom exempel, med hanvisning till bifogade ritningar, p6 vilka: Fig. 1 visar en datastruktur enligt den tidigare kanda tekniken.
Fig. 2 visar en overblick av organ i ett system.
Fig. 3a visar ett flodesschema for innehallssokning.
Fig. 3b visar ett flodesschema av en utforingsform for innehallsOkning.
Fig. 4 är en schematisk vy av innehall och metadataobjekt.
Fig. 5 ar en schematisk vy av en utforingsform av innehall och metadataobjekt.
Fig. 6 är ett blockdiagram som illustrerar enheter i ett system for innehallssokning.
Fig. 7 visar en virtue!l solid kropp och relaterade organ.
Fig. 8 illustrerar en utforingsform av relationer mellan virtuella solida kroppar.
Fig. 9 visar ett flodesschema for sokningar i digitalt innehall.
Fig. 10 visar ett flodesschema av utforingsformer for sokningar i digitalt inneh611.
Beskrivning av utforingsformer
[0021]Den foreliggande losningen relaterar till en metod och ett system for sokningar i digitalt inneh511, mer specifikt ett brett omfang av multimediainnehall, innefattande men ej begransat till video, bilder, grafik, rost, musik, generella ljud och liknande format. Nar sokningar for information i textdokument utfors, finns idag metoder och verktyg for effektiv sokning. En anledning är det faktum att textdokument är latt lasbara av en maskin. Emellertid, nar ett innehall inte är direkt 6 537 206 lasbart av en maskin, blir sokningsformagan beroende av metadata. Om man gar jamforelsen mellan gamla fotoarkiv och gamla dagstidningar, var arkivet fullstandigt beroende av hur val det var strukturerat och hur val fotografierna var beskrivna. Med nuvarande terminologi kunde detta uttryckas som metadata och strukturer darav. Detta galler aven for dagens arkiv for digitalt multimediainnehall.
[0022] Ett andamal med den foreliggande losningen är att majliggora sokningar av innehall och metadata, och som ett resultat motta relevant innehall. Och enbart relevant innehall sokt for.
[0023] Fig. 2 visar och overblick av nagra organ i en utfOringsform av en metod, system och ett datorprogram for sokningar i digitalt multimediainnehall 100. Figuren visar aven ett metadataobjekt 110. Vidare är en tidsintervall 120 med en start och stopp visat, foljt av ett register 130 och en sokmotor 140, med ett index 143 och en pekare 145.
[0024]Digitalt multimediainnehall 100 är nedan referat till som innehall 100, och innehall 100 kan i ett brett omfang innefatta alit generellt innehall i digitalt format. Exempel pa sadant innehall är: filmer, multimedia, ljud, grafik, texter, inte begransande innehall till andra typer av innehall. En beskrivning av metadata är information om information. Viss information om en video eller ett foto kan underlatta att hitta, till exempel, en onskad video eller del av en video. Enligt figuren, är ett innehall 100 associerat med ett metadataobjekt 100 genom en tidsintervall 120. Av metadataobjektet 110 associerat med tidsintervallen 120 av innehallet 100, skapas ett register 130. Ett register 130 är fordelaktigt for en sokmotor 140, utforandes sokningar. Som ett exempel kan ett register 130 anvandas for generering av ett index, som till exempel indexet 143 visat i Fig. 2. Nar sokmotom 140 utfor en sokning kan ett resultat generas som en pekare till ett innehall 100. Pekaren indikerar ett innehall 100, eller en del av ett innehall 100 som overensstammer med ett metadataobjekt 110, beskrivande for innehallet 100.
[0025] Fig. 3a visar ett flodesschema illustrerandes en utforingsform av en metod for sokning av multimediainnehall 100. 7 537 206
[0026] Enligt Fig. 3a det forst steget S220 i flodesschemat, metoden innefattar att associera ett metadataobjekt 110 med en tidsintervall 120 av respektive innehall 100. Ett innehall 100 kan vara alla typer av digitalt innehall. Enligt en utforingsform kan innehall 100 vara atminstone en, eller ett flertal av bilder, video, stilla eller rorlig grafik, olika typer av ljud som roster, musik, effekter, overdubbningar eller dokument sadana som ren text eller RTF-format. Ett metadataobjekt 110 kan referera till ett annat metadataobjekt 110. Ett metadataobjekt 110 kan aven vara en beskrivande information. Sadan beskrivande information kan innefatta en specifikation och informationen sig sjalvt. Ett exempel är specifikation: "titel" med informationen "Lekande barn". Andra exempel kan innefatta: plats och annan geografisk information, medverkande, produktions ids, kamera vinklar, vaderfOrhallanden, scener, fOrfattare, datum, typcodek, typ, id, anmarkningar, forhallanden, typ av forhallanden, flaggor, klasser, status. Dessa exempel begransar inte andra typer av metadata. Enligt en utforingsform, ett tidsintervall 120 är en tidsperiod med en definierad starttid och en stopptid. Start och stopptiden kan, till exempel, vara en absolut tid, eller en tid relativt till borjan av varaktigheten hos det dig itala innehallet, representerat i sekunder eller samplingar.
[0027]En definierad starttid och stopptid, är fordelaktigt for underlattande av en associering mellan ett innehall 100 och ett metadataobjekt 110. Tidsintervallet 120 definierar foretradesvis delen av ett innehall 100, vilken metadataobjektet 110 relaterar till.
[0028] Metoden i steg S230 innefattar vidare att skapa ett register 130 for ett tidsintervall 120. Enligt en utforingsform, innehaller registret 130 atminstone ett metadataobjekt 110. Registret 130 relaterar till ett specifikt innehall 100. Registret 130 kan vara i olika format. I en utforingsform kan registret 130 vara i xml-format. Andra exempel pa format är: ren text, html, pdf, ascii, RTF-format, eller kalkylbladsformat.
[0029]I steg S240 innefattar metoden att forse registret 130 till en sokmotor 140. I en utforingsform är registret 130 anordnat sa att sokningar kan utfaras av en 8 537 206 sokmotor 140, och potentiellt resultera i atminstone en pekare 145, till atminstone ett tidsintervall 120 av ett innehall 100. Hur en sokmotor fungerar i detalj ar inte beskrivet han, eftersom det inte är inom omfkget for uppfinningen. Emellertid, registret 130 kan till exempel anvandas for generering av ett index 143.
[0030] Ett register 130 an fordelaktigt fOr en sokmotor 140, och for generering av ett index 143. Darigenom blir sokmotorn oberoende av en metadatastruktur, en obegransad till storlek och klassificering av metadata.
[0031] Fig. 3b visar eft flodesschema av en annan utforingsform av metod for sokning av multimediainnehall 100. Metoden enligt Fig. 3b kan innefatta stegen visade i Fig. 3a.
[0032]Steg S200 innefattar lagring av innehall 100. Lagring av innehall ar vidare beskrivet i Fig. 6. Innehallet 100 kan mottas frk en kamera, mikrofon eller annan uppfkgningsanordning. Innehallet 100 skulle lika garna, till exempel, vara forbehandlat eller inspelat for arkiveringssyfte. Fore lagring av innehall 100, kan det konverteras frk ett format till ett annat format inte visat i figuren.
[0033] Steg S210 innefattar lagring av metadataobjekt 110. Metadataobjekt 110 kan mottas parallellt med innehall 100, eller mottas separat. Metadata 110 kan mottas principiellt samtidigt med innehall 100, eller vid n6got annat tillfalle.
[0034] Steg S220 till steg S240 ar i princip identiska med stegen visade i Fig. 3a.
[0035]Steg S250 innefattar generering och lagring av ytterligare ett eller fler metadataobjekt 110. I en utforingsform ar det mojligt att vidare lagga till ett eller flera metadataobjekt 110. &Maria metadataobjekt 110 kan innefatta information tillagd genom manuell inmatning av information av en operator. Sadana metadataobjekt 110 kan aven matas in av en maskin. Metadataobjekt 110 kan fkgas frk innehall 100 genom analys.
[0036]Steg S260 innefattar att tillatta olika atkomstrattigheter. Olika 6tkomstrattigheter kan fores olika anvandare av en metod for sokning av 9 537 206 multimediainnehall 100, begransad atkomst till innehall 100, eller selektiv atkomst till innehall 100. En sadan atkomstrattighet min till exempel bestammas av typen av innehall 100, typen av metadata 110, av vein innehallet 100 eller metadatat 110 harstammar fran. Eller fran vilken maskin eller automatisk behandling av innehallet 100 eller metadatat 110 harstammar.
[0037]Differentierade atkomstrattigheter är fordelaktigt for mojliggorande av tillatelse till innehall for anvandare med olika roller. Olika roller kan vara folk med olika arbetsuppgifter. Olika roller kan aven vara olika organisationer, som olika foretag eller olika publiker.
[0038] Steg S270 innefattar att replikera innehall 100 och/eller metadataobjekt 110. En liten installation av ett system utforandes stegen i en metod for sokning av multimediainnehall 100, kan enbart innefatta en enskild fysisk enhet. En stone installation kan innefatta ett flertal fysiska enheter placerade tillsammans. Som ett alternativ utfors metoden pa enheter distribuerade Over ett natverk. Med enheter fysiskt separerade. En del enheter skulle alltid kunna vara ansluta till ett natverk, och en del enheter skulle kunna vara bade online och offline.
[0039] Steg S280 innefattar konvertering av innehall 100. I en utforingsform kan innehall 100 konverteras fran ett format till ett annat format nar det hamtas fran en databas vidare beskriven i Fig. 6. Om till exempel innehall 100 lagras i ett originalformat, kan det vara lampligt att konvertera innehall 100 till ett format som kan vara anpassat for en editeringsanordning, distributionsformat, utspelningsanordning eller liknande. Ett exempel kan vara konvertering av en hogdefinitionsformat media till en media anpassad for mobila anordningar.
[0040]Stegen beskrivna i Fig. 3b, kan utforas i andrade ordningar, an visat i figuren, enligt varierande utforingsformer. Vidare kan en del av stegen utelamnas, vilka kan bero pa det foredragna anvandandet av losningen.
[0041]I Fig. 4 visas innehall 100 och metadata 110. Dessutom en axel representerandes tid och en axel representerandes innehall 100 och metadata 110. 537 206
[0042]Enligt Fig.4, stracker sig ett innehall 100 langs tidsaxeln. Vidare stracker sig ett metadataobjekt 110 langs tidsaxeln. Metadataobjektets 110 starttidpunkt och stopptidpunkt kan overensstamma med innehallet 100, men metadataobjektet 110 kan likval ha olika start- och stopptidpunkter relativt innehallet 100. Innehallet 100 och metadataobjektet 110 ar associerade med en tidsintervall 120, enligt Fig. 4. Tidsintervallet 120 är definierat av en startpunkt och en stoppunkt. I en utforingsform, som inte vissas i figuren, är tidsintervallet 120 oandligt. Ett tidsintervall 120 kan vara oandligt nar ett innehall 100 är exemplifierat av en bild, en grafisk bild, en generisk fil eller andra icke rorliga digitala innehall 100. Ett exempel är, i fallet dar start- och stopptiden är obestamd. Som visat i figuren, ett register 130 är bestamt av tidsintervallen 120. Registret 130 innehaller atminstone ett metadataobjekt 110 associerat med innehallet 100.
[0043]I en utforingsform som inte visas i figuren, kan ett annat register 130 vara bestamt av ett annat tidsintervall 120 an det forsta namnda registret 130. Till exempel ett flertal register 130 behover inte vara i linje som en kedja, med ett efterfoljande register 130 som startar dar ett tidigare register 130 stoppar.
[0044] Som visat i Figur. 4, kan ett register 130:1 bestammas av ett forsta tidsintervall 120:1 och ett annat register 130:2 kan bestammas av ett andra tidsintervall 120:2. Det andra tidsintervallet 120:2 kan overlappa det forsta namnda tidsintervallet 120:1. En effekt av ett sadant overlapp är att vane register 130, definierat av varje tidsintervall 120, kommer innehalla atminstone ett metadataobjekt 110, associerat med metadataobjekt 110 respektive innehall 100. Overlappet bildat av !pada registren, kan gemensamt peka till ett tidsintervall 120:X hos innehallet 100 enbart tackt av !pada registren 130:1 och 130:2.
[0045] Tva eller fler metadataobjekt 110 som overlappar varandra är fordelaktigt, eftersom de kan mojliggora en anvandare att hitta innehall 100 som ar enbart relaterat till atminstone !pada metadata objekten 110.
[0046] Fig. 5 visar en utforingsform av innehall 100 och metadataobjekt 110 som stracker sig langs en tidsaxel och är distribuerade langs den andra axeln. 11 537 206 Denna figur visar flertal av innehall 100, metadata 110, tidsintervaller 120 och register 130.
[0047]Fig. 5 visar ett flertal av innehall 100, 100:A, 100:B, 100:C och sa vidare.
Olika organ av innehall 100 som bildar, till exempel, ett fullstandigt digitalt multimediainnehall 100, som en fullstandig film, kan aven refereras till som komponenter, eller spar. Varje komponent kan innefatta varierande video, ljud, grafik, undertexter, namn av talarroster, animationer, etc. En innehallskomponent 100 kan stracka sig genom hela varaktigheten av ett innehall 100, exemplifierat av innehall 100:A:1. Innehall 100 kan aven bildas av ett antal komponenter i serier, visat som innehall 100:B:1, innehall 100:B:2 och innehall 100:B:3. Ett annat exempel är innehall 100 bildat av komponenter av innehall 100:C1 och 100:C:2. I ett annat exempel, som visat i Fig. 5, ett antal av spar av komponenter av innehall 100:A:1 — 100:C:2 gemensamt bildar innehall 100. Ett exempel är i en nyhetsplats, med ett antal av videoelement fran en studio och varierande olika scener, ackompanjerade av roster, ljud, inspelningar fran mikrofoner, berattarroster, kommentatorroster, grafik och annan multimedia relaterad till matchen. Ett annat exempel är en utsand fotbollsmatch, dar ett antal kameror kan spela in matchen fran olika vyer och vinklar, ackompanjerat av ljudinspelningar fran mikrofoner, berattarroster, kommentatorroster, grafik och annan multimedia relaterad till matchen. Andra exempel kan vara en lista eller log fran en filmproduktion med flera revisioner och versioner innefattande metadata runt diskussioner, klippningar, dialoger, manus, rattigheter, etc.
[0048]Enligt Fig. 5 är metadataobjekt 110 strukturerade pa ett liknande satt som innehall 100. Ett metadataobjekt 110 kan stracka sig langs tidsaxeln. Metadataobjekt 110 kan ha en i princip direkt relation med ett innehall 100, till exempel en kamera position, vinkel eller en fangad tid och datum. Ett exempel pa sadana direktrelaterade metadataobjekt 110 är metadataobjekt 110:A:1 och 110:A:2. Ett annat exempel av ett metadataobjekt 110,kan vara huvudkaraktaren, eller en specifik miljo, som framtrader i en viss tidsintervall 120 hos ett innehall 100. Ett exempel, enligt Fig. 5, ar metadataobjekt 110:B:1 bestamt av tidsintervallet 120:3 och associerat med innehallet 100:C:1. Ytterligare ett exempel 12 537 206 av metadataobjekt 110 är ett metadataobjekt 110 som stracker sig langs en hel tidsintervall 120 hos ett innehall 100. Ett exempel ar samma typ av metadataobjekt 110:C:1, 110:C:2, 110:C:3, sa att namnet pa respektive studioperson 1,2 och 3 genom en nyhetsplats. Ytterligare ett exempel av ett metadataobjekt 110, ar ett metadataobjekt 110:D:1 vilket, enligt figuren stracker sig Wigs ett helt tidsintervall 120 hos ett innehall 100. Ett exempel av ett metadataobjekt 110:D:1 kan vara en titel, en beskrivning, forfattare, fri textinformation, kommentarer, GPS-koordinater, kvalitetskontrollsinformation eller annan information relevant till ett innehall 100 inte partiellt begransat av ett tidsinterval 120.
[0049] Metadataobjekt 110 som kan vara definierade obegransat av fordefinierade strukturer ar fordelaktigt eftersom det tillater inmatning av nya metadatatyper, potentiellt inte ursprungligen tankta pa. Vidare metadataobjekt 110 enligt den beskrivna strukturen ovan, är fordelaktigt eftersom det tillater associering obegransat av nagon forutbestamd struktur. Det tillater for multipla, olikartade och individuellt orelaterade strukturer pa samma innehall och tillgang.
[0050] Fig. 6 visar en vy av ett system innefattande en forsta databas 150 for lagring av innehall 100, en andra databas 160 for lagring av metadataobjekt 110. De forsta och andra databaserna 150, 160 anordnade i en nod. Noden 200 innefattar aven en processorenhet 201 och en minnesenhet 202. En sokmotor 140 som kan anvanda ett index 143, visas aven i figuren.
[0051]Enligt Fig. 6 har den forsta databasen 150 ett granssnitt for mottagning av innehall 100 och hamtning av innehall 100. Den forsta databasen 150 har aven ett granssnitt for kommunikation med den andra databasen 160. Associering mellan innehall 100 och metadata 110 kan utforas Over granssnittet mellan den forsta och andra databasen 150, 160. Vid lagring av innehall 100 kan en konvertering av innehall 100 fran ett format till ett annat format utforas. Konvertering kan aven utforas vid hamtning av innehall 100 fran den forsta databasen 150, konvertering fran ett format till ett annat format. Aven om den forsta databasen 150 kan hantera varierande format av innehall 100, och är darfor inte bundet av nagot specificerat format. 13 537 206
[0052] I Fig. 6 ar vidare den andra databasen 160 for lagring av metadataobjekt 110, visad. Den andra databasen 160 har ett granssnitt for mottagning och hamtning av metadataobjekt 110. Det granssnittet kan motta metadataobjekt 110 genererade av maskin, eller inmatade av en operator. Metadataobjekt 110 kan mottas och lagras i den andra databasen 160 obegransat efterfoljande. Granssnitten pa databasen, for mottagning och hamtning, kan aven vara lampade for andra system som utfor efteranalys av innehall 100 eller metadataobjekt 110. Exempel pa sadana system for efterbehandling kan vara ansiktsigenkanning, rostigenkanning, teknisk kvalitetsdata, rattighetshantering, automatisk trimning, nagon typ av regelbaserad automatisk editering, etc.
[0053] Som visat i Fig. 6, är registret 130 skapat i den andra databasen 160. Registret 130 är antingen overfort till en sokmotor 140, eller hamtat av sokmotorn 140. Sokmotorn 140 i sig sjalvt är utanfor omfanget for denna losningen. Oavsett det, en sokmotor 140 anvander typiskt ett register 130 for generering av ett index 143. Och i den har losningen kan ett index 143 anvandas av en sokmotor 140, for generering av potentiellt atminstone en pekare till ett innehall 100, i den forsta databasen 150. Det kan vara fallet nar en sokning i digitalt multimediainnehall utfors, med hjalp av en enskild, eller ett flertal av soktermer, gemensamt eller kombinerade pa ett visst satt. En sadan sokning kan matcha metadataobjekt 110 associerade med tidintervaller 120 hos innehall 100, och darigenom anordna ett onskat sokresultat.
[0054]Fig. 6 visar ett par ytterligare noder 200. I en stor systemlosning, kan ett flertal noder 200 tjana anvandare med samma eller liknande funktionalitet, som en enskild nod. Det kan aven vara fallet att olika noder 200 kan innefatta olika funktionalitet och darfor utfora olika funktionaliteter, eller delvis olika funktionaliteter. Hur man avfattar eller upprattar datorer och kommunikationsnatverk for en losning, är kant for fackmannen. Det ar darfor underforstatt att del finns ett antal varianter av hur ett system upprattas, inte begransat till de ovan beskrivna exemplen. 14 537 206
[0055]Replikering kan vara fordelaktigt i ett storskaligt system. Replikering kan aven vara fordelaktigt i ett distribuerat system dar anvandare är lokaliserade pa avstand. Replikering kan aven vara fordelaktigt nar anvandare kan vara delvis offline och delvis online, och darigenom ha atkomst till innehall aven offline.
[0056] I en utfaringsform, innefattar noden 200 en processorenhet 201 for exekvering av instruktioner hos en datorprogramsmjukvara, enligt Fig. 6. Figuren visar vidare en minnesenhet 202 for lagring av en datorprogramsmjukvara och samverkande med processorenheten 201. Sadan processorenhet 201 och minnesenhet 202 kan vara anordnade av en dator for allmant andamal, eller en dator dedikerad for multimediainnehallssokningar.
[0057]I en utforingsform, som inte visas i figurerna, kan innehall 100 vara anvandargenererat innehall. Sadant innehall behover inte vara tekniskt annorlunda fran annat innehall. Skillnaden kan istallet ses fran ett skal- och enhetsperspektiv. Som ett exempel, publik TV, koper en produktion fran ett produktionsforetag som visar ett fotbollsarrangemang, och sander det till sin TV-publik. Publiken som tittar live pa arenan, kan anvanda sina elektroniska enheter, for upptagningar av matchen. En publik kan variera fran ett fatal personer som ser den lokala skolmatchen, till ett stort arrangemang med tiotusentals personer narvarande. Nagra f exempel av elektroniska anordningar anvanda kan vara mobiltelefoner, pda:er, videokameror och liknande. Anvandargenererat innehall kan lagras som innehall 100 i en forsta databas 150, och metadataobjekt 110 kan lagras i en andra databas 160. Och darefter behandlas pa liknande satt som ovan beskrivet innehall 100 och metadataobjekt 110 enligt Fig. 1 till 5.
[0058]Det skall noteras att Fig. 6 illustrerar olika funktionella enheter i noden 200 och att fackmannen kan implementera dessa funktionella enheter i praktiken anvandandes lampliga mjukvaru- och hardvaruorgan. Darigenom, ar denna aspekten av losningen generellt inte begransad till de visade strukturerna hos nod 200, och databaserna 150, 160 kan vara konfigurerade att verka enligt nagot av sardragen beskrivna i den har beskrivningen, dar det är lampligt. 537 206
[0059] I en utfOringsform, kan ett metadataobjekt 110 lagras i den andra databasen 160 i olika format.
[0060] Ett illustrerande ''exempel 1" av ett lagringsformat av metadata, sa som ett metadataobjekt 110, är lagring av metadatafaltvarden som register, dar de kan lagras som individuella varden, innefattande start- och stopptid, eller grupperade tillsammans, dar tidsegment med vanlig metadata ãr lagrad, eller en kombination dä ray.
Exempel: FaIt Fl, varde=X fra'n T1 till T2.
Falt F2, varde=Y fra'n T1 till T2.
Falt F3, varde=Z tan Ti till T3, varde=U fran T3 till T4, varde=Z fran T4 till T2.
T1
[0061]Denna struktur kan vara fordelaktig fran ett lagringsperspektiv. Emellertid ar den kanske inte alltid val anpassad fOr OCH-klausuler: "hitta material dar F1=X och F3=Z". Detta kan generera flera register tillbaka fran sokmotorn, och korsningen maste da beraknas. 16 537 206
[0062]I en utfOringsform, illustrerandes ett ''exempel 2" av metadatalagring, ar dar segment med liknande metadata är lagrade tillsammans (lagringssegment med liknande metadata): TI -T3:{(F1,X),(F2,Y),(F3,Z)) T3-T4:{(F1,X),(F2,Y),(F3,U)1 T4-T2:{(F1,X),(F2,Y),(F3,Z))
[0063] Denna lagringsstruktur kan vara fordelaktig for en fraga som "hitta material dar F1=X och F3=Z", eftersom den kan returnera de tva intervallen T1-T3 och T4-T2 direkt. Emellertid, om sokklausulen är ''hitta material dar F1=X", kan flera register returneras och behover kombineras/simplifieras, for att ge det korrekta svaret T1-T2. Darfor, kan ett metadatafalt med manga olika varden (har, F3), degradera prestandan.
[0064]I en utforingsform, illustrerande ett "exempel 3" kan en kombination av de ovan tva utforingsformema anvandas, som en typ av hybrid. Ett icke-begransande exempel: T1-T2:{(F1,X),(F2,Y) T1-T3:{(F3,Z)} T3-T4:{(F3,U)} T4-T2:{(F3,Z)}
[0065] Denna modellen kan vara fordelaktig for sokning av kombination som till exempel "Fl =X och F2=Y''. I en utforingsform kan en statistisk modell baserad pa en datadistribution av de verkliga vardena och sokmonstren fran anvandare anvandas. Till exempel, om F3 sallan anvands i sokningar, och har manga varden/intervaller, kan de lagras separat, som "exempel 3". Med denna model!, kan det vara mojligt att dynamiskt omfordela data nar det verkar troligt att det skulle ge battre prestanda hos sokningar eller datahantering. 17 537 206
[0066] Fig. 7 visar en forsta videoruta 310 och en andra videoruta 330, med ett primart omrade 320 och ett andra omrade 340.
[0067]En forsta videoruta 310 mottas till ett system for sokningar i digitalt multimediainnehall 100, och har ett primart omrade 320 som en del av den forsta videorutan 310. Det primara omradet 320 kan till exempel vara; ett mattematiskt definierat omrade, en grafisk form eller ett objekt som ett fonster pa ett hus eller ett ansikte hos en manniska, ett varumarke, en konsumentprodukt eller en konstprodukt. Vidare mottas en andra videoruta 330.
[0068] Den andra videorutan 330 har ett sekundart omrade 340. Det sekundara omradet 340 ar associerat med ett primart omrade 320. Det sekundara omradet 340 kan ha ett identiskt format omrade som det primara omradet 320. Det sekundara omradet 340 kan ha ett omrade format likt det primara omradet 320. Det sekundara omradet 340 kan ha en annan form an det primara omradet 320. Atminstone ett metadataobjekt 110 mottas, vilket ar associerat med ett av de mottagna omradena 320; 340. I en utforingsform, mottas ett metadataobjekt 110, och metadataobjektet 110 kan vara associerat med vane omrade 320 eller 340. Baserat pa det primara omradet 320 och det sekundara omradet 340 bildas en virtue!l solid kropp 350. Den virtuella solida kroppen 350 ar beraknad som en funktion av tid, och formad av det primara omradet 320 och det sekundara omradet 340. Det vill saga, den virtuella solida kroppen 350 ar bildad av det primara omradet 320 och det sekundara omradet 340 separerade av en tidsfunktion.
[0069] Harnast är det atminstone ett metadataobjektet 110 associerat med den virtuella solida kroppen 350. Ett register 130 skapas for den virtuella solida kroppen 350. Och registret 130 innefattar det atminstone ett metadataobjektet 110. Registret 130 ar anordnat till en sokmotor 140. Vid sokmotorn 140, ar registret 130 anordnat sa att sokningar kan goras, potentiellt resulterande i en pekare till en virtue!l solid kropp 350, i innehallet 100.
[0070]Fig. 8 visar illustrerande utforingsformer av ett system for sokningar i innehall 100. En forsta videoruta 310 mottagen till systemet kan innehalla ett flertal 18 537 206 primara omraden 320. Till exempel, primara omraden 320 kan vara en fotbollsspelare och en fotboll, eller grupp av spelare som strider om bollen. Primara omraden 320 kan aven vara ansikten, eller nagra fâ centrala karaktarer, eller ett eller flera statiska objekt. Ett statiskt objekt kan vara en dekor, eller ett visst objekt, till exempel en kommersiell produkt med ett visst varumarke eller form, varumarket i sig sjalvt, en konstprodukt som en vas, bil, apple eller nagon annan. En mottagen forsta videoruta 310, med ett primart omrade 320, kan foljas av ett eller flera efterfoljande andra videorutor 330, innefattande de sekundara omradena 340. En virtue!l solid kropp 350 kan bildas mellan det primara omradet 320 och det sekundara omradet 340. Det primara omradet 320 och det sekundara omradet 340, eller sekundara omraden 340, är separerade av tid. Den virtuella solida kroppen 350 bildas av en berakning av det primara omradet 320 och det sekundara omradet 340 separerade av en tidsfunktion. Berakningarna kan aven innefatta en bestamning av det primara omradet 320 och/eller det sekundara omradet 340, och forma den virtuella solida kroppen 350 enligt de bestamda omradena och berakna den virtuella solida kroppen 350 som en funktion av tid. Den virtuella solida kroppen 350 kan aven kallas, volym, virtue!l volym, digital volym, kropp, digital kropp eller andra lampliga termer for multimediaomraden en funktion av tid.
[0071] Enligt en utforingsform kan den virtuella solida kroppen 350 beraknas genom anvandning av parametriska kurvor. Den virtuella solida kroppen 350 kan beraknas genom anvandning av NURBS (Non-uniform rational basis spline). Den virtuella solida kroppen 350 kan aven beraknas enligt andra lampliga metoder, for berakning av en virtue!l solid kropp 350 startandes med ett primart omrade 320, och som stracker sig genom ett antal av efterfoljande sekundara omraden 340, separerade av tid. Den virtuella solida kroppen 350 kan vara approximerad till en rektangulart formad form. Det vill saga, aven om ett omrade har formen av ett ansikte, mansklig kropp eller en cykel, kan de tilldelas en approximerad form som en rektangular form. En fordel med en sedan anordning är mindre behov av databaskapacitet och datorkraft. 19 537 206
[0072]I en utfOringsform kan en videoruta vara en tredimensionell bild, skapad av tva overlappade foton, eller forsedda med ett flertal av kameror skapandes 3Dbilden. En virtue!l solid kropp 350 bildad av 3D-rutor kan vasentligen skapas pa samma satt som den virtuella solida kroppen 350 bildad av tvadimensionella rutor. I en utforingsform kan en videoruta ha en tidsstampel, och varje individuell efterfoljande videoruta kan ha sin individuella tidstampel. Genom att bestamma tidsstampeln hos den forsta videorutan 310 och den sista efterfoljande andra videorutan 330, kan det vara mojligt att forse den virtuella solida kroppen 350 med en starttidsstampel och en stopptidsstampel och/eller ett tidsintervall.
[0073] En forsta videoruta 310 kan innehalla ett flertal av primara omraden 320. I en serie av efterfoljande videorutor i till exempel ett videoklipp, en reklamfilm eller en fullangdsfilm kan en videoruta innehalla bade en eller ett flertal av primara omraden 320 likval en eller ett flertal av sekundara omraden 340. Ett exempel är en fotbollsmatch med ett antal spelare som ror sig in och ut ur en kameravy, eller en hemmabiofilm med ett antal av karaktarer, objekt och andra scenbilder som passerar genom filmen. Varje person eller objekt kan for vane kontinuerlig narvaro i en sekvens av videorutor bildas som en virtuell solid kropp 350 genom sekvensen av videorutor.
[0074] Som en konsekvens av ovanstaende, kan virtuella solida kroppar 350 vara overlappande. Till exempel, en forsta karaktar kommer in i en scen foljt av en andra karaktar som kommer in i scenen, darefter lamnar den forsta karaktaren scenen och till sist lamnar den andra karaktaren scenen. Den forsta karaktarens narvaro kan oversattas till en forsta virtue!l solid kropp 350 och den andra karaktaren till en andra virtuell solid kropp 350, i vilken de bada virtuella solida kropparna 350 är delvis overlappande i tid.
[0075] Ett annat exempel, ar ett fonster pa en byggnad som representerar en forsta virtue!l solid kropp 350 och en person eller ett objekt som framtrader i fonstret, representerande en andra virtue!l solid kropp 350. I detta exempel kan den andra virtuella solida kroppen 350 atminstone delvis tacks den forsta virtuella solida kroppen 350, och darigenom delvis overlappa varandra. Ett antal av fall kan 537 206 illustreras i detta andra exempel: en person i en bil, en karakta framfor en scenbild, ett kommersiellt markt objekt framfor en scenbild.
[0076]I en utfaringsform, kan virtuella solida kroppar 350 Overlappa i en kombination av b5da exemplen oven. N5gra fa illustrativa exempel: Forst, ett videoklipp innefattande en sekvens av videorutor, med en torn bil, foljt av en person som hoppar in i bilen och Icor ivag. Bilen kan oversattas till en forsta virtue!l solid kropp 350, och personen den andra virtuella solida kroppen 350, och !pada virtuella solida kropparna 350 är overlappande b5de i tid likval overlappande i termer av att delvis tacka varandra. En fordelaktig fordel av detta exempel kan vara att kunna hitta en specifik karaktar som gar in och Or en viss tillverkares bil. Ett annat exempel kan vara att identifiera ett speciellt make eller produkt i en kontext av ting som en apelsin eller en kandis.
[0077]I en utforingsform kan en virtue!l solid kropp 350 stracka sig genom en sekvens av videorutor. Varje videoruta kan ses som ett koordinatsystem. Genom att bestamma koordinater for en forsta virtue!l solid kropp 350, och bestamma koordinater for en andra virtue!l solid kropp 350, kan det vidare vara mojligt att bestamma ett avstand mellan den forsta virtuella solida kroppen 350 och den andra virtuella solida kroppen 350. Ett f5tal praktiska exempel kan illustrera fordelen av att kunna bestamma ett avstand mellan tv5 virtuella solida kroppar 350: sokningar for sportmatcher dar tv5 bestanda fotbollsspelare är inblandade, sokningar for handelser dar tv5 bestamda statsministrar namar sig varandra, sokningar i overvakningskamerainspelningar efter ett offer som blir narmad av en forovare, etc. Genom att jamfora ett forsta avstaid D:1 med ett andra avstand D:2, är det mojligt, till exempel, att bestamma om tva objekt Over tiden verkar narma sig varandra eller om de ror sig isar.
[0078] Nar en videoruta är sedd som ett koordinatsystem, kan det anvandas for att bestamma ett omrade. Det kan ske genom beskrivning av granserna hos omradet, det kan ske genom vilka pixlar som är i omradet eller beskrivet som en geometrisk funktion. 21 537 206
[0079]Enligt en utforingsform, kan videorutor lagras i den fOrsta databasen 150.
Metadataobjekten 110 kan lagras i den andra databasen 160. Innehall 100 kan, fore mottagning av systemet, ha varit amne for behandling eller analysering. Forbehandling fore mottagning, kan innefatta ansiktsigenkanning, objektigenkanning, markesigenkanning, fargigenkanning, ljudanalyser, tal-till-text oversattning eller andra typer av audiovisuell (rich media) analysoperationer. I ett icke begransande exempel relaterat till ansiktsigenkanning, ansiktsigenkanning utfors till videorutor. Till exempel, nar ansiktet är igenkant, kan omradet bestammas. Om det är den fOrsta rutan som ansiktet framtrader i, kan det vara den fOrsta videorutan 310, med det primara omradet 320. For vane videoruta med ansiktet framtradande i, och potentiellt det bestamda omradet for ansiktet, kan ett metadataobjekt 110 vara associerat. Metadataobjektet 110 kan innehalla en identifiering av igenkanda ansikten, till exempel ett namn, kon, alder, etc. Metadataobjektet 110 kan aven innehalla ett omrade hos ansiktet, market eller kommersiell produkt bade gallande form och position i videorutan.
[0080]Enligt en utforingsform, ljud och andra typer av icke-bildbaserat innehall, i innehall 100, kan vara anordnade eller beskrivna som virtuella solida kroppar 350. I ett innehall vilket forser surroundljud, kan ett antal av ljudkallor vara synbara, och anordna olika ljud eller ljudkallor som virtuella solida kroppar 350, kan vara ett fordelaktigt satt att hantera surroundljud i innehall 100. Ett annat exempel pa hantering av andra typer av inspelad data eller instruktioner relaterade till innehall. Ett ickebegransande exempel an dar rOrelser av stolen är associerade med presentationen av en film. Ett annat exempel an influenser av till exempel ljussattning, associerad med innehall.
[0081] Som tidigare visat i Fig. 6 har den fOrsta databasen 150 ett granssnitt for mottagning av innehall 100 och hamtning av innehall 100. Den fOrsta databasen 150 har aven ett granssnitt for kommunikation med den andra databasen 160. Associeringar mellan virtuella solida kroppar 350 i innehall 100 och metadata 110 kan vara utfort Over granssnittet mellan den fOrsta och andra databasen 150, 160. Vid lagring av innehall 100 kan en omvandling utforas fran ett format till ett annat format av innehall 100. Omvandling kan aven utforas vid hamtning av innehall 100 22 537 206 fran den forsta databasen 150, omvandling fran ett format till ett annat format. Den forsta databasen 150 kan dock hantera olika format av innehall 100, och är darfor inte bunden av nagra specifika format.
[0082] Fig. 9 visar ett flodesschema illustrerandes en utforingsform av en metod for sOkning i multimediainnehall 100. I ett fOrsta steg S300 är en virtue!l solid kropp bildad. Den virtuella solida kroppen är formad av berakningar av ett primart omrade och ett sekundart omrade, separerade av en tidsfunktion, dar berakningen bildar den virtuella solida kroppen. I nasta steg S310 är ett metadataobjekt associerat med den virtuella solida kroppen. I en utforingsform, innefattar metadataobjektet ett namn av en person, ett foretagsnamn, en geografisk plats eller n6got att geografiskt objekt vilken kan vara intressant att lanka till med metadata. I nasta steg S320, skapas ett register for den virtuella solida kroppen, med metadataobjektet associerat med den virtuella solida kroppen innefattat i registret. I nasta steg S330, är registret forsett till en sokmotor. Registret är anordna sa att sokmotorn kan utfora sokningar och dar en sokning potentiellt kan resultera i en pekare till den virtuella solida kroppen i det digitala innehallet.
[0083] Fig. 10 illustrerar ett flodesschema av utforingsformer av en metod for sokningar i digitalt multimedia. I ett forsta steg S400 kan en forsta videoruta med ett primart omrade och en andra videoruta med ett sekundart miracle mottas, med det primara omrklet och det sekundara omrklet associerade med varandra. Ett metadataobjekt kan aven vara mottaget, associerat med atminstone ett av de primara och sekundara objekten. I nasta steg S410 kan den virtuella solida kroppen bli bildad. Den virtuella solida kroppen kan vara bildad av berakningar av ett primart omrade och ett sekundaromrade, separerat av en tidsfunktion, dar berakningar bildar den virtuella solida kroppen.
[0084] I ett nasta steg S420 kan den virtuella solida kroppen bildas genom approximation. I en utforingsform utfors approximationen genom anvandning av en rektangular form. I en utforingsform utfors approximationsbildningen genom anvandning av parametriska kurvor eller NURBS (Non-uniform rational basis spline). I ett nasta steg S430, är en tid for den virtuella solida kroppen definierad. 23 537 206 Tidsintervallet är definierat av den forsta videorutan och den andra videorutan. I en utforingsform, med ett flertal av videorutor i linje, kan tidsintervallet vara definierat av en forsta videoruta och den sista videorutan. I ett steg S440 kan det bestammas om det ãr ett flertal av primara omraden och/eller sekundara omraden med en specifik videoruta. Om det är bestamt att det är ett flertal av omraden, kan proceduren iterera fran start i ordning for att bilda en atminstone sista andra virtue!l solid kropp. Och nar det vidare i ett nasta steg S450 kan bestammas om flertalet av de virtuella solida kropparna är overlappandes varandra. Genom bestamning av om, till exempel tva virtuella solida kroppar är overlappande, kan det vara mojligt att soka efter en rorelse dar tva specifika personer är narvarande i en video samtidigt.
[0085] I ett nasta steg S460, kan det bestammas om en virtue!l solid kropp inkapslar en annan. I en utforingsform, kan sadan inkapsling vara partiell. Ett exempel är dar en person till exempel sitter i en bil av cabriolet typ, dar personen är en virtue!l solid kropp och bilen är den andra virtuella solida kroppen. I en utforingsform, kan sadan inkapsling vara hel. Ett exempel är en person synlig inuti ett hus, dar personen är en virtue!l solid kropp och huset är den andra virtuella solida kroppen. I ett nasta steg S470 kan ett avstand mellan virtuella solida kroppar beraknas. Ett exempel pa det är illustrerat i Fig. 8. I en utforingsform beraknas avstandet med hjalp av ett koordinatsystem.
[0086]I ett nasta steg S480, skulle videorutor kunna vara lagrade i en databas, till exempel lagrade i en forsta databas 150. I en utforingsform kan, en virtue!l solid kropp, som den virtuella solida kroppen 350 vara lagrad i databasen. Den virtuella solida kroppen kan vara lagrad som den rektangulara approximationen, eller lagrad som beskriven av parametriska kurvor eller NURBS. Den virtuella solida kroppen kan vara lagrad i andra lampliga format, for lagring av en virtue!l solid kropp i en databas. I ett nasta steg S490 kan ett metadata objekt, associerat med en videoruta, vara lagrat i en databas, till exempel lagrad i den andra databasen 160. I ett nasta steg S500 kan metadataobjekt lagras med varandra. I det nasta steget S510 kan ett metadataobjekt vara associerat med den virtuella solida kroppen. I det nasta steget S520, kan ett register vara skapat for den virtuella 24 537 206 solida kroppen, med metadataobjekt associerade med den virtuella solida kroppen innefattade i registret. I det nasta steget S530, kan registret vara forsett till en sokmotor. Registret kan vara anordnat sá att sokmotorn kan utfora sokningar och dar en sokning potentiellt kan resultera i en pekare till den virtuella solida kroppen i det digitala innehbllet.
[0087] Med losningen är beskriven med referens till specifika exempelutforingsformer, är beskrivningen generellt enbart avsedd att illustrera uppfinningskonceptet och skall inte ses som begransande for omf5nget av losningen. Till exempel, termerna "innehall", "videoruta'', "databas" och "virtue!l solid kropp" har anvants genom denna beskrivning ven om andra overensstammande termer, noder, funktioner och/eller parametrar ocksa kan anvandas som har de beskrivna sardragen och karakteristiken. Losningen ar definierad av de bifogade kraven. - - -

Claims (28)

537 206 PATENTKRAV 1. Metod for att stodja sokning i digitalt multimediainnehall (100), metoden innefattar: 1. bilda en virtue!l solid kropp (350) genom berakning av ett primart omr6de och ett sekundart omrade, separerade av en tidsfunktion, varvid berakningen bildar den virtuella solida kroppen (350), 2. associera ett metadataobjekt (110) med den virtuella solida kroppen (350), 3. skapa ett register (130) for den virtuella solida kroppen (350), registret (130) innehaller metadataobjektet (110) associerade med den virtuella solida kroppen (350); 4. anordna registret (130) till en sokmotor (140); varvid registret (130) är anordnat s6 att sokningar kan utforas av sokmotorn (140), potentiellt resulterande i en pekare (145) till den virtuella solida kroppen (350) i innehallet (100). 2. Metod enligt patentkrav 1, innefattande:
1. motta en forsta videoruta (310) med det primara omr6det (320) och en andra videoruta (330) med det sekundara omradet (340), det primara ornradet (320) och det sekundara omradet (340) är associerade med varandra,
2. motta atminstone ett metadataobjekt (110) associerat med atminstone ett av omr6dena (320:340).
3. Metod enligt patentkrav 1 eller 2, varvid den virtuella solida kroppen (350) beraknas genom anvandning av parametriska kurvor eller NURBS (Non-Uniform Rational B-Spline).
4. Metod enligt n6got av patentkraven 1 till 3, varvid den virtuella solida kroppen (350) approximeras till en rektangulart utformad form.
5. Metod enligt n6got av patentkraven 2 till 4, varvid en videoruta (320:n) är en tredimensionell projektion av en scen. 26 537 206
6. Metod enligt nagot av patentkraven 2 till 5, varvid en virtue!l solid kropp (350) är definierad av ett tidsintervall (120) bestamt av den forsta videorutan (310) och den andra videorutan (330).
7. Metod enligt nagot av patentkraven 2 till 6, varvid den forsta videorutan (320:n) innehaller ett flertal primara omraden (320) och/eller sekundara omraden (340).
8. Metod enligt nagot av patentkraven 1 till 7, varvid flertalet primara omraden (320) och eller sekundara omraden (340) bildar ett flertal virtuella solida kroppar (350), varvid de virtuella solida kropparna (350) är atminstone delvis overlappande varandra.
9. Metod enligt nagot av patentkraven 1 till 8, varvid en virtue!l solid kropp (350) atminstone delvis inkapslar en annan virtue!l solid kropp (350).
10. Metod enligt nagot av patentkraven 1 till 9, varvid ett forhallande mellan tva virtuella solida kroppar (350) bestams genom berakning av ett avstand (D) mellan en forsta virtue!l solid kropp (350:1) och en andra virtue!l solid kropp (350:2), nar kropparna stacker sig genom en videoruta (320:n), varvid videorutan (320:n) är representerad av ett koordinatsystem (370), och darmed ar avstandet (D) mellan kropparna berakningsbart av vane kropp som är associerad med respektive koordinater.
11. Metod enligt nagot av patentkraven 2 till 10, varvid metoden innefattar: lagra videorutan (320:n) i en forsta databas (150).
12. Metod enligt nagot av patentkraven 1 till 11, varvid metoden innefattar: lagra metadataobjektet (110) i en andra databas (160).
13. Metod enligt nagot av patentkraven 1 till 12, varvid metoden innefattar: - associera atminstone ett metadataobjekt (110), oberoende, med andra metadataobjekt (110).
14. System for att stUdja siikning i digitalt multimediainnehall (100), systemet in 27 537 206 1. organ for bildande av en virtue!l solid kropp (350) genom berakning av ett primart omrade och ett sekundart omrade, separerade av en tidsfunktion, varvid berakningen bildar den virtuella solida kroppen (350), 2. organ for att associera ett metadataobjekt (110) med den virtuella solida kroppen (350), 3. organ for att skapa ett register (130) for den virtuella solida kroppen (350), registret (130) innehaller metadataobjektet (110) associerat med den virtuella solida kroppen (350); 4. organ for att anordna registret (130) till en sokmotor (140); varvid registret (130) ar anordnat sa att siikningar kan bli utforda av sokmotorn (140), potentiellt resulterande i en pekare (145) till den virtuella solida kroppen (350) i innehallet (100).
15. System enligt patentkrav 14, innefattande: 1. organ for att motta en forsta videoruta (310) med det primara omrklet (320) och en andra videoruta (330) med det sekundara omrklet (340), det primara omrklet (320) och det sekundara omrklet (340) ar associerade med varandra, 2. organ for att motta atminstone ett metadataobjekt (110) associerat med atminstone ett av omradena (320:340).
16. System enligt patentkravet 14 eller 15, i vilket den virtuella solida kroppen (350) ar beraknad genom anvandning av parametriska kurvor eller NURBS (Non-Uniform Rational B-Spline).
17. System enligt n6got av patentkraven 14 till 16, i vilket den virtuella solida kroppen (350) är approximerad till en rektangulart utformad form.
18. System enligt nagot av patentkraven 15 till 17, i vilket en videoruta (320:n) ar en tredimensionell projektion av en scen. 28 537 206
19. System enligt nagot av patentkraven 15 till 18, i vilket en virtue!l solid kropp (350) är definierad av ett tidsintervall (120) bestamt av den forsta videorutan (310) och den andra videorutan (330).
20. System enligt nagot av patentkraven 15 till 19, i vilket den forsta videorutan (320:n) innehaller ett flertal primara omraden (320) och/eller sekundara omraden (340).
21. System enligt nagot av patentkraven 14 till 20, i vilket flertalet primara omraden (320) och/eller sekundara omraden (340) bildar ett flertal virtuella solida kroppar (350), varvid de virtuella solida kropparna (350) är atminstone delvis overlappande varandra.
22. System enligt nagot av patentkraven 14 till 21, i vilket en virtue!l solid kropp (350) atminstone delvis inkapslar en annan virtue!l solid kropp (350).
23. System enligt nagot av patentkraven 14 till 22, i vilket ett forhallande mellan tva virtuella solida kroppar (350) är bestamt genom berakning av ett avstand (D) mellan en forsta virtue!l solid kropp (350:1) och en andra virtue!l solid kropp (350:2), nar kropparna stracker sig genom en videoruta (320:n), varvid videorutan (320:n) är representerad av ett koordinatsystem (370), och darmed är avstandet (D) mellan kropparna berakningsbart av vane kropp som är associerad med respektive koordinater.
24. System enligt nagot av patentkraven 15 till 23, i vilket metoden innefattar: organ for att lagra videorutan (320:n) i en forsta databas (150).
25. System enligt nagot av patentkraven 14 till 24, varvid metoden innefattar: organ for att lagra metadataobjektet (110) i en andra databas (160).
26. System enligt nagot av patentkraven 14 till 25, varvid metoden innefattar: - organ for att associera atminstone ett metadataobjekt (110), oberoende, med ett annat metadataobjekt (110). 29 537 206
27. Datorprogram, innefattande datorlasbara kodorgan, vilket cla det exekveras i ett system for sokningar av digitalt multimediainnehall enligt n6got av patentkraven 14-26 bringar systemet for sokning av digitalt multimediainnehall att utfora den motsvarande metoden enligt n6got av patentkraven 1-13.
28. Datorprogramprodukt, innefattande ett datorlasbart medium och ett datorprogram enligt patentkrav 27, i vilken datorprogrammet är lagrat p6 det datorlasbara mediet. 537 206
SE1250794A 2012-04-11 2012-07-06 Metod och system för sökningar i digitalt innehåll SE537206C2 (sv)

Priority Applications (4)

Application Number Priority Date Filing Date Title
SE1250794A SE537206C2 (sv) 2012-04-11 2012-07-06 Metod och system för sökningar i digitalt innehåll
EP13775040.2A EP2836938A4 (en) 2012-04-11 2013-04-10 METHOD AND SYSTEM FOR SUPPORTING SEARCH QUESTIONS IN DIGITAL MULTIMEDIA CONTENT
PCT/SE2013/050385 WO2013154489A2 (en) 2012-04-11 2013-04-10 Method and system for searches in digital content
US14/512,146 US20150032718A1 (en) 2012-04-11 2014-10-10 Method and system for searches in digital content

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SE1250360 2012-04-11
SE1250794A SE537206C2 (sv) 2012-04-11 2012-07-06 Metod och system för sökningar i digitalt innehåll

Publications (2)

Publication Number Publication Date
SE1250794A1 SE1250794A1 (sv) 2013-10-12
SE537206C2 true SE537206C2 (sv) 2015-03-03

Family

ID=49529605

Family Applications (1)

Application Number Title Priority Date Filing Date
SE1250794A SE537206C2 (sv) 2012-04-11 2012-07-06 Metod och system för sökningar i digitalt innehåll

Country Status (4)

Country Link
US (1) US20150032718A1 (sv)
EP (1) EP2836938A4 (sv)
SE (1) SE537206C2 (sv)
WO (1) WO2013154489A2 (sv)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9728229B2 (en) * 2015-09-24 2017-08-08 International Business Machines Corporation Searching video content to fit a script

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711590B1 (en) * 1998-07-10 2004-03-23 Canon Kabushiki Kaisha Linking metadata with a time-sequential digital signal
US6587574B1 (en) * 1999-01-28 2003-07-01 Koninklijke Philips Electronics N.V. System and method for representing trajectories of moving objects for content-based indexing and retrieval of visual animated data
JP2001307061A (ja) * 2000-03-06 2001-11-02 Mitsubishi Electric Research Laboratories Inc マルチメディア・コンテンツの順序付け方法
KR100912984B1 (ko) * 2002-04-12 2009-08-20 미쓰비시덴키 가부시키가이샤 메타데이터 편집 장치, 메타데이터 재생 장치, 메타데이터 배신 장치, 메타데이터 검색 장치, 메타데이터 재생성 조건 설정 장치, 콘텐츠 배신 장치, 메타데이터 배신 방법, 메타데이터 재생성 장치, 메타데이터 재생성 방법
KR100486709B1 (ko) * 2002-04-17 2005-05-03 삼성전자주식회사 객체기반 대화형 동영상 서비스 시스템 및 그 방법
EP1567988A1 (en) * 2002-10-15 2005-08-31 University Of Southern California Augmented virtual environments
JP4741650B2 (ja) * 2005-03-17 2011-08-03 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー ビデオシーケンスにおけるオブジェクト追跡の方法
US8688675B2 (en) * 2006-02-27 2014-04-01 Robert Bosch Gmbh Trajectory-based video retrieval system, and computer program
US8488839B2 (en) * 2006-11-20 2013-07-16 Videosurf, Inc. Computer program and apparatus for motion-based object extraction and tracking in video
US8171030B2 (en) * 2007-06-18 2012-05-01 Zeitera, Llc Method and apparatus for multi-dimensional content search and video identification
KR101268987B1 (ko) * 2007-09-11 2013-05-29 삼성전자주식회사 메타데이터를 자동적으로 생성/갱신하는 멀티미디어 데이터기록 방법 및 장치
US20090094188A1 (en) * 2007-10-03 2009-04-09 Edward Covannon Facilitating identification of an object recorded in digital content records
KR101382499B1 (ko) * 2007-10-22 2014-04-21 삼성전자주식회사 영상 태깅 방법 및 이를 사용하는 영상 재생 장치.
US20110123117A1 (en) * 2009-11-23 2011-05-26 Johnson Brian D Searching and Extracting Digital Images From Digital Video Files
US8320644B2 (en) * 2010-06-15 2012-11-27 Apple Inc. Object detection metadata

Also Published As

Publication number Publication date
EP2836938A2 (en) 2015-02-18
WO2013154489A2 (en) 2013-10-17
SE1250794A1 (sv) 2013-10-12
WO2013154489A3 (en) 2014-03-27
EP2836938A4 (en) 2015-11-18
US20150032718A1 (en) 2015-01-29

Similar Documents

Publication Publication Date Title
US20230360394A1 (en) Systems and methods for providing an immersive user interface
CN104581437B (zh) 一种视频摘要生成及视频回溯的方法及***
CN105745938B (zh) 多视角音频和视频交互式回放
Erol et al. Retrieval of Presentation Recordings with Digital Camera Images
CN103617234B (zh) 主动式视频浓缩装置及方法
CN105141889A (zh) 一种基于图像视觉输电线路智能巡检***
CN105900084A (zh) 用于图像检索的***、方法及设备
CN104603734A (zh) 选择并输送补充内容
US10256829B1 (en) Production of modified image inventories
Malon et al. Toulouse campus surveillance dataset: scenarios, soundtracks, synchronized videos with overlapping and disjoint views
US11243995B2 (en) Method for atomically tracking and storing video segments in multi-segment audio-video compositions
CN102890950A (zh) 媒体自动剪辑装置、方法、媒体播送方法与其播送***
WO2020005500A1 (en) Manufacture of printed image inventories
CN103870598A (zh) 一种无人机侦察视频信息提取与分层编目方法
US20210110164A1 (en) Contextualized Video Segment Selection For Video-Filled Text
KR101640317B1 (ko) 오디오 및 비디오 데이터를 포함하는 영상의 저장 및 검색 장치와 저장 및 검색 방법
SE537206C2 (sv) Metod och system för sökningar i digitalt innehåll
US10289915B1 (en) Manufacture of image inventories
US10534812B2 (en) Systems and methods for digital asset organization
WO2020040934A1 (en) Manufacture of inventories of image products
JP2012221322A (ja) オーサリング支援装置、オーサリング支援方法およびプログラム
Wactlar et al. Informedia Experience-on-Demand: capturing, integrating and communicating experiences across people, time and space
Shah et al. Video Stitching with Localized 360o Model for Intelligent Car Parking Monitoring and Assistance System
NO20140958A1 (no) Fremgangsmåte og system for søk i digitalt innhold
US20150032744A1 (en) Generation of personalized playlists for reproducing contents

Legal Events

Date Code Title Description
NUG Patent has lapsed