SE469866B - Metod för estimering av rörelseinnehåll i videosignaler - Google Patents

Description

15 20 25 30 35 469 866 Pixel- Fas- Konven- rekursiv korrelation tionell block- matchning A: Stort sökområde NEJ JA JA B: Hög vektoriell upplösning JA JA JA C: Hög rumsupplösning JA NEJ NEJ D: Robust algoritm NEJ JA NEJ E: Kostnadseffektivitet JA NEJ JA Sammanfattning av uppfinningen Uppfinningen avser närmare bestämt en förbättrad metod som använder blockmatchningstekniken.

Det speciella problem, som skall lösas med denna förbättrade blockmatchningsmetod, är att öka rumsupplösningen och åstadkomma robusthet i algoritmen. Enligt uppfinningen är algoritmen baserad på hierarkisk behandling av olika blockstorlekar från grövre till finare, företrädesvis med prediktion av rörelsevektorer utifrån omgivande block och efterbehandling med icke-linjär filtrering av rörelsevektorfältet i eller efter varje hierarkiskt steg.

Närmare bestämt avser uppfinningen i sin allmänna form en metod att estimera rörelseinnehållet i en videosignal, varvid rörelsen representeras av ett tvådimensionellt rörelse- vektorfält och två konsekutiva bilder jämförs blockvis för att med hjälp av ett matchningsvillkor bestämma rörelsevektorn mellan två motsvarande block hörande till var sin av de båda konsekutiva bilderna, och varvid jämförelsen görs i ett sökmönster inom ett förutbestämt sökområde och be- handlingen upprepas i olika söksteg med minskande blockstor- lek; metoden kännetecknas av att man i varje söksteg börjar med att prediktera en begynnelserörelsevektor på grundval av rörelsevektorer redan erhållna i det aktuella söksteget och 10 15 20 25 30 469 866 rörelsevektorer från det föregående söksteget, vilken begynnelserörelsevektor således motsvarar ett predikterat nytt läge för ifrågavarande block, och att nämnda förutbestämda sökområde omger nämnda predikterade nya läge, varvid såväl sökområdet som sökmönstret är storleksanpassat till ifrågavarande blockstorlek.

Fördelaktiga vidareutvecklingar av uppfinningstanken anges i underkraven 2-8.

Kort beskrivning av ritningarna En föredragen utföringsform av uppfinningen beskrivs närmare nedan med hänvisning till bifogade ritningar, där Fig. 1 illustrerar principen för blockmatchning med hierarkiska söksteg; Fig. 2 illustrerar rörelsevektorer (representerade av bok- stäver), som erhålls från närliggande block och som används för att prediktera en begynnelserörelsevektor som användes i nästföljande söksteg; Fig. 3 illustrerar rörelsevektorer, som behandlas i ett medianfilter efter varje söksteg; Fig. 4 illustrerar två block, som användes för bildande av ett avståndsberoende straffvärde, som skall adderas till ett matchningsvillkor; och Fig. 5 illustrerar olika block, som användes för utförande av en test med en nollrörelsevektor kombinerad med en predikterad rörelsevektor och en teströrelsevektor. 10 15 20 25 30 35 469 866 Beskrivning av en föredragen utföringsform I fig. 1 visas ett referensblock RB i den aktuella bilden N, som kan vara förskjuten en linje vertikalt som en konsekvens av radsprångsavsökta videosignaler, och ett block RB' i en föregående bild N-1 (eller N-2). De båda blocken RB, RB' jämförs med avseende på en möjlig förskjutning inom en sökyta SA. Avsökningen görs i steg under gradvis minskning av storleken på blocken,t.ex. upp till åtta steg S1, ..., S8.

För bildande av ett matchningsvillkor beräknar man på grundval av bildpunkternas intensitet eller videonivå det kvadratiska medelvärdet av felen (differenserna) i varje steg mellan det aktuella referensblocket RB och blocket RB', som är förskjutet med en teströrelsevektor. Således beräknas den ackumulerade summan av kvadrerade differenser i bildpunktintensitet mellan de båda blocken. Den rörelse- vektor, som minimerar denna summa, väljs sedan ut som den mest sannolika förskjutningen mellan blocken RB och RB'.

Hänvisning görs nu till fig. 2 som illustrerar de enligt ovan utvalda rörelsevektorerna (schematiskt noterade med bokstäver) i angränsande block tillgängliga för prediktion av en begynnelserörelsevektor X i nästa söksteg (n). En isotrop predíktor(predikterad begynnelserörelsevektor), som tar i beräkning information från rörelsevektorer i alla riktningar som omger den rörelsevektor som skall predikteras, är fördelaktig. Den predikterade begynnelserörelsevektorn PMV kan beräknas enligt följande PMV = 0,25 x A + 0,25 x C + 0,25 X E' + 0,25 x G', varvid den således utgör en kombination av rörelsevektorer A och C i det aktuella söksteget (n) och rörelsevektorer E' och G' från det föregående söksteget (n-1) med större block.

Företrädesvis utförs en icke-linjär behandling av rörelsevek- torerna i och/eller efter varje söksteg. Rörelsevektorn X, I: 10 15 20 25 469 866 som skall behandlas i ett medianfilter med fem ingångar, ersätts således av det matematiska medianvärdet Xmedian = matematiska medianen av [A,B,D,E,X], jämför fig. 3.

Fig. 4 visar två block, vilka användes för bildande av ett straffvärde, som i varje steg skall adderas till matchningsvillkoret och som baseras på avståndet D mellan den predikterade begynnelserörelsevektorn PMV och teströrelsevektorn CMV. Den så beräknade rörelsevektorn väljs ut endast om teströrelsevektorn, inklusive dess straffvärde, är bättre än den predikterade begynnelserörelsevektorn eller bättre än någon annan teströrelsevektor, inklusive dess straffvärde.

I fig. 5 visas den s k nollrörelsevektorn ZMV, som representerar obefintlig rörelse och som jämförs med teströrelsevektorn CMV i varje söksteg och kan väljas om matchningsvillkoret för nollrörelsevektorn är bättre än teströrelsevektorn i varje söksteg.

Trots att uppfinningen har beskrivits i samband med en före- dragen utföringsform, är det underförstått att olika modifie- ringar får göras inom ramen för uppfinningen sådan den definieras i de bifogade patentkraven.

Claims (8)

10 15 20 25 30 35 469 866 PATENTKRAV

1. Metod att estimera rörelseinnehållet i en videosignal, varvid rörelsen representeras av ett tvådimensionellt rörelsevektorfält och två konsekutiva bilder jämförs blockvis för att med hjälp av ett matchningsvillkor bestämma rörelsevektorn mellan två motsvarande block (RB,RB') hörande till var sin av de båda konsekutiva bilderna, och varvid jämförelsen görs i ett sökmönster inom ett förutbestämt sökområde (SA) och behandlingen upprepas i olika söksteg (S1,S2 etc) med minskande blockstorlek, k ä n n e - t e c k n a d börjar med att prediktera en begynnelserörelsevektor (PMV) på av att man i varje söksteg (S1,S2, etc) grundval av rörelsevektorer (A,C resp. E',G') redan erhållna i det aktuella söksteget och rörelsevektorer från det föregående söksteget, vilken begynnelserörelsevektor således motsvarar ett predikterat nytt läge för ifrågavarande block, och att nämnda förutbestämda sökområde (SA) omger nämnda predikterade nya läge, varvid såväl sökområdet (SA) som sökmönstret är storleksanpassat till ifrågavarande blockstor- lek.

2. Metod enligt krav 1, k ä n n e t e c k n a d av att nämnda sökmönster omfattar ett antal förutbestämda, närliggande delar (RB') av sökområdet (SA).

3. Metod enligt krav 1 eller 2, k ä n n e t e c k n a d av att den predikterade begynnelserörelsevektorn (PMV) är en linjär kombination av närliggande rörelsevektorer (A,C,E',G').

4. Metod enligt krav 1, k ä n n e t e c k n a d av att en icke-linjär behandling av rörelsevektorerna (A,B,D,E,X) utförs efter varje söksteg.

5. Metod enligt krav 4, k ä n n e t e c k n a d av att .419 10 15 20 469 866 den icke-linjära behandlingen utförs med hjälp av ett median- filter, som ersätter den rörelsevektor (X,PMV), som skall behandlas, med det matematiska medianvärdet av närbelägna rörelsevektorer (A,B,D,E,X).

6. Metod enligt krav 5, k ä n n e t e c k n a d av att de närbelägna rörelsevektorerna (A,B,D,E,X) är belägna i fem positioner intill och inkluderande den behandlade rörelsevek- torn (X), nämligen i samma blockrad och i den föregående blockraden.

7. Metod enligt något av kraven 1 - 6, k ä n n e - t e c k n a d av att i varje söksteg adderas ett straffvärde till matchningsvillkoret, vilket straffvärde är baserat på avståndet (D) mellan en predikterad begynnelserörelsevektor (PMV) och en teströrelsevektor (CMV).

8. Metod enligt något av föregående krav, k ä n n e - t e c k n a d av att matchningsvillkoret för en nollrörelsevektor (ZMV) mäts och fortlöpande jämförs med matchningsvillkoret för teströrelsevektorn (CMV) i varje sök- steg.