NO320048B1

NO320048B1 - Fremgangsmate for chroma de-blokking

Info

Publication number: NO320048B1
Application number: NO20042477A
Authority: NO
Inventors: Gisle Bjontegaard
Original assignee: Tandberg Telecom As
Priority date: 2004-06-14
Filing date: 2004-06-14
Publication date: 2005-10-17
Also published as: EP1757105A1; US7822125B2; CN1969556A; NO20042477D0; NO20042477A; CN100542288C; JP2008503177A; WO2005122588A1; US20060018386A1

Description

Oppfinnelsens område

Den foreliggende oppfinnelse er relatert til dekoding av blokkvis kodede videobilder.

Oppfinnelsens bakgrunn

Sending av filmopptak i sanntid blir anvendt innenfor flere applikasjoner så som videokonferanser, nettmøter, TV-kringkasting og videotelefoni.

Det å representere filmopptak krever en stor mengde informasjon idet digitalvideo typisk blir beskrevet ved å representere hvert piksel i et bilde med 8 bit (1 byte). Slike ukomprimerte videodata resulterer i store bit-volumer og kan ikke bli overført over konvensjonelle kommunika-sjonsnettverk og transmisjonslinjer i sanntid som følge av begrenset båndbredde.

Således, krever muliggjøring av sanntidstransmisjon en stor grad av datakompresjon. Datakompresjon kan imidlertid gå på bekostning av bildekvalitet. Derfor er store anstrengelser blitt gjort for å utvikle kompresjonsteknikker som tillater sanntidstransmisjon av høykvalitetsvideo over båndbredde-begrensede dataforbindelser.

Innenfor videokomprimeringssystemer er hovedhensikten å representere videoinformasjon med så liten kapasitet som mulig. Kapasitet blir definert med bits, enten som en konstant verdi eller som bits/tidsenhet. I begge tilfeller er hovedhensikten å redusere antallet bits.

De vanligste videokodingsfremgangsmåter blir beskrevet innenfor MPEG<*> og H.26<*> standarder. Videodata gjennomgår fire hovedprosesser før transmisjon, nemlig prediksjon, transformasjon, kvantisering og entropikoding. Prediksjonsprosessen gir en vesentlig reduksjon av mengden av bits som er nødvendig for hvert bilde i en videosekvens som skal overføres. Den drar fordel av likheter i deler av sekvensen med andre deler av sekvensen. Da prediksjonsdelen er kjent av både koder og dekoder, vil kun forskjellen måtte overføres. Denne forskjellen krever typisk mye mindre kapasitet ved sin representasjon. Prediksjonen blir vanligvis basert på vektorer som representerer bevegelse. Prediksjonsprosessen blir typisk utført på firkantblokk-størrelser (for eksempel 16x16 piksler). Merk at i noen tilfeller blir beregning av piksler basert på tilstøtende piksler innenfor samme bilde utført i stedet for piksler fra foregående bilder. Dette blir referert til som intraprediksjon i motsetning til interprediksjon. Således, når bilder i en blokk blir kodet ved hjelp av intraprediksjon, sies det at blokken er intrakodet.

Resten, som blir representert som en blokk med data (for eksempel 4x4 piksler), inneholder fremdeles intern korrelasjon. En velkjent fremgangsmåte for å dra fordeler av dette er å utføre en todimensjonal blokktransformasjon. Innenfor H.263 anvendes en 8x8 diskret cosinus-transformasjon (Discrete Cosine Transform, DCT) mens H.264 bruker en 4x4 heltallstype transformasjon. Denne trans-formerer 4x4 piksler inntil 4x4 transformasjons kvotienter og de kan vanligvis bli representert med færre bit enn pikselrepresentasjonen. Transformasjon av 4x4 matriser av piksler med internkorrelasjon vil sannsynligvis resultere i en 4x4 blokk av transformasjonskvotienter med mange færre ikkenullverdier enn den originale 4x4 piksel blokken.

Direkte representasjon av transformasjonskvotienter er fremdeles for kostbart for mange applikasjoner. En kvantiseringsprosess blir utført for en videre reduksjon av datarepresentasjon. Således vil transformasjonskvotienten gjennomgå kvantisering. En enkel versjon av kvantisering er å dele parameterverdien med et tall - som resulterer i et mindre tall som kan bli representert med færre bits. Det skal nevnes at denne kvantiseringsprosessen har som et resultat at den rekonstruerte videosekvensen blir noe forskjellig fra den ukomprimerte sekvensen. Dette fenomenet blir referert til som en "tapskoding" (lossy coding). Resultatet fra kvantiseringsdelen blir referert til som kvantiserte transformasjonskvotienter (Quantized Transform Coefficient).

Entropikoding innebærer tapsfri representasjon av forskjellige typer av parametere, slik som administrasjons-data (overhead data) eller systembeskrivelse, prediksjons-data (typisk bevegelsesvektor), og kvantiserte transformasjonskvotienter fra kvantiseringsprosessen. Det sistnevnte representerer typisk det største bit-forbruket.

Koding blir utført på blokkvise deler av videobildet. En makroblokk består av flere underblokker for luminans (luma) så vel som for krominans (kroma). Det er typisk to krominanskomponenter (Cr, Cb) med halvparten av oppløsningen både horisontalt og vertikalt sammenliknet med luminans. I figur 1 består makroblokken av 16x16 luminans-piksler og to krominanskomponenter med 8x8 piksler hver. Hver av komponentene blir videre brutt ned til 4x4 blokker som er representert ved de små kvadratene. Av kodingshensyn er både luma og kroma 4x4 blokkene gruppert sammen i 8x8 underblokker (sub blocks) og designert i Y0-Y3 og Cr, Cb.

De nåværende videostandarder H.261, H.262, H.263, H.264/AVC, MPEG1, MPEG2, MPEG4 anvender alle blokkbasert koding. Dette vil si blokkbasert prediksjon fra tidligere kodede og dekodede bilder så vel som blokkbasert koding av restsignal.

Blokkbasert koding/dekoding har vist seg å være svært effektivt. Men en av ulempene er at rekonstruerte bilder kan ha synlige artefakter korresponderende til blokker brukt for prediksjon og restsignalkoding. Dette fenomenet blir vanligvis referert til som blokking eller blokkings artefakter.

Sammendrag for oppfinnelsen

Den foreliggende oppfinnelse viser en fremgangsmåte innenfor videodekoding for reduksjon av blokkartefakter mellom en første og en andre kromablokk i et blokkvist kodet videobilde, der om i det minste én av den første og andre kromablokk er intrakodet, å utføre en deblokkingsfiltreringsoperasjon på piksler tilstøtende til en grense mellom den første og andre kromablokk på hver side av nevnte grense, eller om i det minste én av den første og den andre kromablokk er inkludert i en samling av tilstøtende blokker inkludert én eller flere blokker som har ikkenull transformasjonskvotient, å utføre en deblokkingsfiltreringsoperasjon på piksler tilstøtende til nevnte grense mellom den første og den andre kromablokk på hver side av nevnte grense.

Kort beskrivelse av tegningen

For å gjøre oppfinnelsen lettere forståelig, vil en i diskusjonen som følger referere seg til vedlagte tegninger og tabeller. Figur 1 viser hvordan en makroblokk på 16x16 lumapiksler og de korresponderende to kromakomponenter med 8x8 piksler blir delt når de kodes. Figur 2 illustrerer en grense mellom to blokker og en linje av tilstøtende pikselposisjoner. Figur 3 er et utsnitt av en tabell fra H.264/AVC-spesifikasjonen.

Detaljert beskrivelse av den forliggende oppfinnelse

Den foreliggende oppfinnelse er en forbedring av fremgangsmåte i henhold til teknikkens stilling for fjerning av blokker og kvantiseringsstøy. Denne fremgangsmåten blir beskrevet i spesifikasjonen ITU-T Ree. H.264 I ISO/IEC 14496-10 AVC, der basisen for denne blir beskrevet i det etterfølgende. Innenfor H.264/AVC anvendes et adaptivt deblokkingsfilter innenfor kodingsløkken. Dette betyr at videre beregning blir utført på filtrerte bilder. Filteret er konstruert for å fjerne så mye som mulig av blokking og kvantiseringsstøy og fremdeles opprettholde så mye av bildeinnholdet som mulig. Det er ofte en utfordring å separere kvantiseringsstøy og bildeinnhold. Dette er årsaken til at filteret er svært innholdsadaptivt og derfor komplekst med hensyn til beregningsoperasjoner.

Figur 2 viser en kant mellom to bildeblokker. Bokstavene d og e betegner to tilstøtende pikselposisjoner på hver sin side av kanten, og de andre bokstavene betegner de seks horisontale pikselposisjoner nærmest til de to først nevnte piksler. I henhold til H.264/AVC kan pikslene b c d e f g bli modifisert basert på verdien av hver av pikslene og på karakteristikken av kanten i seg selv. Denne modifikasjon gjøres for å utjevne de ovenfor nevnte artefakter. Modifikasjonen blir derfor utført kun når artefakter trolig vil inntreffe. Artefakter vil trolig kunne inntreffe mellom to blokker når én eller flere av de etterfølgende situasjoner blir detektert: a) Om en hvilken som helst av to blokker på hver side av grensen er intrakodet, det vil si kodet basert på

allerede kodede blokker innenfor nåværende bilde.

b) Om en hvilken som helst av to blokker på hver side av grensen inkluderer ikkenull transformasjonskvotienter. c) Om størrelsen av bevegelsesvektorer brukt for å beregne blokkene på hver side av grensen overgår en

bestemt terskel.

Når testen over indikerer blokking av artefakter utføres en glattingsoperasjon for hver piksellinje som krysser grensen. Denne operasjonen startes ved å beregne en deltaverdi fra pikslene nærmest grensen. Om en bruker pikselrotasjon definert i figur 2 vil likningen for deltaverdien være: delta er lik:

Denne deltaverdien vil så gjennomgå en klippeprosedyre som vil resultere i en delta merket verdi. Delta-merketverdien er avhengig av kvantiseringsverdien som er blitt brukt i den nåværende kodingen, det vi si størrelsen av kvantiseringsintervallet, og for de ovenfor angitte kriterier. I henhold til H.264/AVC blir beskjæringen funnet ved å slå opp i en spesifisert tabell. Figur 3 viser et eksempel på en slik tabell fra H.264/AVC-spesifikasjonen. I tabellen korresponderer indeksA til kvantiseringsverdien, og bS=l, 2, 3 korresponderer til kriteriene c, b, a, henholdsvis. Således å bestemme kriteriene a, b, c, angir også grensekarakteristikken. Som et eksempel, om kvantiseringsverdien er 32 og karakteristikken for grensen svarer til kriteriet b, som igjen svarer til bS=2, vil tabellen indikere verdien 2. Dette betyr at delta merket skal bli klippet innenfor intervallet {-2,2)}. Det vil si at når delta 2 er større enn 2, vil delta-merket tilegnes verdien 2, når delta er mindre enn -2, vil delta-merket bli tilegnet verdien -2, og når delta ligger mellom {-2,2}, vil delta merket bli tilegnet verdien for delta.

Til slutt, delta-merketverdien blir brukt for å modifisere pikslene nærmest til grensen. Et eksempel, de nye verdier for d og e blir beregnet som følger:

Rekken av kriteriene over blir utført på lumablokker, men det blir bestemt at resultatet også blir anvendt for korresponderende kromablokker. Den samme filtrerings-prosedyren som beskrevet over blir brukt, men på færre piksler.

Å utføre deblokkingsfiltrering som beskrevet over er en av de mest ressurskrevende operasjoner innenfor H.264. Kromafiltreringen representerer en stor del av denne beregningsbyrden, selv om kromafiltrering er noe enklere. Som et eksempel, kromafiltreringen må ta i betraktning like mange kantkarakteristikker som lumafiltrering siden lumakantkarakteristikkene også blir brukt for kroma.

Det er også vanligvis tilfelle at kromadeblokkingsfiltrering resulterer i vesentlig mindre subjektiv kvalitetsforbedring sammenlignet med lumadeblokkingsfiltrering.

Til sist, den foreliggende definisjonen av kromadeblokkingsfiltrering innenfor H.264 med avhengighet av korresponderende lumadeblokkingsfiltrering resulterer i sub-optimale kromadeblokkingsfiltrering.

Basert på det faktum at behovet for kromadeblokkingsfiltrering er mindre enn for lumadeblokkingsfiltrering, viser den foreliggende oppfinnelse en forenklet fremgangsmåte for å bestemme grensekarakteristikkene. Kromadeblokkingsfiltrering blir brukt sjeldnere enn korresponderende lumadeblokkingsfiltrering og den skal kun avhenge av karakteristikkene for kromakodingen i seg selv og ikke på lumafiltreringen som er tilfelle for nåværende H.264/AVC.

I henhold til den foreliggende oppfinnelse er kriteriene angitt over erstattet med nye beslutningskriterier som blir brukt for å bestemme hvorvidt en skal utføre deblokkings-filtrering eller ikke. I motsetning til hva som er tilfelle for den foreliggende H.264/AVC, anvendes kriteriet for kromablokkarakteristikker. I en utførelsesform av oppfinnelsen hevdes det at artefakter sannsynligvis kan inntreffe mellom to blokker når følgende situasjonen er detektert: d) I det minste én av blokkene på hver side av blokkgrensen må være intrakodet.

I en andre utførelsesform av den foreliggende oppfinnelsen sies det at artefakter trolig kan inntreffe mellom to blokker når den følgende situasjon er detektert: e) I det minste én av blokkene på hver side av blokkgrensen er en del av en samling av blokker der ikkenull transformasjonskvotienter blir brukt for rekonstruksjon av kromabildet.

Merk at begrepet "samling av blokker i e)-kriteriet" kan være en enkelt blokk for en spesifikk kromakomponent til en samling av blokker (makroblokk) for hver kromakomponent (Cr, Cb) eller for flere kromakomponenter.

I en tredje utførelsesform for den forliggende oppfinnelsen sies det at artefakter sannsynligvis kan inntreffe mellom to blokker når en kombinasjon av d) og e) inntreffer.

I en foretrukket utførelsesform med den foreliggende oppfinnelse for 8x8 kromablokkoding av restsignal, blir et maksimum av to piksler på hver side av blokkgrensen modifisert, det vi si, c d e f i figur 2 blir modifisert. For 4x4 blokkoding av restsignalet vil maksimalt et piksel på hver side av blokkgrensen, det vil si, dei figur 2, bli modifisert.

Beregningen av de glattede kantpiksler inkludert delta og beskjæring blir utført for eksempel som beskrevet i den nåværende H.264/AVC.

Men en forenklet tabell sammenliknet med den som blir vist i figur 3 kan bli brukt, idet den foreliggende oppfinnelse fordelaktig undersøker en karakteristikk. Den forenklede tabell for denne hensikt kan være rekken korresponderende til bS=3 i tabellen på figur 3.

Claims

1. En fremgangsmåte for å redusere blokkartefakter mellom en første og en andre kromablokk i et blokkvist kodet videobilde karakterisert ved at om i det minste én av den første og andre kromablokk er intrakodet, å utføre en deblokkingsfiltreringsoperasjon på piksler tilstøtende til en grense mellom den første og andre kromablokk på hver side av nevnte grense, eller, om i det minste én av den første og den andre kromablokk er inkludert i en samling av tilstøtende blokker inkludert én eller flere blokker som har ikkenull transformasjonskvotient, å utføre en deblokkingsfilteroperasjon på piksler tilstøtende til nevnte grense mellom den første og den andre kromablokk på hver side av nevnte grense.

2. En fremgangsmåte i henhold til krav 1, karakterisert ved at trinnene for å utføre en deblokkingsoperasjon videre inkluderer: for hver piksellinje som krysser nevnte grense, å beregne en deltaverdi på (A) ved bruk av følgende likning: der d er nærmeste pikselposisjon og c er den nest nærmeste pikselposisjon til nevnte grense i den første kromablokk, e er den nærmeste pikselposisjon og f er den nest nærmeste pikselposisjon til nevnte grense i den andre kromablokk, utføre beskjæring av nevnte deltaverdi, ved et oppslag i en beskjæringstabell som har nevnte deltaverdi og kvantiseringsverdi, når en koder videobilde som inngang og en deltamerket (A') som utgang, modifisere verdier av nærmeste pikselposisjoner ved å legge til eller trekke fra nevnte deltamerket.