NO326285B1 - Fremgangsmate for stoyreduksjon av et videobilde - Google Patents

Abstract

Den foreliggende oppfinnelse er relatert til pre-prosessering av videodata før koding og transmisjon. Spesielt fremviser den foreliggende oppfinnelse en fremgangsmåte for støyreduksjon i høy-tetthetsvideobilder. Dette blir realisert ved implementering av et ikke-komplekst filter som filtrerer rå pikseldatautgang fra et videokamera med lavpassegenskaper for både romlig og temporær støy kombinert med en tilpasning av filteret basert på høyfrekvensinnhold av bildet, noe som etterlater det meste av bildeinnholdet upåvirket av filtreringsprosessen.

Description

OPPFINNELSENS OMRÅDE

Oppfinnelsen relaterer seg til en fremgangsmåte for støyreduksjon av et videobilde. Mer spesifikt angår oppfinnelsen en fremgangsmåte for støyreduksjon av piksler i videobilder innfanget ved lyssensorer i et digitalt videokamera.

OPPFINNELSENS BAKGRUNN

Sending av bevegelige bilder i sanntid utføres ved flere applikasjoner, så som for eksempel videokonferanser, nettmøter, TV-kringkasting og videotelefoni og blir mer og mer utbredt. Disse applikasjonene krever digitale kameraer og digitale bærbare videokameraer inneholdende elektroniske bildesensorer som innfanger lys for å prosesseres inn til henholdsvis still- eller videobilder. Kvalitetsspesifikasjonene for bildesensorene bedres idet den konvensjonelle bildeoppløsningen blir større. Den vanligste faktoren som påvirker bildekvaliteten er bildestøy. Et høyt nivå av støy vil vanligvis begrense kvaliteten for bildene. Støy kan være resultatet av forskjellige prosesser som finner sted i dannelsen av bildet. Karakteristikker for støy kan også være forskjellige. Det kan være bestemte mønstre som følge av fysiske prosesser, eller støyen kan ta form av mer statistisk karakter, ofte noe vagt angitt som "gaussiske".

Mesteparten av støyen skapes i bildesensorene. Bildesensorene vil vanligvis inkludere en matrise av foto følsomme elementer i serie med svitsj eelementet. Hvert fotosensitive element mottar et bilde av en del av scenen som blir avbildet. Denne delen blir kalt et bildeelement eller piksel. De tilveiebrakte bildeelementene produserer et elektrisk signal indikativt for bildet pluss en støykomponent. Forskjellige teknikker har blitt brukt innenfor teknikkens stilling for å minimalisere støyen for derved å produsere et utgangssignal som nærmere følger bildet. Det er to primære typer for elektroniske bildesensorer, ladningskoblede halvlederelementer (CCDer) og komplementære metalloksidhalvledere (CMOS)-sensorer. CCD-bildesensorer har relativt høyt signalstøyforhold (SNR) som tilveiebringer kvalitetsbilder. I tillegg kan CCDer bli fabrikkert og ha pikselmatriser som er relativt små samtidig som de er tilpasset de fleste kamera- og videooppløsningskrav. En piksel er det minste diskrete element for et bilde. Av disse grunner er CCDer de mest brukte og mest kommersielt tilgjengelige kameraer og bærbare videokameraer.

CMOS-sensorer er raskere og forbruker mindre effekt enn CCD-anordninger. I tillegg er CMOS-fabrikasjonsprosessen brukt for å lage mange typer av integrerte kretser. Således er det en rikere tilgang på produksjonskapasitet for CMOS-sensorer enn for CCD-sensorer.

Til dags dato har det ikke blitt utviklet en CMOS-sensor som har den samme SNR og pikselmellomromskrav som kommersielt tilgjengelige CCD-sensorer. Pikselmellomrom er avstanden mellom senteret av tilstøtende piksler. Det vil være ønskelig å tilveiebringe en CMOS-sensor som har relativt høy SNR, mens den samtidig tilveiebringe et kommersielt akseptabelt pikselmellomrom. CCD-sensorer inneholder pikselmatriser som har flere rader og kolonner. Når de innfanger første og andre bilder, må en CCD lese hver rekke fra matrisen for det første bildet og så hver rekke av matrisen for det andre bildet. Dette er en relativt ineffektiv tilnærming som inneholder innebygde forsinkelser i datainnhenting. Det vil være ønskelig å begrense tiden som kreves for å innhente data fra pikselmatrisen.

Alle disse sensorer i matrisen er eksponert for støy som følge av sin romlige og diskrete natur. Noen lysfotoner vil ganske enkelt ikke treffe sensorene og således bidra til støybildet. En annen støybidrager er kvantiseringen av lyset som innfanges av de respektive sensorer. Representasjonen av pikselverdier er digital, dvs. diskret og konvertering fra analoge til digitale data vil også introdusere kvantiseringsfeil. Mengden av disse feil avhenger av kvantiseringsintervaller som i sin tur igjen avhenger av antallet tall som representerer hver piksel. I digitale kameraer vil dette antallet måtte være begrenset som følge av begrenset prosessoreffekt og minnerom.

Den genererte støyen vil ofte være høy nok til å visuelt degradere bildet. Det er derfor ønskelig å være i stand til å redusere støynivået for å oppnå et subjektivt bedre bilde.

Samtidig er raten for bildeelementer (piksler) i høykvalitetsvideosignaler ef svært stort. For en høydefinisjons(HD)videosignal kan dette være i størrelsesorden 100 megapiksler/s. Dette betyr at en støyreduksjonsfremgangsmåte må ta hensyn til beregningskompleksitet og forsøke å gjøre prosedyren enkel nok til å være løsbar for sanntidsimplementering.

Publikasjonen US 6847408 viser en fremgangsmåte og en anordning for støyreduksjon i en bildesekvens. Bildene filtreres rekursivt, hvor en piksel fra et bilde sammenlignes med en samlokalisert piksel fra et tidligere bilde. Forskjellene mellom pikslene bestemmes og sammenliknes med ulike terskelverdier for klassifisering ut fra type forskjell/støy. Ut fra klassifisering kombineres så pikselverdiene for å danne et støyredusert bilde.

SAMMENDRAG FOR OPPFINNELSEN

Den foreliggende oppfinnelsen er definert i det selvstendige patentkrav 1. Foretrukne utførelsesformer fremgår av de uselvstendige kravene.

KORT BESKRIVELSE AV TEGNINGENE

For å gjøre oppfinnelsen enklere å forstå, vil en i diskusjonen som følger referere seg til de vedlagte tegninger.

Figur 1 viser et alminnelig blokkdiagram av en CMOS-aktiv pikselkrets,

figur 2 illustrerer et støyfilter i henhold til den foreliggende oppfinnelse brukt i en videokonferanseterminal,

figur 3 viser notasjonen for piksler i den foreliggende og et referansebilde brukt i beskrivelsen,

figur 4 viser en sammenheng mellom deltaverdien og den justerte deltaverdien i henhold til en utførelsesform for den foreliggende oppfinnelsen.

DETALJERT BESKRIVELSE AV DEN FORELIGGENDE OPPFINNELSEN

Et blokkdiagram som nevnt i bakgrunnsavsnittet av en CMOS-aktiv pikselkrets blir vist i figur 1. Anordningen har en pikselkrets 150 og en kolonnekrets 155. Innfalne fotoner passerer gjennom fotoporten (photogate, "PG") 100 i pikselkretsen 150 og genererer elektroner som er integrert og lagret under PG 100. Et antall av pikselkretser er arrangert i hver rekke av kretsen. En av rekkene blir valgt for utlesning ved å aktivere rekkevalgstransistoren 102 ("RS").

Den flytende diffusjonsutgangsnoden 104 ("FD") blir først nullstilt ved å pulse nullstillingstransistoren ("RST") 106. Den resulterende spenning på FD 104 blir lest fra pikselkretsen og inn på kolonnebussen 112 ved bruk av en kildefølger 110 innenfor pikselen. Spenningen på kolonnebussen 112 blir samplet på en første holdekondensator 114 av pulseringstransistoren SHR 116. Startladningen blir brukt som basislinjen.

Signalladningen blir så overført til FD 104 ved å pulserer PG 100 til lav. Spenningen på FD 104 faller i proporsjon til antallet fotoelektroner og kapasitansen på FD. Den nye spenningen på kolonnebussen 112 blir samplet inn på en andre kondensator 118 av den pulserende SHR 120. Forskjellen mellom spenningene for den første kondensator 114 og den andre kondensator 118 er derfor indikerende for antallet fotoelektroner som ble tillatt å ankomme den flytende diffusjonen. Denne spenningsdifferansen danner basis for den kvantiserte utgangspikselverdi - én for luminans (luma) og én for krominans (kroma).

Spenningsdifferanse blir imidlertid utledet fra fotoner som treffer fotoporten, men som følge av den diskrete natur for fotoportmatrisen vil noen fotoner kunne treffe mellomrommet mellom fotoportene og vil ikke påvirke kretsen som utleder spenningsforskjellen. Som følge av dette faktum og kvantisering av analogspenning vil det alltid være et støybidrag for det piksellagde bildet. I videobiler vil støyen også være temporær, noe som medfører at støyen ser ut til å influere både temporær og romlig oppløsning av videosignalet.

Hovedformålet med den foreliggende oppfinnelse er å redusere så mye som mulig av støyen og samtidig la så mye som mulig av signalet være urørt. Dette blir gjennomført ved et ikke-implementeringskomplekst filter (low implementation complex filter), for eksempel anordnet mellom kamera og kodek i en videokonferanseterminal som vist i figur 2 med lavpassegenskaper for både romlig og temporær støy kombinert med en tilpasning av filteret basert på høyfrekvensinnholdet i bildet, noe som lar mesteparten av bildeinnholdet være upåvirket av filtreringsprosessen.

Den foreliggende oppfinnelse vil i det etterfølgende bli eksemplifisert ved å beskrive en utførelsesform av oppfinnelsen.

I figur 3 blir det vist notasjon for en ekstraksjon av piksler i den nåværende (ny) og en tidligere (gammel) referansebilde for et videobilde. Piksler ar til ir hører til "gammel" og det antas at alle piksler i "gammel" allerede er blitt filtrert. Så er det et nåværende bilde kalt "ny" med notasjonen ap til ip. I den foreliggende

definisjonen er det antatt at pikslene ap til dp allerede har gjennomgått en filtrering.

Filtreringsprosessen (både for luma og en for kroma) i henhold til den foreliggende oppfinnelse er definert ved hvordan piksel ep er modifisert til ep'. I den foreliggende beskrevne utførelsesform blir denne prosessen definert som følger:

En enkel modifikasjon av n vil så bli lagt til deltaverdien beregnet i (1), dvs. ep' = ep +A

Denne første iterasjon av en modifikasjon av ep vil ha en lavpassfiltreringseffekt, både temporært og romlig, siden filtreringsuttaket korresponderer til piksler både i "gammel" og "ny". Beklageligvis vil dette påvirke høyfrekvensinnholdet for bildet for mye. Således skal det fordelaktig være en antagelse av hvor stort støybidraget til ep kan være. Om A er større enn dette bidraget, skal det antas at dette skyldes det virkelige bildeinnholdet og således, ep skal ikke bli modifisert.

En løsning er så først å modifisere A til A' på en måte tilsvarende til illustrasjonen under slik at A' ~ A for små A og A = 0 for store A. Dette blir illustrert i figur 4 som A' som en funksjon av A.

Denne funksjonen kan analytisk uttrykkes som følger:

hvor ko og k, er konstanter og ep' fremdeles er definert som ep'=ep + A'.

Merk at filtreringen beskrevet så langt er mer temporær enn romlig siden det største bidraget til A kommer fra "gammel".

Således, et første aspekt ved utførelsen beskrevet over ville være å definere to versjoner av A, en vektet mot temporær filtrering og en rettet mot romlig filtrering. Den som skal brukes avhenger av forskjellen sammenlignet med pikselverdien i den samme pikselposisjonen i det foregående bildet.

For å eksemplifisere er Ai definert som i (1) siden den er vektet mot temporær filtrering:

Videre, As som er den vektet mot romlig og er definert som:

Dersom | ep-er | er liten, skal det antas at det er ønskelig å gjøre mer temporær filtrering, mens om | ep-er | er stor, ønsker vi primært å utføre romlig filtrering. Således kan kombinasjon av disse to uttrykk defineres som følger:

hvor w avhenger av pikselverdidifferansen | ep-er |.

I dette første aspektet av den ovenfor beskrevne utførelsen av den foreliggende oppfinnelsen er filteret tilpasset temporær eller romlig filtrering avhengig av bildeinnholdet.

Et andre aspekt ved den ovenfor beskrevne utførelsesform tar hensyn til at støy tendenserer til å være mer forstyrrende i mørke områder enn i lyse områder av et

bilde. I dette aspekt vil filterstyrken som blir bestemt av ki i (2) variere i henhold til luminansverdien, som vil være lik med ep for lumafiltrering og en lumaverdi nær ep for kromafiltrering. I henhold til dette aspekt vil k] være invers proporsjonal med ep for således å øke idet luminansen avtar og vice versa. Denne filtreringsprosessen er sterkere ved mørke områder av bildet og mer støy blir således fjernet.

Beregning av A over er et typisk eksempel, men oppfinnelsen dekker også forskjellig vektingsfaktorer på forskjellige piksler, så vel som forskjellig utvalg av piksler. For eksempel dekke det mer implementeringsvennlig beregninger av A og ep', for eksempel som følger for A:

hvor »1 betyr høyreskift ved 1.

Merk at utførelsesformen beskrevet over ikke begrenser omfanget av den foreliggende oppfinnelse og en fagmann på området vil kunne realisere mange andre aspekter ved den foreliggende utførelsesform. Oppfinnelsen er ikke bare begrenset til videokonferanse, men er anvendbar innenfor alle applikasjoner der digital videobildeinnfanging er involvert.

Claims (5)

1. Fremgangsmåte for støyreduksjon av et videobilde som er komponert av påfølgende bilder, karakterisert ved påfølgende å beregne en respektiv deltaverdi (A) for hver piksel i et nåværende bilde av etterfølgende bilder fra en funksjon av veide piksler i nevnte nåværende bilde og i et referansebilde relativt til nevnte nåværende bilde; justere nevnte respektive deltaverdi til et korresponderende respektivt justert deltaverdi (A') definert som: A' = A<*>max(0;(ko - kj<*> | A | )/ko), hvor ko og ki er konstanter; tilføye nevnte respektive justerte deltaverdi for nevnte respektive piksel i nevnte nåværende bilde.

2. Fremgangsmåte i henhold til krav 1, karakterisert ved at nevnte funksjon av vektede pikselberegninger nevnte respektive deltaverdi for en piksel (ep) i det foreliggende bilde blir definert som: A = (4er <+> 2fr + gr +2hr + ir + ap + 2bp + cp +2dp)/16 - ep, hvor den vektede pikselen er posisjonert tilstøtende til ep og det vektede piksel med p-subskript er inkludert i det nåværende bildet og vektede piksler med r-subskript er vektede piksler fra referansebildet.

3. Fremgangsmåte i henhold til krav 1, karakterisert ved at nevnte funksjon av vektede piksler beregner nevnte respektive deltaverdi for en piksel (ep) i det nåværende bildet blir definert som: A=2er+(ap+cp+1)»1 +2 [(bp+dp+1)»1 ]+(gr+ir+1)»1 +2 [(fr+hr+1)»1 ] - 8 ep hvor den vektede pikselen er posisjonert tilstøtende til ep og vektet piksel med p-subskript er inkludert i det nåværende bildet og vektede piksler med r-subskript er vektede piksler fra referansébildet og »1 er definert som høyreskift ved 1 i et skiftregister.

4. Fremgangsmåte i henhold til krav 1, karakterisert ved at nevnte funksjon av vektede piksler beregner nevnte respektive deltaverdi for en første piksel (ep) i det nåværende bildet er definert som: A = w*As+ (1-w)* At>der w er en verdi mellom 0 og 1 som er proporsjonal med | ep-er |, og er er en andre piksel i referansebildet posisjonert tilsvarende som nevnte første piksel, As er definert som: og At er definert som:

5. Fremgangsmåte i henhold til et av kravene 1-4, karakterisert ved at videobildet er et videobilde innfanget av et kamera brukt for videokonferanser.