FI109635B - Menetelmä ja laite videokuvan jälkikäsittelemiseksi - Google Patents

Description

109635

Menetelmä ja laite videokuvan jälkikäsittelemiseksi

Ala

Keksinnön kohteina ovat menetelmä ja laite peräkkäisistä liikkumattomista kuvista muodostetun dekoodatun videokuvan jälkikäsittelemiseksi.

5 Tausta

Videokuvan koodausta ja dekoodausta käytetään datamäärän vähentämiseksi, jotta se voidaan tallentaa tehokkaammin jollekin muistivälineelle tai siirtää tietoliikenneyhteyttä käyttäen. Eräs esimerkki videokoodausstandardista on MPEG-4 (Moving Pictures Expert Group), jossa tavoitteena on lähet-10 tää videokuvaa reaaliaikaisesti langattomassa kanavassa. Tämä on erittäin kunnianhimoinen tavoite, sillä jos esimerkiksi lähetettävä kuva on cif-kokoa (288 x 352 pikseliä) ja lähetystaajuus 15 kuvaa sekunnissa, olisi pakattava 36,5 miljoonaa bittiä 64 kilobittiin joka sekunti. Pakkaussuhde olisi tällöin erittäin suuri 570:1.

15 Kuvan siirtämiseksi kuva tyypillisesti jaetaan kuvalohkoiksi, joiden koko valitaan järjestelmään sopiviksi. Kuvalohkoinformaatio käsittää yleensä tietoa kuvalohkon valoisuudesta, väristä ja sijainnista itse kuvassa. Kuvalohko-jen data kompressoidaan lohkoittain halutulla koodausmenetelmällä. Kompressointi perustuu vähemmän merkityksellisen datan poistamiseen. Kompressi 20 sointimenetelmät jaetaan pääasiallisesti kolmeen eri luokkaan: spektrisen re-dundanssin vähentäminen (Spectral Redundancy Reduction), tilaredundanssin vähentäminen (Spatial Redundancy Reduction) ja ajallisen redundanssin vä-.·*·. hentäminen (Temporal Redundancy Reduction). Tyypillisesti kompressointiin käytetään näiden menetelmien erilaisia yhdistelmiä.

25 Spektrisen redundanssin vähentämiseksi sovelletaan esimerkiksi ···* YUV-värimallia. YUV-mallissa käytetään hyödyksi sitä, että ihmisen silmä on herkempi luminanssin eli valoisuuden vaihteluille kuin krominanssin eli värin :.’*i muutoksille. YUV-mallissa on yksi luminanssikomponentti (Y) ja kaksi kromi-nanssikomponenttia (U,V). Kahta krominanssikomponenttia voidaan nimittää . t*. 30 myös cb- ja cr-komponenteiksi. Esimerkiksi H.263 videokoodausstandardin mukainen luminanssilohko on 16 x 16 pikseliä ja kumpikin krominanssilohko, • · jotka kattavat saman alueen kuin luminanssilohko, 8x8 pikseliä. Yhden lumi-v ‘ nanssilohkon ja kahden krominanssilohkon yhdistelmää kutsutaan tässä stan-: dardissa makrolohkoksi (macroblock). Makrolohkot luetaan kuvasta yleensä ri- 35 veittäin. Jokainen pikseli, sekä luminanssi- että krominanssilohkossa, voi saa- 109635 2 da arvon väliltä 0-255, eli yhden pikselin esittämiseen tarvitaan kahdeksan bittiä. Esimerkiksi luminanssipikselin arvo 0 tarkoittaa mustaa ja arvo 255 valkoista.

Tilaredundanssin vähentämiseksi käytetään esimerkiksi diskreetti-5 kosinimuunnosta (Discrete Cosine Transform, DCT). Diskreettikosinimuunnok-sessa muunnetaan kuvalohkon pikseliesitys tilataajuusesitykseksi. Lisäksi ku-valohkossa vain niillä signaalitaajuuksilla, joita siinä esiintyy, on suuriamplitudi-set kertoimet, ja niillä signaaleilla, joita kuvalohkossa ei esiinny, kertoimet ovat lähellä nollaa. Diskreettikosinimuunnos on periaatteessa häviötön muunnos ja 10 signaaliin aiheutuu häiriötä vain kvantisoinnissa.

Ajallista redundanssia pyritään vähentämään hyödyntäen sitä tosiasiaa, että peräkkäiset kuvat yleensä muistuttavat toisiaan, joten sen sijaan, että kompressoitaisiin jokainen yksittäinen kuva, generoidaan kuvalohkojen lii-kedataa. Perusperiaate on seuraava: koodattavalle kuvalohkolle etsitään mah-15 dollisimman hyvä aiemmin koodattu vertailulohko (reference block), vertailu-lohkon ja koodattavan kuvalohkon välinen liike mallinnetaan ja lasketut liike-vektorit (motion vector coefficients) lähetetään vastaanottimelle. Koodattavan lohkon ja vertailulohkon erilaisuus ilmaistaan virhetekijänä (prediction error component, prediction error frame). Kuvalohkon liikevektorin määrittämiseen 20 (motion vector prediction) voidaan käyttää aiemmin muistiin talletettua vertailu-kuvaa (reference picture, reference frame). Tällaista koodausta kutsutaan in- . . ter-koodaukseksi, joka tarkoittaa saman kuvajonon kuvien välisten samankal- • · ... taisuuksien hyödyntämistä.

‘ Tilaredundanssin vähentämiseksi makrolohkolle voidaan tehdä dis- • · · · ‘ ’ 25 kreettikosinimuunnos kaavalla: ..... %v) = -C(tt)C(v)2;2]/(*j)<!os——-cos- -- (1)

*"* *=o >=o ^iV IN

jossa x ja y ovat alkuperäisen lohkon koordinaatit, u ja v ovat muun-noslohkon koordinaatit, N - 8 ja il • ‘ · · -η=, kaikilla u.v = 0 c(u),c(v) = U2 (2) • I ‘ [1, muulloin 30 Seuraavaksi taulukossa 1 esitetään esimerkki siitä, miten 8x8 pikse- • · >

Iin kokoinen lohko muunnetaan diskreettikosinimuunnoksella. Taulukon ylem- .·:·. mässä osassa on muuntamattomat pikselit, ja taulukon alaosassa diskreettiko-sinimuunnoksen jälkeinen tulos, jossa ensimmäinen alkio arvoltaan 1303, ns.

3 ! ! 10 9 6 ό 5 dc-kerroin, kuvaa pikseleiden keskimääräistä suuruutta lohkossa, ja muut 63 alkiota, ns. ac-kertoimet, kuvaavat pikseleiden hajontaa lohkossa.

Kuten taulukon 1 pikseleiden arvoista nähdään, niillä on suuri hajonta. Tällöin diskreettikosinimuunnoksen jälkeinen tulos sisältää myös paljon 5 erisuuruisia ac-kertoimia.

249 241 248 255 248 251 250 246 215 249 199 214 236 193 218 220 118 219 175 135 176 118 172 186 87 187 230 123 182 172 178 205 112 154 166 122 164 154 143 159 124 115 112 122 110 113 116 111 120 121 122 122 124 123 122 121 _120 121 119 120 120 120 120 118_ 1303 -18 -3 -43 -32 -54 -22 28 335 -2 5 -20 -6 -26 -26 11 100 29 6 45 44 49 -8 -30 41 9 -9 39 25 42 25 -21 68 -27 -19 -9 -24 -4 39 11 9 -18 -6 -23 -23 -1 18 9 • · ... -54 10 10 -6 2 10 -9 -5 ! _-18 5 3 2 5 -8 -11 1_ • · '···] Taulukko 1 • ·» 10 Taulukossa 2 kuvataan lohko, jossa pikseleiden välillä on pieni ha jonta. Kuten taulukosta 2 havaitaan, tällöin ac-kertoimet saavat samat arvot, eli lohko kompressoituu erittäin tehokkaasti.

•»» • · · ♦ · · «· · » · * · • · ·

• I I » I

! ! 4 109655 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 115 _115 115 115 115 115 115 115 115_ 924 OOOOOOO 00000000 00000000 00000000 00000000 00000000 00000000 _00000000_

Taulukko 2

Seuraavaksi diskreettikosinimuunnettu lohko ’’kvantisoidaan”, eli pe-5 riaatteessa sen jokainen alkio jaetaan jollain vakiolla. Tämä vakio saattaa vaih- • · della eri makrolohkojen välillä. Lisäksi ac-kertoimille käytetään yleensä suurempaa jakajaa kuin dc-kertoimille. "Kvantisointiparametri”, josta kyseiset ja-'···[ kajat lasketaan, on välillä 1-31. Mitä enemmän nollia saadaan lohkoon, sitä * paremmin lohko pakkaantuu, sillä nollia ei kanavaan lähetetä. Kvantisoiduille :...; 10 lohkoille voidaan vielä tehdä erilaisia koodausmenetelmiä ja lopulta niistä muodostetaan bittivirta, joka lähetetään dekooderille. Kooderin sisällä kvanti-soiduille lohkoille tehdään vielä käänteiskvantisointi ja käänteisdiskreetti-kosinimuunnos, ja näin muodostetaan referenssikuva, josta voidaan ennustaa seuraavien kuvien lohkoja. Jatkossa kooderi siis lähettää tulevan lohkon ja re-15 ferenssilohkojen välistä erodataa. Näin pakkaustehokkuus paranee.

'···* Kvantisointi on videokoodauksen ongelma, sillä mitä suurempaa kvantisointia joudutaan käyttämään, sitä enemmän kuvasta katoaa tietoa ja .;: lopputulos on epämiellyttävää katsottavaa.

5 109655

Dekooderi (Decoder) tekee bittivirran purkamisen ja dekoodausme-netelmien jälkeen periaatteessa saman kuin kooderi (Encoder) teki referenssi-kuvaa muodostettaessa, eli lohkoille tehdään samat asiat kuin kooderissa, mutta käänteisesti.

5 Lopulta koottu videokuva viedään näytölle ja lopputulos riippuu suu resti käytetystä kvantisointiparametrista. Jos nimittäin jokin lohkon alkio menee kvantisoinnissa nollaksi, ei käänteiskvantisointi kykene sitä enää palauttamaan. Diskreettikosinimuunnos ja kvantisointi aiheuttavat siis kuvan laadun huonontumista, joka näkyy kohinana ja lohkottumisena.

10 Tunnetun tekniikan mukaisesti kuvan laatua parantava jälkikäsittely on tehty keskiarvoistamalla kuvan pikseleitä. Tämä kuitenkin aiheuttaa kuvassa esiintyvien objektien välisten rajojen pehmentymistä, jolloin kuvasta tulee suttuinen.

Lyhyt selostus 15 Keksinnön tavoitteena on tarjota parannettu menetelmä dekoodatun videokuvan jälkikäsittelemiseksi, parannettu laite dekoodatun videokuvan jälki-käsittelemiseksi, parannettu tietokoneohjelma dekoodatun videokuvan jälkikäsittelemiseksi ja parannettu tietokoneen muistiväline dekoodatun videokuvan jälkikäsittelemiseksi.

20 Keksinnön eräänä puolena esitetään patenttivaatimuksen 1 mukai- . . nen menetelmä dekoodatun videokuvan jälkikäsittelemiseksi. Keksinnön erää-•«· · nä puolena esitetään patenttivaatimuksen 15 mukainen laite dekoodatun vi-’·’ * deokuvan jälkikäsittelemiseksi. Keksinnön muut edulliset suoritusmuodot ovat ·”· epäitsenäisten patenttivaatimusten kohteena.

«t * ·'...· 25 Keksintö perustuu siihen, että jälkikäsittelyssä käsitellään liikkumat- *:·*: toman kuvan kaikki tai ainakin lähes kaikki pikselit kuvan reunan pikseleitä lu- kuunottamatta siten, että käsiteltävän pikselin muodostukseen käytettävät pik- • · · selit valitaan käsiteltävän pikselin ympärille kuvitteellisesti muodostuvan neli- : kulmion diagonaaleilta eli halkaisijoilta käyttäen valinnassa hyväksi tietoa sen • · · .···’ 30 makrolohkon kvantisointiparametrista johon käsiteltävä pikseli kuuluu. Refe-renssipikselit valitaan vain jos ne poikkeavat käsiteltävästä pikselistä korkein-taan kvantisoinnissa menetetyn jakojäännöksen verran. Näin vältytään puuttu-masta kuvassa esiintyvien objektien välisiin rajoihin ja pehmennetty kuva py-.··. syy selkeänä. Pehmennys vähentää kuvassa näkyvää lohkottumista, mutta sa-^ . 35 maila jopa joidenkin objektien väliset rajat terävöityvät, eli keksinnöllä kuvaa voidaan samanaikaisesti sekä pehmentää että terävöittää.

109635 6

Kuvioluettelo

Keksinnön edulliset suoritusmuodot selostetaan esimerkinomaisesti alla viitaten oheisiin piirroksiin, joista: kuvio 1 esittää laitteita videokuvan koodaamiseksi ja dekoodaami- 5 seksi; kuviot 2A, 2B ja 2C esittävät referenssipikseleiden valintaa; kuviot 3A ja 3B esittävät erilaisia suoritusmuotoja referenssipikseleiden valitsemiseksi; kuvio 3C havainnollistaa referenssipikseleiden valinnalla saavutetta- 10 vaa etua; kuvio 4 kuvaa pikseleitä kuviossa 1 kuvattujen laitteiden osien välisissä rajapinnoissa; ja kuvio 5 on vuokaavio havainnollistaen menetelmää peräkkäisistä liikkumattomista kuvista muodostetun dekoodatun videokuvan jälkikäsittelyyn.

15 Suoritusmuotojen kuvaus

Viitaten kuvioon 1 selostetaan laitteita videokuvan koodaamiseksi ja dekoodaamiseksi. Henkilön 100 kasvoja kuvataan videokameralla 102. Videokuva muodostuu kamerassa 102 yksittäisistä peräkkäisistä liikkumattomista kuvista, joista kuviossa esitetään yksi liikkumaton kuva 104. Kameralla 102 20 muodostetaan kuvaa 104 pikseleinä esittävä matriisi, esimerkiksi alussa kuva-tulla tavalla, jossa luminanssille ja krominanssille ovat omat matriisinsa. Kuvaa • · ... 104 pikseleinä esittävä datavuo 106 viedään seuraavaksi kooderiin 108. Tie- *' [ tenkin on mahdollista rakentaa myös sellainen laite, jossa datavuo 106 saa-• ♦ · « daan kooderiin 108 esimerkiksi tiedonsiirtoyhteyttä pitkin tai vaikkapa tietoko- ’···* 25 neen muistivälineeltä. Tällöin tarkoituksena on se, että kompressoimaton vi-» deokuva 106 kompressoidaan kooderilla 108 esimerkiksi edelleen lähetystä tai • · · tallennusta varten.

Koska mielenkiinnon kohteena olevissa laitteissa meitä kiinnostaa :*·.· tilaredundanssin vähentämiseksi suoritettava kompressointi, kuvataan koode-« · .··. 30 rista 108 ja dekooderista 120 vain sen kannalta oleelliset osat. Muiden osien > ♦ · ♦. toiminta on alan ammattilaiselle selvää standardien ja oppikirjojen perusteella, ' ·: ·" esimerkiksi tähän viitteeksi otettavien teosten perusteella: - ISO/IEC JTC 1/SC 29/WG 11: ’’Generic coding of audio visual ob-jects - Part 2: Visual”, sivut 178, 179, 281.

7 109635 - Vasudev Bhaskaran ja Konstantinos Konstantinides: ’’Image and Video Compressing Standards - Algorithms and Architectures, Second Edition”, Kluwer Academic Publishers 1997, luku 6: ’’The MPEG video standards”.

Kooderi 108 käsittää diskreettikosinimuunnosvälineet 110 suorittaa 5 edellä kuvatulla tavalla diskreettikosinimuunnos kunkin liikkumattoman kuvan 104 pikseleille. Diskreettikosinimuunnoksella muodostettu datavuo 112 viedään kvantisointivälineisiin 114, joilla suoritetaan kvantisointi valitulla kvan-tisointisuhteella. Kvantisoidulle datavuolle 116 voidaan suorittaa vielä muutakin koodausta, jota ei tässä kuitenkaan kuvata. Kooderilla 108 muodostettu 10 kompressoitu videokuva siirretään kanavaa 118 käyttäen dekooderille 120. Tässä ei ole kuvattu, miten kanava 118 toteutetaan, koska eri toteutusvaihtoehdot ovat alan ammattilaiselle selviä. Kanava 118 voi olla esimerkiksi kiinteä tai langaton tiedonsiirtoyhteys. Kanava 118 voidaan myös tulkita siirtotieksi, jota käyttäen videokuva tallennetaan jollekin muistivälineelle, esimerkiksi 15 laserlevylle, ja jota käyttäen videokuva sitten luetaan muistivälineeltä ja käsitellään dekooderilla 120.

Dekooderi 120 käsittää käänteiskvantisointivälineet 122, joilla koodeissa 108 suoritettu kvantisointi puretaan. Käänteiskvantisointi ei valitettavasti kykene enää palauttamaan lohkon alkiota, jonka arvo kvantisoinnissa 20 meni nollaksi.

Käänteiskvantisoitu datavuo 124 viedään seuraavaksi käänteisdis-kreettikosinimuunnosvälineisiin 126, joilla suoritetaan käänteisdiskreettikosini- ... muunnos kunkin liikkumattoman kuvan 104 pikseleille. Saatu datavuo 128 vie- • · » * . dään sitten mahdollisten muiden dekoodausprosessien kautta näytölle 130, • ·»· 25 jossa esitetään liikkumattomista kuvista 104 muodostuva videokuva.

’···* Kooderi 108 ja dekooderi 120 voidaan sijoittaa erilaisiin laitteisiin, esimerkiksi tietokoneisiin, erilaisten radiojärjestelmien tilaajapäätelaitteisiin ku- «· · ten matkaviestimiin, tai muihin laitteisiin, joissa halutaan käsitellä videokuvaa. Kooderi 108 ja dekooderi 120 voidaan myös yhdistää samaan laitteeseen, jota 30 voidaan tällöin nimittää videokoodekiksi.

Kuviossa 4 kuvataan tunnetun tekniikan mukaisia pikseleitä kuvios- • * * ·. sa 1 kuvattujen laitteiden osien välisissä rajapinnoissa 106, 112, 116, 124 ja

• t I

128. Testikuvana on käytetty alan ammattilaisten tunteman testisekvenssin ”calendar_qcif.yuv” ensimmäisen kuvan ensimmäistä 8x8 kokoista luminanssi-35 lohkoa. Rajapinta 106 kuvaa datavuon sisältöä kameran 102 jälkeen. Rajapin- ....j ta 112 kuvaa datavuon sisältöä diskreettikosinimuunnosvälineiden 110 jäi- 8 109635 keen. Rajapinta 116 kuvaa datavuon sisältöä kvantisointivälineiden 114 jälkeen. Käytetty kvantisointisuhde on 17.

Yksinkertaisuuden vuoksi muita tunnettuja koodauksia ei ole käytetty, eli rajapinnan 116 datavuo siirretään kanavaa 118 pitkin dekooderille 120.

5 Rajapinta 124 kuvaa datavuon sisältöä käänteiskvantisointivälineiden 122 jälkeen. Kuten kuviosta 5 havaitaan vertailemalla alkuperäistä datavuota 112 ennen kvantisointia ja rekonstruoitua datavuota 124 käänteiskvantisoinnin jälkeen, ei kvantisoinnin seurauksena rajapinnassa 116 esitettyjä nollaksi menneitä ac-komponenttien arvoja enää saada palautettua ennalleen. Käytännös-10 sä tämä aiheuttaa sen, että alkuperäinen kuva 106 ennen dekoodausta ja rajapinnassa 128 kuvattu käänteisdiskreettikosinimuunnosvälineillä 126 rekonstruoitu kuva eivät vastaa enää toisiaan. Rekonstruoituun kuvaan on siis ilmestynyt kuvan laatua huonontavaa kohinaa.

Kuviossa 1 dekooderiin 120 on liitetty laite peräkkäisistä liikkumatto-15 mistä kuvista muodostetun dekoodatun videokuvan jälkikäsittelemiseksi. Kyseinen laite käsittää prosessointivälineet 140 jälkikäsitellä liikkumatonta kuvaa. Jälkikäsittelylaite voidaan toteuttaa siten, että se integroidaan dekooderiin 120, jolloin prosessointivälineet 140 voivat olla prosessori ohjelmistoineen. Prosessointivälineet 140 on sovitettu toistamaan vuorollaan kunkin liikkumattoman 20 kuvan pikseleille jälkikäsittely.

Pikselin jälkikäsittelyssä ensin valitaan käsiteltävän pikselin ympäril-le muodostetun neliönmuotoisen alueen molemmilla diagonaaleilla olevat pik-... selit referenssipikseleiksi. Tätä valitsemista kuvataan kuvioissa 2A, 2B ja 2C.

' Kuviossa 2A kuvataan 8x8 pikselin 200 suuruinen lohko. Käsiteltävää pikseliä 25 kuvataan viitenumerolla 202 ja kirjaimella P. Kuviossa 2B käsiteltävän pikselin ’·* P ympärille on muodostettu neliönmuotoinen alue 204, jossa on kaksi dia- gonaalia 206 ja 208. Kyseisillä diagonaaleilla 206, 208 olevat pikselit valitaan • · ·

kuviossa 2C kuvattavalla tavalla referenssipikseleiksi 210, joita kuvataan kirjaimella R. Esimerkissä käsiteltävän pikselin P ympäriltä referenssipikseleitä R

:*·,· 30 on siis kahdeksan kappaletta.

• ·

Referenssipikseleitä R voidaan asettaa ehdolle myös enemmän tai ·. vähemmän kuin kahdeksan kappaletta. Kuviossa 3A kuvataan suoritusmuoto, • · · ·;** jossa käsiteltävän pikselin ympärille muodostettu neliö 300 on pienempi kuin kuviossa 2B. Kuviossa 2B neliön 204 koko oli 5 x 5 pikseliä, mutta kuviossa 3A : ’ · ’: 35 neliön 300 koko on 3 x 3 pikseliä, jolloin referenssipikseleitä R saadaan neljä.

9 10963b

Kuviossa 3B kuvataan suoritusmuoto, jossa prosessointivälineet 140 on sovitettu valitsemaan ainakin neljä referenssipikseliä 302, 310, 312, 314, kaksi kummaltakin diagonaalilta, eli ensimmäinen kustakin diagonaalin käsiteltävästä pikselistä P alkavasta osasta. Diagonaaleja ei ole selvyyden 5 vuoksi kuvattu kuviossa 3B, mutta ne sijaitsevat vastaavasti kuin kuviossa 2B. Diagonaalin käsiteltävästä pikselistä P alkavista osista on kuvattu yksi neljästä, eli oikealla alaviistoon menevä diagonaalin osa 208.

Kuviossa 3B kuvataan myös suoritusmuoto, jossa prosessointivälineet 140 on sovitettu valitsemaan referenssipikseleitä R jo valittujen neljän li-10 säksi 302, 310, 312, 314 neljä uutta siten, että uusi valittu pikseli on kyseisessä diagonaalin osassa joko seuraava pikseli 304, tai diagonaalin osassa sekä ensimmäisen P että toisen pikselin 304 vieressä oleva pikseli 306 tai 308.

Neljä referenssipikseliä R ovat eräänlainen minimi, sillä on edullista, että referenssipikselit ovat tasaisesti sijoittuneet käsiteltävän pikselin P ympä-15 rille. Kuviossa 3C havainnollistetaan referenssipikseleiden R sijoittumisen merkitystä. Oletetaan, että kuviossa 3C on kuvattu sellainen kohta liikkumattomasta kuvasta, jossa neljä lohkoa, kukin kooltaan esimerkiksi 8x8 pikseliä ovat vierekkäin. Ylhäällä vasemmalla on siis lohko 320, ylhäällä oikealla lohko 322, alhaalla vasemmalla lohko 324, ja alhaalla oikealla lohko 326. Kuten kuviosta 20 nähdään ovat neljä lähinnä käsiteltävää pikseliä P olevaa referenssipikseliä R kukin eri lohkossa 320, 322, 324, 326. Referenssipikselit R siis muodostavat edullisesti X-kirjaimen muotoisen kuvion. Jos referenssipikselit asetettaisiin * · ... XY-koordinaatistoon, eli X:ää kierrettäisiin 45 astetta, ei kuvatussa esimerkissä • · · ·' \ olisi referenssipikseleitä ollenkaan lohkossa 326, mutta niitä olisi kaksinkertai- •«t · 25 nen määrä samassa lohkossa 320 kuin käsiteltävä pikseli P, mikä heikentäisi jälkikäsittelyn tuottamaa kuvanparannusta. Tavoitteena on siis valita referens-: sipikselit R siten, että mahdollisimman moni referenssipikseli R sijaitsee eri lohkossa kuin käsiteltävä pikseli P. Näin lohkorajojen häivytys maksimoidaan

Referenssipikselit siis ovat yleensä X-kirjaimen muotoisessa kuvios-30 sa, jonka sakaroiden pituuden määrää neliön diagonaalin pituus. On huomat- I | tava, että X-kirjaimen muotoinen kuvio voi myös olla muodoltaan vääristynyt kuviossa 3B esitetyllä tavalla, eli X-kirjaimen keskimmäinen osa on säännölli-'··; nen, mutta X-kirjaimen sakaroiden kärjet ovat kiertyneet joko vasemmalle tai :: oikealle, tarkasteltaessa tilannetta diagonaalin osan 208 suhteen.

35 Prosessointivälineet 140 on sovitettu muodostamaan vuorollaan kä- siteltävän pikselin P ja kunkin referenssipikselin R erotuksen itseisarvo, ja jos 109635 10 itseisarvo on pienempi kuin sen makrolohkon kvantisointiparametri johon käsiteltävä pikseli P kuuluu, niin valitaan referenssipikseli R referenssikeskiarvon muodostukseen. Näin kuvan eri objektiin kuuluvien pikseleiden vaikutus käsiteltävään pikseliin P minimoidaan, eli objektien välisiä rajoja ei muuteta epä-5 selvemmiksi.

Lisäksi prosessointivälineet 140 on sovitettu suorittamaan seuraa-va testi: jos ainakin yksi referenssipikseli R valittiin referenssikeskiarvon muodostukseen, niin muodostetaan valittujen referenssipikseleiden R referenssi-keskiarvo ja asetetaan käsiteltävän pikselin P arvoksi käsiteltävästä pikselistä 10 P ja referenssikeskiarvosta muodostettu keskiarvo.

Seuraavaksi kuvion 5 vuokaavioon viitaten selostetaan menetelmä peräkkäisistä liikkumattomista kuvista muodostetun dekoodatun videokuvan jälkikäsittelyyn. Menetelmässä toistetaan vuorollaan kunkin liikkumattoman kuvan pikseleille jälkikäsittely. Kuviossa 5 kuvataan nimenomaan tämä yhdelle 15 liikkumattomalle kuvalle suoritettava jälkikäsittely. Käytännössä jälkikäsiteltä-essä videokuvaa, kuvion 5 toimenpiteet toistetaan kullekin videokuvan yksittäiselle liikkumattomalle kuvalle. Jälkikäsittely voidaan suorittaa liikkumattoman kuvan sekä luminanssidatalle että krominanssidatalle.

Menetelmän suoritus aloitetaan lohkossa 500, jossa saadaan muis-20 tiin yksi dekoodattu liikkumaton kuva. Lohkossa 502 luetaan seuraava kuvan jälkikäsittelemätön pikseli, josta tulee käsiteltävä pikseli P. Lohkossa 504 lue-taan sen makrolohkon kvantisointiparametri johon käsiteltävä pikseli P kuuluu.

• * ... Sitten lohkossa 506 valitaan käsiteltävän pikselin P ympärille muo- *' [ dostetun neliönmuotoisen alueen molemmilla diagonaaleilla olevat pikselit re-25 ferenssipikseleiksi R edellä kuvatulla tavalla. Referenssipikseleiden lukumää-*··.* rää merkitään esimerkissämme N:llä.

Seuraavaksi lohkossa 510 muodostetaan vuorollaan käsiteltävän • · · pikselin P ja kunkin referenssipikselin R erotuksen itseisarvo A, jota voidaan kuvata kaavalla 30 A= ABS(P-R) (3) » · . · * *. Sitten lohkossa 512 suoritetaan testi A<Q (4) *”·’ Jos itseisarvo A on pienempi kuin sen makrolohkon kvantisointipa- rametri Q johon käsiteltävä pikseli P kuuluu, niin nuolen 514 mukaisesti men- :*··: 35 nään lohkoon 518, jossa valitaan referenssipikseli R referenssikeskiarvon

....; muodostukseen, eli lisätään se summaan S

• · 109635 11 S=S+R (5)

Jos taas lohkon 512 ehto ei täyttynyt, niin mennään nuolen 516 mukaisesti lohkoon 520, jossa vähennetään referenssipikseleiden lukumäärää N yhdellä eli 5 N=N-1 (6)

Molemmista lohkoista 518 ja 520 mennään lohkoon 522, jossa testataan onko kaikki referenssipikselit R jo käsitelty. Jos kaikkia referenssipikse-leitä R ei ole käsitelty, niin mennään nuolen 526 mukaisesti lohkoon 508 jossa luetaan seuraava referenssipikseli R.

10 Kun kaikki referenssipikselit R, esimerkiksi neljä tai kahdeksan kap paletta, on käsitelty lohkoissa 510, 512, 518 ja 520, niin lohkon 522 ehto täyttyy, jolloin siirrytään lohkosta 522 nuolen 524 mukaisesti lohkoon 528. Lohkossa 528 testataan N:n arvoa, joka nyt siis kertoo referenssikeskiarvon muodostukseen valittujen referenssipikseleiden R lukumäärän. Testi on siis 15 N>0 (7)

Jos referenssikeskiarvon muodostukseen ei valittu yhtään referens-sipikseliä R, eli N=0, niin lohkosta 528 siirrytään nuolen 532 mukaisesti lohkoon 538, jossa testataan onko kaikki kuvan pikselit P jo käsitelty.

Jos ainakin yksi referenssipikseli R valittiin referenssikeskiarvon 20 muodostukseen, eli esimerkissämme N oli vähintään ykkösen suuruinen, niin siirrytään lohkoon 534, jossa muodostetaan valittujen referenssipikseleiden re-. . ferenssikeskiarvo M kaavalla

MM

M=S/N, (8) • · · *·’ ’ eli keskiarvo on siis valittujen referenssipikseleiden summa S jaettu- • · · ' * 25 na valittujen referenssipikseleiden lukumäärällä N.

Sitten lohkosta 534 siirrytään lohkoon 536, jossa asetetaan käsitel- k ’: ; tävän pikselin P arvoksi käsiteltävästä pikselistä P ja referenssikeskiarvosta M :[": muodostettu keskiarvo, eli suoritetaan sijoitus P=(M+P)/2 (9) 30 Sitten lohkosta 532 siirrytään lohkoon 538, jossa testataan onko . · * ·. kaikki kuvan pikselit P jo käsitelty. Jos kaikki pikselit on jälkikäsitelty, niin siirry- • ‘ tään nuolen 540 mukaisesti lohkoon 544, jossa lopetetaan yhden liikkumatto- man kuvan jälkikäsittely. Jos kaikkia pikseleitä ei vielä ole jälkikäsitelty, niin I i i nuolen 542 mukaisesti siirrytään lohkoon 502, jossa luetaan seuraava jälkikä-, ; ·. 35 sittelemätön pikseli, ja aletaan suorittamaan sille kuvattua menettelyä.

t M M

12 109635

Prosessointivälineet 140 käsittelevät liikkumatonta kuvaa 104 riveittäin, sarakkeittain, makrolohkoittain, lohkoittain, tai muulla etukäteen määrätyllä ei-satunnaisella tavalla.

Menetelmää voidaan modifioida oheisten epäitsenäisten patentti-5 vaatimusten mukaisesti. Koska osa niiden sisällöstä on edellä selitetty proses-sointivälineiden 140 yhteydessä, ei selitystä enää tässä toisteta.

On huomattava, että menetelmän toimenpiteissä käytettyjen muuttujien, esimerkiksi A, S, N, toteutuksen ei ole pakko olla kuvatun kaltainen. Alan ammattilaiselle on selvää, että kuvion 5 esimerkissä kuvattu yksityiskoh-10 täinen algoritmi on vain yksi lukemattomista patenttivaatimuksessa 1 yleisemmällä tasolla kuvatun algoritmin suoritusmuodoista.

Seuraavaksi selostetaan sekä menetelmälle että laitteelle yhteisiä suoritusmuotoja.

Eräässä suoritusmuodossa lohkoissa 508, 510, 512, 518 ja 520 15 suoritettavaa käsittelyä, jossa referenssipikselin valinta referenssikeskiarvon laskentaan testataan, voidaan yksinkertaistaa. Tämä tapahtuu siten, että jos diagonaalilla käsiteltävää pikseliä lähempänä olevaa referenssipikseliä ei valita referenssikeskiarvon muodostukseen, niin diagonaalilla käsiteltävästä pikselis-tä samalla suunnalla kauempana olevaa referenssipikseliä ei valita referenssi-20 keskiarvon muodostukseen. Eli esimerkiksi kuviossa 3B jos referenssipikseliä 302 ei valittu referenssikeskiarvon muodostukseen, niin sitten muita pikseleitä kyseisessä haarassa, eli esimerkiksi pikseliä 304, ei edes kannata testata, eli • · lohkossa 508 kyseisessä haarassa jäljellä olevat referenssipikselit voidaan ** ! ohittaa. Tietenkin esimerkissämme täytyy tällöin vastaavasti pienentää N:ää

«I « I

25 ohitettujen referenssipikseleiden lukumäärällä.

Eräässä suoritusmuodossa prosessointivälineet 140 on sovitettu i laskemaan käsiteltävän pikselin ja referenssikeskiarvon keskiarvo painotetusti, • * · eli kaava 9 saa muodon P= (aM+bP)/(a+b), (10) ·*·,{ 30 jossa a ja b ovat painokertoimia. Esimerkiksi jos a=3 ja b=1, niin t * . * * ·. kaava 10 saa muodon P=(3M+P)/4 (11)

» I I

Painotuksella voidaan säätään pehmennystä, eli painottamalla refe-renssikeskiarvoa enemmän kuin käsiteltävää pikseliä saadaan liikkumatto-35 maan kuvaan enemmän pehmennystä, ja vastaavasti pehmennystä voidaan vähentää painottamalla referenssikeskiarvoa vähemmän kuin käsiteltävää pik- 13 10963b seliä. Erityisesti tämä painotus vaikuttaa tasaisten värialueiden pehmennykseen, jolloin painottamalla referenssikeskiarvoa enemmän kuin käsiteltävää pikseliä värialueen värin tasaisuus kasvaa.

Eräässä suoritusmuodossa prosessointivälineet 140 on sovitettu 5 käyttämään jo jälkikäsitellyn pikselin arvoa käsittelemättömän pikselin jälkikäsittelyssä, jolloin liikkumaton kuva on tallennettu prosessointivälineiden 140 muistiin vain yhtenä kappaleena. Tällä saavutetaan se etu, että laitteessa tarvitaan muistia vähemmän, kuin jos sekä käsittelemätön että jälkikäsitelty kuva olisivat erikseen tallennettu muistiin.

10 Eräässä suoritusmuodossa prosessointivälineet 140 on sovitettu kertomaan kvantisointiparametrin arvo painokertoimella ennen vertailua erotuksen itseisarvoon, eli kaava 4 saa muodon A<cQ, (12) jossa c on painokerroin, esimerkiksi c=2. Käyttämällä ykköstä suu-15 rempaa painokerrointa pehmennetään enemmän liikkumattomassa kuvassa olevien objektien välisiä rajoja, jos näin halutaan tehdä. Joissakin tapauksissa tällainen objektien rajojen pehmentäminen terävöittämisen sijasta voi olla järkevää.

Eräässä suoritusmuodossa prosessointivälineet 140 on sovitettu 20 laskettaessa referenssikeskiarvoa painottamaan kutakin referenssipikseliä käänteisessä suhteessa referenssipikselin etäisyyteen käsiteltävästä pikselis-. . tä. Tämä tarkoittaa sitä, että mitä kauempana referenssipikseli on käsiteltävästä pikselistä, niin sitä pienempi sen merkitsevyys on. Kuvion 2B esimerkissä '·' * kussakin X-kirjaimen haarassa oli vain 2 referenssipikseliä, eli painotus voisi : ” 25 olla esimerkiksi sellainen, että lähempänä olevaa referenssipikseliä painote-taan luvulla kaksi, ja kauempana olevaa referenssipikseliä luvulla yksi, jolloin painotussuhde olisi 2:1. Jos prosessointivälineillä 140 on tarpeeksi laskentate-hoa, niin X-kirjaimen haarassa voi olla enemmänkin referenssipikseleitä, eli jos neliö on esimerkiksi 7x7 pikselin kokoinen, niin referenssipikseleitä on haa-: 30 rassa kolme kappaletta, jolloin niiden painotussuhde voi olla esimerkiksi 3:2:1.

.···.’ Tällä painotuksella saadaan se etu, että pehmennyksen tarkkuutta voidaan '** parantaa, koska referenssipikselien merkitystä painotetaan.

Jälkikäsittelyä ei välttämättä suoriteta liikkumattoman kuvan kaikille ·,,.! pikseleille. Ongelmallisia ovat kuvan reuna-alueet. Eräässä suoritusmuodossa 35 prosessointivälineet 140 on sovitettu olemaan suorittamatta jälkikäsittely liikku-mattoman kuvan ainakin yhdelle, edullisimmin kahdelle, vasemmanpuolei- 14 10960b simmalle sarakkeelle, oikeanpuoleisimmalle sarakkeelle, ylimmäisimmälle riville ja alimmaisimmalle riville. Tämä ei olennaisesti huononna kuvan laatua, sillä kapeaa reunusta, jossa voi olla virheitä, ei ihminen yleensä koe häiritsevän näköiseksi.

5 Toisaalta jos reuna-alueidenkin pikselit halutaan jälkikäsitellä, niin eräässä suoritusmuodossa prosessointivälineet 140 on sovitettu suorittamaan jälkikäsittely liikkumattoman kuvan ainakin yhdelle, edullisimmin kahdelle, va-semmanpuoleisimmalle sarakkeelle, oikeanpuoleisimmalle sarakkeelle, ylimmäisimmälle riville ja alimmaisimmalle riville siten, että kuvan ulkopuolelle me-10 nevän referenssipikselin arvona käytetään kuvaa vasten kohtisuoraan lähimpänä kuvassa olevaa ulommaista pikseliä. Tämä voidaan toteuttaa esimerkiksi siten, että menetelmän toimintalogiikka osaa hakea reunan ulkopuolelle menevän pikselin arvon lohkossa 508. Toinen toteutustapa on sellainen, että kuvan reunimmaiset rivit ja sarakkeet kopioidaan kuvan ympärille kahden pikselin 15 vahvuiseksi reunukseksi, ikäänkuin kehykseksi. Tämä tekee toimintalogiikan yksinkertaisemmaksi, mutta vaatii hieman enemmän muistia kopioitujen pikse-leiden takia.

Toinen suoritusmuoto, jolla reuna-alueiden pikselit voidaan jälkikäsitellä on sellainen, että prosessointivälineet 140 on sovitettu olemaan valitse-20 matta jälkikäsittelyyn kuvan ulkopuolelle menevää referenssipikseliä. Kuvan laidalla liikuttaessa referenssipikseleiden X-kirjaimen muodosta siis puuttuu . , kaksi tai jopa kolme haaraa.

• · · · [ ' Prosessointivälineet 140 voidaan toteuttaa prosessorissa toimivana v 1 tietokoneohjelmana, jolloin esimerkiksi kukin tarvittava toiminto toteutetaan 25 omana ohjelmamoduulina. Tietokoneohjelma siis sisältää rutiinit menetelmän vaiheiden toteuttamiseksi. Tietokoneohjelman myyntiä varten se voidaan tal-:··: lentää tietokoneen muistivälineelle esimerkiksi CD-ROM:ille (Compact Disc

Read Only Memory). Tietokoneohjelma voidaan suunnitella siten, että se toimii •«· myös normaalissa yleiskäyttöisessä henkilökohtaisessa tietokoneessa, : 30 kannettavassa tietokoneessa, tietokoneverkon palvelimessa tai muussa tunne- • · · tun tekniikan mukaisessa tietokoneessa.

• · ‘l’ Prosessointivälineet 140 voidaan toteuttaa myös laitteistoratkaisu- na, esimerkiksi yhtenä tai useampana sovelluskohtaisena integroituna piirinä (Application Specific Integrated Circuit, ASIC) tai erilliskomponenteista raken- .· | . 35 nettuna toimintalogiikkana. Välineiden toteutustavan valinnassa alan ammatti- • · » ] . lainen huomioi esimerkiksi tarvittavan prosessointitehon ja valmistuskustan-• · 15 109655 nukset. Myös erilaiset ohjelmiston ja laitteiston muodostamat hybriditoteutuk-set ovat mahdollisia.

Hakija on suorittanut kokeita, joissa jälkikäsittelyn vaikutusta on verrattu tähän viitteeksi otettavan standardin ISO/IEC 14496-2: 1999(E) luvussa 5 F.3.1 Deblocking filter kuvattuun käsittelyyn. Testeissä koehenkilöt vertasivat erilaisia videosekvenssejä. Tulokseksi tuli, että tässä hakemuksessa kuvatun jälkikäsittelymenetelmän aikaansaama kuvanlaadun parannus oli ainakin yhtä hyvä kuin standardimenetelmässä. Huomattavaa on kuitenkin se, että tämä saavutettiin laskennalla, joka oli kompleksisuudeltaan vain noin 1/4 standardini o menetelmän laskennasta. Kompleksisuuden vähentyminen tarkoittaa lisääntyvää nopeutta ja/tai pienempää tarvittavaa prosessointitehoa.

Vaikka keksintöä on edellä selostettu viitaten oheisten piirustusten mukaiseen esimerkkiin, on selvää, ettei keksintö ole rajoittunut siihen, vaan sitä voidaan muunnella monin tavoin oheisten patenttivaatimusten esittämän 15 keksinnöllisen ajatuksen puitteissa.

* · • · · 1 • · · t · ·

Claims (28)

1. Menetelmä peräkkäisistä liikkumattomista kuvista muodostetun dekoodatun videokuvan jälkikäsittelyyn, tunnettu siitä, että toistetaan vuorollaan kunkin liikkumattoman kuvan pikseleille jälkikäsittely, käsittäen: 5 (506) valitaan käsiteltävän pikselin ympärille muodostetun neliön muotoisen alueen molemmilla diagonaaleilla olevat pikselit referenssipikseleik-si; (510) muodostetaan vuorollaan käsiteltävän pikselin ja kunkin refe-renssipikselin erotuksen itseisarvo, ja (512, 514) jos itseisarvo on pienempi 10 kuin sen makrolohkon kvantisointiparametri johon käsiteltävä pikseli kuuluu, niin (518) valitaan referenssipikseli referenssikeskiarvon muodostukseen; ja (528, 530) jos ainakin yksi referenssipikseli valittiin referenssikeskiarvon muodostukseen, niin (534) muodostetaan valittujen referenssipikselei-den referenssikeskiarvo ja (536) asetetaan käsiteltävän pikselin arvoksi käsi- 15 teltävästä pikselistä ja referenssikeskiarvosta muodostettu keskiarvo.

2. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että jos diagonaalilla käsiteltävää pikseliä lähempänä olevaa referenssipikseliä ei valita referenssikeskiarvon muodostukseen, niin diagonaalilla käsiteltävästä pikselistä samalla suunnalla kauempana olevaa referenssipikseliä ei valita re- 20 ferenssikeskiarvon muodostukseen.

3. Jonkin edellisen patenttivaatimuksen mukainen menetelmä, • · tunnettu siitä, että referenssipikseleitä valitaan ainakin neljä, kaksi kum-maitakin diagonaalilta, eli ensimmäinen kustakin diagonaalin käsiteltävästä :1': pikselistä alkavasta osasta.

4. Patenttivaatimuksen 3 mukainen menetelmä, tunnettu siitä, ·:··: että referenssipikseleitä valitaan jo valittujen neljän lisäksi neljä uutta siten, et- .···. tä uusi valittu pikseli on kyseisessä diagonaalin osassa joko seuraava pikseli, tai diagonaalin osassa sekä ensimmäisen että toisen pikselin vieressä oleva . . pikseli.

5. Jonkin edellisen patenttivaatimuksen mukainen menetelmä, • · ·;·' tunnettu siitä, että käsiteltävän pikselin ja referenssikeskiarvon keskiarvo : lasketaan painotetusti.

6. Patenttivaatimuksen 5 mukainen menetelmä, tunnettu siitä, että painottamalla referenssikeskiarvoa enemmän kuin käsiteltävää pikseliä [ 35 saadaan liikkumattomaan kuvaan enemmän pehmennystä. 17 10963b

7. Jonkin edellisen patenttivaatimuksen mukainen menetelmä, tunnettu siitä, että jo jälkikäsitellyn pikselin arvoa käytetään käsittelemättömän pikselin jälkikäsittelyssä, jolloin liikkumaton kuva on tallennettu muistiin vain yhtenä kappaleena.

8. Jonkin edellisen patenttivaatimuksen mukainen menetelmä, tunnettu siitä, että kvantisointiparametrin arvo kerrotaan painokertoimella ennen vertailua erotuksen itseisarvoon.

9. Patenttivaatimuksen 8 mukainen menetelmä, tunnettu siitä, että käyttämällä ykköstä suurempaa painokerrointa pehmennetään enemmän 10 liikkumattomassa kuvassa olevien objektien välisiä rajoja.

10. Jonkin edellisen patenttivaatimuksen mukainen menetelmä, tunnettu siitä, että laskettaessa referenssikeskiarvoa kutakin referenssi-pikseliä painotetaan käänteisessä suhteessa referenssipikselin etäisyyteen käsiteltävästä pikselistä.

11. Jonkin edellisen patenttivaatimuksen mukainen menetelmä, tunnettu siitä, että jälkikäsittelyä ei suoriteta liikkumattoman kuvan ainakin yhdelle, edullisimmin kahdelle, vasemmanpuoleisimmalle sarakkeelle, oikeanpuoleisimmalle sarakkeelle, ylimmäisimmälle riville ja alimmaisimmalle riville.

12. Jonkin edellisen patenttivaatimuksen 1-10 mukainen menetel-20 mä, tunnettu siitä, että jälkikäsittely suoritetaan liikkumattoman kuvan ainakin yhdelle, edullisimmin kahdelle, vasemmanpuoleisimmalle sarakkeelle, , . oikeanpuoleisimmalle sarakkeelle, ylimmäisimmälle riville ja alimmaisimmalle • · · · ] ' riville siten, että kuvan ulkopuolelle menevän referenssipikselin arvona käyte- • ‘ : tään kuvaa vasten kohtisuoraan lähimpänä kuvassa olevaa ulommaista pikse- 25 liä.

13. Jonkin edellisen patenttivaatimuksen 1-10 mukainen menetel-:··! mä, tunnettu siitä, että jälkikäsittelyyn ei valita kuvan ulkopuolelle mene- vää referenssipikseliä.

14. Jonkin edellisen patenttivaatimuksen mukainen menetelmä, 30 tunnettu siitä, että pikselin jälkikäsittely suoritetaan liikkumattoman kuvan , ’ ·. * luminanssidatalle ja/tai krominanssidatalle.

15. Laite peräkkäisistä liikkumattomista kuvista muodostetun de-koodatun videokuvan jälkikäsittelemiseksi, käsittäen prosessointivälineet (140) jälkikäsitellä liikkumatonta kuvaa, tunnettu siitä, että prosessointivälineet .···. 35 (140) on sovitettu toistamaan vuorollaan kunkin liikkumattoman kuvan pikse- ' (>. teille jälkikäsittely, jossa 18 109655 valitaan käsiteltävän pikselin ympärille muodostetun neliönmuotoisen alueen molemmilla diagonaaleilla olevat pikselit referenssipikseleiksi; muodostetaan vuorollaan käsiteltävän pikselin ja kunkin referenssi-pikselin erotuksen itseisarvo, ja jos itseisarvo on pienempi kuin sen makroloh-5 kon kvantisointiparametri johon käsiteltävä pikseli kuuluu, niin valitaan refe-renssipikseli referenssikeskiarvon muodostukseen; ja jos ainakin yksi referenssipikseli valittiin referenssikeskiarvon muodostukseen, niin muodostetaan valittujen referenssipikseleiden referenssikes-kiarvo ja asetetaan käsiteltävän pikselin arvoksi käsiteltävästä pikselistä ja re- 10 ferenssikeskiarvosta muodostettu keskiarvo.

16. Patenttivaatimuksen 15 mukainen laite, tunnettu siitä, että jos diagonaalilla käsiteltävää pikseliä lähempänä olevaa referenssipikseliä ei valita referenssikeskiarvon muodostukseen, niin diagonaalilla käsiteltävästä pikselistä samalla suunnalla kauempana olevaa referenssipikseliä ei valita re- 15 ferenssikeskiarvon muodostukseen.

17. Jonkin edellisen patenttivaatimuksen 15-16 mukainen laite, tunnettu siitä, että prosessointivälineet (140) on sovitettu valitsemaan ainakin neljä referenssipikseliä, kaksi kummaltakin diagonaalilta, eli ensimmäinen kustakin diagonaalin käsiteltävästä pikselistä alkavasta osasta.

18. Patenttivaatimuksen 17 mukainen laite, tunnettu siitä, että prosessointivälineet (140) on sovitettu valitsemaan referenssipikseleitä jo valittujen neljän lisäksi neljä uutta siten, että uusi valittu pikseli on kyseisessä dia- * * · · ' gonaalin osassa joko seuraava pikseli, tai diagonaalin osassa sekä ensimmäi- : ; sen että toisen pikselin vieressä oleva pikseli.

19. Jonkin edellisen patenttivaatimuksen 15-18 mukainen laite, tunnettu siitä, että prosessointivälineet (140) on sovitettu laskemaan käsi- •: · ·: teltävän pikselin ja referenssikeskiarvon keskiarvo painotetusti.

: ’ * ; 20. Patenttivaatimuksen 19 mukainen laite, tunnettu siitä, että » ·» painottamalla referenssikeskiarvoa enemmän kuin käsiteltävää pikseliä saa-j 30 daan liikkumattomaan kuvaan enemmän pehmennystä. t!./

21. Jonkin edellisen patenttivaatimuksen 15-20 mukainen laite, tunnettu siitä, että prosessointivälineet (140) on sovitettu käyttämään jo :,;, · jälkikäsitellyn pikselin arvoa käsittelemättömän pikselin jälkikäsittelyssä, jolloin ; : liikkumaton kuva on tallennettu prosessointivälineiden (140) muistiin vain yhte- 35 nä kappaleena. * » * 19 109635

22. Jonkin edellisen patenttivaatimuksen 15-21 mukainen laite, tunnettu siitä, että prosessointivälineet (140) on sovitettu kertomaan kvan-tisointiparametrin arvo painokertoimella ennen vertailua erotuksen itseisarvoon.

23. Patenttivaatimuksen 21 mukainen laite, tunnettu siitä, että käyttämällä ykköstä suurempaa painokerrointa pehmennetään enemmän liikkumattomassa kuvassa olevien objektien välisiä rajoja.

24. Jonkin edellisen patenttivaatimuksen mukainen laite 15-23, tunnettu siitä, että prosessointivälineet (140) on sovitettu laskettaessa re- 10 ferenssikeskiarvoa painottamaan kutakin referenssipikseliä käänteisessä suhteessa referenssipikselin etäisyyteen käsiteltävästä pikselistä.

25. Jonkin edellisen patenttivaatimuksen 15-24 mukainen laite, tunnettu siitä, että prosessointivälineet (140) on sovitettu olemaan suorittamatta jälkikäsittely liikkumattoman kuvan ainakin yhdelle, edullisimmin kah- 15 delle, vasemmanpuoleisimmalle sarakkeelle, oikeanpuoleisimmalle sarakkeelle, ylimmäisimmälle riville ja alimmaisimmalle riville.

26. Jonkin edellisen patenttivaatimuksen 15-24 mukainen laite, tunnettu siitä, että prosessointivälineet (140) on sovitettu suorittamaan jälkikäsittely liikkumattoman kuvan ainakin yhdelle, edullisimmin kahdelle, va- 20 semmanpuoleisimmalle sarakkeelle, oikeanpuoleisimmalle sarakkeelle, ylimmäisimmälle riville ja alimmaisimmalle riville siten, että kuvan ulkopuolelle me- • · nevän referenssipikselin arvona käytetään kuvaa vasten kohtisuoraan lähim-: T: pänä kuvassa olevaa ulommaista pikseliä.

27. Jonkin edellisen patenttivaatimuksen 15-24 mukainen laite, 25 tunnettu siitä, että prosessointivälineet (140) on sovitettu olemaan valitse- matta jälkikäsittelyyn kuvan ulkopuolelle menevää referenssipikseliä.

• · ..... 28. Jonkin edellisen patenttivaatimuksen mukainen laite 15-27, • · tunnettu siitä, että prosessointivälineet (140) on sovitettu suorittamaan pikselin jälkikäsittely liikkumattoman kuvan luminanssidatalle ja/tai krominans-30 sidatalle. • · 1 • · » · 20 109öä5