FI117845B - Videokuvan prosessointi - Google Patents

Description

117845

Videokuvan prosessointi

Keksinnön ala Tämä keksintö liittyy videokuvan prosessoimiseen sellaisella tavalla, että videokuvan pakkauksen jälkeen tallennusmedialle tallennettavan tiedoston ; 5 koko, tai vaihtoehtoisesti tietoliikenneverkon välityksellä edelleen lähetettävän tiedoston koko, saadaan minimoitua.

Tekniikan tason kuvaus

Ennestään tunnetaan videokuvan koodereita, kuten esimerkiksi DivX, MPEG4, jne. jotka kykenevät pakkaamaan videokuvan siten, että tiedos-10 tokoko pienenee selvästi verrattuna siihen, mitä tiedostokoko olisi, jos se videokuva olisi tallennettu suoraan videokameralta välittyvässä formaatissa.

Esimerkiksi MPEG-pakkauksessa hyödynnetään ratkaisua, jossa kaikkia videokuvan kehyksiä ei välitetä kooderilta edelleen suoraan kuvakehyksinä, vaan ainoastaan tietyissä tilanteissa välitetään kooderilta edelleen yksittäinen 15 kuvakehys. Kuvakehystä seuraavia kehyksiä ei välitetä edelleen, vaan niistä haetaan ainoastaan muuttuneet kuvan osat, jotka välitetään kooderilta edelleen. Täten vältetään tarve jatkuvasti lähettää edelleen informaatiota esimerkiksi muuttumattomana pysyvästä taustasta. Toiston yhteydessä yksittäinen • · *···* kuvakehys tuodaan näkyville, jonka jälkeen hyödynnetään seuraavista kehyk- • · · v : 20 sistä kerättyä muutosinformaatiota kyseisen yksittäisen kuvakehyksen muut- tamiseen alkuperäisen videokuvan tahdissa. Katselijalle välittyy täten lähes : vastaava videokuva kuin kamera alunperin kuvasi.

· ·

Edellä selostettuihin tunnettuja pakkausalgoritmeja hyödyntäviin !·*·. koodereihin liittyy kuitenkin se ongelma, että ne tarpeettoman usein tulkitsevat • * 25 videokuvan muuttuneen niin paljon, että uuden kokonaisen kuvakehyksen lähettäminen tulee tarpeelliseksi. Kokonaisen kuvakehyksen edelleen lähettämi- *·:·* nen usein kooderilta merkitsee kuitenkin, että tiedostokoosta tulee suuri. " • · · ·...· Ennestään tunnetaan lisäksi esimerkiksi WO-julkaisusta 86/03922 ratkaisu, jossa videokuvan lähettimen ja vastaanottimen muisteissa ylläpide-30 tään (samaa) aikaisemmin kuvattua referenssikuvaa, ja jossa kuvan muuttues- • * . sa tarkistetaan aluksi ovatko muuttuneet alueet muuttuneet vastaamaan muis- * · v.· tissa olevan referenssikuvan vastaavia alueita. Jos ovat, lähetetään lähettimel- tä vastaanottimelle koodisana, jonka perusteella vastaanotin voi hakea muis- 2 117845 tissaan olevasta referenssikuvasta käyttöön muuttuneet liikealueet. Jos muuttuneet liikealueet sitävastoin eivät vastaa muistissa olevan referenssikuvan vastaavia liikealueita, lähetetään muuttuneet liikealueet lähettimeltä vastaanot-timelle.

5 WO-julkaisusta 86/03922 tunnetun ratkaisun heikkoutena on kuiten kin se, että se toimii tehokkaasti ainoastaan silloin, kun kuvan tausta pysyy muuttumattomana, eli käytännössä kameran tulisi pysyä paikallaan. Lisäksi tällainen koodisanojen lähettämiseen perustuva ratkaisu ei ole yhteensopiva tunnettujen koodereiden kanssa, jolloin tunnettujen koodereiden tehokkaaksi 10 osoittautuneita pakkausalgorimejä ei voida hyödyntää.

Keksinnön yhteenveto Tämän keksinnön tarkoitus on ratkaista edellä selostetut tunnettuihin ratkaisuihin liittyvät ongelmat tarjoamalla käyttöön ratkaisun videokuvan prosessoimiseksi uudella tavalla, joka mahdollistaa edelleen lähetettävän tai 15 tallennettavan datamäärän minimoimisen, ja jonka yhteydessä voidaan käyttää tekniikan tason mukaisia pakkausalgoritmeja hyödyntäviä koodereita videokuvan pakkaamiseen. Keksinnön toisena tarkoituksena on saada aikaan ratkaisu, jolla keksinnön mukaisesti prosessoitu videokuva voidaan toistaa. Nämä pää-määrät saavutetaan itsenäisen patenttivaatimuksen 1 mukaisella prosessoijal-20 la, itsenäisen patenttivaatimuksen 7 mukaisella toistolaitteella, itsenäisen pa- • * « *;* ] tenttivaatimuksen 9 mukaisella menetelmällä, itsenäisen patenttivaatimuksen *’.**: 12 mukaisella tietokoneohjelmalla, itsenäisen patenttivaatimuksen 13 mukai- • · j sella menetelmällä, ja itsenäisen patenttivaatimuksen 15 mukaisella tietokoni· neohjelmalla.

25 Esillä olevassa keksinnössä on havaittu, että kokonaisten kuvien ♦ · · edelleen lähettäminen tai tallentaminen voidaan kokonaan välttää, lähettämällä , .* edelleen tai tallentamalla alkuperäisessä formaatissa vain kuvien muuttuneet * · · liikealueet. Jotta ratkaisua voitaisiin tehokkaasti hyödyntää tunnettujen video- • · koodereiden pakkausalgoritmien yhteydessä, lähetetään edelleen tai tallenne-30 taan keksinnössä aina koko kuvan kaikki liikealueet. Muuttumattomien liikealu- • · ·:*·; eiden pikseleiden väriarvot vaihdetaan kuitenkin vastaamaan ennalta määrätyn .*. värin arvoja. Näin menetellen tekniikan tason mukaiset kooderit kykenevät • · · pakkaamaan videokuvan erittäin tiiviiseen muotoon. Käytännössä on osoittau-tunut, että syntyvä tiedostokoko pienentyy jopa pienempään kuin kymmenes- 3 117841 osaan siitä, mitä se olisi ilman keksinnön mukaista prosessointia. Keksinnön mukaisen ratkaisun merkittävin etu on näin ollen tallennettavan tiedoston koon tai edelleen lähetettävän videon datamäärän olennainen pienentyminen.

Keksinnön mukaisen prosessoijan, toistolaitteen ja menetelmän 5 edulliset suoritusmuodot ilmenevät oheisista epäitsenäisistä patenttivaatimuksista 2 - 6, 8, 10 -11 ja 14.

Kuvioiden lyhyt kuvaus

Keksintöä selostetaan seuraavassa esimerkinomaisesti lähemmin viittaamalla oheisiin kuvioihin, joista: 10 kuvio 1 esittää lohkokaaviota keksinnön mukaisen prosessoijan en simmäisestä edullisesta suoritusmuodosta, kuvio 2 esittää vuokaaviota keksinnön mukaisen prosessointimenetelmän ensimmäisestä edullisesta suoritusmuodosta, kuvio 3 esittää lohkokaaviota keksinnön mukaisen toistolaitteen en-15 simmäisestä edullisesta suoritusmuodosta, kuvio 4 havainnollistaa videokuvan tuottamista toistolaitteella, ja kuvio 5 esittää vuokaaviota keksinnön mukaisen toistomenetelmän ensimmäisestä edullisesta suoritusmuodosta.

ί*"ϊ Edullisten suoritusmuotojen kuvaus v : 20 Kuvion 1 lohkokaaviossa esitetty prosessoijan 1 lohkoissa esitetyt toiminnot voidaan toteuttaa tietokoneohjelmalla, piiriratkaisuilla tai näiden yh- j ;*. distelmillä. Lohkot voidaan toiminnallisesti toteuttaa esitetysti tai vaihtoehto'!- ··· · sesti yhden tai useamman lohkon toiminnot voidaan integroida.

• ....

Prosessoija 1 voidaan käytännössä integroida kameraan, jolla vi-25 deokuva kuvataan. Tällainen kamera voi olla esimerkiksi perinteinen videokamera, valvontakamera tai esimerkiksi matkapuhelin, johon on integroitu kame-ra. On edullista, että prosessoija prosessoi videokuvaa suoraan kameralta, eli ··» ennen sen tallentamista tiedostoon tai edelleen lähettämistä tietoliikennever- ; kon välityksellä, koska tällöin pystytään minimoimaan kuvassa prosessointi- * · · 30 hetkellä oleva kohina. Tällainen kohina kasvattaa tallennettavan tai edelleen lähetettävän tiedoston kokoa.

:Y: Kuvion 1 esimerkkitapauksessa prosessoija 1 vastaanottaa video- kameran tuottamaa videosignaalia 3. Valmiiksi prosessoidun videosignaalin • * · 4 117845 perusteella prosessolja 1 tuottaa ja syöttää edelleen signaalia 4. Kameralta 2 viimeksi vastaanotettu kuva, eli käsiteltävänä oleva kuva tallentuu muistiin 5.

Toisessa muistissa 6 on tallennettuna edellinen käsitelty kuva. Vertailulohko 7 vertailee muistien 5 ja 6 sisältöä liikealue kerrallaan sekä detektoi muuttuneet 5 liikealueet liikealueiden pikseleissä tapahtuneiden värimuutosten perusteella.

Muokkauslohko 8 suorittaa käsiteltävänä olevan kuvan muokkauksen vertailulohkon 7 suorittaman vertailun perusteella. Muokkaus tehdään niille muistiin 5 tallennetun kuvan liikealueille, jotka ovat muuttumattomia verrattuna muistiin 6 tallennettuun kuvaan, Muokkauksessa muuttumattomien liikealuei-10 den pikseleiden väriarvot asetetaan vastaamaan määrätyn värin arvoja. Pikse-leiden väriarvot asetetaan edullisesti siten, että ne määrittelevät pikselin väriksi mustan.

Muokkauslohko 8 muokkaa myös muistiin 6 tallennettua kuvaa.

Tämä tapahtuu siten, että muistista 5 kopioidaan kaikkien muuttuneiden liike-15 alueiden pikselit, jotka tallennetaan muistissa 6 olevan kuvan vastaaviin liike-alueisiin. Kyseistä muistissa 6 olevaa muuttunutta kuvaa käytetään sen jälkeen vertailukohtana seuraavalle kameralta 2 vastaanotettavalle kuvalle muuttuneiden liikealueiden detektoimiseksi.

Muistiin 5 tallennetun kuvan muuttuneita ja muuttumattomia liike- .»*·, 20 alueita prosessoija 1 hyödyntää edelleen syötettävän signaalin 4 tuottamiseen.

* *

Kyseinen signaali syötetään kooderille 9, joka voi olla tekniikan tason mukai- • · · nen kooderi, joka pakkaa vastaanotetun videokuvan tiiviiseen formaattiin (esi- *.**: merkiksi MPEG 4 tai DivX). Kooderin 9 suorittaman pakkauksen jälkeen synty- • · ·.: ♦ nyt videotiedosto tallennetaan esimerkiksi tietokoneen kovalevylle 10 tai jolle- } ·:* 25 kin toiselle kuvantoistolaitteella luettavalle tallennusalustalle. Vaihtoehtoisesti ···· :***: tallennuksen sijasta on ajateltavissa, että syntynyttä kuvatiedostoa lähetetään *·· edelleen kooderilta 9 tietoliikenneverkon välityksellä kuvantoistolaitteelle.

. Kooderi 9 on kuviossa 1 esimerkinomaisesti esitetty erillisenä osana < * * * "I prosessoijasta. Vaihtoehtoisesti on ajateltavissa, että kooderi 9 on integroitu • m *·;·* 30 prosessoijaan, jolloin prosessoija ja kooderi voidaan toteuttaa esimerkiksi yh- della mikropiirillä.

·;·.· Kuvio 2 esittää vuokaaviota keksinnön mukaisen prosessointimene- ,·. telmän ensimmäisestä edullisesta suoritusmuodosta. Kuviosta 2 ilmenee yksi- · « *·’·* tyiskohtaisemmin kuvion 1 prosessoijan toiminta.

• * · • · ♦ ·· 5 117845

Prosessoinnin aloittamiseksi suoritetaan aluksi valmistelevia toimenpiteitä. Kameralta kaapattava raaka videoaineisto asetetaan muuttumattomana muotoon RGB. Liikealueet määritellään muodoltaan samankokoisiksi neliöiksi, joiden leveys (MBW) ja korkeus (MBH) on sama, eli 4 pikseliä. Liike-5 alueen koko (MBSIZE) lasketaan kertomalla liikealueen leveys (MBW) ja korkeus (MBH) yhteen, (MBW * MBH) = MBSIZE.

Videokuvan (FRAME) leveys (FW) ja korkeus (FH) asetetaan niin että se on jaollinen liikealueen leveydelle (MBW) ja korkeudelle (MBH). Kiinteiden liikealueiden (MB) kpl määrä lasketaan kertomalla kuvan leveys (FW) ja 10 korkeus (FH) jonka tulo jaetaan liikealueen koolla (MBSIZE), eli (((FH * FW) = FRAMESIZE) / MBSIZE) = MBCOUNT.

Luodaan liikealueiden (MB) määrän (MBCOUNT) mukainen taulukko (MBMATRIX) esimerkiksi siten, että kuva jaetaan (4x4) osiin alkaen yläva-semmalta päättyen alaoikeaan. Videokuvan jokaiselle (MBCOUNT) liikealueel-15 le (MB) lasketaan neliön kulma X ja Y koordinaatit; P1, P2, P3, P4, jotka sijoitetaan taulukkoon liikealueen järjestysnumeron (MBINDEX) mukaisesti. Liike-alueen kulma koordinaatit koostuvat seuraavanlaisesti: P1 on vasen yläkulma, P2 on oikea yläkulma, P3 on oikea alakulma ja P4 on vasen alakulma.

Luodaan videokuvan muisti (FRAMEBUFFER) ja edellisen videoku-.··». 20 van muisti (LASTFRAMEBUFFER), jotka ovat kooltaan yhtä suuret. Muisteille (FRAMEBUFFERSIZE, LASTFRAMEBUFFERSIZE) varattava koko lasketaan Y * kertomalla yhteen kuvan leveys (FW), korkeus (FH) ja värisyvyys (COLOR- DEPTH) tavuina, eli (FH * FW * COLORDEPTH) = FRAMEBUFFERSIZE = LASTFRAMEBUFFERSIZE.

25 Luodaan pikseleiden muutoksille yhteinen väriherkkyys (COLOR- SENSITIVITY) arvo, joka määrittelee pikselin muutoksen. Mitä suurempi arvo, ··· sitä suurempi pitää verrattavien pikseleiden värien muutoksen olla, jotta käsi-. .·, teltävä pikseli todettaisiin muuttuneeksi.

i · · y.l' Luodaan liikealueiden muutoksille yhteinen liipaisu (MBTRIGGER- *“·* 30 VALUE) arvo, joka määrittelee liikealueen muutoksen. Mitä suurempi arvo, sitä useampien pikseleiden on muututtava, jotta käsiteltävä liikealue olisi muuttu-*:*·: nut.

Luodaan muuttuneiden pikseleiden laskuri (CHANGECOUNTER) « « · *;y arvo, joka kertoo muuttuneiden pikseleiden määrän käsiteltävässä liikealuees- 35 sa.

6 117845

Luodaan muuttuneiden liikealueiden luettelo (CHANGEDLIST), joka kertoo muuttuneiden liikealueiden indeksin.

Näiden valmistelevien toimenpiteiden jälkeen aloitetaan lohkossa A videosignaalin vastaanotto kameralta. Kameralta tai kameramoduulilta saapu-5 va videokuva kopioidaan FRAMEBUFFER muistiin. Edellisen kuvan (LAST-FRAMEBUFFER) muisti nollataan, mikäli sitä ei ole vielä kertaakaan käytetty.

Muistin nollauksella tarkoitetaan sitä että, jokaisen tavun arvo asetetaan nollaksi. Muuttuneiden liikealueiden luettelo (CHANGEDLIST) tyhjätään. Asetetaan liikealueen väriherkkyys (COLORSENSITIVITY) arvoksi esimerkiksi arvo 10 joka on välillä 4096 - 8192. Arvoa voidaan asettaa myös herkemmälle (esimerkiksi 2048 - 4096) jos kuvattava kohde on pimeässä tai vastaavasti korkeammaksi (esimerkiksi 8192 - 16384) jos kuvattavassa kohteessa on normaalia * valoisampaa. Asetetaan liikealueiden muutoksen liipaisu (MBTRIGGERVA-LUE) arvoksi esimerkiksi 4-8 Arvoa voidaan asettaa myös pienemmälle (esi-15 merkiksi 2 - 4) jos kuvattava kohde on etäämpänä tai suuremmaksi (esimerkiksi 8 -16) jos kuvattavassa kohteessa on paljon kohinaa tai häiriöitä.

l

Lohkossa C aloitetaan liikealuekohtainen vertailu edellisen kuvan ' 'r vastaaviin liikealueisiin. Jokaiselle liikealueelle suoritetaan lohkojen D - G mukaiset toimenpiteet.

.·*. 20 Lohkossa D selvitetään onko tarkasteltavana olevalla liikealueella • · .*!; ainakin tietty lukumäärä pikseleitä, joiden väriarvojen muutos ylittää määrätyn * * ] kynnyksen. Tämä voidaan suorittaa esimerkiksi seuraavasti: *· *t Nollataan aluksi liikealueen pikseleiden muutos laskurin (CHAN- • * : GECOUNTER) arvo. Luodaan alisilmukka, jossa käydään käsiteltävän (MBIN- 25 DEX) liikealueen (MB) jokainen (MBSIZE) pikseli läpi, taulukon (MBMATRIX) mukaisesti. Alkaen koordinaateista P1 jatkuen koordinaatteihin P4, kuitenkin ♦ ·· neliön muotoisesti niin ettei koordinaatteja P2 ylitetä eikä koordinaatteja P3 . .·, aliteta. Jokaiselle pikselille suoritetaan seuraavat toimenpiteet: y.l' - Käsiteltävästä kuvasta (FRAMEBUFFER) ja edellisestä kuvasta *···* 30 (LASTFRAMEBUFFER) otetaan koordinaattien osoittamat pikseleiden RGB- arvot.

* ♦ ·:··· - Käsiteltävän kuvan (FRAMEBUFFER) pikselln RG - arvoja (Pl- XELRG) verrataan edellisen kuvan (LASTFRAMEBUFFER) pikselin RG - ar- 1*1 voihin (LASTPIXELRG), siten että saadaan väriosien punaisen (RED) ja vihre-*...· 35 än (GREEN) itseisarvon muutos, eli absoluuttinen (ABS) muutos (ABSRGDIF- ♦ 117845 : 7 FERENCE). Laskenta suoritetaan siten että käsiteltävän kuvan (FRAMEBUFFER) ja edellisen kuva (LASTFRAMEBUFFER) pikseleiden RG - arvojen ero-tus sijoitetaan ABS-funktioon, eli ABS(PIXELRG - LASTPIXELRG) = ABSRG-DIFFERENCE. Jos väriosien punaisen (RED) ja vihreän (GREEN) absoluutti-5 nen muutos (ABSRGDIFFERENCE) on suurempi kuin liikealueiden väriherk-kyys (COLORSENSITIVITY), niin silloin pikseleiden muutos laskurin (CHAN-GECOUNTER) arvoa korotetaan yhdellä.

- Jos pikseleiden muutosta ei havaittu punaisen (RED) ja vihreän (GREEN) väriosista, niin silloin verrataan myös vihreän (GREEN) ja sinisen 10 (BLUE) väriosia vastaavasti kuin on selostettu edellä RG-arvojen osalta. Tällöin käsiteltävän kuvan (FRAMEBUFFER) pikselin GB - arvoja (PIXELGB) verrataan edellisen kuvan (LASTFRAMEBUFFER) pikselin GB - arvoihin (LAST-PIXELGB), siten että saadaan väriosien vihreän (GREEN) ja sinisen (BLUE) absoluuttinen (ABS) muutos (ABSGBDIFFERENCE). Laskenta suoritetaan 15 siten että käsiteltävän kuvan (FRAMEBUFFER) ja edellisen kuva (LASTFRAMEBUFFER) pikseleiden GB - arvojen erotus sijoitetaan ABS-funktioon, eli ABS(PIXELGB - LASTPIXELGB) = ABSGBDIFFERENCE. Jos väriosien vihreän (GREEN) ja sinisen (BLUE) absoluuttinen muutos (ABSGBDIFFERENCE) on suurempi kuin liikealueiden väriherkkyys (COLORSENSITIVITY), niin 20 silloin pikseleiden muutos laskurin (CHANGECOUNTER) arvoa korotetaan yhdellä.

• · · *;* ] Kun kaikki liikealueen pikselit on läpikäyty edellä selostetusti tarkas- ** " teilaan pikseleiden muutos laskuria. Jos pikseleiden muutos laskurin (CHAN- • · · GECOUNTER) arvo on suurempi kuin liikealueen muutoksen liipaisu ti*:* 25 (MBTRIGGERVALUE) arvo, niin silloin liikealue on detektoitu muuttuneeksi, jolloin siirrytään lohkoon F, jossa liikealueen indeksi (MBINDEX) asetetaan ·· · muuttuneet luetteloon (CHANGEDLIST). Jos sitävastoin pikseleiden muutos , laskurin arvo on pienempi kuin liikealueen muutoksen liipaisu, niin tällöin etu- * · * .*" käteen määrättyä kynnystä ei ole ylitetty, jolloin liikealue on detektoitu muuttu- • · *·;·' 30 mattomaksi, jolloin siirrytään lohkoon E.

Lohkossa G tarkistetaan onko kaikki käsiteltävänä olevan kuvan liikealueet jo läpikäyty. Jos ei niin palataan lohkoon C, josta alkaa seuraavan liikealueen käsittely.

• * '·*·* Lohkossa H asetetaan muuttumattomiksi detektoitujen liikealueiden • ·· 35 pikseleiden väriarvot ennalta määrättyyn arvoon. Keksinnön mukaisesti on 8 117845 edullista asettaa väriarvot osoittamaan, että liikealueiden pikselit ovat mustia, koska käytännön kokeissa on osoittautunut, että tällöin tekniikan tason mukaiset videokuvan pakkausalgoritmit kykenevät käsittelemään nämä liikealueet nopeasti jonka lisäksi syntyvän pakatun videokuvan tiedostokoko on pieni. Kui-5 tenkin on ajateltavissa, että väriarvot asetetaan vastaamaan jotakin toista väriä, jolla saavutetaan vastaavat edut käytettävällä pakkausalgoritmilla.

Väriarvojen asettaminen voidaan toteuttaa esimerkiksi luomalla silmukka, jossa käydään läpi kaikki muuttuneet liikealueet (CHANGEDLIST).

Käydään silmukassa läpi ne liikealueet, jotka eivät ole muuttuneet luettelossa 10 (CHANGEDLIST). Näiden muuttumattomien liikealueiden jokainen pikseli asetetaan mustaksi käsiteltävän kuvan (FRAMEBUFFER) muistissa.

Lohkossa I kopioidaan muuttuneiden liikealueiden pikselit edelliseen kuvaan vastaaviin liikealueisiin. Tämä voidaan toteuttaa siten, että käydään silmukassa läpi ne liikealueet, jotka ovat muuttuneet luettelossa (CHANGED-15 LIST). Näiden liikealueiden jokainen pikseli kopioidaan muuttumattomana samalle paikalle edellisen kuvan (LASTFRAMEBUFFER) muistiin.

Lohkossa J tuotetaan signaalia muuttuneiden ja muuttumattomien liikealueiden informaation (FRAMEBUFFER) perusteella. Signaalilla välittyy näin ollen edelleen esikäsitelty kuva, joka seuraavaksi voidaan pakata pak-,··.ι 20 kausalgoritmilla.

';;;* Lohkossa K tarkastellaan saapuuko kameralta lisää videokuvaa.

• · * ’;* ] Jos saapuu palataan lohkoon A josta uuden vastaanotetun kuvan prosessoi- : minen alkaa.

• ·

· Kuvion 2 vuokaaviosta poiketen voidaan lohkon F yhteydessä, kun I

t 25 määrätty liikealue on detektoitu muuttuneeksi, merkitä myös tätä muuttuneeksi ·***· detektoitua liikealuetta ympäröivät liikealueet (8 kpl) muuttuneiksi, esimerkiksi ··· asettamalla ne muuttuneet luetteloon (CHANGEDLIST). Käytännön kokeissa on nimittäin osoittautunut, että näillä ympäröivillä liikealueilla joissakin tapauk- :l; sissa saattaa muutoin ilmetä häiriöitä toistettavassa videokuvassa.

• · *··* 30 Kuvio 3 esittää lohkokaaviota keksinnön mukaisen toistolaitteen ensimmäisestä edullisesta suoritusmuodosta. Kuvion 3 lohkokaaviossa esite- • · tyn toistolaitteen 11 lohkoissa esitetyt toiminnot voidaan toteuttaa tietokoneohjelmalla, piiriratkaisuilla tai näiden yhdistelmillä. Lohkot voidaan toiminnallisesti toteuttaa esitetysti tai vaihtoehtoisesti yhden tai useamman lohkon toiminnot »·· 35 voidaan integroida. Toistolaite 11 voi käytännössä muodostua tietokoneesta, 9 117845 television oheislaitteesta, matkaviestimestä tai mistä tahansa muusta toistolait-teesta, jolla kyetään toistamaan videokuvaa.

Kuvion 3 tapauksessa on esimerkinomaisesti oletettu, että pakattu video haetaan kovalevyltä 10, jonka jälkeen dekooderi 12 purkaa pakkauksen 5 (esimerkiksi MPEG 4 tai DivX) ja syöttää toistolaitteelle 11 kuvainformaatiota sisältävää signaalia 13. Signaaliin 13 sisältyvät kuvat tallennetaan muistiin 14, joista toistolaite 11 hakee ja käsittelee ne yksitellen.

Muokkauslohko 15 tunnistaa muistiin 14 tallennetusta kuvasta ne liikealueet, joilla on ainakin tietty määrä pikseleitä, joiden väriarvot määrätyllä 10 tarkkuudella vastaavat tietyn värin arvoja. Nämä liikealueet muokkauslohko 15 tunnistaa muuttumattomiksi liikealueiksi. Kaikki muut alueet muokkauslohko 15 tunnistaa muuttuneiksi liikealueiksi. Muuttuneiden liikealueiden pikselit muokkauslohko 15 kopio muistin 14 kuvasta muistissa 16 ylläpidettävään edelliseen kuvaan vastaaviin liikealueisiin. Muistiin 16 syntynyttä kuvaa toistolaite 11 hyö-15 dyntää sisällyttämällä sen näytölle 18 syötettävään videosignaaliin 17.

Kuviossa 3 on esimerkinomaisesti esitetty, että kovalevy 10 (tai jokin muu videotiedoston tallennusmedia), dekooderi 12 ja näyttö 18 ovat toisto-laitteesta 11 erillisiä osia. Käytännössä kuitenkin yksi tai useampi näistä osista voidaan integroida toistolaitteeseen. Lisäksi on ajateltavissa, että toistettavaa ... 20 videota ei ole lainkaan tallennettu tallennusmedialle, vaan se vastaanotetaan • · ::: tietoliikenneverkolta, josta se syötetään dekooderille 12.

• · ·

Kuvio 4 havainnollistaa videokuvan tuottamista toistolaitteella. Va- « · semmalla kuviossa 4 nähdään edellinen käsitelty ja toistettu kuva. Keskellä ·.♦ · nähdään käsittelyssä oleva kuva, jossa muuttumattomat liikealueet ovat mus- >#*:· 25 tia, jolloin vain muuttuneet liikealueet ovat alkuperäisessä muodossaan. Kun ·***. muuttuneet liikealueet keskimmäisestä kuvasta kopioidaan vastaaviin paikkoi- #·* hin vasempaan aikaisempaan kuvaan, on lopputuloksena oikealla esitetty uusi . muuttunut kuva.

Kuvio 5 esittää vuokaaviota keksinnön mukaisen toistomenetelmän • · *··♦* 30 ensimmäisestä edullisesta suoritusmuodosta. Videon toistamiseksi suoritetaan aluksi alustavia toimenpiteitä.

··.·· Purettu videokuva vastaanotetaan muodossa RGB. Liikealueet ovat muodoltaan samankokoisia neliöitä, joiden leveys (MBW) ja korkeus (MBH) on • « · *;!** sama, eli esimerkiksi 4 pikseliä. Liikealueen koko (MBSIZE) lasketaan kerto- 35 maila liikealueen leveys (MBW) ja korkeus (MBH) yhteen, (MBW * MBH) = 10 117845 MBSIZE. Videokuvan (FRAME) leveys (FW) ja korkeus (FH) asetetaan niin että se on jaollinen liikealueen leveydelle (MBW) ja korkeudelle (MBH). Kiinteiden liikealueiden (MB) kpl määrä lasketaan kertomalla kuvan leveys (FW) ja korkeus (FH) jonka tulo jaetaan liikealueen koolla (MBSIZE), eli (((FH * FW) = 5 FRAMESIZE) / MBSIZE) = MBCOUNT.

Luodaan liikealueiden (MB) määrän (MBCOUNT) mukainen taulukko (MBMATRIX), siten että kuva jaetaan (4x4) osiin alkaen ylävasemmalta päättyen alaoikeaan. Videokuvan jokaiselle (MBCOUNT) liikealueelle (MB) lasketaan neliön kulma X ja Y koordinaatit; P1, P2, P3, P4, jotka sijoitetaan 10 taulukkoon liikealueen järjestysnumeron (MBINDEX) mukaisesti. Liikealueen kulma koordinaatit koostuvat seuraavanlaisesti: P1 on vasen yläkulma, P2 on oikea yläkulma, P3 on oikea alakulma ja P4 on vasen alakulma.

Luodaan videokuvan muisti (FRAMEBUFFER) ja tulkittavan videokuvan muisti (PREFRAMEBUFFER), jotka ovat kooltaan yhtä suuret. Muisteille 15 (FRAMEBUFFERSIZE, PREFRAMEBUFFERSIZE) varattava koko lasketaan kertomalla yhteen kuvan leveys (FW) korkeus (FH) ja värisyvyys (COLOR-DEPTH) tavuina, eli (FH * FW * COLORDEPTH) = FRAMEBUFFERSIZE = PREFRAMEBUFFERSIZE.

Luodaan liikealueiden muutoksille yhteinen liipaisu (MBTRIGGER- ,»ot 20 VALUE) arvo (esimerkiksi 4), joka määrittelee liikealueen muutoksen. Mitä “f suurempi arvo, sitä useampien pikseleiden on muututtava, jotta käsiteltävä • · · m liikealue olisi muuttunut. Luodaan muuttuneiden pikseleiden laskuri (CHAN- V·: GECOUNTER) arvo, joka kertoo muuttuneiden pikseleiden määrän käsiteltä- ♦ · :*.· · vässä liikealueessa.

25 Lohkossa L aloitetaan kuvainformaatiota sisältävän signaalin vas- ·***; taanotto. Vastaanotettuun signaaliin sisältyvän kuvan informaatio tallennetaan muistiin (PREFRAMEBUFFER). Valmiin toistettavan kuvan muisti (FRAME- # BUFFER) nollataan, mikäli sitä ei ole vielä kertaakaan käytetty. Muistin nolla-*·« uksella tarkoitetaan sitä että, jokaisen tavun arvo asetetaan nollaksi, • · **j·* 30 Lohkossa M tarkasteltavana oleva kuvan pikselit jaetaan liikealuei- siin. Tällöin liikealue kerrallaan haetaan ne pikselit, jotka kuuluvat seuraavaan • * tarkasteltavaan liikealueeseen.

» « .·. Lohkoissa N - O käydään yksitellen läpi kaikki tarkasteltavan kuvan *·*·* liikealueet sen selvittämiseksi onko liikealueella ainakin tietty lukumäärä pikse- :...J 35 leitä, joiden väriarvot tietyllä tarkkuudella vastaavat määrätyn värin arvoja. Jos 11 117845 näin on, on kyseessä muuttumaton liikealue. Muuten kyseessä on muuttunut liikealue. Tämä voidaan toteuttaa esimerkiksi siten, että jokaiselle liikealueelle suoritetaan seuraavat toimenpiteet: - Nollataan liikealueen pikseleiden muutos laskuri (CHANG E-5 COUNTER) arvo.

- Luodaan alisilmukka, jossa käydään käsiteltävän (MBINDEX) liikealueen (MB) jokainen (MBSIZE) pikseli läpi, taulukon (MBMATRIX) mukaisesti. Alkaen koordinaateista P1 jatkuen koordinaatteihin P4, kuitenkin neliön muotoisesti niin ettei koordinaatteja P2 ylitetä eikä koordinaatteja P3 aliteta.

10 - Tulkittavasta kuvasta (PREFRAMEBUFFER) selvitetään koordi naattien osoittaman pikselin väri.

- Mikäli muuttumattomat liikealueet on merkitty asettamalla niiden väriarvot vastaamaan mustan arvoja, niin tällöin jos tulkittavan kuvan (PREFRAMEBUFFER) pikselin värin (PIXELCOLOR) arvo on suurempi kuin muuttu- 15 vien pikseleiden mustanvärinherkkyys (BLACKSENSITIVITY) arvo (esimerkiksi 4096), niin silloin pikseleiden muutos laskurin (CHANGECOUNTER) arvoa korotetaan yhdellä. (Toisin sanoen, jos pikselin väri ei ole musta niin silloin pikseleiden muutos laskurin arvoa korotetaan yhdellä.) - Mikäli muuttumattomat liikealueet sitävastoin on merkitty asetta- 20 maila niiden väriarvot vastaamaan jonkun muun värin arvoja, niin tällöin: *,*"* + Jos tulkittavan kuvan (PREFRAMEBUFFER) pikselin väriosien * · * *·' | punaisen (RED) ja vihreän (GREEN) summa poikkeaa korkeintaan ennalta \*·: määrätyn virhemarginaalin verran määrätyn värin väriosien punaisen (RED) ja • · •J · vihreän (GREEN) summasta, niin silloin pikseleiden muutos laskurin (CHAN- ^•j· 25 GECOUNTER) arvoa korotetaan yhdellä.

+ Jos virhemarginaali ei ylittynyt punaisen (RED) ja vihreän (GREEN) väriosien vertailussa, niin silloin verrataan myös vihreän (GREEN) ja sinisen (BLUE) väriosia. Jos tulkittavan kuvan (PREFRAMEBUFFER) pikselin väriosien vihreän (GREEN) ja sinisen (BLUE) summa poikkeaa korkeintaan • * *;·* 30 ennalta määrätyn virhemarginaalin verran määrätyn värin väriosien vihreän (GREEN) ja sinisen (BLUE) summasta, niin silloin pikseleiden muutos laskurin (CHANGECOUNTER) arvoa korotetaan yhdellä.

.·, - Kun kaikki pikselit on läpikäyty tarkistetaan pikseleiden muutos *·'·* laskurin (CHANGECOUNTER) arvo. Jos arvo on suurempi kuin liikealueen 35 muutoksen liipaisu (MBTRIGGERVALUE) arvo, niin silloin kyseessä on muut- 12 117845 tunut liikealue, jolloin siirrytään lohkon P kautta lohkoon Q. Jos sitävastoin arvo ei ole suurempi kuin muutoksen liipaisu arvo, niin silloin siirrytään lohkon O kautta lohkoon R.

- Lohkossa Q kopioidaan muuttuneen liikealueen pikselit edelliseen 5 kuvaan. Tämä voidaan tehdä kopioimalla käsiteltävän liikealueen jokainen pik-seli muuttumattomana samalle paikalle kuvan (FRAMEBUFFER) muistiin.

Lohkosta R palataan lohkoon M seuraavan liikealueen käsittelemiseksi, mikäli käsiteltävässä olevassa kuvassa vielä on liikealueita, joita ei ole tarkasteltu.

10 Lohkossa S tuotetaan videosignaali muokatun kuvan (FRAMEBUF

FER) perusteella.

Mikäli vielä vastaanotetaan signaalia, johon sisältyy lisää tulkittavia kuvia, palataan lohkosta T takaisin lohkoon L seuraavan vastaanotetun kuvan kuvainformaation käsittelemiseksi.

15 On ymmärrettävä, että edellä oleva selitys ja siihen liittyvät kuviot on ainoastaan tarkoitettu havainnollistamaan esillä olevaa keksintöä. Alan ammattimiehelle tulevat olemaan ilmeisiä erilaiset keksinnön variaatiot ja muunnelmat ilman että poiketaan keksinnön suojapiiristä.

··· * ♦ • » • 1 2 3 1 • 1 ♦ ♦ · · # · ♦ · · ♦ ···· • · · · · • 1 • · · * · · ··» 1 • 1 · ·«·· • · · • · ··· ♦ • e#··' • · · .

··· ··1 • · * · «1· • · • · • · · • » • · • 1

♦ · V

• 1 · • · ^ · · • · 2 • · 3

Claims (15)

117845 ' 13 1

1. Videokuvan prosessoija (1), joka on konfiguroitu: vastaanottamaan videokameran (2) tuottamaa videosignaalia (3), vertaamaan (7) vastaanotettuun videosignaaliin (3) sisältyvää ja 5 käsittelyssä olevaa yksittäistä kuvaa edelliseen käsiteltyyn kuvaan muutosten detektoimiseksi, detektoimaan (7) muutokset jakamalla yksittäisen kuvan pikselit ennalta määrätyn kokoisiin liikealueisiin, ja detektoimaan määrätyn liikealueen muuttuneeksi, mikäli kyseisellä liikealueella on vähintään tietty lukumäärä pik-10 seleitä, joiden väriarvojen muutos verrattuna edellisen käsitellyn kuvan vastaaviin pikseleihin ylittää määrätyn kynnyksen, ja tuottamaan signaalin (4), joka osoittaa muutokset, t u n n ettu ^ siitä, että prosessoija (1) on konfiguroitu: vaihtamaan (8) käsittelyssä olevassa kuvassa kaikkien muiden kuin 15 muuttuneiden liikealueiden pikseleiden väriarvoja asettamalla näiden edelliseen käsiteltyyn kuvaan verrattuna muuttumattomien liikealueiden pikseleiden väriarvot ennalta määrättyihin arvoihin, ja tuottamaan mainitun signaalin (4), joka osoittaa muutokset sisällyt- 4...φ tämällä kyseiseen signaaliin muuttuneiksi detektoitujen liikealueiden informaa- 20 tion sekä myös muuttumattomien liikealueiden informaation.

* · · *;’] 2. Patenttivaatimuksen 1 mukainen prosessoija, t u n n ettu siitä, • · * " että kun prosessoija (1) määrätyn liikealueen pikseleiden väriarvojen tarkaste- : lun perusteella detektoi kyseisen liikealueen muuttuneeksi, on prosessoija (1) konfiguroitu toteamaan myös kaikki kyseistä määrättyä liikealuetta ympäröivät • * · *.#φ· 25 liikealueet muuttuneiksi.

3. Patenttivaatimuksen 1 tai 2 mukainen prosessoija, tunnettu • siitä, että prosessoija (1) on konfiguroitu analysoimaan väriarvojen muutosta ··· .***. analysoimalla muutoksia RGB-arvoissa siten, että mikäli yksittäisen pikselin • ·· .· . RG-arvon muutoksen tai GB-arvon muutoksen itseisarvo ylittä mainitun määrä- • · · ** *j 30 tyn kynnyksen toteaa prosessoija (1) kyseisen pikselin väriarvojen muuttu- *5": neen. * : V:

4. Jonkin patenttivaatimuksen 1-3 mukainen prosessoija, t u n - # · .·**. n ettu siitä, että prosessoija (1) on konfiguroitu muokkaamaan mainittua edellistä käsiteltyä kuvaa kopioimalla siihen käsiteltävästä kuvasta muuttuneik- 1 1 7845 si detektoitujen (7) liikealueiden pikselit, sekä käyttämään kyseistä näin muutettua edellistä kuvaa myös vertailussa, jonka prosessoija (1) suorittaa käsiteltävänä olevaa kuvaa seuraavalle kuvalle.

5. Jonkin patenttivaatimuksen 1 - 4 mukainen prosessoija, t u n -5 nettu siitä, että prosessoija (1) on konfiguroitu asettamaan muuttumattomien liikealueiden pikseleiden väriarvot ennalta määrättyihin arvoihin, jotka osoittavat pikseleiden olevan mustia.

6. Jonkin patenttivaatimuksen 1-5 mukainen prosessoija, tunnettu siitä, että prosessoija (1) on konfiguroitu syöttämään tuotetun signaa-

7. Videokuvan toistolaite (11), joka on konfiguroitu: vastaanottamaan signaalia (13), joka sisältää kuvainformaatiota, ja tuottamaan kuvainformaation perusteella videosignaalia (17), ja joka videosignaalin tuottamiseksi on konfiguroitu: 15 jakamaan vastaanotetun kuvainformaation tarkasteltavana olevan yksittäisen kuvan pikselit ennalta määrätyn kokoisiin liikealueisiin, tunnettu siitä, että toistolaite on edelleen konfiguroitu: tunnistamaan (15) muuttumattomiksi liikealueiksi ne tarkasteltavana olevan kuvan liikealueet, joissa on ainakin tietty määrä pikseleitä joiden väriar- .···, 20 vot ennalta määrätyllä tarkkuudella vastaavat tietyn värin arvoja, ja tunnista- • · IX maan kaikki muut liikealueet muuttuneiksi liikealueiksi, I . , muokkaamaan (15) muistissa (16) olevaa edellistä valmistunutta / kuvaa kopioimalla mainitun tarkasteltavana olevan yksittäisen kuvan muuttu- • · neiksi tunnistettujen liikealueiden pikselit muistissa olevaan edelliseen valmis-25 tuneeseen kuvaan, ja * · · sisällyttämään mainitun muistissa (16) olevan muokatun kuvan tuotettavaan videosignaaliin (17).

: 8. Patenttivaatimuksen 7 mukainen videokuvan toistolaite, t u n - »M ’ nettu siitä, että toistolaite (11) on konfiguroitu tunnistamaan (15) muuttu- / . 30 mattomiksi ne tarkasteltavana olevan kuvan liikealueet, joissa on ainakin tietty *· *; määrä pikseleitä joiden väriarvot ennalta määrätyllä tarkkuudella osoittavat • * « · · pikselin olevan musta. :Y:

9. Menetelmä videokameran tuottaman videosignaalin prosessoimi- :***· seksi, jossa menetelmässä: *** 35 vastaanotetaan (A) videokameran videosignaali, 117845 jaetaan yksittäisen kuvan pikselit ennalta määrätyn kokoisiin liike- alueisiin, verrataan vastaanotettuun videosignaaliin sisältyvää ja käsittelyssä olevaa yksittäistä kuvaa edelliseen käsiteltyyn kuvaan muutosten detektoimi-5 seksi, detektoidaan (D) määrätty liikealue muuttuneeksi, mikäli kyseisellä liikealueella on vähintään tietty lukumäärä pikseleitä, joiden väriarvojen muutos verrattuna edellisen käsitellyn kuvan vastaaviin pikseleihin ylittää määrätyn kynnyksen, ja 10 tuotetaan signaali, joka osoittaa muutokset, tunnettu siitä, että menetelmässä: vaihdetaan (H) käsittelyssä olevassa kuvassa kaikkien muiden kuin muuttuneiden liikealueiden pikseleiden väriarvoja asettamalla näiden edelli- ; seen käsiteltyyn kuvaan verrattuna muuttumattomien liikealueiden pikseleiden 15 väriarvot ennalta määrättyyn arvoon, ja tuotetaan (J) mainittu signaali, joka osoittaa muutokset, sisällyttämällä kyseiseen signaaliin muuttuneiksi detektoitujen liikealueiden informaatio sekä myös muuttumattomien liikealueiden informaatio.

10. Patenttivaatimuksen 9 mukainen menetelmä, tunnettu siitä, .···, 20 että menetelmässä analysoidaan väriarvojen muutosta (D) analysoimalla muu- • · toksia RGB-arvoissa, ja todetaan yksittäisen pikselin väriarvojen muuttuneen, • · · l . mikäli pikselin RG-arvon muutoksen tai GB-arvon muutoksen itseisarvo ylittä / / mainitun määrätyn kynnyksen. * * ·

10 Iin (4) prosessoijaan integroidulle tai siitä erilliselle videokuvan kooderille (9).

11. Patenttivaatimuksen 9 tai 10 mukainen menetelmä, tu n n et-25 tu siitä, että menetelmässä muokataan (I) mainittua edellistä käsiteltyä kuvaa • * · kopioimalla siihen käsittelyssä olevasta kuvasta muuttuneiden liikealueiden pikselit, ja käytetään näin muokattua edellistä käsiteltyä kuvaa myös vertailus- sa, joka suoritetaan käsiteltävänä olevaa kuvaa seuraavalle kuvalle.

:***: 12. Tietokoneohjelma, tu n n ettu siitä, että tietokoneohjelma on • · · . 30 järjestetty ohjaamaan ohjelmoitavaa laitetta suorittamaan jonkin patenttivaati- ’ *| muksen 9-11 mukaisen menetelmän kaikki vaiheet suoritettaessa mainittu ohjelma ohjelmoitavassa laitteessa. :V:

13. Menetelmä videosignaalin tuottamiseksi toistoa varten, jossa menetelmässä ··· 35 vastaanotetaan (L) signaalia, joka sisältää kuvainformaatiota, 117845 tuotetaan kuvainformaation perusteella videosignaalia, ja jaetaan (M) vastaanotetun kuvainformaation tarkasteltavana olevan yksittäisen kuvan pikselit ennalta määrätyn kokoisiin liikealueisiin, tunnettu siitä, että 5 tunnistetaan (N) muuttumattomiksi liikealueiksi ne tarkasteltavana olevan kuvan liikealueet, joissa on ainakin tietty määrä pikseleitä joiden väriarvot ennalta määrätyllä tarkkuudella vastaavat tietyn värin arvoja, ja tunnistetaan kaikki muut liikealueet muuttuneiksi liikealueiksi, muokataan (Q) muistissa olevaa edellistä valmistunutta kuvaa kopi-10 oimalla mainitun tarkasteltavana olevan yksittäisen kuvan muuttuneiksi tunnistettujen liikealueiden pikselit muistissa olevaan edelliseen valmistuneeseen yksittäiseen kuvaan, ja sisällytetään (S) mainittu muistissa oleva muokattu kuva tuotettavaan videosignaaliin.

14. Patenttivaatimuksen 13 mukainen menetelmä, tunnettu siitä, että tunnistetaan (N) muuttumattomiksi ne tarkasteltavana olevan kuvan liikealueet, joissa on ainakin tietty määrä pikseleitä joiden väriarvot ennalta määrätyllä tarkkuudella osoittavat pikselin olevan musta.

15. Tietokoneohjelma, t u n nettu siitä, että tietokoneohjelma on 20 järjestetty ohjaamaan ohjelmoitavaa laitetta suorittamaan jonkin patenttivaati- ,1;i muksen 13-14 mukaisen menetelmän kaikki vaiheet suoritettaessa mainittu • 1 · ';1 [ ohjelma ohjelmoitavassa laitteessa. * · · φ · · φ · φ · φ · φ φ φ φ . · . Iti | Φ , ΙΦΙ Φ ΦΦ·Φ • φ φ • φ φ · φ φ · φ φ φ φ φ φ φ φ · φ φ φ • φ ... φ φ φφφ φ • φ Φ·Φ:. ΦΦΦ1'·.' φ φ φ φ φ φ φ φ φφφ'. •φφ'ι-Φ · φ|φ φ φ φ φ φφφ 117845 ijy