FI108900B - Optinen vuo ja kuvan muodostaminen - Google Patents

Description

108900

Optinen vuo ja kuvan muodostaminen

Keksinnön ala Tämä keksintö liittyy yleisesti digitaaliseen kuvankäsittelyyn, ja 5 erityisesti kuvissa esiintyvän liikkeen tunnistukseen ja analysointiin. Keksintö liittyy myös kahden kuvan välisen optisen vuon määrittämiseen ja uusien, piirteiltään alkuperäisten välimuotoja olevien kuvien muodostamiseen. Optisella vuolla tarkoitetaan liikevektoreista koostuvaa kenttää, joka yhdistää kahden kuvan toisiaan vastaavat kuvapisteet. Keksintöä voidaan käyttää 10 myös kuvan resoluution eli pikselimäärän kasvattamiseen.

Tekniikan taso

Kuvien käsittely digitaalisessa muodossa tarjoaa mitä moninaisemmat mahdollisuudet esimerkiksi muokata ja pakata kuvia sekä muodos-15 taa uusia kuvia. Kahden peräkkäin otetun kuvan välillä on yleensä eroa, johtuen kuvakohteen liikkumisesta. Myös liikkeen tunnistaminen onnistuu digitaalisella kuvankäsittelyllä. Kuvankäsittelyn sovellusaluekenttä on hyvin laaja: useat konenäön sovellukset, videokuvien pakkaus, lääketieteen leike-kuvat, resoluution kasvatus jne.

| 20 Eräs normaali kuvankäsittelyn tehtävä on kahden (yleensä peräk käisinä ajanhetkinä otetun) kuvan välisen liikeinformaation selvitys. Esimerkiksi jos ensimmäisessä kuvassa on koira, jonka häntä heiluu, niin toisessa kuvassa koiran häntä on eri asennossa. Tarkoituksena on selvittää hännän : liikkeeseen sisältyvä liikeinformaatio. Informaation selvitys tapahtuu määrit- I ’·· 25 tämällä kuvien välinen optinen vuo eli liikevektoreista koostuva kenttä, joka : ·: yhdistää kahden kuvan (a ja b, kuvio 1) toisiaan vastaavat kuvapisteet. Kun optinen vuo on määritetty, voidaan sitä hyväksikäyttäen muodostaa kuvien väliin uusi kuva, ns. välikuva.

On olemassa monia tunnettuja menetelmiä optisen vuon määrit-30 tämiseksi, kuten esimerkiksi gradienttimenetelmiä (gradient based methods) :.. ja resoluutiohierarkiaa käyttäviä menetelmiä (motion estimation over hierar chy of resolutions). Muita tunnettuja menetelmiä ovat esimerkiksi kuvaloh-'·.*·; kojen sovitukseen (block-based methods) ja kuvissa esiintyvien objektien so- ·:··: vitukseen perustuvat menetelmät (US-patentti 5.726.713 ja US-patentti 35 4.796.087). Näiden avulla ei kuitenkaan voida saavuttaa samankaltaista ti- ; heän resoluution vuota kuin gradienttimenetelmillä. Oman luokkansa muo- 2 108900 dostavat myös ns. piirrepohjaiset menetelmät (feature-based methods), jotka perustuvat toisiaan vastaavien piirteiden tunnistamiseen ja yhdistämiseen kuvien välillä. Yleisen piirreluokituksen kehittäminen on kuitenkin vaikeaa, joten piirrepohjaisten menetelmien toimivuus riippuu paljolti käsiteltävästä 5 kuvamateriaalista.

Gradienttimenetelmissä (kuten US-patentti 5,241,608) pyritään muodostamaan kuvien väliin liikevektorikenttä, joka yhdistää kuvat siten, että toisiinsa yhdistettyjen kuvapisteiden välisten arvoerojen (kuten esimerkiksi valoisuuserojen) neliösumma minimoituu (eli liikkeen huomioivan keskineliö-10 virheen minimointi). Tämä ehto ei kuitenkaan riitä määrittämään syntyvää vuota yksikäsitteisesti: lisäehtona käytetään vuon tasaisuutta, eli vaatimusta siitä, että ensimmäisessä kuvassa olevien pisteiden välimatkan on pysyttävä suurin piirtein samana myös toisessa kuvassa.

Vuon tasaisuuskriteeri aiheuttaa ongelmia niinsanotuissa ok-15 luusiopisteissä, eli kohdissa, joissa kuvassa esiintyvä objekti liikkuu toisen kuvassa esiintyvän objektin päälle (kuvio 2, viitemerkki o). Näissä kohdissa optinen vuo ei ole luonteeltaan tasainen. Tästä aiheutuvia ongelmia on pyritty välttämään siten, että luovutaan tasaisuuskriteeristä niissä kohdin, jotka voidaan olettaa olevan jonkin kuvan esittämän objektin reunapisteitä. Pistei-20 den luokittelussa todennäköisiksi reunapisteiksi voidaan käyttää esimerkiksi kuvien harmaasävyjen nopeita muutoksia ja määritetyn vuon ominaisuuksia.

Johtuen optisen vuon epätasaisuudesta tunnetut menetelmät jou-·;·. tuvat laskemaan jokaisen välikuvan erikseen, mikä lisää laskennan määrää ja prosessiin kuluvaa aikaa riippuen haluttujen välikuvien määrästä. Keksin- • * · .! 25 nön tarkoituksena on vähentää näitä tunnetun tekniikan haittoja.

Keksinnön lyhyt yhteenveto : Keksinnön mukainen päämäärä saavutetaan patenttivaatimuksis- ; sa kuvatulla tavalla. Keksinnön ajatuksena on tuottaa sellainen vuo, joka 30 määrää yksikäsitteisesti alkuperäisten kuvien välissä olevien pisteiden vas-·:·: tinpisteet alkuperäisten kuvien pinnalla, eli välikuvan jokaisella pisteellä on • yksi vastinpiste kummassakin alkuperäisessä kuvassa. Vuo määritetään si- .:. ten, että alkuperäisten kuvien väliin muodostettavat uudet kuvat voidaan *···[ kaikki muodostaa saman optisen vuon avulla. Vuon jokaisella liikevektorilla 35 on sallittu kyseistä liikevektoria ympäröivien liikevektorien määräämä liikku-ma-alue, jonka rajoissa sen suunta voi siirtyä vuota muodostettaessa. Liik- » » 108900 3 kuma-aluetta käytetään siis keksinnössä lisärasitteena, joka huomioimalla varmistetaan vuon yksikäsitteisyys. Koska kuvainformaatio sisältää usein li-särajoitteet rikkovia alueita (kuten okluusiopisteet), näiden alueiden yksikäsitteisyyden takaaminen varmistaa koko vuon yksikäsitteisyyden. Yksikäsittei-5 nen vuo saadaan toteutumaan säätämällä vuota muodostettaessa liikkeen huomioivan keskineliövirheen ja tasaisuuskriteerin osuutta siten, että lisära-joitteiden rikkoutumisen läheisyydessä liikkeen huomioivan keskineliövirheen osuutta pienennetään. Tämä on edullista tehdä siten, että keskineliövirheen osuus nollataan kokonaan lisärajoitteiden rikkoutuessa.

10 Koska menetelmän avulla uusia kuvia saadaan muodostettua ra joittamaton määrä yhden vuon avulla, menetelmä mahdollistaa esimerkiksi aikaisempia menetelmiä tehokkaamman tavan kuvasarjan pakkaamiseen. Keksintö tarjoaa nopeasti suppenevan ja laskennallisesti kevyen algoritmin käyttämisen vuon määrityksessä, mikä tekee keksinnön hyödyntämisen edul- 15 liseksi myös sellaisissa sovelluksissa, joihin uusien kuvien tuottaminen ei suoranaisesti liity. Lisäksi keksintö mahdollistaa esimerkiksi alkuperäisen kuvan suurentamisen, niin että suurennettu kuva on ihmissilmälle miellyttävämpi kuin aikaisemmilla tavoilla suurennettu kuva.

20 Kuvioluettelo

Seuraavassa keksintöä selostetaan yksityiskohtaisemmin viitaten kuvioiden 1-15 esimerkkeihin, jotka on esitetty oheisissa piirustuksissa, jois-·:·. sa 25 kuvioi esittää esimerkkiä kahden kuvan välisestä optisesta vuosta, :, " kuvio 2 esittää esimerkkiä optisen vuon okluusiopisteistä, kuvio 3 havainnollistaa keksinnön mukaisen vuon yksittäisen liikevektorin :: : määrittelyä ja liikevektorin siirtymää, ; kuvio 4 esittää esimerkkiä keksinnön mukaisesta uuden kuvan kuvapis- 30 teen kautta kulkevan liikevektorin hausta, ·:··: kuvio 5 havainnollistaa vuokaaviomuodossa uuden kuvan kuvapisteen ar- von hakua, kuvio 6 havainnollistaa keskineliövirhe-osuuden painokertoimen muuttu-' · · · * mistä liikevektorin sallitulla liikkuma-alueella, * ’ 35 kuvio 7 havainnollistaa yksittäisen liikevektorin sallittua aluetta kuvatasos- : ‘ : sa, kun rajoittavana tekijänä on yksi naapuriliikevektori, I I · 4 108900 kuvio 8 havainnollistaa yksittäisen liikevektorin sallittua aluetta kuvatasossa, kun rajoittavana tekijänä on neljä naapuriliikevektoria, kuvio 9 havainnollistaa yksittäisen liikevektorin sallittuja alueita molemmilla kuvatasoilla, 5 kuvio 10 esittää vuokaaviomuodossa esimerkkiä keksinnön mukaisesta optisen vuon muodostamisesta, kuvio 11 esittää vuokaaviomuodossa esimerkkiä uuden kuvan muodostamisesta uudelle kuvatasolle, kuvio 12 esittää esimerkinomaisesti aliasoituneen kuvan suurentamista 10 tunnetulla tavalla ja keksinnön esittämällä tavalla, kuvio 13 esittää esimerkkiä kahden pikselirivin/sarakkeen väliin muodostettavista liikevektoreista, kuvio 14a esittää vuokaaviomuodossa esimerkkiä keksinnön mukaisesta uuden suurennetun kuvan muodostamista, 15 kuvio 14b esittää jatkoa kuvioon 14a, kuvio 15 havainnollistaa keksinnön mukaista kuvan suurentamista, kun pik-selirivit ja -sarakkeet käsitellään yhtäaikaisesti.

Keksinnön yksityiskohtainen selostus 20 Seuraavassa kuvataan keksinnön matemaattista taustaa. Monet esitettävistä kaavoista ovat jo aikaisemmin tunnettuja, joten niitä vastaavia muitakin yhtälöitä löytyy alan kirjallisuudesta - esimerkiksi kustannusfunktion ‘ · ‘ ja iteroinnin laskemiseksi. Kuitenkin keksinnön ymmärtämiseksi ja kuvaami- : seksi matemaattinen tarkastelu on välttämätöntä. Vektorit on merkitty tar- : '·· 25 kastelussa vahvennetuilla kirjainmerkinnöillä. Tässä yhteydessä tarkastel- laan kahden kuvan käyttöä optisen vuon ja uuden kuvan määrittämisessä, :T: mutta on myös mahdollista käyttää useampaa kuvaa, jolloin voidaan elimi- ; noida kuvissa esiintyviä kohinaosuuksia.

Optisen vuon (kuvio 1) määrittäminen kahden kuvan välille voi- , 30 daan esittää kahden suureen optimointitehtävänä, jolloin joudutaan valitse- maan minimoitavan funktion suureiden keskinäinen suhde. (Suureita voi olla useampikin sovelluskohteesta riippuen.) Kuten edellä esitettiin, gradientti- :/·· menetelmissä käytetään yleensä suureina kuvapisteiden arvoerojen neliö- ·; ·’: summaa ja vuon tasaisuutta. Tavoitteena on siis toisaalta vuon yhdistämien ·’·. 35 kuvapisteiden eli kuva-alkioiden arvojen (esim. valoisuusarvojen) erotuksen » » » ; ‘. minimointi ja toisaalta vuon tasaisuus, eli vaatimus siitä että ensimmäisessä 5 108900 kuvassa lähekkäin olevat pisteet kuvautuvat toistensa lähelle myös toisessa kuvassa.

Muodostetaan kuvien väliin vektorikenttä, joka koostuu yksittäisistä liikevektoreista L (kuvio 3). Vektorikenttä on kiinnitetty kuvien väliin siten, 5 että kunkin vektorin tukipiste k on kuvien a ja b puolessa välissä. Pisteeseen k = (x, y) kiinnitetty liikevektori leikkaa kuvapinnat pisteissä k + t = (x+u, y+v) ja k-t = (x-u, y-v), missä t on liikevektorin siirtymä kuvien pintaa vastaan kohtisuorasta asennosta.

Ajatellaan vektorikenttä jatkuvaksi, jolloin minimoitavaksi yhtälöksi 10 saadaan: J = ilf(u(x, y), v(x, y), ux, uy, vx, vy) dx dy, (1-1) missä integraalilausekkeen sisällä oleva funktionaali on 15 f= a (g, (x+t/(x, y), y+v(x, y)) - g2 (x-u(x, y), y-v(x, y))f , {du(x,y) 2 (du(x,y) 2 | ,dv(x,y) 2 (dv(x,y) 2 dx dy dx ' [dy = a( g, (x+u, y+v) -g2(x-u, y-v))2 + u2 + u2 + v2 + v2, (1-2) 20 missä g1 on ensimmäisen kuvan kuva-alkion arvo, g2 toisen kuvan kuva-alkion arvo ja ux, uy, vx, vy osittaisderivaattoja alaindeksin suhteen.

Minimoitava funktionaali koostuu toisaalta tasaisuuskriteeristä, eli ’ vuon osittaisderivaattojen summasta u2 + u2 + v2 + v2, ja toisaalta liikkeen ·' ‘‘ 25 huomioivasta keskineliövirhekriteeristä ( g: (x+u, y+v) - g2 (x-u, y-v))2. Kri- i teereiden keskinäisen suhteen määrää parametri a.

• · · v : Funktionaalin J minimi voidaan hakea variaatiolaskennalla mää- : räämällä J:n variaatiot u:n ja v.n suhteen nolliksi. Tällä rajoituksella toteutu vat yhtälöt: 30 df d df ddf du dx dux dy duy (13a) ·:·: df d df d df n dv dx dvx dy dvy (1_3b) 6 108900

Yhtälöiden (1-3a) ja (1-3b) ensimmäiset termit voidaan kirjoittaa muotoon: 5 K = 2a {g, (x+u, y+v) - g2 (x-u, y-v)) du ^g^x + u^ + v) | dg2(x-u,y-v)) (14a) ÖX dx ΛΧ — =2 a(g,(x+u,y+v)-g2(x-u,y-v)) dv dg^x + u.y + v) | dg2(x-u,y-v) 4b dy dy ' 10

Yhtälöiden (1-3) jälkimmäiset termit voidaan merkitä: d df d df ——-=2uxx\ —— =2υπ ; (1-5a) dx 8ux dy duy d df d df 15 ——= 2vxx] -—-=2vyy. (1 _5b) dx dvx dy dvy

Sijoittamalla (1-4) ja (1-5) yhtälöihin (1-3) saadaan: •:. a ( g, (x+u, y+v) - g2 (x-u, y-v)) ((x+u, y+v) + (x-u,y-v)) : · · dx dx 20 —V2u = 0, (1-6a) t I · I · · a ( g, (x+u, y+v) - g2 (x-u, y-v)) (^ (x+u, y+v) + ^ (x-u, y-v)) dy dy -V2/ = 0, (1-6b) :"': 25 missä vuon Laplace V2u = uxx + υπ ja V2v = vxx + νπ.

* » 7 108900

Riippuen siitä, mitä matemaattista laskentatapaa käytetään, Lap-lacea voidaan approksimoida esimerkiksi termeillä V2ti« ΰ - o, ja V2v «v - v, missä 5 u(x,y) = 1 /4 (u(x,y- 1) + u(x-1 ,y) + u(x+1 ,y) + ti(x, y+1) (1-7) jossa u(x+i, y+i) ovat pistettä (x, y) ympäröivät laskentapisteet. Vastaava pätee myös v :lle. Laskentapisteiden lukumäärä on tässä tarkastelussa 4, mutta se voi olla esimerkiksi myös 8. Kuviossa 7 tarkastelupisteen k ympärillä 10 olevat laskennassa käytetyt neljä naapuripistettä on yhdistetty katkoviivalla. Jos laskennassa käytettäisiin kahdeksaa ympärillä olevaa laskentapistettä, jokainen tarkastelupisteen k ympärillä oleva piste vaikuttaisi U :n ja v :n arvoon.

Vuo voidaan tällöin määrittää minimoimalla yhtälöt (1-6) seuraa-15 van iteratiivisen prosessin avulla: | _ : Un+1 = Un + Y[(u- un)~ a(g, (x+un, y+vn) - g2 (x-un, y-vn)) (^ (x+un, y+vn) + ^ (x-ii„, y-vn))] (1-8a) dx dx 20 v„+1 = vn + γ[(ν-νη)-α{ g1 {x+un, y+vn) -g2(x-un, y-vn)) ((x+un, y+vn) + ^ (x-u„, y-vn))], (1-8b) dy dy * * · ·* missä / on iteroinnissa käytettävä relaksaatioparametri, joka määrittää päivi- tystermin osuuden uudessa liikevektorin arvossa.

25 Yhtälöiden 1-8 mukaisen vuon määrityksen jälkeen voidaan mää- • · rittää tunnettujen kuvien välissä olevien kuvien kuvapisteiden arvot eli värit ,··,·. (tai esim. harmaataso). Alkuperäisten kuvien puolessa välissä olevan kuvan I · · kuvapisteiden arvot saadaan liikevektoreiden ja kuvien leikkauspisteiden pe-. rusteella. Haluttaessa määrittää jonkin sellaisen alkuperäisten kuvien välisen 30 pisteen arvo, joka ei sijaitse kuvien puolessa välissä, on ensin määritettävä ·;·’ se liikevektori, joka kulkee tämän kuvapisteen kautta, jonka jälkeen halutun pisteen arvo interpoloidaan alkuperäisten kuvien pisteistä. Kyseinen vektori ·:··· voidaan hakea esimerkiksi seuraavan iteratiivisen algoritmin avulla (kuviot 4 ja 5): valitaan se liikevektori LO (vaihe 51), jonka kiinnityspiste (y,0) on sa-

» I

8 108900 maila kuvia vastaan kohtisuoralla viivalla kuin määritettävä piste (x, z); määritetään tämän liikevektorin ja määritettävän pisteen välinen etäisyysvektori eO kuvien suuntaisessa tasossa (vaihe 52; valitaan uudeksi liikevektoriksi L1 (vaihe 54) se vektori, jonka kiinnityspiste (y1,0) on edellisessä vaiheessa 5 määritetyn etäisyysvektorin päässä päinvastaiseen suuntaan (-eO) edellisen liikevektorin kiinnityspisteestä (y,0); toistetaan näitä vaiheita, kunnes etäisyysvektorin arvo katsotaan riittävän pieneksi (vaihe 53). Lopuksi haetaan uuden kuvatason pisteen arvo valitun liikevektorin perusteella (vaihe 55). Lii-kevektorikenttä saadaan interpoloimalla jatkuvaksi, eli kiinnityspisteiden vä-10 Iissä olevat liikevektorit on muodostettu ympäröivien kiinnityspisteiden kautta kulkevien liikevektorien arvoista interpoloimalla. Uuden kuvan muodostamisessa voidaan siis käyttää alkuperäisten kiinnityspisteiden kautta kulkevia liikevektoreita tai niiden väliin interpoloituja liikevektoreita.

Merkitsemällä määritettävän pisteen koordinaatteja (x, z) ja tämän 15 pisteen kautta kulkevan liikevektorin kiinnityspisteen koordinaatteja (y, 0), voidaan edellinen kirjoittaa muotoon: y„ = x -c[ t(y^) · z], (2-1) 20 missä y„ on uusi ja y^ edellinen ehdokas liikevektorin kiinnityspisteeksi, ja t = [u, v]. Kerroin c on muuttuva päivityskerroin, joka riippuu aiemmista päivityksistä. Tarkastellaan algoritmin (2-1) suppenemista (olettaen, että c=1): ·:*. tutkitaan, millä vektorikentän siirtymään kohdistuvilla ehdoilla algoritmi johtaa kohti tilannetta: * 25

Oi yn + t(yn)-z = x (2-2)

( · I

» · * · v : eli milloin pätee 30 Km (y„ + t(y„) z-x) = 0, (2-3)

rt—»GO

• ’' ’: missä -1 < z < 1. Virhe alussa on e0= x-(y0 + t(y0)z) (2-4) 35 ’ ’: Ensimmäisen iteraation jälkeen 9 108900 yi = χ - t(y0) · z, (2-5) jolloin virheeksi saadaan 5 e1 = x - (y, + t(y0 z) = x - ((x - t(y0) · z) + t(x - t(y0) · z ) z ) = t(y0) · z - t(x - t(y0) · z) · z = z · (t(y0) - t(x - t(y0) · z )) (2-6)

Vastaavasti virheiksi kierroksilla n ja n+1 saadaan 10 e, = x - (y„ + t(yj · z ) = x - t(yn) z- y„ en+i = x - (yn+i + t(yn+f) · z) = - z · (t(x - t(y„) · z) - t(yn)) (2-7)

Virhevektoreiden e„ ja en+1 pituuksien suhteeksi saadaan | 15 leJ_z lt(x-t(yn)-z)-t(yn) |

Kl |x-t(yn)-z-yn I

I Sijoittamalla a = x - t(yn) · z ja b ξ yn, yhtälö (2-8) voidaan kirjoittaa muotoon 2o

Kl |a-b| • f · « I • · ·

Yhtälö (2-9) saavuttaa miniminsä ja maksiminsa kuvien pinnalla (z ··. = ±1). Jotta algoritmi suppenisi kaikilla arvoilla -1 < z < 1, on oltava 25 (2-10) |a — bj I · ·

Vektorien pituudet voidaan ilmaista useilla tavoilla, riippuen siitä, mitä matemaattista laskentatapaa käytetään. Edullisia tapoja ovat esimerkik-si 1-normin tai oo-normin käyttö. 1-normissa vektorin pituus on vektorin kom-.···, 30 ponenttien pituuksien summa |t| = |u| + |v|,ja oo-normissa vektorin pituus . on vektorin suurimman komponentin pituus 111 =max{ | u I, | v |}. Käyttämällä 1-normia, missä a^a^ a2) ja b2), saadaan yhtälön (2-10) vasen puoli • '.: kirjoitettua muotoon j 108900 10 |t(a)-t(b)| _ ia—b) |u(a1,a2)-u(b1,a1)|+|y(ai,a2)-v(b1,a2)||ai-b1| — bi| |a-b| 5 + \u(ava2)-u{avb2^+\v(a„a2)-v(avb2i |a2 -b2| |a2-b2| |a-b|

Yhtälön (2-11) oikea puoli vastaa painotettua summaa vektorikentän t erotusosamääristä: edelleen pätee siis |t(a)-t(b)| f du övl / du dv λ 10 ί-V—^ r — + — +(1-r) — + — <1, ja — b| \dx dx ) ^ dy dy y (2-12) missä 0 < r< 1. Jotta yhtälö (2-12) toteutuisi kaikilla arvoilla r, on oltava ^ + ^<1 (2-13a) dx dx 15 ^ + ^<1, (2-13b) j dy dy ,': ·. missä siis t(x, y) = [u(x, y), v(x, y)].

, Yhtälössä (2-1) kuvattu algoritmi asettaa siis haettavalle vuolle li- * * · • 0 särajoituksia (yhtälö 2-13), joiden mukaan kahden vierekkäisen liikevektorin ’. . 20 siirtymien välisen erotuksen itseisarvon on oltava pienempi kuin samojen vie- ; / rekkäisten liikevektorien kiinnityspisteiden välinen etäisyys. Koska lisärajoi- ’ ' tukset koskevat vuon osittaisderivaattoja, joita tasaisuuskriteeri pyrkii mini- v ’’ moimaan, rajoitusehtojen täyttyminen voidaan taata vähentämällä keskine- liövirhettä edustavan termin osuutta päivityksessä. Yhtälön (2-13) rajoitukset ' : 25 saadaan toteutumaan korvaamalla parametri cc yhtälössä (1-8) esimerkiksi ": yhtälöstä 3-1 saatavalla parametrilla: a(ux, uy, vx, vy) = a · max{0, 1 - max {|ux| + \vx\, \uy\ + lvy|}/d}, (3-1) 30 11 108900 missä d on kiinnityspisteiden välinen etäisyys.

Yhtälön (3-1) osittaisderivaattojen itseisarvoja |t/x|, \uy\, \vx\ ja Jv^l voidaan approksimoida esimerkiksi yhtälöillä: 5 Iux{x, y)| = max {|u(x+1, y) - u(x, y)|, |u(x, y) - u(x-1, y)|} \vx(x, y)| = max {|v(x+1, y) - v(x, y)|, |v(x, y) - v(x -1, y)|} K(x, Υ)I = max {|u(x, y+1) - u{x, y)\, \u(x, y) - u(x, y-1 )|) 10 \vy(x, y)| = max {|Kx, y+1) - v(x, y)|, \v(x, y) - v(x, y-1)|} (3-2) joissa siis lasketaan liikevektorin siirtymän ja sen lähimpien naapureiden siirtymien väliset erotukset. Suurin siirtymien erotus kertoo liikevektorin pienim-15 män etäisyyden liikkuma-alueen rajoista. Siirtymien erotus voi olla siis mak-I simissaan kiinnityspisteiden välinen etäisyys. On myös muita tapoja derivaa tan approksimoimiseen, kuten esimerkiksi laskea tarkasteltavan liikevektorin naapuriliikevektorien siirtymien erotus: |v(x, y+1) - v(x, y —1 )|, jolloin ei siis käytetä itse tarkasteltavan liikevektorin siirtymää derivaatan määrittämiseksi. 20 Oleellista yhtälössä (3-1) on se, että a:n arvot pienenevät osittais derivaattojen kasvaessa, ja että liikkeen huomioivan keskineliövirheen osuus päivitystermissä häviää rajoitusten (2-13) rikkoutuessa (huom. kuva 2). Toisin sanoen vuota iteroidessa jokaisen liikevektorin osalta lasketaan sen lyhin etäisyys lisärajoitusten rikkoutumisrajalle, ja sen mukaan päivitetään liikkeen ’ 25 huomioivan termin painotusta. Yhtälöt (1-8) voidaan nyt kirjoittaa muotoon: • · · • »

Un+1 = un + ηΌ (U- u„) - 77X a (ux> uy, vx, Vy) ( g, (x+un, y+v0) - g2 ϊ.: (1—"n, y-^))((^7 (x+un, y+vn) + Ä (x-un, y-vn)) (3-3a) : : : dx dx 30 = vn+ Voi V-v„) - % a (ux, Uy, vx, vy) ( g, (x+u„, y+vn) - g2 (1+un, y+vn) + ^ (x-un, y-vj), (3-3b)

* I

missä η0οη tasaisuuskriteerin askelparametri, ja % on liikkeen huomioivan keskineliövirheen askelparametri.

• · · 12 108900

Kuvio 6 havainnollistaa parametrin a muuttumista liikevektorin sallitun liikkuma-alueen MA sisällä. Olkoon parametrin a arvo c, kun liikevektori kohtaa kuvatason kohtisuorassa, jolloin liikevektorin sijainti on keskellä liikkuma-aluetta. Kun liikevektorin siirtymä kasvaa ja se lähenee liikkuma-5 alueen rajoja, parametrin a arvo pienenee, kuten kuviosta havaitaan. Pieneneminen voi olla lineaarista, kuten kuvassa esitetään, tai epälineaarista, riippuen sovelluksesta.

Tarkastellaan lisärajoitteita kuvioiden 7-9 avulla. Kuvio 7 havainnollistaa pisteeseen k kiinnitetyn liikevektorin sallittua leikkausaluetta kuva-10 tason kanssa, kun rajoittavana tekijänä on viereiseen kiinnityspisteeseen A kiinnitetty liikevektori. Kutsutaan tätä liikevektoria myös A:ksi kiinnityspisteen mukaan. Oletetaan A tunnetuksi, jolloin siirtämällä pisteeseen A kiinnitetty liikevektori pisteeseen k (kutsutaan siirrettyä liikevektoria A':lla, merkitty kuvioon katkoviivalla) saadaan selville A:n rajoittava vaikutus pisteeseen k kiinni-15 tetyn liikevektorin sallittuun siirtymäalueeseen. Sallittu siirtymäalue S (merkitty kuvioon vinoviivoituksella) määräytyy siten, että kuvan ja pisteeseen k kiinnitetyn liikevektorin leikkauspisteen etäisyys kuvan ja liikevektorin A’ leikkauspisteestä tulee olla pienempi kuin pisteiden A ja k välinen etäisyys. Kuviota tarkasteltaessa on muistettava, että kuvataso on eri tasossa kiinnitys-20 pistetason kanssa. Toisin sanoen, jos kiinnityspistetaso siirretään liikevekto-reita pitkin kuvatasolle ja jos kaikki liikevektorit ovat samansuuntaisia (tässä tapauksessa A:n suuntaisia), saadaan tarkasteltavalle pisteen k kautta kul-·;·, kevalle liikevektorille sallittu siirtymäalue S, kun rajoittavana tekijänä on yksi > · t ... tunnettu liikevektori A. Koska laskennassa on käytetty neljää ympäröivää * 25 kiinnityspistettä, sallittu alue on muodoltaan neliö, jonka kulmissa sijaitsevat : “ naapurikiinnityspisteiden kautta kulkevat liikevektorit. Katkoviivalla kuvattu : tl! ’ 1: neliö havainnollistaa tilannetta, jossa liikevektori Ailia ei ole siirtymää, vaan v *’ liikevektori kohtaa kuvatason kohtisuoraan. Liikkuma-alueen muoto ei vält- :, ’ ‘ tämättä tarvitse olla neliö, vaan neliön sivut voivat olla kaarevia, tai alue voi 30 mahdollisesti olla jopa ympyrä. Maksimissaan liikkuma-alueen rajojen täytyy : · > · kuitenkin kulkea niiden naapuripisteiden kautta, joita käytetään laskennassa.

Kuviossa 8 havainnollistetaan neljän lähimmän naapurikiinnitys-pisteen (A, B, C ja D) liikevektoreiden vaikutusta pisteen k kautta kulkevaan I · liikevektoriin. Sallittu alue S kuvatasolla on merkitty vinoviivoituksella. Kuvio 35 9 havainnollistaa liikevektorin sallittuja leikkausalueita alkuperäisten kuvien • ’ * ’. kuvatasoilla.

·. s t > t i 108900 13

Keksinnön ensimmäinen suoritusmuoto

Seuraavaksi esitetään esimerkinomaisesti keksinnön soveltamista tilanteeseen, jossa haetaan kahden tunnetun kuvan välinen optinen vuo (ku-5 vio 10) sekä muodostetaan kuvien väliset uudet kuvat vuon ja alkuperäisten kuvien avulla (kuviot 4 ja 11).

Aluksi prosessoitavat kuvat tuodaan sisään vuon määritysjärjes-telmään. Tässä vaiheessa valitaan näytteenottomatriisin koko eli kuinka moneksi kuva-alkioksi eli pikseliksi kuvat digitalisoidaan. Seuraavaksi kuvista 10 mitataan kunkin näytteenottomatriisin määrittämän kuva-alkion arvo (kuvio 10, vaihe 91). Arvo voi olla esimerkiksi väri tai harmaasävy. Se, mitä suuretta käytetään, voidaan valita tilanteen mukaan.

Koska kiinnitystason pisteiden lukumäärä (eli liikevektoreiden lukumäärä) on edullista valita pienemmäksi (vaihe 92) kuin pikselien lukumää-15 rä, digitalisoidut kuvat alipäästösuodatetaan esimerkiksi konvoloimalla Gaussin funktiolla (suodatus voidaan toteuttaa myös muulla tavalla, tai jättää kokonaan tekemättä, joskin suositeltavaa). Gaussin funktio on separoituva, joten konvoluutio voidaan laskea ensin suunnassa xja sen jälkeen suunnassa y, mikä on nopeampaa kuin 2-dimensioisen konvoluution laskeminen. Käy-20 tetyn suodatusfunktion koko riippuu siis liikevektoreiden määrästä (toisin sanoen liikevektoreiden välisestä etäisyydestä). Suodatuksen yhteydessä mo-/:·. lempien kuvien pinnalta otetaan muistiin derivaatat ja halutut pikseliarvot.

Esimerkiksi suurimmat pinnan suuntaiset derivaatat molempiin pinnan koor-.! dinaattien suuntiin (g'max = maxig',.,, g'2i1, g'1i2. g'^}) sekä kuvien väliset suu- \ ! 25 rimmat ja pienimmät pikselien arvot (gmin = min{g1( g2,}, gmax = max^, g2,},).

Näitä arvoja hyväksikäyttämällä määritetään suurin sallittu arvo askelpara-' metrille ηχ, jolla vaikutetaan suppenemisen nopeuteen haettaessa toivottua • · · : optista vuota (vaihe 93).

Edellä kuvatun kuvien prosessoinnin jälkeen määritetään kiinnitys-·:··: 30 taso ja siinä olevat kiinnityspisteet kuvien puoleenväliin (vaihe 94). Kiinnitys- taso voi olla myös muussa kohdassa kuin puolessavälissä, mutta on edulli-sinta käyttää puoliväliin muodostettavaa tasoa. Huomioitavaa on, että jos kiinnitystasona toimii toinen alkuperäinen kuva, niin silloin riittää laskea deri- I » » » * ' ‘ vaatat vain toisesta kuvasta. Kiinnityspisteiden määrä on sama kuin suoda- 35 tuksen yhteydessä määritetty liikevektoreiden määrä. Liikevektoreiden kiinni- • · ; ‘ ‘ ; tys voidaan suorittaa myös aikaisemmassa vaiheessa.

14 108900

i -O

Tämän jälkeen jokaisessa kiinnityspisteessä (k= (x, y)) sijaitsevalle liikevektorille: a) Haetaan kuvien pikselien arvot, derivaatat ja liikevek- torin siirtymä liikevektorin ja kuvien leikkauspisteissä, k+t(x) ensimmäiselle 5 kuvalle ja k-t(x) toiselle kuvalle (vaihe 95). Derivaatat saadaan laskemalla kahden vierekkäisen kuvapisteen arvojen välinen erotus. Liikevektorin alku-suunta voi olla suoraan kuvatasoja vastaan, mutta jos käytössä on jo aikaisempaa tietoa liikevektoreiden suunnasta (esimerkiksi ajallisesti edellisen kuvaparin avulla laskettu liikevektorikenttä), voidaan sitä käyttää hyväksi.

10 b) Lasketaan kuvauksen Laplace (vaihe 96) laskemalla liikevektorin siirtymän t(x) ja ympäröivien liikevektorien siirtymien keskiarvon välinen erotus. Laplacen arvo ilmaisee liikevektorikentän epätasaisuuden, eli kääntäen se ilmaisee tasaisuuden.

c) Lasketaan lisärajoitus (yhtälö 3-1), eli määritetään lii-15 kevektorin siirtymän t(x) ja ympäröivien liikevektorien siirtymien väliset erotukset, ja valitaan näistä suurin (vaihe 97).

d) Tämän jälkeen päivitetään pisteessä k = (x, y) sijaitsevalle liikevektorille uusi siirtymä t(x) (vaihe 98) sijoittamalla edellä lasketut ! suureet yhtälöihin (3-3), joiden mukaan päivitetään yksittäisen liikevektorin 20 suunta kohdassa c lasketun lisärajoituksen muuttaessa parametria a. Tulos laitetaan muistiin, mikäli päivitetään kaikkien viivojen asentoja yhtäaikaisesti *:·. (Jakobin iterointi), tai vaihtoehtoisesti muutetaan liikevektorien asentoa heti (Gauss-Seidelin iterointi).

• · · .! Seuraavaksi toistetaan vaiheet a)-d) 10-15 kertaa, tai kunnes ku- " 25 vauksen muutos katsotaan riittävän pieneksi (vaihe 99).

* · ·

Kun näin ollaan saavutettu halutun liikevektorimäärän sisältävä * * * v : optinen vuo, voidaan liikevektoreiden määrää lisätä eli kasvattaa optisen vuon resoluutiota (vaiheet 910 ja 911). Uusien lisättävien liikevektorien alku-siirtymät saadaan interpoloimalla vanhojen liikevektorien siirtymien välillä. ·:··: 30 Prosessi aloitetaan uudelleen liikevektoreiden määrän (etäisyys toisistaan) ·’*: valinnalla ja alipäästösuodatuksella. Tällaista prosessointia jatketaan, kun- nes ollaan päästy haluttuun vektoritiheyteen eli ollaan muodostettu optinen ’···] vuo kuvien väliin.

Uusi kuva (tai kuvat) lasketaan vuon ja alkuperäisten kuvien avulla ··': 35 yhtälön (2-1) kuvaaman menetelmän avulla (kuviot 4 ja 5). Toinen vaihtoeh- toinen tapa uuden kuvan/kuvien muodostamiseksi on interpoloida kuvapis- 15 1 08900 ! teen arvo optisen vuon jokaiselle liikevektorille halutulle tasolle z: toisin sanoen liikevektorin pisteen arvo tasossa z saadaan ensimmäisen kuvan ja lii-kevektorin sekä toisen kuvan ja liikevektorin leikkauspisteiden arvoista inter-poloimalla. Tässä tavassa siis lasketaan arvo liikevektorin pisteelle halutulla 5 z:n arvolla (kuvio 11).

Vaikka tässä esimerkissä on tarkasteltu vuon ja uuden kuvan määrittämistä kahta alkuperäistä kuvaa hyväksikäyttäen, niin on mahdollista käyttää useampaa kuin kahta kuvaa optisen vuon ja uuden kuvan määrittämiseen. Tällöin joudutaan luonnollisesti modifioimaan laskentaa ja menetel-10 mää edellä esitettyyn verrattuna.

Keksinnön toinen suoritusmuoto

Keksintöä voidaan hyödyntää myös aliasoituneiden kuvien suurentamisessa. Aliasoituneiila kuvilla tarkoitetaan tässä kuvia, joiden näyt-! 15 teenottotaajuus on pieni verrattuna kuvien sisältämiin taajuuksiin. Suurennet taessa aliasoituneita kuvia menetelmällä saavutetaan kuvion 12 mukainen etu perinteiseen interpolointiin nähden eli varjokuvien muodostuminen on vähäisempää.

Kuviossa 12 on suurennettu objektia A pystysuunnassa kertoimella 20 kaksi. Objekti B esittää perinteisillä interpolointimenetelmillä saatavaa tulosta, ja objekti C esittää optisen vuon avulla saatavaa interpolointitulosta.

·:*. Aliasoituneita kuvia suurennettaessa uusi kuva haetaan samaan • · · tapaan kuin kahden kuvan välillä interpoloitaessa: tässä uusi kuva kuitenkin » · · haetaan kahden vierekkäisen kuvapisterivin/sarakkeen väliin - ei kahden ku- % · · . 25 van väliin, vaan tavallaan kuvan sisään. Aiemmin esitetyt yhtälöt saadaan ’;t/ tässä muotoon: * * · :·: ; un+1 = un + r((U-un)~ a(un) (g1 (x+un) - g2(x-un)) Äjf+I/„) ·> ^ (X-U„)) (4-1) ...,: dx dx * · 30 ja a(ux) = «o · max{0,1 - \ux\}}, (4-2) » ' * missä 5 ‘·: l*Al = |w*(x)l = max {|u(x+1) - u(x)|, |u(x-1) - u(x)|}/d, O (4-3) 108900 16 missä d on liikevektorien kiinnityspisteiden välinen etäisyys kiinnitystasossa, x on liikevektorin kiinnityspiste ja u on liikevektorin siirtymä kohtisuorasta asennosta.

Yhtälön 4-3 tilalla voidaan käyttää myös muuta yhtälöä, joka ap-5 proksimoi derivaatan tarkasteltavassa pisteessä x, kuten esimerkiksi: |w*l = \uM = {\U(X+1) - |ii(x-1 )\/d, (4-4) missä siis derivaatan approksimaatio haetaan naapuriliikevektorien siirtymien 10 erotuksesta eikä tarkasteltavan pisteen liikevektorin ja naapuriliikevektorin siirtymien erotuksesta. Kuvio 13 kuvaa esimerkkiä kahden kuvapisteri-vin/sarakkeen, gΛ ja g2, väliin muodostettavista liikevektoreista.

Edelleen uusien pikseleiden laskemisessa voidaan nyt käyttää algoritmia: 15 yn = x- u(y^)· z, (4-5) missä z on laskettavan kuvatason etäisyys liikevektoreiden kiinni-tyspistetasosta.

20 Seuraavaksi esitetään kuvioon 14a viitaten esimerkki menetelmän soveltamisesta tilanteeseen, jossa on tunnettu yksi kuva, haetaan kuvan : : : kunkin vierekkäisen pikselirivin ja -sarakkeen välinen optinen vuo sekä las- : : ‘ ketään uudet pikselirivit ja -sarakkeet vuon ja alkuperäisten pikselirivien ja - : ·.. sarakkeiden avulla.

25 Aluksi prosessoitavat kuvat tuodaan sisään vuon määritysjärjes- . telmään. Tässä vaiheessa valitaan näytteenottomatriisin koko eli kuinka mo- neksi kuva-alkioksi eli pikseliksi kuvat digitalisoidaan, ellei kuvia ole jo aikaisemmin esitetty digitaalisessa muodossa. Seuraavaksi kuvista mitataan kunkin kuva-alkion arvo ( vaihe 131). Arvo voi olla esimerkiksi väri tai harmaasä-’/ 30 vy. Se, mitä arvoa käytetään, voidaan valita tilanteen mukaan.

‘ Valitaan liikevektoreiden määrä, ja alipäästösuodatetaan kaksi ensimmäistä pikseliriviä esimerkiksi konvoloimalla Gaussin funktiolla (vaihe 132). Otetaan suodatuksen yhteydessä muistiin suurimmat derivaatat molemmissa kuvan tason suunnissa (g’^ = max{gJ1j1( g’21, g\ 2, g’22}) sekä ku-35 vien suurimmat ja pienimmät arvoerot (esimerkiksi harmaasävyarvot gmjn = minig^ gj, gmax = max^, gj). Derivaatat saadaan laskemalla kahden vie- 108900 17 rekkäisen kuvapisteen harmaasävyn välinen erotus. Asetetaan parametri 0¾ siten, että viivojen suurin mahdollinen päivityssiirtymä tulee mahdollisimman suureksi muttei riko rajoitusehtoa, esimerkiksi 0¾ = d / (g’max · (gmax -gmin))(vaihe 133).

5 Edellä kuvatun kuvien prosessoinnin jälkeen määritetään kiinni- tystaso ja siinä olevat kiinnityspisteet pikselirivien puoleenväliin (vaihe 134). Kiinnityspisteiden määrä on sama kuin suodatuksen yhteydessä määritetty liikevektoreiden määrä. Liikevektoreiden kiinnitys voidaan suorittaa myös aikaisemmassa vaiheessa.

10 Jokaiselle (kuhunkin kiinnityspisteeseen kiinnitetylle), liikevektorille tehdään seuraavasti: a) Haetaan kuvapisteiden arvot, liikevektorin siirtymä ja derivaatat liikevekto-rin ja pikselirivin leikkauspisteissä, x+u(x) 1. rivillä ja x-u(x) 2. Rivillä (vaihe 135).

15 b) Lasketaan kuvauksen Laplace eli tasaisuus esimerkiksi laskemalla liike-vektorin siirtymän u(x) ja tämän molemmilla puolilla olevien liikevektoreiden siirtymien keskiarvon välinen erotus (vaihe 136).

c) Lasketaan lisärajoitus (vaihe 137), eli määritetään esimerkiksi liikevektorin siirtymän u(x) ja vierekkäisten liikevektorien siirtymien väliset erotukset, ja 20 valitaan näistä suurin.

d) Sijoitetaan suureet yhtälöön (4-1), jolloin lisärajoitus muuttaa parametria a, ja päivitetään liikevektorin siirtymä (vaihe 138).

, : Vaiheet a)-d) suoritetaan jokaiselle liikevektorille, ja niitä toistetaan :’·.. 10-15 kertaa, tai kunnes kuvauksen muutos katsotaan riittävän pieneksi 25 (vaihe 139).

; Tämän jälkeen lisätään haluttaessa liikevektorien lukumäärää (vaiheet 1310 ja 1311), ja aloitetaan prosessi uudella alipäästösuodatuksella. Uusien lisättävien viivojen alkusiirtymät saadaan interpoloimalla vanhojen viivojen siirtymien välillä. Edellä kuvattua prosessia toistetaan niin kauan, 30 kunnes ollaan päästy haluttuun viivatiheyteen.

’ ’ Sen jälkeen kun kahden ensimmäisen pikselirivin välinen vuo on saatu muodostettua ja talletettua, siirrytään seuraavaan pikselirivipariin (ku-·:··: vio 14b, vaiheet 1312 ja 1313). Uudelle pikseliriviparille tehdään samat toi minnot kuin ensimmäiselle riviparille, paitsi että aiempi toinen rivi muuttuu nyt ’ 35 ensimmäiseksi riviksi, joten suodatukset joudutaan toistamaan ainoastaan • · « ’ · "· jälkimmäiselle riville.

18 1 08900

Kuvan jokainen pikselirivipari prosessoidaan edellä kuvatulla tavalla, jonka jälkeen siirrytään käsittelemään pikselisarakkeita (vaiheet 1314 ja 1315). Myös kuvan pikselisarakeparit prosessoidaan vastaavasti.

Lasketaan halutut uudet pikselirivit ja -sarakkeet vuon ja alkupe-5 räisten pikselien avulla jommankumman aiemmin kuvatun menetelmän avulla (yhtälö 4-5, kuvio 4 tai kuvio 11).

Muistin säästämiseksi uudet pikselirivit ja -sarakkeet voidaan laskea myös välittömästi vuon määrittämisen jälkeen, jolloin vuon tallentaminen korvataan uusien pikselirivien/sarakkeiden muodostamisella.

10 Resoluution kasvatuksessa tarvittava vuo voidaan muodostaa myös laskemalla pikselirivit ja -sarakkeet yhtäaikaisesti: Muodostetaan kaksiulotteinen vuomatriisi laskettavista liikevektoreista esimerkiksi oheisen kuvion 15 mukaisesti. Rivejä vastaavien vektoreiden kiinnityspisteitä on merkitty R:llä, ja sarakkeiden perusteella laskettujen vektoreiden kiinnityspisteitä 15 S:llä. Kiinnityspisteet on yhdistetty kuviossa selventävillä viivoilla. Tyhjät pisteet ovat alkuperäisen kuvan pisteitä.

Tässä yhteydessä on tarkasteltu suorakulmaista pikselikoordinaa-tistoa, mutta aivan yhtä hyvin pikselijonot voisivat esimerkiksi olla 45°:een kulmassa, joiden väliin muodostetaan uudet pikselit. Myös tässä yhteydessä 20 on mahdollista käyttää useampaa kuin kahta pikselijonoa/saraketta vuon ja uuden kuvan määrittämiseen.

·:·. Keksinnöllä saavutetaan aikaisempaan tunnettuun tekniikkaan nähden lyhyehkö laskenta-aika sen ansiosta, että jokaista välikuvaa ei tarvit-.! se laskea erikseen. Keksintö mahdollistaa myös suuretkin kuvien väliset ‘" 25 muutokset johtuen liikkeen minimoivan termin häviämisestä rajoitteiden rik- ’· / koutuessa okluusiopisteissä. Menetelmä on myös hyvin robusti automaatti- ‘ ‘ * sen säätymisen (painokertoimen muuttuminen) ansiosta.

: Vuo määritellään siten, että alkuperäisten kuvien väliin muodostet tavat uudet kuvat voidaan kaikki muodostaa saman optisen vuon avulla. Alue *:*: 30 keksinnön soveltamiseksi on hyvin laaja. Optisen vuon iikeinformaatiota voi- daan käyttää esimerkiksi uusien kuvien interpoloimiseen tai extrapoloimi-.:. seen, kuvasekvenssin laadun parantamiseen ja kameran avulla tapahtuvaan ’··*’ nopeusmittaukseen. Toisiaan vastaavien kuvapisteiden määritys liittyy myös kolmiulotteisten kuvien muodostamiseen stereokuvaparien perusteella. Ku-35 vien perusteella tapahtuvaa liikkeen tunnistusta käytetään useissa konenäön sovelluksissa. Liikeinformaatiota voidaan käyttää myös kuvasaijan kuvien 108900 19 muuttamiseen ja kuvasarjan siirtämiseen vaadittavan informaation vähentämiseen eli pakkaukseen. Koska menetelmän avulla uusia kuvia saadaan muodostettua rajoittamaton määrä yhden vuon avulla, kuvien pakkaus on aiemmin tunnettuja menetelmiä tehokkaampaa.

5 Rajoitteiden toteutumisesta huolehtiminen mahdollistaa nopeasti suppenevan ja laskennallisesti kevyen algoritmin käyttämisen vuon määrityksessä, mikä tekee keksinnön hyödyntämisen edulliseksi myös sellaisissa sovelluksissa, joihin uusien kuvien tuottaminen ei suoranaisesti liity.

Menetelmää voidaan käyttää myös kuvien resoluution kasvatuk-10 seen sekä korkealaatuisten pysäytyskuvien tuottamiseen videokuvasta.

Vaikka keksintöä on edellä kuvattu lähinnä kahden alkuperäisen kuvan väliin muodostettavan kuvan ja aliasoituneen kuvan suurentamisen esimerkeillä, voidaan keksintöä soveltaa keksinnöllisen ajatuksen puitteissa myös muissa sovelluksissa, kuten esimerkiksi käyttää useampaa kuin kahta 15 kuvaa vuon määrityksessä ja uuden kuvan muodostamisessa.

* · 1 ·

Claims (27)

1. Menetelmä liikevektoreista koostuvan liikevektorikentän muodostamiseksi vähintään kahden kuvan välille kuvankäsittelyn yhteydessä, jossa menetelmässä liikevektorikenttä saadaan aikaan 5 muodostamalla vektorit, jotka yhdistävät kuvien toisiaan vastaavia kuvapisteitä ja minimoimalla muodostetuista vektoreista koostuva vektorikenttä ainakin kahden kriteerin suhteen, joista ensimmäinen kriteeri kuvaa kuvien välistä liikeinformaatiota ja toinen kriteeri vektorikentän tasaisuutta, 10 tunnettu siitä, että liikevektorikentän muodostamisessa käytetään lisärajoitteita, jotka määrittävät liikevektorikohtaisesti liikevektorille sallitun suunnanmuutoksen raja-arvot, ja että liikevektorikentän muodostamisessa ensimmäisen kriteerin painotusta säädetään liikevektorikohtaisesti pienemmäksi lähestyttäessä raja-arvoja, jolloin säädön johdosta 15 ensimmäisen kriteerin suhteellinen osuus pienenee ja toisen kriteerin suhteellinen osuus kasvaa liikevektorikenttää muodostettaessa minimoimalla

2. Vaatimuksen 1 mukainen menetelmä, tunnettu siitä, että liikevektorin saavuttaessa sallitun suunnanmuutoksen raja-arvot ensimmäisen kriteerin painotus nollataan.

3. Vaatimuksen 1 mukainen menetelmä, tunnettu siitä, että ·:*. ensimmäisen kriteerin painotus on verrannollinen liikevektorin pienimpään etäisyyteen raja-arvoista, joiden mukaan kahden vierekkäisen liikevektorin • · ! suunnanmuutoksen, jossa suunnanmuutos vastaa poikkeamaa kuvatasoa , '[ vasten olevasta kohtisuorasta suunnasta, joka suunnanmuutos ilmaistaan ; / 25 kuvatason suuntaisena siirtymävektorina, välisen erotuksen itseisarvon on • ‘ : oltava pienempi kuin samojen liikevektorien kiinnityspisteiden välinen etäisyys, jossa kiinnityspisteet määrittävät sijaintipisteet, joiden kautta yksittäisten liikevektorien on kuljettava.

:·! 4. Vaatimuksen 1 mukainen menetelmä, jossa menetelmässä: • ’ ‘ ‘: 30 - valitaan liikevektoreiden määrä ja etäisyys toisistaan, ‘ . - määritetään jokaisen kuva-alkion arvo ja derivaatat, - asetetaan askelparametri liikevektorikentän iterointia varten, ‘ ·;·' - haetaan jokaiselle liikevektorille sen ja kuvatasojen : ‘ ·’; leikkauspisteiden arvot ja derivaatat, » » 35. lasketaan liikevektorikentän tasaisuus, 108900 21 - määritetään jokaiselle liikevektorille sen kuvatason suuntaisen siirtymävektorin muutoksen suuruus, joka siirtymävektori vastaa liikevektorin poikkeamaa kuvatasoa vasten olevasta kohtisuorasta suunnasta, 5. iteroidaan liikevektorikenttä, siten että liikevektorien siirtymävektorien muutos on riittävän pieni, - lisätään liikevektoreiden määrää, - toistetaan edelliset vaiheet, kunnes liikevektorien määrä on riittävä, 10 tunnettu siitä, että liikevektorikentän liikevektorit kiinnitetään kuvien puolessa välissä olevaan tasoon, jolla kiinnittämisellä määritetään jokaiselle liikevektorille piste, jonka kautta liikevektorin on kuljettava, ja haetaan jokaisen liikevektorin siirtymävektorille raja-arvot, sekä käytetään raja-arvoja liikevektorikentän iteroinnassa.

5. Jonkin vaatimuksen 1-3 mukainen menetelmä, tunnettu siitä, että liikevektorikentän liikevektorit on kiinnitetty kiinnityspisteisiin, jotka sijaitsevat kuvien puolessa välissä olevalla tasolla.

6. Jonkin vaatimuksen 1-4 mukainen menetelmä, tunnettu siitä, että liikevektorikentän liikevektorit on kiinnitetty kiinnityspisteisiin, jotka 20 sijaitsevat jonkin kuvan tasolla.

:·. 7. Jonkin vaatimuksen 1-4 mukainen menetelmä, tunnettu ·;·. siitä, että liikevektorikentän liikevektorit on kiinnitetty kiinnityspisteisiin, jotka sijaitsevat jollakin kuvien välissä olevalla tasolla.

. , 8. Vaatimuksen 3 tai 4 mukainen menetelmä, tunnettu siitä, ; 25 että jokaisen liikevektorin suunnanmuutoksen raja-arvo, jossa ' suunnanmuutos ilmaistaan kuvatason suuntaisena siirtymävektorina, joka ·’ samalla määrittää liikevektorin pisteen kuvatasolla, saadaan määrittämällä kunkin liikevektorin siirtymävektorin ja ympäröivien liikevektorien ··· siirtymävektorien väliset erotukset, ja valitsemalla näistä itseisarvoltaan *: 30 suurin.

[ . 9. Vaatimuksen 3 tai 4 mukainen menetelmä, tunnettu siitä, että jokaisen liikevektorin suunnanmuutoksen raja-arvo, jossa ;·’ suunnanmuutos ilmaistaan kuvatason suuntaisena siirtymävektorina, joka : ’ samalla määrittää liikevektorin pisteen kuvatasolla, saadaan määrittämällä 35 kutakin liikevektoria ympäröivien liikevektorien siirtymävektorien väliset erotukset, ja valitsemalla näistä itseisarvoltaan suurin. 108900 22

10. Jokin edellä mainitun vaatimuksen mukainen menetelmä, jossa muodostetaan liikevektorikentän avulla uusi kuva alkuperäisistä kuvista, tunnettu siitä, että haetaan ensin jokaiselle uuden kuvan ennalta asetetulle kuva-alkiolle sen kautta kulkeva liikevektori, ja interpoloidaan 5 jokaiselle uuden kuvan kuva-alkiolle arvo alkuperäisten kuvien kuva-alkioiden arvoista, jotka saadaan valitun liikevektorin ja alkuperäisten kuvien leikkauspisteistä.

11. Jonkin vaatimuksen 1-9 mukainen menetelmä, jossa muodostetaan liikevektorikentän avulla uusi kuva alkuperäisistä kuvista, t u n 10. e t t u siitä, että interpoloidaan jokaiselle liikevektorin ja halutun uuden kuvatason leikkauspisteelle, joka määrittää kuva-alkion sijainnin uudessa kuvassa, arvo alkuperäisten kuvien kuva-alkioiden arvoista, jotka saadaan kunkin liikevektorin ja alkuperäisten kuvien leikkauspisteistä.

12. Vaatimuksen 10 mukainen menetelmä, tunnettu siitä, että 15 uuden kuvan määritettävän kuva-alkion kautta kulkeva liikevektori haetaan valitsemalla aluksi jokin liikevektori, määritetään haetun liikevektorin ja määritettävän kuva-alkion välinen etäisyysvektori kuvien suuntaisessa tasossa, valitaan uudeksi liikevektoriksi se vektori, jonka kiinnityspiste on edellä määritetyn, mutta päinvastaiseen suuntaan olevan etäisyysvektorin 20 päässä aikaisemmin valitun liikevektorin kiinnityspisteestä, ja toistetaan | uuden liikevektorin valintaa, kunnes etäisyysvektorin arvo katsotaan riittävän :·. pieneksi, jolloin viimeksi valittu liikevektori on haettu liikevektori.

13. Vaatimuksen 1 tai 4 mukainen menetelmä .tunnettu siitä, että käytettäessä paritonta määrää alkuperäisiä kuvia liikevektorit 25 kiinnitetään keskimmäisen alkuperäisen kuvan tasolle.

14. Menetelmä liikevektorikentän muodostamiseksi kuvan kuva-alkiorivien/sarakkeiden välille kuvankäsittelyn yhteydessä, tunnettu siitä, että menetelmässä liikevektorikentälle haetaan ratkaisu minimoimalla se ainakin kahden kriteerin suhteen, joista ensimmäinen kriteeri kuvaa 30 alkiorivien/sarakkeiden välistä liikeinformaatiota ja toinen kriteeri liikevektorikentän tasaisuutta, jossa liikevektorikentän muodostamisessa käytetään lisärajoitteita, jotka määrittävät liikevektorikohtaisesti liikevektorille sallitun suunnanmuutoksen raja-arvot, ja että liikevektorikentän ratkaisun : haussa ensimmäisen kriteerin painotusta säädetään liikevektorikohtaisesti 35 pienemmäksi lähestyttäessä raja-arvoja, jolloin säädön johdosta ensimmäisen kriteerin suhteellinen osuus pienenee ja toisen kriteerin ! 23 108900 suhteellinen osuus kasvaa liikevektorikenttää muodostettaessa minimoimalla.

15. Vaatimuksen 14 mukainen menetelmä, tunnettu siitä, että liikevektorin saavuttaessa sallitun suunnanmuutoksen raja-arvot 5 ensimmäisen kriteerin painotus nollataan.

16. Vaatimuksen 14 mukainen menetelmä, tunnettu siitä, että ensimmäisen kriteerin painotus on verrannollinen liikevektorin pienimpään etäisyyteen raja-arvoista, joiden mukaan kahden vierekkäisen liikevektorin suunnanmuutoksen, jossa suunnanmuutos vastaa poikkeamaa 10 pikseliriviä/saraketta vasten olevasta kohtisuorasta suunnasta, joka suunnanmuutos ilmaistaan pikselirivin/sarakkeen suuntaisena siirtymävektorina, välisen erotuksen itseisarvon on oltava pienempi kuin samojen liikevektorien kiinnityspisteiden välinen etäisyys, jossa kiinnityspisteet määrittävät sijaintipisteet, joiden kautta yksittäisten 15 liikevektorien on kuljettava.

17. Jonkin vaatimuksen 14-16 mukainen menetelmä, tunnettu siitä, että menetelmässä: - valitaan liikevektoreiden määrä ja etäisyys toisistaan, - määritetään jokaisen kuva-alkion arvo ja derivaatat, 20. asetetaan askelparametri liikevektorikentän iterointia varten, - haetaan jokaiselle liikevektorille sen ja pikselirivien/sarakkeiden leikkauspisteiden arvot ja derivaatat, - lasketaan liikevektorikentän tasaisuus, . . - määritetään jokaiselle liikevektorille sen pikselirivin/sarakkeen / 25 suuntaisen siirtymävektorin muutoksen suuruus, joka siirtymävektori vastaa liikevektorin poikkeamaa : ; pikselirivä/saraketta vasten olevasta kohtisuorasta suunnasta, - iteroidaan liikevektorikenttä siirtymävektorien raja-arvoja "i käyttäen, siten että liikevektorien siirtymävektorien muutos on 30 riittävän pieni, ‘ . - lisätään liikevektoreiden määrää, - toistetaan edelliset vaiheet, kunnes liikevektorien määrä on ’ ; · ‘ riittävä pikselirivien/sarakkeiden välillä, : ·’: - toistetaan edellä mainitut toimenpiteet jokaiselle : ’": 35 pikselirivi/sarakeparille. 24 1 08900

18. Jonkin vaatimuksen 14-17 mukainen menetelmä, tunnettu siitä, että liikevektorikentän liikevektorit on kiinnitetty pikselirivien/sarakkeiden puolessa välissä olevalle suoralle.

19. Jonkin vaatimuksen 14-17 mukainen menetelmä, tunnettu 5 siitä, että liikevektorikentän liikevektorit on kiinnitetty jollekin pikselirivien/sarakkeiden välissä olevalle suoralle.

20. Jonkin vaatimuksen 14-17 mukainen menetelmä, tunnettu siitä, että liikevektorikentän liikevektorit on kiinnitetty jollekin pikseliriville/sarakkeelle.

21. Vaatimuksen 16 tai 17 mukainen menetelmä, tunnettu siitä, että jokaisen liikevektorin suunnanmuutoksen raja-arvo, jossa suunnanmuutos ilmaistaan pikselirivin/sarakkeen suuntaisena siirtymävektorina, joka samalla määrittää liikevektorin pisteen uudella pikselirivillä/sarakkeella, saadaan määrittämällä kunkin liikevektorin 15 siirtymävektorin ja vierekkäisten liikevektorien siirtymävektorien väliset erotukset, ja valitsemalla näistä itseisarvoltaan suurin.

22. Vaatimuksen 16 tai 17 mukainen menetelmä, tunnettu siitä, että jokaisen liikevektorin suunnanmuutoksen raja-arvo, jossa suunnanmuutos ilmaistaan pikselirivin/sarakkeen suuntaisena 20 siirtymävektorina, joka samalla määrittää liikevektorin pisteen uudella V: pikselirivillä/sarakkeella, saadaan määrittämällä kunkin liikevektorin ·;· . molemmilla puolilla olevien liikevektorien siirtymävektorien välinen erotus.

23. Jonkin vaatimuksen 14-22 mukainen menetelmä, jossa ; muutetaan liikevektorikentän avulla kuvan pikselimäärää, tunnettu siitä, 25 että valitaan jokaiselle muutettavan kuvan uuden pikselirivin/sarakkeen ennalta asetetulle kuva-alkiolle sen kautta kulkeva liikevektori, ja ' interpoloidaan jokaiselle muutettavan kuvan kuva-alkiolle arvo alkuperäisten kuvien kuva-alkioiden arvoista, jotka saadaan valitun liikevektorin ja alkuperäisen kuvan pikselirivien/sarakkeiden leikkauspisteestä, j 30

24. Jonkin vaatimuksen 14-22 mukainen menetelmä, jossa muutetaan liikevektorikentän avulla kuvan pikselimäärää, tunnettu siitä, .. että interpoloidaan jokaiselle liikevektorin ja halutun uuden ;· pikselirivin/sarakkeen suoran leikkauspisteelle, joka määrittää uuden kuva- : alkion sijainnin, arvo alkuperäisten kuvien kuva-alkioiden arvoista, jotka : 35 saadaan kunkin liikevektorin ja alkuperäisen kuvan pikselirivien/sarakkeiden leikkauspisteestä. 108900 25

25. Vaatimuksen 23 mukainen menetelmä, tunnettu siitä, että muutetun kuvan uuden pikselirivin/sarakkeen määritettävän kuva-alkion kautta kulkeva liikevektori haetaan valitsemalla aluksi jokin liikevektori, määritetään haetun liikevektorin ja määritettävän kuva-alkion välinen 5 etäisyysvektori pikselirivin/sarakkeen suuntaisessa suorassa, valitaan uudeksi liikevektoriksi se vektori, jonka kiinnityspiste on edellä määritetyn, mutta päinvastaiseen suuntaan olevan etäisyysvektorin päässä aikaisemmin valitun liikevektorin kiinnityspisteestä, ja toistetaan uuden liikevektorin valintaa, kunnes etäisyysvektorin arvo katsotaan riittävän pieneksi, jolloin 10 viimeksi valittu liikevektori on haettu liikevektori.

26. Jonkin vaatimuksen 14-25 mukainen menetelmä, tunnettu siitä, että käytetään useampaa kuin kahta alkuperäistä pikseliriviä/saraketta.

27. Vaatimuksen 26 mukainen menetelmä .tunnettu siitä, että käytettäessä paritonta määrää alkuperäisiä pikselirivejä/sarakkeita 15 liikevektorit kiinnitetään keskimmäisen alkuperäisen pikselirivin/sarakkeen suoralle. i · . { · · 26