FI108900B - Optinen vuo ja kuvan muodostaminen - Google Patents
Optinen vuo ja kuvan muodostaminen Download PDFInfo
- Publication number
- FI108900B FI108900B FI992799A FI19992799A FI108900B FI 108900 B FI108900 B FI 108900B FI 992799 A FI992799 A FI 992799A FI 19992799 A FI19992799 A FI 19992799A FI 108900 B FI108900 B FI 108900B
- Authority
- FI
- Finland
- Prior art keywords
- motion vector
- motion
- image
- vector
- pixel
- Prior art date
Links
- 230000003287 optical effect Effects 0.000 title description 26
- 239000013598 vector Substances 0.000 claims description 250
- 238000000034 method Methods 0.000 claims description 58
- 230000008859 change Effects 0.000 claims description 24
- 230000007704 transition Effects 0.000 claims description 21
- 238000006073 displacement reaction Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims description 2
- 230000004907 flux Effects 0.000 description 38
- 238000001914 filtration Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 241000834102 Ailia Species 0.000 description 1
- 241000972773 Aulopiformes Species 0.000 description 1
- 241000824268 Kuma Species 0.000 description 1
- 241001122767 Theaceae Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 235000019515 salmon Nutrition 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Holo Graphy (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Non-Silver Salt Photosensitive Materials And Non-Silver Salt Photography (AREA)
- Optical Record Carriers And Manufacture Thereof (AREA)
- Road Signs Or Road Markings (AREA)
- Computer And Data Communications (AREA)
Description
108900
Optinen vuo ja kuvan muodostaminen
Keksinnön ala Tämä keksintö liittyy yleisesti digitaaliseen kuvankäsittelyyn, ja 5 erityisesti kuvissa esiintyvän liikkeen tunnistukseen ja analysointiin. Keksintö liittyy myös kahden kuvan välisen optisen vuon määrittämiseen ja uusien, piirteiltään alkuperäisten välimuotoja olevien kuvien muodostamiseen. Optisella vuolla tarkoitetaan liikevektoreista koostuvaa kenttää, joka yhdistää kahden kuvan toisiaan vastaavat kuvapisteet. Keksintöä voidaan käyttää 10 myös kuvan resoluution eli pikselimäärän kasvattamiseen.
Tekniikan taso
Kuvien käsittely digitaalisessa muodossa tarjoaa mitä moninaisemmat mahdollisuudet esimerkiksi muokata ja pakata kuvia sekä muodos-15 taa uusia kuvia. Kahden peräkkäin otetun kuvan välillä on yleensä eroa, johtuen kuvakohteen liikkumisesta. Myös liikkeen tunnistaminen onnistuu digitaalisella kuvankäsittelyllä. Kuvankäsittelyn sovellusaluekenttä on hyvin laaja: useat konenäön sovellukset, videokuvien pakkaus, lääketieteen leike-kuvat, resoluution kasvatus jne.
| 20 Eräs normaali kuvankäsittelyn tehtävä on kahden (yleensä peräk käisinä ajanhetkinä otetun) kuvan välisen liikeinformaation selvitys. Esimerkiksi jos ensimmäisessä kuvassa on koira, jonka häntä heiluu, niin toisessa kuvassa koiran häntä on eri asennossa. Tarkoituksena on selvittää hännän : liikkeeseen sisältyvä liikeinformaatio. Informaation selvitys tapahtuu määrit- I ’·· 25 tämällä kuvien välinen optinen vuo eli liikevektoreista koostuva kenttä, joka : ·: yhdistää kahden kuvan (a ja b, kuvio 1) toisiaan vastaavat kuvapisteet. Kun optinen vuo on määritetty, voidaan sitä hyväksikäyttäen muodostaa kuvien väliin uusi kuva, ns. välikuva.
On olemassa monia tunnettuja menetelmiä optisen vuon määrit-30 tämiseksi, kuten esimerkiksi gradienttimenetelmiä (gradient based methods) :.. ja resoluutiohierarkiaa käyttäviä menetelmiä (motion estimation over hierar chy of resolutions). Muita tunnettuja menetelmiä ovat esimerkiksi kuvaloh-'·.*·; kojen sovitukseen (block-based methods) ja kuvissa esiintyvien objektien so- ·:··: vitukseen perustuvat menetelmät (US-patentti 5.726.713 ja US-patentti 35 4.796.087). Näiden avulla ei kuitenkaan voida saavuttaa samankaltaista ti- ; heän resoluution vuota kuin gradienttimenetelmillä. Oman luokkansa muo- 2 108900 dostavat myös ns. piirrepohjaiset menetelmät (feature-based methods), jotka perustuvat toisiaan vastaavien piirteiden tunnistamiseen ja yhdistämiseen kuvien välillä. Yleisen piirreluokituksen kehittäminen on kuitenkin vaikeaa, joten piirrepohjaisten menetelmien toimivuus riippuu paljolti käsiteltävästä 5 kuvamateriaalista.
Gradienttimenetelmissä (kuten US-patentti 5,241,608) pyritään muodostamaan kuvien väliin liikevektorikenttä, joka yhdistää kuvat siten, että toisiinsa yhdistettyjen kuvapisteiden välisten arvoerojen (kuten esimerkiksi valoisuuserojen) neliösumma minimoituu (eli liikkeen huomioivan keskineliö-10 virheen minimointi). Tämä ehto ei kuitenkaan riitä määrittämään syntyvää vuota yksikäsitteisesti: lisäehtona käytetään vuon tasaisuutta, eli vaatimusta siitä, että ensimmäisessä kuvassa olevien pisteiden välimatkan on pysyttävä suurin piirtein samana myös toisessa kuvassa.
Vuon tasaisuuskriteeri aiheuttaa ongelmia niinsanotuissa ok-15 luusiopisteissä, eli kohdissa, joissa kuvassa esiintyvä objekti liikkuu toisen kuvassa esiintyvän objektin päälle (kuvio 2, viitemerkki o). Näissä kohdissa optinen vuo ei ole luonteeltaan tasainen. Tästä aiheutuvia ongelmia on pyritty välttämään siten, että luovutaan tasaisuuskriteeristä niissä kohdin, jotka voidaan olettaa olevan jonkin kuvan esittämän objektin reunapisteitä. Pistei-20 den luokittelussa todennäköisiksi reunapisteiksi voidaan käyttää esimerkiksi kuvien harmaasävyjen nopeita muutoksia ja määritetyn vuon ominaisuuksia.
Johtuen optisen vuon epätasaisuudesta tunnetut menetelmät jou-·;·. tuvat laskemaan jokaisen välikuvan erikseen, mikä lisää laskennan määrää ja prosessiin kuluvaa aikaa riippuen haluttujen välikuvien määrästä. Keksin- • * · .! 25 nön tarkoituksena on vähentää näitä tunnetun tekniikan haittoja.
Keksinnön lyhyt yhteenveto : Keksinnön mukainen päämäärä saavutetaan patenttivaatimuksis- ; sa kuvatulla tavalla. Keksinnön ajatuksena on tuottaa sellainen vuo, joka 30 määrää yksikäsitteisesti alkuperäisten kuvien välissä olevien pisteiden vas-·:·: tinpisteet alkuperäisten kuvien pinnalla, eli välikuvan jokaisella pisteellä on • yksi vastinpiste kummassakin alkuperäisessä kuvassa. Vuo määritetään si- .:. ten, että alkuperäisten kuvien väliin muodostettavat uudet kuvat voidaan *···[ kaikki muodostaa saman optisen vuon avulla. Vuon jokaisella liikevektorilla 35 on sallittu kyseistä liikevektoria ympäröivien liikevektorien määräämä liikku-ma-alue, jonka rajoissa sen suunta voi siirtyä vuota muodostettaessa. Liik- » » 108900 3 kuma-aluetta käytetään siis keksinnössä lisärasitteena, joka huomioimalla varmistetaan vuon yksikäsitteisyys. Koska kuvainformaatio sisältää usein li-särajoitteet rikkovia alueita (kuten okluusiopisteet), näiden alueiden yksikäsitteisyyden takaaminen varmistaa koko vuon yksikäsitteisyyden. Yksikäsittei-5 nen vuo saadaan toteutumaan säätämällä vuota muodostettaessa liikkeen huomioivan keskineliövirheen ja tasaisuuskriteerin osuutta siten, että lisära-joitteiden rikkoutumisen läheisyydessä liikkeen huomioivan keskineliövirheen osuutta pienennetään. Tämä on edullista tehdä siten, että keskineliövirheen osuus nollataan kokonaan lisärajoitteiden rikkoutuessa.
10 Koska menetelmän avulla uusia kuvia saadaan muodostettua ra joittamaton määrä yhden vuon avulla, menetelmä mahdollistaa esimerkiksi aikaisempia menetelmiä tehokkaamman tavan kuvasarjan pakkaamiseen. Keksintö tarjoaa nopeasti suppenevan ja laskennallisesti kevyen algoritmin käyttämisen vuon määrityksessä, mikä tekee keksinnön hyödyntämisen edul- 15 liseksi myös sellaisissa sovelluksissa, joihin uusien kuvien tuottaminen ei suoranaisesti liity. Lisäksi keksintö mahdollistaa esimerkiksi alkuperäisen kuvan suurentamisen, niin että suurennettu kuva on ihmissilmälle miellyttävämpi kuin aikaisemmilla tavoilla suurennettu kuva.
20 Kuvioluettelo
Seuraavassa keksintöä selostetaan yksityiskohtaisemmin viitaten kuvioiden 1-15 esimerkkeihin, jotka on esitetty oheisissa piirustuksissa, jois-·:·. sa 25 kuvioi esittää esimerkkiä kahden kuvan välisestä optisesta vuosta, :, " kuvio 2 esittää esimerkkiä optisen vuon okluusiopisteistä, kuvio 3 havainnollistaa keksinnön mukaisen vuon yksittäisen liikevektorin :: : määrittelyä ja liikevektorin siirtymää, ; kuvio 4 esittää esimerkkiä keksinnön mukaisesta uuden kuvan kuvapis- 30 teen kautta kulkevan liikevektorin hausta, ·:··: kuvio 5 havainnollistaa vuokaaviomuodossa uuden kuvan kuvapisteen ar- von hakua, kuvio 6 havainnollistaa keskineliövirhe-osuuden painokertoimen muuttu-' · · · * mistä liikevektorin sallitulla liikkuma-alueella, * ’ 35 kuvio 7 havainnollistaa yksittäisen liikevektorin sallittua aluetta kuvatasos- : ‘ : sa, kun rajoittavana tekijänä on yksi naapuriliikevektori, I I · 4 108900 kuvio 8 havainnollistaa yksittäisen liikevektorin sallittua aluetta kuvatasossa, kun rajoittavana tekijänä on neljä naapuriliikevektoria, kuvio 9 havainnollistaa yksittäisen liikevektorin sallittuja alueita molemmilla kuvatasoilla, 5 kuvio 10 esittää vuokaaviomuodossa esimerkkiä keksinnön mukaisesta optisen vuon muodostamisesta, kuvio 11 esittää vuokaaviomuodossa esimerkkiä uuden kuvan muodostamisesta uudelle kuvatasolle, kuvio 12 esittää esimerkinomaisesti aliasoituneen kuvan suurentamista 10 tunnetulla tavalla ja keksinnön esittämällä tavalla, kuvio 13 esittää esimerkkiä kahden pikselirivin/sarakkeen väliin muodostettavista liikevektoreista, kuvio 14a esittää vuokaaviomuodossa esimerkkiä keksinnön mukaisesta uuden suurennetun kuvan muodostamista, 15 kuvio 14b esittää jatkoa kuvioon 14a, kuvio 15 havainnollistaa keksinnön mukaista kuvan suurentamista, kun pik-selirivit ja -sarakkeet käsitellään yhtäaikaisesti.
Keksinnön yksityiskohtainen selostus 20 Seuraavassa kuvataan keksinnön matemaattista taustaa. Monet esitettävistä kaavoista ovat jo aikaisemmin tunnettuja, joten niitä vastaavia muitakin yhtälöitä löytyy alan kirjallisuudesta - esimerkiksi kustannusfunktion ‘ · ‘ ja iteroinnin laskemiseksi. Kuitenkin keksinnön ymmärtämiseksi ja kuvaami- : seksi matemaattinen tarkastelu on välttämätöntä. Vektorit on merkitty tar- : '·· 25 kastelussa vahvennetuilla kirjainmerkinnöillä. Tässä yhteydessä tarkastel- laan kahden kuvan käyttöä optisen vuon ja uuden kuvan määrittämisessä, :T: mutta on myös mahdollista käyttää useampaa kuvaa, jolloin voidaan elimi- ; noida kuvissa esiintyviä kohinaosuuksia.
Optisen vuon (kuvio 1) määrittäminen kahden kuvan välille voi- , 30 daan esittää kahden suureen optimointitehtävänä, jolloin joudutaan valitse- maan minimoitavan funktion suureiden keskinäinen suhde. (Suureita voi olla useampikin sovelluskohteesta riippuen.) Kuten edellä esitettiin, gradientti- :/·· menetelmissä käytetään yleensä suureina kuvapisteiden arvoerojen neliö- ·; ·’: summaa ja vuon tasaisuutta. Tavoitteena on siis toisaalta vuon yhdistämien ·’·. 35 kuvapisteiden eli kuva-alkioiden arvojen (esim. valoisuusarvojen) erotuksen » » » ; ‘. minimointi ja toisaalta vuon tasaisuus, eli vaatimus siitä että ensimmäisessä 5 108900 kuvassa lähekkäin olevat pisteet kuvautuvat toistensa lähelle myös toisessa kuvassa.
Muodostetaan kuvien väliin vektorikenttä, joka koostuu yksittäisistä liikevektoreista L (kuvio 3). Vektorikenttä on kiinnitetty kuvien väliin siten, 5 että kunkin vektorin tukipiste k on kuvien a ja b puolessa välissä. Pisteeseen k = (x, y) kiinnitetty liikevektori leikkaa kuvapinnat pisteissä k + t = (x+u, y+v) ja k-t = (x-u, y-v), missä t on liikevektorin siirtymä kuvien pintaa vastaan kohtisuorasta asennosta.
Ajatellaan vektorikenttä jatkuvaksi, jolloin minimoitavaksi yhtälöksi 10 saadaan: J = ilf(u(x, y), v(x, y), ux, uy, vx, vy) dx dy, (1-1) missä integraalilausekkeen sisällä oleva funktionaali on 15 f= a (g, (x+t/(x, y), y+v(x, y)) - g2 (x-u(x, y), y-v(x, y))f , {du(x,y) 2 (du(x,y) 2 | ,dv(x,y) 2 (dv(x,y) 2 dx dy dx ' [dy = a( g, (x+u, y+v) -g2(x-u, y-v))2 + u2 + u2 + v2 + v2, (1-2) 20 missä g1 on ensimmäisen kuvan kuva-alkion arvo, g2 toisen kuvan kuva-alkion arvo ja ux, uy, vx, vy osittaisderivaattoja alaindeksin suhteen.
Minimoitava funktionaali koostuu toisaalta tasaisuuskriteeristä, eli ’ vuon osittaisderivaattojen summasta u2 + u2 + v2 + v2, ja toisaalta liikkeen ·' ‘‘ 25 huomioivasta keskineliövirhekriteeristä ( g: (x+u, y+v) - g2 (x-u, y-v))2. Kri- i teereiden keskinäisen suhteen määrää parametri a.
• · · v : Funktionaalin J minimi voidaan hakea variaatiolaskennalla mää- : räämällä J:n variaatiot u:n ja v.n suhteen nolliksi. Tällä rajoituksella toteutu vat yhtälöt: 30 df d df ddf du dx dux dy duy (13a) ·:·: df d df d df n dv dx dvx dy dvy (1_3b) 6 108900
Yhtälöiden (1-3a) ja (1-3b) ensimmäiset termit voidaan kirjoittaa muotoon: 5 K = 2a {g, (x+u, y+v) - g2 (x-u, y-v)) du ^g^x + u^ + v) | dg2(x-u,y-v)) (14a) ÖX dx ΛΧ — =2 a(g,(x+u,y+v)-g2(x-u,y-v)) dv dg^x + u.y + v) | dg2(x-u,y-v) 4b dy dy ' 10
Yhtälöiden (1-3) jälkimmäiset termit voidaan merkitä: d df d df ——-=2uxx\ —— =2υπ ; (1-5a) dx 8ux dy duy d df d df 15 ——= 2vxx] -—-=2vyy. (1 _5b) dx dvx dy dvy
Sijoittamalla (1-4) ja (1-5) yhtälöihin (1-3) saadaan: •:. a ( g, (x+u, y+v) - g2 (x-u, y-v)) ((x+u, y+v) + (x-u,y-v)) : · · dx dx 20 —V2u = 0, (1-6a) t I · I · · a ( g, (x+u, y+v) - g2 (x-u, y-v)) (^ (x+u, y+v) + ^ (x-u, y-v)) dy dy -V2/ = 0, (1-6b) :"': 25 missä vuon Laplace V2u = uxx + υπ ja V2v = vxx + νπ.
* » 7 108900
Riippuen siitä, mitä matemaattista laskentatapaa käytetään, Lap-lacea voidaan approksimoida esimerkiksi termeillä V2ti« ΰ - o, ja V2v «v - v, missä 5 u(x,y) = 1 /4 (u(x,y- 1) + u(x-1 ,y) + u(x+1 ,y) + ti(x, y+1) (1-7) jossa u(x+i, y+i) ovat pistettä (x, y) ympäröivät laskentapisteet. Vastaava pätee myös v :lle. Laskentapisteiden lukumäärä on tässä tarkastelussa 4, mutta se voi olla esimerkiksi myös 8. Kuviossa 7 tarkastelupisteen k ympärillä 10 olevat laskennassa käytetyt neljä naapuripistettä on yhdistetty katkoviivalla. Jos laskennassa käytettäisiin kahdeksaa ympärillä olevaa laskentapistettä, jokainen tarkastelupisteen k ympärillä oleva piste vaikuttaisi U :n ja v :n arvoon.
Vuo voidaan tällöin määrittää minimoimalla yhtälöt (1-6) seuraa-15 van iteratiivisen prosessin avulla: | _ : Un+1 = Un + Y[(u- un)~ a(g, (x+un, y+vn) - g2 (x-un, y-vn)) (^ (x+un, y+vn) + ^ (x-ii„, y-vn))] (1-8a) dx dx 20 v„+1 = vn + γ[(ν-νη)-α{ g1 {x+un, y+vn) -g2(x-un, y-vn)) ((x+un, y+vn) + ^ (x-u„, y-vn))], (1-8b) dy dy * * · ·* missä / on iteroinnissa käytettävä relaksaatioparametri, joka määrittää päivi- tystermin osuuden uudessa liikevektorin arvossa.
25 Yhtälöiden 1-8 mukaisen vuon määrityksen jälkeen voidaan mää- • · rittää tunnettujen kuvien välissä olevien kuvien kuvapisteiden arvot eli värit ,··,·. (tai esim. harmaataso). Alkuperäisten kuvien puolessa välissä olevan kuvan I · · kuvapisteiden arvot saadaan liikevektoreiden ja kuvien leikkauspisteiden pe-. rusteella. Haluttaessa määrittää jonkin sellaisen alkuperäisten kuvien välisen 30 pisteen arvo, joka ei sijaitse kuvien puolessa välissä, on ensin määritettävä ·;·’ se liikevektori, joka kulkee tämän kuvapisteen kautta, jonka jälkeen halutun pisteen arvo interpoloidaan alkuperäisten kuvien pisteistä. Kyseinen vektori ·:··· voidaan hakea esimerkiksi seuraavan iteratiivisen algoritmin avulla (kuviot 4 ja 5): valitaan se liikevektori LO (vaihe 51), jonka kiinnityspiste (y,0) on sa-
» I
8 108900 maila kuvia vastaan kohtisuoralla viivalla kuin määritettävä piste (x, z); määritetään tämän liikevektorin ja määritettävän pisteen välinen etäisyysvektori eO kuvien suuntaisessa tasossa (vaihe 52; valitaan uudeksi liikevektoriksi L1 (vaihe 54) se vektori, jonka kiinnityspiste (y1,0) on edellisessä vaiheessa 5 määritetyn etäisyysvektorin päässä päinvastaiseen suuntaan (-eO) edellisen liikevektorin kiinnityspisteestä (y,0); toistetaan näitä vaiheita, kunnes etäisyysvektorin arvo katsotaan riittävän pieneksi (vaihe 53). Lopuksi haetaan uuden kuvatason pisteen arvo valitun liikevektorin perusteella (vaihe 55). Lii-kevektorikenttä saadaan interpoloimalla jatkuvaksi, eli kiinnityspisteiden vä-10 Iissä olevat liikevektorit on muodostettu ympäröivien kiinnityspisteiden kautta kulkevien liikevektorien arvoista interpoloimalla. Uuden kuvan muodostamisessa voidaan siis käyttää alkuperäisten kiinnityspisteiden kautta kulkevia liikevektoreita tai niiden väliin interpoloituja liikevektoreita.
Merkitsemällä määritettävän pisteen koordinaatteja (x, z) ja tämän 15 pisteen kautta kulkevan liikevektorin kiinnityspisteen koordinaatteja (y, 0), voidaan edellinen kirjoittaa muotoon: y„ = x -c[ t(y^) · z], (2-1) 20 missä y„ on uusi ja y^ edellinen ehdokas liikevektorin kiinnityspisteeksi, ja t = [u, v]. Kerroin c on muuttuva päivityskerroin, joka riippuu aiemmista päivityksistä. Tarkastellaan algoritmin (2-1) suppenemista (olettaen, että c=1): ·:*. tutkitaan, millä vektorikentän siirtymään kohdistuvilla ehdoilla algoritmi johtaa kohti tilannetta: * 25
Oi yn + t(yn)-z = x (2-2)
( · I
» · * · v : eli milloin pätee 30 Km (y„ + t(y„) z-x) = 0, (2-3)
rt—»GO
• ’' ’: missä -1 < z < 1. Virhe alussa on e0= x-(y0 + t(y0)z) (2-4) 35 ’ ’: Ensimmäisen iteraation jälkeen 9 108900 yi = χ - t(y0) · z, (2-5) jolloin virheeksi saadaan 5 e1 = x - (y, + t(y0 z) = x - ((x - t(y0) · z) + t(x - t(y0) · z ) z ) = t(y0) · z - t(x - t(y0) · z) · z = z · (t(y0) - t(x - t(y0) · z )) (2-6)
Vastaavasti virheiksi kierroksilla n ja n+1 saadaan 10 e, = x - (y„ + t(yj · z ) = x - t(yn) z- y„ en+i = x - (yn+i + t(yn+f) · z) = - z · (t(x - t(y„) · z) - t(yn)) (2-7)
Virhevektoreiden e„ ja en+1 pituuksien suhteeksi saadaan | 15 leJ_z lt(x-t(yn)-z)-t(yn) |
Kl |x-t(yn)-z-yn I
I Sijoittamalla a = x - t(yn) · z ja b ξ yn, yhtälö (2-8) voidaan kirjoittaa muotoon 2o
Kl |a-b| • f · « I • · ·
Yhtälö (2-9) saavuttaa miniminsä ja maksiminsa kuvien pinnalla (z ··. = ±1). Jotta algoritmi suppenisi kaikilla arvoilla -1 < z < 1, on oltava 25 (2-10) |a — bj I · ·
Vektorien pituudet voidaan ilmaista useilla tavoilla, riippuen siitä, mitä matemaattista laskentatapaa käytetään. Edullisia tapoja ovat esimerkik-si 1-normin tai oo-normin käyttö. 1-normissa vektorin pituus on vektorin kom-.···, 30 ponenttien pituuksien summa |t| = |u| + |v|,ja oo-normissa vektorin pituus . on vektorin suurimman komponentin pituus 111 =max{ | u I, | v |}. Käyttämällä 1-normia, missä a^a^ a2) ja b2), saadaan yhtälön (2-10) vasen puoli • '.: kirjoitettua muotoon j 108900 10 |t(a)-t(b)| _ ia—b) |u(a1,a2)-u(b1,a1)|+|y(ai,a2)-v(b1,a2)||ai-b1| — bi| |a-b| 5 + \u(ava2)-u{avb2^+\v(a„a2)-v(avb2i |a2 -b2| |a2-b2| |a-b|
Yhtälön (2-11) oikea puoli vastaa painotettua summaa vektorikentän t erotusosamääristä: edelleen pätee siis |t(a)-t(b)| f du övl / du dv λ 10 ί-V—^ r — + — +(1-r) — + — <1, ja — b| \dx dx ) ^ dy dy y (2-12) missä 0 < r< 1. Jotta yhtälö (2-12) toteutuisi kaikilla arvoilla r, on oltava ^ + ^<1 (2-13a) dx dx 15 ^ + ^<1, (2-13b) j dy dy ,': ·. missä siis t(x, y) = [u(x, y), v(x, y)].
, Yhtälössä (2-1) kuvattu algoritmi asettaa siis haettavalle vuolle li- * * · • 0 särajoituksia (yhtälö 2-13), joiden mukaan kahden vierekkäisen liikevektorin ’. . 20 siirtymien välisen erotuksen itseisarvon on oltava pienempi kuin samojen vie- ; / rekkäisten liikevektorien kiinnityspisteiden välinen etäisyys. Koska lisärajoi- ’ ' tukset koskevat vuon osittaisderivaattoja, joita tasaisuuskriteeri pyrkii mini- v ’’ moimaan, rajoitusehtojen täyttyminen voidaan taata vähentämällä keskine- liövirhettä edustavan termin osuutta päivityksessä. Yhtälön (2-13) rajoitukset ' : 25 saadaan toteutumaan korvaamalla parametri cc yhtälössä (1-8) esimerkiksi ": yhtälöstä 3-1 saatavalla parametrilla: a(ux, uy, vx, vy) = a · max{0, 1 - max {|ux| + \vx\, \uy\ + lvy|}/d}, (3-1) 30 11 108900 missä d on kiinnityspisteiden välinen etäisyys.
Yhtälön (3-1) osittaisderivaattojen itseisarvoja |t/x|, \uy\, \vx\ ja Jv^l voidaan approksimoida esimerkiksi yhtälöillä: 5 Iux{x, y)| = max {|u(x+1, y) - u(x, y)|, |u(x, y) - u(x-1, y)|} \vx(x, y)| = max {|v(x+1, y) - v(x, y)|, |v(x, y) - v(x -1, y)|} K(x, Υ)I = max {|u(x, y+1) - u{x, y)\, \u(x, y) - u(x, y-1 )|) 10 \vy(x, y)| = max {|Kx, y+1) - v(x, y)|, \v(x, y) - v(x, y-1)|} (3-2) joissa siis lasketaan liikevektorin siirtymän ja sen lähimpien naapureiden siirtymien väliset erotukset. Suurin siirtymien erotus kertoo liikevektorin pienim-15 män etäisyyden liikkuma-alueen rajoista. Siirtymien erotus voi olla siis mak-I simissaan kiinnityspisteiden välinen etäisyys. On myös muita tapoja derivaa tan approksimoimiseen, kuten esimerkiksi laskea tarkasteltavan liikevektorin naapuriliikevektorien siirtymien erotus: |v(x, y+1) - v(x, y —1 )|, jolloin ei siis käytetä itse tarkasteltavan liikevektorin siirtymää derivaatan määrittämiseksi. 20 Oleellista yhtälössä (3-1) on se, että a:n arvot pienenevät osittais derivaattojen kasvaessa, ja että liikkeen huomioivan keskineliövirheen osuus päivitystermissä häviää rajoitusten (2-13) rikkoutuessa (huom. kuva 2). Toisin sanoen vuota iteroidessa jokaisen liikevektorin osalta lasketaan sen lyhin etäisyys lisärajoitusten rikkoutumisrajalle, ja sen mukaan päivitetään liikkeen ’ 25 huomioivan termin painotusta. Yhtälöt (1-8) voidaan nyt kirjoittaa muotoon: • · · • »
Un+1 = un + ηΌ (U- u„) - 77X a (ux> uy, vx, Vy) ( g, (x+un, y+v0) - g2 ϊ.: (1—"n, y-^))((^7 (x+un, y+vn) + Ä (x-un, y-vn)) (3-3a) : : : dx dx 30 = vn+ Voi V-v„) - % a (ux, Uy, vx, vy) ( g, (x+u„, y+vn) - g2 (1+un, y+vn) + ^ (x-un, y-vj), (3-3b)
* I
missä η0οη tasaisuuskriteerin askelparametri, ja % on liikkeen huomioivan keskineliövirheen askelparametri.
• · · 12 108900
Kuvio 6 havainnollistaa parametrin a muuttumista liikevektorin sallitun liikkuma-alueen MA sisällä. Olkoon parametrin a arvo c, kun liikevektori kohtaa kuvatason kohtisuorassa, jolloin liikevektorin sijainti on keskellä liikkuma-aluetta. Kun liikevektorin siirtymä kasvaa ja se lähenee liikkuma-5 alueen rajoja, parametrin a arvo pienenee, kuten kuviosta havaitaan. Pieneneminen voi olla lineaarista, kuten kuvassa esitetään, tai epälineaarista, riippuen sovelluksesta.
Tarkastellaan lisärajoitteita kuvioiden 7-9 avulla. Kuvio 7 havainnollistaa pisteeseen k kiinnitetyn liikevektorin sallittua leikkausaluetta kuva-10 tason kanssa, kun rajoittavana tekijänä on viereiseen kiinnityspisteeseen A kiinnitetty liikevektori. Kutsutaan tätä liikevektoria myös A:ksi kiinnityspisteen mukaan. Oletetaan A tunnetuksi, jolloin siirtämällä pisteeseen A kiinnitetty liikevektori pisteeseen k (kutsutaan siirrettyä liikevektoria A':lla, merkitty kuvioon katkoviivalla) saadaan selville A:n rajoittava vaikutus pisteeseen k kiinni-15 tetyn liikevektorin sallittuun siirtymäalueeseen. Sallittu siirtymäalue S (merkitty kuvioon vinoviivoituksella) määräytyy siten, että kuvan ja pisteeseen k kiinnitetyn liikevektorin leikkauspisteen etäisyys kuvan ja liikevektorin A’ leikkauspisteestä tulee olla pienempi kuin pisteiden A ja k välinen etäisyys. Kuviota tarkasteltaessa on muistettava, että kuvataso on eri tasossa kiinnitys-20 pistetason kanssa. Toisin sanoen, jos kiinnityspistetaso siirretään liikevekto-reita pitkin kuvatasolle ja jos kaikki liikevektorit ovat samansuuntaisia (tässä tapauksessa A:n suuntaisia), saadaan tarkasteltavalle pisteen k kautta kul-·;·, kevalle liikevektorille sallittu siirtymäalue S, kun rajoittavana tekijänä on yksi > · t ... tunnettu liikevektori A. Koska laskennassa on käytetty neljää ympäröivää * 25 kiinnityspistettä, sallittu alue on muodoltaan neliö, jonka kulmissa sijaitsevat : “ naapurikiinnityspisteiden kautta kulkevat liikevektorit. Katkoviivalla kuvattu : tl! ’ 1: neliö havainnollistaa tilannetta, jossa liikevektori Ailia ei ole siirtymää, vaan v *’ liikevektori kohtaa kuvatason kohtisuoraan. Liikkuma-alueen muoto ei vält- :, ’ ‘ tämättä tarvitse olla neliö, vaan neliön sivut voivat olla kaarevia, tai alue voi 30 mahdollisesti olla jopa ympyrä. Maksimissaan liikkuma-alueen rajojen täytyy : · > · kuitenkin kulkea niiden naapuripisteiden kautta, joita käytetään laskennassa.
Kuviossa 8 havainnollistetaan neljän lähimmän naapurikiinnitys-pisteen (A, B, C ja D) liikevektoreiden vaikutusta pisteen k kautta kulkevaan I · liikevektoriin. Sallittu alue S kuvatasolla on merkitty vinoviivoituksella. Kuvio 35 9 havainnollistaa liikevektorin sallittuja leikkausalueita alkuperäisten kuvien • ’ * ’. kuvatasoilla.
·. s t > t i 108900 13
Keksinnön ensimmäinen suoritusmuoto
Seuraavaksi esitetään esimerkinomaisesti keksinnön soveltamista tilanteeseen, jossa haetaan kahden tunnetun kuvan välinen optinen vuo (ku-5 vio 10) sekä muodostetaan kuvien väliset uudet kuvat vuon ja alkuperäisten kuvien avulla (kuviot 4 ja 11).
Aluksi prosessoitavat kuvat tuodaan sisään vuon määritysjärjes-telmään. Tässä vaiheessa valitaan näytteenottomatriisin koko eli kuinka moneksi kuva-alkioksi eli pikseliksi kuvat digitalisoidaan. Seuraavaksi kuvista 10 mitataan kunkin näytteenottomatriisin määrittämän kuva-alkion arvo (kuvio 10, vaihe 91). Arvo voi olla esimerkiksi väri tai harmaasävy. Se, mitä suuretta käytetään, voidaan valita tilanteen mukaan.
Koska kiinnitystason pisteiden lukumäärä (eli liikevektoreiden lukumäärä) on edullista valita pienemmäksi (vaihe 92) kuin pikselien lukumää-15 rä, digitalisoidut kuvat alipäästösuodatetaan esimerkiksi konvoloimalla Gaussin funktiolla (suodatus voidaan toteuttaa myös muulla tavalla, tai jättää kokonaan tekemättä, joskin suositeltavaa). Gaussin funktio on separoituva, joten konvoluutio voidaan laskea ensin suunnassa xja sen jälkeen suunnassa y, mikä on nopeampaa kuin 2-dimensioisen konvoluution laskeminen. Käy-20 tetyn suodatusfunktion koko riippuu siis liikevektoreiden määrästä (toisin sanoen liikevektoreiden välisestä etäisyydestä). Suodatuksen yhteydessä mo-/:·. lempien kuvien pinnalta otetaan muistiin derivaatat ja halutut pikseliarvot.
Esimerkiksi suurimmat pinnan suuntaiset derivaatat molempiin pinnan koor-.! dinaattien suuntiin (g'max = maxig',.,, g'2i1, g'1i2. g'^}) sekä kuvien väliset suu- \ ! 25 rimmat ja pienimmät pikselien arvot (gmin = min{g1( g2,}, gmax = max^, g2,},).
Näitä arvoja hyväksikäyttämällä määritetään suurin sallittu arvo askelpara-' metrille ηχ, jolla vaikutetaan suppenemisen nopeuteen haettaessa toivottua • · · : optista vuota (vaihe 93).
Edellä kuvatun kuvien prosessoinnin jälkeen määritetään kiinnitys-·:··: 30 taso ja siinä olevat kiinnityspisteet kuvien puoleenväliin (vaihe 94). Kiinnitys- taso voi olla myös muussa kohdassa kuin puolessavälissä, mutta on edulli-sinta käyttää puoliväliin muodostettavaa tasoa. Huomioitavaa on, että jos kiinnitystasona toimii toinen alkuperäinen kuva, niin silloin riittää laskea deri- I » » » * ' ‘ vaatat vain toisesta kuvasta. Kiinnityspisteiden määrä on sama kuin suoda- 35 tuksen yhteydessä määritetty liikevektoreiden määrä. Liikevektoreiden kiinni- • · ; ‘ ‘ ; tys voidaan suorittaa myös aikaisemmassa vaiheessa.
14 108900
i -O
Tämän jälkeen jokaisessa kiinnityspisteessä (k= (x, y)) sijaitsevalle liikevektorille: a) Haetaan kuvien pikselien arvot, derivaatat ja liikevek- torin siirtymä liikevektorin ja kuvien leikkauspisteissä, k+t(x) ensimmäiselle 5 kuvalle ja k-t(x) toiselle kuvalle (vaihe 95). Derivaatat saadaan laskemalla kahden vierekkäisen kuvapisteen arvojen välinen erotus. Liikevektorin alku-suunta voi olla suoraan kuvatasoja vastaan, mutta jos käytössä on jo aikaisempaa tietoa liikevektoreiden suunnasta (esimerkiksi ajallisesti edellisen kuvaparin avulla laskettu liikevektorikenttä), voidaan sitä käyttää hyväksi.
10 b) Lasketaan kuvauksen Laplace (vaihe 96) laskemalla liikevektorin siirtymän t(x) ja ympäröivien liikevektorien siirtymien keskiarvon välinen erotus. Laplacen arvo ilmaisee liikevektorikentän epätasaisuuden, eli kääntäen se ilmaisee tasaisuuden.
c) Lasketaan lisärajoitus (yhtälö 3-1), eli määritetään lii-15 kevektorin siirtymän t(x) ja ympäröivien liikevektorien siirtymien väliset erotukset, ja valitaan näistä suurin (vaihe 97).
d) Tämän jälkeen päivitetään pisteessä k = (x, y) sijaitsevalle liikevektorille uusi siirtymä t(x) (vaihe 98) sijoittamalla edellä lasketut ! suureet yhtälöihin (3-3), joiden mukaan päivitetään yksittäisen liikevektorin 20 suunta kohdassa c lasketun lisärajoituksen muuttaessa parametria a. Tulos laitetaan muistiin, mikäli päivitetään kaikkien viivojen asentoja yhtäaikaisesti *:·. (Jakobin iterointi), tai vaihtoehtoisesti muutetaan liikevektorien asentoa heti (Gauss-Seidelin iterointi).
• · · .! Seuraavaksi toistetaan vaiheet a)-d) 10-15 kertaa, tai kunnes ku- " 25 vauksen muutos katsotaan riittävän pieneksi (vaihe 99).
* · ·
Kun näin ollaan saavutettu halutun liikevektorimäärän sisältävä * * * v : optinen vuo, voidaan liikevektoreiden määrää lisätä eli kasvattaa optisen vuon resoluutiota (vaiheet 910 ja 911). Uusien lisättävien liikevektorien alku-siirtymät saadaan interpoloimalla vanhojen liikevektorien siirtymien välillä. ·:··: 30 Prosessi aloitetaan uudelleen liikevektoreiden määrän (etäisyys toisistaan) ·’*: valinnalla ja alipäästösuodatuksella. Tällaista prosessointia jatketaan, kun- nes ollaan päästy haluttuun vektoritiheyteen eli ollaan muodostettu optinen ’···] vuo kuvien väliin.
Uusi kuva (tai kuvat) lasketaan vuon ja alkuperäisten kuvien avulla ··': 35 yhtälön (2-1) kuvaaman menetelmän avulla (kuviot 4 ja 5). Toinen vaihtoeh- toinen tapa uuden kuvan/kuvien muodostamiseksi on interpoloida kuvapis- 15 1 08900 ! teen arvo optisen vuon jokaiselle liikevektorille halutulle tasolle z: toisin sanoen liikevektorin pisteen arvo tasossa z saadaan ensimmäisen kuvan ja lii-kevektorin sekä toisen kuvan ja liikevektorin leikkauspisteiden arvoista inter-poloimalla. Tässä tavassa siis lasketaan arvo liikevektorin pisteelle halutulla 5 z:n arvolla (kuvio 11).
Vaikka tässä esimerkissä on tarkasteltu vuon ja uuden kuvan määrittämistä kahta alkuperäistä kuvaa hyväksikäyttäen, niin on mahdollista käyttää useampaa kuin kahta kuvaa optisen vuon ja uuden kuvan määrittämiseen. Tällöin joudutaan luonnollisesti modifioimaan laskentaa ja menetel-10 mää edellä esitettyyn verrattuna.
Keksinnön toinen suoritusmuoto
Keksintöä voidaan hyödyntää myös aliasoituneiden kuvien suurentamisessa. Aliasoituneiila kuvilla tarkoitetaan tässä kuvia, joiden näyt-! 15 teenottotaajuus on pieni verrattuna kuvien sisältämiin taajuuksiin. Suurennet taessa aliasoituneita kuvia menetelmällä saavutetaan kuvion 12 mukainen etu perinteiseen interpolointiin nähden eli varjokuvien muodostuminen on vähäisempää.
Kuviossa 12 on suurennettu objektia A pystysuunnassa kertoimella 20 kaksi. Objekti B esittää perinteisillä interpolointimenetelmillä saatavaa tulosta, ja objekti C esittää optisen vuon avulla saatavaa interpolointitulosta.
·:*. Aliasoituneita kuvia suurennettaessa uusi kuva haetaan samaan • · · tapaan kuin kahden kuvan välillä interpoloitaessa: tässä uusi kuva kuitenkin » · · haetaan kahden vierekkäisen kuvapisterivin/sarakkeen väliin - ei kahden ku- % · · . 25 van väliin, vaan tavallaan kuvan sisään. Aiemmin esitetyt yhtälöt saadaan ’;t/ tässä muotoon: * * · :·: ; un+1 = un + r((U-un)~ a(un) (g1 (x+un) - g2(x-un)) Äjf+I/„) ·> ^ (X-U„)) (4-1) ...,: dx dx * · 30 ja a(ux) = «o · max{0,1 - \ux\}}, (4-2) » ' * missä 5 ‘·: l*Al = |w*(x)l = max {|u(x+1) - u(x)|, |u(x-1) - u(x)|}/d, O (4-3) 108900 16 missä d on liikevektorien kiinnityspisteiden välinen etäisyys kiinnitystasossa, x on liikevektorin kiinnityspiste ja u on liikevektorin siirtymä kohtisuorasta asennosta.
Yhtälön 4-3 tilalla voidaan käyttää myös muuta yhtälöä, joka ap-5 proksimoi derivaatan tarkasteltavassa pisteessä x, kuten esimerkiksi: |w*l = \uM = {\U(X+1) - |ii(x-1 )\/d, (4-4) missä siis derivaatan approksimaatio haetaan naapuriliikevektorien siirtymien 10 erotuksesta eikä tarkasteltavan pisteen liikevektorin ja naapuriliikevektorin siirtymien erotuksesta. Kuvio 13 kuvaa esimerkkiä kahden kuvapisteri-vin/sarakkeen, gΛ ja g2, väliin muodostettavista liikevektoreista.
Edelleen uusien pikseleiden laskemisessa voidaan nyt käyttää algoritmia: 15 yn = x- u(y^)· z, (4-5) missä z on laskettavan kuvatason etäisyys liikevektoreiden kiinni-tyspistetasosta.
20 Seuraavaksi esitetään kuvioon 14a viitaten esimerkki menetelmän soveltamisesta tilanteeseen, jossa on tunnettu yksi kuva, haetaan kuvan : : : kunkin vierekkäisen pikselirivin ja -sarakkeen välinen optinen vuo sekä las- : : ‘ ketään uudet pikselirivit ja -sarakkeet vuon ja alkuperäisten pikselirivien ja - : ·.. sarakkeiden avulla.
25 Aluksi prosessoitavat kuvat tuodaan sisään vuon määritysjärjes- . telmään. Tässä vaiheessa valitaan näytteenottomatriisin koko eli kuinka mo- neksi kuva-alkioksi eli pikseliksi kuvat digitalisoidaan, ellei kuvia ole jo aikaisemmin esitetty digitaalisessa muodossa. Seuraavaksi kuvista mitataan kunkin kuva-alkion arvo ( vaihe 131). Arvo voi olla esimerkiksi väri tai harmaasä-’/ 30 vy. Se, mitä arvoa käytetään, voidaan valita tilanteen mukaan.
‘ Valitaan liikevektoreiden määrä, ja alipäästösuodatetaan kaksi ensimmäistä pikseliriviä esimerkiksi konvoloimalla Gaussin funktiolla (vaihe 132). Otetaan suodatuksen yhteydessä muistiin suurimmat derivaatat molemmissa kuvan tason suunnissa (g’^ = max{gJ1j1( g’21, g\ 2, g’22}) sekä ku-35 vien suurimmat ja pienimmät arvoerot (esimerkiksi harmaasävyarvot gmjn = minig^ gj, gmax = max^, gj). Derivaatat saadaan laskemalla kahden vie- 108900 17 rekkäisen kuvapisteen harmaasävyn välinen erotus. Asetetaan parametri 0¾ siten, että viivojen suurin mahdollinen päivityssiirtymä tulee mahdollisimman suureksi muttei riko rajoitusehtoa, esimerkiksi 0¾ = d / (g’max · (gmax -gmin))(vaihe 133).
5 Edellä kuvatun kuvien prosessoinnin jälkeen määritetään kiinni- tystaso ja siinä olevat kiinnityspisteet pikselirivien puoleenväliin (vaihe 134). Kiinnityspisteiden määrä on sama kuin suodatuksen yhteydessä määritetty liikevektoreiden määrä. Liikevektoreiden kiinnitys voidaan suorittaa myös aikaisemmassa vaiheessa.
10 Jokaiselle (kuhunkin kiinnityspisteeseen kiinnitetylle), liikevektorille tehdään seuraavasti: a) Haetaan kuvapisteiden arvot, liikevektorin siirtymä ja derivaatat liikevekto-rin ja pikselirivin leikkauspisteissä, x+u(x) 1. rivillä ja x-u(x) 2. Rivillä (vaihe 135).
15 b) Lasketaan kuvauksen Laplace eli tasaisuus esimerkiksi laskemalla liike-vektorin siirtymän u(x) ja tämän molemmilla puolilla olevien liikevektoreiden siirtymien keskiarvon välinen erotus (vaihe 136).
c) Lasketaan lisärajoitus (vaihe 137), eli määritetään esimerkiksi liikevektorin siirtymän u(x) ja vierekkäisten liikevektorien siirtymien väliset erotukset, ja 20 valitaan näistä suurin.
d) Sijoitetaan suureet yhtälöön (4-1), jolloin lisärajoitus muuttaa parametria a, ja päivitetään liikevektorin siirtymä (vaihe 138).
, : Vaiheet a)-d) suoritetaan jokaiselle liikevektorille, ja niitä toistetaan :’·.. 10-15 kertaa, tai kunnes kuvauksen muutos katsotaan riittävän pieneksi 25 (vaihe 139).
; Tämän jälkeen lisätään haluttaessa liikevektorien lukumäärää (vaiheet 1310 ja 1311), ja aloitetaan prosessi uudella alipäästösuodatuksella. Uusien lisättävien viivojen alkusiirtymät saadaan interpoloimalla vanhojen viivojen siirtymien välillä. Edellä kuvattua prosessia toistetaan niin kauan, 30 kunnes ollaan päästy haluttuun viivatiheyteen.
’ ’ Sen jälkeen kun kahden ensimmäisen pikselirivin välinen vuo on saatu muodostettua ja talletettua, siirrytään seuraavaan pikselirivipariin (ku-·:··: vio 14b, vaiheet 1312 ja 1313). Uudelle pikseliriviparille tehdään samat toi minnot kuin ensimmäiselle riviparille, paitsi että aiempi toinen rivi muuttuu nyt ’ 35 ensimmäiseksi riviksi, joten suodatukset joudutaan toistamaan ainoastaan • · « ’ · "· jälkimmäiselle riville.
18 1 08900
Kuvan jokainen pikselirivipari prosessoidaan edellä kuvatulla tavalla, jonka jälkeen siirrytään käsittelemään pikselisarakkeita (vaiheet 1314 ja 1315). Myös kuvan pikselisarakeparit prosessoidaan vastaavasti.
Lasketaan halutut uudet pikselirivit ja -sarakkeet vuon ja alkupe-5 räisten pikselien avulla jommankumman aiemmin kuvatun menetelmän avulla (yhtälö 4-5, kuvio 4 tai kuvio 11).
Muistin säästämiseksi uudet pikselirivit ja -sarakkeet voidaan laskea myös välittömästi vuon määrittämisen jälkeen, jolloin vuon tallentaminen korvataan uusien pikselirivien/sarakkeiden muodostamisella.
10 Resoluution kasvatuksessa tarvittava vuo voidaan muodostaa myös laskemalla pikselirivit ja -sarakkeet yhtäaikaisesti: Muodostetaan kaksiulotteinen vuomatriisi laskettavista liikevektoreista esimerkiksi oheisen kuvion 15 mukaisesti. Rivejä vastaavien vektoreiden kiinnityspisteitä on merkitty R:llä, ja sarakkeiden perusteella laskettujen vektoreiden kiinnityspisteitä 15 S:llä. Kiinnityspisteet on yhdistetty kuviossa selventävillä viivoilla. Tyhjät pisteet ovat alkuperäisen kuvan pisteitä.
Tässä yhteydessä on tarkasteltu suorakulmaista pikselikoordinaa-tistoa, mutta aivan yhtä hyvin pikselijonot voisivat esimerkiksi olla 45°:een kulmassa, joiden väliin muodostetaan uudet pikselit. Myös tässä yhteydessä 20 on mahdollista käyttää useampaa kuin kahta pikselijonoa/saraketta vuon ja uuden kuvan määrittämiseen.
·:·. Keksinnöllä saavutetaan aikaisempaan tunnettuun tekniikkaan nähden lyhyehkö laskenta-aika sen ansiosta, että jokaista välikuvaa ei tarvit-.! se laskea erikseen. Keksintö mahdollistaa myös suuretkin kuvien väliset ‘" 25 muutokset johtuen liikkeen minimoivan termin häviämisestä rajoitteiden rik- ’· / koutuessa okluusiopisteissä. Menetelmä on myös hyvin robusti automaatti- ‘ ‘ * sen säätymisen (painokertoimen muuttuminen) ansiosta.
: Vuo määritellään siten, että alkuperäisten kuvien väliin muodostet tavat uudet kuvat voidaan kaikki muodostaa saman optisen vuon avulla. Alue *:*: 30 keksinnön soveltamiseksi on hyvin laaja. Optisen vuon iikeinformaatiota voi- daan käyttää esimerkiksi uusien kuvien interpoloimiseen tai extrapoloimi-.:. seen, kuvasekvenssin laadun parantamiseen ja kameran avulla tapahtuvaan ’··*’ nopeusmittaukseen. Toisiaan vastaavien kuvapisteiden määritys liittyy myös kolmiulotteisten kuvien muodostamiseen stereokuvaparien perusteella. Ku-35 vien perusteella tapahtuvaa liikkeen tunnistusta käytetään useissa konenäön sovelluksissa. Liikeinformaatiota voidaan käyttää myös kuvasaijan kuvien 108900 19 muuttamiseen ja kuvasarjan siirtämiseen vaadittavan informaation vähentämiseen eli pakkaukseen. Koska menetelmän avulla uusia kuvia saadaan muodostettua rajoittamaton määrä yhden vuon avulla, kuvien pakkaus on aiemmin tunnettuja menetelmiä tehokkaampaa.
5 Rajoitteiden toteutumisesta huolehtiminen mahdollistaa nopeasti suppenevan ja laskennallisesti kevyen algoritmin käyttämisen vuon määrityksessä, mikä tekee keksinnön hyödyntämisen edulliseksi myös sellaisissa sovelluksissa, joihin uusien kuvien tuottaminen ei suoranaisesti liity.
Menetelmää voidaan käyttää myös kuvien resoluution kasvatuk-10 seen sekä korkealaatuisten pysäytyskuvien tuottamiseen videokuvasta.
Vaikka keksintöä on edellä kuvattu lähinnä kahden alkuperäisen kuvan väliin muodostettavan kuvan ja aliasoituneen kuvan suurentamisen esimerkeillä, voidaan keksintöä soveltaa keksinnöllisen ajatuksen puitteissa myös muissa sovelluksissa, kuten esimerkiksi käyttää useampaa kuin kahta 15 kuvaa vuon määrityksessä ja uuden kuvan muodostamisessa.
* · 1 ·
Claims (27)
1. Menetelmä liikevektoreista koostuvan liikevektorikentän muodostamiseksi vähintään kahden kuvan välille kuvankäsittelyn yhteydessä, jossa menetelmässä liikevektorikenttä saadaan aikaan 5 muodostamalla vektorit, jotka yhdistävät kuvien toisiaan vastaavia kuvapisteitä ja minimoimalla muodostetuista vektoreista koostuva vektorikenttä ainakin kahden kriteerin suhteen, joista ensimmäinen kriteeri kuvaa kuvien välistä liikeinformaatiota ja toinen kriteeri vektorikentän tasaisuutta, 10 tunnettu siitä, että liikevektorikentän muodostamisessa käytetään lisärajoitteita, jotka määrittävät liikevektorikohtaisesti liikevektorille sallitun suunnanmuutoksen raja-arvot, ja että liikevektorikentän muodostamisessa ensimmäisen kriteerin painotusta säädetään liikevektorikohtaisesti pienemmäksi lähestyttäessä raja-arvoja, jolloin säädön johdosta 15 ensimmäisen kriteerin suhteellinen osuus pienenee ja toisen kriteerin suhteellinen osuus kasvaa liikevektorikenttää muodostettaessa minimoimalla
2. Vaatimuksen 1 mukainen menetelmä, tunnettu siitä, että liikevektorin saavuttaessa sallitun suunnanmuutoksen raja-arvot ensimmäisen kriteerin painotus nollataan.
3. Vaatimuksen 1 mukainen menetelmä, tunnettu siitä, että ·:*. ensimmäisen kriteerin painotus on verrannollinen liikevektorin pienimpään etäisyyteen raja-arvoista, joiden mukaan kahden vierekkäisen liikevektorin • · ! suunnanmuutoksen, jossa suunnanmuutos vastaa poikkeamaa kuvatasoa , '[ vasten olevasta kohtisuorasta suunnasta, joka suunnanmuutos ilmaistaan ; / 25 kuvatason suuntaisena siirtymävektorina, välisen erotuksen itseisarvon on • ‘ : oltava pienempi kuin samojen liikevektorien kiinnityspisteiden välinen etäisyys, jossa kiinnityspisteet määrittävät sijaintipisteet, joiden kautta yksittäisten liikevektorien on kuljettava.
:·! 4. Vaatimuksen 1 mukainen menetelmä, jossa menetelmässä: • ’ ‘ ‘: 30 - valitaan liikevektoreiden määrä ja etäisyys toisistaan, ‘ . - määritetään jokaisen kuva-alkion arvo ja derivaatat, - asetetaan askelparametri liikevektorikentän iterointia varten, ‘ ·;·' - haetaan jokaiselle liikevektorille sen ja kuvatasojen : ‘ ·’; leikkauspisteiden arvot ja derivaatat, » » 35. lasketaan liikevektorikentän tasaisuus, 108900 21 - määritetään jokaiselle liikevektorille sen kuvatason suuntaisen siirtymävektorin muutoksen suuruus, joka siirtymävektori vastaa liikevektorin poikkeamaa kuvatasoa vasten olevasta kohtisuorasta suunnasta, 5. iteroidaan liikevektorikenttä, siten että liikevektorien siirtymävektorien muutos on riittävän pieni, - lisätään liikevektoreiden määrää, - toistetaan edelliset vaiheet, kunnes liikevektorien määrä on riittävä, 10 tunnettu siitä, että liikevektorikentän liikevektorit kiinnitetään kuvien puolessa välissä olevaan tasoon, jolla kiinnittämisellä määritetään jokaiselle liikevektorille piste, jonka kautta liikevektorin on kuljettava, ja haetaan jokaisen liikevektorin siirtymävektorille raja-arvot, sekä käytetään raja-arvoja liikevektorikentän iteroinnassa.
5. Jonkin vaatimuksen 1-3 mukainen menetelmä, tunnettu siitä, että liikevektorikentän liikevektorit on kiinnitetty kiinnityspisteisiin, jotka sijaitsevat kuvien puolessa välissä olevalla tasolla.
6. Jonkin vaatimuksen 1-4 mukainen menetelmä, tunnettu siitä, että liikevektorikentän liikevektorit on kiinnitetty kiinnityspisteisiin, jotka 20 sijaitsevat jonkin kuvan tasolla.
:·. 7. Jonkin vaatimuksen 1-4 mukainen menetelmä, tunnettu ·;·. siitä, että liikevektorikentän liikevektorit on kiinnitetty kiinnityspisteisiin, jotka sijaitsevat jollakin kuvien välissä olevalla tasolla.
. , 8. Vaatimuksen 3 tai 4 mukainen menetelmä, tunnettu siitä, ; 25 että jokaisen liikevektorin suunnanmuutoksen raja-arvo, jossa ' suunnanmuutos ilmaistaan kuvatason suuntaisena siirtymävektorina, joka ·’ samalla määrittää liikevektorin pisteen kuvatasolla, saadaan määrittämällä kunkin liikevektorin siirtymävektorin ja ympäröivien liikevektorien ··· siirtymävektorien väliset erotukset, ja valitsemalla näistä itseisarvoltaan *: 30 suurin.
[ . 9. Vaatimuksen 3 tai 4 mukainen menetelmä, tunnettu siitä, että jokaisen liikevektorin suunnanmuutoksen raja-arvo, jossa ;·’ suunnanmuutos ilmaistaan kuvatason suuntaisena siirtymävektorina, joka : ’ samalla määrittää liikevektorin pisteen kuvatasolla, saadaan määrittämällä 35 kutakin liikevektoria ympäröivien liikevektorien siirtymävektorien väliset erotukset, ja valitsemalla näistä itseisarvoltaan suurin. 108900 22
10. Jokin edellä mainitun vaatimuksen mukainen menetelmä, jossa muodostetaan liikevektorikentän avulla uusi kuva alkuperäisistä kuvista, tunnettu siitä, että haetaan ensin jokaiselle uuden kuvan ennalta asetetulle kuva-alkiolle sen kautta kulkeva liikevektori, ja interpoloidaan 5 jokaiselle uuden kuvan kuva-alkiolle arvo alkuperäisten kuvien kuva-alkioiden arvoista, jotka saadaan valitun liikevektorin ja alkuperäisten kuvien leikkauspisteistä.
11. Jonkin vaatimuksen 1-9 mukainen menetelmä, jossa muodostetaan liikevektorikentän avulla uusi kuva alkuperäisistä kuvista, t u n 10. e t t u siitä, että interpoloidaan jokaiselle liikevektorin ja halutun uuden kuvatason leikkauspisteelle, joka määrittää kuva-alkion sijainnin uudessa kuvassa, arvo alkuperäisten kuvien kuva-alkioiden arvoista, jotka saadaan kunkin liikevektorin ja alkuperäisten kuvien leikkauspisteistä.
12. Vaatimuksen 10 mukainen menetelmä, tunnettu siitä, että 15 uuden kuvan määritettävän kuva-alkion kautta kulkeva liikevektori haetaan valitsemalla aluksi jokin liikevektori, määritetään haetun liikevektorin ja määritettävän kuva-alkion välinen etäisyysvektori kuvien suuntaisessa tasossa, valitaan uudeksi liikevektoriksi se vektori, jonka kiinnityspiste on edellä määritetyn, mutta päinvastaiseen suuntaan olevan etäisyysvektorin 20 päässä aikaisemmin valitun liikevektorin kiinnityspisteestä, ja toistetaan | uuden liikevektorin valintaa, kunnes etäisyysvektorin arvo katsotaan riittävän :·. pieneksi, jolloin viimeksi valittu liikevektori on haettu liikevektori.
13. Vaatimuksen 1 tai 4 mukainen menetelmä .tunnettu siitä, että käytettäessä paritonta määrää alkuperäisiä kuvia liikevektorit 25 kiinnitetään keskimmäisen alkuperäisen kuvan tasolle.
14. Menetelmä liikevektorikentän muodostamiseksi kuvan kuva-alkiorivien/sarakkeiden välille kuvankäsittelyn yhteydessä, tunnettu siitä, että menetelmässä liikevektorikentälle haetaan ratkaisu minimoimalla se ainakin kahden kriteerin suhteen, joista ensimmäinen kriteeri kuvaa 30 alkiorivien/sarakkeiden välistä liikeinformaatiota ja toinen kriteeri liikevektorikentän tasaisuutta, jossa liikevektorikentän muodostamisessa käytetään lisärajoitteita, jotka määrittävät liikevektorikohtaisesti liikevektorille sallitun suunnanmuutoksen raja-arvot, ja että liikevektorikentän ratkaisun : haussa ensimmäisen kriteerin painotusta säädetään liikevektorikohtaisesti 35 pienemmäksi lähestyttäessä raja-arvoja, jolloin säädön johdosta ensimmäisen kriteerin suhteellinen osuus pienenee ja toisen kriteerin ! 23 108900 suhteellinen osuus kasvaa liikevektorikenttää muodostettaessa minimoimalla.
15. Vaatimuksen 14 mukainen menetelmä, tunnettu siitä, että liikevektorin saavuttaessa sallitun suunnanmuutoksen raja-arvot 5 ensimmäisen kriteerin painotus nollataan.
16. Vaatimuksen 14 mukainen menetelmä, tunnettu siitä, että ensimmäisen kriteerin painotus on verrannollinen liikevektorin pienimpään etäisyyteen raja-arvoista, joiden mukaan kahden vierekkäisen liikevektorin suunnanmuutoksen, jossa suunnanmuutos vastaa poikkeamaa 10 pikseliriviä/saraketta vasten olevasta kohtisuorasta suunnasta, joka suunnanmuutos ilmaistaan pikselirivin/sarakkeen suuntaisena siirtymävektorina, välisen erotuksen itseisarvon on oltava pienempi kuin samojen liikevektorien kiinnityspisteiden välinen etäisyys, jossa kiinnityspisteet määrittävät sijaintipisteet, joiden kautta yksittäisten 15 liikevektorien on kuljettava.
17. Jonkin vaatimuksen 14-16 mukainen menetelmä, tunnettu siitä, että menetelmässä: - valitaan liikevektoreiden määrä ja etäisyys toisistaan, - määritetään jokaisen kuva-alkion arvo ja derivaatat, 20. asetetaan askelparametri liikevektorikentän iterointia varten, - haetaan jokaiselle liikevektorille sen ja pikselirivien/sarakkeiden leikkauspisteiden arvot ja derivaatat, - lasketaan liikevektorikentän tasaisuus, . . - määritetään jokaiselle liikevektorille sen pikselirivin/sarakkeen / 25 suuntaisen siirtymävektorin muutoksen suuruus, joka siirtymävektori vastaa liikevektorin poikkeamaa : ; pikselirivä/saraketta vasten olevasta kohtisuorasta suunnasta, - iteroidaan liikevektorikenttä siirtymävektorien raja-arvoja "i käyttäen, siten että liikevektorien siirtymävektorien muutos on 30 riittävän pieni, ‘ . - lisätään liikevektoreiden määrää, - toistetaan edelliset vaiheet, kunnes liikevektorien määrä on ’ ; · ‘ riittävä pikselirivien/sarakkeiden välillä, : ·’: - toistetaan edellä mainitut toimenpiteet jokaiselle : ’": 35 pikselirivi/sarakeparille. 24 1 08900
18. Jonkin vaatimuksen 14-17 mukainen menetelmä, tunnettu siitä, että liikevektorikentän liikevektorit on kiinnitetty pikselirivien/sarakkeiden puolessa välissä olevalle suoralle.
19. Jonkin vaatimuksen 14-17 mukainen menetelmä, tunnettu 5 siitä, että liikevektorikentän liikevektorit on kiinnitetty jollekin pikselirivien/sarakkeiden välissä olevalle suoralle.
20. Jonkin vaatimuksen 14-17 mukainen menetelmä, tunnettu siitä, että liikevektorikentän liikevektorit on kiinnitetty jollekin pikseliriville/sarakkeelle.
21. Vaatimuksen 16 tai 17 mukainen menetelmä, tunnettu siitä, että jokaisen liikevektorin suunnanmuutoksen raja-arvo, jossa suunnanmuutos ilmaistaan pikselirivin/sarakkeen suuntaisena siirtymävektorina, joka samalla määrittää liikevektorin pisteen uudella pikselirivillä/sarakkeella, saadaan määrittämällä kunkin liikevektorin 15 siirtymävektorin ja vierekkäisten liikevektorien siirtymävektorien väliset erotukset, ja valitsemalla näistä itseisarvoltaan suurin.
22. Vaatimuksen 16 tai 17 mukainen menetelmä, tunnettu siitä, että jokaisen liikevektorin suunnanmuutoksen raja-arvo, jossa suunnanmuutos ilmaistaan pikselirivin/sarakkeen suuntaisena 20 siirtymävektorina, joka samalla määrittää liikevektorin pisteen uudella V: pikselirivillä/sarakkeella, saadaan määrittämällä kunkin liikevektorin ·;· . molemmilla puolilla olevien liikevektorien siirtymävektorien välinen erotus.
23. Jonkin vaatimuksen 14-22 mukainen menetelmä, jossa ; muutetaan liikevektorikentän avulla kuvan pikselimäärää, tunnettu siitä, 25 että valitaan jokaiselle muutettavan kuvan uuden pikselirivin/sarakkeen ennalta asetetulle kuva-alkiolle sen kautta kulkeva liikevektori, ja ' interpoloidaan jokaiselle muutettavan kuvan kuva-alkiolle arvo alkuperäisten kuvien kuva-alkioiden arvoista, jotka saadaan valitun liikevektorin ja alkuperäisen kuvan pikselirivien/sarakkeiden leikkauspisteestä, j 30
24. Jonkin vaatimuksen 14-22 mukainen menetelmä, jossa muutetaan liikevektorikentän avulla kuvan pikselimäärää, tunnettu siitä, .. että interpoloidaan jokaiselle liikevektorin ja halutun uuden ;· pikselirivin/sarakkeen suoran leikkauspisteelle, joka määrittää uuden kuva- : alkion sijainnin, arvo alkuperäisten kuvien kuva-alkioiden arvoista, jotka : 35 saadaan kunkin liikevektorin ja alkuperäisen kuvan pikselirivien/sarakkeiden leikkauspisteestä. 108900 25
25. Vaatimuksen 23 mukainen menetelmä, tunnettu siitä, että muutetun kuvan uuden pikselirivin/sarakkeen määritettävän kuva-alkion kautta kulkeva liikevektori haetaan valitsemalla aluksi jokin liikevektori, määritetään haetun liikevektorin ja määritettävän kuva-alkion välinen 5 etäisyysvektori pikselirivin/sarakkeen suuntaisessa suorassa, valitaan uudeksi liikevektoriksi se vektori, jonka kiinnityspiste on edellä määritetyn, mutta päinvastaiseen suuntaan olevan etäisyysvektorin päässä aikaisemmin valitun liikevektorin kiinnityspisteestä, ja toistetaan uuden liikevektorin valintaa, kunnes etäisyysvektorin arvo katsotaan riittävän pieneksi, jolloin 10 viimeksi valittu liikevektori on haettu liikevektori.
26. Jonkin vaatimuksen 14-25 mukainen menetelmä, tunnettu siitä, että käytetään useampaa kuin kahta alkuperäistä pikseliriviä/saraketta.
27. Vaatimuksen 26 mukainen menetelmä .tunnettu siitä, että käytettäessä paritonta määrää alkuperäisiä pikselirivejä/sarakkeita 15 liikevektorit kiinnitetään keskimmäisen alkuperäisen pikselirivin/sarakkeen suoralle. i · . { · · 26
Priority Applications (10)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FI992799A FI108900B (fi) | 1999-12-28 | 1999-12-28 | Optinen vuo ja kuvan muodostaminen |
KR1020027008406A KR20020075881A (ko) | 1999-12-28 | 2000-12-20 | 광학적 흐름 및 이미지 형성 |
PCT/FI2000/001119 WO2001048695A1 (en) | 1999-12-28 | 2000-12-20 | Optical flow and image forming |
EP00987539A EP1252607B1 (en) | 1999-12-28 | 2000-12-20 | Optical flow and image forming |
JP2001548343A JP2003518671A (ja) | 1999-12-28 | 2000-12-20 | オプティカル・フローおよび画像形成 |
CN00818002A CN1415105A (zh) | 1999-12-28 | 2000-12-20 | 光流与成像 |
DE60020887T DE60020887T2 (de) | 1999-12-28 | 2000-12-20 | Optischer fluss und bildaufbau |
AU23788/01A AU2378801A (en) | 1999-12-28 | 2000-12-20 | Optical flow and image forming |
AT00987539T ATE298117T1 (de) | 1999-12-28 | 2000-12-20 | Optischer fluss und bildaufbau |
US10/168,938 US20040022419A1 (en) | 1999-12-28 | 2000-12-20 | Optical flow and image forming |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FI992799 | 1999-12-28 | ||
FI992799A FI108900B (fi) | 1999-12-28 | 1999-12-28 | Optinen vuo ja kuvan muodostaminen |
Publications (2)
Publication Number | Publication Date |
---|---|
FI19992799A FI19992799A (fi) | 2001-06-29 |
FI108900B true FI108900B (fi) | 2002-04-15 |
Family
ID=8555823
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FI992799A FI108900B (fi) | 1999-12-28 | 1999-12-28 | Optinen vuo ja kuvan muodostaminen |
Country Status (10)
Country | Link |
---|---|
US (1) | US20040022419A1 (fi) |
EP (1) | EP1252607B1 (fi) |
JP (1) | JP2003518671A (fi) |
KR (1) | KR20020075881A (fi) |
CN (1) | CN1415105A (fi) |
AT (1) | ATE298117T1 (fi) |
AU (1) | AU2378801A (fi) |
DE (1) | DE60020887T2 (fi) |
FI (1) | FI108900B (fi) |
WO (1) | WO2001048695A1 (fi) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7043058B2 (en) * | 2001-04-20 | 2006-05-09 | Avid Technology, Inc. | Correcting motion vector maps for image processing |
WO2002099753A1 (fr) * | 2001-06-05 | 2002-12-12 | Sony Corporation | Processeur d'images |
FI20012115A (fi) * | 2001-11-01 | 2003-05-02 | Oplayo Oy | Kuvan interpolointi |
KR100498951B1 (ko) * | 2003-01-02 | 2005-07-04 | 삼성전자주식회사 | 동영상 압축 부호화를 위한 움직임 예측 방법과 그기록매체 |
JP4419062B2 (ja) | 2004-03-29 | 2010-02-24 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
US20050285947A1 (en) * | 2004-06-21 | 2005-12-29 | Grindstaff Gene A | Real-time stabilization |
US20060020562A1 (en) * | 2004-07-21 | 2006-01-26 | University Of Southern Mississippi | Apparatus and method for estimating optical flow |
TWI288353B (en) * | 2004-12-24 | 2007-10-11 | Lite On Semiconductor Corp | Motion detection method |
US20070280507A1 (en) * | 2006-06-01 | 2007-12-06 | Beddhu Murali | Apparatus and Upwind Methods for Optical Flow Velocity Estimation |
GB0614567D0 (en) * | 2006-07-21 | 2006-08-30 | Snell & Wilcox Ltd | Motion vector interpolation |
US8593506B2 (en) * | 2007-03-15 | 2013-11-26 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for forming a panoramic image of a scene having minimal aspect distortion |
JP4600530B2 (ja) * | 2008-06-17 | 2010-12-15 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
FR2944152B1 (fr) | 2009-04-03 | 2011-06-17 | Peugeot Citroen Automobiles Sa | Dispositif pour controler la baisse de la tension residuelle aux bornes d'une pile a combustible apres son arret |
US9750399B2 (en) | 2009-04-29 | 2017-09-05 | Koninklijke Philips N.V. | Real-time depth estimation from monocular endoscope images |
JP5863273B2 (ja) * | 2011-05-02 | 2016-02-16 | キヤノン株式会社 | 画像処理装置、制御方法及びプログラム |
US9288484B1 (en) | 2012-08-30 | 2016-03-15 | Google Inc. | Sparse coding dictionary priming |
US9300906B2 (en) * | 2013-03-29 | 2016-03-29 | Google Inc. | Pull frame interpolation |
JP6104152B2 (ja) * | 2013-12-26 | 2017-03-29 | 本田技研工業株式会社 | 樹脂枠付き膜電極構造体 |
US9286653B2 (en) | 2014-08-06 | 2016-03-15 | Google Inc. | System and method for increasing the bit depth of images |
US10818018B2 (en) * | 2016-11-24 | 2020-10-27 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
CN107044855A (zh) * | 2017-05-05 | 2017-08-15 | 南京信息工程大学 | 一种基于摄像头阵列的惯性测量装置及方法 |
CN110392282B (zh) * | 2018-04-18 | 2022-01-07 | 阿里巴巴(中国)有限公司 | 一种视频插帧的方法、计算机存储介质及服务器 |
CN109300143B (zh) * | 2018-09-07 | 2021-07-27 | 百度在线网络技术(北京)有限公司 | 运动向量场的确定方法、装置、设备、存储介质和车辆 |
US20240054657A1 (en) * | 2022-08-15 | 2024-02-15 | Nvidia Corporation | Frame rate up-conversion using optical flow |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5241608A (en) * | 1988-11-25 | 1993-08-31 | Eastman Kodak Company | Method for estimating velocity vector fields from a time-varying image sequence |
US5500904A (en) * | 1992-04-22 | 1996-03-19 | Texas Instruments Incorporated | System and method for indicating a change between images |
DE69416441T2 (de) * | 1993-04-22 | 1999-10-07 | Matsushita Electric Ind Co Ltd | Ansteuervorrichtung für Flüssigkristall-Anzeige |
GB2317525B (en) * | 1996-09-20 | 2000-11-08 | Nokia Mobile Phones Ltd | A video coding system |
US6008865A (en) * | 1997-02-14 | 1999-12-28 | Eastman Kodak Company | Segmentation-based method for motion-compensated frame interpolation |
US5912815A (en) * | 1997-03-14 | 1999-06-15 | The Regents Of The University Of California | Local relaxation method for estimating optical flow |
US6628715B1 (en) * | 1999-01-15 | 2003-09-30 | Digital Video Express, L.P. | Method and apparatus for estimating optical flow |
-
1999
- 1999-12-28 FI FI992799A patent/FI108900B/fi active
-
2000
- 2000-12-20 CN CN00818002A patent/CN1415105A/zh active Pending
- 2000-12-20 KR KR1020027008406A patent/KR20020075881A/ko not_active Application Discontinuation
- 2000-12-20 US US10/168,938 patent/US20040022419A1/en not_active Abandoned
- 2000-12-20 WO PCT/FI2000/001119 patent/WO2001048695A1/en active Search and Examination
- 2000-12-20 DE DE60020887T patent/DE60020887T2/de not_active Expired - Fee Related
- 2000-12-20 JP JP2001548343A patent/JP2003518671A/ja active Pending
- 2000-12-20 EP EP00987539A patent/EP1252607B1/en not_active Expired - Lifetime
- 2000-12-20 AU AU23788/01A patent/AU2378801A/en not_active Abandoned
- 2000-12-20 AT AT00987539T patent/ATE298117T1/de not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
CN1415105A (zh) | 2003-04-30 |
FI19992799A (fi) | 2001-06-29 |
DE60020887T2 (de) | 2006-03-23 |
US20040022419A1 (en) | 2004-02-05 |
KR20020075881A (ko) | 2002-10-07 |
WO2001048695A1 (en) | 2001-07-05 |
JP2003518671A (ja) | 2003-06-10 |
EP1252607B1 (en) | 2005-06-15 |
EP1252607A1 (en) | 2002-10-30 |
ATE298117T1 (de) | 2005-07-15 |
DE60020887D1 (de) | 2005-07-21 |
AU2378801A (en) | 2001-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
FI108900B (fi) | Optinen vuo ja kuvan muodostaminen | |
Matsushita et al. | Full-frame video stabilization | |
US6959117B2 (en) | Method and apparatus for deblurring and re-blurring image segments | |
KR101134668B1 (ko) | 화상 생성 방법, 장치 및 그 프로그램과 프로그램을 기록한 기록매체 | |
JP5107409B2 (ja) | 動き領域の非線形スムージングを用いた動き検出方法およびフィルタリング方法 | |
JP2008282377A (ja) | 画像処理方法および装置 | |
WO1998035318A1 (en) | A method and apparatus for segmenting images prior to coding | |
JP2008282376A (ja) | 画像処理方法および装置 | |
CN110717935B (zh) | 一种基于图像特征信息的图像匹配方法,装置与*** | |
KR20210089737A (ko) | 이미지 깊이 추정 방법 및 장치, 전자 기기, 저장 매체 | |
Faramarzi et al. | Blind super resolution of real-life video sequences | |
JP2008252860A (ja) | 画像処理方法及び画像処理装置 | |
CN111062867A (zh) | 一种视频超分辨率重建方法 | |
JP4050472B2 (ja) | 画像生成方法、装置およびシステム | |
JP2003203237A (ja) | 画像マッチング方法と装置、および画像符号化方法と装置 | |
CN112203023B (zh) | 一种十亿像素视频生成方法及装置、设备、介质 | |
JP3266501B2 (ja) | 画像フレームの細分化方法とその装置 | |
Battiato et al. | Advanced SVG triangulation/polygonalization of digital images | |
CN109379577B (zh) | 一种虚拟视点的视频生成方法、装置及设备 | |
JP2002190020A (ja) | 映像効果方法および装置 | |
Jia et al. | Virtual view synthesis for the nonuniform illuminated between views in surgical video | |
CN110599428B (zh) | 光流估计异构混合网络及其嵌入方法 | |
JP2003134512A (ja) | 画像符号化方法、復号方法および画像符号化装置、復号装置 | |
JP2005202907A (ja) | 映像形成装置 | |
JPH06137865A (ja) | 複数画像の対応点抽出方法 |