FI114433B - Otossiirtymän koodaaminen videokoodauksessa - Google Patents
Otossiirtymän koodaaminen videokoodauksessa Download PDFInfo
- Publication number
- FI114433B FI114433B FI20020128A FI20020128A FI114433B FI 114433 B FI114433 B FI 114433B FI 20020128 A FI20020128 A FI 20020128A FI 20020128 A FI20020128 A FI 20020128A FI 114433 B FI114433 B FI 114433B
- Authority
- FI
- Finland
- Prior art keywords
- scene
- frame
- video
- frames
- transition
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/038—Cross-faders therefor
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
114433
Otossiirtymän koodaaminen videokoodauksessa
Keksinnön ala
Keksintö liittyy videokoodaukseen, erityisesti videotiedostojen käsittämien otosten keskinäiseen vaihtoon eli ns. otossiirtymään (scene 5 transition).
Keksinnön tausta
Videotiedostot muodostuvat suuresta määrästä pysäytyskuvakehyksiä (still image frame), joita nopeasti peräkkäin videosekvenssinä esittämällä (tyypillisesti 15-30 kehystä/s) luodaan 10 vaikutelma liikkuvasta kuvasta. Kuvakehykset käsittävät tyypillisesti lukuisia paikallaan pysyviä taustaobjekteja, joita määrittävä kuvainformaatio pysyy olennaisesti samana, sekä muutamia liikkuvia objekteja, joita määrittävä kuvainformaatio muuttuu jossain määrin. Tällöin peräkkäin esitettävien kuvakehysten käsittämä kuvainformaatio on tyypillisesti hyvin pitkälti 15 samankaltainen, ts. peräkkäiset kuvakehykset käsittävät huomattavasti redundanssia. Videotiedostojen käsittämä redundanssi voidaankin jakaa spatiaaliseen, ajalliseen ja spektriredundanssiin. Spatiaalisella redundanssilla kuvataan vierekkäisten kuvapikseleiden keskinäistä korrelaatiota, ajallisella redundanssilla tiettyjen kuvaobjektien muuttumista seuraavissa kehyksissä ja . 20 spektriredundanssilla eri värikomponenttien korrelaatiota yhden kuvakehyksen ; , sisällä.
’· : Useissa videokoodausmenetelmissä hyödynnetään edellä kuvattua peräkkäisten kuvakehysten ajallista redundanssia. Tällöin käytetään ns.
liikekompensoitua ajallista ennustusta, jossa videosekvenssin joidenkin ·.* 25 (tyypillisesti useimpien) kuvakehysten sisältöä ennustetaan sekvenssin muista kehyksistä jäljittämällä kuvakehysten tiettyjen objektien tai alueiden muutoksia peräkkäisten kuvakehysten välillä. Videosekvenssi käsittää kompressoituja kuvakehyksiä, joiden kuvainformaation määrittämisessä ei ole käytetty .···. liikekompensoitua ajallista ennustusta. Näitä kehyksiä kutsutaan INTRA- tai I- • » ’·’ 30 kehyksiksi. Vastaavasti videosekvenssin käsittämiä edellisistä kuvakehyksistä :.i.‘ ennustettuja liikekompensoituja kuvakehyksiä kutsutaan INTER- tai P-
• < I
kehyksiksi (Predicted). P-kehysten kuvainformaation määrittämisessä käytetään yhtä l-kehystä ja mahdollisesti yhtä tai useampaa aiemmin : koodattua P-kehystä. Jos jokin kehys kadotetaan, ei siitä riippuvia kehyksiä • * > 35 voida enää dekoodata oikein.
2 114433
Tyypillisesti l-kehyksestä alkaa kuvaryhmäksi GOP (Group of Pictures) määritelty videosekvenssi, jonka käsittäneen P-kehysten kuvainformaatiota voidaan määrittää käyttämällä ainoastaan kyseiseen kuvaryhmään GOP kuuluvia l-kehyksiä ja aiempia P-kehyksiä. Seuraavasta I-5 kehyksestä alkaa taas uusi kuvaryhmä GOP, jonka käsittäneen kehysten kuvainformaatiota ei siis voida määrittää aiemman kuvaryhmän GOP kehysten perusteella. Kuvaryhmät GOP eivät siis ole ajallisesti päällekkäisiä ja kukin kuvaryhmä voidaan dekoodata itsenäisesti. Lisäksi monissa videokompressiomenetelmissä käytetään kaksisuuntaisesti ennustettuja B-10 kehyksiä (Bi-directional), jotka asetetaan kuvaryhmän GOP sisällä kahden ankkurikehyksen (I- ja P-kehys tai kaksi P-kehystä) väliin, jolloin B-kehyksen kuvainformaatio ennustetaan sekä edeltävästä ankkurikehyksestä että B-kehystä seuraavasta ankkurikehyksestä. B-kehykset tarjoavat siten parempilaatuisen kuvainformaation kuin P-kehykset, mutta niitä ei tyypillisesti 15 käytetä ankkurikehyksenä eikä niiden poistaminen videosekvenssistä täten aiheuta myöhempien kuvien laadun huonotumista.
Jokainen kuvakehys on jaettavissa ns. makroblokkeihin, jotka käsittävät kaikkien pikseleiden värikomponentit (esim. Y,U,V) joltakin suorakulmaiselta kuva-alueelta. Tarkemmin sanottuna, makroblokki koostuu 20 kolmesta blokista, jotka blokit kukin käsittävät pikseleiden yhden väritason väriarvoja (esim. Y, U tai V) kyseiseltä kuva-alueelta. Blokeilla voi olla erilainen V· spatiaalinen resoluutio kuin makroblokilla, esimerkiksi U- ja V-komponentit . : voidaan esittää vain puolella resoluutiolla Y-komponenttiin verrattuna.
, : Makroblokeista voidaan edelleen muodostaa esimerkiksi ns. viipaleita (slice), ... 25 jotka ovat usean makroblokin ryhmiä, missä makroblokit on valittu tyypillisesti kuvan pyyhkäisyjärjestyksessä. Tyypillisesti videokoodausmenetelmissä : ajallinen ennustus tehdäänkin blokki- tai makroblokkikohtaisesti, ei '.. ' kuvakehyskohtaisesti.
Monet videomateriaalit, kuten uutiset, musiikkivideot ja 30 elokuvatrailerit, käsittävät nopeita leikkauksia eri kuvamateriaaliotosten välillä.
Joskus leikkaukset eri otosten välillä ovat äkillisiä, mutta usein käytetään ns.
*.t otossiirtymää (scene transition), jolloin otoksesta toiseen siirrytään esimerkiksi himmentämällä, pyyhkäisemällä, ruuduttamalla tai rullaamalla aiemman otoksen kuvakehyksiä ja vastaavasti tuomalla esiin jälkimmäisen otoksen ·:·: 35 kuvakehyksiä. Koodaustehokkuuden kannalta otossiirtymän videokoodaus on usein vaikea ongelma, koska otossiirtymän aikaiset kuvakehykset käsittävät « · 3 114433 informaatiota sekä päättyvän otoksen kuvakehyksistä että alkavan otoksen kuvakehyksistä.
Eräs tyypillinen otossiirtymä, häivytys, tehdään siten, että ensimmäisen otoksen kuvakehysten intensiteetti tai luminanssi lasketaan 5 vähitellen nollaan ja samanaikaisesti toisen otoksen kuvakehysten intensiteetti nostetaan vähitellen maksimiarvoonsa. Tällaista otossiirtymää kutsutaan r i sti h ä i vytety ks i otossiirtymäksi (cross-faded scene transition). Toinen tyypillinen otossiirtymä, ruudutus (tiling), tehdään siten, että ensimmäisen otoksen kuvakehyksistä poistetaan satunnaisesti tai pseudosatunnaisesti 10 neliön muotoisia paloja, ja poistetut palat korvataan toisen otoksen vastaavista kohdista otetuilla paloilla. Eräitä tyypillisiä otossiirtymiä, kuten vieritys (roll), liu'utus (push), ovi (door) tms., saadaan aikaan siten, että ensimmäisiä kuvakehyksiä ikäänkuin kiinnitetään näennäisen esineen (paperiarkin, liukuoven tai tavallisen oven) tai muun mielivaltaisen kappaleen pinnalle, ja 15 tämä esine tai kappale käännetään asteittain pois näkyvistä, jolloin paljastuvien kuvan alueiden kohdalle kopioidaan informaatiota toisen otoksen kuvakehyksistä. Myös monia muita siirtymiä tunnetaan, ja näitä käytetään useissa kaupallisissa tuotteissa, kuten Avid Cinema™ (Avid Technology Inc.).
Nykyisissä videokoodausmenetelmissä tunnetaan useita 20 menetelmiä otossiirtymän koodaamiseksi. Esimerkiksi ITU-T:n (International Telecommunication Union, Telecommunication Standardization Sector) H.263-; standardin mukaisessa koodauksessa voidaan käyttää edellä kuvattuja B- ,·. : kehyksiä otossiirtymän aikaisten kuvakehysten esittämiseen. Tällöin ankkurikehyksiksi valitaan yksi kuvakehys ensimmäisestä (päättyvästä) 25 otoksesta ja yksi kuvakehys toisesta (alkavasta) otoksesta. Näiden väliin ; , asettuvien, otossiirtymän aikaisten B-kehysten kuvainformaatio määritetään • i » ’· näistä ankkurikehyksistä ajallisesti ennustamalla siten, että ennustettujen *·. * kuvablokkien pikseliarvot lasketaan ankkurikehysten liikekompensoitujen ennustusblokkien pikseliarvojen keskiarvoina.
' 30 Koodaustehokkuuden kannalta tällainen ratkaisu on kuitenkin : huono erityisesti silloin, jos otossiirtymän koodaus edellyttää useiden B- . *·. kehyksien asettamista ankkurikehysten väliin. ITU-T:n H.26L-standardissa • » > koodausta onkin parannettu siten, että ankkurikehysten väliin asettuvien, • · otossiirtymän aikaisten B-kehysten kuvainformaatio määritetään näistä 35 ankkurikehyksistä ajallisesti ennustamalla siten, että B-kuvakehysten pikseliarvot lasketaan ankkurikehysten pikseliarvojen painotettuina 4 114433 keskiarvoina suhteessa kunkin B-kehyksen ajalliseen etäisyyteen molemmista ankkurikehyksistä. Näin parannetaan erityisesti häivyttämällä tehtyjen otossiirtymien koodaustehokkuutta ja myös ennustettujen B-kehysten laatu paranee.
5 Yleisesti ottaen voidaan ajatella, että tietokoneella muodostettu kuva koostuu kerroksista eli kuvaobjekteista. Jokainen näistä kuvaobjekteista voidaan määritellä ainakin kolmella informaatiotyypillä: kuvaobjektin rakenne, sen muoto ja läpinäkyvyys sekä kerrostamisjärjestys (syvyys) suhteessa kuvan taustaan ja muihin kuvaobjekteihin. Esimerkiksi MPEG-4-videokoodauksessa 10 käytetään joitakin näistä informaatiotyypeistä ja niille määritettävistä parametriarvoista otossiirtymän koodaamiseen.
Muodon ja läpinäkyvyyden määrittämiseen käytetään usein ns. alfatasoa, joka mittaa läpinäkymättömyyttä eli ns. opasiteettia ja jonka arvo määritetään yleensä jokaiselle kuvaobjektille erikseen, mahdollisesti taustaa 15 lukuunottamatta, joka yleensä määritellään läpinäkymättömäksi. Voidaankin määritellä, että läpinäkymättömän kuvaobjektin, kuten taustan, alfatason arvo 1.0, kun taas täysin läpinäkyvä kuvaobjekti saa alfatason arvoksi 0.0. Näiden väliin asettuvat arvot määrittävät suhteen sille, kuinka vahvasti tietty kuvaobjekti näkyy kuvassa suhteessa taustaan ja muihin ainakin osittain 20 päällekkäisiin kuvaobjekteihin, joilla on suurempi syvyysarvo kyseiseen kuvaobjektiin nähden.
: Kuvaobjektien sijoittamista kerroksittain toistensa päälle niiden /, : muodon, läpinäkyvyyden ja syvyyssijainnin suhteen kutsutaan otoksen · muodostamiseksi (scene composition). Käytännössä toiminta perustuu t 25 painotettujen keskiarvojen käyttöön. Ensin lähinnä taustaa oleva, siis ’ syvyyssijainniltaan syvimmällä oleva, kuvaobjekti sijoitetaan taustan päälle ja : muodostetaan näistä yhdistetty kuva. Yhdistetyn kuvan pikseliarvot * » *·. ’ määräytyvät taustakuvan ja kyseisen kuvaobjektin alfatasoarvoilla painotettuna keskiarvona. Tämän jälkeen yhdistetyn kuvan alfatason arvoksi 30 määritetään 1.0, jonka jälkeen se toimii seuraavan kuvaobjektin taustakuvana.
Prosessia jatketaan niin kauan kunnes kaikki kuvaobjektit on liitetty kuvaan.
t *.t Esimerkiksi MPEG-4-videokoodauksessa käytetään edellä kuvattua • * * !*.; prosessia otossiirtymän koodaukseen siten, että tyypillisesti alkavan otoksen
• I
kuvakehyksiä valitaan taustakuviksi, joiden opasiteetilla on täysi arvo, ja 35 päättyvän otoksen kuvakehysten, jotka ovat siis taustan päälle asetettavia ’’kuvaobjekteja”, opasiteettia vähennetään otossiirtymän aikana. Kun päättyvän 5 114433 otoksen kuvakehysten opasiteetti eli alfatason arvo saavuttaa nollan, näkyy lopullisessa kuvakehyksessä ainoastaan alkavan otoksen kuvakehys.
Tunnetun tekniikan mukaisissa otossiirtymän koodauksissa on kuitenkin useita ongelmia. Painotettujen ankkurikehysten keskiarvojen 5 käyttäminen B-kehysten ennustamiseen ei toimi hyvin tilanteissa, joissa otossiirtymä on kestoltaan pitkä ja kuvissa on paljon liikettä, jolloin ajalliseen ennustamiseen perustuvan koodauksen kompressiotehokkuus pienenee huomattavasti. Jos otossiirtymässä käytettyjä B-kuvia käytetään liikenteen säätelyyn (traffic shaping) esimerkiksi suoratoistopalvelimessa, lähetetyn 10 sekvenssin kuvanopeus pienentyy otossiirtymän aikana hetkellisesti, mikä yleensä havaitaan kuvan nykimisenä.
MPEG-4-videokoodauksessa käytettävässä menetelmässä eräänä ongelmana on otossiirtymän koodauksen monimutkaisuus. MPEG-4-videokoodauksessa otoksen muodostaminen (scene composition) tapahtuu 15 aina videonkoodausta ja -dekoodausta kontrolloivan järjestelmän avulla, koska yksittäisessä MPEG-4-videosekvenssissä ei voi olla sitä informaatiota, joka tarvitaan otoksen muodostamiseen kahdesta tai useammasta videosekvenssistä. Täten otossiirtymän aikaansaaminen edellyttää kontrollitason tukea itse prosessille ja kahden tai useamman videosekvenssin 20 siirtämistä samanaikaisesti, mikä tyypillisesti edellyttää suurempaa kaistanleveyttä ainakin hetkellisesti.
f I I
;' ‘ Keksinnön lyhyt selostus ‘ · ; Keksinnön tavoitteena on siten kehittää menetelmä ja menetelmän itti ‘ ' toteuttava laitteisto siten, että yllä mainittujen ongelmien haittoja saadaan 25 vähennettyä. Keksinnön tavoitteet saavutetaan menetelmällä, videokooderilla, » » ·, * videodekooderilla ja tietokoneohjelmilla, joille on tunnusomaista se, mitä Γ : sanotaan itsenäisissä patenttivaatimuksissa.
Keksinnön edulliset suoritusmuodot ovat epäitsenäisten .;. patenttivaatimusten kohteena.
30 Keksintö perustuu siihen, että otossiirtymä muodostetaan ’ - ’ videosekvenssiin ainakin ensimmäisen ja toisen otoksen välille, joista otoksista ensimmäinen otos on päättyvä otos ja toinen otos on alkava otos. Otoksista ainakin jompi kumpi käsittää ainakin ensimmäisen kehysformaatin mukaisesti koodattuja videokehyksiä, jotka ovat dekoodattavissa itsenäisesti, siis I-: 35 kehyksiä, sekä toisen kehysformaatin mukaisesti koodattuja videokehyksiä, siis P- tai B-kehyksiä, joista toisen kehysformaatin mukaisista videokehyksistä 6 114433 ainakin yksi on ennustettu ainakin yhdestä muusta videokehyksestä. Otossiirtymä koodataan videosekvenssiin edullisesti siten, että ainakin yhden ensimmäisen otoksen videokehyksen ja ainakin yhden toisen otoksen videokehyksen esitysaika otossiirtymän aikana määritetään samaksi, jolloin 5 kyseisiä videokehyksiä voidaan kutsua otossiirtymävideokehyksiksi. Ainakin yhden otoksen ainakin yhdelle videokehykselle määritetään otossiirtymätietoa otossiirtymän muodostamiseksi dekooderilla. Sen jälkeen kooderissa koodataan ainakin mainittu yksi ensimmäisen otoksen otossiirtymävideokehys ja mainittu yksi toisen otoksen otossiirtymävideokehys, sekä mainittu 10 otossiirtymätieto videosekvenssiin.
Vastaavasti dekoodattaessa kyseinen videosekvenssi, dekooderissa vastaanotetaan koodattu ensimmäisen otoksen videokehys, koodattu toisen otoksen videokehys ja koodattu otossiirtymätieto. Nämä dekoodataan ja otossiirtymä muodostetaan käyttämällä dekoodattua 15 ensimmäisen otoksen videokehystä, dekoodattua toisen otoksen videokehystä ja dekoodattua otossiirtymätietoa.
Keksinnön eräässä edullisessa suoritusmuodossa ensimmäisen ja toisen otoksen kehyksiä on sijoitettu eri skaalauskerroksille, jotka käsittävät ainakin peruskerroksen ja ensimmäisen parannuskerroksen.
20 Keksinnön mukaisen menettelyn etuna on, että otossiirtymä voidaan koodata videosekvenssiin siten, että se käsittää olennaisen tiedon eri otoksista ja näiden käsittelystä otossiirtymän aikana, jolloin otossiirtymä .* voidaan dekoodata dekooderissa pelkästään kyseisen videosekvenssin käsittämän tiedon perusteella. Edelleen etuna on se, että keksinnön mukainen 25 menettely mahdollistaa skaalautuvan koodauksen myös otossiirtymää !* koodattaessa. Vielä etuna on se, että keksinnön erään edullisen suoritusmuodon mukaisesti videosekvenssin skaalauskerrokset yhdistetään edellä esitettyihin kuvakehysten kuvaobjekteihin ja niiden informaatiotyyppeihin siten, että otossiirtymälle saadaan aikaiseksi 30 skaalautuva videokoodaus, jonka kompressiotehokkuus on samanaikaisesti hyvä.
• · » ’ · · · ‘ Kuvioiden lyhyt selostus • · · % ·
Keksintöä selostetaan nyt lähemmin edullisten suoritusmuotojen *:··: yhteydessä, viitaten oheisiin piirroksiin, joista 35 kuvio 1 esittää keksinnön erään edullisen suoritusmuodon mukaista kahden eri otoksen kuvakehyksien sijoittamista skaalauskerroksille; 7 114433 kuvio 2 esittää erästä otossiirtymää, joka on muodostettavissa kuvion 1 mukaisella kuvakehysten sijoittamisella; kuvio 3 erästä toista otossiirtymää, joka on muodostettavissa kuvion 1 mukaisella kuvakehysten sijoittamisella; ja 5 kuvio 4 esittää keksinnön erään toisen edullisen suoritusmuodon mukaista kahden eri otoksen kuvakehyksien sijoittamista skaalauskerroksille.
Keksinnön yksityiskohtainen selostus
Keksintö on sovellettavissa kaikkiin skaalautuvaa koodausta käyttäviin videokoodausmenetelmiin. Erityisesti keksintö on sovellettavissa 10 erilaisiin alhaisen bittinopeuden videokoodauksiin, joita käytetään tyypillisesti kaistarajoitetuissa tietoliikennejärjestelmissä. Tällaisia ovat esimerkiksi ITU-T:n standardoima H.263 ja tällä hetkellä standardoinnin alla oleva H.26L (myöhemmin mahdollisesti H.264). Näiden yhteydessä keksintö on sovellettavissa muun muassa matkaviestimiin, jolloin videotoistossa voidaan 15 mukautua sekä muuttuvaan siirtokapasiteettiin tai kanavanlaatuun ja kullakin hetkellä käytettävissä olevaan prosessoritehoon, kun matkaviestimessä ajetaan muitakin sovelluksia kuin videotoistoa.
Edelleen on huomattava, että seuraavassa keksintöä kuvataan havainnollisuuden vuoksi selostamalla kuvakehysten koodausta ja ajallista 20 ennustamista kuvakehystasolla. Kuitenkin käytännössä koodaus ja ajallinen .·. ennustaminen tapahtuu tyypillisesti blokki- tai makroblokkitasolla, kuten edellä : on kerrottu.
Videokoodauksen bittinopeuden joustavaksi säätelemiseksi käytetään monissa videokoodausmenetelmissä skaalautuvaa koodausta, ;· ’ 25 jolloin videosekvenssin joitakin elementtejä tai elementtiryhmiä voidaan : poistaa ilman, että sillä on vaikutusta videosekvenssin muiden osien rekonstruoimiseen. Skaalautuvuus toteutetaan tyypillisesti ryhmittelemällä kuvakehykset useille hierarkkisille kerroksille. Peruskerroksen kuvakehyksiin koodataan olennaisesti vain ne kuvakehykset, jotka ovat välttämättömiä 30 videoinformaation dekoodaamiseksi vastaanottopäässä.
\ Myös tällöin käytetään tyypillisesti itsenäisesti dekoodattavan kuvaryhmän GOP käsitettä. Joissakin videokoodausmenetelmissä tällainen • * '···* itsenäisesti dekoodattava kuvaryhmä voi muodostaa alisekvenssin, vaikka ·:··: tässä selostuksessa alisekvenssillä ymmärretäänkin mitä tahansa ;*.t· 35 kuvaryhmää, jonka kuvat voidaan dekoodata käyttämällä saman kuvaryhmän • · ja yhden tai useamman muun kuvaryhmän kuvia. Tyypillisesti kussakin 8 114433 kuvaryhmässä GOP peruskerros käsittää ainakin yhden l-kehyksen ja tarvittavan määrän P-kehyksiä. Peruskerroksen alle voidaan määritellä yksi tai useampia parannuskerroksia, joista jokainen kerros parantaa videokoodauksen laatua ylempään kerrokseen verrattuna. Parannuskerrokset 5 käsittävät siten yhden tai useamman ylemmän kerroksen kuvista liikekompensoidusti ennustettuja P- tai B-kehyksiä. Kehykset numeroidaan kullakin kerroksella tyypillisesti jonkin ennalta määritetyn alfanumeerisen sarjan mukaisesti.
Videosekvenssiä toistavan päätelaitteen kannalta esitettävän kuvan 10 laatu paranee, mitä enemmän skaalauskerroksia on käytettävissä tai mitä useampia skaalauskerroksia se pystyy dekoodaamaan. Toisin sanoen, tällöin kuvadatan ajallinen tai spatiaalinen resoluutio tai spatiaalinen laatu paranee, koska kuva informaation määrä ja sen siirtoon käytettävä bittinopeus kasvaa. Vastaavasti suurempi määrä skaalauskerroksia asettaa myös päätelaitteen 15 prosessointiteholle huomattavasti kovemmat vaatimukset dekoodauksen suorittamiseen.
Vastaavasti videosekvenssin bittinopeutta voidaan säätää jättämällä videosekvenssistä alempia skaalauskerroksia pois. Kuvaryhmän tai alisekvenssin jokaisen kuvakehyksen riippuvuudet kuvaryhmän muista 20 kuvakehyksistä saattavat myös joissakin tapauksissa olla tiedossa. Tällöin myös kuvaryhmä tai alisekvenssi ja siitä riippuvat kuvat muodostavat : itsenäisen kokonaisuuden, joka voidaan tarvittaessa jättää pois .· : videosekvenssistä ilman, että sillä olisi vaikutusta videosekvenssin .. ,· myöhempien kuvakehysten dekoodaamiseen. Ainoastaan kyseisen . . 25 alisekvenssin ja siitä riippuvaisten alempien skaalauskerrosten alisekvenssien ; \ kuvakehykset jäävät silloin dekoodaamatta, tai niitä ei ainakaan voida / dekoodata oikein. Näin ollen skaalautuva videokoodaus tarjoaa monia etuja *·· ·’ videosekvenssin bittinopeuden säätämiseen.
Seuraavassa kuvataan skaalautuvaa videokoodausta hyödyntävä ..il’ 30 menettely otossiirtymän toteuttamiseksi. Keksinnön mukaisesti esitetään menettely, jossa yhdistetään videosekvenssin skaalauskerrokset edellä esitettyihin kuvakehysten kuvaobjekteihin ja niiden informaatiotyyppeihin siten, a · · il! että otossiirtymälle saadaan aikaiseksi skaalautuva videokoodaus, jonka kompressiotehokkuus on samanaikaisesti hyvä.
:"i 35 On kuitenkin huomattava, että keksintöä ei ole rajoitettu pelkästään :\\ skaalautuvaan otossiirtymään koodaamiseen. Keksinnölle onkin olennaista, 9 114433 että otossiirtymä voidaan koodata videosekvenssiin siten, että se käsittää olennaisen tiedon eri otoksista ja näiden käsittelystä otossiirtymän aikana, jolloin otossiirtymä voidaan dekoodata dekooderissa pelkästään kyseisen videosekvenssin käsittämän tiedon perusteella.
5 Keksintöä havainnollistetaan seuraavassa esimerkinomaisesti ja yksinkertaistaen käyttäen esimerkkeinä toisaalta ristihäivytettyä otossiirtymää ja toisaalta äkillistä otossiirtymää. Otossiirtymän aikana esitettävät kuvakehykset muodostuvat tyypillisesti kahdesta päällekkäin asetetusta kuvakehyksestä, ensimmäinen kuvakehys ensimmäisestä otoksesta ja toinen 10 kuvakehys toisesta otoksesta. Toinen kuvakehyksistä muodostaa taustakuvan ja vastaavasti toinen, jota kutsutaan edustakuvaksi, asetetaan taustakuvan päälle. Taustakuvan opasiteetti eli läpinäkymättömyysarvo on vakio, ts. sen pikselikohtaisia alfatason arvoja ei säädetä.
Keksinnön tässä suoritusmuodossa sekä taustakuva että 15 edustakuva määritellään skaalauskerroksittain. Tätä voidaan havainnollistaa kuviolla 1, jossa esitetään eräs esimerkki siitä, miten kahden eri otoksen kuvakehyksiä voidaan sijoittaa skaalauskerroksille keksinnön mukaisen otossiirtymän aikana. Ensimmäisen (päättyvän) otoksen ensimmäinen kuviossa 1 esitetty kuvakehys 100 sijaitsee peruskerroksella (Base).
20 Kuvakehys 100 voi olla joko l-kehys, jonka kuvainformaation määrittämisessä ei ole käytetty liikekompensoitua ajallista ennustusta, tai se voi olla P-kehys, : : joka on edellisistä kuvakehyksistä ennustettu liikekompensoitu kuvakehys.
; Ajallisesti seuraavan kuvakehyksen aikana alkaa toisen (alkavan) otoksen . : koodaaminen, jonka käsittämät kuvakehykset sijoitetaan keksinnön mukaisesti 25 myös peruskerrokselle. Tällöin toisen (päättyvän) otoksen loput kuvakehykset ; . 102, 104 sijoitetaan ensimmäiselle parannuskerrokselle (Enhancement).
;, / Nämä kuvakehykset ovat tyypillisesti P-kehyksiä.
‘ ··’ Toisen (alkavan) otoksen käsittämät kuvakehykset sijoitetaan siis tässä suoritusmuodossa peruskerrokselle, ainakin otossiirtymän ajaksi.
30 Otoksen ensimmäinen kuvakehys 106 on tyypillisesti l-kehys, josta toisen otoksen seuraavat kuvakehykset ajallisesti ennustetaan. Täten toisen otoksen . seuraavat kuvakehykset ovat ajallisesti ennustettuja kehyksiä, tyypillisesti P- !!! kehyksiä, kuten kuviossa 1 on merkitty kehykset 108 ja 110.
T Tällaisella kuvakehysten sijoittelulla skaalauskerroksille voidaan » 35 risti h ä i vytetty otossiirtymä toteuttaa keksinnön erään edullisen suoritusmuodon mukaisesti siten, että määritetään peruskerroksella oleva kuvakehys aina 10 114433 taustakuvaksi, jonka opasiteetti eli läpinäkymättömyysarvo on maksimissaan (100%). Otossiirtymän aikana taustakuvan päälle liitetään parannuskerroksilla sijaitsevia kuvakehyksiä, joiden opasiteettia säädetään esimerkiksi tarkoitukseen sopivilla suodattimilla siten, että kehykset muuttuvat asteittain 5 läpinäkymättömistä läpinäkyviksi.
Kuvion 1 mukaisessa videosekvenssissä ensimmäisen peruskerroksen kuvakehyksen 100 aikana ei alemmilla skaalauskerroksilla ole kuvakehyksiä. Tälle ajanhetkelle videosekvenssiin koodataan ainoastaan peruskerroksen ensimmäinen kuvakehys 100.
10 Peruskerroksen seuraavassa kuvakehyksessä 106 alkaa uusi (toinen) otos, jolloin kuvakehys 106 asetetaan syvyyssijoitukseltaan taustakuvaksi ja sen opasiteettiarvo määritetään maksimiin. Ajallisesti samanaikaisesti peruskerroksella olevan kuvakehyksen 106 kanssa ensimmäisellä parannuskerroksella on päättyvän (ensimmäisen) otoksen 15 kuvakehys 102, jonka läpinäkyvyyttä tulee kasvattaa, jotta ristihäivytetty otossiirtymä saadaan aikaiseksi. Kuvion 1 mukaisessa esimerkissä oletetaan, että opasiteetti asetetaan esimerkiksi arvoon 67%, minkä lisäksi kuvakehys 102 määritetään syvyyssijoitukseltaan edustakuvaksi. Tälle ajanhetkelle videosekvenssiin koodataan kuvakehyksistä 106 ja 102 yhdistetty kuva, jossa 20 kuva 106 näkyy heikompana taustalla ja kuva 102 vahvempana edessä, koska sen opasiteettiarvo on olennaisen suuri (60-100%).
Ajallisesti seuraavan kuvakehyksen aikana peruskerroksella on ; toisen otoksen toinen kuvakehys 108, joka siis vastaavalla tavalla asetetaan ____: syvyyssijoitukseltaan taustakuvaksi ja sen opasiteettiarvo määritetään #...t 25 maksimiin. Lisäksi ensimmäisellä parannuskerroksella on ajallisesti samanaikaisesti päättyvän (ensimmäisen) otoksen viimeinen kuvakehys 104, ’;t/ jonka opasiteettiarvoksi tulee esimerkiksi 33%, minkä lisäksi kuvakehys 104 *·*.* määritetään syvyyssijoitukseltaan myös edustakuvaksi. Täten kyseiselle ajanhetkelle videosekvenssiin koodataan kuvakehyksistä 108 ja 104 yhdistetty 30 kuva, jossa kuva 108 näkyy vahvempana taustalla ja kuva 104 heikompana :[['·. edessä, koska sen opasiteettiarvo on olennaisesti pieni (10 - 40%). Edelleen . voitaisiin ajatella , että mainittujen kuvakehysten välissä olisi kehys, jonka ;;; opasiteettiarvo olisi olennaisesti 50 %, mutta tätä ei ole esitetty tässä *·:** esimerkissä.
35 Ajallisesti seuraavan kuvakehyksen aikana peruskerroksella on toisen otoksen kolmas kuvakehys 110. Koska ensimmäinen otos on päättynyt, 11 114433 koodataan videosekvenssiin ainoastaan kuvakehys 110, josta edelleen jatketaan toisen otoksen esittämistä.
Edellä kuvattua ristihäivytettyä otossiirtymää voidaan edullisesti havainnollistaa kuvion 2 mukaisella videosekvenssillä. Kuviossa 2 kuvakehys 5 200 esittää kuvaa veneestä, joka kuvakehys kuuluu tässä videosekvenssissä ensimmäiseen (päättyvään) otokseen. Tämä kuvakehys 200 vastaa kuvion 1 mukaisessa videosekvenssissä ensimmäisen peruskerroksen kuvakehystä 100, jonka aikana ei alemmilla skaalauskerroksilla ole kuvakehyksiä. Täten kyseiselle ajanhetkelle videosekvenssiin koodataan ainoastaan 10 peruskerroksen ensimmäinen kuvakehys 100.
Seuraavana ajanhetkenä kuvion 2 mukaisessa videosekvenssissä alkaa otossiirtymä, jolloin kuvakehys 202 käsittää keksinnön mukaisesti yhdistettyä kuvainformaatiota sekä ensimmäisestä (päättyvästä) otoksesta että toisesta (alkavasta) otoksesta. Alkava otos esittää kuvaa miehen päästä, joka 15 näkyy himmeänä kuvakehyksen 202 taustalla. Kuvakehys 202 vastaa kuvion 1 ajanhetkeä, jolloin peruskerroksella on alkavan otoksen kuvakehys 106 ja parannuskerroksella on päättyvän otoksen kuvakehys 102. Kuvakehys 106 (pää) asetetaan syvyyssijoitukseltaan taustakuvaksi ja sen opasiteettiarvo määritetään maksimiin. Ensimmäisellä parannuskerroksella olevan 20 kuvakehyksen 102 (vene) opasiteetti asetetaan arvoon 67% ja kuvakehys 102 määritetään syvyyssijoitukseltaan edustakuvaksi. Tälle ajanhetkelle :Y: videosekvenssiin koodataan kuvakehyksistä 106 ja 102 yhdistetty kuvakehys 202, jossa kuva 106 (pää) näkyy heikompana taustalla ja kuva 102 (vene) , vahvempana edessä, koska sen opasiteettiarvo on olennaisen suuri (67%).
, ··, 25 Seuraavana ajanhetkenä kuvion 2 mukaisessa videosekvenssissä Γ'. otossiirtymä edelleen jatkuu, jolloin myös kuvakehys 204 käsittää keksinnön mukaisesti yhdistettyä kuvainformaatiota sekä ensimmäisestä (päättyvästä) otoksesta että toisesta (alkavasta) otoksesta. Kuvakehys 204 vastaa kuvion 1 ajanhetkeä, jolloin peruskerroksella on alkavan otoksen kuvakehys 108 ja 30 parannuskerroksella on päättyvän otoksen viimeinen kuvakehys 104. Kuvakehys 108 asetetaan vastaavalla tavalla syvyyssijoitukseltaan . /. taustakuvaksi ja sen opasiteettiarvo määritetään maksimiin. Kuvakehyksen 104 opasiteettiarvoksi asetetaan 33%, minkä lisäksi kuvakehys 104 '!* määritetään syvyyssijoitukseltaan myös edustakuvaksi. Täten kyseiselle 35 ajanhetkelle videosekvenssiin koodataan kuvakehyksistä 108 ja 104 yhdistetty kuva 204, jossa kuva 108 (pää) näkyy vahvempana taustalla ja kuva 104 12 114433 (vene) heikompana edessä, koska sen opasiteettiako on enää ainoastaan 33%.
Viimeisenä ajanhetkenä kuvion 2 mukaisessa videosekvenssissä otossiirtymä on päättynyt ja kuvakehykseen 206 koodataan ainoastaan 5 peruskerroksella oleva toisen otoksen kolmas kuvakehys 110, josta edelleen jatketaan toisen otoksen esittämistä.
Edellä kuvattiin esimerkinomaisesti, kuinka keksinnön mukaisella kuvakehysten sijoittelulla eri skaalauskerroksille voidaan ristihäivytetty otossiirtymä toteuttaa koodaustehokkuuden kannalta edullisesti.
10 Videosekvenssin lähettämisessä tai dekoodaamisessa saattaa kuitenkin tulla vastaan tilanne, jossa videosekvenssin bittinopeus tulee sovittaa tiedonsiirtoon käytettävissä olevan kaistanleveyden ja/tai päätelaitteen dekoodausnopeuden maksimiarvon mukaiseksi. Tällainen bittinopeuden säätö aiheuttaa tunnetuille videokoodausmenetelmille ongelmia otossiirtymän toteuttamisessa.
15 Nyt keksinnön erään edullisen suoritusmuodon mukaisesti videosekvenssistä voidaan poistaa yksi tai useampia skaalauskerroksia tai näiden käsittämiä itsenäisesti dekoodattavia kuvaryhmiä GOP tai alisekvenssejä ja näin pienentää videosekvenssin bittinopeutta, ja kuitenkin samanaikaisesti voidaan otossiirtymä dekoodata pienentämättä kuvataajuutta.
20 Kuvion 1 mukaisessa kuvakehysten sijoittelussa tämä voidaan toteuttaa siten, että poistetaan videosekvenssistä ensimmäinen parannuskerros. Tällöin V: videosekvenssissä esitetään ainoastaan peruskerroksen käsittämät . : kuvakehykset 100, 106, 108 ja 110. Toisin sanoen, ensimmäisestä (päättyvästä) otoksesta siirrytään suoraan toiseen (alkavaan) otokseen ··. 25 äkillisenä otossiirtymänä eli ensimmäisen otoksen kuvakehyksestä 100 i”, suoraan toisen otoksen aloittavaan l-kuvakehykseen 106. Tällaisessa tilanteessa ei siis suoriteta ristihäivytettyä otossiirtymää, vaan äkillinen ···' otossiirtymä. Kuitenkin otossiirtymä voidaan edullisesti suorittaa ilman, että sillä olisi vaikutusta videosekvenssin kuvan laatuun eikä katsoja tyypillisesti 30 koe ristihäivytetyn otossiirtymän sijaan suoritettua äkillistä otossiirtymää millään tavalla häiritsevänä tai virheellisenä. Tunnetun tekniikan mukaisessa , [·. toteutuksessa, jossa skaalauskerroksia ei voida poistaa, otossiirtymän kohdalla jouduttaisiin sitä vastoin usein pienentämään kuvataajuutta, minkä *: katsoja kokisi nykivänä ja häiritsevänä.
35 Edellä kuvattua äkillistä otossiirtymää voidaan edullisesti havainnollistaa kuvion 3 mukaisella videosekvenssillä, joka käsittää samat 13 114433 otokset (vene ja pää) kuin kuviossa 2 esitetty videosekvenssi. Myös kuviossa 3 kuvakehys 300 esittää kuvaa veneestä, joka kuvakehys kuuluu videosekvenssissä ensimmäiseen (päättyvään) otokseen. Kuvakehys 300 vastaa siis kuvion 1 mukaisessa videosekvenssissä ensimmäisen 5 peruskerroksen kuvakehystä 100, jonka aikana ei alemmilla skaalauskerroksilla ole kuvakehyksiä. Täten kyseiselle ajanhetkelle videosekvenssiin koodataan ainoastaan peruskerroksen ensimmäinen kuvakehys 100.
Seuraavana ajanhetkenä kuvion 3 mukaisessa videosekvenssissä 10 suoritetaankin äkillinen otossiirtymä ensimmäisestä otoksesta toiseen otokseen siten, että parannuskerroksella olevat kuvakehykset poistetaan videosekvenssistä. Tällöin kuvakehys 302 käsittää keksinnön mukaisesti kuvainformaatiota ainoastaan peruskerroksella sijaitsevasta toisesta (alkavasta) otoksesta, jolloin miehen pää näkyy selkeästi kuvakehyksessä 15 302. Toisin sanoen, kuvakehys 302 vastaa kuvion 1 kuvakehystä 106 sellaisenaan.
Vastaavasti myös kuvakehys 304 käsittää kuvainformaatiota ainoastaan peruskerroksella sijaitsevan toisen otoksen toisesta kuvakehyksestä 108. Viimeisenä ajanhetkenä kuvion 3 mukaisessa 20 videosekvenssissä kuvakehykseen 306 koodataan ainoastaan peruskerroksella oleva toisen otoksen kolmas kuvakehys 110, josta edelleen ; ‘; jatketaan toisen otoksen esittämistä.
: Kuten kuviosta 3 nähdään, otossiirtymä voidaan edullisesti suorittaa äkillisenä otossiirtymänä ilman, että sillä olisi vaikutusta videosekvenssin . 25 kuvan laatuun eikä kuvakehyksissä 300 - 306 esitetty äkillinen otossiirtymä ole havaittavissa millään tavalla virheellisenä.
’· Kuten edellä on käynyt ilmi, on keksinnön toteutuksen kannalta edullista sijoittaa jälkimmäisen otoksen kuvakehykset tyypillisesti aina peruskerrokselle ja asettaa ne syvyyssijoitteluna taustakuviksi. Jos kuitenkin 30 halutaan painottaa ensimmäistä (päättyvää) otosta esimerkiksi sen takia, että äkillisen otossiirtymän tapauksessa halutaan näyttää päättyvän otoksen kaikki ( kuvakehykset, voidaan tällöin ensimmäisen otoksen kuvakehykset sijoittaa peruskerrokselle. Tällöin keksinnön erään suoritusmuodon mukaisesti toiseen *·;*' (alkavaan) otokseen on koodattava l-kehys P-kehyksen sijasta välittömästi ·:*·: 35 otossiirtymän jälkeen. Tämä ei ole kuitenkaan kompressiotehokkuuden kannalta yhtä edullinen ratkaisu kuin edellä kuvattu koodausjärjestely.
114433 14
Keksinnön erään edullisen suoritusmuodon mukaisesti edellä kuvattu ongelma voidaan ratkaista järjestelmissä, jotka tukevat ajallista ennustusta taaksepäin. Joissakin koodausmenetelmissä tunnetaan menettely nimeltä referenssikuvan valinta, joka yleisessä muodossaan mahdollistaa 5 kuvakehysten kuvainformaation ennustamisen myös ajallisesti myöhemmistä kuvakehyksistä. INTRA-kehyksen siirto on koodaustekniikka, joka hyödyntää referenssikuvan valintaa. Tällöin INTRA-kehystä ei sijoitetakaan ajallisesti "oikealle” paikalle videosekvenssiin, vaan sen paikka siirretään ajallisesti myöhemmäksi. Tällöin INTRA-kehyksen "oikean” paikan ja todellisen paikan 10 väliset kuvakehykset videosekvenssissä ennustetaan kyseisestä INTRA-kehyksestä ajallisesti taaksepäin. Tämä edellyttää luonnollisesti koodaamattomien kuvakehysten puskurointia riittävän pitkäksi aikaa, että kaikki esitettävät kuvakehykset saadaan koodattua ja järjestettyä esitysjärjestykseen.
15 Edellä kuvattua otossiirtymän koodausta INTRA-kehyksen siirron avulla havainnollistetaan seuraavassa kuvioon 4 viitaten. Kuviossa 4 ensimmäisen (päättyvän) otoksen kaikki kuvakehykset 100, 102 ja 104 on asetettu peruskerrokselle, niiden syvyyssijoitteluasetus määrittää ne taustakuviksi ja niiden opasiteettiako on maksimissaan (100%). Toisen 20 (alkavan) otoksen kuvakehyksistä ainakin otossiirtymän aikaiset kuvakehykset 106 ja 108 on sijoitettu ensimmäiselle parannuskerrokselle. Nämä : : kuvakehykset ovat P-kehyksiä, jotka on ajallisesti ennustettu taaksepäin I- : kehyksestä 110. Riippuen käytettävästä koodausmenetelmästä, l-kehys 110 voi sijaita joko peruskerroksella tai ensimmäisellä parannuskerroksella.
25 Otossiirtymän koodaamisen kannalta on tällöin olennaista, että parannuskerroksella sijaitsevien otossiirtymän aikaisten kuvakehysten syvyyssijoitteluasetus määrittää ne edustakuviksi ja niiden opasiteettiarvo *··* muuttuu asteittain. Mikäli halutaan saada aikaiseksi samanlainen risti h ä i vytetty otossiirtymä kuin kuvioiden 1 ja 2 mukaisessa esimerkissä edellä, asetetaan 30 kuvakehyksen 106 opasiteettiarvoksi 33% ja vastaavasti kuvakehyksen 108 : * ’ *: opasiteettiarvoksi 67%.
, X Edellä kuvatuista esimerkeistä käy hyvin ilmi se, kuinka keksinnön * · · l!'. mukainen menettely yhdistää parannetun, siis kompressiotehokkaamman, painotettuja keskiarvoja käyttävän ristihäivytetyn otossiirtymän kerroksittain 35 skaalautuvaan videokoodaukseen. Skaalautuvuutta kerroksittain voidaan edullisesti hyödyntää ristihäivytetyn otossiirtymän toteuttamiseen ja toisaalta, 15 114433 jos parannuskerros joudutaan poistamaan videosekvenssistä, johtuen esimerkiksi käytettävissä olevan kaistanleveyden pienenemisestä, pystytään otossiirtymä kuitenkin edullisesti tekemään äkillisenä otossiirtymänä.
Edellä kuvatuissa esimerkeissä keksintöä on havainnollistettu 5 yksinkertaistaen siten, että käytössä on vain kaksi skaalauskerrosta: peruskerros ja yksi parannuskerros. Kuitenkaan skaalautuvassa koodauksessa parannuskerrosten määrää ei tyypillisesti rajoiteta mitenkään, vaan koodauksessa voidaan peruskerroksen lisäksi käyttää useita parannuskerroksia. Tämän lisäksi joissakin koodausmenetelmissä peruskerros 10 voidaan vielä jakaa siten, että sen yläpuolella on erillinen INTRA-kerros, joka käsittää ainoastaan l-kehyksiä, jonka jälkeen tulee varsinainen peruskerros ja sen alapuolella tarvittava määrä parannuskerroksia.
Edelleen edellä kuvatuissa esimerkeissä keksintöä on havainnollistettu tilanteissa, joissa otossiirtymä on suoritettu kahden otoksen 15 välillä. Keksintöä ei kuitenkaan ole rajoitettu vain kahden otoksen välisiin otossiirtymiin, vaan koodaus voidaan suorittaa siten, että koodataan useampia kuin kaksi otosta samaan otossiirtymään. Eri otokset voivat olla ajallisesti peräkkäisiä tai ainakin osittain päällekkäisiä. Tällöin eri otokset voidaan sijoittaa eri skaalauskerroksille siten, että otossiirtymän jälkeen jatkuvan 20 otoksen käsittämät kuvakehykset sijoitetaan edullisesti peruskerrokselle ja muiden otosten käsittämät kuvakehykset voidaan sijoittaa usealla eri tavalla : useille parannuskerroksille. Otossiirtymän aikana muodostettavat : kuvakehykset voidaan koodata edellä kuvatulla tavalla määrittelemällä eri ,*,,j otosten kuvakehyksille eri syvyyssijainti ja painottamalla eri tavalla eri 25 kuvakehysten opasiteettiarvoa.
*;·'! Tällöin voidaan esimerkiksi toimia siten, että sijoitetaan peruskerrokselle ensimmäinen otos, ainakin osittain otossiirtymän ajaksi ensimmäiselle parannuskerrokselle sijoitetaan yksivärisiä, esimerkiksi mustia kehyksiä, ja toiselle parannuskerrokselle sijoitetaan toinen otos. Esimerkiksi 30 kuvioon 4 voidaan ajatella yksiväriset kehykset kehysten 102 ja 106 sekä vastaavasti 104 ja 108 välille. Tällöin voidaan otossiirtymä ensimmäisen ja > toisen otoksen välillä suorittaa häivyttämällä ensin ensimmäinen otos • t » "I mustaan, jonka jälkeen voidaan palauttaa kuvakehyksissä informaatio toiseen » · ’·;·* otokseen esimerkiksi edellä kuvatun kaltaisena ristihäivytettynä ”**: 35 otossiirtymänä. Tällainen otossiirtymä eri otosten välillä mustan tai valkoisen kautta on hyvin tyypillinen esimerkiksi dokumenttivideoissa.
• · 16 114433
Eräs ongelmatilanne videotiedostojen selauksessa syntyy, kun selaus halutaan aloittaa kesken videosekvenssiä. Tällaisia tilanteita ovat esimerkiksi, kun käyttäjä haluaa selata paikallisesti tallennettua videotiedostoa eteen- tai taaksepäin tai suoratoistotiedostoa jostakin tietystä kohdasta, kun 5 käyttäjä aloittaa suoratoistotiedoston toistamisen satunnaisesta kohdasta tai, kun toistettavassa videotiedostossa havaitaan virhe, joka pysäyttää videotiedoston toiston ja vaatii tiedoston toiston aloittamisen uudelleen jostakin virhettä seuraavasta kohdasta. Videotiedoston selaamisen jatkaminen satunnaisesta kohdasta edellyttää itsenäisesti dekoodattavan kuvaryhmän 10 GOP löytämistä. Otossiirtymät koodataan usein siten, että jälkimmäinen kuvaryhmä ennustetaan ensimmäisestä otossiirtymään kuuluvien kuvien osalta, ja täten jälkimmäistä kuvaryhmä ei ole itsenäisesti dekoodattavissa eikä siitä voi jatkaa videotiedoston selausta. Alkava otos olisi kuitenkin luonnollinen kohta aloittaa myös tiedoston selaus.
15 Keksinnön erään edullisen suoritusmuodon mukaisesti tämä voidaan välttää dekooderissa siten, että aloitettaessa videotiedoston selaus satunnaisesta kohdasta, dekooderi etsii mainittua kohtaa seuraavan otossiirtymän videosekvenssistä ja aloittaa dekoodauksen otossiirtymästä.
Tämä on edullisesti toteutettavissa, koska keksinnön mukaisessa 20 otossiirtymässä toinen (alkava) otos alkaa l-kehyksenä, joka siis toimii itsenäisesti dekoodattavan kuvaryhmä GOP tai alisekvenssin aloituspisteenä.
Myös edellä kuvatun INTRA-kehyksen siirron tapauksessa voidaan ajatella, : että l-kehys toimii dekoodauksen aloituspisteenä. Näin keksinnön mukainen otossiirtymä tarjoaa edullisesti kohdan, josta dekoodaus voidaan aloittaa ...t 25 satunnaisen selauskohdan jälkeen.
!'*. Keksinnön erään edullisen suoritusmuodon mukaisesti otossiirtymässä voidaan myös käyttää B-kehyksiä otossiirtymän aikaisten t % *··* kuvakehysten esittämiseen. Tällöin otossiirtymän aikaisten B-kehysten kuvainformaatio määritetään näistä ankkurikehyksistä ajallisesti ennustamalla 30 siten, että ennustettujen kuvakehysten makroblokkien pikseliarvot lasketaan ankkurikehysten liikekompensoitujen ennustusblokkien pikseliarvojen . /. keskiarvoina tai painotettuina keskiarvoina suhteessa kunkin B-kehyksen * · · etäisyyteen molemmista ankkurikehyksistä. Koska B-kehysten :*’ kompressiotehokkuus on tyypillisesti parempi kuin P-kehysten, saavutetaan 35 myös otossiirtymässä yhdistetyille kuvakehyksille parempi laatu vastaavalla bittinopeudella kuin jos B-kehyksiä vastaavat kuvakehykset olisivat P- 17 114433 kehyksiä. Mikäli otossiirtymän aikaista kuvakehystä, kuten perinteistä B-kehystä, ei käytetä muiden kehysten ennustamiseen, vaan se voidaan jättää lähettämättä, ajallisesti vastaavat kuvakehykset muilla parannuskerroksilla on myös jätettävä lähettämättä.
5 Jotta saavutetaan riittävä kompressiotehokkuus, voidaan videosekvenssin bittivirrasta poistettavan osan bittinopeus määritellä siten, että se riippuu otosten pituudesta, siis otosleikkausten välisestä ajasta, sekä otossiirtymän kestosta. Jos tällöin oletetaan, että käytetään vakiobittinopeutta ja jokaiselle kuvakehykselle on varattu käyttöön yhtä suuri bittinopeus, 10 saadaan määritettyä kaava, jolla voidaan approksimoida ristihäivytetyssä otossiirtymässä poistettavan datan osuutta kuvakehysten käyttöön varatusta datasta. Jos poistettavan datan osuutta merkitään S(discard), ristihäivitetyn otossiirtymän keskimääräistä kestoa merkitään D(cross-fade) ja otosten pituutta merkitään T(scene cut), voidaan poistettavan datan osuus määrittää 15 kaavalla 1: S(discard) = D(cross-fade) / (2 x D(cross-fade) + T(scene cut)) (1.) Tällöin poistettavan datan osuutta ristihäivytetyn otossiirtymän 20 keston funktiona voidaan esittää kaavion 1 mukaisella kuvaajalla: v.· 50.00% n-------------------------------......-...........—.........—......—------------------------------------------------------------------------ 45.00%---—j -Ξ 40.00%-- 1 2 35.00%-- 1 | 30.00%-- ! 125.oo%---1 g 20.00%-- 1 E! 15 00%--- • ro s' m 10.00%---7^=- :!!!: 5.00% - . !·. 0.00% Y-->-1-i-1- o 0.2 0.4 o.b o.b 1 » · ’ ·; · * Duration of scene transition / duration of scene • · . . : Kaavio 1.
• M
18 114433
Kaaviosta 1 nähdään, että jos ristihäivytettyä otossiirtymää ei käytetä (otossiirtymän kesto on nolla eli kyseessä on äkillinen otossiirtymä), myös otossiirtymän aikana poistettavan datan määrä on luonnollisesti nolla. Toisaalta, jos otossiirtymä kestää yhtä kauan kuin varsinainen otos, voidaan 5 otossiirtymän aikana poistaa puolet kuvakehysten datasta. Tyypillisesti otossiirtymän keston suhde koko otoksen pituuteen on alle 0,1, jolloin poistettavan datan määrä on alle 10%. Esimerkiksi elokuvatrailerissa voi olla yhden sekunnin mittaisia otoksia, joiden välillä käytetään 0,1 sekunnin kestävää ristihäivytystä, jolloin otossiirtymän keston suhde koko otoksen 10 pituuteen on juuri 0,1, mikä vastaa noin 9% poistettavan datan osuutta. Vastaavasti uutiskuvassa voi olla esimerkiksi 5 sekunnin mittaisia otoksia, jotka ristihäivytetään seuraavaan otokseen 0,3 sekunnin aikana. Tällöin otossiirtymän keston suhde koko otoksen pituuteen on 0,06, mikä vastaa noin 6% poistettavan datan osuutta.
15 Edelleen kaavasta 1 nähdään, että maksimissaan poistettavan datan määrä lasketaan painotettuja keskiarvoja käyttäen, mikä siis muistuttaa edellä esitettyä B-kuvien ennustamista ankkurikehyksinä käytettyjen kuvakehysten välisiä etäisyyksiä painottaen.
Keksinnön erään edullisen suoritusmuodon mukaisesti edellä 20 määritetyn kaavan mukainen datan poistaminen videosekvenssistä otossiirtymän aikana voidaan suorittaa sinänsä tunnettuna siirtosuodatuksena, . kuten SMIL-suodatuksena (Synchronized Multimedia Integration Language).
, ; SMIL 2.0 -standardi esittää välineet siirtosuodatuksen tekemiseksi esimerkiksi | kuva- ja videotiedostoihin. Suodatusprosessissa käytetään yhtä lähdettä tai 25 määritellään suodatus tapahtuvaksi kahden lähdetilan välillä, joiden pohjalta suodatuksen ulostulo määritellään tietylle alueelle kuvakehyksessä. Suodatin t i | ’· '· määrittelee siirtymän aloitustilan ja kohdetilan välillä siten, että aloitustilaa merkitään arvolla 0.0 ja kohdetilaa arvolla 1.0. Tällöin suodatuksen eteneminen ja haluttu lopputulos voidaan määrittää asettamalla kyseiselle f t; i * 30 parametrille sopiva arvo.
SMIL 2.0 -standardi esittää lukuisia erilaisia suodatusefektejä, joita • · · *. voidaan soveltaa keksinnön mukaiseen siirtosuodatukseen. Keksinnön erään
I I I
edullisen suoritusmuodon mukaisesti suodattimien ominaisuudet, erityisesti • * edellä kuvattu siirtymää määrittävä parametri, määräytyvät kaavan 1 ·:·: 35 mukaisesti. Tämän lisäksi haluttu suodatusefekti vaikuttaa siihen, mitä • » » · » « * * • * 19 114433 suodatintyyppiä käytetään. SMIL 2.0 -standardi on kuvattu tarkemmin spesifikaatiossa "The SMIL 2.0 Transition Effects Module", W3C, 7.8.2001.
Täten keksinnön mukainen otossiirtymän koodaaminen ei ole rajoitettu vain edellä kuvattuihin esimerkkeihin ja ristihäivytettyyn tai äkilliseen 5 otossiirtymään, vaan keksintöä voidaan soveltaa periaatteessa missä tahansa otossiirtymätyypissä. Näin ollen keksintö on sovellettavissa esimerkiksi aiemmin mainittuihin ruudutukseen (tiling), vieritykseen (roll), liputukseen (push), oveen (door) tai erilaisiin zoomauksiin. Periaatteessa kaikissa otossiirtymissä toimitaan samalla tavalla: määritellään kullekin otossiirtymän 10 aikaiselle kehykselle opasiteetti- ja syvyysarvo sekä käytettävään otossiirtymään ja efektiin tarvittava suodatintyyppi.
Edellä on kuvattu menettelyä otossiirtymän koodaamiseksi skaalautuvana videosekvenssinä. Konkreettisesti tämä suoritetaan videokooderissa, joka sisänsä voi olla jokin tunnettu videokooderi.
15 Videokooderina voidaan käyttää esimerkiksi ITU-T:n suositusten H.263 tai H.26L mukaista videokooderia, joka on keksinnön mukaisesti järjestetty määrittämään ainakin yhden ensimmäisen otoksen videokehyksen ja ainakin yhden toisen otoksen videokehyksen esitysaika otossiirtymän aikana samaksi, jolloin mainitut videokehykset ovat otossiirtymävideokehyksiä, määrittämään 20 ainakin yhden otoksen ainakin yhdelle videokehykselle otossiirtymätietoa otossiirtymän muodostamiseksi dekooderilla, koodaamaan kooderissa ainakin ; mainittu yksi ensimmäisen otoksen otossiirtymävideokehys videosekvenssiin, koodaamaan kooderissa ainakin mainittu yksi toisen otoksen ; otossiirtymävideokehys videosekvenssiin, ja koodaamaan kooderissa mainittu .. 25 otossiirtymätieto videosekvenssiin.
*; ' Vastaavasti dekoodaus suoritetaan konkreettisesti : videodekooderissa, joka sisänsä voi olla jokin tunnettu videodekooderi.
·...· Videodekooderina voidaan käyttää esimerkiksi ITU-T:n suositusten H.263 tai H.26L mukaista alhaisen bittinopeuden videodekooderia, joka on keksinnön 30 mukaisesti vastaanottamaan dekooderissa koodattu ensimmäisen otoksen videokehys, koodattu toisen otoksen videokehys ja koodattu otossiirtymätieto, dekoodaamaan koodattu ensimmäisen otoksen videokehys, koodattu toisen otoksen videokehys ja koodattu otossiirtymätieto, ja muodostamaan • · otossiirtymä käyttämällä dekoodattua ensimmäisen otoksen videokehystä, *:**: 35 dekoodattua toisen otoksen videokehystä ja dekoodattua otossiirtymätietoa.
• * 20 114433
Videopohjaisten tietoliikennejärjestelmien eri osat, erityisesti päätelaitteet, voivat käsittää ominaisuuksia, joilla mahdollistetaan kaksisuuntainen multimediatiedostojen siirto, ts. tiedostojen lähettäminen ja vastaanottaminen. Tällöin voidaan kooderi ja dekooderi toteuttaa ns.
5 videokoodekkina, joka käsittää siis sekä kooderin että dekooderin toiminnallisuudet.
On huomattava, että edellä esitettyjen videokooderin, videodekooderin ja päätelaitteen keksinnön mukaiset toiminnalliset elementit voidaan toteuttaa edullisesti ohjelmistona, kovo-ratkaisuna tai näiden kahden 10 yhdistelmänä. Keksinnön mukaiset koodaus- ja dekoodausmenetelmät soveltuvat erityisen hyvin toteutettavaksi tietokoneohjelmistona, joka käsittää tietokoneen luettavassa muodossa olevat käskyt keksinnön toiminnallisten askelien suorittamiseksi. Kooderi ja dekooderi voidaan edullisesti toteuttaa tallennusvälineelle tallennettuna ohjelmistokoodina, joka voidaan suorittaa 15 tietokoneen kaltaisella laitteella, kuten esimerkiksi henkilökohtaisella tietokoneella (PC) tai matkaviestimellä, koodaus/dekoodaus-toiminnallisuuksien aikaansaamiseksi kyseisellä laitteella.
Keksintö on toteuttavissa myös videosignaalina, joka käsittää ainakin ensimmäisen ja toisen otoksen, joista otoksista ensimmäinen otos on 20 päättyvä otos ja toinen otos on alkava otos, ja joista mainituista otoksista ainakin yksi käsittää ainakin ensimmäisen kehysformaatin mukaisesti koodattuja videokehyksiä, jotka ovat dekoodattavissa itsenäisesti, sekä toisen j kehysformaatin mukaisesti koodattuja videokehyksiä, joista toisen kehysformaatin mukaisista videokehyksistä ainakin yksi on ennustettu ainakin ,· ·, 25 yhdestä muusta videokehyksestä. Tällainen videosignaali käsittää ainakin l". yhden otoksen ainakin yhdelle videokehykselle otossiirtymätietoa ’;, ’: otossiirtymän muodostamiseksi dekooderilla.
Alan ammattilaiselle on ilmeistä, että tekniikan kehittyessä keksinnön perusajatus voidaan toteuttaa monin eri tavoin. Keksintö ja sen • II» ,··, 30 suoritusmuodot eivät siten rajoitu yllä kuvattuihin esimerkkeihin vaan ne voivat vaihdella patenttivaatimusten puitteissa.
* · 1 · • ♦ • · 1 t » · • · • · · • ·
Claims (16)
1. Menetelmä otossiirtymän muodostamiseksi videosekvenssiin ainakin ensimmäisen ja toisen otoksen välille, joista otoksista ensimmäinen otos on päättyvä otos ja toinen otos on alkava otos, ja joista mainituista 5 otoksista ainakin yksi käsittää ainakin ensimmäisen kehysformaatin mukaisesti koodattuja videokehyksiä, jotka ovat dekoodattavissa itsenäisesti, sekä toisen kehysformaatin mukaisesti koodattuja videokehyksiä, joista toisen kehysformaatin mukaisista videokehyksistä ainakin yksi on ennustettu ainakin yhdestä muusta videokehyksestä, tunnettu siitä, että 10 määritetään ainakin yhden ensimmäisen otoksen videokehyksen ja ainakin yhden toisen otoksen videokehyksen esitysaika otossiirtymän aikana samaksi, jolloin mainitut videokehykset ovat otossiirtymävideokehyksiä, määritetään ainakin yhden otoksen ainakin yhdelle videokehykselle otossiirtymätietoa otossiirtymän muodostamiseksi dekooderilla, 15 koodataan kooderissa ainakin mainittu yksi ensimmäisen otoksen otossiirtymävideokehys videosekvenssiin, koodataan kooderissa ainakin mainittu yksi toisen otoksen otossiirtymävideokehys videosekvenssiin, ja koodataan kooderissa mainittu otossiirtymätieto videosekvenssiin.
2. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että t I ensimmäisen ja toisen otoksen kehyksiä on sijoitettu eri * · ! skaalauskerroksille, jotka käsittävät ainakin peruskerroksen ja ensimmäisen parannuskerroksen. ' ··' 25
3. Patenttivaatimuksen 2 mukainen menetelmä, tunnettu siitä, ’ koodataan ainakin ensimmäisen ja toisen otoksen ainakin :; otossiirtymävideokehykset videosekvenssin eri skaalauskerroksille.
4. Jonkin edellisen patenttivaatimuksen mukainen menetelmä, ;:· tunnettu siitä, että i‘": 30 koodataan otossiirtymä videosekvenssiin siten, että se käsittää ainakin mainitun yhden ensimmäisen otoksen otossiirtymävideokehyksen ja ainakin mainitun yhden toisen otoksen otossiirtymävideokehyksen, joiden • · “···' kuvakehysinformaatiota sovitetaan yhteen mainitun otossiirtymätiedon ennalta ·:· määrittämässä suhteessa.
5. Patenttivaatimuksen 4 mukainen menetelmä, t u n n e tt u siitä, 114433 sovitetaan mainitut otossiirtymävideokehykset yhteen suodattamalla niiden käsittämää kuvakehysinformaatiota.
6. Patenttivaatimuksen 5 mukainen menetelmä, tunnettu siitä, mainittu suodatus suoritetaan siirtosuodatuksena, kuten SMIL- 5 suodatuksena.
7. Jonkin edellisen patenttivaatimuksen mukainen menetelmä, tunnettu siitä, videosekvenssiin koodattava otossiirtymä on ainakin jokin seuraavista: 10 risti h ä i vytetty otossiirtymä, äkillinen otossiirtymä, ruudutus, vieritys, liu'tus, zoomaus.
8. Videokooderi otossiirtymän muodostamiseksi videosekvenssiin ainakin ensimmäisen ja toisen otoksen välille, joista otoksista ensimmäinen otos on päättyvä otos ja toinen otos on alkava otos, ja joista mainituista 15 otoksista ainakin yksi käsittää ainakin ensimmäisen kehysformaatin mukaisesti koodattuja videokehyksiä, jotka ovat dekoodattavissa itsenäisesti, sekä toisen kehysformaatin mukaisesti koodattuja videokehyksiä, joista toisen kehysformaatin mukaisista videokehyksistä ainakin yksi on ennustettu ainakin yhdestä muusta videokehyksestä, tunnettu siitä, että videokooderi on 20 järjestetty määrittämään ainakin yhden ensimmäisen otoksen videokehyksen ja ainakin yhden toisen otoksen videokehyksen esitysaika otossiirtymän : aikana samaksi, jolloin mainitut videokehykset ovat otossiirtymävideokehyksiä, määrittämään ainakin yhden otoksen ainakin yhdelle ,· ·, 25 videokehykselle otossiirtymätietoa otossiirtymän muodostamiseksi dekooderilla, ’;. ’; koodaamaan kooderissa ainakin mainittu yksi ensimmäisen otoksen ' · · · ‘ otossiirtymävideokehys videosekvenssiin, koodaamaan kooderissa ainakin mainittu yksi toisen otoksen ..!:’ 30 otossiirtymävideokehys videosekvenssiin, ja • · · koodaamaan kooderissa mainittu otossiirtymätieto . !·. videosekvenssiin.
9. Patenttivaatimuksen 8 mukainen videokooderi, tunnettu T siitä, t I • · • · > • * 114433 videokooderi on järjestetty sijoittamaan ensimmäisen ja toisen otoksen kehyksiä eri skaalauskerroksille, jotka käsittävät ainakin peruskerroksen ja ensimmäisen parannuskerroksen.
10. Tietokoneohjelma otossiirtymän muodostamiseksi 5 videosekvenssiin ainakin ensimmäisen ja toisen otoksen välille, joista otoksista ensimmäinen otos on päättyvä otos ja toinen otos on alkava otos, ja joista mainituista otoksista ainakin yksi käsittää ainakin ensimmäisen kehysformaatin mukaisesti koodattuja videokehyksiä, jotka ovat dekoodattavissa itsenäisesti, sekä toisen kehysformaatin mukaisesti 10 koodattuja videokehyksiä, joista toisen kehysformaatin mukaisista videokehyksistä ainakin yksi on ennustettu ainakin yhdestä muusta videokehyksestä, tunnettu siitä, että tietokoneohjelma käsittää ohjelmalliset välineet ainakin yhden ensimmäisen otoksen videokehyksen ja ainakin yhden toisen otoksen videokehyksen otossiirtymän 15 aikaisen esitysajan määrittämiseksi samaksi, jolloin mainitut videokehykset ovat otossiirtymävideokehyksiä, ohjelmalliset välineet otossiirtymätiedon määrittämiseksi ainakin yhden otoksen ainakin yhdelle videokehykselle otossiirtymän muodostamiseksi dekooderilla, 20 ohjelmalliset välineet ainakin mainitun yhden ensimmäisen otoksen otossiirtymävideokehyksen koodaamiseksi kooderissa videosekvenssiin, ohjelmalliset välineet ainakin mainitun yhden toisen otoksen otossiirtymävideokehyksen koodaamiseksi kooderissa videosekvenssiin, ja | ohjelmalliset välineet mainitun otossiirtymätiedon koodaamiseksi 25 kooderissa videosekvenssiin.
11. Menetelmä otossiirtymän dekoodaamiseksi videosekvenssistä ['· ainakin ensimmäisen ja toisen otoksen välille, joista otoksista ensimmäinen • : otos on päättyvä otos ja toinen otos on alkava otos, ja joista mainituista otoksista ainakin yksi käsittää ainakin ensimmäisen kehysformaatin 30 mukaisesti koodattuja videokehyksiä, jotka ovat dekoodattavissa itsenäisesti, : " sekä toisen kehysformaatin mukaisesti koodattuja videokehyksiä, joista toisen % '·, kehysformaatin mukaisista videokehyksistä ainakin yksi on ennustettu ainakin ;:; yhdestä muusta videokehyksestä, tunnettu siitä, että vastaanotetaan dekooderissa koodattu ensimmäisen otoksen *: · ·: 35 videokehys, koodattu toisen otoksen videokehys ja koodattu otossiirtymätieto, : ’ ·,: dekoodataan koodattu ensimmäisen otoksen videokehys, 114433 dekoodataan koodattu toisen otoksen videokehys, dekoodataan koodattu otossiirtymätieto, muodostetaan otossiirtymä käyttämällä dekoodattua ensimmäisen otoksen videokehystä, dekoodattua toisen otoksen videokehystä ja 5 dekoodattua otossiirtymätietoa.
12. Patenttivaatimuksen 11 mukainen menetelmä, tunnettu siitä, että dekoodataan otossiirtymä videosekvenssiin siten, että se käsittää ainakin mainitun yhden ensimmäisen otoksen otossiirtymävideokehyksen ja 10 ainakin mainitun yhden toisen otoksen otossiirtymävideokehyksen, joiden kuvakehysinformaatiota sovitetaan yhteen mainitun dekoodatun otossiirtymätiedon määrittämässä suhteessa.
13. Patenttivaatimuksen 11 tai 12 mukainen menetelmä, tunnettu siitä, että 15 aloitetaan videosekvenssin selaus mainitun videosekvenssin satunnaisesta kohdasta, määritetään mainittua satunnaista kohtaa seuraava otossiirtymä, ja aloitetaan dekoodaus otossiirtymän yhteydessä olevasta alkavan otoksen ensimmäisestä itsenäisesti dekoodattavasta kuvaryhmästä.
14. Dekooderi otossiirtymän dekoodaamiseksi videosekvenssistä ainakin ensimmäisen ja toisen otoksen välille, joista otoksista ensimmäinen otos on päättyvä otos ja toinen otos on alkava otos, ja joista mainituista : otoksista ainakin yksi käsittää ainakin ensimmäisen kehysformaatin mukaisesti koodattuja videokehyksiä, jotka ovat dekoodattavissa itsenäisesti, » • ^ 25 sekä toisen kehysformaatin mukaisesti koodattuja videokehyksiä, joista toisen ; kehysformaatin mukaisista videokehyksistä ainakin yksi on ennustettu ainakin • · / yhdestä muusta videokehyksestä, tunnettu siitä, että dekooderi on » · ' ·* järjestetty vastaanottamaan dekooderissa koodattu ensimmäisen otoksen .., * ‘ 30 videokehys, koodattu toisen otoksen videokehys ja koodattu otossiirtymätieto, dekoodaamaan koodattu ensimmäisen otoksen videokehys, \ \ dekoodaamaan koodattu toisen otoksen videokehys, dekoodaamaan koodattu otossiirtymätieto, ja • · **:·* muodostamaan otossiirtymä käyttämällä dekoodattua ensimmäisen 35 otoksen videokehystä, dekoodattua toisen otoksen videokehystä ja dekoodattua otossiirtymätietoa. • · 114433
15. Tietokoneohjelma otossiirtymän dekoodaamiseksi videosekvenssistä ainakin ensimmäisen ja toisen otoksen välille, joista otoksista ensimmäinen otos on päättyvä otos ja toinen otos on alkava otos, ja joista mainituista otoksista ainakin yksi käsittää ainakin ensimmäisen 5 kehysformaatin mukaisesti koodattuja videokehyksiä, jotka ovat dekoodattavissa itsenäisesti, sekä toisen kehysformaatin mukaisesti koodattuja videokehyksiä, joista toisen kehysformaatin mukaisista videokehyksistä ainakin yksi on ennustettu ainakin yhdestä muusta videokehyksestä, tunnettu siitä, että tietokoneohjelma käsittää 10 ohjelmalliset välineet koodatun ensimmäisen otoksen videokehyksen, koodatun toisen otoksen videokehyksen ja koodatun otossiirtymätiedon vastaanottamiseksi, ohjelmalliset välineet koodatun ensimmäisen otoksen videokehyksen dekoodaamiseksi, 15 ohjelmalliset välineet koodatun toisen otoksen videokehyksen dekoodaamiseksi, ohjelmalliset välineet koodatun otossiirtymätiedon dekoodaamiseksi, ja ohjelmalliset välineet otossiirtymän muodostamiseksi käyttämällä 20 dekoodattua ensimmäisen otoksen videokehystä, dekoodattua toisen otoksen videokehystä ja dekoodattua otossiirtymätietoa.
: 16. Videosignaali, joka käsittää ainakin ensimmäisen ja toisen = .· otoksen, joista otoksista ensimmäinen otos on päättyvä otos ja toinen otos on . alkava otos, ja joista mainituista otoksista ainakin yksi käsittää ainakin 25 ensimmäisen kehysformaatin mukaisesti koodattuja videokehyksiä, jotka ovat I”. dekoodattavissa itsenäisesti, sekä toisen kehysformaatin mukaisesti koodattuja videokehyksiä, joista toisen kehysformaatin mukaisista ’*··’ videokehyksistä ainakin yksi on ennustettu ainakin yhdestä muusta videokehyksestä, tunnettu siitä, että videosignaali käsittää ainakin yhden 30 otoksen ainakin yhdelle videokehykselle otossiirtymätietoa otossiirtymän : ·* muodostamiseksi dekooderilla. ♦ · · ***** 114433
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FI20020128A FI114433B (fi) | 2002-01-23 | 2002-01-23 | Otossiirtymän koodaaminen videokoodauksessa |
| US10/348,686 US7436886B2 (en) | 2002-01-23 | 2003-01-22 | Coding scene transitions in video coding |
| PCT/FI2003/000052 WO2003063482A1 (en) | 2002-01-23 | 2003-01-22 | Coding scene transitions in video coding |
| EP03700320A EP1468558A1 (en) | 2002-01-23 | 2003-01-22 | Coding scene transitions in video coding |
| US12/246,943 US20090041117A1 (en) | 2002-01-23 | 2008-10-07 | Coding Scene Transitions in Video Coding |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FI20020128 | 2002-01-23 | ||
| FI20020128A FI114433B (fi) | 2002-01-23 | 2002-01-23 | Otossiirtymän koodaaminen videokoodauksessa |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| FI20020128A0 FI20020128A0 (fi) | 2002-01-23 |
| FI20020128A FI20020128A (fi) | 2003-07-24 |
| FI114433B true FI114433B (fi) | 2004-10-15 |
Family
ID=8562893
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FI20020128A FI114433B (fi) | 2002-01-23 | 2002-01-23 | Otossiirtymän koodaaminen videokoodauksessa |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US7436886B2 (fi) |
| EP (1) | EP1468558A1 (fi) |
| FI (1) | FI114433B (fi) |
| WO (1) | WO2003063482A1 (fi) |
Families Citing this family (54)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7003035B2 (en) | 2002-01-25 | 2006-02-21 | Microsoft Corporation | Video coding methods and apparatuses |
| US20040001546A1 (en) | 2002-06-03 | 2004-01-01 | Alexandros Tourapis | Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation |
| US7418037B1 (en) * | 2002-07-15 | 2008-08-26 | Apple Inc. | Method of performing rate control for a compression system |
| US7769084B1 (en) | 2002-07-15 | 2010-08-03 | Apple Inc. | Method for implementing a quantizer in a multimedia compression and encoding system |
| US7154952B2 (en) | 2002-07-19 | 2006-12-26 | Microsoft Corporation | Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures |
| US7940843B1 (en) | 2002-12-16 | 2011-05-10 | Apple Inc. | Method of implementing improved rate control for a multimedia compression and encoding system |
| US7804897B1 (en) | 2002-12-16 | 2010-09-28 | Apple Inc. | Method for implementing an improved quantizer in a multimedia compression and encoding system |
| US7609763B2 (en) * | 2003-07-18 | 2009-10-27 | Microsoft Corporation | Advanced bi-directional predictive coding of video frames |
| US8064520B2 (en) * | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
| KR100583518B1 (ko) * | 2003-12-26 | 2006-05-24 | 주식회사 휴맥스 | 디지털 기록장치에서의 녹화 품질 설정방법 |
| US20090142039A1 (en) * | 2003-12-26 | 2009-06-04 | Humax Co., Ltd. | Method and apparatus for recording video data |
| US8315307B2 (en) * | 2004-04-07 | 2012-11-20 | Qualcomm Incorporated | Method and apparatus for frame prediction in hybrid video compression to enable temporal scalability |
| US20060013305A1 (en) * | 2004-07-14 | 2006-01-19 | Sharp Laboratories Of America, Inc. | Temporal scalable coding using AVC coding tools |
| KR100679018B1 (ko) * | 2004-09-07 | 2007-02-05 | 삼성전자주식회사 | 다계층 비디오 코딩 및 디코딩 방법, 비디오 인코더 및디코더 |
| WO2006048807A1 (en) * | 2004-11-04 | 2006-05-11 | Koninklijke Philips Electronics N.V. | Method and device for processing coded video data |
| US7466867B2 (en) * | 2004-11-26 | 2008-12-16 | Taiwan Imagingtek Corporation | Method and apparatus for image compression and decompression |
| US8548055B2 (en) * | 2005-03-10 | 2013-10-01 | Qualcomm Incorporated | Encoding of multimedia data |
| US8155189B2 (en) | 2005-10-19 | 2012-04-10 | Freescale Semiconductor, Inc. | System and method of coding mode decision for video encoding |
| KR100772868B1 (ko) * | 2005-11-29 | 2007-11-02 | 삼성전자주식회사 | 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치 |
| US7743338B2 (en) * | 2006-09-11 | 2010-06-22 | Apple Inc. | Image rendering with image artifact along a multidimensional path |
| US8099665B2 (en) * | 2006-09-11 | 2012-01-17 | Apple Inc. | Organizing and sorting media menu items |
| US7984377B2 (en) | 2006-09-11 | 2011-07-19 | Apple Inc. | Cascaded display of video media |
| US7743341B2 (en) | 2006-09-11 | 2010-06-22 | Apple Inc. | Rendering icons along a multidimensional path having a terminus position |
| US7747968B2 (en) * | 2006-09-11 | 2010-06-29 | Apple Inc. | Content abstraction presentation along a multidimensional path |
| US7853972B2 (en) | 2006-09-11 | 2010-12-14 | Apple Inc. | Media preview user interface |
| US7930650B2 (en) | 2006-09-11 | 2011-04-19 | Apple Inc. | User interface with menu abstractions and content abstractions |
| US7831727B2 (en) * | 2006-09-11 | 2010-11-09 | Apple Computer, Inc. | Multi-content presentation of unassociated content types |
| US20080095228A1 (en) * | 2006-10-20 | 2008-04-24 | Nokia Corporation | System and method for providing picture output indications in video coding |
| US8630346B2 (en) * | 2007-02-20 | 2014-01-14 | Samsung Electronics Co., Ltd | System and method for introducing virtual zero motion vector candidates in areas of a video sequence involving overlays |
| WO2008115195A1 (en) * | 2007-03-15 | 2008-09-25 | Thomson Licensing | Methods and apparatus for automated aesthetic transitioning between scene graphs |
| US8254455B2 (en) | 2007-06-30 | 2012-08-28 | Microsoft Corporation | Computing collocated macroblock information for direct mode macroblocks |
| WO2009114111A2 (en) * | 2008-03-12 | 2009-09-17 | Packetvideo Corp. | System and method for reformatting digital broadcast multimedia for a mobile device |
| WO2009123694A2 (en) * | 2008-03-31 | 2009-10-08 | Packetvideo Corp. | System and method for managing, controlling and/or rendering media in a network |
| WO2010065107A1 (en) * | 2008-12-04 | 2010-06-10 | Packetvideo Corp. | System and method for browsing, selecting and/or controlling rendering of media with a mobile device |
| US8189666B2 (en) | 2009-02-02 | 2012-05-29 | Microsoft Corporation | Local picture identifier and computation of co-located information |
| US20100201870A1 (en) * | 2009-02-11 | 2010-08-12 | Martin Luessi | System and method for frame interpolation for a compressed video bitstream |
| US20100302255A1 (en) * | 2009-05-26 | 2010-12-02 | Dynamic Representation Systems, LLC-Part VII | Method and system for generating a contextual segmentation challenge for an automated agent |
| US11647243B2 (en) | 2009-06-26 | 2023-05-09 | Seagate Technology Llc | System and method for using an application on a mobile device to transfer internet media content |
| US9195775B2 (en) | 2009-06-26 | 2015-11-24 | Iii Holdings 2, Llc | System and method for managing and/or rendering internet multimedia content in a network |
| US9565479B2 (en) * | 2009-08-10 | 2017-02-07 | Sling Media Pvt Ltd. | Methods and apparatus for seeking within a media stream using scene detection |
| US20110183651A1 (en) * | 2010-01-28 | 2011-07-28 | Packetvideo Corp. | System and method for requesting, retrieving and/or associating contact images on a mobile device |
| WO2012109568A1 (en) | 2011-02-11 | 2012-08-16 | Packetvideo Corporation | System and method for using an application on a mobile device to transfer internet media content |
| US8798777B2 (en) | 2011-03-08 | 2014-08-05 | Packetvideo Corporation | System and method for using a list of audio media to create a list of audiovisual media |
| US20140282281A1 (en) * | 2013-03-13 | 2014-09-18 | Deja.io, Inc. | Seamless media navigation |
| WO2015009676A1 (en) * | 2013-07-15 | 2015-01-22 | Sony Corporation | Extensions of motion-constrained tile sets sei message for interactivity |
| EP3092806A4 (en) | 2014-01-07 | 2017-08-23 | Nokia Technologies Oy | Method and apparatus for video coding and decoding |
| KR20170054900A (ko) * | 2015-11-10 | 2017-05-18 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
| US10136194B2 (en) * | 2016-07-06 | 2018-11-20 | Cisco Technology, Inc. | Streaming piracy detection method and system |
| CN112312201B (zh) * | 2020-04-09 | 2023-04-07 | 北京沃东天骏信息技术有限公司 | 一种视频转场的方法、***、装置及存储介质 |
| CN113542847B (zh) * | 2020-04-21 | 2023-05-02 | 抖音视界有限公司 | 图像显示方法、装置、设备及存储介质 |
| US11240540B2 (en) * | 2020-06-11 | 2022-02-01 | Western Digital Technologies, Inc. | Storage system and method for frame trimming to optimize network bandwidth |
| US20220279185A1 (en) * | 2021-02-26 | 2022-09-01 | Lemon Inc. | Methods of coding images/videos with alpha channels |
| CN113115054B (zh) * | 2021-03-31 | 2022-05-06 | 杭州海康威视数字技术股份有限公司 | 视频流编码方法、装置、***、电子设备及存储介质 |
| WO2022204619A1 (en) * | 2021-11-08 | 2022-09-29 | Innopeak Technology, Inc. | Online detection for dominant and/or salient action start from dynamic environment |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05101609A (ja) * | 1990-09-28 | 1993-04-23 | Digital Fx Inc | ビデオテープエデイテイングシステムとビデオテープデータエデイテイング方法 |
| CO4440458A1 (es) | 1995-06-05 | 1997-05-07 | Kimberly Clark Co | Marcacion temporal, deteccion de radiacion ultravioleta, e impresion, utilizando colorantes fotoborrables |
| WO1997030544A2 (en) | 1996-02-20 | 1997-08-21 | Sas Institute, Inc. | Method and apparatus for transitions, reverse play and other special effects in digital motion video |
| US5703995A (en) | 1996-05-17 | 1997-12-30 | Willbanks; George M. | Method and system for producing a personalized video recording |
| US6233017B1 (en) * | 1996-09-16 | 2001-05-15 | Microsoft Corporation | Multimedia compression system with adaptive block sizes |
| US5781227A (en) | 1996-10-25 | 1998-07-14 | Diva Systems Corporation | Method and apparatus for masking the effects of latency in an interactive information distribution system |
| US6360234B2 (en) * | 1997-08-14 | 2002-03-19 | Virage, Inc. | Video cataloger system with synchronized encoders |
| US6301428B1 (en) | 1997-12-09 | 2001-10-09 | Lsi Logic Corporation | Compressed video editor with transition buffer matcher |
| US6912251B1 (en) * | 1998-09-25 | 2005-06-28 | Sarnoff Corporation | Frame-accurate seamless splicing of information streams |
| US6658157B1 (en) * | 1999-06-29 | 2003-12-02 | Sony Corporation | Method and apparatus for converting image information |
| US6614936B1 (en) * | 1999-12-03 | 2003-09-02 | Microsoft Corporation | System and method for robust video coding using progressive fine-granularity scalable (PFGS) coding |
| EP1249131B1 (en) | 1999-12-22 | 2004-03-17 | General Instrument Corporation | Video compression for multicast environments using spatial scalability and simulcast coding |
| KR20010087552A (ko) * | 2000-03-07 | 2001-09-21 | 구자홍 | 엠펙（ｍｐｅｇ）압축 비디오 환경에서 매크로 블록의시공간상의 분포를 이용한 디졸브/페이드 검출 방법 |
| CA2379782C (en) | 2001-04-20 | 2010-11-02 | Evertz Microsystems Ltd. | Circuit and method for live switching of digital video programs containing embedded audio data |
-
2002
- 2002-01-23 FI FI20020128A patent/FI114433B/fi active IP Right Grant
-
2003
- 2003-01-22 EP EP03700320A patent/EP1468558A1/en not_active Withdrawn
- 2003-01-22 WO PCT/FI2003/000052 patent/WO2003063482A1/en not_active Application Discontinuation
- 2003-01-22 US US10/348,686 patent/US7436886B2/en not_active Expired - Fee Related
-
2008
- 2008-10-07 US US12/246,943 patent/US20090041117A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20030142751A1 (en) | 2003-07-31 |
| FI20020128A (fi) | 2003-07-24 |
| FI20020128A0 (fi) | 2002-01-23 |
| US7436886B2 (en) | 2008-10-14 |
| EP1468558A1 (en) | 2004-10-20 |
| WO2003063482A1 (en) | 2003-07-31 |
| US20090041117A1 (en) | 2009-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| FI114433B (fi) | Otossiirtymän koodaaminen videokoodauksessa | |
| JP4819562B2 (ja) | ビデオ符号化における画像フレームのグループ化 | |
| KR100698938B1 (ko) | 비디오 코딩시 이미지 프레임들의 그루핑 | |
| US6909747B2 (en) | Process and device for coding video images | |
| JP3706721B2 (ja) | オーディオビジュアル・ファイル内部での検索方法および検索装置 | |
| KR100915367B1 (ko) | 서브-프레임 메타데이터를 생성하는 영상 처리 시스템 | |
| KR101895176B1 (ko) | 독립 랜덤 액세스 포인트 화상 | |
| US6931070B2 (en) | Transition templates for compressed digital video and method of generating the same | |
| US8428145B2 (en) | System and method for providing fast trick modes | |
| US20160219273A1 (en) | Robust encoding and decoding of pictures in video | |
| US8743958B2 (en) | Compressed video data stream switching method | |
| JP2009081727A (ja) | 画像符号化装置及びその制御方法、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FG | Patent granted |
Ref document number: 114433 Country of ref document: FI |