HU220409B - Eljárás, berendezés és rendszer betétkép videoképbe ültetésére - Google Patents

Description

A leírás terjedelme 40 oldal (ezen belül 28 lap ábra)

HU 220 409 Bl kép perspektivikus vetületének képzésére használják, ahol a betétkép mintájáról (42) a pályamodell (50) kameraállástól függő, az adott videokép perspektívájának megfelelő vetületet készítenek, a videoképnek megfelelő háttérmaszkot (70) készítenek, amely maszk a pálya választott mezőjének helyén változtatható képtartományból, ezenkívül változtathatatlan képtartományból áll, és a perspektivikus betétképet a háttérmaszk (70) változtatható képtartománya helyén ültetik be a videóképbe.

A találmány továbbá berendezés és rendszer betétkép videoképbe ültetésére, az eljárás alkalmazásával, amely rendszernek a videoképben hátteret képező pálya geometriai adataival arányos pályamodellt (50) a pálya választott mezőjéről képező eszköze, a betétképet a pályamodell (50) perspektivikus vetületének megfelelő perspektivikus betétképpé leképező eszköze, a pályamodellt (50) betétkép beültetésére felhasználó eszköze, a módosítandó videoképnek megfelelő háttérmaszk(70) képző eszköze van, amely maszk a pálya választott mezőjének helyén változtatható képtartományból, ezenkívül változtathatlan képtartományból áll, továbbá a perspektivikus betétképet a háttérmaszk (70) változtatható képtartománya helyén a videoképbe beültető eszköze van.

A találmány tárgya eljárás, berendezés és rendszer betétkép videoképbe ültetésére, amelyben állandó geometriájú pályán játszódó eseményt legalább egy videokamerával felveszünk.

A sportstadionok általában magukban foglalják a játék pályáját, az azt körülvevő, közbenső teret, a nézőteret és a nézőteret a játéktértől elválasztó valamilyen falat vagy kerítést. A nézőtér és a játéktér közötti kerítés általában hirdetőfelületként ki van használva, ezen vannak elhelyezve a játékot anyagilag támogató cégek hirdetései. Ezek a hirdetések nagy nyilvánosságot kapnak a játék filmezésével vagy TV-felvételével és közvetítésével, ahol a képernyőn a hirdetések a játéktér környezeteként a nézők előtt megjelennek.

Hirdetésben leghatékonyabb média a televízió, így a sportesemények TV-közvetítése is. Ismertek olyan rendszerek, amelyek a pálya arra alkalmas felületrészeinek hirdetésre történő hasznosítását célozzák. Egy ilyen, ismert rendszerben az operátor kijelöl egy hirdetésre alkalmas mezőt a pályán, amely mező videojelébe bekeverik az előre meghatározott hirdetésképet. A megoldás hiányossága, hogy a felvevőkamerát állandóan a kijelölt mezőre irányítva szükséges tartani. Ha a kamera szem elől téveszti a kijelölt mezőt, a kijelölést meg kell ismételni.

A fenti rendszer real-time üzemmódban dolgozik. Ismertek más rendszerek is, amelyek lényegében ugyanezt a feladatot látják el, de nem real-time üzemmódban.

Ismertek olyan eljárások is betétképek videoképbe vagy videoképek közé történő beültetésére, amelyekben a betétképjelei rászuperponálódnak a módosítandó videoképjelre, például feliratként, vagy a videokép elektronikus jelsorozatában behelyettesítik a videokép kijelölt mezőjének eredeti szín- és világosságjeleit a betétkép világosság- és színjeleivel.

Az US 5,264,933 lajstromszámú szabadalmi leírásban eljárás és berendezés van ismertetve, amelyek alkalmasak hirdetéskép beültetésére eredeti videó mozgóképekbe. Az operátor e megoldásban kijelöli, hogy a kép mely részébe legyen beültetve a hirdetéskép. A megoldás lehetővé teszi a hirdetéskép bizonyos műsorrészekbe történő beültetését, például egy kommentátor hangja által vezérelten. A fenti megoldások azonban nem alkalmasak a látott videokép perspektívaváltozásainak figyelembevételére.

A WO 91/15921 számú közzétételi irat leírása olyan eljárást és berendezést ismertet, amely alkalmas hirdetéskép állandó méretű és alakú zónájának eltolására egymást követő videoképekben. A rendszerben regisztermarkereket keresnek meg a képjelben, és ezeknek megfelelő helyre pozícionálják a hirdetéskép helyét, ahová az előre elkészített hirdetéskép alakváltoztatás nélkül beültethető. A regisztermarkerek egyszerű keresztek vagy más írásjelek lehetnek a hirdetéskép mezőjében vagy azon kívül. A rendszer alkalmas különböző felbontású videoképekben a hirdetéskép helyének egyértelmű azonosítására és kijelölésére. Ez a megoldás sem alkalmas a látott videokép perspektívaváltozásainak figyelembevételére.

A WO 93/06691 számú közzétételi iratban videoképbe betétképet illesztő eljárást és berendezést ismertetnek, amelynek lényege, hogy a főképet felvevő videokamera képében a berendezés megbecsüli egy új képpel kitöltendő, a videoképben manuálisan kijelölt A képelem (például eredményjelző tábla) helyzetét, méretarányát és perspektívaparamétereit, és ezeket felhasználva a képelem határain átkapcsol a B betétkép forrására, amely B betétképet az A képelem főképből közvetlenül vett határainak megfelelően, perspektivikusan torzítja, és beülteti az A képelem helyére. Ez egy általánosan alkalmazható, ismert megoldás, amely a képkivágás határait a videofőképből generálja. A folyamat bonyolult, és kedvezőtlen felvételi körülmények között, átmeneti ideig, esetleg kihagyásokkal működik.

Célunk a találmánnyal az ismert megoldások említett hiányosságainak kiküszöbölése betétkép videoképbe ültetésére alkalmas olyan eljárás, rendszer és berendezés kialakításával, amely a főképbe ültetendő, állandó méretű képből képzett betétkép főképbe illesztéséhez az ismerteknél megbízhatóbb módot alkalmaz.

Megoldásunkban a főkép állandó méretű tárgyának tényleges geometriai adataiból számítjuk a beültetett betétkép perspektivikus adatait, a főkép néhány vonatkoztatási pontja megfeleltetésével.

A feladat találmány szerinti megoldása eljárás betétkép videoképbe ültetésére, amelyben állandó geometriájú pályán játszódó eseményt legalább egy videokamerával felveszünk, amelynek során perspektívától független, a pálya geometriai adataival arányos pályamodellt készítünk, amely pályamodellhez képest helyezzük a

HU 220 409 Bl betétkép mintáját, ahol a mintáról a pályamodell kameraállástól függő perspektívájának megfelelő vetületet készítünk és ezt a vetületet ültetjük be a videoképbe.

Előnyösen a pálya geometriai adataiként vonalak és ívek egy csoportját választjuk.

Célszerűen a vonalak és ívek síkbeli összefüggéseit megadjuk.

Előnyösen a geometriai adatokat síkbeli vektorokkal adjuk meg.

A találmány szerinti megoldás továbbá berendezés betétkép videoképbe ültetésére az eljárás alkalmazásával, amely berendezésnek a videoképben hátteret képező pálya geometriai adataival arányos, perspektívától független geometriai pályamodellt képző eszköze és a pályamodell perspektivikus vetületét képező, a pályamodellt betétkép beültetésére felhasználó eszköze van.

Előnyösen a pálya geometriai adatait vonalak és ívek egy csoportja alkotja.

Célszerűen a pálya geometriai adatai a csoport vonalai és ívei csoportjával, valamint a csoport vonalai és ívei közötti összefüggésekkel vannak megadva.

Előnyösen a pálya geometriai adatai vektorokkal vannak megadva.

A találmány szerinti megoldás továbbá olyan eljárás betétkép videoképbe ültetésére, amelyben állandó geometriájú pályán játszódó eseményt legalább egy videokamerával felveszünk, és a találmány szerint a pálya geometriai adataival arányos pályamodellt készítünk a pálya választott mezőjéről és azt perspektivikusan torzítva betétkép perspektivikus vetületének képzésére használjuk, ahol a betétkép mintájáról a pályamodell kameraállástól függő, az adott videokép perspektívájának megfelelő vetületet készítünk, a videoképnek megfelelő háttérmaszkot készítünk, amely maszk a pálya választott mezőjének helyén változtatható képtartományból, ezenkívül változtathatatlan képtartományból áll, és a perspektivikus betétképet a háttérmaszk változtatható képtartománya helyén ültetjük be a videoképbe.

Előnyösen a pályamodellt videokép-tartalomtól függetlenül készítjük el.

Célszerűen a pálya geometriai adataival arányos pályamodellt perspektivikusan torzítva transzformációs mátrixot hozunk létre, amely mátrix szerint torzítjuk perspektivikusan a betétképet.

Előnyösen a pályamodell perspektivikus torzítása előtt vagy helyett betétképhelyező maszkot hozunk létre és ezt a maszkot torzítjuk az adott videokép perspektívájának megfelelően perspektivikus betétképhelyező maszkká.

Célszerűen perspektivikus betétképhelyező maszk és háttérmaszk változtatható képtartományának összeadásával a videokép betétképpel helyettesítendő pixeleit meghatározó átengedőmaszkot képezünk.

Előnyösen továbbá a betétképhez színt keverő, perspektivikus ámyalómaszkot hozunk létre, amelyet a betétképhelyező maszkkal és a háttérmaszk változtatható képtartományával fedésbe hozunk.

Célszerűen a színt betétképhez x, y koordinátájú pixelenként történő keverését az alábbi összefüggésnek megfelelően végezzük:

x, y pixel színértéke=β(χ, y)xkép(x, y)+[l^(x, y)xkép(x, y)] ahol β(χ, y)=a(x, y)xP(x, y), ahol a(x, y) és P(x, y) az (x, y) pixelhez tartozó ámyalóés átengedőmaszk-értékek. A találmány továbbá rendszer betétkép videoképbe ültetésére az eljárás alkalmazásával, amely rendszernek a videoképben hátteret képező pálya geometriai adataival arányos pályamodellt a pálya választott mezőjéről képző eszköze, a betétképet a pályamodell perspektivikus vetületének megfelelő perspektivikus betétképpé leképező eszköze, a pályamodellt betétkép beültetésére felhasználó eszköze, a módosítandó videoképnek megfelelő háttérmaszkképző eszköze van, amely maszk a pálya választott mezőjének helyén változtatható képtartományból, ezenkívül változtathatatlan képtartományból áll továbbá a perspektivikus betétképet a háttérmaszk változtatható képtartománya helyén a videoképbe beültető eszköze van.

Előnyösen a pályamodell egy videokép-tartalomtól független geometriai modell.

Célszerűen a betétképet a pályamodell perspektivikus vetületének megfelelő perspektivikus betétképpé leképező eszköz egy, a pályamodell módosítandó videokép-tartalmának megfelelő perspektívájú vetületének betétkép perspektivikus torzítására alkalmas transzformációs mátrixa.

Előnyösen a rendszernek az adott videokép perspektívájának megfelelően torzított betétképhelyező maszkként kialakított perspektivikus betétképhelyező maszkja van.

Célszerűen a rendszernek perspektivikus betétképhelyező maszk és háttérmaszk változtatható képtartományának összeadásával képzett, a videokép betétképpel helyettesítendő pixeleit meghatározó átengedőmaszkja van.

Előnyösen a rendszemek továbbá a betétképhelyező maszkkal és a háttérmaszk változtatható képtartományával fedésbe hozott, a betétképhez színt keverő, perspektivikus ámyalómaszkja van.

Célszerűen a rendszernek a színt betétképhez x, y koordinátájú pixelenként keverő, az alábbi összefüggés szerinti színkeverésre alkalmas eszköze van:

x, y pixel színértéke=β(χ, y)xkép(x, y)+[l^(x, y)xkép(x, y)] ahol β(χ, y)=a(x, y)xP(x, y), ahol a(x, y) és P(x, y) az (x, y) pixelhez tartozó ámyalóés átengedőmaszk-értékek. A találmány szerinti megoldás lehetővé teszi olyan perspektivikus betétkép beiktatását a fő videoképek sorába, amely úgy hat, mintha a pálya síkjában, például a pályára festve lenne. Ezen túlmenően lehetővé teszi több kamerával közvetített esemény közvetítésénél a különböző kamerák képeinek váltását úgy, hogy a betétkép mindig az épp látható videokép perspektívájának megfelelő vetületben látható.

Az alábbiakban kiviteli példákra vonatkozó rajz alapján részletesen ismertetjük a találmány lényegét. A rajzon az

1. ábra betétkép videoképbe ültetésére alkalmas rendszer tömbvázlata, a

2. ábra pálya betétkép kijelölt helyével és kamerákkal, perspektivikus rajz, a

HU 220 409 Β1

3. ábra a 2. ábra szerinti pálya pályamodellje, a

4A. ábra betétképminta, a

4B. ábra betétképhelyező maszk a 4A. ábra szerinti betétkép számára, a

4C. ábra ámyalómaszk a 4A. ábra szerinti betétkép számára, az

5. ábra az 1. ábra szerinti betétkép-beültető rendszer tömbvázlata, a

6. ábra élő közvetítés egy videoképe a 2. ábra szerinti pályáról, amelybe a 4A. ábra szerinti betétképet be kívánjuk ültetni, a

7. ábra a 6. ábra szerinti videoképnek megfelelő háttérmaszk, a

8. ábra az 5. ábra szerinti jellemző-azonosító egység tömbvázlata, a

9A. ábra jellemző kivonás folyamatábrája, a 9B. ábra háttérmaszk részlete, jellemző kivonás illusztrálására, a

9C. ábra a 9B. ábrának megfelelő „fehér” pixel hisztogram, a

10. ábra az 5. ábra szerinti perspektívaazonosító egység tömbvázlata, a

A. ábra a 7. ábra szerinti háttérmaszk vonalainak találkozási pontjai, a

11B. ábra a 7. ábra szerinti háttérmaszk párhuzamos vonalai metszéspontjainak számítással közelített értékei, a

12A. ábra gnomonikus vetítés elvét ismertető perspektivikus rajz a 10. ábra szerinti perspektívaazonosító egység működésének magyarázatához, a

12B. ábra szintén a gnomonikus vetítés elvét ismertető perspektivikus rajz a 10. ábra szerinti perspektívaazonosító egység működésének magyarázatához, a

12C. ábra a 12A. és 12B. ábra szerinti gnomonikus vetítés egy példaképpeni függvénye, a

13. ábra a 10. ábra szerinti perspektívaazonosítás folyamatábrája, a

14A. ábra segédábra videoképről a 13. ábra szerinti folyamatábrához, a

14B. ábra segédábra videoképről a 13. ábra szerinti folyamatábrához, a

15. ábra transzformációs mátrix működését szemléltető ábra, a

16. ábra a 13 ábra szerinti perspektívaazonosítás mátrixai segédábrája, a

17. ábra az 5. ábra szerinti betétkép-átalakító és képkeverő működésének folyamatábrája, a

18. ábra kameratáblázat korrigáló eljárás folyamatábrája, a

19. ábra kameraparaméterek ábrája, a

20. ábra transzformációs mátrixműveletek folyamatábrája ismert kameraparaméterekkel, a

21. ábra kameratáblázat, a

22. ábra operátor folyamatábrája ismert vagy számítható kameraparaméterekkel.

Az 1. ábra szerinti, betétkép videoképbe ültetésére alkalmas rendszer például arra alkalmas, hogy egy meghatározott alakú pályán játszott mérkőzést közvetítő TV-adásban a pálya egy alkalmas mezőjének videóképébe perspektivikusan beillesszük egy hirdetés képét, a betétkép perspektivikus torzításával követve a kamera által látott kép perspektivikus változásait, mintha rá lenne festve a betétkép a sík pályára bármelyik kamera képe van adásban. A találmányt egy teniszmérkőzés videofelvételének példáján (2. ábra) mutatjuk be, de a találmány szerinti megoldás bármilyen, a képben háttérként szolgáló, ismert pályán folyó esemény videoképsorában alkalmazható betétkép videoképbe ültetésére.

A találmány szerinti rendszer (1. ábra) jellemzően a teniszmérkőzést felvevő kamera videoképének útjába iktatott 10 videokép-megfogót és 14 betétkép-beültető rendszert továbbá a 14 betétkép-beültető rendszerre 29 rendszerbuszon át csatlakoztatott vezérlő 16 számítógépet és betétkép 12 munkaállomást, valamint egy 18 adómonitort tartalmaz. A 12 munkaállomáson készül el a videoképbe ültetendő hirdetés betétkép 42 mintája (2. ábra).

A 16 számítógép összeállítása jellemzően 20 központi egységből (CPU), 22 billentyűzetből, 24 egérből, mágneslemezes (hard disk) 26 tárolóból, kivehető tárolóeszközű (floppy) 27 tárolóból és ellenőrző 28 monitorból áll. A 28 monitor grafikus felületű, vezérlőkártyája a 20 központi egység része. A betétképet alkotó 12 munkaállomás és a 16 számítógép közötti információcsere például floppy lemez közvetítésével jön létre.

A videoképsor elektronikus jelét szolgáltathatja a TV-kamera vagy egy videomagnetofon, esetleg származhat műholdas TV-átvitelből, AM-mikro-adás vételéből stb. Ha például műholdas adást veszünk, amelynek képsorába be kívánjuk a betétképünket ültetni és azonnal továbbadni, akkor a beültetésnek a vétellel azonos időben, a képek 30 msec követési ideje által megszabott ütemben meg kell történnie, ha viszont videoszalag a bemeneti adathordozónk, akkor a beültetés sebességét befolyásolni tudjuk.

A videoképsor eredetileg a közvetítés helyén, TVkamerákban képződik. A 2. ábra szerinti példában két 30 TV-kamera van felállítva egy 32 teniszpálya mentén, amely kamerák képsorai az operátor által meghatározott rendben, váltakozva kerülnek adásba. A 30 TVkamerák felállításának helye a 32 pályához képest jellemzően állandó.

A 32 teniszpálya 34 hálóval két félpályára van osztva. Mindkét fél pálya fehér 38 vonalakkal határolt, tipikusan zöld 36 mezőkre van osztva. A 32 teniszpályát körülvevő, pályán kívüli 40 mező színe általában a zöld egy más árnyalata.

A valóságban a 38 vonalak egymással párhuzamosak, illetve egymásra merőlegesek. A 30 TV-kamerák a 32 teniszpályát relatív helyüktől és zoom-állásuktól (fókusztávolságuktól) függő perspektívában, kissé felülről látják, a videoképsorokban tehát a pálya perspektivikus képe jelenik meg háttérként. Ebben a perspektivikus képben a párhuzamos 38 vonalak a távolban összefutni látszanak. A TV-kamera mozgatásával változik a pálya helye a videoképben. A pálya perspektivikus képe mozdulatlan kameraállás esetén is változik a zoom fókusztávolság állításával.

HU 220 409 Bl

A videoképbe beültetendő betétkép szövege a példában IMAGE, amely betétképet a teniszpálya arra alkalmas olyan mezőjébe ültetünk be, amely mindegyik kamera számára, minden zoom-állásnál látható és az események során kevéssé van takarva. 32 teniszpályák esetében több ilyen, betétkép bevágására alkalmas 52 felületrész (3. ábra) létezik, félpályánként négy-négy alkalmas 52 felületrész, amelyek mindegyike más-más, fehér 38 vonalakkal keretezett zöld mezőben helyezkedik el. A 2. ábrán szaggatott mezővel jelölt felületrész különösen alkalmas, mert 44 játékos képe ritkán árnyékolja le ezt a felületrészt. A 42 minta pályasíkjának megfelelő perspektivikus betétképe úgy jelenik meg a videóképben, mintha a pályára lenne festve, a 44 játékos képe eltakarja.

A valóságban nem változik sem a 32 teniszpálya alakja és mérete, sem a 38 vonalak relatív helyzete. Ez lehetővé teszi, hogy arányaiban helyes és perspektívától független, geometrikus 50 pályamodellt (3. ábra) és a hirdetésről ugyanilyen 42 mintát (4A. ábra) képezzünk kiindulásként, amely pályamodell tartalmazza a betétkép kijelölt helyét is. Ennek és a kamera perspektívát befolyásoló adatainak (látószög és zoom) ismeretében perspektivikusan beilleszthető egy betétkép arányaiban helyes és perspektívától független, geometrikus 42 mintájának perspektivikus képe a pályát perspektivikusan megjelenítő videoképbe, azaz az elektronikus videojelek folyamában a megfelelő helyekre. Ehhez szükséges még a felületrészek és mezők színeinek ismerete, úgy, ahogy azokat a kamera látja. A pályamezők színei a megvilágítástól függően (napfény vagy műfény) is változhatnak.

A betétkép alkotója a 12 munkaállomáson dolgozik. Ilyen munkaállomás lehet például a Scitex Corporation Ltd. (Izrael) BLAZE munkaállomása. A 12 munkaállomáson készül el a 32 teniszpálya méretarányos felülnézete, azaz az 50 pályamodell, azoknak az azonosító elemeknek (például 38 vonalak és/vagy 54 sarokpontok, más pályák esetén esetleg körök) a bejelölésével, amelyek a betétkép beültetéséhez szükségesek a 14 betétkép-beültető rendszer számára.

A betétkép alkotója tervezi és alkotja meg a betétkép 50 pályamodellbe ültethető 42 mintáját (4A. ábra). A 3. ábrán beültetésre alkalmas, számos 52 felületrész van szaggatott vonalakkal bejelölve. A tervező elkészít egy 56 betétképhelyező maszkot (4B. ábra) is, amellyel meghatározza, hogy a betétkép a pálya melyik 52 felületrészébe (a 42 minta az 50 pályamodell melyik felületrészébe) lesz beültetve. Az 56 betétképhelyező maszk takarja az 50 pályamodell felületét (azaz sötét), kivéve a 42 minta beültetésére kijelölt felületrészt.

A betétkép 42 mintája lehet világos színű, amely színt célszerűen a befogadó 36 mező színéhez illeszteni szükséges a különbségek tompítása érdekében, hogy a betétkép ne zavarja a pálya képének integritását. Ennek érdekében a betétkép alkotója szükség szerint 58 árnyalómaszkot (4C. ábra) is készít, amely ámyalómaszk az 56 betétképhelyező maszk ablakában a 36 mező színéhez közelítő színszűrőként hat és tompítja a szélek közeli területrészek színét, illetve a színátmeneteket.

Az 58 árnyalómaszk ismert módon kialakítható. A 4C. ábrán négy különböző fedettségű, illetve színű 59 felülettel rendelkező 58 ámyalómaszk van feltüntetve. A négy 59 felület közül a legkülső felület színe közelíti meg leginkább a pálya mezőjének színét.

A geometrikus 50 pályamodell, a betétkép geometrikus 42 mintája, az 56 betétképhelyező maszk és esetlegesen az 58 ámyalómaszk előre elkészíthető, azaz a TV-felvétel kezdetének időpontjában már be lehet töltve a rendszerbe, a rendszer 14 betétkép-beültető rendszerébe, például floppy lemezen.

Az élő közvetítések és a videofelvételek bevezető szakaszában a videojelek mindig tartalmaznak a berendezéslánc szinkronizálására alkalmas szekvenciákat. Ezeket a szinkronizáló szekvenciákat a rendszer 10 videokép-megfogó egysége használja fel és továbbítja a vezérlő 16 számítógépbe is (1. ábra). A videokép-beültető berendezés és rendszer kezelője kiválaszt egy olyan képet, amelyen a pálya világosan és takarásmentesen látható, és ezt felhasználja kalibrációra az alább ismertetendő módon. Kalibrációval lényegében a pálya azonosító adatait határozza meg, mint a pálya 38 vonalainak elrendezését és színét, a 32 teniszpályán belüli és pályán kívüli 36, 40 mezők színét, amelyek a képi háttér jellemző adatai. Az itt nem szereplő színek az úgynevezett előtérszínek, amelyekkel a betétkép kiemelhető a háttérből.

A 12 munkaállomás operátora 24 egér és 22 billentyűzet alkalmazásával interaktívan, például az alábbi módon határozhatja meg a kalibrációs színeket: A 28 monitoron megjelenített képre különböző színű, transzparens színszűrőket helyez és a színszűrők segítségével egy-egy tesztponton vizsgálva külön-külön határozza meg a játéktér 36 mezőinek, a pályán kívüli 40 mezőnek és a 38 vonalaknak a színét. A színszűrő kiemeli a színszűrő színének megfelelő pontokat. A szűrővel kiválasztott színeket az operátor egy, a szűrőket képszínekkel azonosító táblázatban (LUT) eltárolja.

Későbbi színazonosítás és a 19. ábra szerinti korrekció céljára a 16 számítógépben célszerű tárolni a színek meghatározásában alkalmazott tesztpontok koordinátáit.

A 16 számítógépben tároljuk a képre jellemző adatokat, így a szín-pixel táblázatot a 14 betétkép-beültető rendszer számára, amely rendszer a bemenő videoképsorozat minden képében alkalmazza ezeket.

Ezt a 14 betétkép-beültető rendszert az 5. ábra, valamint a 6. és 7. ábrák alapján ismertetjük. A rendszer bemenőfokozata egy 60 jellemző-azonosító egység, amely mindegyik videoképben megkeresi a 32 teniszpálya képben megtalálható jellemzőit továbbá ezek alapján egy 70 háttérmaszkot hoz létre. A megtalált pályajellemzők és kameraadatok, mint a látószög és zoom alapján egy 62 perspektívaazonositó egység meghatározza, hogy az adott videoképben a 32 teniszpálya milyen perspektívában van ábrázolva, amely meghatározás eredménye egy perspektíva P mátrix. A P mátrix egy perspektivikus 64 betétkép-átalakítóra jut, amely átalakító a párhuzamosokkal határolt, valós arányú 56 betétképhelyező maszkot, 58 ámyalómaszkot és a 42 mintát perspektivikus képpé transzformálja, eltorzítja azokat a 32 teniszpálya videoképe perspektívájának

HU 220 409 Β1 megfelelően, mintegy a 42 mintának a pálya síkjában fekvő perspektivikus vetületét (betétkép) képezve. A betétkép videoképbe ültetésére egy 66 képkeverő szolgál, amely a perspektivikus 70 háttérmaszk, és a perspektivikus betétkép, valamint a bemenő videokép felhasználásával összetett videoképet alkot, amelyben a perspektivikusan megjelentetett 32 teniszpálya megfelelő 36 mezőjében be van ültetve (a pálya képét behelyettesítve) a 42 minta perspektivikus képe. A 6. ábrán egy bemenő videoképben hátteret képező pálya képe, a

7. ábrán a 6. ábra szerinti pályaképből képzett 70 háttérmaszk van feltüntetve.

A 6. ábra szerinti 68 videoképen feltüntetett 32 teniszpályán két 44 játékos játszik. A 7. ábra szerinti 70 háttérmaszkon négyféle színű felületek vannak megkülönböztetve: vonalszínű 1 felületek, belsőmező-színű 2 felületek, külsőmezőszínű 3 felületek és előtérszínű 4 felületek. Az előtérszínű 4 felületek a 44 játékosok felületei, amelyek változtathatják relatív helyüket a pályán és elfedik a többi színű felületet ott, ahol árnyékolnak.

A 70 háttérmaszk szolgál alapul arra, hogy a videóképből a pálya adatait (elhelyezkedése és színei) kinyerjük a 60 jellemző-azonosító egységben (5. ábra). A teniszpálya elhelyezkedése a 38 vonalak adataival jellemezhető legegyszerűbben. A 62 perspektívaazonosító egységben a 70 háttérmaszkból nyert azonosító jellemzőket összevetjük az 50 pályamodell hasonló adataival és egy transzformációs mátrixot hozunk létre.

A transzformációs mátrix felhasználásával a 64 betétkép-átalakítóban a betétkép 42 mintájának helyezőadatait, az 56 betétképhelyező maszkot és az 58 ámyalómaszkot a videoképbe illő, perspektivikusan torzított alakúra transzformáljuk.

Végül az 56 betétképhelyező maszk és a 70 háttérmaszk felhasználásával a 66 képkeverőben a bemenő videokép jelfolyamának megfelelő helyeire bevágjuk a perspektivikus betétkép jelfolyamának megfelelő szakaszait, és ezzel a perspektivikus betétképet perspektívában illeszkedően beültetjük a videokép előre meghatározott helyére. Ha a 44 játékos változtatja helyét a pályán úgy, hogy képe takarja azon felület részét, amelybe a betétképet ültetjük, a játékos alakja takarni fogja a betétképet, mintha az a pálya síkjában lenne, a pálya felületének részét képezné.

A 8. ábrán a 60 jellemző-azonosító egység részletesebb tömbvázlata van feltüntetve. A bemenő (módosítandó) videokép 72 háttérmaszk egységre jut, amelyben a sokszínű videoképet a LUT színtáblázat szerinti négy színű felületekkel bíró képpé redukáljuk, ez a négy színre redukált kép a 70 háttérmaszk. A LUT színtáblázat nemcsak a példa szerinti teniszpálya, hanem tetszőleges más pályaszerű (állandó méretű mezőt tartalmazó) háttér színeinek redukálására is alkalmas és alkalmazása számos ismert módon megvalósítható. A LUT színtáblázat általában mezőnként csak egy színt tartalmaz, de lehet ennél összetettebb is.

A 70 háttérmaszk tartalmaz minden 38 vonalat. A betétkép számára kijelölt mező azonosításához ennél kevesebb jellemző is elégséges. A 60 jellemzőazonosító egység következő fokozata egy 74 jellemzőkivonó egység, amely kiemeli a betétkép számára kijelölt mező azonosításához elégséges jellemzőket a 70 háttérmaszkból. A mező színeként egyszerű esetben egy színt vesz figyelembe.

A teniszpálya esetében ez a kivonás vagy kiemelés úgy történik, hogy megkeressük azokat a pixeleket a 70 háttérmaszkban, amelyek a vonalszínű 1 felületet alkotják és az 1 felületből jellemző vonalszakaszokat választunk ki. A 74 jellemző kivonóegységben alkalmazhatjuk például az ismert Hugh-transzformációt a 70 háttérmaszkon, amely transzformációt részletesen ismertetnek az alábbi irodalmi helyen: Digital Picture Processing Second Edition, Vol. 2. Avinash C. Kak, Academic Press (1982) könyv 121-126 oldalain.

Az eredmény egy-egy szegmensre vonatkozó vonalparaméterek egy csoportja, egy-egy szegmens vonalparaméterei egy lineáris egyenlet súlyozott állandói, amely súlyozás a szegmens pixeleinek számára utal.

A szükséges jellemzők kivonásának egy másik módja van szemléltetve a 9A-9C. ábrákon. A 9A. ábra szerinti folyamatban a 70 háttérmaszk vonalszínű (fehér) 1 felületének egy 69 képpontjából (9B. ábra) indulunk ki és keressük a hasonló színű képpontokat a szomszéd 75 területen. Az ilyen képpontok (pixelek) a 9B. ábrán vonalkázva vannak. Ennek érdekében a 75 területet meghatározott méretű 71’-74’ szektorokra osztjuk, amely szektorokban talált fehér képpontok számából hisztogramot (9C. ábra) készítünk. A példában a 73’ szektorban talált fehér képpontok száma erősen kiemelkedő csúcsot mutat, ezért ezt a szektort választjuk a keresés folytatásához.

A következő lépésben a 73’ szektort tartalmazó, új szomszédos 78 területet jelölünk ki, amely terület kétszer olyan hosszú, mint az első szomszédos 75 terület volt. Ezt a 78 területet újra négy 76 szektorra osztjuk, amelyeken a fenti lépéseket megismételjük. Az eljárást folytatjuk mindaddig, amíg az alábbi feltételek egyike nem teljesül:

1. a szektor elég kicsi ahhoz, hogy egyenes vonalként definiáljuk,

2. a hisztogram nem mutat jelentős maximumot.

Ha az 1. feltétel teljesült, az egyenes vonal együtthatóját tároljuk és a vonal pixelei (képpontjai) színét „átfestjük” „maradék színek”-re és ezzel kizáijuk a további keresésből.

A jellemző kivonás eredménye a lehetséges jellemzőket adja, amely jellemzők a szükségesen kívül is tartalmaznak jellemzőket, hiszen minden egyenes jellemzőt tartalmazzák.

A 10. ábrán a 62 perspektívaazonosító egység (5. ábra) működésének vázlata van feltüntetve. A 62 perspektívaazonosító egység működésének megértését segítik a 11 A. és 11B. ábrák is. A 62 perspektívaazonosító egység a 13. ábra szerinti folyamatot valósítja meg a példa szerinti teniszmérkőzés közvetítése esetében. Hivatkozunk itt továbbá a 12A., 12B., 12C. és 14A., 14B. ábrákra, amelyek a 13. ábra szerinti folyamat megértését segítik.

A folyamat jellemző azonosító 80 lépésében történik a lehetséges jellemzők meghatározása és a szüksé6

HU 220 409 Β1 gesként szóba jöhető jellemzők kiválasztása. A folyamatjellemző társító 82 lépésében történnek meg a szükségesként szóba jöhető jellemzők közül egy minimális szett kiválasztása és a minimális szett geometrikus 50 pályamodellel történő egyeztetésének kísérletei. A minimális szettválasztó és -egyeztető lépések mindaddig ismétlődnek, ameddig az egyeztetés nem teljes mértékben sikeres. A folyamat 84 lépésében az egyeztetett jellemzőkből M mátrixot képezünk, amely mátrix alkalmazásával azután a betétkép modelljét perspektivikusan transzformálva beültethetjük a videoképben a pálya előre meghatározott helyére.

A 32 teniszpálya esetében a 80 lépésben kihasználjuk azt, hogy a pályát két, egymásra merőleges irányú egyenesek határolják (az 50 pályamodellen függőleges és vízszintes vonalak) továbbá felhasználjuk azt, hogy a párhuzamos vonalak egy perspektivikus képben összefutnak és egy véges távoli, meghatározott pontban találkoznak. Ez van ábrázolva a 11 A. ábrán, ahol a pálya párhuzamos vonalainak szaggatott vonallal jelölt 90 hosszabbításvonalai egy 91 pontban találkoznak a videokép 92 képszélén kívül. A vízszintes és függőleges vonalak keresztezési 94 pontokban találkoznak a 92 képszélen belül vagy ahhoz közel a képszélen kívül.

A digitalizálási hibák miatt azonban a rendszerben meghatározott jellemzőknek megfelelően képzett vonalak nem minden esetben találkoznak egy 96 pontban. Ezt szemlélteti a 11B. ábra. Három párhuzamos vonal transzformált perspektivikus (pszeudoparallel) vonalai tehát három különböző 96 pontban (két-két vonal találkozási pontjában) találkoznak, amely találkozási pontok egymástól viszonylag távol is kerülhetnek.

A feltalálók megállapították, hogy a végtelenben találkozó párhuzamos vonalakból vetítéssel, aszimptotikus függvény szerint képzett vonalak találkozási pontjai mindig közel esnek egymáshoz. A találmány egy előnyös megvalósításában ennek megfelelően aszimptotikus függvény szerinti, két dimenziós felületre vetítést alkalmazunk a vonalak transzformációjában. Ilyen aszimptotikus függvény szerinti transzformáció az úgynevezett gnomonikus vetítés, amely például Klaus Paul Horn: Robot Vision című könyvének (The MIT Press, Cambridge, Massachusetts, 1986) 258., 259. és 275. oldalain ismertetve van, és amelyet a 12A. és 12B. ábrák szemléltetnek. A gnomonikus vetítésben egy 102 X,Y sík 100 pontja egy 104 félgömb 100’ pontjára van vetítve. Egy az X, Y síkban fekvő 106 vonal vetülete a 104 félgömbön egy legnagyobb kör menti 106’ vonalív. A közös origó a 104 félgömb „déli pólusának” megfelelő 109 talppont, míg a végtelennek a 108 „egyenlítő” vonal, a felső nagy kör felel meg. A párhuzamos vonalak találkozási pontjainak llOd-llOc halmazán átmenő vonalak egymással párhuzamos vonalak. A 12B. ábrán számos, nagysugarú 120a- 120f ív van feltüntetve, amelyek véletlenszerűen választott és az ábrán fel nem tüntetett egyenesek vetületei. Ezek közül három 120a-120c ív 122 találkozási pontja egy 1 lOd halmazt alkot a 108 egyenlítő vonal közelében. A 120d-120f ívek metszéspontjai egy másik 110b halmazt alkotnak - ugyancsak a 108 egyenlítő vonal közelében. Mindegyik nagy ív keresztezi mindegyiket, de más keresztezési pontjaik a 109 talpponthoz közelebb vannak, mint a 108 egyenlítő vonalhoz.

A 13. ábra szerinti vetületképző 130 lépésben ezt a gnomonikus vetítést alkalmazzuk és alkalmazásával ívszegmensekké képezzük le a jellemző kivonás során (8. ábra) nyert, egyenesvonal-elemeket. A 13. ábra szerinti 132 lépésben megkutatjuk a 108 egyenlítő vonal környékét keresztezési 122 pontokat keresve. Mindegyik keresztezési pont kap egy V_k súlyozóértéket egy W_k súlyozófüggvény szerint, amely V_k súlyozóérték Z koordináta függvényében például az alábbi összefüggés szerint nő:

Vk^-W] vonal^x ^2 vonal^x ^(^keresztezési pont) ahol f(Z_{keresztezésipont}) a 12C. ábra szerinti 134 görbéhez hasonló görbe, amelynek legtöbb pontja viszonylag kicsi értékű, de a 108 egyenlítő vonal magasságában, ahol Z=1, ez az érték 1-hez közeli érték. Az f(Z_{keresztezési} ρθ_η1) lehet például f(Z_{kere?ztezési} pont) Z⁵

A 13. ábra szerinti 136 lépésben mindegyik keresztezési 122 pont környékét megvizsgáljuk, további keresztezési pontot keresve. Ha találunk ilyen, közvetlenül szomszédos pontokat, azokat egy halmaz részeinek tekintjük. Halmaznak tekinthetjük mindazon pontokat is, amelyek f(Z_{keresztezési} ,*,„,) értéke meghalad egy küszöbértéket. így lehetséges az is, hogy egyetlen keresztezési pont alkot egy halmazt. A 12B. ábrában van egy olyan 110c halmaz is, amely csak egyetlen keresztezési 122 pontból áll.

Ha mindegyik keresztezési pontot felkutattuk, meghatározzuk mindegyik halmaz helyét a halmaz „súlypontjának” meghatározásával. A halmaz súlyát a benne lévő keresztezési pontok V_k súlyozóértékének összegeként határozzuk meg.

A 13. ábra szerinti 138 lépésben kiválasztjuk a két legnagyobb súlyú halmazt, például a 12B. ábra szerinti 110a és 110b halmazt. Egyik halmaz a párhuzamos, függőleges vonalaknak, a másik halmaz a párhuzamos, vízszintes vonalaknak felel meg. A 140 lépésben megkülönböztetjük és megjelöljük a „függőleges” és „vízszintes” irányú vonalaknak megfelelő halmazt.

A 13. ábra szerinti 142 lépésben kiválasztjuk a két legsúlyosabb függőleges és a két legsúlyosabb vízszintes vonalat, ahol a legsúlyosabb súlyát V|-el jelöljük. A kiválasztott 146 vonalak a 14A. ábrán vannak feltüntetve és ezek megfelelnek a 11 A. ábrán feltüntetett vonalak közül két függőleges és két vízszintes vonalnak. A 144 lépésben meghatározzuk és tároljuk a függőleges és vízszintes vonalak keresztezési A, B, C, D pontjait. A 14A. ábrából kitűnik, hogy a keresztezési pontok egyike-másika kívül eshet a képtartományon.

A 130-144 lépésekkel azonosítottuk azokat a pályajellemzőket a képben, (10. ábra szerinti jellemző azonosító 80 lépés) amelyek szükségesek és elegendőek a betétkép helyének és alakjának a videoképbe történő beillesztéséhez. A 144 lépés utáni lépésekben összevetjük ezeket az azonosító jellemzőket a pályamodellel és meghatározzuk egy további lépéssorozatban (a 10. ábra szerinti 82-84 lépések) a transzformációs M mátrixot.

HU 220 409 Β1

Egy szabványos teniszpálya mezői (a pályamodellen) öt függőleges és négy vízszintes vonallal vannak kijelölve. A pálya két fele között nem lehet különbséget tenni, ezért elegendő három vízszintes vonalat figyelembe venni. Háromból két vízszintes vonallal (három lehetséges kombináció) három négyszögű mező szelektálható. Ötből két függőleges vonallal (10 lehetséges kombináció) harminc különböző négyszögű mező szelektálható. A harminc négyszög négy különböző helyzetben lehet elrendezve, így összesen százhúsz négyszög képzelhető el.

A 13. ábra szerinti 150 lépésben e százhúsz négyszög egyikét választjuk ki a betétkép helyéül az 50 pályamodellen a sarkok A’, B’, C’, D’ pontjainak (14B. ábra) kijelölésével. Amint az az ábrából kitűnik, ez nem a helyes kitűzés.

A 13. ábra szerinti 152 lépésben meghatározzuk azt az M mátrixot, amellyel a pályamodell A’, B’, C’, D’ pontjai a pálya videoképének A, B, C, D pontjaiba transzformálódnak. Az M mátrix felfogható úgy, mint egymást követő transzformációk szuperpozíciója, amit közelebbről a 15. ábra kapcsán ismertetünk.

A 15. ábrán egy transzformáció menete van szemléltetve. Egy A’B’C’D’ pontok közötti 180’ négyszög felel meg egy X, Y síkú mintának, egy közbenső 182’ négyszög egy egység-négyszög (0, 1), (1, 1), (0, 0) és (1, 0) sarokpontokkal, és egy ABCD 184’ négyszög a 180’ négyszög UV-síkban lévő perspektivikus képe.

A 180’ négyszög 184’ négyszöggé transzformálása két egymást követő transzformációra bontható: egy méretillesztő T mátrixszal végzett méretillesztő transzformációra és egy perspektivikus P mátrixszal végzett perspektivikus transzformációra. A méretillesztő T mátrix az alábbi formában írható fel:

Sx 0 0

T= 0 Sy 0

Tx Ty 1 ahol Sx és Sy X és Y irányú méretfaktorok, Tx és Ty X és Y transzformáló faktorok. Sx, Sy, Tx és Ty között az alábbi összefüggés áll fenn:

(x, y, l)xT=(s, t, 1) ahol (x, y, 1) a 180’ négyszög koordinátái, (s, t, 1) a 182’ négyszög koordinátái.

A perspektivikus P mátrix homogén formában az alábbiak szerint írható fel:

all	al2	al3
P= a21	a22	a23
a31	a32	a33

ahol a mátrixelemek az alábbi egyenlet megoldásával nyerhetők:

(s, t, l)xp=(u, v, w) ahol (u, v, w) a 184’ négyszög ABCD pontjainak koordinátái, és w mindig normalizált érték.

Ha a33 = 1, akkor a P mátrix az alábbiak szerint számítható:

(s, t, 1)=(0, 0, l)-ből következik, hogy a31=U<x) a32=V_w (s, t, 1)=(1, 0,1 )-ből következik, hogy all+a31=U₁₀(al3 + l)—>all=U₁₀(al3 + l)-U₀₀ a!2+a32=V₁₀(al3+ l)->al2=V₁₀(al3 + lj-V^ (s, t, 1)=(0,1, l)-ből következik, hogy a21 +a31 =U₀₁(a23 + lHa21 =U₀₁(a23 + 1)-Uoo a22+a32=V₀₁(a23 +l)T>a22=V₀₁(a23 +1)-Voo (s, t, 1)=(1,1, l)-ből következik, hogy all+a21+a31=U„(al3+a23+l) al2+a22+a32=V„(al3+a23+l)

A fenti egyenletekből két egyenlet két al3 és a23 ismeretlené az alábbiak szerint határozható meg: al3(U_lo-U₁₁)+a23(Uo₁-U₁₁)=U₁₁+U_oo-U_lo-U_ol al3(V_I0-V₁₁)+a23(V₀₁-V₁₁)=V₁₁+V₀₀-V₁₀-V₀₁ ha már az al3 és a23 meg vannak határozva, a többi mátrixelem már meghatározható az egyenletekből.

A transzformációs M mátrix a méretillesztő T mátrix és a perspektivikus P mátrix eredője: M=T+P

A 13. ábra szerinti 154 lépésben az 50 pályamodell 38 vonalait a transzformációs M mátrixot alkalmazva áttranszformáljuk videoképpé. Az eredmény egy 156 deformált modell (16. ábra), amelyben a pályamodellről áttranszformált vonalak ’l’ pixeljei megjelennek, míg a kép többi pixelje ’0’ értékű. Ez azt jelenti, hogy a pályakép és a modell A, B, C, D, illetve A’, B’, C’, D’ pontjai egymással fedésben vannak ugyan, de a geometriai 50 pályamodell többi pontja nincs fedésben.

A 13. ábra szerinti 158 lépésben a 156 deformált modellt XOR logikai művelettel kivonjuk a 70 háttérmaszkból (7. ábra). A kivonás eredménye ’0’ azokon a helyeken, ahol az alábbi két feltétel valamelyike teljesül: a) a 156 deformált modellnek ’l’ pixelei vannak és a videoképnek (háttérmaszknak) ott vonalszíne van, b) a 156 deformált modellnek ’0’ pixelei vannak és a videoképnek ott nem vonalszíne van. Más helyeken a logikai XOR művelet eredménye ’l’.

A 13. ábra szerinti 160 és 161 lépésben történik meg az ’ 1 ’ pixelek letapogatása és a letapogatás eredményének összevetése a transzformációs M mátrixszal. Miután minden mátrixelem meg van határozva, a 162 lépésben kiválasztjuk a legkisebb súlyú mátrixot. Fennáll annak a valószínűsége, hogy ilyet nem találunk (a videokép nem mutatja a pályát, hanem a nézőközönséget mutatja vagy hirdetést sugároz az adó), ezért a kiválasztott mátrix súlyát egy következő, 164 lépésben összevetjük egy küszöbértékkel is. Ha a mátrix súlya nagyobb, mint a küszöbérték, akkor az eredmény ’0’, ha kisebb a küszöbértéknél, akkor a kiválasztott mátrixot felhasználjuk transzformációs M mátrixként. Nullatranszformációs mátrix az eredmény akkor is, ha hiányzik a tesztelés valamely feltétele.

A 17. ábrán az 5. ábra szerinti perspektivikus 64 betétkép-átalakító és 66 képkeverő működésének megfelelő folyamatábra van feltüntetve. Az ábra szerinti 170 lépésben - a perspektivikus 64 betétkép-átalakítóban - a transzformációs M mátrix alkalmazásával a 42 mintát perspektivikus betétképpé transzformáljuk és perspektivikusan transzformáljuk továbbá az 56 betétképhelyező maszkot és az 58 ámyalómaszkot is. A perspektivikus 56 betétképhelyező maszkkal és a perspektivikus 70 háttérmaszkkal ÉS logikai műveleteket végzünk, aminek eredménye egy átengedőmaszk. Az átengedőmaszkban azok a pixelek vannak kijelölve, amelyek mind a perspektivikus 56 betétképhelyező maszk, mind a perspektivikus

HU 220 409 Bl háttérmaszk betétképablakában megtalálhatók. A betétkép a perspektivikus átengedőmaszk ablakának felületén kerül beültetésre a videoképbe a 66 képkeverőben.

A 66 képkeverőben az átengedő- és az ámyalómaszkokon át történik a betétkép bekeverése a videoképbe, tipikusan az alábbi összefüggés szerint:

kimenő (x, y)=P(x, y)xbetétkép(x, y)+l-p(x, y) x video(x, y) β(χ, y)=a(x, y)xP(x, y) ahol kimenő (x, y) az összetett videokép pixeleinek értéke, betétkép(x, y) és video(x, y) a keverőbe bemenő képek pixeleinek értékei, a(x, y) az ámyalómaszk pixel értékei és P(x, y) az átengedőmaszk értékei.

Az eddigi ismertetésben feltételeztük, hogy a 70 háttérmaszk képzésében alapul vett LUT szintáblázat érvényes és változatlan az egész közvetítés alatt. Ha azonban közben a fényviszonyok megváltoznak, ami szabadtéri játék közvetítése során nagy valószínűséggel bekövetkezik, akkor a kamerák által felvett színek olyan mértékben eltolódhatnak, hogy a 70 háttérmaszk nem tükrözi helyesen a háttérmezőket. Ilyen esetben a LUT színtáblázatot korrigálni szükséges. Ilyen korrekciós műveletsor folyamatábrája van feltüntetve a 18. ábrán.

Emlékeztetünk arra, hogy a bevezető képek alapján lefolytatott kalibrálási műveletsorban az operátor választotta ki a háttérazonosító tesztpontokat, amelyek adatait azok színeivel együtt eltároltunk. A videoképben kiválasztott tesztpontokat a kalibrációs mátrix képzése során a kalibrációs M mátrix inverzével áttranszformáltuk a videokép síkjából a geometriai pályamodell síkjába. Ha egy későbbi időpontban korrekciót végzünk, a tesztpontokat áttranszformáljuk a pillanatnyi videokép síkjába és a tesztpontok, valamint a szomszédos felületrészek letapogatásával a már ismertetett módon újra megállapítjuk a színeket és azoknak megfelelő felületrészeket. Az új letapogatási eredményeket (hisztogramot) a tesztpontokban összevetjük a korábban tárolt színmérés eredményekkel és ha jelentős eltérést találunk, módosítjuk a LUT színtáblázatot, majd az aktuális tesztpontokat vissza transzformáljuk a pályaminta síkjába és ebben a formában eltároljuk.

A fenti ismertetés teniszpályára és azon bemutatott egy példa szerinti eljárásra vonatkozik. A találmány azonban nem korlátozódik ezekre a példákra sem a pálya sem az alkalmazott transzformációs, korrekciós stb. eljárás tekintetében. A megoldás minden olyan videoképsorban alkalmazható, amelyben a hátteret vagy annak egy részét állandó alakú mező képe alkotja. Jelentősen javíthatja vagy egyszerűsítheti a megoldást például az, ha ismerjük és felhasználjuk a transzformációban a kamerák perspektívát befolyásoló paramétereit, mint amilyen a rálátás szöge és a zoom állása. Ha ismerjük például a kamera helyét a pályához képest, ismerjük a forgásszögét és zoomját, automatikusan vagy kívülről a rendszerbe táplálva, akkor jelentősen leegyszerűsíthető a perspektíva P-mátrix-képzése.

A perspektívamátrix képezhető a fent említett és a 19. ábrán feltüntetett kameraparaméterek alkalmazásával. A kamera telepítési helyét egy 172 XYZ koordináta-rendszerben adjuk meg egy, a koordináta-rendszer 0 kezdőpontjából a kamerához húzott 171 vektor x, y, z paramétereivel. A kamera mozgását egy UVW koordináta-rendszerben adjuk meg, amely UVW koordináta-rendszer kezdőpontja a kamera helye, azaz az x, y, z koordináták. A kamera lehetséges elfordulásait a koordináta-tengelyek mentén 173, 174, 175 nyilakkal jelöltük, a kamera zoom változásait a V koordináta-tengely mentén 176 nyíllal jelöltük a 19. ábrán.

Feltételezhetjük, hogy a kamera nem változtatja helyét és nem billen el a V koordináta-tengely körül. Ezekkel a feltételekkel a perspektivikus P mátrix paraméterezhető az alábbi jellemzőkkel: a kamera helye (x, y, z paraméterek), a kamera függőleges síkú Θ hajlásszöge, oldalirányú a állásszöge és látásszöge vagy zoomja (f fókusztávolsága).

A 20. ábrán egy kamera perspektíváját befolyásoló paraméterek meghatározása van folyamatábrában feltüntetve. A 21. ábrán egy kameraparaméter 194 táblázat van példaképpen ábrázolva, a 22. ábrán a kamera mozgatással, egy új kivágásra (az új kivágás szerinti első képben) történő ráállással kapcsolatos műveletek folyamatábrája van feltüntetve, amely műveletek megelőzik a 10. ábra szerinti műveletsort.

A 19. ábra szerinti 180 lépésben végrehajtjuk a 10. ábra szerinti műveleteket egy új kivágás első képében, a következő 182 lépésben képezzük a perspektíva P mátrix a(i, j) elemeit, ami után két további folytatás lehetséges : a) meghatározzuk a T méretillesztő mátrixot a 13. ábra szerinti 154 lépéssel kezdődő folyamatban, vagy b) a P mátrixból kivonjuk a kamera (x, y, z) koordinátáit a 184 lépésben. Ez utóbbi kivonás módja történhet ismert módon, amely mód megismerhető Olivér Faugeras: Three-Dimensional Computer Vision: A Geometric Viewpoint című könyvéből (MIT Press, 1993).

A kamerakoordináták kivonása után két ellenőrző lépést kivitelezünk. Ellenőrizzük, hogy első 186 feltétel: a kamera nem billent el a 174 nyíl irányában (19. ábra), az elbillenés jele, ha a P mátrixban al3 nem nulla, második 188 feltétel: a kamera látómezeje négyzet alakú pixelekből tevődik össze (AR=1) (látómező arányai).

Ha a két fenti feltétel bármelyike nem teljesül, a folyamat megszakad. Ha mindkét feltétel teljesül, akkor az új kivágásnak megfelelő P mátrixot képezünk a 20. ábra szerinti 190 lépésben az alábbi jellemzőkkel:

a) zoom (f fókusztávolság): a kamera fókuszsíkjában vett vetítő mátrix,

b) átvitel: koordináta-rendszerek közötti, az x, y, z koordinátapontba történő transzláció,

c) kamera függőleges síkú a állásszöge (U koordináta-tengely körüli elfordulása)

d) W koordináta-tengely körüli elfordulása © szöge.

Ezeknek az adatoknak és a transzlációnak megadásával a kamera kalibrációja teljes, az adatokat a 21. ábra szerinti 194 táblázatba rendezzük (192 lépés). A többi kamera kalibrációja hasonló módon történhet.

Egy a 22. ábrán szemléltetett, rövidített perspektívakalkulációt elvégzünk minden egymást követő képre.

HU 220 409 Bl

A 22. ábra szerinti 196 lépésben megvizsgáljuk, hogy a videokép α, Θ és f jellemzői változtak-e az előző képhez képest. Az egyezésnek egy egyezési együtthatóval (például a vizsgált pixelek hány %-a tér el az előzőektől a modell síkjába visszatranszformálva) jellemzett hibán belül kell teljesülnie. Ha megfelelő a hasonlóság, használható továbbra is a korábban képzett transzformációs mátrix. Ha az egyezés túl kicsi, lehetséges hogy a kép a 194 táblázatba felvitt másik kamera képe.

A másik kamera adatainak megtalálásához a folyamat 198 lépésében a képben kijelölünk és azonosítunk egy vonalat, amit összehasonlíthatunk más kamerák megfelelő vonalával. Azonosításra kijelölhető a pálya képének egy sarokpontja is (két vonal találkozási pontja). A kijelölt vonal legyen jól megkülönböztető, erősen jellemző vonal vagy pont.

A 22. ábra szerinti 200 lépésben a 198 lépésben kiválasztott azonosító jellemzőt összevetjük a mindegyik kamera adatait tartalmazó 194 táblázattal. Az azonosított vonal és/vagy pont eredetijét megkeressük a geometriai modellen, és létrehozunk egy, a vonalat a képének megfeleltető P mátrixot. A P mátrix a képet adó kamera x, y, z helykoordinátáin és α, Θ, f jellemzőin alapul, tehát kiszámítható meglévő adatokból, feltéve, hogy az azonosító jellemző egyeztetése a képen és a pályamodellen helyesen történt. Az azonosítás a már ismertetett módon, hasonlóság (az egyező és nem egyező pixelek arányának vizsgálatával) történik.

Ezt az azonosító és perspektivikus P-mátrix-képző folyamatot, amelyben kijelölünk és azonosítunk egy vonalat és pontot, aminek megkeressük a geometriai modellen az eredetijét, a kameraállás adataival P mátrixot hozunk létre és az egyezést kiértékeljük, végrehajtjuk a geometriai modell vonalai és pontjai minden kombinációjára. Ha az egyezés sokkal kisebb mint 1, az nagy valószínűséggel azt jelenti, hogy nem annak a kamerának az adataival képeztük a P mátrixot, amely kamera a képet adta, ezért a P mátrix képzési és egyezésvizsgáló folyamatot más kamera adataival megismételjük.

Minden kamera számítással nyert legnagyobb egyezési együtthatóját feltüntetjük a 194 táblázat 202 oszlopában (21. ábra). A 22. ábra szerinti 204 lépésben azt a kamerát választjuk, amelynek a legnagyobb az egyezési együtthatója és ha ez nagyobb, mint egy előre meghatározott küszöbérték, akkor a kamera adataival képzett P mátrixot használjuk a 17. ábra szerinti mintaképtranszformációban. Ha a legnagyobb egyeztetési együttható kisebb, mint a küszöbérték, az azt jelenti, hogy a videokép nem a táblázatban szereplő kamerákkal lett felvéve. Ilyen esetben a 10. ábra szerinti eljárást szükséges alkalmazni, amit követ a 20. ábra szerinti kameraazonosító eljárás.

Claims (22)

1. SZABADALMI IGÉNYPONTOK

   1. Eljárás betétkép videoképbe ültetésére, amelyben állandó geometriájú pályán játszódó eseményt legalább egy videokamerával felveszünk, azzal jellemezve, hogy perspektívától független, a pálya geometriai adataival arányos pályamodellt (50) készítünk amely pályamodellhez (50) képest helyezzük a betétkép mintáját (42), ahol a mintáról (42) a pályamodell (50) kameraállástól függő perspektívájának megfelelő vetületet készítünk és ezt a vetületet ültetjük be a videoképbe.
2. 2. Az 1. igénypont szerinti eljárás, azzal jellemezve, hogy a pálya geometriai adataiként vonalak és ívek egy csoportját választjuk.
3. 3. A 2. igénypont szerinti eljárás, azzal jellemezve, hogy a vonalak és ívek síkbeli összefüggéseit megadjuk.
4. 4. Az 1. igénypont szerinti eljárás, azzal jellemezve, hogy a geometriai adatokat síkbeli vektorokkal adjuk meg.
5. 5. Berendezés betétkép videoképbe ültetésére, az 1-4. igénypontok bármelyike szerinti eljárás alkalmazásával, azzal jellemezve, hogy a videoképben hátteret képező pálya geometriai adataival arányos, perspektívától független geometriai pályamodellt (50) képző eszköze és a pályamodell (50) perspektivikus vetületét képező, a pályamodellt betétkép beültetésére felhasználó eszköze van.
6. 6. Az 5. igénypont szerinti berendezés, azzal jellemezve, hogy a pálya geometriai adatait vonalak és ívek egy csoportja alkotja.
7. 7. A 6. igénypont szerinti berendezés, azzal jellemezve, hogy a pálya geometriai adatai a csoport vonalai és ívei csoportjával, valamint a csoport vonalai és ívei közötti összefüggésekkel vannak megadva.
8. 8. Az 5. igénypont szerinti berendezés, azzal jellemezve, hogy a pálya geometriai adatai vektorokkal vannak megadva.
9. 9. Eljárás betétkép videoképbe ültetésére, amelyben állandó geometriájú pályán játszódó eseményt legalább egy videokamerával felveszünk, azzal jellemezve, hogy a pálya geometriai adataival arányos pályamodellt (50) készítünk a pálya választott mezőjéről és azt perspektivikusan torzítva betétkép perspektivikus vetületének képzésére használjuk, ahol a betétkép mintájáról (42) a pályamodell (50) kameraállástól függő, az adott videokép perspektívájának megfelelő vetületet készítünk, a videoképnek megfelelő háttérmaszkot (70) készítünk, amely maszk a pálya választott mezőjének helyén változtatható képtartományból, ezenkívül változtathatatlan képtartományból áll, és a perspektivikus betétképet a háttérmaszk (70) változtatható képtartománya helyén ültetjük be a videoképbe.
10. 10. A 9. igénypont szerinti eljárás, azzal jellemezve, hogy a pályamodellt (50) videokép-tartalomtól függetlenül készítjük el.
11. 11. A 9. igénypont szerinti eljárás, azzal jellemezve, hogy a pálya geometriai adataival arányos pályamodellt (50) perspektivikusan torzítva transzformációs mátrixot (M) hozunk létre, amely mátrix (M) szerint torzítjuk perspektivikusan a betétképet.
12. 12. A 9. igénypont szerinti eljárás, azzal jellemezve, hogy a pályamodell (50) perspektivikus torzítása előtt vagy helyett betétképhelyező maszkot (56) hozunk létre és ezt a maszkot torzítjuk az adott videokép perspektívájának megfelelően perspektivikus betétképhelyező maszkká.

    HU 220 409 Bl
13. 13. A 12. igénypont szerinti eljárás, azzal jellemezve, hogy a perspektivikus betétképhelyezó maszk és a háttérmaszk (70) változtatható képtartományának összeadásával a videokép betétképpel helyettesítendő pixeleit meghatározó átengedőmaszkot képezünk.
14. 14. A 13. igénypont szerinti eljárás, azzal jellemezve, hogy továbbá a betétképhez színt keverő, perspektivikus ámyalómaszkot (58) hozunk létre, amelyet a betétképhelyezó maszkkal (56) és a háttérmaszk (70) változtatható képtartományával fedésbe hozunk.
15. 15. A 14. igénypont szerinti eljárás, azzal jellemezve, hogy a szín betétképhez x, y koordinátájú pixelenként történő keverését az alábbi összefüggésnek megfelelően végezzük:

    x, y pixel színértéke=β(χ, y)xkép(x, y)+[l^(x, y)xkép(x,y)] ahol β(χ, y)=a(x, y)xP(x, y), ahol a(x, y) és P(x, y) az (x, y) pixelhez tartozó árnyaló- és átengedőmaszk-értékek.
16. 16. Rendszer betétkép videoképbe ültetésére, a 9-15. igénypontok bármelyike szerinti eljárás alkalmazásával, azzal jellemezve, hogy a videoképben hátteret képező pálya geometriai adataival arányos pályamodellt (50) a pálya választott mezőjéről képző eszköze, a betétképet a pályamodell (50) perspektivikus vetületének megfelelő perspektivikus betétképpé leképező eszköze, a pályamodellt (50) betétkép beültetésére felhasználó eszköze, a módosítandó videoképnek megfelelő háttérmaszk- (70) képző eszköze van, amely háttérmaszk (70) a pálya választott mezőjének helyén változtatható képtartományból, ezenkívül változtathatatlan képtartományból áll továbbá a perspektivikus betétképet a háttérmaszk (70) változtatható képtartománya helyén a videoképbe beültető eszköze van.
17. 17. A 16. igénypont szerinti rendszer, azzal jellemezve, hogy a pályamodell (50) egy videokép-tartalomtól független geometriai modell.
18. 18. A 16. igénypont szerinti rendszer, azzal jellemezve, hogy a betétképet a pályamodell (50) perspektivikus vetületének megfelelő perspektivikus betétképpé leképező eszköz egy, a pályamodell (50) módosítandó videokép-tartalmának megfelelő perspektívájú vetületének betétkép perspektivikus torzítására alkalmas transzformációs mátrixa.
19. 19. A 16. igénypont szerinti rendszer, azzaljellemezve, hogy az adott videokép perspektívájának megfelelően torzított betétképhelyezó maszkként (56) kialakított perspektivikus betétképhelyezó maszkja van.
20. 20. A 19. igénypont szerinti rendszer, azzal jellemezve, hogy a perspektivikus betétképhelyezó maszk és a háttérmaszk (70) változtatható képtartományának összeadásával képzett, a videokép betétképpel helyettesítendő pixeleit meghatározó átengedőmaszkja van.
21. 21. A 20. igénypont szerinti rendszer, azzal jellemezve, hogy továbbá a betétképhelyezó maszkkal (56) és a háttérmaszk (70) változtatható képtartományával fedésbe hozott, a betétképhez színt keverő, perspektivikus ámyalómaszkja (58) van.
22. 22. A 21. igénypont szerinti rendszer, azzal jellemezve, hogy a szín betétképhez x, y koordinátájú pixelenként keverő, az alábbi összefüggés szerinti színkeverésre alkalmas eszköze van:

    x, y pixel színértéke=β(χ, y)xkép(x, y)+[l-β(χ, y)xkép(x,y)] ahol β(χ, y)=a(x, y)x P(x, y), ahol a(x, y) és P(x, y) az (x, y) pixelhez tartozó árnyaló- és átengedőmaszk-értékek.