JPH11508099A - 生映像挿入システムに対するシーンの動き追跡方法 - Google Patents
生映像挿入システムに対するシーンの動き追跡方法Info
- Publication number
- JPH11508099A JPH11508099A JP9503298A JP50329897A JPH11508099A JP H11508099 A JPH11508099 A JP H11508099A JP 9503298 A JP9503298 A JP 9503298A JP 50329897 A JP50329897 A JP 50329897A JP H11508099 A JPH11508099 A JP H11508099A
- Authority
- JP
- Japan
- Prior art keywords
- landmark
- coordinates
- reference array
- tracking
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
- H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
- G06T2207/30228—Playing field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
(57)【要約】
関連映像放送画像のシークエンスにおけるフィールドからフィールドへの動きを追跡する方法。本方法は、現在画像(20)中の物体の位置情報を提供するため、テンプレート相関を用いて、シーン内の所定の目印(26)の集合を追跡する。現在画像の物***置情報は、基準アレイデータテーブル内の同一物体の位置情報と比較される。この比較は、現在画像中の点を基準アレイ内の点にマップするひずみ式の使用を通じて達成される。動きの追跡は、予測位置により近い目印の重みを強調する重み付け式を利用する速度予測方法に従って行われる。
Description
【発明の詳細な説明】
名称
生映像挿入システムに対するシーンの動き追跡方法
関連出願の説明
この特許出願は、“APPARATUS AND METHOD OF INSERTING IMAGES INTO TELEVI
SION DISPLAYS”と称する1995年6月16日出願の米国暫定特許出願第60/
000,279号に関連しその優先権を主張するものであり、また、“SYSTEM AN
D METHOD FOR INSERTING STATIC AND DYNAMIC IMAGES INTO A LIVE VIDEO BROAD
CAST”と称する1995年11月28日出願の米国特許出願および“LIVE VIDEO
INSERTION SYSTEM”と称する 1995年1月31日出願の米国特許出願第0
8/381,088号に関連する。
発明の背景 1.発明の技術分野
本発明は、現実的な表示(indicia)を映像画像の中に挿入する装置の性能向上
に関する。2.関連技術の説明
広告その他の表示を放送イベント、主にスポーツイベントの中に挿入するため
、現在、ロサ(Rosser)らによる米国特許第5,264,933号に記載されている
ような、電子画像を生映像信号の中に挿入する電子装置が開発され使用されてい
る。この種の装置は、たとえもとのシーンがズームされ、パンされ、または大き
さもしくは遠近感が変更されるときにも、継ぎ目なく現実的にロゴその他の表示
をもとの映像内にリアルタ
イムではめ込むことができる。
挿入した表示をあたかもそれが実際にそのシーンの中に存在するかのように見
せることは、技術を提供する上で重要だが困難な面である。厄介な面は、平均的
な視聴者の目がフィールドごとの物体の相対位置の小さな変化に非常に敏感であ
るということである。実験では、視聴者は挿入したロゴの、NTSCテレビ画像
の1画素の1/10ほどの小さな相対運動を知覚できることが実証されている。
挿入する表示を放送環境に置き、首尾一貫して高精度に維持することは、映像挿
入技術を商業的に存立させる上できわめて重要である。放送環境は、画像ノイズ
、突然の急激なカメラの動きの存在、画像のかなりの部分を見えなくさせうる移
動物体の散発的な発生、自然状態かまたはオペレータによる調整によって引き起
こされるレンズの特性や変化する光レベルによる画像のひずみ、テレビ信号の垂
直インタレースを含んでいる。
従来の技術において、画像の動きの自動追跡は、一般に、二つの異なる方法に
よって行われていた。第一の方法は、ディー.ダブリュ.クレイン(D.W.Crain)
に発行された米国特許第4,084,184号に記載されており、カメラの上に置
かれたセンサを用いて焦点距離、方位、高さの情報を提供する。第二の方法は画
像それ自体を調べ、相関または差分技術を用いて映像シーンの中の既知の目印(l
andmarks)を追うか、または、周知の光学流れ技術を用いて動きを計算した。Hor
n,B.K.PとSchunck,B.G.,“Determining Optical Flow”,Artificial Intellige nce
,pp 185-203(1981)を参照。目印は一時的でも永久的でもよく、またシーン
の自然部分でも人工的に導入されたものでもよい。目印の形状と姿勢の変化は測
定されて必要な表示を挿入するのに使用される。
第一の方法の問題は二つある。まず、そのイベントで特別のカメラを必要とす
るため生映像挿入を行いうる状況が制限される。次に、所望の
精度は高価な装置を各カメラに取り付けた場合にのみ達成されうる。一例として
、約7メートルのプレーおよび300メートル離れた所からのショットをカバー
する一般的な野球のシーンにおける7000中1のプレースメント精度は、1メ
ートルのカメラベース上に3ミクロンの位置寸法を必要とする。
第二の方法の問題は、ノイズ、画像のひずみ、および誤認識に関する。
テレビ中継される野球やフットボールの試合についての屋外競技において、従
来のシステムでは、下記の特定の重要な問題に遭遇する。
1.カメラの動き
フットボールや野球などの代表的なスポーツにおいて、接写は、行為から数百
ヤードまでの距離で動作する長い焦点距離のカメラを使って行われる。これらの
スポーツは両者とも急な行為、つまりボールをキックしたり打ったりする行為を
含み、結果的に穏やかなシーンから動きが速い行為のシーンに突然変化する試合
となる。長い焦点距離のカメラはこの活動に反応するので、それが記録する画像
は動き追跡をより困難にするいくつかの特徴を示す。例えば、画像の動きはおそ
らく1フィールド当たり10画素くらいの速さであろう。これは、10×10画
素よりも小さい画素ウインドウを調べるシステムの範囲外になる。さらに、画像
はピントがはずれて、静的画像では幅が数画素である線がぼやけて幅が10画素
になるような、ひどい動きぼけ(motion blurring)を受けることがある。これは
、細い線を追跡するシステムが突然試合を見失いまたは実際にはただ単に速いパ
ン動作が起こったにすぎないときにズームが変わったように仮定するということ
を示している。また、この動きぼけによってパターンテクスチャと共に照明レベ
ルや色の変化も引き起こされ、これらはすべてパターンベース画像処理技術を使
用するシステムにとって問題となりうる。カメラの動きによって、たとえ2フィ
ールドほ
どの小さい動きであっても、結局、画像の局所的および大規模幾何学において突
然の画像変化が生じる。画像の照明レベルや色はカメラの動きによっても影響さ
れる。
2.移動物体
一般にスポーツシーンには何人かの参加者がおり、彼らの一般的な動きはある
程度予測に従うが、しかし彼らはいつでも突然何か予期しないことをするかもし
れない。これは、実際のスポーツイベントのどんな自動動き追跡でも画像のいろ
いろな部分の突然で予期しないオクルージョン(occlusion)をうまく処理できな
ければならないということを示している。さらに、試合中プレーヤが取るユニフ
ォームやポーズの多様性は、シーンの中のどんな純幾何学的パターンでも追跡し
ようとする試みが同じようなパターンの多数の発生をうまく処理できなければな
らないということを示している。
3.レンズのひずみ
実際のカメラレンズはすべてある程度の幾何学的なレンズひずみを示しており
、画像中の物体が画像のエッジに向かって移動するにつれてその物体の相対位置
が変わる。1画素の1/10の正確さが要求される場合、これに起因して問題が
生じうる。
4.信号中のノイズ
実際のテレビ信号は、特にナイター野球のような照明レベルが低いイベントを
カバーするためカメラを電子的に昇圧するとき、ノイズを示す。このノイズは、
標準正規化相関認識に頼る画像解析技術を台無しにするが、それは、その技術が
、信号の強さに関係なく、パターン形状と調和するためである。数十万フィール
ドの映像(または一般的な3時間の試合)のうちでノイズ形状はランダムである
ため、ノイズパターンを実際のパターンと間違える危険は、重要な問題となりう
る。
5.フィールド対フィールドインタレース
テレビ信号は、NTSC標準もPAL標準も、一緒になって1フレームを構成
する二つの垂直飛越しフィールドで伝送される。これは、テレビジョンは画像の
単一の流れではなく、きわめて関連するも微妙に異なる画像の二つの流れである
ことを示している。問題は細い水平の線を見る際に特に顕著であり、それは一方
のフィールドに非常にはっきりと表われるがもう一方のフィールドには表われな
い。
6.照明と色の変化
屋外のゲームは特に照明や色が変化しやすい。一般に夏の夜の野球の試合は明
るい日光の中で始まり投光照明の暗さの中で終了する。そのような状況では2よ
り大きい係数の照明変化が一般的である。さらに、自然の照明から人工的な照明
への移り変わりによって、目に見える物体の色が変わる。例えば、フロリダのジ
ョー・ロビー・スタジアム(Joe Robbie Stadium)では、壁が自然照明の下では青
色に見えるが人工照明の下では緑色に見える。
7.セットアップの違い
カメラは夜ごと小さいが気づくほどの違いをもってセットアップされがちであ
る。例えば、カメラの傾きは一般にプラスマイナス1%以内で変わり、これは視
聴者がすぐにわかる程度ではない。しかし、これはプラスマイナス7画素に相当
し、8×8画素を測定する一般的なテンプレートにとっては問題となりうる。
従来の技術は、映像シークエンスの自動動き追跡に対するいくつかの提案を含
んでいる。
ロサらは、米国特許第5,264,933号において、角錐技術と結合されたテ
ンプレート相関のような周知の画像処理方法を利用した。“IEEE Proceedings”
,May 1979および“Pattern Recognition & Image Pr
ocessing”,Vol 67,Num.5,pp 705-880を参照。これはひとたびパターンが認
識されれば動きのフィールドごとの追跡すべてに十分であろうと考えられた。こ
の方法は限られた制御された環境ではうまくいく。しかし、このような標準アル
ゴリズムは日々の放送環境の要求には不十分であり、映像挿入システムの一般的
な広く普及したコマーシャル利用に対して改良される必要がある。本発明は従来
の技術に比べて進歩したものである。
ルケット(Luquet)らは、米国特許第5,353,392号において、カメラセ
ンサ情報かシーンの中の目印のどちらか一方を使用し、そして時間についてフィ
ルタ処理した数学的モデリングによって動きと位置のどちらか一方の不確実性を
除去することを提案している。しかし、この方法は、各画像間に高度の相関を持
った展開的画像シークエンスを前提としている。多くの主要スポーツの行為の突
然の変化、およびその後のカメラと画像パラメタ両方の突然かつ非展開的な変化
によって、彼らのアルゴリズムが、しばしば視聴者にとって最も興味のある瞬間
であるそれら突然の変化を初めから終わりまで追跡するのに成功する見込みはあ
りそうもない。
ハナ(Hanna)らは、PCT出願PCT/US92/07498(WO93/066
91)において、映像フィールドのラプラシアン・デシメイティッド・角錐(Lap
lacian decimated pyramid)の正規化相関を用いてひと組の広く分布された目印
の集合を追いかける、追跡への2ステップアプローチを提案している。この粗位
置は、画像内の「ロケータパターン」(locator pattern)にアフィン変換の正確
なアライメントを行うためのガイドとして用いられる。この処理は、ベルゲン(B
ergen)らによる“Hierarchical Model-Based Motion Estimation”,Proc.Euro
pean Conference on Computer Vision,1992,pp 237-252に詳細に記載されて
いる。それは、粗アライメントによって予測される現在位置から基準ロケータパ
ターンを引き算することによって画像の流れを計算する反復方法を使用する。そ
の後、その画像流れを用いてロケータパターンをもっと正確な位置へひずませる
。かなりの高精度が可能であるが、この方法は1画素未満の程度まで正確である
始点を必要とする。それでもそれはノイズや移動物体の存在を間違いやすいので
、日々の一般的な使用には不向きである。似ていないテンプレートを用いて目印
をシーンの中に位置させる一つのアプローチが、“LIVE VIDEO INSERTION SYSTE
M”と称する1995年1月31日出願の我々の同時係属米国特許出願第08/
381,088号に記載されており、当該出願の内容はすべてこの中に組み入れ
られている。
本発明が処理する問題は、実際の、ノイズのある映像画像の流れの中の動きを
追跡することができ、したがって一般的なコマーシャル使用が可能な生映像挿入
システムを可能にする強じんな(robust)そしてさらに高精度の追跡アルゴリズム
を提供することの難しさである。
発明の概要
本発明は、関連映像画像のシークエンスにおいてフィールドからフィールドへ
の動きを追跡する改良された方法から成る。色ベース目印オクルージョンによる
適応形地理階層追跡法(adaptive-geographic-hierarchical tracking with colo
r based landmark occlusion)と命名されるこの方法によって、実際の、ノイズ
のある映像画像の流れにおいて強じんで高精度の動き追跡が可能になる。
好適な方法は、エッジのようなズーム不感テンプレートについてのテンプレー
ト相関を用いて、あらかじめ指示された目印のグループまたはシーン内のグルー
プのある部分を追跡する。目印のテンプレート相関はシーンの動きを追跡するの
に用いられる生の位置情報を提供する。一般
に、使用される目印は球場内の構造物の一部分でもプレーするグラウンド上のマ
ーキングでもよい。追跡されるシーンの理想的な数学的定式化を行うことは、追
跡アルゴリズムの重要な部分である。この理想的な数学的表現は基準アレイ(ref
erence array)と呼ばれ、理想化されたxy座標値の単なるテーブルである。ア
レイと関連づけられた画像はオペレータの便宜上のものである。現在の画像また
はシーンは、現在シーンの中の点を基準アレイにマップする数学的変換を定義す
るひずみパラメタの集合によって、この基準アレイと関連づけられている。回転
が無視されまたは一定に維持されている単純な場合において、現在画像は下記の
式によって基準アレイにマップされる。
x′=a+bx
y′=d+by
ここで、x′とy′は現在シーンの中の目印の座標であり、xとyは基準アレイ
の中の同じ目印の座標であり、bは基準アレイと現在シーンの間の倍率であり、
aは基準アレイと現在シーンの間におけるx方向の平行移動でありdはy方向の
平行移動である。
適応形地理階層追跡法のエッセンスは、目印の予測モデル導出位置またはその
すぐ近くにあるその目印に最大限の注意を払うことである。
第一のステップは、予測モデル導出位置を定めるため正確な速度予測計画を得
ることである。このような計画は、先行するフィールドまたはシーンからのひず
みパラメタによって、現在画像中の目印がどこにあるべきかを推定する。インタ
レースされた映像における速度予測の一番の難点は、フィールドごとに1つの動
きにつき1画素y成分があるように見えることである。本発明は、先行する同種
フィールドからの位置、および最後の二つの異種フィールド間の差からの動きを
用いることによって、これを処理する。
現在画像において目印がどこにあるべきかが予測されると、次いで、この予測
された位置を中心に置いて15×15画素領域にわたってテンプレート相関を行
う。次いで、これら相関パターンを中心から外側に向かって探索してしきい値基
準を超える最初の整合を捜す。さらに、各目印は、目印がその予測モデル導出位
置から離れている距離に反比例する値を持つ重み関数を持っている。現在シーン
に対する新しいひずみパラメタを計算する際には、各目印の現在位置を用いてこ
の関数によって重み付けをする。これは、予測位置に近い目印ほど大きく強調す
る。次のステップは、シーンが動く時のカメラのひずみを補償するのに必要であ
るが、目印の現在位置に基づいて目印の基準アレイ座標を動的に更新することで
ある。この更新は良い目印についてのみ行われ、距離誤差重み関数によってそれ
自身かなり重み付けされる。この適応基準アレイによって、たとえ目印がレンズ
や透視ひずみを通過する時でもその目印を非常に正確に追跡できるようになる。
適応基準アレイを持つことの危険は、それが汚れてしまうかもしれないというこ
とである。この危険は、コード、ゲーム、および追跡基準座標と呼ばれる、三組
の基準座標を持つことによって緩和される。システムを最初にロードするとき、
コード基準座標は初期基準座標に設定される。ゲームと追跡座標は、最初は、コ
ード基準座標と同じに設定される。ひとたびシステムがシーンの位置を確認し追
跡を開始すると、追跡座標が用いられる。しかし、シーンがカットされるたびに
、追跡座標は自動的にゲーム基準座標にリセットされる。いつでもオペレータは
、現在の追跡座標をゲーム基準座標と同じに設定するか、またはゲーム基準座標
をさらに戻ってコード基準座標に設定するかを決めることができる。この訃画は
、オペレータが能力を無効にしたまま適応基準が更新することも考慮に入れなけ
ればならない。
本追跡計画の最終要素は、システム内のスプリアスデータを避けるた
め、目印がある物体によっていつ覆い隠されるかを決定する方法である。色ベー
スオクルージョン法を使用するが、これは、目印が存在する位置を取り囲むパタ
ーン内のひと組のセンサ点を調査し、それがその領域で予測される色と異なれば
、その目印はオクルードされていると考えて以降の計算では使用しないというも
のである。良い目印からのセンサ点を用いてセンサ点の予測された色に対する基
準値を更新するので、本システムは、放送中に日光から人工光へ徐々に変化する
ような変化する状態を調整することができる。
適応形階層追跡のこの方法は、生放送テレビジョンのノイズのある実ワールド
環境においてさえ、映像シークエンス内の目印の高精度で強じんな追跡方法であ
ることがわかった。
図面の簡単な説明
図1は、シーンの基準映像画像を示す概略表現である。
図2は、図1の基準映像画像の生映像画像を示す概略表現である。
図3は、基準アレイの典型的表現の要素を示す表である。
図4は、インタレース映像フィールドにおけるフィールド番号対y画像位置の
概略表現を示している。
図5aは、ゼロ平均エッジテンプレートの断面図を示している。
図5bは、ゼロ平均エッジテンプレートの平面図を示している。
図6は、相関面を示している。
図7は、表面上の測定予測位置を示している。
図8は、基準アレイのトラック、基準、およびコード階層を用いて適応基準ア
レイを管理する方法の概略流れ図を示している。
図9は、色ベースオクルージョン用に使用される目印およびその関連センサ点
の概略図を示している。
好適な実施態様の詳細な説明
この説明においては、本発明を示す異なる図面に係る同じ要素を同定するため
に同じ香号を用いることにする。
色ベースオクルージョンによる適応形地理階層追跡法(adaptive-geographic-h
ierarchical tracking with color based occlusion)は、一般的な放送で経験す
るようなノイズが存在する関連した映像画像のシークエンスにおけるフィールド
からフィールドへの動きの強じんな高精度の追跡を考慮に入れた方法である。そ
の名称が示唆するように、本方法はいくつかの部分から成っている。本発明を理
解するためには、構成部分を取り上げておのおの順番に見ていくのが最も容易で
ある。
動きの追跡を行う理由は、ロサらによる米国特許第5,264,933号に記載
されているように、たとえカメラがズームし、パンし、チルトし、その他シーン
の大きさまたは遠近感を変えるときにも、主に広告を目的として、挿入画像がも
とのシーンの一部であるかのように見えるようその画像を生映像信号の中に電子
挿入することを可能にするためである。
図1を参照して、本発明によって実行されるような継ぎ目のない挿入を可能に
する映像画像の動き追跡は、挿入が行われるシーンの基準アレイ10から始める
。実際の画像を持つことは有益な精神的援助であるが、この基準アレイは、基準
アレイ10内のいくつかのキー目印群16,18の位置を示す理想化されたx,y
座標の集合にすぎない。典型的な表は図3に示してあるが、ここでは、xつまり
水平座標31とyつまり垂直座標位置33の一覧表を示している。キー目印群1
6,18の位置31,33は、動きの測定を可能とする基準としてのみならず挿
入の位置決めを可能とする基準としても用いられる。センターのカメラからの野
球シーンの典型的な基準アレイ10は、投手のマウンド12、背壁14、背壁1
4を構成するパッド間の垂直線15、および背壁とプレーフィー
ルドとの間にあって水平方向の目印群18が設けられている水平線17などの特
徴の位置から成る。
現在の画像またはシーン20は、現在考慮されている映像シークエンスからの
フィールドである。基準アレイ10からのキー特徴または目印群16,18の位
置もまた測定位置26,28として現在画像20の中に示される。測定位置26,
28は、現在画像20中の点の位置を基準アレイ10中の点の位置に最も正確に
マップする数学的変換を定義するひずみパラメタの集合によって、集合16,1
8からの対応する基準アレイ目印位置に関連づけられている。このようなマッピ
ングは数学的によく知られている。“Geometrical Image Modification in Digi
tal Image Processing”,W.K.Pratt 2nd Edition,1991,John Wiley and Sons
,ISBN 0-471-85766を参照。
固定したテレビカメラ、特にたいていのスポーツイベントにおけるようなかな
り長い焦点距離を持ったテレビカメラからの眺めを追跡することは、一つの二次
元面を他の二次元面にマッピングすることとして考えることができる。画像から
画像への平行移動、ズーム、せん断、および回転を考慮に入れたそのようなマッ
ピングを達成する一般的な数学的変換は、下記の6パラメタモデルによって与え
られる。
x′=a+bx+cy
y′=d+ex+fy
ここで、
xとyは、基準アレイ10の座標であり、
x′とy′は、現在画像20の変換座標であり、
aは、x方向の画像平行移動であり、
bは、x方向の画像倍率であり、
cは、x方向の回転とスキューの組合せであり、
dは、y方向の画像平行移動であり、
eは、y方向の回転とスキューの組合せであり、
fは、y方向の画像倍率である。
ここで議論する追跡アルゴリズムおよび方法は、上記変換のみならず他のより
一般的な変換とも用いることができる。しかし、経験は、動的に更新される基準
アレイを使用すれば、せん断や回転を考えないより単純なx,yマッピング機能
で十分であることを示している。したがって、回転が無視されまたは一定に維持
され(c=e=0)かつxとy方向の倍率が同じである(b=f)単純な場合に
おいて、現在画像20中の点の位置は、下記の式を用いて基準アレイ10中の点
の位置にマップされる。
x′=a+bx
y′=d+by
ここで、x′とy′は現在画像20中の目印の座標であり、xとyは基準アレイ
10中の同じ目印の座標であり、bは基準アレイ10と現在画像20の間の倍率
であり、aはx方向の平行移動であり、dはy方向の平行移動である。この単純
化されたマッピング案を使用する理由は、動的に更新される基準アレイを使用す
ると、強じんであるのみならずテレビのスポーツ放送に存在する限られたせん断
、回転、および遠近のひずみを処理できることが経験によって明らかにされてい
るからである。
動き追跡は、現在画像20中の目印群26,28の位置を測定し、この測定値
を用いて上記式で定義されているようなひずみパラメタa,d,bを計算する方法
である。適応形地理階層追跡法の重要な部分は、各目印に重みを与えるという考
えである。重みは、各目印が存在すると予測または予想される位置から離れてい
る検出された距離により、反比例して与えられる。存在が予想される位置の近く
に目印が実際に存在すれば
するほど、現在画像20の位置を基準アレイ10の位置に結び付けるひずみパラ
メタの計算に際してその目印に与えられる重みは大きくなる。
第一のステップは、目印26,28が現在画像20中に存在すべき位置を予想
することである。これは、三つの先行フィールドの目印位置を解析することによ
って行われる。先行モデルから得られた目印の先行位置と速度を用いて、目印が
現在画像20中に現れる位置を推定する。位置と速度の計算は、現在の標準的な
テレビジョン伝送方式であるNTSCとPALが両者とも二つの垂直方向にイン
タレースされたフィールドの状態で送られるという点で複雑である。したがって
、水平方向の走査は交互に別々のフィールド、習慣的に奇数および偶数フィール
ドと呼ばれる、に含まれる。NTSC方式では、各フィールドは1秒の1/60
(16.6マイクロセカンド)で送られ、1秒の1/30ごとに結合された1フ
レームを作っている。
速度を推定する際に考慮すべき一つの重要な実際上の点は、速度の推定に使用
される先行フィールド(−1,−2,−3)のxとy位置が、測定された位置で
はなく、前記各フィールドで得られた最終的なひずみパラメタを用いて計算され
た位置であるということである。すなわち、各フィールドにおいて、xとy位置
は各目印について測定される。次いで、すべての目印を用いて、現在アレイと基
準アレイ間のマッピングを与えるひと組のひずみパラメタa,b,dを得る。次い
で、このひと組のひずみパラメタを用いて、基準アレイ座標10を現在画像20
の中に投影して、現在画像の中に理想化された目印位置の集合を与える。速度の
推定に使用されるのは、モデル導出位置(model derived positions)と呼ばれる
、各フィールドにおけるこの理想化された目印位置の集合である。
図4に示されるように、目印の現在のyまたは垂直位置はその前の三
つのフィールドから予想される。現在のフィールド(フィールド0)におけるy
位置の予想は、両方とも奇数か偶数かどちらかである点で「同種の」(like)フィ
ールドである、フィールド−1とフィールド−3との目印のモデル導出位置の差
として速度のy成分を測定することによって行われる。次いで、そのy速度成分
を、現在のフィールドと「同種の」先行フィールドである、フィールド−2のモ
デル導出y位置に加えることで、その目印が現在のフィールド中に存在すべき位
置を推定するに至る。
x方向の予想は同じアルゴリズムを使用できるであろうし、あるいは、インタ
レースがないため、x方向の計算はもっと簡単でかつ若干もっと一般に行われて
いるものにすることができる。より簡単な方法では、速度のx成分は、フィール
ド−1における目印のモデル導出位置とフィールド−2におけるそのモデル導出
位置との差として計算される。次いで、この差をフィールド−1のモデル導出位
置に加えて、その目印が現在のフィールド中に存在すべき位置の推定に至る。
現在画像中のすべての目印の最も存在しそうな位置を予測したら、その後、予
測位置に中心を置いた15×15画素領域について8×8画素テンプレートの相
関を行うことによって、目印の位置を見つけ出す。相関またはテンプレート突き
合わせは周知の技術であり、その標準的な形態において、物体検出の最も基本的
な手段の一つである。ダブリュ.ケイ.プラット(W.K.Pratt)による“Image Det
ection and Recognition of Digital Image Processing”,Chapter 20(2nd Edi
tion,1991,John Wiley and Sons,ISBN 0-471-85766)を参照。テンプレートを
使って見つけ出そうとするシーンの一部とかなり似ているようにテンプレートが
作成される相関またはテンプレート突き合わせのもっと標準的な方法と異なり、
本発明におけるテンプレートは合成的で、形状と値の両方に
おいて理想化され、「ゼロ平均」(zero-mean)である。例えば、まっすぐなフッ
トボールのゴールポストを追跡する場合、画像から取ったゴールポストの一部を
使用するのではなく、図5aの断面図および図5bの平面図に概略的に示される
ように、使用するテンプレート54は、負の方向に向いた直線56と正の方向に
向いた直線58とから成る均一の値のエッジであり、その8×8テンプレートに
おける値の合計はゼロに等しい。このテンプレートはズームに依存しないという
利点を有し、均一な明るさの表面上にゼロ値を与える。当該技術は8×8画素テ
ンプレートに限定されるものではなく、また、15×15画素領域に限定されて
それらの相互関係が示される領域でもない。さらに、この技術はセロ平均テンプ
レートに限定されるものでもない。垂直および水平方向の直線およびエッジのみ
が追跡されている場合には、水平方向の細部を追うための(1×n)相関面およ
び垂直方向の細部を追うための(n×1)相関面を持つことによって計算を減ら
すことが可能である。ここで、nは任意の適当な数字であり、通常は5〜50画
素の範囲内である。
理想化されたゼロ平均エッジテンプレート54は、現在画像またはこれのいく
らか増幅されフィルタ処理されデシメイト処理(decimated)されたレプリカの1
5×15画素領域について相関させて、図6に概略的に示すような相関面60を
作る。この相関面60は、画素の明るさがその位置に中心を置いたときのテンプ
レートに対する画像の相関と一致するそれら画素の15×15アレイから成る。
一般に、線を含む画像の領域について相関のあるエッジテンプレート54は、良
好な整合を示す正領域の線の応答66と不整合を示す対応する負領域の線67の
両方をもたらす。この不整合線67は、正領域の整合線66から離れているその
位置と距離によって線の幅が測定されまたその周囲よりも明るいか暗いかが測定
される点で役立ちうる。さらに、現在画像の特徴のような明る
いエッジに対応する相関面60上には他の明るい画素68がある。
適応形地理階層追跡法の案内原理は、目印および目印が存在すると予測される
位置に最も近い可能性のある目印を示す相関ピークに焦点を合わせることである
。15×15相関面60上どこでもピークをただ探すというのではなく、これら
のパターンは中心部から外側に向かって探索される。これを行う最も簡単でかつ
非常に有効な方法は、まず、中心部の3×3画素領域64における中心部の九つ
の画素値を見ることである。これらの画素のどれもがしきい値よりも大きい相関
値を持てば、その画素は探索中の目印を表わすものとされ、相関面のさらなる調
査は行われない。そのしきい値は、通常、予想される普通の目印相関の50%で
ある。この3×3の初期探索によって、68の符号が付いた画素が線66の画素
よりも明るい場合のように、たとえその明るさまたは形状によって目印相関をわ
かりにくくさせる近くの物体が存在する場合でも動きの追跡が可能になる。ひと
たびピークの明るさを持つ画素が見つかると、同時係属米国特許出願第08/3
81,088号で議論されているような周知の三角形再構成方法を用いてサブ画
素位置の推定に達する。高次曲線をデータに適合させるなど使用してもよい他の
サブ画素位置推定方法がある。しかし、経験により、同時係属米国特許出願第0
8/381,088号に記載された三角法が最も有効であることが明らかにされて
いる。
別の方法は、相関面に中心部の画素により大きな重みを与える関数を掛けるこ
とである。我々は「シルクハット」(top-hat)でガウス形(Guassian)に似た形状
が最も有効であることを見出だしたが、この重み関数はどんな形状であってもよ
い。次いで、この新しい重み付け面を探索してピーク値を捜し、これを用いてサ
ブ画素推定の基礎となる位置を与える。重み付け面を用いてピークを見つけると
きには、同時係属米国特許出願第08/381,088号に記載されたような三角
形を完成させる方
法その他同様のアルゴリズムを用いてサブ画素のピーク推定のため非重み付け相
関面を用いることがなお必要である。また、補間を行う前に重み付け面からのピ
ークが実際は非重み付け面上の局所ピークであるということをチェックすること
も重要である。もしそうでなければ、補間は行わず、非補間値を使用する。
さらに、シーンに存在する各目印は、それが存在すると予測される位置からの
距離に基づいてそれに関連づけられた誤差重量(error weight)を持っている。さ
て図7に示すように、この誤差重量の計算は、下記の一般的を用いて、座標xp
,ypで示される画像の予測位置70と座標xm,ymで示される画像の測定位
置72とに基づく。
ここで、g,h,i,j,k,lは、重み関数の強さを変えるために選択される定数
である。
好適な実施態様において、式のパラメタは、下記のとおりである。
特別の場合には、重み付けの強調を変えるためパラメタのおのおのを異なる値に
してもよい。例えば、短い距離では一定のままでその後急激に落ちる関数を提供
するため定数iとjを変更してもよい。
次いで、現在画像20中の点を基準アレイ20中の点にマップするひずみパラ
メタを計算する際にこの誤差重量を使用する。好適な実施態様において、この計
算は、下記のマトリックスを用いるのに適した重み付け平均最小自乗法(weighte
d least mean squares)である。
ここで、
C1=nx・誤差重量・xp+ny・誤差重量・yp
および
C2=nx・誤差重量・xm+ny・誤差重量・ym
純粋に水平方向の目印の場合には、nx=0およびny=1であり、純粋に垂
直方向の目印の場合には、nx=1およびny=0である。より一般的な場合に
は、nxとnyは、目印の主方向の法線を表わすベクトルの方向余弦である。
動き追跡計画の適応部分は、カメラのひずみを考慮するのに必要である。また
、これによって、システムが記憶された理想化基準アレイと実際のシーンとの間
の小さな不一致を補間することのみならず、システムが小さな遅い回転および/
またはせん断を処理することが可能になる。さらに、これによって、システムが
どんな小さなしかもゆっくり生じているひずみを処理することが可能になる。こ
の適応は、その現在位置に基づいて基準アレイ座標を動的に更新することによっ
て行われる。本発明においては、動き追跡の適応部分は、次の基準によって安定
化されている。1)適応が起こるのを許容する場合には非常に慎重であること、
2)目印が良好であるものとシステムがどの程度確信しているかに基づいてどの
目印が関係するかを選択すること、3)計算全体を距離誤差重み関数によってか
なり重み付けすること。さらに、基準アレイはどんなシーンがカットされた後も
リセットされる。
好適な実施態様において、基準座標の動的更新は、6フィールドの追
跡後に開始され、どんなオクルージョンチェックによってもフラグされておらず
かつ相関値が予測基準値の20%を超え200%未満である目印について行われ
るのみである。ただし、これらすべてのパラメタに対して異なる値を使用しても
よい。
測定された目印位置は、下記の式を用いて現在フィールド中のすべての良好な
目印によって計算されるひずみパラメタを用いて基準アレイ内の位置に逆投射さ
れる。
Xnr=(Xm−a)/b
Ynr=(Ym−d)/b
Xr=XOr+・(誤差重量)2・(Xnr-XOr)
Yr=YOr+・(誤差重量)2・(Ynr-YOr)
ここで、
Xmは、目印の測定x座標であり、
Ymは、目印の測定y座標であり、
aは、水平平行移動のひずみパラメタであり、
bは、垂直平行移動のひずみパラメタであり、
Xnrは、このフィールドデーターに基づいて計算された、提案の新しい基
準点のx座標であり、
Ynrは、このフィールドデーターに基づいて計算された、提案の新しい基
準点のy座標であり、
XOrは、更新前の古い基準点のx座標であり、
YOrは、更新前の古い基準点のy座標であり、
Xrは、新しい基準点としてテーブルに挿入されるx座標であり、
Yrは、新しい基準点としてテーブルに挿入されるy座標である。
また、インタレース映像について追跡性能を高めるため奇数と偶数のフィール
ドに対して別々の追跡基準アレイを使用することも可能である。
適応基準アレイは潜在的に不安定な性質を有するため、好適な実施態様は、
コード基準(CODE REFERENCE)
ゲーム基準(GAME REFERENCE)
追跡基準(TRACKING REFERENCE)
と呼ばれる、三つの関連基準アレイを持っている。図8の概略流れ図は、これら
三つの基準がどのように用いられるかを示している。初期システムがロードされ
る始動時、三つの基準はすべて同じに設定される。
コード基準=ゲーム基準=追跡基準
すなわち、各基準アレイ中の目印のxとy座標は、コード基準アレイ中の目印の
座標と同じに設定される。
画像処理が行われる実行時、三つの基準アレイは以下のように用いられる。ゲ
ーム基準はサーチと検査モードで使用され、追跡モードでは追跡基準が使用され
る。
最初、追跡基準アレイは、ゲーム基準アレイと同じに設定される。好適な実施
態様において、これは、追跡が行われる最初のフィールドで起こる。その後のフ
ィールドにおいて、追跡基準は、上記に詳述したように変更される。奇数と偶数
のフィールドに対して別々の追跡基準アレイを使用している場合には、それらは
共に最初はゲーム基準アレイに設定される。
追跡モード中はいつでも、オペレータは、スクリーン、キーボード、マウス、
グラフィック・ユーザ・インタフェース、トラックボール、タッチスクリーン、
またはこれら装置の組合せなどの標準的なコンピュータ・インタフェース・ツー
ルを用いて、現在の追跡基準をゲーム基準の中にコピーすることができる。この
機能は、試合の開始時に役に立つ。例えば、オペレータは、特にそのスタジアム
で挿入を行えるように当該
生映像挿入システムをセットアップすることができる。コード基準座標は、その
スタジアムでのその前の試合に基づく目印位置を有しているが、目印の位置は、
介在する時間の中で微妙に変更されたかもしれない。しかし、コード基準は、大
部分の時間において、検索と追跡に十分な状態のままである。または、ショット
を待つか、あるいは、すべての目印に障害がない試合前にディレクタにショット
をセットアップしてもらい、そして追跡基準の調整が完了されることを考慮に入
れることによって、特にその試合に対するより正確なゲーム基準を達成すること
ができる。
いつでも、追跡またはサーチモードのどちらでも、オペレータは、ゲーム基準
をコード基準にリセットすることができる。これによって、改変された追跡基準
にゲーム基準をリセットするというオペレータの間違いからの復旧が可能となる
。
適応基準プロセスの重要な部分は、更新処理をプレーヤなどの物体によってオ
クルードされていないことがわかっている目印に制限することである。好適な実
施態様におけるこの目印オクルージョン検出に用いられる方法は、色に基礎を置
き、たいていのスポーツが、かなり均等な色の十分に限定された領域を持つ表面
上において、または野球場の背壁のような均等色の本質的特徴を持つスタジアム
においてプレーされるという事実を利用している。図9に示すような各目印90
は、当該目印に関連づけられたセンサ点92を有している。これらセンサ点92
は、好適な実施態様では1目印90につき3〜9個の範囲で設けられ、画素が関
連づけられている目印の近くの、または好ましくは当該目印を取り囲んでいる所
定の位置のその画素である。さらに重要なことには、センサ点はすべてかなり均
等な色の領域上に存在している。目印がオクルードされているかどうかの決定は
、センサ点を見て、それの平均値からの偏差を測定することに基礎を置いている
。この偏差があらかじめ設定された
値を超えている場合には、目標はオクルードされていると推定される。その他、
それは、モデル計算や基準アレイ更新のような他の計算に使用することもできる
。
垂直インタレースの処理方法と各先行フィールドの理想化された目印位置の使
用は両方ともきわめて重要でかつ革新的である。
本発明は、出願人が知っている従来技術に対していくつかの有利な点を有して
いる。
第一に、本発明は、高い精度を維持しつつ一般的な放映環境においてフィール
ドからフィールドへの動きを追跡することができるという点で、どんな周知の従
来技術のシステムよりも強じんである。
第二に、本発明は、画像のシークエンス内の突然の変化をなめらかに処理する
ことができる。そのような変化は素早い行為やシーンのカットのようなイベント
を示し、しばしば視聴者にとって最も興味のあるものである。
第三に、本発明は、カメラそれ自体からのセンサデータを当てにしていない。
したがって、本発明は、放送中のカメラのジッタまたは動作に影響されない。
第四に、映像画像のみを使用するため、本システムは、イベントと視聴者の間
の放送流れの中のどこにでも置くことができる。
最後に、本発明は、前処理または1画素未満の精度の始点を必要とすることな
く信頼できる結果を達成することができる。
今まで本発明をその好適な実施態様を参照して説明してきたが、当業者であれ
ば、全体として本発明の精神や範囲から逸脱しなければ本システムの個々の部分
の構造や機能にさまざまな変更を加えうることはわかるであろう。
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.6 識別記号 FI
G06F 15/70 410
(81)指定国 EP(AT,BE,CH,DE,
DK,ES,FI,FR,GB,GR,IE,IT,L
U,MC,NL,PT,SE),OA(BF,BJ,CF
,CG,CI,CM,GA,GN,ML,MR,NE,
SN,TD,TG),AP(KE,LS,MW,SD,S
Z,UG),UA(AM,AZ,BY,KG,KZ,MD
,RU,TJ,TM),AL,AM,AT,AU,AZ
,BB,BG,BR,BY,CA,CH,CN,CZ,
DE,DK,EE,ES,FI,GB,GE,HU,I
L,IS,JP,KE,KG,KP,KR,KZ,LK
,LR,LS,LT,LU,LV,MD,MG,MK,
MN,MW,MX,NO,NZ,PL,PT,RO,R
U,SD,SE,SG,SI,SK,TJ,TM,TR
,TT,UA,UG,UZ,VN
(72)発明者 ダス,サブホデフ
アメリカ合衆国,ニュージャージー州
08540,プリンストン,ブルー スプリン
グ ロード 1012
(72)発明者 イー,タン
アメリカ合衆国,ニュージャージー州
08536,プレインズボロ,リンデン レイ
ン 27
Claims (1)
- 【特許請求の範囲】 1. 映像システムによって走査される関連映像画像のシークエンスにおけるフ ィールドからフィールドへの動きを追跡する方法において、 a) 複数の目印を有し各目印が単一のxy座標を有する基準アレイを表現す る理想化されたxy座標のアレイを設定するステップと、 b) 画像全体のカメラ関連動作に対する単一マッピング機能によって現在画 像中のxy座標を前記基準アレイ中の前記xy座標にマッピングするステップと 、 c) 先行フィールドからの前記目印の検出された位置変化に基づいて、前記 目印座標の未来位置x′とy′を予測するステップと、を有し、 二つの連続するフィールド間の変化による予測誤差が最小化される前記方法。 2. 前記マッピングは、下記の関係式によって達成される請求項1記載の方法 、 x′=a+bx+cy y′=d+ex+fy ここで、 xは、前記基準アレイの水平座標であり、 yは、前記基準アレイの垂直座標であり、 x′は、前記現在シーンの水平座標であり、 y′は、前記現在シーンの垂直座標であり、 aは、x方向における物体の水平平行移動のひずみパラメタであり、 bは、x方向における前記基準アレイと前記現在画像間の倍率の ひずみパラメタであり、 cは、x方向における回転とスキューの組合せのひずみパラメタであり、 dは、y方向における物体の垂直平行移動のひずみパラメタであり、 eは、y方向における回転とスキューの組合せのひずみパラメタであり、 fは、y方向における前記基準アレイと前記現在画像間の倍率のひずみパ ラメタである。 3. 前記映像画像は垂直方向にインタレースされフィールドからフィールドへ の画像は同種と異種のフィールド間で交互に繰り返す請求項2記載の方法。 4. 前記インタレースされた映像画像に対する前記目印座標の未来位置x′と y′を予測する前記ステップは、先行する同種フィールドからの前記目印の検出 された位置変化に基づいて行われる請求項3記載の方法。 5. さらに、 d) テンプレートを用いる相関によって前記現在画像中の前記目印の一つを 探索するステップと、当該探索は、前記目印の予測位置に広がる相当な領域にわ たって行われる、 e) ステップ(d)における前記相関探索の結果に前記目印の予測位置まで の距離が近いほど大きな重みを相関に与える重み関数を掛けて重み付き相関面を 得るステップと、 f) 前記重み付き相関面を探索してそのピーク値を捜すステップと、 を有する請求項4記載の方法。 6. さらに、 g) その目印に対する前記重み関数によって重み付けされた現在画像中の前 記目印の現在位置に基づいて現在画像に対する新しいひずみパラメタa,b,c, d,e,fを決定するステップ、を有し、 予測位置により近い目印が重要視される請求項5記載の方法。 7. 前記重み関数は、下記の関係式から成る請求項6記載の方法、 ここで、 g,h,i,j,kは、定数であり、 xpは、前記目印の予測x座標位置であり、 xmは、前記目印の測定x座標位置であり、 ypは、前記目印の予測y座標位置であり、 ymは、前記目印の測定y座標位置である。 8. さらに、 h) 前記現在画像中の前記目印の位置に従って前記基準アレイ内の前記目印 位置を更新するステップ、を有し、 前記更新は、十分に識別された目印に基づいて前記目印重み関数に従って行わ れる請求項7記載の方法。 9. さらに、 i) 放送前に3タイプの基準アレイを設定するステップ、を有し、前記3タ イプの基準アレイは、 i) 前記基準目印座標と同じ目印座標を持つコード基準アレイと、 ii) 最初前記コード基準アレイと同じに設定される目印座標を持つゲーム 基準アレイと、 iii)最初前記コード基準アレイと同じに設定される目印座標を持つ追跡基 準アレイと、 を含む請求項8記載の方法。 10. さらに、 j) 放送中に前記追跡基準アレイの座標を変更するステップと、 k) カットされたシーンの後前記追跡基準アレイの座標を前記ゲーム基準ア レイの座標にリセットするステップと、 を有する請求項9記載の方法。 11. 前記映像システムはオペレータによって制御され、前記方法は、さらに 、 l) 前記現在追跡基準アレイの座標を前記ゲーム基準アレイの座標と同じに 設定するかまたは前記ゲーム基準アレイの座標をさらに戻って前記コード基準ア レイの座標に設定するかを選択的に決定するステップ、を有し、 前記オペレータは、ゲームまたは追跡基準アレイの座標を更新しまたは無効に することができる請求項10記載の方法。 12. さらに、 m) 前記目印おのおのの位置を取り囲むパターン内にひと組のセンサ点を設 定するステップと、前記センサ点は、色と照明の変化を検出することができる、 n) 前記センサ点の色または照明が前記予測された色または照明と違うかど うかを決定するステップと、 o) 前記色または照明が予測されたものとかなり違う場合に前記目印を将来 の計算から除外するステップと、を有し、 前記目印は、前記センサ点の前記色または照明が前記予測された色または照明 とかなり違う場合、オクルードされていると考える請求項11記載の方法。 13. 前記相関テンプレートは、15×15画素ウインドウである請 求項12記載の方法。 14. 前記マッピングは、下記の関係式によって達成される請求項1記載の方 法、 x′=a+bx y′=d+by ここで、 xは、前記基準アレイの水平座標であり、 yは、前記基準アレイの垂直座標であり、 x′は、前記現在シーンの水平座標であり、 y′は、前記現在シーンの垂直座標であり、 bは、前記基準アレイと前記現在画像間の倍率のひずみパラメタであり、 aは、x方向における物体の水平平行移動のひずみパラメタであり、 dは、y方向における物体の垂直平行移動のひずみパラメタである。 15. さらに、 p) テンプレートを用いる相関によって前記現在画像中の前記目印の一つを 探索するステップと、当該探索の始点は、前記目印の予測位置のほぼ中心に置か れる、 q) 前記探索を前記予測位置から始め外側へ向かい整合を捜して行うステッ プと、 r) 前記整合がしきい値を超えると前記目印に対する前記探索を中止するス テップと、 を有する請求項4記載の方法。 16. 前記重み関数は、下記の関係式から成る請求項6記載の方法、 ここで、 xpは、前記目印の予測x座標位置であり、 xmは、前記目印の測定x座標位置であり、 ypは、前記目印の予測y座標位置であり、 ymは、前記目印の測定y座標位置である。 17. 映像システムによって走査される関連映像画像のシークエンスにおける フィールドからフィールドへの動きを追跡するシステムにおいて、 複数の目印を有し各目印が単一のxy座標を有する基準アレイを表現する理想 化されたxy座標のアレイを設定する走査手段と、 現在画像中のxy座標を前記基準アレイ中の前記xy座標にマッピグするマッ ピング手段と、 先行フィールドからの前記目印の検出された位置変化に基づいて、前記目印座 標の未来位置x′とy′を予測する予測手段と、を有し、 二つの連続するフィールド間の変化による予測誤差が最小化される前記システ ム。 18. さらに、 前記目印の予測位置のほぼ中心に置かれた相関テンプレートを用いて前記現在 画像中の前記目印の一つを探索する探索手段を有し、当該探索は、前記予測位置 から始め外側へ向かい整合を捜して行われ、前記整合がしきい値を超えると中止 される請求項17記載のシステム。 19. さらに、 各目印に当該目印がその予測位置から離れている距離に反比例する値 を持った重み関数を与える重み付け手段、を有する請求項18記載のシステム。 20. さらに、 前記現在画像中の前記目印の位置に従って前記基準アレイ内の前記目印位置を 更新する更新手段、を有し、前記更新は、十分に識別された目印に基づいて前記 目印重み関数に従って行われる請求項19記載のシステム。 21. さらに、 放送前に3タイプの基準アレイを設定する手段、を有し、前記3タイプの基準 アレイは、 i) 前記基準目印座標と同じ目印座標を持つコード基準アレイと、 ii) 最初前記コード基準アレイと同じに設定される目印座標を持つゲーム 基準アレイと、 iii)最初前記コード基準アレイと同じに設定される目印座標を持つ追跡基 準アレイと、 を含む請求項20記載のシステム。 22. さらに、 放送中に前記追跡基準アレイの座標を変更し、カットされたシーンの後前記追 跡基準アレイの座標を前記ゲーム基準アレイの座標にリセットするオペレータ入 力手段、を有する請求項21記載のシステム。 23. さらに、 各目印の位置を取り囲むパターン内にひと組のセンサ点を設定するセンサ手段 、を有し、前記センサ点は、色と照明の変化を検出することができ、前記センサ 点の色または照明が予測された色または照明と違うかどうかを決定する請求項2 2記載のシステム。 24. さらに、 目印の周りの前記色または照明が予測されたものとかなり違う場合に前記目印 を将来の計算から除外するオクルージョン手段、を有する請求項23記載のシス テム。 25. 映像システムによって走査される関連映像画像のシークエンスにおける フィールドからフィールドへの動きを追跡する方法において、 a) 複数の目印を有し各目印が単一の座標rxとryを有する基準アレイを 表現する理想化されたxy座標のアレイを設定するステップと、 b) 画像全体のカメラ関連動作に対する単一マッピング機能によって現在画 像中のxy座標を前記基準アレイ中の前記座標rxとryにマッピングするステ ップと、 c) 先行フィールドからの前記目印の検出された位置変化に基づいて、前記 目印座標の未来位置x′とy′を予測するステップと、を有し、 実際の位置x,yと理想化された基準アレイからマップされた位置rx,ryと の間の重み付けされた誤差関数を最小化することによって全体カメラ動作ベクト ルを計算する際に現在フィールドに対するその前に予測された位置x′,y′と 現在フィールドに存在する実際の位置x,yとの間の差を用いて各目印に他と比 べてどれくらいの重みを与えるかを決定する前記方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US27995P | 1995-06-16 | 1995-06-16 | |
US60/000,279 | 1995-11-28 | ||
US08/580,892 US5808695A (en) | 1995-06-16 | 1995-12-29 | Method of tracking scene motion for live video insertion systems |
US08/580,892 | 1995-12-29 | ||
PCT/US1996/010164 WO1997000494A1 (en) | 1995-06-16 | 1996-06-12 | Method of tracking scene motion for live video insertion systems |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH11508099A true JPH11508099A (ja) | 1999-07-13 |
Family
ID=26667433
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9503298A Pending JPH11508099A (ja) | 1995-06-16 | 1996-06-12 | 生映像挿入システムに対するシーンの動き追跡方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US5808695A (ja) |
EP (1) | EP0842485A1 (ja) |
JP (1) | JPH11508099A (ja) |
AR (1) | AR002498A1 (ja) |
AU (1) | AU6173496A (ja) |
BR (1) | BR9610777A (ja) |
WO (1) | WO1997000494A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11512263A (ja) * | 1995-09-08 | 1999-10-19 | オラド ハイ−テック システムズ リミテッド | ビデオ画像におけるビルボードの自動電子式置換方法および装置 |
KR101309800B1 (ko) * | 2007-01-24 | 2013-10-14 | 삼성전자주식회사 | 영상 향상방법 및 이를 적용한 촬영장치 |
Families Citing this family (82)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5912700A (en) * | 1996-01-10 | 1999-06-15 | Fox Sports Productions, Inc. | System for enhancing the television presentation of an object at a sporting event |
GB2311184A (en) * | 1996-03-13 | 1997-09-17 | Innovision Plc | Motion vector field error estimation |
SE506544C2 (sv) * | 1996-06-20 | 1998-01-12 | Telia Ab | Anordning och metod för generering av digitala reklamskyltar |
US5917553A (en) * | 1996-10-22 | 1999-06-29 | Fox Sports Productions Inc. | Method and apparatus for enhancing the broadcast of a live event |
US6252632B1 (en) | 1997-01-17 | 2001-06-26 | Fox Sports Productions, Inc. | System for enhancing a video presentation |
US5953077A (en) | 1997-01-17 | 1999-09-14 | Fox Sports Productions, Inc. | System for displaying an object that is not visible to a camera |
JP3481430B2 (ja) * | 1997-09-11 | 2003-12-22 | 富士通株式会社 | 移動体追跡装置 |
US6373530B1 (en) * | 1998-07-31 | 2002-04-16 | Sarnoff Corporation | Logo insertion based on constrained encoding |
US6157396A (en) * | 1999-02-16 | 2000-12-05 | Pixonics Llc | System and method for using bitstream information to process images for use in digital display systems |
US6266100B1 (en) | 1998-09-04 | 2001-07-24 | Sportvision, Inc. | System for enhancing a video presentation of a live event |
US6229550B1 (en) | 1998-09-04 | 2001-05-08 | Sportvision, Inc. | Blending a graphic |
KR20000044739A (ko) * | 1998-12-30 | 2000-07-15 | 전주범 | 디지털 티브이의 화면 확대 장치 |
US6578203B1 (en) | 1999-03-08 | 2003-06-10 | Tazwell L. Anderson, Jr. | Audio/video signal distribution system for head mounted displays |
US6381362B1 (en) * | 1999-04-08 | 2002-04-30 | Tata America International Corporation | Method and apparatus for including virtual ads in video presentations |
US20020057364A1 (en) | 1999-05-28 | 2002-05-16 | Anderson Tazwell L. | Electronic handheld audio/video receiver and listening/viewing device |
US7210160B2 (en) | 1999-05-28 | 2007-04-24 | Immersion Entertainment, L.L.C. | Audio/video programming and charging system and method |
US7996878B1 (en) * | 1999-08-31 | 2011-08-09 | At&T Intellectual Property Ii, L.P. | System and method for generating coded video sequences from still media |
US7075556B1 (en) * | 1999-10-21 | 2006-07-11 | Sportvision, Inc. | Telestrator system |
US7230653B1 (en) | 1999-11-08 | 2007-06-12 | Vistas Unlimited | Method and apparatus for real time insertion of images into video |
US6993245B1 (en) | 1999-11-18 | 2006-01-31 | Vulcan Patents Llc | Iterative, maximally probable, batch-mode commercial detection for audiovisual content |
US6965397B1 (en) | 1999-11-22 | 2005-11-15 | Sportvision, Inc. | Measuring camera attitude |
US6909438B1 (en) | 2000-02-04 | 2005-06-21 | Sportvision, Inc. | Video compositor |
US6968565B1 (en) | 2000-02-25 | 2005-11-22 | Vulcan Patents Llc | Detection of content display observers with prevention of unauthorized access to identification signal |
AU2001249994A1 (en) | 2000-02-25 | 2001-09-03 | Interval Research Corporation | Method and system for selecting advertisements |
US8910199B2 (en) | 2000-02-25 | 2014-12-09 | Interval Licensing Llc | Targeted television content display |
US7630721B2 (en) | 2000-06-27 | 2009-12-08 | Ortiz & Associates Consulting, Llc | Systems, methods and apparatuses for brokering data between wireless devices and data rendering devices |
US7796162B2 (en) * | 2000-10-26 | 2010-09-14 | Front Row Technologies, Llc | Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers |
US7782363B2 (en) | 2000-06-27 | 2010-08-24 | Front Row Technologies, Llc | Providing multiple video perspectives of activities through a data network to a remote multimedia server for selective display by remote viewing audiences |
US8583027B2 (en) | 2000-10-26 | 2013-11-12 | Front Row Technologies, Llc | Methods and systems for authorizing computing devices for receipt of venue-based data based on the location of a user |
US7149549B1 (en) * | 2000-10-26 | 2006-12-12 | Ortiz Luis M | Providing multiple perspectives for a venue activity through an electronic hand held device |
US7812856B2 (en) * | 2000-10-26 | 2010-10-12 | Front Row Technologies, Llc | Providing multiple perspectives of a venue activity to electronic wireless hand held devices |
US6816185B2 (en) * | 2000-12-29 | 2004-11-09 | Miki Harmath | System and method for judging boundary lines |
US20020149698A1 (en) * | 2001-04-17 | 2002-10-17 | Bowden Raymond E. | Scoreboard tied to players |
US7224403B2 (en) * | 2001-04-17 | 2007-05-29 | Bowden Raymond E | Televised scoreboard or statistics presentation with colors corresponding to players' uniforms |
US7206434B2 (en) | 2001-07-10 | 2007-04-17 | Vistas Unlimited, Inc. | Method and system for measurement of the duration an area is included in an image stream |
US7085323B2 (en) * | 2002-04-03 | 2006-08-01 | Stmicroelectronics, Inc. | Enhanced resolution video construction method and apparatus |
WO2004034617A1 (en) | 2002-10-07 | 2004-04-22 | Immersion Entertainment, Llc | System and method for providing event spectators with audio/video signals pertaining to remote events |
FR2857131A1 (fr) * | 2003-07-01 | 2005-01-07 | Thomson Licensing Sa | Procede de recalage automatique d'un modele geometrique d'une scene sur une image de la scene, dispositif de mise en oeuvre et support de programmation. |
US7116342B2 (en) * | 2003-07-03 | 2006-10-03 | Sportsmedia Technology Corporation | System and method for inserting content into an image sequence |
US7593687B2 (en) | 2003-10-07 | 2009-09-22 | Immersion Entertainment, Llc | System and method for providing event spectators with audio/video signals pertaining to remote events |
US20050216299A1 (en) * | 2004-03-12 | 2005-09-29 | Anderson Tazwell L Jr | Methods and systems for acquiring rights to content for transmission at an event |
US20050280705A1 (en) * | 2004-05-20 | 2005-12-22 | Immersion Entertainment | Portable receiver device |
JP2006010508A (ja) * | 2004-06-25 | 2006-01-12 | Konica Minolta Sensing Inc | マルチアングル測色計 |
JP4367264B2 (ja) * | 2004-07-12 | 2009-11-18 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法、および、画像処理プログラム |
SG119229A1 (en) * | 2004-07-30 | 2006-02-28 | Agency Science Tech & Res | Method and apparatus for insertion of additional content into video |
US7454038B1 (en) * | 2004-11-18 | 2008-11-18 | Adobe Systems Incorporated | Using directional weighting functions while computing optical flow through belief propagation |
JP4839226B2 (ja) * | 2005-01-24 | 2011-12-21 | パナソニック株式会社 | シーン区間分割装置 |
US7680301B2 (en) * | 2005-06-30 | 2010-03-16 | Sportvision, Inc. | Measurements using a single image |
EP2463820A3 (en) | 2005-07-22 | 2012-09-12 | Kangaroo Media, Inc. | System and methods for enhancing the experience of spectators attending a live sporting event |
IL170320A (en) * | 2005-08-17 | 2010-04-29 | Orad Hi Tec Systems Ltd | System and method for managing the visual effects insertion in a video stream |
WO2008010203A2 (en) * | 2006-07-16 | 2008-01-24 | Seambi Ltd. | System and method for virtual content placement |
US8413182B2 (en) | 2006-08-04 | 2013-04-02 | Aol Inc. | Mechanism for rendering advertising objects into featured content |
US7885480B2 (en) * | 2006-10-31 | 2011-02-08 | Mitutoyo Corporation | Correlation peak finding method for image correlation displacement sensing |
US20080103997A1 (en) * | 2006-10-31 | 2008-05-01 | Gene Fein | Archival learning and future performance projection |
JP5162928B2 (ja) * | 2007-03-12 | 2013-03-13 | ソニー株式会社 | 画像処理装置、画像処理方法、画像処理システム |
JP4985155B2 (ja) * | 2007-07-03 | 2012-07-25 | 株式会社ニコン | 焦点調節装置および撮像装置 |
JP4872834B2 (ja) | 2007-07-04 | 2012-02-08 | 株式会社ニコン | 画像認識装置、焦点調節装置および撮像装置 |
US20090052532A1 (en) * | 2007-08-24 | 2009-02-26 | Simon Robinson | Automatically identifying edges of moving objects |
US8218811B2 (en) | 2007-09-28 | 2012-07-10 | Uti Limited Partnership | Method and system for video interaction based on motion swarms |
US20090148127A1 (en) * | 2007-12-07 | 2009-06-11 | Digital All-Star, Llc | System and method for generating a media product |
US8477246B2 (en) * | 2008-07-11 | 2013-07-02 | The Board Of Trustees Of The Leland Stanford Junior University | Systems, methods and devices for augmenting video content |
US8786596B2 (en) * | 2008-07-23 | 2014-07-22 | Disney Enterprises, Inc. | View point representation for 3-D scenes |
US20100058381A1 (en) * | 2008-09-04 | 2010-03-04 | At&T Labs, Inc. | Methods and Apparatus for Dynamic Construction of Personalized Content |
US20110141359A1 (en) * | 2009-06-11 | 2011-06-16 | Pvi Virtual Media Services, Llc | In-Program Trigger of Video Content |
US8436891B2 (en) * | 2009-09-16 | 2013-05-07 | Disney Enterprises, Inc. | Hyperlinked 3D video inserts for interactive television |
US8922718B2 (en) * | 2009-10-21 | 2014-12-30 | Disney Enterprises, Inc. | Key generation through spatial detection of dynamic objects |
US10375287B2 (en) * | 2009-10-21 | 2019-08-06 | Disney Enterprises, Inc. | Object trail-based analysis and control of video |
US9667887B2 (en) * | 2009-11-21 | 2017-05-30 | Disney Enterprises, Inc. | Lens distortion method for broadcast video |
US8786415B2 (en) | 2010-02-24 | 2014-07-22 | Sportvision, Inc. | Tracking system using proximity and/or presence |
US9007463B2 (en) | 2010-12-22 | 2015-04-14 | Sportsvision, Inc. | Video tracking of baseball players which identifies merged participants based on participant roles |
US8659663B2 (en) | 2010-12-22 | 2014-02-25 | Sportvision, Inc. | Video tracking of baseball players to determine the start and end of a half-inning |
US9215383B2 (en) | 2011-08-05 | 2015-12-15 | Sportsvision, Inc. | System for enhancing video from a mobile camera |
CA2870480A1 (en) | 2012-04-13 | 2013-10-17 | Lightcraft Technology Llc | Hybrid precision tracking |
US9514381B1 (en) | 2013-03-15 | 2016-12-06 | Pandoodle Corporation | Method of identifying and replacing an object or area in a digital image with another object or area |
JP6735592B2 (ja) * | 2016-04-08 | 2020-08-05 | キヤノン株式会社 | 画像処理装置及びその制御方法、画像処理システム |
US10290119B2 (en) | 2016-09-15 | 2019-05-14 | Sportsmedia Technology Corporation | Multi view camera registration |
EP3396964B1 (en) | 2017-04-25 | 2020-07-22 | Accenture Global Solutions Ltd | Dynamic content placement in a still image or a video |
EP3396963B1 (en) | 2017-04-25 | 2021-04-07 | Accenture Global Solutions Limited | Dynamic media content rendering |
IT201700058961A1 (it) * | 2017-05-30 | 2018-11-30 | Artglass S R L | Metodo e sistema di fruizione di un contenuto editoriale in un sito preferibilmente culturale o artistico o paesaggistico o naturalistico o fieristico o espositivo |
EP3528196A1 (en) | 2018-02-16 | 2019-08-21 | Accenture Global Solutions Limited | Dynamic content generation |
EP3672256A1 (en) * | 2018-12-20 | 2020-06-24 | Accenture Global Solutions Limited | Dynamic media placement in video feed |
EP3997966A1 (en) * | 2019-07-09 | 2022-05-18 | Varex Imaging Corporation | Electron gun driver |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4084184A (en) * | 1976-07-26 | 1978-04-11 | Crain David W | Tv object locator and image identifier |
US5001560A (en) * | 1987-01-07 | 1991-03-19 | Pictel Corporation | Method and apparatus employing adaptive filtering for efficiently communicating image sequences |
FR2661061B1 (fr) * | 1990-04-11 | 1992-08-07 | Multi Media Tech | Procede et dispositif de modification de zone d'images. |
EP0595808B1 (en) * | 1991-07-19 | 1999-06-23 | Princeton Video Image, Inc. | Television displays having selected inserted indicia |
GB9119964D0 (en) * | 1991-09-18 | 1991-10-30 | Sarnoff David Res Center | Pattern-key video insertion |
-
1995
- 1995-12-29 US US08/580,892 patent/US5808695A/en not_active Expired - Lifetime
-
1996
- 1996-06-12 EP EP96919384A patent/EP0842485A1/en not_active Withdrawn
- 1996-06-12 BR BR9610777-4A patent/BR9610777A/pt unknown
- 1996-06-12 JP JP9503298A patent/JPH11508099A/ja active Pending
- 1996-06-12 WO PCT/US1996/010164 patent/WO1997000494A1/en not_active Application Discontinuation
- 1996-06-12 AU AU61734/96A patent/AU6173496A/en not_active Abandoned
- 1996-06-14 AR AR10317796A patent/AR002498A1/es unknown
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11512263A (ja) * | 1995-09-08 | 1999-10-19 | オラド ハイ−テック システムズ リミテッド | ビデオ画像におけるビルボードの自動電子式置換方法および装置 |
KR101309800B1 (ko) * | 2007-01-24 | 2013-10-14 | 삼성전자주식회사 | 영상 향상방법 및 이를 적용한 촬영장치 |
Also Published As
Publication number | Publication date |
---|---|
AU6173496A (en) | 1997-01-15 |
EP0842485A1 (en) | 1998-05-20 |
AR002498A1 (es) | 1998-03-25 |
US5808695A (en) | 1998-09-15 |
WO1997000494A1 (en) | 1997-01-03 |
MX9710192A (es) | 1998-10-31 |
BR9610777A (pt) | 2002-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH11508099A (ja) | 生映像挿入システムに対するシーンの動き追跡方法 | |
JP3496680B2 (ja) | ビデオイメージ中の複数の追跡基準領域から推定された目標領域の場所の安定的推定法 | |
US5892554A (en) | System and method for inserting static and dynamic images into a live video broadcast | |
KR100271384B1 (ko) | 패턴 키 삽입 기법을 이용하는 비디오 합성방법 및 장치 | |
EP0683961B1 (en) | Apparatus and method for detecting, identifying and incorporating advertisements in a video | |
EP0848884B1 (en) | Method and apparatus for automatic electronic replacement of billboards in a video image | |
US6741725B2 (en) | Motion tracking using image-texture templates | |
US5903317A (en) | Apparatus and method for detecting, identifying and incorporating advertisements in a video | |
US6100925A (en) | Image insertion in video streams using a combination of physical sensors and pattern recognition | |
JP4641566B2 (ja) | 物理的なセンサーおよびパターン認識の結合を用いたビデオストリームへの画像挿入 | |
US9756277B2 (en) | System for filming a video movie | |
Thomas | Real-time camera tracking using sports pitch markings | |
JP2015521419A (ja) | コンピュータ生成された3次元オブジェクトとフィルムカメラからの映像フィードとをリアルタイムに混合または合成するシステム | |
EP0941614A1 (en) | Motion tracking using image-texture templates | |
JP2009505553A (ja) | ビデオストリームへの視覚効果の挿入を管理するためのシステムおよび方法 | |
WO1997000581A1 (en) | System and method for inserting static and dynamic images into a live video broadcast | |
GB2305051A (en) | Automatic electronic replacement of billboards in a video image | |
Thomas | Real-time camera pose estimation for augmenting sports scenes | |
Dawes et al. | Image-based camera tracking for athletics | |
MXPA97010192A (en) | Method for tracking movement of scenes parasystems of video insertion in "vi | |
CN117616760A (zh) | 图像生成 | |
Baguley | Stereo Tracking of Objects with respect to a Ground Plane | |
WO2005109339A1 (en) | Creating an output image | |
JPH08511392A (ja) | 映像内における広告の検出、識別および編入のための装置および方法 | |
MXPA97010191A (en) | System and method for inserting static and dynamic images in a v devide transmission |