JP4533037B2 - オフサイドライン検出装置及びそのプログラム - Google Patents
オフサイドライン検出装置及びそのプログラム Download PDFInfo
- Publication number
- JP4533037B2 JP4533037B2 JP2004230784A JP2004230784A JP4533037B2 JP 4533037 B2 JP4533037 B2 JP 4533037B2 JP 2004230784 A JP2004230784 A JP 2004230784A JP 2004230784 A JP2004230784 A JP 2004230784A JP 4533037 B2 JP4533037 B2 JP 4533037B2
- Authority
- JP
- Japan
- Prior art keywords
- player
- dimensional
- area
- coordinates
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
さらに、スポーツ競技者に電磁読み取り用のタグを取り付けることで、スポーツ競技者(選手)の位置を検出し、その位置によって、サーカー競技のオフサイドライン等を可視化する技術が開示されている(特許文献1、特許文献2参照)。
すなわち、従来のスポーツ映像用CG合成技術では、例えば、サッカー競技のオフサイドラインのように、実時間で変化する物理量を映像に重畳することができないという問題がある。
そして、オフサイドライン検出装置は、色統計量測定手段によって、2次元選手領域設定手段で設定された2次元選手領域と、シルエット映像内の選手領域との共通する領域内で、入力映像の色の統計量を測定する。このように、色の統計量を、2次元選手領域と、シルエット映像内の選手領域との共通する領域内で測定することで、シルエットとして重なっている選手であっても、別々の選手として色の統計量を測定することが可能になる。
そして、オフサイドライン検出装置は、オフサイドライン位置出力手段によって、分類手段で分類された選手毎のチームと、3次元選手座標推定手段で推定された3次元推定選手座標とに基づいて、オフサイドラインの位置を特定して出力する。
このとき、オフサイドライン位置出力手段は、現在注目しているチーム側のゴールキーパが分類手段で分類されていない場合、分類手段で分類されている当該チームの非ゴールキーパの位置の中で、当該チームのゴールラインに最も近い位置をオフサイドラインの位置として特定し、現在注目しているチーム側のゴールキーパが分類手段で分類されている場合、分類手段で分類されている当該チームの非ゴールキーパの位置及び当該ゴールキーパの位置の中で、当該チームのゴールラインに2番目に近い位置をオフサイドラインの位置として特定する。
そして、オフサイドライン検出装置は、可変面積判定手段によって、面積閾値生成手段で生成された閾値に基づいて、シルエット映像における選手領域が、選手の領域として有効かどうかを判定する。これによって、選手領域の中で有効な領域を精度よく抽出することができる。
そして、オフサイドライン検出装置は、オフサイドライン位置出力手段によって、分類手段で審判が分類されている場合、審判の中でゴールラインに最も近い位置が、ゴールキーパの分類の有無によって特定したオフサイドラインの位置よりも、予め定めた閾値を超えてゴールラインに近いときは、審判の位置の中でゴールラインに最も近い位置をオフサイドラインの位置として特定する。
そして、オフサイドライン検出装置は、3次元オブジェクト座標推定手段によって、シルエット映像におけるオブジェクト領域の大きさに基づいて当該オブジェクトを人物又はボールと判定しつつ、オブジェクト領域の位置(例えば、重心位置)と、カメラが設置された位置及び撮影時の焦点距離とに基づいて、オブジェクト領域の位置を3次元座標上で追跡することで、前記人物又はボールの位置を推定する。
さらに、オフサイドライン検出装置は、2次元人物領域設定手段によって、3次元オブジェクト座標推定手段で推定された人物の3次元推定選手座標を、カメラの位置及び焦点距離に基づいて投影変換することで、2次元座標に変換し、予め定めた人物の大きさにより、入力映像内における、人物が存在する2次元人物領域、例えば、矩形領域を設定する。そして、オフサイドライン検出装置は、色統計量測定手段によって、2次元人物領域設定手段で設定された2次元人物領域と、シルエット映像内のオブジェクト領域との共通する領域内で、入力映像の色の統計量を測定する。
そして、オフサイドライン検出装置は、オフサイドライン位置出力手段によって、入力映像における個々の人物(選手、審判)の3次元推定人物座標及びその選手が属するチームと、ボールの位置座標とに基づいて、オフサイドラインの位置を特定することができる。
このとき、オフサイドライン位置出力手段は、現在注目しているチーム側のゴールキーパが分類手段で分類されていない場合、分類手段で分類されている当該チームの非ゴールキーパの位置の中で、当該チームのゴールラインに最も近い位置を前記オフサイドラインの位置として特定し、現在注目しているチーム側のゴールキーパが分類手段で分類されている場合、分類手段で分類されている当該チームの非ゴールキーパの位置及び当該ゴールキーパの位置の中で、当該チームのゴールラインに2番目に近い位置をオフサイドラインの位置として特定する。
さらに、オフサイドライン位置出力手段は、分類手段で審判が分類されている場合、審判の中でゴールラインに最も近い位置が、ゴールキーパの分類の有無によって特定したオフサイドラインの位置よりも、予め定めた閾値を超えてゴールラインに近いときは、審判の位置の中でゴールラインに最も近い位置をオフサイドラインの位置として特定する。
また、さらに、オフサイドライン位置出力手段は、3次元オブジェクト座標推定手段によって3次元推定ボール座標としてボールが検出されている場合、ボールの位置が、さきに特定したオフサイドラインの位置よりも、ゴールラインに近いときは、ボールの位置をオフサイドラインの位置として特定する。
そして、オフサイドライン検出プログラムは、3次元選手座標推定手段によって、シルエット映像における選手領域の位置(例えば、重心位置)と、カメラの位置及び焦点距離とに基づいて、選手領域の位置を3次元座標上で追跡することで、前記選手の位置を推定する。
さらに、オフサイドライン検出プログラムは、2次元選手領域設定手段によって、3次元選手座標推定手段で算出された選手領域毎の3次元推定選手座標と、カメラの位置及び焦点距離と、予め定めた選手の大きさとに基づいて、入力映像内に選手が存在する2次元選手領域を設定する。
そして、オフサイドライン検出プログラムは、分類手段によって、少なくともチーム毎のゴールキーパの服色に基づく色の統計量と非ゴールキーパの服色に基づく色の統計量とを記憶した色統計量記憶手段に記憶されている色の統計量と、色統計量測定ステップにおいて測定された色の統計量とに基づいて、選手をチーム毎のゴールキーパと非ゴールキーパとに分類する。
また、オフサイドライン検出プログラムは、オフサイドライン位置出力手段によって、分類手段で分類された選手毎のチームと、3次元選手座標推定手段で推定された3次元推定選手座標とに基づいて、オフサイドラインの位置を特定する。
このとき、オフサイドライン検出プログラムは、現在注目しているチーム側のゴールキーパが分類手段で分類されていない場合、分類手段で分類されている当該チームの非ゴールキーパの位置の中で、当該チームのゴールラインに最も近い位置をオフサイドラインの位置として特定し、現在注目しているチーム側のゴールキーパが分類手段で分類されている場合、分類手段で分類されている当該チームの非ゴールキーパの位置及び当該ゴールキーパの位置の中で、当該チームのゴールラインに2番目に近い位置をオフサイドラインの位置として特定する。
[オフサイドライン検出装置の概要]
まず、図1を参照して、本発明に係るオフサイドライン検出装置の概要について説明する。図1は、サッカー競技のルールに規定されたオフサイドラインを検出するオフサイドライン検出装置の概要を説明するための説明図である。
図1に示すように、オフサイドライン検出装置1は、サッカー競技場Fを撮影するカメラCから出力される映像と、そのカメラCが設置された位置及び撮影時の焦点距離とに基づいて、オフサイドラインの位置を検出するものである。ここで、オフサイドラインとは、ハーフウェイラインHLとゴールラインGLとの間において、ゴールキーパを含む守備側の後方から2人目の選手を通る、ゴールラインGLに平行なラインである。
ここでは、オフサイドライン検出装置1は、サッカー競技場FにおけるタッチラインTL方向をx(xW)軸、ハーフウェイラインHL方向をy(yW)軸、天頂方向をz(zW)軸とするワールド座標系(xW,yW,zW)としたときのオフサイドラインの位置、すなわち、x座標を出力する。
[オフサイドライン検出装置の構成]
次に、図2を参照して、本発明の第一の実施の形態に係るオフサイドライン検出装置の構成について説明する。図2は、本発明の第一の実施の形態に係るオフサイドライン検出装置の構成を示したブロック図である。
図2に示すように、オフサイドライン検出装置1は、サッカー競技を撮影した映像(入力映像)から、チーム毎の選手の位置を検出することで、オフサイドラインの位置(座標)を検出するものである。ここでは、オフサイドライン検出装置1は、選手位置検出手段10と、オフサイドライン位置出力手段20とを備えて構成している。
これによって、図4に示した、選手とは関係のない領域Hの領域情報は、出力されないことになる。
この検出・追跡手段12dでは、選手領域毎の3次元選手座標と3次元予測選手座標との距離を、全ての組み合わせで算出し、3次元予測選手座標との距離が最も近い3次元選手座標の選手領域を、3次元予測選手座標と同じ選手の領域であると判定し、同一の識別番号を付与する。
すなわち、検出・追跡手段12dは、まず、遅延手段12fで遅延された識別番号iの選手領域の3次元予測選手座標piに最も近い3次元選手座標wm(wx,wy,wz)のラベル番号k(i)を、以下の(4)式により求める。なお、Mfは、面積判定手段12bで条件を満たした(フィルタリングされた)領域情報のラベル番号mの集合である。
まず、予測・推定手段12eに、時刻j0において、初めて3次元選手座標wj0が入力されたとする。このとき、予測・推定手段12eは、以下の(11)式によって、xj0|j0-1を設定する。
なお、前記(7)式乃至(9)式において、観測行列H、状態遷移行列F、プロセス雑音共分散行列Q及び観測雑音共分散行列Rは、以下の(13)式乃至(16)式とする。
このように、予測・推定手段12eをカルマンフィルタで構成することで、選手を滑らかに追跡することが可能になる。
図2のオフサイドライン検出装置1の構成について、説明を続ける。
この2次元選手領域設定手段13は、ワールド座標系における3次元座標(3次元選手座標)を基準とした選手の領域を、入力映像内の2次元座標の領域(2次元選手領域)に変換するものである。なお、2次元選手領域設定手段13は、3次元選手座標を基準とした一人一人の選手の領域を円柱近似し、その円柱を2次元座標に投影し、その投影された領域を含む矩形領域(以下、バウンディングボックスという)を選手の2次元選手領域として設定する。ここで設定された2次元選手領域(バウンディングボックス)は、識別番号とともに色統計量測定手段14に出力される。
このとき、ワールド座標系における3次元選手座標wを2次元座標に変換する透視投影式T(w)は、以下の(17)式で表すことができる。
色統計量測定手段14は、2次元選手領域設定手段13で設定されたバウンディングボックス(2次元選手領域)と、シルエット映像生成手段11で生成されたシルエット映像の選手領域(例えば、画素値「1」の領域)との共通する領域内で、入力映像の色の統計量を測定するものである。ここで、測定された色の統計量は、識別番号とともに分類手段16に出力される。
なお、色の統計量としては、例えば、色ベクトルを領域内で平均化した平均色ベクトルを用いることができる。すなわち、バウンディングボックスとシルエット映像の選手領域(画素値「1」)との共通する領域をEとし、(x,y)座標における色ベクトルをI(x,y)とすると、平均色ベクトルμは、(26)式で求めることができる。
図2に戻って説明を続ける。
例えば、色統計量測定手段14で測定された色の統計量をμ、色統計量記憶手段15に記憶されている色の統計量である平均色ベクトル及び色共分散行列を(μn,Σn)(n
=1,2,…)とすると、統計量の距離Cは、(27)式に示すように、マハラノビス距離を用いて算出することができる。
以上説明したように、選手位置検出手段10は、入力映像から、個々の選手の3次元座標(3次元推定選手座標)と、その選手のオブジェクト種別とを認識し、出力することができる。
ここでは、この選手位置検出手段10に、オフサイドライン位置出力手段20を付加することで、選手の位置に基づいて、オフサイドラインの位置を検出するオフサイドライン検出装置1を構成している。
例えば、オフサイドライン位置出力手段20は、3次元推定選手座標の中で、サッカー競技におけるホームチーム又はアウェイチームの注目するチームの、守備側の後方から数えて2番目の選手の位置を探索する。
また、アウェイチームに注目する場合、オフサイドライン位置出力手段20は、オブジェクト種別(オブジェクトの識別子)がゴールキーパ以外のアウェイチームの選手を示す“3(アウェイ側非ゴールキーパ選手)”、又は、アウェイチームのゴールキーパを示す“4(アウェイ側ゴールキーパ)”(図6参照)に分類されている識別番号の選手のみに注目し、守備側の後方から数えて2番目の選手の位置を探索する。
なお、選手の3次元座標(3次元推定選手座標)で、守備側の後方からの人数を求めるには、3次元座標のタッチライン方向成分(x座標)の大小を判定することで行う。すなわち、ゴールがx軸正方向にある場合、x座標が2番目に大きい位置を探索する。逆に、ゴールがx軸負方向にある場合、x座標が2番目に小さい位置を探索する。オフサイドラインの基準となるタッチラインに対する位置(座標)が特定されることになる。
なお、座標探索手段22aは、座標特定手段22bから要求のあった段階で、該当する座標を全検索するのではなく、座標記憶手段21に、例えば、1フレーム分のデータ(3次元推定選手座標及びオブジェクト種別)が記憶された段階で、データをオブジェクト種別毎に、特定座標成分(例えば、x座標)の大きさの昇順又は降順に配列し直す座標ソート手段として機能させることとしてもよい。これによって、例えば、図9に示した座標記憶手段21の内容は、図10の(a)〜(e)に示すように、オブジェクトの種別毎に、x座標の大きさの順番(ここでは、降順)で配列したデータ構造となる。
なお、オフサイドライン位置出力手段20は、図8に示すように、フィルタ手段23を付加して、オフサイドライン位置出力手段202として構成してもよい。
例えば、フィルタ手段23は、以下に示す種々の判定条件を設けて、入力されたデータが妥当であるかどうかを判定する。
一般に、サッカー競技において、線審は、オフサイドラインの近傍に位置している。すなわち、審判のうちでオフサイドラインの推定に有効な審判は、線審であるといえる。そこで、フィルタ手段23は、入力されたオブジェクト種別cが、審判を示す“5”(図6参照)である場合に限り、その審判が所定の範囲以外に存在する場合(例えば、以下の(28)式で示したように、y座標が33メートル未満又は35メートルを超える場合)は、当該審判を線審ではないと判定し、入力されたデータを破棄する(座標記憶手段21に記憶しない)。
また、一般に、ゴールキーパは、ゴールライン付近に存在することが多い。そこで、フィルタ手段24は、入力されたオブジェクト種別cが、ゴールキーパを示す“2”又は“4”(図6参照)である場合に限り、そのゴールキーパがゴールラインから所定距離より離れた位置に存在する場合(例えば、以下の(29)式で示したように、各ゴールキーパのx座標が自ゴールから30mを超える場合)は、当該ゴールキーパの座標は誤りであると判定し、入力されたデータを破棄する(座標記憶手段21に記憶しない)。
以上説明したように、オフサイドライン検出装置1は、サッカー競技を撮影した映像(入力映像)から、チーム毎の選手や、審判の位置を検出することで、オフサイドラインの座標を検出することができる。このように検出されたオフサイドラインの座標は、ワールド座標系における座標であるため、従来のCG合成技術によって、サーカー競技のオフサイドラインを画面上に可視化することが可能になる。
また、ここでは、面積判定手段12bは、予め定めた2次元座標上の選手の大きさに相当する領域情報のみを出力するものとして構成したが、面積判定手段12bの代わりに、映像上に出現する3次元座標上の選手の大きさに適応させて、判定するための面積を変化させる適応面積判定手段を組み込むこととしてもよい。
なお、面積判定手段12bの代わりに適応面積判定手段17を用いる場合、逆投影変換手段12cを省略して、3次元座標変換手段17aの出力を再利用することとしてもよい。すなわち、可変面積判定手段17dは、3次元座標変換手段17aで出力される3次元座標の中で、Am∈[Amin,Amax]を満たす領域情報に対応する3次元座標を、ラベル番号とともに、3次元選手座標として、検出・追跡手段12dに出力する。
次に、図12を参照(適宜図2参照)して、オフサイドライン検出装置の動作について説明する。図12は、本発明の第一の実施の形態に係るオフサイドライン検出装置の動作を示すフローチャートである。なお、図12のフローチャートは、入力映像における1フレーム分の動作を示したものであって、逐次入力されるフレーム毎に、本動作が繰り返して実行される。
まず、オフサイドライン検出装置1は、シルエット映像生成手段11によって、入力されるフレーム毎に、そのフレームを選手領域と背景領域とに分割してシルエット映像を生成する(ステップS1)。ここでは、シルエット映像生成手段11は、選手領域を画素値「1」、背景領域を画素値「0」としてフレームを2値化する。
そして、オフサイドライン検出装置1は、ラベリング手段12aによって、シルエット映像の選手領域(画素値「1」の領域)に対して、ラベル番号を付与する(ステップS2)。なお、ラベリング手段12aでは、ラベリング処理実行時に、選手領域(単連結領域)の面積及び重心座標を算出しておく。
そして、オフサイドライン検出装置1は、面積判定手段12bによって、ラベル番号が付与された選手領域の中から、その選手領域の面積が、予め定めた選手の大きさに相当する面積の範囲内となる領域のみをフィルタリングする(ステップS3)。これによって、選手の大きさに相当しない領域を削除することができる。
そして、オフサイドライン検出装置1は、検出・追跡手段12dによって、ステップS4で算出された3次元選手座標と、後記するステップS9で1単位時間(1フレーム)前に遅延された3次元予測選手座標との距離を、全ての組み合わせで算出し(ステップS5)、その距離に基づいて、3次元選手座標に識別番号を付与する(ステップS6)。
これによって、検出・追跡手段12dは、同一の選手の領域(選手領域)を、追跡することができる。
そして、オフサイドライン検出装置1は、遅延手段12fによって、ステップS8で予測された3次元予測選手座標を、1単位時間遅延させる(ステップS9)。なお、ここで遅延された3次元予測選手座標は、1フレーム後の動作におけるステップS5において使用される。
また、オフサイドライン検出装置1は、2次元選手領域設定手段13によって、ステップS8で推定された3次元推定選手座標を、カメラの位置及び焦点距離と、予め定めた選手の大きさとに基づいて、入力映像内に選手が存在する2次元領域である2次元選手領域を設定する(ステップS10)。
そして、オフサイドライン検出装置1は、色統計量測定手段14によって、ステップS10で設定された2次元選手領域と、シルエット映像生成手段11で生成されたシルエット映像の選手領域との共通する領域内で、入力映像の色の統計量を測定する(ステップS11)。ここでは、例えば、色の統計量としては、色ベクトルを領域内で平均化した平均色ベクトルを用いる
さらに、オフサイドライン検出装置1は、分類手段16によって、ステップS11で測定された識別番号毎の色の統計量と、色統計量記憶手段15に記憶されている色の統計量とに基づいて、選手をチーム毎に分類する(ステップS12)。
これによって、分類手段16は、入力映像に映っている選手がどのオブジェクト種別に属しているかを分類することができ、サッカー競技のホームチーム側の選手、アウェイチーム側の選手の区別をつけることができる。
そして、オフサイドライン検出装置1は、オフサイドライン位置出力手段20によって、分類手段16で分類された選手毎のオブジェクト種別(所属チーム等)と、3次元選手座標推定手段12で推定された3次元推定選手座標とに基づいて、オフサイドラインの位置を推定して出力する(ステップS13)。
ここで、図13及び図14を参照(適宜図7参照)して、図12におけるステップS13の動作(オフサイドライン位置出力手段20の動作)について、具体的に説明する。図13は、ホームチームの選手(ゴールキーパ及び非ゴールキーパ選手)の位置に基づいて、オフサイドラインを推定する動作を示すフローチャートである。図14は、ホームチームの選手並びに審判の位置に基づいて、オフサイドラインを推定する動作を示すフローチャートである。なお、図13及び図14中、「max{…}」は、集合{…}の中で最大値を求める関数、「max2{…}」は、集合{…}の中で2番目に大きな値を求める関数とする。また、集合{…}の中に最大値を持つ要素が複数存在する場合は、max{…}=max2{…}=「集合{…}の中の最大値」とする。
また、ここでは、ステップS8において推定された3次元推定選手座標、及び、ステップS12において分類されたオブジェクト種別は、それぞれ、識別番号に対応付けられて、オフサイドライン位置出力手段20の座標記憶手段21に記憶されているものとする。
最初に、図13を参照(適宜図7参照)して、オフサイドライン位置出力手段20におけるホームチームの選手の位置に基づいて、オフサイドラインの位置を推定する動作について説明する。
まず、オフサイドライン位置出力手段20は、座標記憶手段21にホームチームのゴールキーパ(ホーム側ゴールキーパ)の座標が記憶されているかどうかを検索することで、ホーム側ゴールキーパの人数が“0”であるかどうかを判定する(ステップS20)。ここでは、オフサイドライン座標推定手段22の座標特定手段22bが、座標探索手段22aに対して、オブジェクト種別(ここでは、値“2” 〔ホーム側ゴールキーパ〕)を通知し、ホーム側ゴールキーパの座標の検索を指示する。そして、座標探索手段22aが、座標記憶手段21から、ホーム側ゴールキーパの座標を検索し、その結果を座標特定手段22bに通知する。すなわち、座標特定手段22bは、座標探索手段22aからの検索結果に基づいて、ホーム側ゴールキーパの人数が“0”であるかどうかを判定する。
そして、座標特定手段22bは、変数Xdの値をオフサイドライン位置(x座標)として出力する(ステップS24)。
次に、図14を参照(適宜図7参照)して、オフサイドライン位置出力手段20におけるホームチームの選手並びに審判の位置に基づいて、オフサイドラインの位置を推定する動作について説明する。
まず、オフサイドライン位置出力手段20は、ホーム側選手の位置に基づいて、オフサイドラインの位置を推定する(ステップSA1)。なお、このステップSA1は、図13で説明した、ステップS20〜ステップS23の動作と同じ動作であるため、説明を省略する。
そして、座標特定手段22bは、変数Xpの値をオフサイドライン位置(x座標)として出力する(ステップS35)。
このように、オフサイドライン位置出力手段20は、選手の位置だけでなく、審判の位置を加味することで、精度よくオフサイドラインの位置を推定することができる。
なお、ここでは、ホーム側のオフサイドラインの位置を推定しているが、x座標が小さいほど、アウェイ側のゴールラインに近づくため、座標の大小関係を逆にすることで、アウェイ側のオフサイドラインの位置を推定することも可能である。
[オフサイドライン検出装置の構成]
次に、図15を参照して、本発明の第二の実施の形態に係るオフサイドライン検出装置の構成について説明する。図15は、本発明の第二の実施の形態に係るオフサイドライン検出装置の構成を示したブロック図である。図15に示すように、オフサイドライン検出装置1Bは、オブジェクト位置検出手段10Bと、オフサイドライン位置出力手段20Bとを備えて構成している。
なお、面積判定手段12Bbは、ボールの領域の面積をS、周囲長をlとしたとき、以下の(31)式に示すような円形度eを算出し、より円形に近いもののみをボールの領域として選択することとしてもよい。
この予測・推定手段12Beで予測された3次元予測オブジェクト座標は、オブジェクトを特定する識別番号とともに遅延手段12fに出力される。また、予測・推定手段12Beは、人物・ボール判定情報に基づいて、3次元推定オブジェクト座標が選手の座標であるのかボールの座標であるのかを判定し、選手の座標である場合は、3次元推定オブジェクト座標を3次元推定選手座標として2次元選手領域設定手段13及びオフサイドライン位置出力手段20Bに出力し、ボールの座標である場合は、3次元推定オブジェクト座標を3次元推定ボール座標として、オフサイドライン位置出力手段20Bに出力する。
これによって、オブジェクト位置検出手段10Bは、入力映像から、選手(審判を含む)、ボールといったオブジェクトの3次元座標(3次元推定選手座標)を検出することができる。
なお、オフサイドライン位置出力手段20Bの詳細な構成については、図7及び図8で説明したオフサイドライン位置出力手段20と同様の構成とすることができる。ただし、オフサイドライン位置出力手段20Bの座標記憶手段21には、選手、審判の位置情報に加え、ボールの位置情報(3次元推定ボール座標)が記憶される。
さらに、オブジェクト座標推定手段22の座標探索手段22aが、座標記憶手段21に記憶されているデータをオブジェクト種別毎に、特定座標成分(例えば、x座標)の大きさの昇順又は降順に配列し直す座標ソート手段として機能させることも可能である。この場合、座標探索手段22aは、図14に示した各オブジェクト種別以外に、図16(b)に示すように、ボールのオブジェクト種別(ここでは“7”)の座標を、特定座標成分(例えば、x座標)の大きさの昇順又は降順に配列して、座標記憶手段21に記憶することとしてもよい。
次に、オフサイドライン検出装置1Bの動作について説明する。なお、オブジェクト位置検出手段10Bの動作については、図12で説明した選手位置検出動作に、ボールの検出を付加したことのみが異なっているため、全体の動作については説明を省略し、オフサイドライン位置出力手段20Bの動作について、具体的に説明する。
ここでは、図17を参照(適宜図7参照)して、オフサイドライン位置出力手段20Bの動作について説明する。図17は、オフサイドライン位置出力手段におけるホームチームの選手、審判及びボールの位置に基づいて、オフサイドラインの位置を推定する動作を示すフローチャートである。
そして、オフサイドライン位置出力手段20Bは、座標記憶手段21にボールの座標が記憶されているかどうかを検索することで、ボールの個数が“0”であるかどうかを判定する(ステップS40)。ここでは、オフサイドライン座標推定手段22の座標特定手段22bが、座標探索手段22aに対して、オブジェクト種別(ここでは、値“7”〔ボール〕)を通知し、ボールの座標の検索を指示する。そして、座標探索手段22aが、座標記憶手段21から、ボールの座標を検索し、その結果を座標特定手段22bに通知する。すなわち、座標特定手段22bは、座標探索手段22aからの検索結果に基づいて、ボールの個数が“0”であるかどうかを判定する。
ここで、ボールの位置のx座標(変数Xb)が、ステップSA2で推定したオフサイドライン位置のx座標よりも大きい場合(ステップS43でYes)、座標特定手段22bは、ボールの位置をオフサイドラインの位置と推定し、変数Xに変数Xbの値を代入する(ステップS44)。
一方、ボールの位置のx座標(変数Xb)が、ステップSA2で推定したオフサイドライン位置のx座標以下の場合(ステップS43でNo)、ステップS41の動作を実行する。
このように、オフサイドライン位置出力手段20Bは、選手及び審判の位置だけでなく、ボールの位置を加味することで、さらに精度よくオフサイドラインの位置を推定することができる。
なお、ここでは、ホーム側のオフサイドラインの位置を推定しているが、x座標が小さいほど、アウェイ側のゴールラインに近づくため、座標の大小関係を逆にすることで、アウェイ側のオフサイドラインの位置を推定することも可能である。
10 選手位置検出手段(選手位置検出装置)
10B オブジェクト位置検出手段
11 シルエット映像生成手段
12 3次元選手座標推定手段
12B 3次元オブジェクト座標推定手段
12a ラベリング手段
12b 面積判定手段
12c 逆投影変換手段
12d 検出・追跡手段
12e 予測・推定手段
12f 遅延手段
13 2次元選手領域設定手段
14 色統計量測定手段
15 色統計量記憶手段
16 分類手段
17 適応面積判定手段
17a 3次元座標変換手段
17b 2次元選手領域設定手段(第二の2次元選手領域設定手段)
17c 面積閾値生成手段
17d 可変面積判定手段
20、20B オフサイドライン位置出力手段
21 座標記憶手段
22 オフサイド座標推定手段
22a 座標探索手段
22b 座標特定手段
23 フィルタ手段
Claims (7)
- サッカー競技をカメラで撮影した入力映像から、オフサイドラインを検出するオフサイドライン検出装置であって、
前記入力映像から、時系列に選手領域と背景領域とに分割したシルエット映像を生成するシルエット映像生成手段と、
このシルエット映像生成手段で生成されたシルエット映像における前記選手領域の位置と、前記カメラが設置された位置及び撮影時の焦点距離とに基づいて、前記選手領域の位置を3次元座標上で追跡することで、前記選手の位置を3次元推定選手座標として推定する3次元選手座標推定手段と、
この3次元選手座標推定手段で推定された3次元推定選手座標と、前記カメラの位置及び焦点距離と、予め定めた選手の大きさとに基づいて、前記入力映像内における、前記選手が存在する2次元選手領域を設定する2次元選手領域設定手段と、
この2次元選手領域設定手段で設定された2次元選手領域と、前記シルエット映像内の前記選手領域との共通する領域内における、前記入力映像の色の統計量を測定する色統計量測定手段と、
チーム毎のゴールキーパの服色に基づく色の統計量と非ゴールキーパの服色に基づく色の統計量とを少なくとも記憶した色統計量記憶手段と、
この色統計量記憶手段に記憶されている色の統計量と、前記色統計量測定手段で測定された色の統計量とに基づいて、前記選手をチーム別に前記ゴールキーパと前記非ゴールキーパとに分類する分類手段と、
この分類手段で分類された選手毎のチームと、前記3次元選手座標推定手段で推定された3次元推定選手座標とに基づいて、前記オフサイドラインの位置を特定して出力するオフサイドライン位置出力手段と、を備え、
前記オフサイドライン位置出力手段は、
現在注目しているチーム側のゴールキーパが前記分類手段で分類されていない場合、前記分類手段で分類されている当該チームの非ゴールキーパの位置の中で、当該チームのゴールラインに最も近い位置を前記オフサイドラインの位置として特定し、
現在注目しているチーム側のゴールキーパが前記分類手段で分類されている場合、前記分類手段で分類されている当該チームの非ゴールキーパの位置及び当該ゴールキーパの位置の中で、当該チームのゴールラインに2番目に近い位置を前記オフサイドラインの位置として特定することを特徴とするオフサイドライン検出装置。 - 前記3次元選手座標推定手段は、
予め定めた前記選手の大きさに基づいて、前記シルエット映像における前記選手領域が、前記選手の領域として有効かどうかを判定する面積判定手段を備え、
この面積判定手段によって有効と判定された選手領域について、前記3次元推定選手座標を推定することを特徴とする請求項1に記載のオフサイドライン検出装置。 - 前記3次元選手座標推定手段は、
前記カメラの位置及び焦点距離に基づいて、前記シルエット映像における前記選手領域毎の2次元座標を3次元座標に変換する3次元座標変換手段と、
この3次元座標変換手段で変換された3次元座標と、前記カメラの位置及び焦点距離と、予め定めた選手の大きさとに基づいて、前記入力映像内における、前記選手が存在する2次元選手領域を設定する第二の2次元選手領域設定手段と、
この第二の2次元選手領域設定手段で設定された2次元選手領域の大きさに基づいて、前記選手領域が、前記選手の領域として有効かどうかを判定する閾値を生成する面積閾値生成手段と、
この面積閾値生成手段で生成された閾値に基づいて、前記シルエット映像における前記選手領域が、前記選手の領域として有効かどうかを判定する可変面積判定手段とを備え、
この可変面積判定手段によって有効と判定された選手領域について、前記3次元推定選手座標を推定することを特徴とする請求項1に記載のオフサイドライン検出装置。 - 前記3次元選手座標推定手段は、
1単位時間過去に予測された前記選手領域の3次元座標である3次元予測選手座標と、現在の前記選手領域の3次元座標である3次元選手座標との距離に基づいて、前記選手領域を前記選手毎に検出し、追跡する検出・追跡手段と、
この検出・追跡手段で検出し、追跡された前記選手毎の3次元選手座標を、時間方向に平滑化して、3次元推定選手座標とするとともに、1単位時間後の前記選手領域の3次元座標を前記3次元予測選手座標として予測する予測・推定手段と、
この予測・推定手段で予測された3次元予測選手座標を1単位時間遅延させる遅延手段と、
を備えていることを特徴とする請求項1乃至請求項3のいずれか一項に記載のオフサイドライン検出装置。 - 前記色統計量記憶手段に、審判の服色の統計量を記憶しておくことで、前記分類手段は、前記選手に加え、前記審判を分類の対象とし、
前記オフサイドライン位置出力手段は、
前記分類手段で審判が分類されている場合、前記審判の中で前記ゴールラインに最も近い位置が、前記特定したオフサイドラインの位置よりも、予め定めた閾値を超えて前記ゴールラインに近いときは、前記審判の位置の中でゴールラインに最も近い位置を前記オフサイドラインの位置として特定することを特徴とする請求項1乃至請求項4のいずれか一項に記載のオフサイドライン検出装置。 - サッカー競技をカメラで撮影した入力映像から、オフサイドラインを検出するオフサイドライン検出装置であって、
前記入力映像から、時系列にオブジェクト領域と背景領域とに分割したシルエット映像を生成するシルエット映像生成手段と、
このシルエット映像生成手段で生成されたシルエット映像における前記オブジェクト領域の大きさに基づいて当該オブジェクトを人物又はボールと判定しつつ、前記オブジェクト領域の位置及び大きさと、前記カメラが設置された位置及び撮影時の焦点距離とに基づいて、前記オブジェクト領域の位置を3次元座標上で追跡することで、前記人物及び前記ボールの位置を3次元推定人物座標及び3次元推定ボール座標として推定する3次元オブジェクト座標推定手段と、
この3次元オブジェクト座標推定手段で推定された3次元推定人物座標と、前記カメラの位置及び焦点距離と、予め定めた人物の大きさとに基づいて、前記入力映像内における、前記人物が存在する2次元選手領域を設定する2次元人物領域設定手段と、
この2次元人物領域設定手段で設定された2次元人物領域と、前記シルエット映像内の前記オブジェクト領域との共通する領域内における、前記入力映像の色の統計量を測定する色統計量測定手段と、
審判の服色に基づく色の統計量と、チーム毎のゴールキーパの服色に基づく色の統計量と非ゴールキーパの服色に基づく色の統計量とを少なくとも記憶した色統計量記憶手段と、
この色統計量記憶手段に記憶されている色の統計量と、前記色統計量測定手段で測定された色の統計量とに基づいて、前記人物を審判、並びに、チーム別の前記ゴールキーパと前記非ゴールキーパとに分類する分類手段と、
この分類手段で分類された選手毎のチームと、前記3次元推定人物座標及び3次元推定ボール座標とに基づいて、前記オフサイドラインの位置を特定して出力するオフサイドライン位置出力手段と、を備え、
前記オフサイドライン位置出力手段は、
現在注目しているチーム側のゴールキーパが前記分類手段で分類されていない場合、前記分類手段で分類されている当該チームの非ゴールキーパの位置の中で、当該チームのゴールラインに最も近い位置を前記オフサイドラインの位置として特定し、
現在注目しているチーム側のゴールキーパが前記分類手段で分類されている場合、前記分類手段で分類されている当該チームの非ゴールキーパの位置及び当該ゴールキーパの位置の中で、当該チームのゴールラインに2番目に近い位置を前記オフサイドラインの位置として特定し、
さらに、前記分類手段で審判が分類されている場合、前記審判の中で前記ゴールラインに最も近い位置が、前記特定したオフサイドラインの位置よりも、予め定めた閾値を超えて前記ゴールラインに近いときは、前記審判の位置の中でゴールラインに最も近い位置を前記オフサイドラインの位置として特定し、
また、さらに、前記3次元オブジェクト座標推定手段によって前記3次元推定ボール座標としてボールが検出されている場合、前記ボールの位置が、前記特定したオフサイドラインの位置よりも、前記ゴールラインに近いときは、前記ボールの位置を前記オフサイドラインの位置として特定することを特徴とするオフサイドライン検出装置。 - サッカー競技をカメラで撮影した入力映像から、オフサイドラインを検出するために、コンピュータを、
前記入力映像から、時系列に選手領域と背景領域とに分割したシルエット映像を生成するシルエット映像生成手段、
このシルエット映像生成手段で生成されたシルエット映像における前記選手領域の位置と、前記カメラが設置された位置及び撮影時の焦点距離とに基づいて、前記選手領域の位置を3次元座標上で追跡することで、前記選手の位置を3次元推定選手座標として推定する3次元選手座標推定手段、
この3次元選手座標推定手段で推定された3次元推定選手座標と、前記カメラの位置及び焦点距離と、予め定めた選手の大きさとに基づいて、前記入力映像内における、前記選手が存在する2次元選手領域を設定する2次元選手領域設定手段、
この2次元選手領域設定手段で設定された2次元選手領域と、前記シルエット映像内の前記選手領域との共通する領域内における、前記入力映像の色の統計量を測定する色統計量測定手段、
色統計量記憶手段に記憶されているチーム毎のゴールキーパの服色に基づく色の統計量と非ゴールキーパの服色に基づく色の統計量と、前記色統計量測定手段で測定された色の統計量とに基づいて、前記選手をチーム別の前記ゴールキーパと前記非ゴールキーパとに分類する分類手段、
この分類手段で分類された選手毎のチームと、前記3次元選手座標推定手段で推定された3次元推定選手座標とに基づいて、前記オフサイドラインの位置を特定して出力するオフサイドライン位置出力手段、として機能させ、
前記オフサイドライン位置出力手段は、
現在注目しているチーム側のゴールキーパが前記分類手段で分類されていない場合、前記分類手段で分類されている当該チームの非ゴールキーパの位置の中で、当該チームのゴールラインに最も近い位置を前記オフサイドラインの位置として特定し、
現在注目しているチーム側のゴールキーパが前記分類手段で分類されている場合、前記分類手段で分類されている当該チームの非ゴールキーパの位置及び当該ゴールキーパの位置の中で、当該チームのゴールラインに2番目に近い位置を前記オフサイドラインの位置として特定することを特徴とするオフサイドライン検出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004230784A JP4533037B2 (ja) | 2003-12-26 | 2004-08-06 | オフサイドライン検出装置及びそのプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003434735 | 2003-12-26 | ||
JP2004230784A JP4533037B2 (ja) | 2003-12-26 | 2004-08-06 | オフサイドライン検出装置及びそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005209148A JP2005209148A (ja) | 2005-08-04 |
JP4533037B2 true JP4533037B2 (ja) | 2010-08-25 |
Family
ID=34914343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004230784A Expired - Fee Related JP4533037B2 (ja) | 2003-12-26 | 2004-08-06 | オフサイドライン検出装置及びそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4533037B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4551245B2 (ja) * | 2005-03-03 | 2010-09-22 | 日本放送協会 | オンライン座標値修正装置およびオンライン座標値修正プログラム |
JP4764332B2 (ja) * | 2006-12-28 | 2011-08-31 | 日本放送協会 | パラメータ情報作成装置及びパラメータ情報作成プログラム、並びに、イベント検出装置及びイベント検出プログラム |
GB2452510A (en) * | 2007-09-05 | 2009-03-11 | Sony Corp | System For Communicating A Three Dimensional Representation Of A Sporting Event |
JP2010074776A (ja) * | 2008-09-22 | 2010-04-02 | Sony Corp | 表示制御装置、表示制御方法、およびプログラム |
KR101835818B1 (ko) * | 2011-12-19 | 2018-03-07 | 주식회사 엔씨소프트 | 방송 객체의 3d 모델링 데이터를 이용한 방송 시청 시점 다각화 시스템 및 그 방법 |
US20130322689A1 (en) * | 2012-05-16 | 2013-12-05 | Ubiquity Broadcasting Corporation | Intelligent Logo and Item Detection in Video |
CN110378178B (zh) * | 2018-09-30 | 2022-01-28 | 毫末智行科技有限公司 | 目标跟踪方法及装置 |
CN111340932A (zh) * | 2018-12-18 | 2020-06-26 | 富士通株式会社 | 图像处理方法以及信息处理设备 |
JP7427188B2 (ja) * | 2019-12-26 | 2024-02-05 | 国立大学法人 東京大学 | 3dポーズ取得方法及び装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001104533A (ja) * | 1999-10-05 | 2001-04-17 | Mitsubishi Electric Corp | オフサイド判定支援装置 |
JP2002224260A (ja) * | 2001-01-31 | 2002-08-13 | Nec Corp | オフサイド判定補助装置 |
JP2003008990A (ja) * | 2001-06-19 | 2003-01-10 | Nhk Engineering Services Inc | 映像補助効果生成装置および映像送信装置ならびに映像受信装置 |
JP2004221870A (ja) * | 2003-01-14 | 2004-08-05 | Gen Tec:Kk | プレーヤの動きを解析するための画像の編集方法等 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0756990A (ja) * | 1993-08-20 | 1995-03-03 | Csk Corp | スポーツ競技監視判定システム |
JP3631266B2 (ja) * | 1994-05-13 | 2005-03-23 | 株式会社応用計測研究所 | 移動物体の計測装置 |
-
2004
- 2004-08-06 JP JP2004230784A patent/JP4533037B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001104533A (ja) * | 1999-10-05 | 2001-04-17 | Mitsubishi Electric Corp | オフサイド判定支援装置 |
JP2002224260A (ja) * | 2001-01-31 | 2002-08-13 | Nec Corp | オフサイド判定補助装置 |
JP2003008990A (ja) * | 2001-06-19 | 2003-01-10 | Nhk Engineering Services Inc | 映像補助効果生成装置および映像送信装置ならびに映像受信装置 |
JP2004221870A (ja) * | 2003-01-14 | 2004-08-05 | Gen Tec:Kk | プレーヤの動きを解析するための画像の編集方法等 |
Also Published As
Publication number | Publication date |
---|---|
JP2005209148A (ja) | 2005-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11951373B2 (en) | Automated or assisted umpiring of baseball game using computer vision | |
JP6525453B2 (ja) | オブジェクト位置推定システム、及びそのプログラム | |
US6441846B1 (en) | Method and apparatus for deriving novel sports statistics from real time tracking of sporting events | |
JP6704606B2 (ja) | 判定システム、及び判定方法 | |
JP2009064445A (ja) | 画像処理装置及び方法 | |
CN109684919B (zh) | 一种基于机器视觉的羽毛球发球违例判别方法 | |
Ren et al. | Multi-camera video surveillance for real-time analysis and reconstruction of soccer games | |
JP4644022B2 (ja) | 映像解析装置および映像解析プログラム | |
US20220277463A1 (en) | Tracking dynamics using a computerized device | |
US11798318B2 (en) | Detection of kinetic events and mechanical variables from uncalibrated video | |
Shimizu et al. | Prediction of future shot direction using pose and position of tennis player | |
JP4533037B2 (ja) | オフサイドライン検出装置及びそのプログラム | |
JP2020030190A (ja) | 位置追跡システム、及び位置追跡方法 | |
JP2021135619A (ja) | 状況識別装置、状況学習装置及びプログラム | |
US10839532B2 (en) | Image processing method and information processing apparatus | |
KR101703316B1 (ko) | 영상을 기반으로 속도를 측정하는 방법 및 장치 | |
Leong et al. | Computer vision approach to automatic linesman | |
JP6760610B2 (ja) | 位置計測システム、及び位置計測方法 | |
Monier et al. | A computer vision based tracking system for indoor team sports | |
Yu | Automatic basketball tracking in broadcast basketball video | |
US20240020874A1 (en) | Device, computer program and method | |
Ren et al. | Real-time 3D soccer ball tracking from multiple cameras | |
Chakraborty et al. | Deep Learning-Based Prediction of Football Players’ Performance During Penalty Shootout | |
Poliakov et al. | Physics based 3D ball tracking for tennis videos | |
Lepetit et al. | Robust Data Association |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100223 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100423 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100518 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100611 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130618 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140618 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |