JP4695615B2 - 映像オブジェクトの軌跡画像合成装置およびそのプログラム - Google Patents

Description

本発明は、移動する被写体を撮影した映像に、被写体の軌跡を示す軌跡画像を合成する映像オブジェクトの軌跡画像合成装置およびそのプログラムに関する。

従来、ゴルフを始めとするスポーツ番組等において、カメラによって被写体を望遠で捉えながら撮影すると、被写体の全体的な動きが視聴者に伝わりにくい場合がある。例えば、ゴルフ中継番組で、ショートホール第一打のシーンでは一般にグリーン付近に設置されたカメラの映像が放送されるが、ゴルフボールは小さく、広角映像ではほとんど確認できないため、望遠でボールを追いかけながら撮影される。この望遠映像ではボールの部分的な動きは分かるものの、ボールが落下点までどのようなコースで飛んできたのか、どれくらいの高さまで上がったのかといった全体的なボール軌道を把握することは難しい。

そこで、昨今のスポーツ中継番組では、カメラのパン・チルト・ズームなどのカメラの姿勢情報を基にさまざまなバーチャル映像が製作されている。例えば、ゴルフ中継ではグリーン上でボールとカップ間の距離を表示したり、第一打の落下地点にバーチャルＣＧ（コンピュータ・グラフィックス）で距離線を引いたりして、カメラの映像だけでは伝わりにくい距離感を分かりやすくする工夫がなされている。
例えば、特許文献１においては、２台のカメラの位置、光軸方向、および画角値に基づき、三角測量の原理によって、飛行するボールの３次元位置座標を算出する手法が開示されている。

さらに、特許文献２においては、ゴルフコース内の複数箇所に設置された電波レーダを用いて、電波をゴルフボールに当てて、反射波のドップラー周波数および位相差からボールの飛行速度、距離を求め、三角測量の原理によって、ボールの３次元位置座標を算出する手法が開示されている。
また２台のカメラの位置、光軸方向および画角値から三角測量法的手法でボールの位置座標を計算し、飛行するボールの３次元位置をフレームごとに計測する装置（非特許文献１）などが存在する。
特開２００３−４２７１６号公報（段落００３２〜段落００３４、図３） 特開平８−２６６７０１号公報（段落００３９〜段落００４０、図３） 山内結子、加藤大一郎、野口英男、阿部一雄、榎並和雄、"飛翔体の軌跡表示システム「ショットビュー」〜ゴルフボールの３次元位置の可視化〜"、情報処理学会研究報告、Ｖｏｌ．１９９５、Ｎｏ．６３、ｐｐ３１−３６

ゴルフ中継は既存の撮影機材の範囲内で運用することが望ましい。すなわち、新たな機材やカメラマンを追加することなく運用しなければならない。一般にゴルフ中継では１ホールにつきバーチャルカメラ１台で運用されるため、２台のカメラが必要である特許文献１の装置は利用困難である。

また、１台のカメラで上空から静止するまでの連続して抽出できることが望ましいが、特許文献１および特許文献２の手法や、非特許文献１の装置では、ボールの落下中に背景とボール領域との輝度差が変化することや、着地する直前に地上付近で、ボールに画像特徴が近い前景領域が多数存在すること、などのために、ボールを誤抽出しやすいという問題があった。さらに、ショット直後は、ボール速度が静止している状態から当該ボールが上空に達する際の速度よりも速い初速度まで急激に変化するため、ボールの抽出が困難であること、着地後は、ボールのバウンドにより速度や移動方向の変化が予測困難であること、によってボールを見失いやすいという問題があった。

例えば、非特許文献１に記載の装置では、地上付近の背景が複雑で抽出が困難な打点、落下点、静止点の３点を手動で指定している。これら各点と上空の抽出点との間には被写体の抽出されていない空白区間が生じるが、スプライン曲線などを用いて滑らかに補間することにより、スムーズな軌道を表示している。しかし上空から落下、静止に至るまでを連続して抽出することで、より正確な軌道を表示することが望まれていた。

そこで、本発明では、このような問題点に鑑み、1台のカメラで運用可能であり、全体的な動きを把握することが困難な小さな映像オブジェクトの移動軌跡を、連続的に抽出して、カメラ映像上へ重畳した画像を合成する映像オブジェクトの軌跡画像合成装置およびそのプログラムを提供することを目的とする。

本発明は前記目的を達成するためになされたものであり、請求項１に記載の映像オブジェクトの軌跡画像合成装置は、移動する被写体をカメラにより撮影した映像と、前記被写体を撮影したときの前記カメラの姿勢および画角に関する情報を含むカメラパラメータとから、前記被写体に対応する映像オブジェクトの移動軌跡を算出し、その算出した映像オブジェクトの移動軌跡を表す軌跡画像と前記カメラによって撮影された映像とを合成する映像オブジェクトの軌跡画像合成装置であって、探索位置更新設定手段と、閾値決定手段と、オブジェクト領域選定手段と、２次元予測位置算出手段と、オブジェクト３次元位置算出手段と、オブジェクト３次元位置記憶手段と、軌跡画像生成手段と、軌跡画像合成手段と、を備える構成とした。

かかる構成によれば、映像オブジェクトの軌跡画像合成装置は、探索位置更新設定手段によって、映像を構成する映像フレーム内における映像オブジェクトの探索範囲を設定する。前記軌跡画像合成装置は、閾値決定手段によって、映像フレームの輝度のヒストグラムである輝度ヒストグラムを生成し、当該輝度ヒストグラムに基づいて、探索位置更新設定手段によって設定された探索範囲から映像オブジェクトを抽出するための輝度に対する閾値と、当該閾値より輝度の高い領域を抽出するか、もしくは、低い領域を抽出するかとを決定し、決定された領域の画像を映像オブジェクトを含む前景画像として抽出する。前記軌跡画像合成装置は、オブジェクト領域選定手段によって、閾値決定手段によって抽出された前景画像から、映像オブジェクトの画像特徴を利用して前記映像オブジェクトを選定する。前記軌跡画像合成装置は、２次元予測位置算出手段によって、オブジェクト領域選定手段によって選定された映像オブジェクトの前記映像フレーム内における位置から、当該映像フレームの次の映像フレーム内における映像オブジェクトの位置を示す２次元予測位置を算出する。前記軌跡画像合成装置は、オブジェクト３次元位置算出手段によって、オブジェクト領域選定手段によって選定された映像オブジェクトの映像フレーム内における位置とカメラパラメータとに基づいて、当該映像フレームが撮影された時点の被写体の実空間における位置を示す３次元位置を算出する。前記軌跡画像合成装置は、オブジェクト３次元位置記憶手段によって、オブジェクト３次元位置算出手段によって得られた３次元位置を記憶する。前記軌跡画像合成装置は、軌跡画像生成手段によって、オブジェクト３次元位置記憶手段に記憶された３次元位置に基づき、軌跡画像を生成する。前記軌跡画像合成装置は、軌跡画像合成手段によって、軌跡画像生成手段で生成された軌跡画像と映像フレームとを合成して出力することができ、さらに、探索位置更新設定手段によって、２次元予測位置算出手段により算出された２次元予測位置に基づいて、前記次の映像フレームの探索範囲を設定する。

これによって、軌跡画像合成装置は、移動する被写体をカメラにより撮影した映像と、前記カメラの姿勢状態に関する情報を含むカメラパラメータとから、前記輝度ヒストグラムに基づいて映像オブジェクトを抽出し、映像オブジェクトの移動軌跡を算出し、その算出した映像オブジェクトの移動軌跡を表す軌跡画像と前記カメラによって撮影された映像とを合成することができる。

請求項２に記載の映像オブジェクトの軌跡画像合成装置は、請求項1に記載の映像オブジェクトの軌跡画像合成装置において、オブジェクト領域選定手段によって選定された前記映像オブジェクトの前記映像フレーム内における位置と、前記カメラパラメータとから、次の前記映像フレーム内における前記映像オブジェクトに対応する当該被写体の実空間における位置を示す３次元予測位置を逐次予測する３次元予測位置算出手段と、前記３次元予測位置算出手段によって得られた３次元予測位置を投影変換して、当該被写体に対応する前記映像オブジェクトの前記次の映像フレーム内での位置を算出するスクリーン座標変換手段と、前記スクリーン座標変換手段によって得られた前記映像フレーム内における前記位置を示す点の列を、曲線を用いて補間する軌跡曲線補間手段と、を備え、前記オブジェクト領域選定手段が、前記軌跡曲線補間手段によって生成された前記曲線から前記次の映像フレームの前記前景画像に含まれる前記映像オブジェクトの候補となる各々の領域までの距離に基づいて、前記映像オブジェクトを選定する構成とした。

これによって、軌跡画像合成装置は、映像オブジェクトの前記映像フレーム内における位置と、前記カメラパラメータとから、逐次予測された３次元予測位置を用いて、この３次元予測位置をスクリーン座標変換して得られた点の列を、曲線で補間して生成された前記曲線を利用して、前記映像オブジェクトを選定する。

請求項３に記載の映像オブジェクトの軌跡画像合成装置は、請求項２に記載の映像オブジェクトの軌跡画像合成装置において、３次元予測位置算出手段によって得られた３次元予測位置に基づいて、前記被写体の実空間における高さが、予め設定された高さに対して下回るかどうかを判定する被写体高さ判定手段と、を備え、前記探索位置更新設定手段は、前記被写体高さ判定手段によって下回ると判定された時点の前記映像フレームの次の前記映像フレーム内において、当該映像フレームの前の映像フレームの前記探索範囲より広い前記探索範囲を設定する構成とした。

これによって、軌跡画像合成装置は、３次元予測位置に基づいて、前記被写体の実空間における高さが、被写体高さ判定手段によって下回ると判定された時点の映像フレームの次の映像フレーム内において、前の探索範囲より広い探索範囲を設定する。

請求項４に記載の映像オブジェクトの軌跡画像合成装置は、請求項1ないし請求項３に記載の映像オブジェクトの軌跡画像合成装置において、前記映像を記憶する映像記憶手段と、前記カメラパラメータを記憶するカメラパラメータ記憶手段と、を備え、前記探索位置更新設定手段は、前記映像記憶手段に記憶された前記映像を構成する時系列の前記映像フレームを逆の順番に入力して、前記映像フレームにおける前記探索範囲を設定し、前記オブジェクト３次元位置算出手段が、前記カメラパラメータ記憶手段に記憶された時系列の前記カメラパラメータを逆の順番に入力して、前記３次元位置を算出する構成とした。

これによって、被写体の撮影された映像フレームを、映像を構成する時系列の逆の順番に入力して映像オブジェクトの前記探索範囲を設定し、前記カメラパラメータを前記記憶された時系列の逆の順番に入力して、前記３次元位置を算出することができる。

請求項５に記載の映像オブジェクトの軌跡画像合成プログラムは、移動する被写体をカメラにより撮影した映像と、前記被写体を撮影したときの前記カメラの姿勢および画角に関する情報を含むカメラパラメータとから、前記被写体の実空間における位置を示す３次元位置を算出して、外部に接続された記憶装置に記憶し、この３次元位置に基づいて、前記被写体に対応する映像オブジェクトの移動軌跡を表す軌跡画像を生成した当該軌跡画像と前記カメラによって撮影された映像とを合成するために、コンピュータを、探索位置更新設定手段、閾値決定手段、オブジェクト領域選定手段、２次元予測位置算出手段、オブジェクト３次元位置算出手段、軌跡画像生成手段、軌跡画像合成手段、として機能させることとした。

かかる構成によれば、映像オブジェクトの軌跡画像合成プログラムは、探索位置更新設定手段によって、前記映像を構成する映像フレーム内における前記映像オブジェクトの探索範囲を設定する。前記軌跡画像合成プログラムは、閾値決定手段によって、前記映像フレームの輝度のヒストグラムである輝度ヒストグラムを生成し、当該輝度ヒストグラムに基づいて、前記探索位置更新設定手段によって設定された探索範囲から前記映像オブジェクトを抽出するための前記輝度に対する閾値と、当該閾値より輝度の高い領域を抽出するか、もしくは、低い領域を抽出するかとを決定し、決定された前記領域の画像を前記映像オブジェクトを含む前景画像として抽出する。前記軌跡画像合成プログラムは、オブジェクト領域選定手段によって、前記閾値決定手段により抽出された前記前景画像から、前記映像オブジェクトの画像特徴を利用して映像オブジェクトを選定する。前記軌跡画像合成プログラムは、２次元予測位置算出手段によって、前記オブジェクト領域選定手段により選定された前記映像オブジェクトの前記映像フレーム内における位置から、次の前記映像フレーム内における前記映像オブジェクトの位置を示す２次元予測位置を算出する。前記軌跡画像合成プログラムは、オブジェクト３次元位置算出手段によって、前記オブジェクト領域選定手段により選定された映像オブジェクトの前記映像フレーム内における位置と前記カメラパラメータとに基づいて、当該映像フレームが撮影された時点の前記被写体の実空間における位置を示す３次元位置を算出して前記記憶装置に記憶する。前記軌跡画像合成プログラムは、軌跡画像生成手段によって、前記記憶装置に記憶された３次元位置に基づき、前記軌跡画像を生成する。前記軌跡画像合成プログラムは、軌跡画像合成手段によって、前記軌跡画像生成手段で生成された前記軌跡画像と前記映像フレームとを合成して出力する。

これによって、軌跡画像合成プログラムは、移動する被写体をカメラにより撮影した映像と、前記カメラの姿勢状態に関する情報を含むカメラパラメータとから、前記輝度ヒストグラムに基づいて映像オブジェクトを抽出し、映像オブジェクトの移動軌跡を算出し、その算出した映像オブジェクトの移動軌跡を表す軌跡画像と前記カメラによって撮影された映像とを合成することができる。

請求項１に記載の発明によれば、1台のカメラで撮影した映像と当該カメラから得たカメラパラメータを用いるので、1台のカメラで運用可能であり、映像フレームの輝度のヒストグラムである輝度ヒストグラムに基づいて、被写体（映像オブジェクト）を抽出するための輝度に対する閾値と、この閾値よりも高い領域を抽出するか、低い領域を抽出するのかを決定しているので、移動する被写体の輝度よりも、被写体以外の輝度が高くなったり低くなったりしても、被写体を連続的に抽出することができる。このため、この抽出した結果から軌跡画像を生成して、カメラ映像に重畳することができる。

請求項２に記載の発明によれば、被写体を撮影したカメラの映像信号と、前記カメラの姿勢状態に関する情報を含むカメラパラメータとから、被写体の実空間の３次元予測位置を算出し、被写体の移動軌跡を示す軌跡曲線を生成することで、バウンドが予想できない複雑な地形形状での移動による被写体の抽出エラーを防止することができる。

請求項３に記載の発明によれば、被写体の実空間の３次元予測位置から予め設定した高さを下回った場合に地上に着地したとすることで、被写体の着地を自動判定し、着地後の探索範囲を広げることによって、被写体が地上に着地した後も、静止点に至るまで高精度に抽出して軌跡曲線を生成できる。

請求項４に記載の発明によれば、移動する被写体をカメラにより撮影した映像と、前記カメラの姿勢状態に関する情報を含むカメラパラメータとを、被写体が上空に差し掛かった時点の映像フレームを起点にして、記憶装置から時系列で逆の順番に読み出して、映像フレーム内において被写体（映像オブジェクト）の検出が容易な時刻から、被写体の検出が困難な被写体が発射された時点までさかのぼって被写体を追跡することで、被写体が発射された時点（ティーショット時）までの軌跡を、安定して且つ高精度で抽出できる。

請求項５に記載の発明によれば、1台のカメラで撮影した映像と当該カメラから得たカメラパラメータを用いるので、1台のカメラで運用可能であり、映像フレームの輝度のヒストグラムである輝度ヒストグラムに基づいて、被写体（映像オブジェクト）を抽出するための輝度に対する閾値と、この閾値よりも高い領域を抽出するか、低い領域を抽出するのかを決定しているので、移動する被写体の輝度よりも、被写体以外の輝度が高くなったり低くなったりしても、被写体を連続的に抽出することができる。このため、この抽出した結果から軌跡画像を生成して、カメラ映像に重畳することができる。

次に、本発明を実施するための最良の形態について、適宜、図面を参照して説明する。ここでは、移動する被写体をゴルフボールとし、１台のカメラにより撮影されたゴルフボール（映像オブジェクト）の軌跡画像を映像に合成する場合を例として、説明する。

［軌跡画像合成装置の構成（第１の実施形態）］
まず、図１を参照して、本発明の第１の実施形態に係る映像オブジェクトの軌跡画像合成装置の構成について説明する。図１は、本発明の第１の実施形態に係る映像オブジェクトの軌跡画像合成装置の全体構成を示すブロック図である。
図１に示すように、映像オブジェクトの軌跡画像合成装置１は、被写体移動開始検出手段２と、被写体上昇判定手段３と、探索位置更新設定手段４と、閾値決定手段５と、オブジェクト領域選定手段６と、予測曲線算出手段７と、着地判定手段８と、２次元予測位置算出手段９と、オブジェクト３次元位置算出手段１０と、映像記憶手段１１と、カメラパラメータ記憶手段１２と、被写体画像特徴記憶手段１３と、オブジェクト３次元位置記憶手段１４と、軌跡画像生成手段１５と、軌跡画像合成手段１６とを備えている。

映像オブジェクトの軌跡画像合成装置１は、上空に発射されて移動する被写体をカメラにより撮影したカメラ映像と、被写体を撮影したときのカメラの姿勢および画角に関する情報を含むカメラパラメータとが入力され、映像を構成する映像フレーム内の映像オブジェクトを抽出し、被写体の実空間における位置を示す３次元位置を求めて、映像フレーム内における映像オブジェクトの軌跡画像を生成し、映像オブジェクトの軌跡画像とカメラ映像とを合成するものである。

被写体移動開始検出手段２は、被写体（ゴルフボール）が上空に発射された時点を、カメラの振り上げ操作による姿勢情報の急激な変化、すなわち、一つ前の映像フレームと現在の映像フレームとのカメラの姿勢情報に関するカメラパラメータ（チルト角）の差分に基づいて、検出するものである。ここでは、被写体をゴルフボールとしているため、被写体移動開始検出手段２は、ゴルフボールが打たれたタイミング（ショット時）を検出することとする。

そして、被写体移動開始検出手段２は、ショット時を検出した際には、ゴルフボールが打たれたことを検出した時点（フレーム番号または時刻）を、被写体上昇判定手段３に通知するとともに、前記カメラ映像と、被写体を撮影したときの前記カメラパラメータとを、被写体上昇判定手段３に出力し、且つ、映像記憶手段１１とカメラパラメータ記憶手段１２とに、それぞれ前記カメラ映像と前記カメラパラメータとを記憶させる。

ここでは、被写体移動開始検出手段２は、単位時間（映像フレームの１周期）ごとに、時刻ｔ（フレーム番号）における映像フレームに対応したカメラパラメータのチルト角θ_ｔ と、１単位時間前の時刻（ｔ−１）の映像フレームのチルト角θ_{ｔ − １}との差が、以下の式（１）に示すように、予め定めた規定値Ｔａより大きくなった段階で、その時刻をゴルフボールが打たれたタイミングとして検出する。

被写体上昇判定手段３は、被写体移動開始検出手段２から入力された、前記カメラ映像または、前記被写体を撮影したときのカメラパラメータに基づいて、被写体が上空へ差し掛かったか否かを判定し、上空に差し掛かった時点（フレーム番号または時刻ｔ）を検出するものである。被写体上昇判定手段３は、前記検出した時刻ｔと、前記カメラ映像と、前記被写体を撮影したときのカメラパラメータとを、探索位置更新設定手段４へ出力するとともに、前記時刻情報はカメラパラメータ記憶手段１２へ記憶させる。

なお、前記被写体が上空に差し掛かった前記時刻ｔは、軌跡画像合成装置１Ｂ（図２を参照）によって、最初に被写体が上空に発射された時点（ショット時）における映像オブジェクトを抽出するときに、映像フレームとカメラパラメートとの読み出しを開始する時刻としても使用される。

被写体上昇判定手段３は、ショット時の直後はボールに似た映像オブジェクトが地上付近に多く存在し、カメラ操作も安定しないためボールの抽出エラーを起こしやすいので、ボールが上空へ差し掛かってからボールの抽出を開始するように、上昇したか否かを判定する。ボールの抽出を開始するタイミングは、カメラのチルト角が、以下の式（２）に示すように、予め定めた規定値Ｔ３より大きくなった段階で判定する。

ここでは、被写体上昇判定手段３は、ボールが上空へ差し掛かったか否かを、カメラのチルト角によって判定したが、他の方法として、映像フレーム内の映像信号の輝度のヒストグラムである輝度ヒストグラムに基づいて、背景映像が地上付近であるか、または、既に上空に差し掛かっているかを判定することも可能である。

探索位置更新設定手段４は、被写体上昇判定手段３から入力された、または映像記憶手段１１から読み出した、カメラ映像の映像フレーム内に当該ボール（映像オブジェクト）の探索範囲を設定するものである。この探索位置更新設定手段４は、まずカメラパラメータ記憶手段１２から読み出した（出力された）被写体（に対する映像オブジェクト）が上空に差し掛かった時刻（フレーム番号）から探索位置を設定する。そして、探索位置更新設定手段４は、被写体上昇判定手段３から、ボールが上空へ差し掛かったことを検出した当該時刻ｔにおける映像フレーム内の映像信号が入力されたら、探索範囲の設定を開始する。なお、抽出を開始する時のために、ボールの探索範囲の位置・広さの初期条件を指定されている。当該初期条件は、ボールが一般に映像フレーム画面の中央で撮影されることを考慮して、前記画面の中央で広めの探索範囲に設定される。

また、探索位置更新設定手段４は、次の時刻ｔ＋１以降の映像フレーム内の映像オブジェクトの探索範囲の設定に関して、着地判定手段８によって、被写体が着地していないと判定された映像フレームの次の時刻の映像フレームに対しては、映像オブジェクトの探索範囲を２次元予測位置算出手段９から入力された２次元位置に基づいて設定し、または、被写体が着地したと判定された映像フレームの次の時刻の映像フレームに対しては、映像オブジェクトの探索範囲を、前の映像フレームの探索範囲より拡大して設定する。ここで設定された探索範囲の情報（画像座標、面積）と前記カメラにより撮影された映像信号とは閾値決定手段５に出力される。

ここまでで、カメラパラメータ記憶手段１２には、被写体が上空に発射された時刻（フレーム番号）と被写体が上空に差し掛かった時刻（フレーム番号）とが記憶されている。なお、探索位置更新設定手段４は、ボールが上空に差し掛かった時点から発射された時点までの映像フレーム内の映像オブジェクトをさかのぼって抽出するために、時系列を逆の順番に遡って、映像フレームとカメラパラメータとを、映像記憶手段１１とカメラパラメータ記憶手段１２とから、それぞれ読み出して、探索範囲を順次更新し設定することもできる。

閾値決定手段５は、映像信号における映像フレームの輝度のヒストグラムである輝度ヒストグラムを生成し、当該輝度ヒストグラムに基づいて、映像オブジェクトの映像信号の輝度情報に対する少なくとも上空用の閾値（後記する式（３）におけるＴ１）と地上付近用の閾値（後記する式（３）におけるＴ２）とを決定するとともに、前景画像と背景画像とを分離するものである。閾値決定手段５は、図３(ａ)に示すように、輝度ヒストグラム生成手段５１と、輝度閾値設定手段５２と、前景・背景分離手段５３とを備えている。

輝度ヒストグラム生成手段５１は、前記探索位置更新設定手段４から入力された映像フレーム内の映像信号から、輝度情報のヒストグラムである輝度ヒストグラムを、映像フレームごとに逐次生成するものである。ここで生成された輝度ヒストグラムは輝度閾値設定手段５２に出力される。一般に、上空では高輝度の背景映像に対して映像オブジェクトの領域の輝度は低く、地上では低輝度の背景映像に対して映像オブジェクトの領域の輝度が高い。このように、背景映像と、映像オブジェクト領域（ボール領域）の映像の輝度は、被写体が上昇中に逆転する。

輝度閾値設定手段５２は、背景映像と、ボール領域との相対的な輝度がボールの上昇中に逆転することを利用し、前記輝度ヒストグラム生成手段５１によって生成された映像オブジェクトの背景映像の前記輝度ヒストグラムを逐次参照して、ボール領域が地上付近であるか、または上空に差し掛かっているか否かを判定し、ボール領域を抽出するための輝度閾値を切り替えるものである。また、輝度閾値設定手段５２は、前記輝度ヒストグラムの判定結果に基づいて、ボール領域が上空と判定された場合は、後記する前景・背景分離手段５３によって抽出する領域の輝度の範囲を当該閾値より低い範囲に設定し、逆に、ボール領域が地上付近と判定された場合は当該閾値より高い範囲に設定する。

ここで厳密に言うと、輝度閾値判定手段５２は、高輝度を示す輝度ヒストグラムの度数が、低輝度を示す輝度ヒストグラムの度数よりも大きいか否かによって、ボール領域を示す輝度の範囲を設定しているのであり、この輝度閾値判定手段５２はボール領域が実際に上空にさしかかっているか地上付近にあるかを判定しているものではない。例えば、カメラ映像の背景に山やビル等が含まれた場合に、ボール領域が上空にさしかかっていても、当該ボール領域を示す輝度の閾値よりも、背景の輝度が低くなる場合が想定される。しかしながら、この輝度閾値判定手段５２は、このような場合であっても、ボール領域が実際に上空にさしかかっているか地上付近にあるかに拘わらず、映像フレームの輝度ヒストグラムに着目して、ボール領域を示す輝度の範囲を設定しているので、以下に続くように、当該装置１では、連続してボール領域を抽出することが出来る。

輝度閾値設定手段５２は、例えば、地上から上空へボールが移動した場合、高輝度な背景が徐々に支配的になるので、高輝度な背景を示す輝度ヒストグラムの度数が、低輝度な背景を示す輝度ヒストグラムの度数を超えた時点で、ボール領域の輝度範囲を０〜Ｔ１とする。逆に、上空から地上へボールが移動した場合、低輝度な背景が徐々に支配的となるので、低輝度な背景を示す輝度ヒストグラムの度数が、高輝度な背景を示す輝度ヒストグラムの度数を超えた時点で、ボール領域の輝度範囲をＴ２〜２５５とする。この処理を式（３）に示す。ここで輝度は、０〜２５５の値を取るものとし、高輝度な背景と低輝度な背景の境界輝度値をＴ３、輝度ｉにおける度数をhist(i)とした。

ここでは、輝度閾値設定手段５２は、前記輝度ヒストグラムを映像フレームごとに逐次参照して、高輝度な背景と低輝度な背景との度数を比較して閾値の切替えタイミングを判定しているが、一方の度数がある閾値（輝度ヒストグラムの度数に対する閾値）を超えた時点を切り替えタイミングとしてもよい。
また、輝度閾値設定手段５２は、ボール領域の輝度範囲を、低い領域の上限値Ｔ１と、高い領域の下限値Ｔ２とによって決めるが、これらの値は過去に抽出したボール領域の画像特徴として、対象図形である映像オブジェクトの画像面積を、被写体画像特徴記憶手段１３から取出して参照することにより、前記輝度範囲の前記上限値Ｔ１と、前記下限値Ｔ２とを動的に決定することができる。過去のフレームで抽出したボール領域から現フレームでの面積が概算できるため、閾値決定法としてはＰタイル法が有効である。

輝度閾値設定手段５２は、Ｐタイル法によって、以下の式（４）に示すように、まず画像全体の面積をＳ、対象図形の面積をＳ０とし、画像全体に対する対象図形の面積の比率ｐを求める。

また、輝度閾値設定手段５２は、対象図形が背景よりも明るい場合は輝度値の大きい方から、対象図形が背景よりも暗い場合は輝度値の小さい方から画素数を数えていき、以下の式（５）に示すような値になるときの輝度値を閾値とする。ここで、カウントした画素数をＮ０、全体の画素数をＮとする。

前景・背景分離手段５３は、輝度閾値設定手段５２によって設定されたボール領域の輝度の範囲に該当する領域を前景領域（前景画像）として抽出するものである。ここで抽出された前景領域の画像情報はオブジェクト領域選定手段６に出力される。これによって、前景・背景分離手段５３は、背景が上空、つまり高輝度のときには、閾値より輝度の低い領域を前景領域として抽出し、背景が地上付近、つまり低輝度のときには、閾値より輝度の高い領域を前景領域として抽出する。図１に戻る。

オブジェクト領域選定手段６は、前景・背景分離手段５３によって抽出された前景領域に対して、予め過去の映像フレームで作成された映像オブジェクトの大きさ、形などの画像特徴に関するデータを、被写体画像特徴記憶手段１３から読み出し参照して、ボール領域を選定するものである。つまり、オブジェクト領域選定手段６は、ボール領域の候補が複数ある場合（前景領域が複数ある場合）、目標とする画像特徴に最も近いボール領域を選択する。カメラ操作によりボールの画像特徴は映像フレームごとに変化するため、過去数フレームにおける画像特徴の平均を目標の画像特徴として出力する。更に、ここでは、オブジェクト領域選定手段６は、予測曲線算出手段７の軌跡曲線補間手段７３から入力された予測曲線に対して距離の近い領域を優先して映像オブジェクトとして選定することとした（図３参照、詳細は後記）。

このオブジェクト領域選定手段６によってボール領域が選定した映像信号における映像フレーム内のボール領域の位置を示す座標および面積が、オブジェクト領域選定手段６から予測曲線算出手段７と、２次元予測位置算出手段９と、オブジェクト３次元位置算出手段１０とに通知される。さらに、オブジェクト領域選定手段６は、被写体画像特徴記憶手段１３に、過去数フレームにおける画像特徴を平均したものを出力する。

予測曲線算出手段７は、オブジェクト領域選定手段６によって得られた映像フレーム内の前記映像オブジェクトの位置を示す座標（２次元予測位置）および面積に基づいて、実空間における３次元位置を予測した３次元位置予測を利用して、予め定められた映像フレーム数だけ先までの映像オブジェクトの位置を予測して、これらの位置を補間した前記映像オブジェクトの予測曲線を算出するものであって、図３(ｂ)に示すように、３次元予測位置算出手段７１と、スクリーン座標変換手段７２と、軌跡曲線補間手段７３とを備えている。

３次元予測位置算出手段７１は、オブジェクト領域選定手段６によって抽出された映像オブジェクトに基づいて、映像オブジェクトであるボールの次の映像フレームにおいて対応する３次元予測位置を予測するものである。ここでは、３次元予測位置算出手段７１は、拡張カルマンフィルタを用いてボールの３次元予測位置を映像フレームごとに逐次推定する。

３次元予測位置算出手段７１は、以下の式（６）に示すように、状態量Ｘを、３次元直交座標空間での位置（ｘ，ｙ，ｚ）、速度（ｖ_ｘ，ｖ_ｙ，ｖ_ｚ）、加速度（ａ_ｘ，ａ_ｙ，ａ_ｚ）とし、観測量ｙをカメラ映像から抽出した映像オブジェクトの重心を示す画像座標（Ｘ_ｇ，Ｙ_ｇ）、および面積（Ａ）として定義する。なお、上付き添え字：^Ｔ は行列の転置を表している。

また、以下の式（７）に示すように、１フレームを単位時間とした状態遷移行列をＦとし、一定重力ｇのもとでの放物運動にシステムノイズｖ_ｔを加えたものを運動モデルとした。なお、システムノイズｖ_ｔの共分散行列をＱとする。また、Ｉ，Ｏを３×３の単位行列、零行列とし、ｔをフレーム番号（時刻）とする。そして、例えば、Ｅ［ｖ_ｔ］はシステムノイズｖ_ｔの期待値を示している。

そして、３次元予測位置算出手段７１は、単位時間ごとに以下の式（８）に示す状態推定式にしたがって、運動モデルに従うボールの位置を逐次予測する。ここで、Ｐは状態量の誤差共分散行列である。

また、ここでは、以下の式（９）に示すように、３次元位置をスクリーンへ射影する関数ｈ（Ｘ_ｔ）に、共分散行列Ｒを持つ観測ノイズｗ_ｔを加えたものを観測モデルＹ_ｔとした。なお、ボールの初期位置座標（ｘ，ｙ，ｚ）は、撮影前にキャリブレーションを行うことにより予め決定する。ボールの初期速度（ｖ_ｘ，ｖ_ｙ，ｖ_ｚ）および面積式の係数ｓに関しては、撮影前に基準となるショット軌道から決定する。また、カメラパラメータのパン角をφ、チルト角をθ、焦点距離をｆとした。

３次元予測位置算出手段７１は、観測量が得られた場合、以下の式（１０）に示した更新式に従って、状態量Ｘおよび状態量の誤差共分散行列Ｐの要素を更新し、更新後の状態量をＸ´および更新後の状態量の誤差共分散行列をＰ´とする。なお、Ｈは観測感度行列である。

このように、３次元予測位置算出手段７１は、前記した式（８）に示した状態推定式と、式（１０）に示した更新式とに基づいて、観測が得られた場合には更新しながら運動モデルに従う状態推定を行い、逐次ボールの３次元予測位置を予測する。
また、３次元予測位置算出手段７１により得られたボール（被写体）の３次元予測位置は、着地判定手段８へ出力される。

スクリーン座標変換手段７２は、３次元予測位置算出手段７１によって得られたボール（被写体）のフレームごとの３次元予測位置を、次の映像フレーム内での位置（画像座標）へ投影変換するものである。スクリーン座標変換手段７２は、３次元予測位置算出手段７１によって算出されたフレームごとのボールの３次元予測位置を映像フレーム内における位置に対応するスクリーン座標へ投影し、現映像フレーム内に配置された複数の予測点の列から成る予測点列を得て、軌跡曲線補間手段７３へ前記予測点列の画像座標を出力する。

軌跡曲線補間手段７３は、前記したスクリーン座標変換手段７２により得られた映像オブジェクト（ボール）の現スクリーン座標上での予測点列を、例えば、２次曲線などで補間して予測曲線を得るものである。そして、軌跡曲線補間手段７３は、オブジェクト領域選定手段６へ、当該予測曲線の画像座標を出力する。

着地判定手段８は、映像信号における映像フレーム内の映像オブジェクトに対して、３次元予測位置算出手段７１によって算出された映像オブジェクトの３次元予測位置に基づいて、ボール（被写体）が地面に着地したか否かを判定するものであって、図３（ｃ）に示すように、被写体高さ判定手段８１と、着地時刻判定手段８２と、座標変換手段８３とを備えている。

被写体高さ判定手段８１は、予測曲線算出手段７によって得られた被写体（ボール）の３次元予測位置に基づいて、当該被写体の高度が基準値に対して下回るかどうかを判定するものである。すなわち、被写体高さ判定手段８１は、映像フレームごとに３次元予測位置算出手段７１で逐次予測されたボールの位置（状態量ｘの位置座標（ｘ，ｙ，ｚ））から高さ要素（ｚ_ｔ）が、以下の式（１１）に示すように、予め地面の高さとして定められた高さ基準値Ｈ_Ｇよりも下回った段階で、ボールが着地したと判定し、着地点の位置は、座標変換手段８３に出力される。

着地時刻判定手段８２は、被写体高さ判定手段８１から、当該ボールが着地したか否か判定された結果が入力され、もし、着地したという結果の場合、当該映像フレームのフレーム番号、あるいは時刻ｔ_ｇの情報を、探索位置更新設定手段４へ出力する。

座標変換手段８３は、被写体高さ判定手段８１によって判定されたボールの着地点の３次元予測位置を、映像フレーム内での画像座標に変換するものである。そして、座標変換手段８３は、この着地点を示す映像フレーム内の画像座標を、探索位置更新設定手段４へ出力する。

２次元予測位置算出手段９は、オブジェクト領域選定手段６によって選定された映像オブジェクトの位置を示す座標および面積に基づいて、次の映像フレーム内での映像オブジェクトの２次元予測位置（画像座標）を予測し、探索位置更新設定手段４へ出力するものである。２次元予測位置算出手段９は、２次元予測位置の算出に際して、前記式（８）で示した状態推定式および前記式（１０）で示した更新式を用いてボールの位置を予測した３次元直交座標で表現された位置座標に対して、スクリーンへ射影する関数ｈ（ｘ_ｔ）、すなわち、前記式（９）を用いることで３次元位置を２次元位置（画像座標）へ変換して、２次元予測位置を算出することができる。

また、２次元予測位置算出手段９は、オブジェクト領域選定手段６によって選定された映像オブジェクトの位置を示す座標および面積に基づいて、次の映像フレーム内での映像オブジェクトの２次元予測位置を算出するに際して、前記したように拡張カルマンフィルタを用いて算出する方法だけに限定されず、線形予測を利用して算出することもできる。

２次元予測位置算出手段９は、線形予測で映像オブジェクトであるボールの２次元予測位置を予測する場合、２つ前までの時刻（ｔ−１、およびｔ−２）の映像フレームで求めた映像オブジェクトの画像座標Ｐ_ｔ−１、およびＰ_ｔ−２を用いて、時刻ｔにおける映像フレームの映像オブジェクトの画像座標Ｐ＾_ｔ＝［ｘ、ｙ］^Ｔを、以下の式（１２）にしたがって、予測することもできる。

オブジェクト３次元位置算出手段１０は、オブジェクト領域選定手段６によって選定された映像フレームごとの映像オブジェクトの位置を示す座標および面積、並びにカメラパラメータ記憶手段１２から読み出したカメラパラメータに基づいて、映像フレーム内での映像オブジェクトであるボールの３次元位置座標を算出し、この３次元位置座標をオブジェクト３次元位置記憶手段１４に記憶させるものである。

映像記憶手段１１は、前記被写体移動開始検出手段２によって得られた、前記カメラにより撮影された映像フレームの映像信号を時系列にしたがって記憶するものであり、ハードディスク等の一般的な記憶手段によって構成される。ここで記憶された映像フレームの映像信号は、時系列に対して、探索位置更新設定手段４および軌跡画像合成手段１６によって、順方向または逆方向に読み出される。

カメラパラメータ記憶手段１２は、前記被写体移動開始検出手段２によって得られた、前記カメラにより撮影された映像フレームの姿勢状態に関するカメラパラメータを時系列にしたがって記憶するとともに、被写体移動開始検出手段２から出力された被写体が上空へ発射された時刻（フレーム番号）と被写体上昇判定手段３から出力された被写体が上空に差し掛かった時刻（フレーム番号）とを記憶するものであり、ハードディスク等の一般的な記憶手段によって構成される。ここで記憶されたカメラパラメータは、時系列に対して、探索位置更新設定手段４および軌跡画像生成手段１５によって、順方向または逆方向に読み出される。

被写体画像特徴記憶手段１３は、前記オブジェクト領域選定手段６によって得られた、過去数フレームの映像フレーム内における映像オブジェクトの画像特徴の平均化されたもの（目標画像特徴：大きさ、形状、輝度など）と、輝度閾値情報として低輝度な背景の輝度の上限値Ｔ１と、高輝度な背景の輝度の下限値Ｔ２と、高輝度な背景と低輝度な背景の境界輝度値をＴ３とを記憶するものであり、ハードディスク等の一般的な記憶手段によって構成される。ここで記憶された映像オブジェクトの画像特徴は、時系列に対して、閾値決定手段５およびオブジェクト領域選定手段６によって、順方向または逆方向に読み出される。

オブジェクト３次元位置記憶手段（記憶装置）１４は、前記オブジェクト３次元位置算出手段１０によって算出された、前記映像フレーム内における映像オブジェクトの３次元位置座標を記憶するものであり、ハードディスク等の一般的な記憶手段によって構成される。ここで記憶された映像フレーム内における映像オブジェクトの３次元位置座標は、時系列に対して、軌跡画像生成手段１５によって、順方向または逆方向に読み出される。

軌跡画像生成手段１５は、前記オブジェクト３次元位置記憶手段１４に記憶された前記映像フレーム内における映像オブジェクトの３次元位置座標と、前記カメラパラメータ記憶手段１２に記憶された前記カメラパラメータとを読み出して、前記映像フレームごとに軌跡画像を生成し、軌跡画像合成手段１６に前記軌跡画像を出力するものである。

軌跡画像合成手段１６は、前記軌跡画像生成手段１５によって生成された映像フレームごとの軌跡画像と、前記映像記憶手段１１に記憶された映像フレームの映像信号の当該映像フレームとを入力し、且つ合成することによって、映像オブジェクト（ボール）の軌跡画像が重畳された映像信号を生成するものである。ここで軌跡画像が重畳された映像は、外部に出力される。

これによって、軌跡画像合成装置１は、これまで困難であった被写体が地上で発射される時点の映像フレーム内の映像オブジェクトの抽出から、被写体が上空に達してから着地して静止点に至るまでの区間の移動軌跡を連続して抽出できる。

なお、軌跡画像合成装置１は、コンピュータにおいて各手段を各機能プログラムとして実現すること可能であり、各機能プログラムを結合して、軌跡画像合成プログラムとして動作させることも可能である。

［軌跡画像合成装置の動作（第１の実施形態）］
次に、図６および図７を参照（適宜図１を参照）して、軌跡画像合成装置１の動作について説明する。
図６は、本発明に係る軌跡画像合成装置１の動作を示すフローチャートである。図７は、本発明に係る映像オブジェクト抽出動作の処理の流れを示すフローチャートである。

まず、軌跡画像合成装置１は、被写体移動開始検出手段２によって、被写体をカメラで撮影したカメラ映像（少なくとも２つの連続する映像フレーム）とカメラパラメータを入力し（ステップＳ１）、前記カメラパラメータに基づいて、被写体が移動を開始しているか否かを判定する（ステップＳ２）。被写体が移動を開始していなければ（ステップＳ２でＮｏ）、ステップＳ１に戻り、次映像フレームのカメラ映像とカメラパラメータとを入力する。

また、軌跡画像合成装置１は、被写体移動開始検出手段２によって、被写体の移動開始を検出すると（ステップＳ２でＹｅｓ）、映像記憶手段１１とカメラパラメータ記憶手段１２とに、ステップＳ１において入力された映像フレームのカメラ映像とカメラパラメータとをそれぞれ記憶させる（ステップＳ３）。なお、ここで、軌跡画像合成装置１は、被写体が移動を開始した映像フレームのフレーム番号又は時刻を、カメラパラメータ記憶手段１２に記憶する。

次に、軌跡画像合成装置１は、被写体が上空に差し掛かったか否かを、被写体上昇判定手段３によって判定し（ステップＳ４）、まだ差し掛かっていなければ（ステップＳ４でＮｏ）、次映像フレームのカメラ映像とカメラパラメータとを被写体移動開始検出手段２によって入力し（ステップＳ５）、ステップＳ３に戻って映像記憶手段１１とカメラパラメータ記憶手段１２とに、ステップＳ５において入力された映像フレームのカメラ映像とカメラパラメータとをそれぞれ記憶させる（ステップＳ３）。また、軌跡画像合成装置１は、被写体上昇判定手段３によって、被写体が上空に差し掛かったと判定されると（ステップＳ４でＹｅｓ）、後記する映像オブジェクト抽出動作によって、ステップＳ５において入力された映像フレームから映像オブジェクトを抽出して３次元位置座標を算出する（ステップＳ６）。なお、ここで、軌跡画像合成装置１は、被写体が上空に差し掛かった映像フレームのフレーム番号又は時刻を、カメラパラメータ記憶手段１２に記憶する。

映像オブジェクト抽出動作において、図７に示すように、軌跡画像合成装置１は、探索位置更新設定手段４によって、初期条件、もしくは１つ前の映像フレームについて、ステップＳ８において算出された２次元予測位置およびステップＳ９における着地の判定結果に基づいて、映像オブジェクトの探索範囲を設定し（ステップＳ６１）、閾値決定手段５によって抽出する映像オブジェクトの輝度に対する閾値を背景画像に比較して高い方か、または、低い方かを決定して前景領域を抽出する（ステップＳ６２）。

そして、軌跡画像合成装置１は、オブジェクト領域選定手段６によって、１つ前の映像フレームで図６のステップＳ９において算出された予測曲線と、被写体画像特徴記憶手段１３に記憶される映像オブジェクトの画像特徴とを利用して映像オブジェクトの領域を選定し（ステップＳ６３）、そして、オブジェクト３次元位置算出手段１０によって、映像オブジェクトの３次元位置座標を算出する（ステップＳ６４）。

次に、軌跡画像合成装置１は、静止点までの映像フレームまで映像オブジェクトの抽出を全て終了するかどうかを、探索位置更新設定手段４によって、３次元予測位置算出手段７１または２次元予測位置算出手段９により算出された状態量Ｘに含まれるボールの速度が０または閾値以下になったかどうかに基づいて、映像オブジェクトの抽出を終了するかどうか判定する。もしくは、映像オブジェクトの抽出終了の判定を手動で行う（ステップＳ７）。

そして、軌跡画像合成装置１は、もし、終了していなければ（ステップＳ７でＮｏ）、２次元予測位置算出手段９によって、図７のステップＳ６３において選定されたボール領域の映像オブジェクトの位置を示す座標および面積に基づいて、映像オブジェクトの２次元予測位置を算出する（ステップＳ８）。そして、軌跡画像合成装置１は、予測曲線算出手段７によって、映像オブジェクトの位置を示す座標および面積に基づき、実空間における被写体の３次元予測位置を予測し、予測曲線を算出し、着地判定手段８によって着地の判定を行う（ステップＳ９）。続いて、軌跡画像合成装置１は、被写体移動開始検出手段２によって、次映像フレームのカメラ映像とカメラパラメータとを入力して、映像記憶手段１１とカメラパラメータ記憶手段１２に記憶して（ステップＳ１０）、ステップＳ６に戻って、ステップＳ１０において入力された映像フレームについて、映像オブジェクトの抽出動作を実行する。

映像オブジェクトが上空に差し掛かってからの当該映像オブジェクトの抽出が終了したならば（ステップＳ７でＹｅｓ）、軌跡画像合成装置１は、探索位置更新設定手段４によって、映像記憶手段１１とカメラパラメータ記憶手段１２とからステップＳ３において記憶された映像フレームとカメラパラメータ（被写体が上空に差し掛かった映像フレームのフレーム番号又は時刻を含む）とをそれぞれ読み出す（ステップＳ１１）。ここで、探索位置更新設定手段４は、映像を構成する映像フレームの映像信号を、被写体（映像オブジェクト）が上空に差し掛かったと被写体上昇判定手段３によって判定された映像フレームのフレーム番号又は時刻から、時系列を逆の順番に過去の時間方向に読み出す。そして、軌跡画像合成装置１は、映像オブジェクト抽出動作を実行する（ステップＳ１２；図７のステップＳ１２１〜ステップＳ１２４）。

そして、軌跡画像合成装置１は、探索位置更新設定手段４によって、映像記憶手段１１に記憶された全ての映像フレームについて、映像オブジェクトの抽出が終了したかどうかを判定し（ステップＳ１３）、終了していなければ（ステップＳ１３でＮｏ）、２次元予測位置算出手段９によって、図７のステップＳ１２３において選定されたボール領域の映像オブジェクトの位置を示す座標および面積に基づいて、映像オブジェクトの２次元予測位置を算出する（ステップＳ１４）。そして、軌跡画像合成装置１は、予測曲線算出手段７によって、映像オブジェクトの位置の情報に基づいて、実空間における被写体の３次元予測位置を予測し、予測曲線を算出する（ステップＳ１５）。

次に、軌跡画像合成装置１は、ステップＳ１１に戻り、探索位置更新設定手段４によって、映像記憶手段１１とカメラパラメータ記憶手段１２とから、映像フレームのカメラ映像とカメラパラメータとを、同様に、時系列を逆の順番に、時刻ｔ−１の映像フレームを読み出して（ステップＳ１１）、映像オブジェクト抽出動作を実行する。

また、映像オブジェクトの抽出が終了したならば（ステップＳ１３でＹｅｓ）、軌跡画像合成装置１は、被写体（ボール）が移動を開始した時点（ショット時）の映像フレーム内における映像オブジェクトを抽出できたことになる。これによって、軌跡画像合成装置１は、被写体の移動開始の時点（ショット時）における映像オブジェクトの抽出から、上空へ被写体が上昇し、そして地上への着地と静止点に至るまでの、全ての映像オブジェクトの移動軌跡を示す画像座標の抽出ができる。

続いて、軌跡画像合成装置１は、軌跡画像生成手段１５によって、オブジェクト３次元位置記憶手段１４から図７のステップＳ６４およびステップＳ１２４において算出されたオブジェクト３次元位置情報を入力し、およびカメラパラメータ記憶手段１２からステップＳ３およびステップＳ１０において記憶されたカメラパラメータを入力して、映像オブジェクトの軌跡画像を生成する（ステップＳ１６）。更に、軌跡画像合成装置１は、軌跡画像合成手段１６によって、ステップＳ１６において生成された軌跡画像を入力し、映像記憶手段１１からステップＳ３およびステップＳ１０において記憶された映像フレームを入力し、重畳することによってボールの軌跡画像を含んだ合成画像を取得し（ステップＳ１７）、動作を終了する。

［軌跡画像合成装置の構成（第２の実施形態）］
図２を参照して、本発明の第２の実施形態に係る映像オブジェクトの軌跡画像合成装置の構成について説明する。図２は、本発明の第２の実施形態に係る映像オブジェクトの軌跡画像合成装置の全体構成を示すブロック図である。
図２に示すように、軌跡画像合成装置１Ｂは、探索位置更新設定手段４Ｂと、閾値決定手段５と、オブジェクト領域選定手段６と、予測曲線算出手段７と、着地判定手段８と、２次元予測位置算出手段９と、オブジェクト３次元位置算出手段１０と、映像記憶手段１１Ｂと、カメラパラメータ記憶手段１２Ｂと、被写体画像特徴記憶手段１３と、オブジェクト３次元位置記憶手段１４と、軌跡画像生成手段１５と、軌跡画像合成手段１６とを備えている。なお、探索位置更新設定手段４Ｂと、映像記憶手段１１Ｂと、カメラパラメータ記憶手段１２Ｂと以外の構成については、図１で説明した軌跡画像合成装置１と同一のものであるため、同一の符号を付し、説明を省略する。

映像オブジェクトの軌跡画像合成装置１Ｂは、上空に発射されて移動する被写体をカメラにより撮影した映像信号（カメラ映像）と、被写体を撮影したときのカメラの姿勢および画角に関する情報を含むカメラパラメータとから、映像を構成する映像フレーム内の映像オブジェクトを抽出し、被写体の実空間における位置を示す３次元位置を求めて、映像フレーム内における映像オブジェクトの軌跡画像を生成し、映像オブジェクトの軌跡画像とカメラ映像とを合成するものである。

探索位置更新設定手段４Ｂは、映像記憶手段１１Ｂから時系列を逆の順番に、映像フレーム内の映像信号を読み出し、カメラパラメータ記憶手段１２Ｂから前記映像信号に対応するカメラパラメータを読み出し、ボール（映像オブジェクト）の探索範囲を設定するものである。なお、探索位置更新設定手段４Ｂは、入力する映像フレームとカメラパラメータとを映像記憶手段１１Ｂおよびカメラパラメータ記憶手段１２Ｂから読み出したものとしただけで、探索位置更新設定手段４（図１）と機能は同じものである。ここで読み出した映像信号と、前記カメラパラメータと、前記探索範囲とは閾値決定手段５に出力される。

映像記憶手段１１Ｂは、前記カメラにより撮影された映像フレームの映像信号を、時系列に記憶するものであり、ハードディスク等の一般的な記憶手段によって構成される。ここで記憶された映像フレームの映像信号は、時系列に対して、探索位置更新設定手段４Ｂおよび軌跡画像合成手段１６によって、逆方向に読み出される。

カメラパラメータ記憶手段１２Ｂは、前記カメラにより撮影された映像フレームの姿勢状態に関するカメラパラメータを、時系列に記憶するものであり、ハードディスク等の一般的な記憶手段によって構成される。ここで記憶されたカメラパラメータは、時系列に対して、探索位置更新設定手段４Ｂおよび軌跡画像生成手段１５によって、逆方向に読み出される。

以上によって、軌跡画像合成装置１Ｂは、時系列を逆の順番に過去方向に遡り、映像信号における映像フレームの映像信号と、対応するカメラパラメータとを読み出して、第１の実施形態と同様にして映像オブジェクトを抽出することで、最初に被写体が移動を開始したティーショット時に至る被写体の移動軌跡を示す軌跡曲線を生成し、カメラ映像と合成することが可能となる。

以上説明したように、本発明に係る映像オブジェクトの軌跡画像合成装置１および軌跡画像合成装置１Ｂは、これまで困難であったティーショット時における打点Ｐ１の自動抽出化と、背景映像の変化に対する被写体領域の輝度閾値の自動設定、および軌道曲線の算出（図４参照）に当たってボール探索方法の高精度化と、着地点Ｐ２の自動抽出に留まらず着地後の地上軌跡抽出（図５（ｂ）参照）の高度化とによって、ボールのティーショット（打点Ｐ１）に続き、地上付近から上空への飛翔を経て、再び地上への着地、そして静止点Ｐ３に至るまでのボールの軌跡曲線を、連続して高精度に抽出できるように操作の全自動化を図った。これによって、従来例（図５（ａ）参照）に比較して、軌跡表示画像の抽出作業時間の短縮にとどまらず、誤抽出の回避や、軌跡画像の高品質化とサービスの向上に寄与できる。

さらに、軌跡画像合成装置１では、ゴルフにおけるボールの軌跡画像を合成するのに限らず、野球やソフトボールのように、内野と外野とで背景の輝度が急激に変化する場合（内野が茶色で外野が緑色）であり、且つ、ボールが上空に飛翔することなく直線的に飛んでいく場合（ライナーなど）でも、映像フレームごとに輝度ヒストグラムを生成し、この輝度ヒストグラムの度数に応じてボールを抽出する輝度閾値を変更することで、連続してボールを抽出することができ、当該ボールの軌跡画像を描いて合成することが出来る。

本発明の第１の実施形態に係る映像オブジェクトの軌跡画像合成装置の全体構成を示すブロック図である。 本発明の第２の実施形態に係る軌跡画像合成装置の構成を示すブロック図である。 閾値決定手段、予測曲線算出手段、および着地判定手段の構成を示すブロック図である。 本発明の実施形態に係る映像オブジェクトの軌道曲線を示す表示例である。 （ａ）従来システムによる映像オブジェクトの軌跡を示す表示例である。 （ｂ）本発明の実施形態に係る映像オブジェクトの軌跡を示す表示例である。 本発明の第１および第２の実施形態に係る軌跡画像合成装置の処理の流れを示すフローチャートである。 本発明の第１および第２の実施形態に係る映像オブジェクト抽出動作の処理の流れを示すフローチャートである。

符号の説明

１、１Ｂ 軌跡画像合成装置
２ 被写体移動開始検出手段
３ 被写体上昇判定手段
４、４Ｂ 探索位置更新設定手段
５ 閾値決定手段
６ オブジェクト領域選定手段
７ 予測曲線算出手段
８ 着地判定手段
９ ２次元予測位置算出手段
１０ オブジェクト３次元位置算出手段
１１、１１Ｂ 映像記憶手段
１２、１２Ｂ カメラパラメータ記憶手段
１３ 被写体画像特徴記憶手段
１４ オブジェクト３次元位置記憶手段
１５ 軌跡画像生成手段
１６ 軌跡画像合成手段
５１ 輝度ヒストグラム生成手段
５２ 輝度閾値設定手段
５３ 前景・背景分離手段
７１ ３次元予測位置算出手段
７２ スクリーン座標変換手段
７３ 軌跡曲線補間手段
８１ 被写体高さ判定手段
８２ 着地時刻判定手段
８３ 座標変換手段

Claims (5)

1. 移動する被写体をカメラにより撮影した映像と、前記被写体を撮影したときの前記カメラの姿勢および画角に関する情報を含むカメラパラメータとから、前記被写体に対応する映像オブジェクトの移動軌跡を算出し、その算出した映像オブジェクトの移動軌跡を表す軌跡画像と前記カメラによって撮影された映像とを合成する映像オブジェクトの軌跡画像合成装置であって、
   前記映像を構成する映像フレーム内における前記映像オブジェクトの探索範囲を設定する探索位置更新設定手段と、
   前記映像フレームの輝度のヒストグラムである輝度ヒストグラムを生成し、当該輝度ヒストグラムに基づいて、前記探索位置更新設定手段によって設定された探索範囲から前記映像オブジェクトを抽出するための前記輝度に対する閾値と、当該閾値より輝度の高い領域を抽出するか、もしくは、低い領域を抽出するかを決定し、決定された前記領域の画像を、前記映像オブジェクトを含む前景画像として抽出する閾値決定手段と、
   前記閾値決定手段によって抽出された前記前景画像から、前記映像オブジェクトの画像特徴を利用して前記映像オブジェクトを選定するオブジェクト領域選定手段と、
   前記オブジェクト領域選定手段によって選定された前記映像オブジェクトの前記映像フレーム内における位置から、当該映像フレームの次の前記映像フレーム内における前記映像オブジェクトの位置を示す２次元予測位置を算出する２次元予測位置算出手段と、
   前記オブジェクト領域選定手段によって選定された映像オブジェクトの前記映像フレーム内における位置と前記カメラパラメータとに基づいて、当該映像フレームが撮影された時点の前記被写体の実空間における位置を示す３次元位置を算出するオブジェクト３次元位置算出手段と、
   前記オブジェクト３次元位置算出手段によって得られた３次元位置を記憶するオブジェクト３次元位置記憶手段と、
   前記オブジェクト３次元位置記憶手段に記憶された３次元位置に基づき、前記軌跡画像を生成する軌跡画像生成手段と、
   前記軌跡画像生成手段で生成された前記軌跡画像と前記映像フレームとを合成して出力する軌跡画像合成手段と、を備え、
   前記探索位置更新設定手段が、前記２次元予測位置算出手段によって算出された２次元予測位置に基づいて、前記次の映像フレームの前記探索範囲を設定する、ことを特徴とする映像オブジェクトの軌跡画像合成装置。
2. 前記オブジェクト領域選定手段によって選定された前記映像オブジェクトの前記映像フレーム内における位置と、前記カメラパラメータとから、当該映像フレームより後に続いて入力される複数の前記映像フレーム内における前記映像オブジェクトに対応する当該被写体の実空間における位置を示す３次元予測位置を逐次予測する３次元予測位置算出手段と、
   前記３次元予測位置算出手段によって得られた３次元予測位置を投影変換して、当該被写体に対応する前記映像オブジェクトの前記次の映像フレーム内での位置を算出するスクリーン座標変換手段と、
   前記スクリーン座標変換手段によって得られた前記映像フレーム内における前記位置を示す点の列を、曲線を用いて補間する軌跡曲線補間手段と、を備え、
   前記オブジェクト領域選定手段が、前記軌跡曲線補間手段によって生成された前記曲線から、前記次の映像フレームの前記前景画像に含まれる前記映像オブジェクトの候補となる各々の領域までの距離に基づいて、前記映像オブジェクトを選定することを特徴とする請求項１に記載の映像オブジェクトの軌跡画像合成装置。
3. 前記３次元予測位置算出手段によって得られた３次元予測位置に基づいて、前記被写体の実空間における高さが、予め設定された高さに対して下回るかどうかを判定する被写体高さ判定手段と、を備え、
   前記探索位置更新設定手段は、前記被写体高さ判定手段によって下回ると判定された時点の前記映像フレームの次の前記映像フレーム内において、当該映像フレームの前の映像フレームの前記探索範囲より広い前記探索範囲を設定することを特徴とする請求項２に記載の映像オブジェクトの軌跡画像合成装置。
4. 前記映像を記憶する映像記憶手段と、
   前記カメラパラメータを記憶するカメラパラメータ記憶手段と、を備え、
   前記探索位置更新設定手段は、前記映像記憶手段に記憶された前記映像を構成する時系列の前記映像フレームを逆の順番に入力して、前記映像フレームにおける前記探索範囲を設定し、前記オブジェクト３次元位置算出手段が、前記カメラパラメータ記憶手段に記憶された時系列の前記カメラパラメータを逆の順番に入力して、前記３次元位置を算出する、ことを特徴とする請求項１ないし請求項３に記載の映像オブジェクトの軌跡画像合成装置。
5. 移動する被写体をカメラにより撮影した映像と、前記被写体を撮影したときの前記カメラの姿勢および画角に関する情報を含むカメラパラメータとから、前記被写体の実空間における位置を示す３次元位置を算出して、外部に接続された記憶装置に記憶し、この３次元位置に基づいて、前記被写体に対応する映像オブジェクトの移動軌跡を表す軌跡画像を生成した当該軌跡画像と前記カメラによって撮影された映像とを合成するために、コンピュータを、
   前記映像を構成する映像フレーム内における前記映像オブジェクトの探索範囲を設定する探索位置更新設定手段、
   前記映像フレームの輝度のヒストグラムである輝度ヒストグラムを生成し、当該輝度ヒストグラムに基づいて、前記探索位置更新設定手段によって設定された探索範囲から前記映像オブジェクトを抽出するための前記輝度に対する閾値と、当該閾値より輝度の高い領域を抽出するか、もしくは、低い領域を抽出するかを決定し、決定された前記領域の画像を、前記映像オブジェクトを含む前景画像として抽出する閾値決定手段、
   前記閾値決定手段によって抽出された前記前景画像から、前記映像オブジェクトの画像特徴を利用して映像オブジェクトを選定するオブジェクト領域選定手段、
   前記オブジェクト領域選定手段によって選定された前記映像オブジェクトの前記映像フレーム内における位置から、次の前記映像フレーム内における前記映像オブジェクトの位置を示す２次元予測位置を算出する２次元予測位置算出手段、
   前記オブジェクト領域選定手段によって選定された映像オブジェクトの前記映像フレーム内における位置と前記カメラパラメータとに基づいて、当該映像フレームが撮影された時点の前記被写体の実空間における位置を示す３次元位置を算出して前記記憶装置に記憶するオブジェクト３次元位置算出手段、
   前記記憶装置に記憶された３次元位置に基づき、前記軌跡画像を生成する軌跡画像生成手段、
   前記軌跡画像生成手段で生成された前記軌跡画像と前記映像フレームとを合成して出力する軌跡画像合成手段、として機能させ、
   前記探索位置更新設定手段が、前記２次元予測位置算出手段によって算出された２次元予測位置に基づいて、前記映像フレームの前記探索範囲を設定することを特徴とする映像オブジェクトの軌跡画像合成プログラム。

Images