JP2006042229A - 映像オブジェクト抽出装置、映像オブジェクト軌跡合成装置、その方法及びそのプログラム - Google Patents

Abstract

【課題】 背景画像にノイズが存在する場合にボールを安定に抽出・追跡することが可能な映像オブジェクト抽出装置を提供する。
【解決手段】 時系列に入力される連続した第１乃至第３の画像のうち、第１の画像の記憶手段１１２と、第２の画像の記憶手段１１１と、第３の画像と第２の画像との輝度の差分を画素値とした第１の差分画像を生成する手段１１３と、第２の画像と第１の画像との輝度の差分を画素値とした第２の差分画像を生成する手段１１４と、第１の差分画像の画素値の符号と第２の差分画像の画素値の符号とが異なる領域を判別してオブジェクト候補画像を生成する候補画像生成手段１１５とを備えるオブジェクト候補画像生成手段１１と、オブジェクト候補画像の中から、所定の抽出条件に基づいて、抽出すべき映像オブジェクトの位置を抽出するオブジェクト抽出手段１２とを有する。
【選択図】 図１

Description

本発明は、入力された映像に含まれる映像オブジェクトを抽出し、映像オブジェクトの移動軌跡を映像上に合成する映像オブジェクト抽出装置、映像オブジェクト軌跡合成装置、その方法及びそのプログラムに関する。

従来、映像に含まれるオブジェクト（映像オブジェクト）を抽出し、追跡する映像オブジェクト抽出技術は種々存在している（例えば、特許文献１参照）。
そして、その抽出した映像オブジェクトの位置情報を利用して、映像に特殊な効果を持たせることで、映像制作の幅を広げる試みが行われている。映像に特殊効果を持たせる一例としては、野球中継等で、ピッチャーが投げたボール（映像オブジェクト）を追跡し、その後に、ピッチャーの投球映像にボールの移動軌跡をＣＧ（コンピュータ・グラフィックス）により合成するものがある。これによって、視聴者は、ピッチャーがボールを離した瞬間からキャッチャーがボールを捕球するまでのボールの軌跡、例えば、変化球の変化をより実感することができる。

特許文献１の映像オブジェクト追跡装置は、入力された映像信号を前景画像と背景画像とに二値化したシルエット画像を生成し、映像オブジェクトの動き予測を、過去２フレームの映像オブジェクト領域から推定するものである。この従来の映像オブジェクト追跡装置は、２枚の連続画像から輝度差分抽出処理を行うことにより、映像から映像オブジェクトを抽出し、追跡するものであり、一旦記憶した映像を処理するものであった。つまり、抽出した映像オブジェクトの位置情報に基づいて、リアルタイムで映像オブジェクトの移動軌跡を合成するものではなかった。
そのため、本願出願人は、リアルタイムで映像オブジェクトの移動軌跡を合成する映像オブジェクト軌跡合成装置（特願２００３−３５５６２０号）を先に出願している。この映像オブジェクト軌跡合成装置では、移動する映像オブジェクトを追跡する際には、映像オブジェクトの次画像での位置座標を予測し、予測点周辺を探索領域とする必要がある。このような位置予測の手法として、先に出願した映像オブジェクト軌跡合成装置では線形予測を行っているのが現状である。
なお、線形予測の一例として、ブロックマッチングやオプティカルフローを用いた動きベクトルを算出する手法もある（例えば、特許文献２参照）。
特開２００３−４４８６０号公報（段落００１８〜００２７、図１） 特開２００２−１５０２９１号公報（段落００５０〜００６０、図３）

しかしながら、従来の映像オブジェクト抽出技術では、２枚の連続画像から輝度差分抽出処理を行うため、対象とする映像オブジェクト以外のノイズが多く発生する。一例として野球中継において、抽出対象とする映像オブジェクト（ボール）の周囲に他の動オブジェクトが存在した場合に誤抽出する場合が多い。具体的には、ボール以外にピッチャーやキャッチャーの手を抽出し、合成映像にこれらの残像までも表示してしまう。また、野球中継においてピッチャーからバッターに臨む映像がカメラ配置の関係上、右方向からの映像なので、左バッターがバッターボックスに入った場合にはボールの軌道上に左バッターが存在することになる。この左バッターはボールと比較して大きな動物体として作用するので、作画される画像に大量のノイズ成分が発生する。このため、ボールの抽出に失敗することが多い。それ故、左バッターに対してはボールの軌跡を映像に合成した合成映像（ボール軌跡表示）が殆ど利用されることがなかった。また、ピッチャーが投げるボールの軌跡は直線ではないので、バッター近くのボール予測位置は線形予測のみでは正確に求めることができない。このため、ボールの探索領域を広くとる必要があり、ボールを抽出するための演算量を抑えることができないという問題がある。

本発明は、以上のような問題点に鑑みてなされたものであり、背景画像にノイズが存在する場合でも映像オブジェクトを安定に抽出・追跡することが可能な映像オブジェクト抽出装置、映像オブジェクト軌跡合成装置、その方法及びそのプログラムを提供することを目的とする。

本発明は、前記目的を達成するために創案されたものであり、まず、請求項１記載の映像オブジェクト抽出装置は、入力された映像に含まれる映像オブジェクトの位置を抽出する映像オブジェクト抽出装置であって、オブジェクト候補画像生成手段と、オブジェクト抽出手段と、を有し、前記オブジェクト候補画像生成手段は、第１の画像記憶手段と、第２の画像記憶手段と、第１の差分画像生成手段と、第２の差分画像生成手段と、候補画像生成手段と、を備える構成とした。

かかる構成によれば、映像オブジェクト抽出装置は、オブジェクト候補画像生成手段によって、時系列に入力される連続した第１の画像（過去）、第２の画像（現在）及び第３の画像（未来）のうち、第１の画像を第１の画像記憶手段に記憶すると共に、第２の画像を第２の画像記憶手段に記憶する。また、オブジェクト候補画像生成手段は、第１の差分画像生成手段によって、例えば第２の画像記憶手段に記憶された第２の画像の輝度から、新たに入力される第３の画像の輝度を引くことによって第１の差分画像を生成する。また、第２の差分画像生成手段によって、第１の記憶手段に記憶された第１の画像の輝度から、第２の記憶手段に記憶された第２の画像の輝度を引くことによって第２の差分画像を生成する。これら第１の差分画像と第２の差分画像とは、候補画像生成手段に入力される。この候補画像生成手段は、第１の差分画像と第２の差分画像の共通位置に配された画素値を参照して第１の差分画像の画素値の符号と第２の差分画像の画素値の符号とが異なる領域を判別し、オブジェクト候補画像を生成する。

ここで、入力画像中の映像オブジェクトが高速で移動し、背景画像よりも輝度が高いとすれば、候補画像生成手段は、第１の差分画像の画素値の符号がプラスであり、且つ、第２の差分画像の画素値の符号がマイナスとなる領域を映像オブジェクト候補画像として抽出する。つまり、映像オブジェクト候補画像は、第１の差分画像の画素値の符号と第２の差分画像の画素値の符号とが異なる領域に示される画像である。また、入力画像中の映像オブジェクトが背景画像よりも輝度が低い場合や、差分画像の生成の仕方を変更した場合にも、第１の差分画像の画素値の符号と第２の差分画像の画素値の符号とが異なる領域を映像オブジェクト候補画像とすることができる。

そして、映像オブジェクト抽出装置は、オブジェクト抽出手段が、抽出条件を参照することで、オブジェクト候補画像の中から、抽出すべき映像オブジェクトの位置を抽出する。例えば、記憶手段に、予め抽出対象となる映像オブジェクトの抽出条件を記憶しておくことで、複数の映像オブジェクトの候補から１つの映像オブジェクトを特定することが可能になる。これによって、抽出すべき映像オブジェクトの画像内における位置が特定される。ここで、映像オブジェクトの位置は映像オブジェクトの重心座標等を用いることができる。

請求項２記載の映像オブジェクト抽出装置は、請求項１に記載の映像オブジェクト抽出装置において、前記オブジェクト抽出手段で抽出された映像オブジェクトの位置に基づいて、次に入力される画像内における前記映像オブジェクトの位置を予測し、前記映像オブジェクトの予測位置情報を前記オブジェクト候補画像生成手段に出力するオブジェクト位置予測手段をさらに備えることを特徴とする。

かかる構成によれば、映像オブジェクト抽出装置は、オブジェクト位置予測手段によって、オブジェクト抽出手段で抽出された映像オブジェクトの位置に基づいて、次に入力されるフィールド画像内における映像オブジェクトの探索領域を、映像オブジェクトの近傍領域に設定する。

請求項３記載の映像オブジェクト抽出装置は、請求項２に記載の映像オブジェクト抽出装置において、前記オブジェクト位置予測手段は、前記映像オブジェクトの軌跡が直線になると予測する線形予測手段と、前記映像オブジェクトの軌跡が曲線になると予測する曲線予測手段と、前記映像オブジェクトの過去に抽出された位置座標の数または前記曲線の方程式に基づいて、前記線形予測手段による線形予測と前記曲線予測手段による曲線予測とを切り替える切替手段とを有することを特徴とする。

かかる構成によれば、オブジェクト位置予測手段は、例えば、映像オブジェクトの過去に抽出された位置座標が所定数よりも少ない場合には線形予測を実行し、前記所定数以上である場合には曲線予測を実行する。また、例えば曲線予測を実行しているときに、曲線の方程式が許容範囲を超えて更新された場合には、直線予測に切り替える。また、線形予測手段は、例えば、カルマンフィルタを用いることで、逐次移動する映像オブジェクトの位置を推定し、探索領域を限定することができる。また、曲線予測手段は、例えば最小自乗法により映像オブジェクトの予測軌跡としての曲線を予測する。

請求項４記載の映像オブジェクト軌跡合成装置は、請求項１乃至請求項３のいずれか１項に記載の映像オブジェクト抽出装置と、前記オブジェクト抽出手段で抽出された映像オブジェクトの位置に基づいて、時系列に入力される画像に対応した領域に前記映像オブジェクトを示す画像を作画することで、前記映像オブジェクトの移動軌跡を抽出した軌跡画像を生成する作画手段と、前記軌跡画像と前記時系列に入力される画像とを合成する画像合成手段と、を備えている構成とした。

かかる構成によれば、映像オブジェクト軌跡合成装置は、作画手段によって、オブジェクト抽出手段で抽出した映像オブジェクトの位置から、映像オブジェクトの移動軌跡のみを作画した軌跡画像を生成する。なお、この軌跡画像は、入力画像毎に抽出した映像オブジェクトを時系列に順次上書きすることで、生成することができる。このようにして生成された軌跡画像を、画像合成手段によって、逐次入力画像と合成することで、映像に抽出対象となる映像オブジェクトの移動軌跡を合成した合成映像が生成される。

請求項５記載の映像オブジェクト軌跡合成方法は、差分画像生成ステップと、オブジェクト候補画像生成ステップと、オブジェクト抽出ステップと、作画ステップと、画像合成ステップと、を含んでいることを特徴とする。

この手順によれば、映像オブジェクト軌跡合成方法は、差分画像生成ステップによって、時系列に入力される連続画像から、第１の差分画像と第２の差分画像とを生成する。そして、オブジェクト候補画像生成ステップによって、第１の差分画像の画素値の符号と第２の差分画像の画素値の符号とが異なる領域を、映像オブジェクトの候補として抽出したオブジェクト候補画像を生成する。そして、オブジェクト抽出ステップにおいて、オブジェクト候補画像の中から、抽出すべき映像オブジェクトの位置を抽出する。ここで、抽出条件には、抽出すべき映像オブジェクトの位置、面積、輝度、色及び円形度の少なくとも１つ以上を用いる。そして、映像オブジェクト軌跡合成方法は、作画ステップによって、映像オブジェクトの移動軌跡のみを作画した軌跡画像を生成する。この軌跡画像を、画像合成ステップによって、逐次入力画像と合成することで、抽出対象となる映像オブジェクトの移動軌跡を映像に合成した合成映像が生成される。

さらに、請求項６に記載の映像オブジェクト軌跡合成プログラムは、コンピュータを、差分画像生成手段、オブジェクト候補画像生成手段、オブジェクト抽出手段、作画手段、画像合成手段、として機能させることを特徴とする。

かかる構成によれば、映像オブジェクト軌跡合成プログラムは、差分画像生成手段によって、時系列に入力される連続画像から、第１の差分画像と第２の差分画像とを生成する。そして、オブジェクト候補画像生成手段によって、第１の差分画像の画素値の符号と第２の差分画像の画素値の符号とが異なる領域を、映像オブジェクトの候補として抽出したオブジェクト候補画像を生成する。そして、オブジェクト抽出手段によって、オブジェクト候補画像の中から、抽出すべき映像オブジェクトの位置を抽出する。さらに、映像オブジェクト軌跡合成プログラムは、作画手段によって、映像オブジェクトの移動軌跡のみを作画した軌跡画像を生成する。この軌跡画像を画像合成手段によって、逐次フィールド画像と合成することで、抽出対象となる映像オブジェクトの移動軌跡を映像に合成した合成映像が生成される。

請求項１記載の発明によれば、オブジェクト候補画像生成手段により、２つの差分画像で画素値が異符号となる領域がオブジェクト候補画像として抽出されるので、抽出対象とする映像オブジェクトの近傍に、ノイズとしての他の動オブジェクトが存在していても、高速で移動する映像オブジェクトだけを安定に抽出することが可能になる。

請求項２記載の発明によれば、入力画像内において、逐次移動する映像オブジェクトの位置を推定することができ、その位置に基づいて、映像オブジェクトの探索領域を映像オブジェクトの近傍に設定することができるので、映像オブジェクトを抽出する際の演算量を抑えることができる。

請求項３記載の発明によれば、線形予測と曲線予測とを切り替えるので、高精度且つ誤検出を低減した位置予測をすることができ、映像オブジェクトを安定に追跡することができる。

請求項４、請求項５または請求項６に記載の発明によれば、映像から抽出対象となる映像オブジェクトを抽出、追跡し、その映像オブジェクトの移動軌跡を、人手を介さず映像に合成することができる。これによって、新たな特殊効果を持った映像を提供することが可能になる。

次に、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
まず、図１を参照して、本発明に係る映像オブジェクト軌跡合成装置の構成について説明する。図１は、映像オブジェクト軌跡合成装置の構成を示したブロック図である。
図１に示すように、映像オブジェクト軌跡合成装置１は、入力された映像から、追跡対象となる動きを伴うオブジェクト（映像オブジェクト）を抽出し、追跡するとともに、その映像オブジェクトの移動軌跡を映像上に合成するものである。なお、追跡対象の映像オブジェクトは例えばボールを前提としている。ここでは、映像オブジェクト軌跡合成装置１は、映像オブジェクト抽出装置１０と、映像遅延手段２０と、作画・画像合成手段３０とを備えて構成されている。

映像オブジェクト抽出装置１０は、入力された映像からボールの位置座標及び特徴量を抽出し、抽出した位置座標及び特徴量を作画・画像合成手段３０に出力するものである。なお、この映像オブジェクト抽出装置１０は、位置座標のみを抽出、出力するように構成してもよい。
映像遅延手段２０は、入力された映像を遅延させて作画・画像合成手段３０に出力するものである。
作画・画像合成手段３０は、映像オブジェクト抽出装置１０により抽出されたボールの位置に相当する場所に、ＣＧ（コンピュータ・グラフィックス）によりボールの軌跡を作画する作画手段３１と、作画したボールの軌跡画像と映像遅延手段２０により遅延された映像とを合成し合成映像を出力する画像合成手段３２とを備えている。なお、作画・画像合成手段３０は、映像オブジェクト抽出装置１０がボールの抽出に失敗した場合に、ボールの軌跡を内挿により補間する補間手段（図示せず）を備えている。

映像オブジェクト抽出装置１０は、図１に示すように、オブジェクト候補画像生成手段１１と、ボール選定手段１２と、抽出条件記憶手段１３と、位置予測手段１４と、探索領域設定手段１５とを備えている。
オブジェクト候補画像生成手段１１は、入力された映像から、その映像を構成するフィールド画像毎に探索領域を切り出し、追跡対象となる映像オブジェクトの候補を抽出したオブジェクト候補画像を生成するものである。なお、映像は、例えば１秒間に６０枚のフィールド画像から構成されている。そこで、オブジェクト候補画像生成手段１１は、このフィールド画像の中から映像オブジェクトの候補を抽出し、２値化することで、その映像オブジェクトの候補だけからなる画像（オブジェクト候補画像）を生成している。このオブジェクト候補画像は、追跡対象となる映像オブジェクトに類似する映像オブジェクトを複数抽出した画像である。例えば、オブジェクト候補画像は、動きを伴った映像オブジェクト等、追跡対象となる映像オブジェクトを大まかに抽出した画像である。

このオブジェクト候補画像生成手段１１は、画像記憶部１１１，１１２と、差分画像生成手段１１３，１１４と、候補画像生成手段１１５とを備えて構成されている。
画像記憶部１１１，１１２は、例えば映像信号を１フィールド単位でデジタルデータとして記録し、各種の信号／画像処理をするためのメモリである。
画像記憶部１１１（第２の画像記憶手段）は、連続する３枚の入力画像のうち中間の位置（現在）の入力画像（奇数フィールドおよび偶数フィールド）を記憶する。ここで記憶される現在の入力画像はボール選定手段１２に出力される。
画像記憶部１１２（第１の画像記憶手段）は、連続する３枚の入力画像のうち最初の位置（過去）の入力画像（奇数フィールドおよび偶数フィールド）を記憶する。

差分画像生成手段１１３（第１の差分画像生成手段）は、現在の入力画像を遅延させ、遅延させた現在の入力画像の輝度から、新たに入力した画像（未来）の輝度を差し引くことによって差分画像１（第１の差分画像）を生成し、生成した差分画像１を候補画像生成手段１１５に出力するものである。
差分画像生成手段１１４（第２の差分画像生成手段）は、過去の入力画像を遅延させ、遅延させた過去の入力画像の輝度から、現在の入力画像の輝度を差し引くことによって差分画像２（第２の差分画像）を生成し、生成した差分画像２を候補画像生成手段１１５に出力するものである。

候補画像生成手段１１５は、探索領域の全画素に対して差分画像１及び差分画像２を所定の輝度閾値と比較して、例えば、画像の画素値が予め定めた所定の条件を満たす場合に、画素値を“１（白）”、それ以外の場合に“０（黒）”と判別することで２値化画像を生成するものである。この候補画像生成手段１１５は、これによって、例えば、画素値が“１（白）”となる領域を映像オブジェクトの候補として抽出することができる。ここで生成された２値化画像は、映像オブジェクトの候補を抽出したオブジェクト候補画像として、ボール選定手段１２に出力される。

ボール選定手段１２（オブジェクト抽出手段）は、オブジェクト候補画像生成手段１１で生成されたオブジェクト候補画像の中から、抽出条件記憶手段１３に記憶されている抽出条件に基づいて、抽出（追跡）対象となる映像オブジェクト（ボール）を選択し、その映像オブジェクトの位置及び映像オブジェクトを特徴付ける特徴量を抽出するものである。ここでは、ボール選定手段１２は、ラベリング部１２１と、特徴量解析部１２２と、フィルタ処理部１２３と、オブジェクト選択部１２４とを備えて構成されている。

ラベリング部１２１は、オブジェクト候補画像生成手段１１で生成されたオブジェクト候補画像（２値化画像）の中で、映像オブジェクトの候補となる領域に対して番号（ラベル）を付すものである。すなわち、ラベリング部１２１は、映像オブジェクトの領域である“１（白）”の画素値を持つ連結した領域（連結領域）に対して１つの番号を付す。これによって、オブジェクト候補画像内の映像オブジェクトの候補が番号付けされたことになる。

特徴量解析部１２２は、ラベリング部１２１で番号付けされた映像オブジェクトの候補毎に、映像オブジェクトの候補の位置座標や、映像オブジェクトの“面積、輝度、色及び円形度”などの特徴量（パラメータ）の値を算出する。
ここで、“位置”は、例えば、映像オブジェクトの重心位置を示す。“面積”は、例えば、映像オブジェクトの画素数を示す。また、“輝度”は、映像オブジェクトにおける各画素の輝度の平均値を示す。また、“色”は、映像オブジェクトにおける各画素のＲＧＢ値の平均値を示す。また、“円形度”は、映像オブジェクトの円形の度合いを示すものであって、円形に近いほど大きな値を有するものである。例えば、抽出対象の映像オブジェクトがボールのような円形の形状を有するものの場合は、抽出条件の円形度は円形に近いほど１に近い値になる。この円形度ｅは、映像オブジェクトの面積をＳ、周囲長をＬとしたとき、以下の（１）式で表される。

ｅ＝４πＳ／Ｌ²…（１）

フィルタ処理部１２３は、特徴量解析部１２２が算出したパラメータの値を用いて、抽出条件記憶手段１３に記憶されている抽出条件情報（パラメータ目標値）等に合致する映像オブジェクトかどうかを判定することで、抽出（追跡）対象となる映像オブジェクトを絞り込むものである。すなわち、このフィルタ処理部１２３は、映像オブジェクトの候補毎に、抽出条件記憶手段１３に記憶されている抽出条件（例えば、面積、輝度、色及び円形度）や後記する位置予測手段１４による予測位置に基づいて、特徴量解析部１２２で解析された特徴量をフィルタ（位置フィルタ、面積フィルタ、輝度フィルタ、色フィルタ及び円形度フィルタ）にかけることで、抽出条件を満たす映像オブジェクトを、抽出すべき映像オブジェクトとして選択する。
なお、画像記憶部１１１に記憶された現在のフィールド画像（奇数フィールドおよび偶数フィールド）は前記のようにボール選定手段１２に出力されており、フィルタ処理部１２３は、入力画像を１フレーム（２フィールド）分遅らせた画像を参照画像としてフィルタ処理を「現在」のタイミングで行う。

オブジェクト選択部１２４は、全てのフィルタを通過したオブジェクトの中で、ボールの予測位置座標に最も近いオブジェクト候補をボールとして選択するものである。ここで抽出した映像オブジェクトの位置は、現在の映像オブジェクトの位置情報として、抽出条件記憶手段１３に書き込まれる。ここで映像オブジェクトの位置としては、映像オブジェクトの重心座標、多角形近似の頂点座標、スプライン曲線の制御点座標等を用いることができる。なお、オブジェクト選択部１２４は、抽出条件に適合した映像オブジェクトを選択できなかった場合は、その旨（抽出失敗）を作画・画像合成手段３０に通知する。

抽出条件記憶手段１３は、抽出（追跡）対象となる映像オブジェクトを選択するための条件を記憶するもので、一般的なハードディスク等の記憶媒体である。この抽出条件記憶手段１３は、種々の抽出条件を示す抽出条件情報（パラメータ目標値）と、映像オブジェクトの位置を示す位置情報とを記憶している。

抽出条件情報は、抽出すべき映像オブジェクトの抽出条件を記述した情報であって、例えば、面積、輝度、色及び円形度の少なくとも１つ以上の抽出条件を記述したものである。この抽出条件情報は、ボール選定手段１２が、オブジェクト候補画像生成手段１１で生成されたオブジェクト候補画像から抽出すべき映像オブジェクトを選択するためのフィルタ（面積フィルタ、輝度フィルタ、色フィルタ及び円形度フィルタ）の条件となるものである。
なお、抽出条件情報には、面積フィルタ、輝度フィルタ、色フィルタ及び円形度フィルタの条件として、予め定めた初期値と、その許容範囲を示す閾値とを記憶しておく。これによって、各フィルタは閾値外の値（特徴）を持つ映像オブジェクトを抽出すべき映像オブジェクトの候補から外すことができる。

抽出条件記憶手段１３に記憶される位置情報は、現在追跡している映像オブジェクトの位置を示す情報である。この位置情報は、例えば、映像オブジェクトの重心座標とする。この重心座標は、ボール選定手段１２の特徴量解析部１２２によって算出される。なお、この位置情報は、抽出条件情報に合致する映像オブジェクトが複数存在する場合に、位置情報で示した座標に最も近い映像オブジェクトを、抽出すべき映像オブジェクトとして決定するための抽出条件としても利用される。

位置予測手段１４は、ボール選定手段１２で選定されたボールの位置（重心座標等）に基づいて、ボールの予測位置を推定し、次に入力されるフィールド画像における、予測位置情報を探索領域設定手段１５に出力するものである。
この位置予測手段１４は、線形予測手段１４１と、曲線予測手段１４２と、切替手段１４３とを備えて構成されている。

線形予測手段１４１は、動きベクトルを利用しボールの軌跡が直線になると予測するものである。この線形予測手段１４１は、例えば、重心座標にカルマンフィルタ（Ｋａｌｍａｎ ｆｉｌｔｅｒ）を適用することで、次フィールド画像（次フレーム）におけるボールの位置を予測し、探索領域を推定する。カルマンフィルタは、時系列に観測される観測量に基づいて現在の状態を推定する「濾波」と、未来の状態を推定する「予測」とを行う漸化式を適用することで、時々刻々と変化する状態を推定するものである。

曲線予測手段１４２は、ボールの軌跡が最小自乗法で求めた２次曲線になると予測するものである。この曲線予測手段１４２は、ボールを抽出する度に曲線予測に利用する２次曲線（ｙ＝ａｘ²＋ｂｘ＋ｃ）を更新すると共に、２次曲線の係数a，bを監視しており、係数ａ，ｂの符号が変化したり、係数ａ，ｂの値が所定値を超えたりしたか否かを判別し、判別結果を切替手段１４３に出力する。

切替手段１４３は、過去に抽出されたボールの位置座標の数または２次曲線の方程式に基づいて、線形予測手段１４１による線形予測と曲線予測手段１４２による曲線予測とを切り替えるものである。ここで、切替手段１４３は、例えば映像オブジェクトの過去に抽出された位置座標が所定数以上である場合には曲線予測を選択し、前記所定数より少ない場合には線形予測を選択する。この所定数は例えば３個であり、特に正確な曲線を求める場合には５個以上が好適である。また、曲線予測を実行しているときに、２次曲線の方程式（ｙ＝ａｘ²＋ｂｘ＋ｃ）の係数ａ，ｂの符号が変化したり、係数ａ，ｂの値が所定値を超えた場合には、切替手段１４３は曲線予測から線形予測に切り替える。

探索領域設定手段１５は、位置予測手段１４によって算出された次フィールド（次フレーム）でのボールの予測位置を利用して、フィールド画像中に所定範囲のボールの探索領域を設定するものである。この探索領域設定手段１５は、設定された探索領域の位置及び大きさを、探索領域情報としてオブジェクト候補画像生成手段１１へ出力する。探索領域の初期値は、図示していないマウス、キーボード等の入力手段によって入力される。探索領域設定手段１５は、初期設定された探索領域を、ボールの動きに合わせて逐次移動する。

以上説明した映像オブジェクト軌跡合成装置１は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置を動作させることにより実現することができる。このプログラム（映像オブジェクト軌跡合成プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。

次に、図２乃至図５を参照して、映像オブジェクト軌跡合成装置１の動作について説明する。図２は、映像オブジェクト軌跡合成装置１の全体動作を示すフローチャートである。図３は、映像オブジェクト抽出装置１０によるボール抽出処理の動作を示すフローチャートである。図４は、オブジェクト候補画像生成手段１１におけるオブジェクト候補画像の抽出処理の動作を示すフローチャートである。図５は、ボール選定手段１２におけるボール選定処理の動作を示すフローチャートである。
まず、図２を参照（適宜図１参照）して、映像オブジェクト軌跡合成装置１の動作について説明する。

映像オブジェクト軌跡合成装置１は、映像オブジェクト抽出装置１０によって、入力された映像から抽出（追跡）対象とするボールを抽出する処理を行う（ステップＳ２０１）。なお、このステップＳ２０１におけるボール抽出処理の詳細な動作については、図３を参照して後で説明することとする。

映像オブジェクト軌跡合成装置１は、作画手段３１によって、映像オブジェクトの特徴量を示す画像を作画する（ステップＳ２０２）。このステップＳ２０２では、ステップＳ２０１で抽出したボールの位置（例えば、重心座標）に、特徴量（例えば、テクスチャ）を作画する。

そして、映像オブジェクト軌跡合成装置１は、画像合成手段３２によって、軌跡画像と、映像遅延手段２０により遅延された映像を構成する入力画像とを合成し、合成画像を生成する（ステップＳ２０３）。なお、画像合成手段３２が、この合成画像を連続して出力することで、映像オブジェクトの移動軌跡を映像に合成した合成映像が生成されることになる。

ステップＳ２０３に続いて、映像オブジェクト軌跡合成装置１は、次に処理すべき画像（次入力画像）が存在するかどうかを判別する（ステップＳ２０４）。次入力画像がある場合には（ステップＳ２０４；Ｙｅｓ）、映像オブジェクト軌跡合成装置１は、ステップＳ２０１にて抽出したボールの位置（重心座標等）に基づいて、位置予測手段１４により、次に入力される画像におけるボールの探索領域を推定し（ステップＳ２０５）、ステップＳ２０１に戻る。この探索領域の推定には、後記するように、最小自乗法及びカルマンフィルタを用いることができる。また、映像オブジェクト軌跡合成装置１は、ボールを探索する領域を適宜更新しながら、ボールの抽出を行うため、ボールを抽出・更新するための演算量を抑えることができる。なお、ステップＳ２０４において次入力画像がない場合には（ステップＳ２０４；Ｎｏ）、動作を終了する。
以上の動作によって、映像オブジェクト軌跡合成装置１は、映像として時系列に入力されるフィールド画像から、追跡対象となる映像オブジェクト（ボール）を逐次抽出、追跡し、映像オブジェクトの移動軌跡を映像に合成した合成映像を出力することができる。

次に、図３を参照（適宜図１参照）して、映像オブジェクト軌跡合成装置１の映像オブジェクト抽出装置１０における、ボール抽出処理（図２のステップＳ２０１）の動作について説明する。
まず、図示していないマウス、キーボード等の入力手段によって探索領域が入力され、映像オブジェクト抽出装置１０は、探索領域設定手段１５によって、入力された映像を構成する画像において、画像の一部の範囲に映像オブジェクトを探索する探索領域を設定する（ステップＳ３０１）。なお、この探索領域は、ボールの動きに追従して位置が適宜更新される。

次に、映像オブジェクト抽出装置１０は、オブジェクト候補画像生成手段１１によって、探索領域からボールの候補画像（オブジェクト候補画像）を抽出する処理を行う（ステップＳ３０２）。なお、このステップＳ３０２におけるボールの候補画像の抽出処理の詳細な動作については、図４を参照して後で説明することとする。

映像オブジェクト抽出装置１０は、オブジェクト候補画像生成手段１１によってボールの候補画像が抽出されると、ボール選定手段１２によって、ボールの候補画像を絞り込み、ボールの位置座標及び特徴量を抽出する（ステップＳ３０３）。なお、このステップＳ３０３におけるボール選定処理の詳細な動作については、図５を参照して後で説明することとする。
ステップＳ３０３に続いて、映像オブジェクト抽出装置１０は、ボール選定手段１２によって、ステップＳ３０３においてオブジェクト候補画像から絞り込んで選定したボールの位置座標及び特徴量を作画・画像合成手段３０に出力する（ステップＳ３０４）。

次に、図４を参照（適宜図１参照）して、映像オブジェクト抽出装置１０のオブジェクト候補画像生成手段１１における、オブジェクト候補画像の抽出処理（図３のステップＳ３０２）の動作について説明する。
オブジェクト候補画像生成手段１１には、３枚の連続した入力画像（過去、現在、未来）が入力される。

オブジェクト候補画像生成手段１１は、差分画像生成手段１１３によって、現在の入力画像（画像記憶部１１１に記憶された画像：例えば奇数フィールド）と未来の入力画像（最新の入力画像：例えば奇数フィールド）との間の輝度差を画素値とした差分画像Ｉｍａｇｅ１（差分画像１）を生成する（ステップＳ４０１）。
また、オブジェクト候補画像生成手段１１は、差分画像生成手段１１４によって、現在の入力画像（画像記憶部１１１に記憶された画像：例えば奇数フィールド）と過去の入力画像（画像記憶部１１２に記憶された画像：例えば奇数フィールド）との間の輝度差を画素値とした差分画像Ｉｍａｇｅ２（差分画像２）を生成する（ステップＳ４０２）。

オブジェクト候補画像生成手段１１は、候補画像生成手段１１５によって、差分画像Ｉｍａｇｅ１，Ｉｍａｇｅ２が以下の条件を満たす領域を判別し、オブジェクト候補画像として抽出する（ステップＳ４０３）。本実施形態では、抽出（追跡）対象とする映像オブジェクトがボールであり、ボールの輝度が背景画像の輝度よりも一般に高いので、式（２）と式（３）とが同時に満たされることがこのときの条件式となる。

Ｉｍａｇｅ１（ｘ，ｙ）＞ Ｔ…（２）
Ｉｍａｇｅ２（ｘ，ｙ）＜ −Ｔ…（３）

ここで、前記式（２）及び（３）におけるＩｍａｇｅ１（ｘ，ｙ）を差分画像Ｉｍａｇｅ１の座標（ｘ，ｙ）に位置する画素の輝度値、Ｉｍａｇｅ２（ｘ，ｙ）を差分画像Ｉｍａｇｅ２の座標（ｘ，ｙ）に位置する画素の輝度値、Ｔを輝度閾値としている。
以下に、前記のように差分画像Ｉｍａｇｅ１，Ｉｍａｇｅ２が条件式（２）及び（３）を満足するときに、高速で移動するオブジェクト（ボール）を抽出できる理由を図６を参照して説明する。

図６は、差分画像の条件式（２）及び（３）を説明するための説明図であり、図６の（ａ）は、３枚の連続した入力画像（それぞれが例えば奇数フィールド画像）を示し、図６の（ｂ）は、２枚の差分画像を示している。図６の（ａ）に示すように、過去、現在、未来を表す連続した３枚のフィールド画像６０１，６０２，６０３には、過去・現在・未来の位置にある１個のボール（Ｍ１，Ｍ２，Ｍ３）が示されている。なお、ボールＭ１，Ｍ２，Ｍ３は、フィールド画像同士で重ならない程度の高速で移動しており、ボールの輝度は背景画像の輝度よりも高い。
また、図６の（ｂ）に示すように、差分画像Ｉｍａｇｅ１は、フィールド画像６０２の輝度からフィールド画像６０３の輝度を引いた差分を画素値として生成されたものである。また、差分画像Ｉｍａｇｅ２は、フィールド画像６０１の輝度からフィールド画像６０２の輝度を引いた差分を画素値として生成されたものである。

差分画像Ｉｍａｇｅ１における領域Ｒ２は、ボールＭ２の輝度からオブジェクトの存在しない領域の輝度を差し引いた輝度差分値を画素値として構成されているので、画素値は符号がプラス（例えば白）となる。
差分画像Ｉｍａｇｅ１における領域Ｒ３は、オブジェクトの存在しない領域の輝度からボールＭ３の輝度を差し引いた輝度差分値を画素値として構成されているので、画素値は符号がマイナス（例えば黒）となる。
差分画像Ｉｍａｇｅ１における領域Ｒ１を含むその他の領域は、オブジェクトの存在しない領域の輝度同士を差し引いた輝度差分値を画素値として構成されているので、画素値は０となる。

差分画像Ｉｍａｇｅ２における領域Ｒ１は、ボールＭ１の輝度からオブジェクトの存在しない領域の輝度を差し引いた輝度差分値を画素値として構成されているので、画素値は符号がプラス（例えば白）となる。
差分画像Ｉｍａｇｅ２における領域Ｒ２は、オブジェクトの存在しない領域の輝度からボールＭ２の輝度を差し引いた輝度差分値を画素値として構成されているので、画素値は符号がマイナス（例えば黒）となる。
差分画像Ｉｍａｇｅ２における領域Ｒ３を含むその他の領域は、オブジェクトの存在しない領域の輝度同士を差し引いた輝度差分値を画素値として構成されているので、画素値は０となる。

差分画像Ｉｍａｇｅ１と差分画像Ｉｍａｇｅ２とを比較すると、差分画像Ｉｍａｇｅ１において画素値の符号がプラスであり（式（２））、且つ、差分画像Ｉｍａｇｅ２において画素値の符号がマイナスである（式（３））領域は、領域Ｒ２すなわちボールＭ２（現在の位置）を表すことになる。従って、映像オブジェクト抽出装置１０は、条件式（２）及び（３）から、高速で移動する映像オブジェクト（ボール）をオブジェクト候補画像として抽出することができる。
なお、対象とする映像オブジェクトの輝度が背景画像の輝度よりも低い場合には、式（４）と式（５）とを同時に満たすことを条件とする。

Ｉｍａｇｅ１（ｘ，ｙ）＜ −Ｔ…（４）
Ｉｍａｇｅ２（ｘ，ｙ）＞ Ｔ…（５）

この場合、差分画像Ｉｍａｇｅ１において画素値の符号がマイナスであり（式（４））、且つ、差分画像Ｉｍａｇｅ２において画素値の符号がプラスである（式（５））領域が映像オブジェクトとして抽出される。

図１の映像オブジェクト軌跡合成装置１の動作について説明を続ける。
図５を参照（適宜図１参照）して、映像オブジェクト抽出装置１０のボール選定手段１２における、ボール選定処理（図３のステップＳ３０３）の動作について説明する。
ボール選定手段１２は、ラベリング部１２１によって、オブジェクト候補画像の中で、映像オブジェクトの候補となる領域に対して番号（ラベル）を付す（ステップＳ５０１）。なお、以降の動作は、映像オブジェクトの候補に付された番号に基づいて、映像オブジェクトの単位で処理される。

ボール選定手段１２は、特徴量解析部１２２によって、ステップＳ５０１で番号付けされた映像オブジェクト毎に、オブジェクト候補画像の中から、抽出条件記憶手段１３に記憶されている抽出条件等に基づいて、抽出（追跡）対象となる映像オブジェクトを選択し、選択した映像オブジェクトの位置及び特徴量を解析（算出）して、映像オブジェクトの位置及び特徴量を抽出する（ステップＳ５０２）。映像オブジェクトの位置としては、例えば、映像オブジェクトの重心座標を用いる。また、映像オブジェクトの特徴量としては、映像オブジェクトの面積、輝度、色、円形度等を用いる。

ボール選定手段１２は、フィルタ処理部１２３によって、オブジェクト候補画像の中から、番号（ラベル）に基づいて、映像オブジェクトを選択し、フィルタ処理を行う（ステップＳ５０３）。すなわち、フィルタ処理部１２３は、選択された映像オブジェクトの「位置」が、位置予測手段１４により予測される範囲に適合するかどうかを判定する。ここで、「位置」による適合条件に合致する場合、フィルタ処理部１２３は、選択された映像オブジェクトの「面積」が、抽出条件記憶手段１３に記憶されている抽出条件に適合するかどうかを判定する。ここで、「面積」による適合条件に合致する場合、フィルタ処理部１２３は、映像オブジェクトの「色」が、抽出条件に適合するかどうかを判定する。また、「色」による適合条件に合致する場合、フィルタ処理部１２３は、映像オブジェクトの「輝度」が、抽出条件に適合するかどうかを判定する。また、「輝度」による適合条件に合致する場合、フィルタ処理部１２３は、映像オブジェクトの「円形度」が、抽出条件に適合するかどうかを判定する。さらに、「円形度」による適合条件に合致する場合、すなわち、すべての抽出条件に適合した場合、フィルタ処理部１２３は、先に選択した映像オブジェクトを、追跡対象の映像オブジェクトとして選択する。

ステップＳ５０３に続いて、ボール選定手段１２は、オブジェクト選択部１２４によって、予測位置座標に最も近い映像オブジェクトを追跡対象のボールとして選択する処理を行う（ステップＳ５０４）。これにより、すべてのフィルタを通過した映像オブジェクトが複数存在する場合にもボールを選定することができる。
以上の動作によって、映像オブジェクト抽出装置１０は、ボール選定手段１２によって、オブジェクト候補画像の中から抽出条件に適した映像オブジェクト（ボール）を選択することができる。

次に、映像オブジェクト抽出装置１０の位置予測手段１４による位置予測処理（ステップＳ２０５）の動作を図７を参照して説明する。図７は位置予測処理を説明するための説明図である。
過去のオブジェクト抽出処理によりそれぞれ異なる時刻のボールＭ１乃至Ｍ４が得られており、また、現在のフィールド画像におけるボールＭ５（図中、二重丸）の位置座標が抽出されているものと仮定する。位置予測手段１４は、線形予測手段１４１によって、現フィールドでの抽出位置座標（ボールＭ５）と前フィールド（前フレーム）での抽出位置座標（ボール軌跡Ｍ４）とにより、矢印Ｖ１で示される動きベクトルを求める。

そして、線形予測手段１４１は、動きベクトルＶ１に基づいて、現フィールドでの抽出位置座標（ボールＭ５）に対して、動きベクトルＶ１と同様の動きベクトルＶ２を、ボールＭ５の位置に加算することにより、ボールの予測位置として、線形予測位置座標Ｙ１（図中、三角印）を仮に求める（線形予測）。一方、位置予測手段１４は、曲線予測手段１４２によって、最小自乗法を用いて過去から現在に至るボール軌跡（ボールＭ１乃至Ｍ５）を平均的に通るような破線で示される２次曲線Ｋ１を求める。そして、位置予測手段１４は、線形予測位置座標Ｙ１を２次曲線Ｋ１上に補正して、四角印で示される曲線予測位置座標Ｙ２を求める（曲線予測）。求めた曲線予測位置座標Ｙ２を次フィールド画像（次フレーム）での探索位置とする。

但し、位置予測手段１４は、切替手段１４３によって、過去に抽出されたボールの位置座標の数または２次曲線の方程式に基づいて、線形予測手段１４１による線形予測と曲線予測手段１４２による曲線予測とを切り替える。すなわち、位置予測手段１４は、曲線予測を実行するのに十分な数（３個でも良いが５個以上が好適である）の過去のボール位置座標がない場合には曲線予測を実行せずに、線形予測のみを実行する。また、位置予測手段１４は、曲線予測手段１４２によって曲線予測を実行しているときに、曲線予測に用いる２次曲線（ｙ＝ａｘ²＋ｂｘ＋ｃ）の係数ａ，ｂの符号が変化したり、係数ａ，ｂの値が所定値を超えた場合には、線形予測に切り替える。

次に、図８を参照して映像オブジェクト軌跡画像合成装置１が、映像オブジェクトの軌跡を合成する例について説明する。図８は、映像オブジェクト（ボール）の移動軌跡を映像上に合成した例を説明するための説明図である。なお、ここでは、野球のボールを追跡し、その移動軌跡を合成するものとして説明を行う。

ピッチャーＰＴがキャッチャーＣＴに向けて投げたボールは、所定のタイミングで位置座標（図では１０点）を抽出され、ボールＭ１乃至Ｍ１０の位置を経てキャッチャーＣＴのミットに収められる。
このとき、映像オブジェクト軌跡合成装置１は、位置予測手段１４によって、当初は線形予測により、ボールの位置座標を予測する。曲線予測に十分な点数（例えば５点）の軌跡が抽出されると、位置予測手段１４は線形予測から曲線予測に切り替える。ここで、図８に示すボールＭ６とボールＭ７の間には、左バッターＢＴが介在している。ボールが左バッターＢＴのユニフォームにかかると、ボールの輝度とユニフォームの輝度との差が僅少なためにボールがブラインドされ、ボールの抽出に失敗することがある。このような場合にも、映像オブジェクト軌跡合成装置１は、曲線予測を実行することによって、ボールＭ６から過去数点遡ったボールの移動軌跡によりボールＭ７の位置を予測することができる。従って、動オブジェクト（左バッターＢＴ）によりブラインドされてボールの抽出に失敗した場合であっても、左バッターＢＴを越えた後のボールの予測位置が、線形予測のみで行う場合に比べて前フィールド（前フレーム）から滑らかに接続されて正確なものになる。従って、映像オブジェクト軌跡合成装置１は、探索領域を狭めることができるので、ボールの抽出に必要な演算量を低く抑えることができる。

また、映像オブジェクト軌跡合成装置１では、前記のように、ボールの抽出に失敗した場合に、ボール選定手段１２が作画・画像合成手段３０にその旨を通知する。この場合、作画・画像合成手段３０は、図示しない補間手段によって、軌跡画像上にボールＭ６とボールＭ７との位置（例えば重心位置）から内挿によりボール位置を計算するので、作画手段３１によってボールＮ１を作画することができる。

以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、映像オブジェクトを野球のボールとして説明したが、例えばサッカーボール、テニスボール、ゴルフボールなど他のスポーツで用いるボールであってもよい。更には、映像オブジェクトは、フィールド画像ごとの重なりが生じない程度の高速で移動するものであればボールに限定されない。また、本実施形態では、入力画像の単位時間としてフィールドを用いたが、フレーム等、他の時間単位であってもよい。

本発明に係る映像オブジェクト軌跡合成装置の構成を示したブロック図である。 本発明に係る映像オブジェクト軌跡合成装置の全体動作を示すフローチャートである。 本発明に係る映像オブジェクト抽出装置によるボール抽出処理の動作を示すフローチャートである。 オブジェクト候補画像生成手段におけるオブジェクト候補画像の抽出処理の動作を示すフローチャートである。 ボール選定手段におけるボール選定処理の動作を示すフローチャートである。 差分画像の条件式を説明するための説明図であり、（ａ）は３枚の連続したフィールド画像であり、（ｂ）は２枚の差分画像である。 位置予測処理を説明するための説明図である。 映像オブジェクトの移動軌跡を映像上に合成した例を説明するための説明図である。

符号の説明

１ 映像オブジェクト軌跡合成装置
１０ 映像オブジェクト抽出装置
１１ オブジェクト候補画像生成手段
１２ ボール選定手段（オブジェクト抽出手段）
１３ 抽出条件記憶手段
１４ 位置予測手段
１５ 探索領域設定手段
２０ 映像遅延手段
３０ 作画・画像合成手段
３１ 作画手段
３２ 画像合成手段
１１１ 画像記憶部（第２の画像記憶手段）
１１２ 画像記憶部（第１の画像記憶手段）
１１３ 差分画像生成手段（第１の差分画像生成手段）
１１４ 差分画像生成手段（第２の差分画像生成手段）
１１５ 候補画像生成手段
１２１ ラベリング部
１２２ 特徴量解析部
１２３ フィルタ処理部
１２４ オブジェクト選択部
１４１ 線形予測手段
１４２ 曲線予測手段
１４３ 切替手段

Claims (6)

1. 入力された映像に含まれる映像オブジェクトの位置を抽出する映像オブジェクト抽出装置であって、
   時系列に入力される連続した第１の画像、第２の画像及び第３の画像から、前記映像オブジェクトの候補として抽出したオブジェクト候補画像を生成するオブジェクト候補画像生成手段と、
   生成されたオブジェクト候補画像の中から、所定の抽出条件に基づいて、抽出すべき映像オブジェクトの位置を抽出するオブジェクト抽出手段と、を有し、
   前記オブジェクト候補画像生成手段は、
   前記第１の画像を記憶する第１の画像記憶手段と、
   前記第２の画像を記憶する第２の画像記憶手段と、
   前記第３の画像と前記第２の画像との輝度の差分を画素値とした第１の差分画像を生成する第１の差分画像生成手段と、
   前記第２の画像と前記第１の画像との輝度の差分を画素値とした第２の差分画像を生成する第２の差分画像生成手段と、
   前記第１の差分画像と前記第２の差分画像の共通位置に配された画素値を参照して前記第１の差分画像の画素値の符号と前記第２の差分画像の画素値の符号とが異なる領域を判別し、前記オブジェクト候補画像を生成する候補画像生成手段と、
   を備えることを特徴とする映像オブジェクト抽出装置。
2. 前記オブジェクト抽出手段で抽出された映像オブジェクトの位置に基づいて、次に入力される画像内における前記映像オブジェクトの位置を予測し、前記映像オブジェクトの予測位置情報を前記オブジェクト候補画像生成手段に出力するオブジェクト位置予測手段をさらに備えることを特徴とする請求項１に記載の映像オブジェクト抽出装置。
3. 前記オブジェクト位置予測手段は、
   前記映像オブジェクトの軌跡が直線になると予測する線形予測手段と、
   前記映像オブジェクトの軌跡が曲線になると予測する曲線予測手段と、
   前記映像オブジェクトの過去に抽出された位置座標の数または前記曲線の方程式に基づいて、前記線形予測手段による線形予測と前記曲線予測手段による曲線予測とを切り替える切替手段と、
   を有することを特徴とする請求項２に記載の映像オブジェクト抽出装置。
4. 請求項１乃至請求項３のいずれか１項に記載の映像オブジェクト抽出装置と、
   前記オブジェクト抽出手段で抽出された映像オブジェクトの位置に基づいて、時系列に入力される画像に対応した領域に前記映像オブジェクトを示す画像を作画することで、前記映像オブジェクトの移動軌跡を抽出した軌跡画像を生成する作画手段と、
   前記軌跡画像と前記時系列に入力される画像とを合成する画像合成手段と、
   を備えていることを特徴とする映像オブジェクト軌跡合成装置。
5. 入力された映像に含まれる映像オブジェクトを抽出し、追跡するとともに、当該映像オブジェクトの移動軌跡を前記映像上に合成する映像オブジェクト軌跡合成方法であって、
   時系列に入力される連続した第１の画像、第２の画像及び第３の画像のうち、第３の画像と第２の画像との輝度の差分を画素値とした第１の差分画像を生成し、第２の画像と第１の画像との輝度の差分を画素値とした第２の差分画像を生成する差分画像生成ステップと、
   この差分画像生成ステップで生成された第１の差分画像と第２の差分画像の共通位置に配された画素値を参照して第１の差分画像の画素値の符号と第２の差分画像の画素値の符号とが異なる領域を、前記映像オブジェクトの候補として抽出したオブジェクト候補画像を生成するオブジェクト候補画像生成ステップと、
   このオブジェクト候補画像生成ステップで生成されたオブジェクト候補画像から、位置、面積、輝度、色及び円形度の少なくとも１つ以上の抽出条件に基づいて、前記映像オブジェクトの位置を抽出するオブジェクト抽出ステップと、
   このオブジェクト抽出ステップで抽出された映像オブジェクトの位置に基づいて、時系列に入力される画像に対応した領域に前記映像オブジェクトを示す画像を作画することで、前記映像オブジェクトの移動軌跡を抽出した軌跡画像を生成する作画ステップと、
   この作画ステップで生成された軌跡画像と、前記時系列に入力される画像とを合成する画像合成ステップと、
   を含んでいることを特徴とする映像オブジェクト軌跡合成方法。
6. 入力された映像に含まれる映像オブジェクトを抽出し、追跡するとともに、当該映像オブジェクトの移動軌跡を前記映像上に合成するために、コンピュータを、
   時系列に入力される連続した第１の画像、第２の画像及び第３の画像のうち、第３の画像と第２の画像との輝度の差分を画素値とした第１の差分画像を生成し、第２の画像と第１の画像との輝度の差分を画素値とした第２の差分画像を生成する差分画像生成手段、
   この差分画像生成手段により生成した第１の差分画像と第２の差分画像の共通位置に配された画素値を参照して第１の差分画像の画素値の符号と第２の差分画像の画素値の符号とが異なる領域を、前記映像オブジェクトの候補として抽出したオブジェクト候補画像を生成するオブジェクト候補画像生成手段、
   このオブジェクト候補画像生成手段で生成されたオブジェクト候補画像から、位置、面積、輝度、色及び円形度の少なくとも１つ以上の抽出条件に基づいて、前記映像オブジェクトの位置を抽出するオブジェクト抽出手段、
   このオブジェクト抽出手段で抽出された映像オブジェクトの位置に基づいて、時系列に入力される画像に対応した領域に前記映像オブジェクトを示す画像を作画することで、前記映像オブジェクトの移動軌跡を抽出した軌跡画像を生成する作画手段、
   この作画手段で生成された軌跡画像と、前記時系列に入力される画像とを合成する画像合成手段、
   として機能させることを特徴とする映像オブジェクト軌跡合成プログラム。

Images