JP2004252748A - 画像処理方法、画像処理装置 - Google Patents
画像処理方法、画像処理装置 Download PDFInfo
- Publication number
- JP2004252748A JP2004252748A JP2003043029A JP2003043029A JP2004252748A JP 2004252748 A JP2004252748 A JP 2004252748A JP 2003043029 A JP2003043029 A JP 2003043029A JP 2003043029 A JP2003043029 A JP 2003043029A JP 2004252748 A JP2004252748 A JP 2004252748A
- Authority
- JP
- Japan
- Prior art keywords
- histogram
- image
- color
- background color
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】画像間での変化をAffine変換で近似できず、追跡対象領域が小さな対象動物体でも、精度良く動画像中において追跡する。
【解決手段】動画像中の対象動物体を追跡する画像処理方法において、動画像の背景色を推定する背景色推定工程(ステップA1)と、推定された背景色を除いて対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成する参照ヒストグラム作成工程(ステップA2)と、参照ヒストグラムを用いて色ヒストグラムマッチングによって対象動物体を追跡する追跡処理工程(ステップA3)を有する。
【選択図】 図2
【解決手段】動画像中の対象動物体を追跡する画像処理方法において、動画像の背景色を推定する背景色推定工程(ステップA1)と、推定された背景色を除いて対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成する参照ヒストグラム作成工程(ステップA2)と、参照ヒストグラムを用いて色ヒストグラムマッチングによって対象動物体を追跡する追跡処理工程(ステップA3)を有する。
【選択図】 図2
Description
【0001】
【発明の属する技術分野】
本発明は、動画像中の対象動物体を追跡するための画像処理方法及び画像処理装置に関する。
【0002】
【従来の技術】
動画像中の対象動物体を追跡する技術は、動画像中の自動車や不審者を追跡して検出する監視システムで利用されている。また、この技術は、動画像中のある物体に予め関連情報(名前,値段など)を付与しておき、画面に表示される動画像中のこの物体をユーザがマウス等を用いてポインティングすれば関連情報を画面に提示するような映像を制作するためのアンカー領域の指定などに利用される。これによって、テレビドラマを見ながら俳優が身に付けている時計をユーザがマウスでクリックしてインターネットショッピングによって購入したり、スポーツ観戦中に所望の選手のプロフィールを表示させたり、また、試合中の選手の動きを解析してチームの戦略分析等に応用することも可能になる。
【0003】
動画像中の対象動物体の追跡技術の具体的なアルゴリズムの一つとして、Affine変換推定を用いた物体追跡手法がある(例えば、特許文献1参照。)。これは、フレーム間での対象動物体の移動・変形が、Affine変換であると仮定して、このAffine変換を表すAffineパラメータを推定して物体を追跡する手法である。本手法について、図10を用いて説明する。
【0004】
参照画像に対してユーザの手入力によって参照物体領域を指定し、図10(A)に示すように、追跡に効果的な有限個の特徴点(追跡点)のみを選択する。特徴点選択は、例えば次のようにして行なう。まず、参照物体領域内に定められた間隔で特徴点候補を格子状に配置して、特徴点候補を中心に定められた大きさのブロック(例えば8×8画素)を決める。そして、特徴点候補を中心に、周囲領域においてブロックマッチングを行い、周囲領域とのブロックマッチングを行うことにより得られた類似度が低い、つまり、処理画像との追跡を行う際のブロックマッチング誤り(追跡誤り)の起こりにくいと判断される特徴点候補を選択する。
【0005】
続いて、図10(B)のように、参照画像に配置された特徴点を中心としたブロックと処理画像とでブロックマッチングを行い、移動ベクトルを推定する。一般に、これら移動ベクトルには外れ値が含まれている。よって、ロバスト推定により物体の変換を表すAffineパラメータを推定し、このAffineパラメータを用いて参照物体領域にAffine変換を施す。この結果、図10(C)に示すように、処理画像での対象動物体領域の位置及び形状を推定することができる。
【0006】
また、色ヒストグラムを用いて参照物体領域に対応する領域を処理画像中から推定するアルゴリズムもある(例えば、非特許文献1参照。)。これは、マッチングを取るための特徴量として、参照物体領域内の色ヒストグラムを用いるもので、処理画像の色ヒストグラムとの照合を取ることで物***置を検出する方法である。
【0007】
まず、図11のように、画像中から参照ヒストグラムを作成するための参照物体領域48を設定する。この設定は、参照画像においてユーザがマニュアル操作によって矩形領域や楕円領域を設定してもよいし、また、背景差分法やフレーム間差分法といった画像処理を用いて参照物体領域を自動生成してもよい。続いて、この参照物体領域の色ヒストグラムを作成する。色ヒストグラムの計算では、色空間における各軸をQ分割した3次元色ヒストグラムを作成する。図12では、色空間をRGB空間、Q=4分割として図示してある。参照物体領域内での各画素値が色空間内のQ3=64個の立方体それぞれに何個含まれるかを数えて、参照物体領域での色ヒストグラムを以下の式(1)として算出する。ヒストグラムの性質上、参照物体領域内の総画素数は以下の(2)となる。
【0008】
【数1】
【0009】
次に、以下の式(3)に示す各色ヒストグラムの要素を総画素数で割った正規化ヒストグラムを作成する。
【0010】
【数2】
【0011】
つまり、参照物体領域内の総画素数は1.0に正規化されている。この式(3)を参照物体領域の色ヒストグラムを表す参照ヒストグラムとする。
【0012】
続いて、処理画像中の探索範囲内に候補物体領域を設定し、同様に候補ヒストグラムを作成する(以下に示す式(4))。ヒストグラム間のマッチング度合いを計る尺度としては、以下の式(5)に示すヒストグラムインターセクションSHMを用いる。
【0013】
【数3】
【0014】
ヒストグラムインターセクションSHMは、ヒストグラムが正規化されているため、0から1までの値を取り、この類似度が最大となる候補ヒストグラムを持つ候補物体領域を、処理画像中の探索範囲内で探して、参照物体領域の移動先として出力する。
【0015】
【特許文献1】
特開2001−132591公報
【0016】
【特許文献2】
Michael J. Swain, Dana H. Ballard著「Color Indexing」International Journal of Computer Vision, vol.7, no.1, pp.11−32,1991.
【0017】
【発明が解決しようとする課題】
しかしながら、Affine変換推定を用いた物体追跡手法では、推定されたAffineパラメータによって対象動物体の変形・追跡を行うために、参照画像における対象動物体から処理画像における対象動物体への変化がAffine変換で近似できない場合には正しい追跡を行うことができないという問題があった。また、複数のブロックマッチングを用いて物体を追跡するため、追跡領域がある程度の大きさを持つ必要もあった。
【0018】
一方、色ヒストグラムを用いた物体追跡手法では、対象領域内の色ヒストグラムを用いて追跡を行うため、対象動物体の持つ色成分に大きな変化が生じない限り、形状に大きな変化が生じても追跡することができ、追跡領域が小さな領域の場合でも追跡できる。しかし、一般に、参照物体領域を指定する際、矩形領域や楕円領域で指定するために、参照ヒストグラムとして、対象動物体以外の色成分が反映された色ヒストグラムが作成されてしまい、追跡精度の低下を招く問題があった。
【0019】
本発明は前記のような事情を考慮してなされたもので、画像間での変化をAffine変換で近似できず、追跡対象領域が小さな対象動物体を、精度良く動画像中から追跡することが可能な画像処理方法及び画像処理装置を提供することを目的とする。
【0020】
【課題を解決するための手段】
本発明は、動画像中の対象動物体を追跡する画像処理方法において、動画像の背景色を推定する背景色推定工程と、前記背景色推定工程によって推定された背景色を除いた対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成する参照ヒストグラム作成工程と、前記参照ヒストグラム作成工程によって作成された参照ヒストグラムを用いて、色ヒストグラムマッチングによって対象動物体を追跡する追跡処理工程とを備える。
【0021】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。図1は本実施形態に係わる画像処理装置の機能構成を示すブロック図である。本実施形態における画像処理装置は、例えば半導体メモリ、CD−ROM、DVD、磁気ディスク等の記録媒体に記録された画像処理プログラムを読み込み、この画像処理プログラムによって動作が制御されるコンピュータによって実現される。本実施形態における画像処理装置では、動画像中の対象動物体を追跡するための画像処理を実行する。動画像中の対象動物体としては、例えばテレビドラマの動画像中の俳優、スポーツを撮影した動画像中の選手やボール、監視システムにおいて撮影された動画像中の自動車や不審者等がある。
【0022】
図1に示すように、本実施形態における画像処理装置は、画像処理部10、入力装置12、表示装置14、及び記憶装置16が設けられて構成されている。
【0023】
画像処理部10は、入力装置12あるいは記憶装置16から動画像データを入力し、動画像中の対象動物体を追跡するための画像処理をする機能を有している。
【0024】
画像処理部10には、背景色推定部20、参照ヒストグラム作成部21、探索領域設定部22、処理画像ヒストグラム生成部23、追跡処理部24、位置補正部25、追跡結果出力部26などが設けられる。
【0025】
背景色推定部20は、記憶装置16から入力される参照画像データから動画像の背景色を推定する。参照画像データは、例えば処理対象とする動画像データに含まれる先頭フレームの画像データとする。背景色推定部20は、背景色の推定方法として、動画像に含まれる参照画像に対する画素値の統計処理によって背景色を推定する方法、参照画像中の対象動物体に該当する参照領域を設定し、この参照領域の近傍領域である部分背景領域の色情報から背景色を推定する方法、参照画像に対する位置の指定を入力し、この入力した位置の画像値に基づいて背景色を推定する方法を用いることができる。
【0026】
参照ヒストグラム作成部21は、背景色推定部20によって推定された背景色を動画像中から除き、対象動物体に該当する参照領域の色ヒストグラムである参照ヒストグラムを作成する。
【0027】
探索領域設定部22は、処理対象とする動画像データに含まれる処理画像データから、追跡の対象とする対象動物体に該当する探索領域の候補を設定する。
【0028】
処理画像ヒストグラム生成部23は、探索領域設定部22によって設定された対象動物体に該当する探索領域の色ヒストグラムを作成する。
【0029】
追跡処理部24は、参照ヒストグラム作成部21よって作成された参照ヒストグラムと、処理画像ヒストグラム生成部23によって生成された色ヒストグラムとを用いた色ヒストグラムマッチングによって動画像中の対象動物体を追跡する。
【0030】
位置補正部25は、追跡処理部24により追跡される対象動物体の位置を、この対象動物体の物体領域の重心へ移動して位置補正する(第2実施形態)。
【0031】
追跡結果出力部26は、追跡処理部24による対象動物体についての追跡結果、あるいはさらに位置補正部25によって位置補正された対象動物体の追跡結果を、例えば表示装置14において表示される動画像中に出力する。
【0032】
入力装置12は、ユーザのマニュアル操作によって画像処理部10に対する制御指示などを入力するためのキーボードや、マウスなどのポインティングデバイスの他、画像処理の対象とする動画像データを入力するためのビデオカメラ等の撮影手段を含む。
【0033】
表示装置14は、画像処理部10による処理対象とする動画像の他、動画像中において画像処理によって追跡される対象動物体に該当する領域、参照画像における物体領域を明示する表示を行なう。
【0034】
記憶装置16は、画像処理の対象とする動画像データなどが記憶されるもので、動画像データには背景色推定工程において処理対象とする参照画像データ16a、対象動物体の追跡対象とする処理画像データ16bを含む。参照画像データ16aは、例えば動画像データの先頭フレームの画像を用いる。
【0035】
(第1実施形態)
第1実施形態では、参照画像をもとに背景色を考慮した対象動物体に該当する参照ヒストグラムを作成し、この参照ヒストグラムを用いて処理画像(動画像)中の対象動物体を追跡する。
【0036】
図2は、第1実施形態の画像処理方法の処理の流れを示すフローチャートである。
図2において、ステップA1は動画像(参照画像)の背景色を推定する背景色推定工程、ステップA2は推定された背景色を除いて対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成する参照ヒストグラム作成工程、ステップA3は参照ヒストグラムを用いて色ヒストグラムマッチングによって対象動物体を追跡する追跡処理工程、ステップA4は動画像(処理画像)中の対象動物体に該当する領域の候補を設定する探索領域設定工程、ステップA5は対象動物体に該当する領域対象とした色ヒストグラムを生成する処理画像ヒストグラム生成工程である。
【0037】
まず、動画像中の対象動物体の追跡を開始する前に、背景色推定部20による背景色推定工程では、例えば動画像の先頭フレームの画像を参照画像として入力し、動画像中の背景色を推定する(ステップA1)。すなわち、後段の参照ヒストグラム作成工程において、参照ヒストグラムの作成対象とする参照領域から除く色を決定する。
【0038】
小さな対象動物体を追跡する技術は、主にスポーツ映像中の選手・ボールの追跡や、自動車・不審者等の監視に応用される。例えば、図3(A)に示すような、サッカーの様子を撮影して得られた動画像では、画像の多くの部分を占める領域がサッカーフィールドの芝生の色をしている。また、道路での自動車監視の場合でも、同様に、画像の多くの部分を路面の色が占める。このような場合、背景色推定部20は、参照画像データをもとにして、背景色を次の(1)〜(3)に示す方法による画素値の統計処理によって求める。
【0039】
(1)画面内の全画素の平均色、
(2)画面内の全画素の中間色(メディアン)、
(3)画面内の色ヒストグラムを取り、その最も度数が大きい色(最頻色)。
【0040】
なお、何れの方法を用いて背景色を推定するかは、何れかの方法が予め設定されていても良いし、ユーザのマニュアル操作によって入力装置12から入力された指示に応じて、何れかの方法が設定されるようにしても良い。
【0041】
また、サッカーフィールドのように画像中においてある単色が背景の多くの部分を占める場合には、前述した(1)〜(3)の方法を用いることができるが、単色が背景の多くの部分を占めない画像を対象とする場合には画像中の限られた部分背景領域を対象として、次のようにして背景色を推定することもできる。
【0042】
まず、参照画像中から例えば追跡対象とする対象動物体を含む参照物体領域を設定する。参照物体領域の設定は、例えば参照画像においてユーザが入力装置12(マウスなど)を用いたマニュアル操作によって矩形領域や楕円領域を設定してもよいし、また、背景差分法やフレーム間差分法といった画像処理を用いて参照物体領域を自動生成してもよい。
【0043】
図4には、サッカーの動画像において追跡する参照物体(ここではプレーヤの1人)の位置を表す参照物体領域30が楕円領域によって設定された例を示している。背景色推定部20は、参照物体領域30が設定されると、参照物体領域30からある一定の幅だけ広げた領域を図4に示すように部分背景領域32として設定する。そして、参照物体領域30より外側で部分背景領域32より内側の領域に含まれる画素について、上述した統計処理によって平均色、中間色、あるいは最頻色を算出することによって背景色を求める。
【0044】
また、ユーザが参照画像において入力装置12(マウスなど)を用いたマニュアル操作によって、背景色の推定に参照すべき位置の指定を入力し、この指定された位置をもとに背景色を推定することもできる。
【0045】
図5には、参照画像において、入力装置12(マウスなど)の操作でポインタ34を任意の位置に移動させ、例えば矩形を表す対角の2点を指定することで、背景色の推定に用いる背景指定領域36が設定された例を示している。
【0046】
背景色推定部20は、前述のようにして任意に設定された背景指定領域36に含まれる画素について、上述した統計処理によって平均色、中間色、あるいは最頻色を算出することによって背景色を求める。
【0047】
なお、図5に示すように、背景指定領域36を設定するだけでなく、ユーザによるマニュアル操作によって参照画像中の一点を指示させて背景色を決めることも可能である。この場合、背景色推定部20は、ポインタ34によって指定された位置の画素の色を背景色とする、あるいは指定された位置の周辺の数画素をもとにして背景色を算出するものとする。
【0048】
こうして、背景色の推定に有効な領域(あるいは位置)を設定することで、参照画像中の背景色が一様でない(ある単色が多くを占めていない)場合であっても、後段の参照ヒストグラムの作成の際に参照画像から削除すべき色を決定することができる。例えばサッカーの動画像中においてサッカーフィールドの芝がはがれている箇所が多いために芝と土の色が混在している、あるいは日向の部分と日陰の部分がある場合などであっても対応することができる。
【0049】
次に、参照ヒストグラム作成部21による参照ヒストグラム作成工程において、背景色推定工程によって推定された背景色を除いて、対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成する(ステップA2)。
【0050】
例えば、参照ヒストグラム作成部21は、図6に示す参照画像中で設定される参照物体領域38の画像データをもとに、各画素値から色ヒストグラムを作成する。従来の色ヒストグラムの作成では、図7(a1)に示すような参照物体領域38内の全ての画素を用いて色ヒストグラムを求めていたので、図7(a2)に示すような、物体色(ここではサッカープレーヤ)でない背景色を含んだ色ヒストグラムが作成されてしまう。例えば、サッカープレーヤが身につけているシャツやパンツが赤系統の色であれば赤色付近(物体色)に画素数の頻度のピークが現れ、その他にサッカーフィールドの芝による緑色付近に画素数の頻度のピークが現れる。
【0051】
本実施形態の参照ヒストグラム作成部21は、図7(b1)に示す参照物体領域38(図7(a1)と同じ)から、背景色推定工程(ステップA1)で推定された背景色を除いた図7(b2)に示す参照物体画像を生成し、この画像をもとにして色ヒストグラムを生成する。図7(b3)には、背景色を除いた参照物体画像をもとに生成される色ヒストグラムを示している。図7(b3)に示すように、背景色が画像から除かれているので、色ヒストグラムでは物体色のみに画素数の頻度のピークが現れる。参照ヒストグラム作成部21は、こうして生成した色ヒストグラムを、動画像の対象動物体を追跡するための色ヒストグラムマッチングに用いる参照ヒストグラムとして保持する。
【0052】
これによって、参照ヒストグラムは追跡したい小物体の色成分のみを持つ色ヒストグラムとなり、対象動物体が異なる背景色を持つ領域に移動した際でも、精度良く追跡することが可能になる。
【0053】
なお、図7(a2)(b3)に示す色ヒストグラムは、説明を簡単にするために単純なヒストグラムを例にしているが、例えばサッカープレーヤが身につけているシャツ、パンツ、ソックスなどの色がそれぞれ異なれば、それぞれの部分に該当する色にピークが現れるヒストグラムとなる。
【0054】
次に、追跡結果出力部26による追跡処理工程において、参照ヒストグラム作成工程で作成された参照ヒストグラムを用いて、色ヒストグラムマッチングによって動画像(処理画像)中の対象動物体を追跡する(ステップA3)。
【0055】
そのために、まず探索領域設定部22による探索領域設定工程において、追跡する対象物体を探す処理画像データを入力し、処理画像中の探索範囲内に候補物体領域を設定する(ステップA4)。処理画像ヒストグラム生成部23による処理画像ヒストグラム生成工程では、探索領域設定部22により設定された候補物体領域について色ヒストグラム(候補ヒストグラム)を生成する。この際、処理画像ヒストグラム生成部23は、候補物体領域中における背景色の削除は行わない。
【0056】
追跡処理部24は、参照画像をもとに生成した参照ヒストグラムと、処理画像ヒストグラム生成部23により生成された候補ヒストグラムとの間で色ヒストグラムマッチングを実行する。
【0057】
ここで、参照ヒストグラムと候補ヒストグラムの間のマッチング度合いを計る尺度としては、ヒストグラムインターセクションSHMを用いる(従来の技術の説明参照)。
【0058】
追跡処理部24は、探索領域設定部22により複数の候補物体領域が設定される場合、各候補物体領域の候補ヒストグラムを対象として、参照ヒストグラムとのマッチングを実行する。そして、追跡処理部24は、この類似度が最大となる候補ヒストグラムを持つ候補物体領域を、処理画像中の探索範囲内で探して、参照物体領域の移動先として対象動物***置を出力する。
【0059】
追跡結果出力部26は、表示装置14において動画像(処理画像)を表示する際に、追跡処理部24から出力される対象動物***置に応じて、画像中の該当する対象動物体の位置を表す、例えば矩形枠を表示する。
【0060】
以上の処理を、処理画像について継続的に実行することで、動画像中の対象動物体を追跡することができる。
【0061】
このようにして、動画像の背景色を除いて作成された参照ヒストグラムを用いて色ヒストグラムマッチングを行うことによって、画像間での変化をAffine変換で近似できず、追跡対象領域が小さな対象動物体でも、精度良く動画像中から追跡することができる。
【0062】
(第2実施形態)
第2実施形態は、前述した第1実施形態における画像処理に、物体重心への移動による時間方向のブレ補正の処理を追加するものである。
【0063】
図8は、本発明の第2実施形態の画像処理方法の処理の流れを示すフローチャートである。
【0064】
図8において、ステップB1は動画像の背景色を推定する背景色推定工程、ステップB2は推定された背景色を除いて対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成する参照ヒストグラム作成工程、ステップB3は参照ヒストグラムを用いて色ヒストグラムマッチングによって対象動物***置を出力する追跡処理工程、ステップB4は出力された対象動物***置を対象動物体の物体領域の重心へ移動して位置補正する位置補正工程、ステップB5は動画像(処理画像)中の対象動物体に該当する領域の候補を設定する探索領域設定工程、ステップB6は対象動物体に該当する領域対象とした色ヒストグラムを生成する処理画像ヒストグラム生成工程である。
【0065】
なお、背景色推定工程、参照ヒストグラム作成工程、追跡処理工程、探索領域設定工程、及び処理画像ヒストグラム生成工程は、前述した第1実施形態で説明したように処理を行い、処理画像内での対象動物***置を出力するものとして詳細な説明を省略する。
【0066】
位置補正部25による位置補正工程では、追跡処理部24より出力された対象動物***置を対象動物体の物体領域の重心へ移動して位置補正を行う(ステップB4)。
【0067】
第1実施形態で説明した色ヒストグラムを用いた小物体の追跡は、対象物体の見え方やパターンの情報は用いず、色成分の割合、つまり色ヒストグラムのみを用いて追跡を行うために、物体領域の形状が大きく変化する場合でも追跡することが可能である。しかし、追跡処理に物体領域の形状情報を全く用いていないために、追跡結果を時間方向で見ると微小にブレが生じる場合がある。
【0068】
例えば、矩形の物体領域を用いて色ヒストグラムによって追跡を行うと、図9(A)に示す対象動物体領域40が推定される。この場合に出力される対象動物***置は矩形領域の中心42として出力される。これは、対象としている追跡動物体からややずれた位置を指し示している。この問題に対応するために、色ヒストグラムによる追跡処理によって算出した対象動物***置を、対象動物体の物体領域の重心位置へ移動することによって位置補正を行う。
【0069】
対象動物体の物体領域は、次の(1)〜(3)として求めることができる。
(1)対象動物***置に設定された追跡領域(矩形や楕円)から背景色を除いた領域、
(2)追跡領域内のヒストグラムを取り、その最頻色を持つ画素の集まり、
(3)参照ヒストグラム内に、ある頻度以上で含まれる色を持つ領域。
【0070】
なお、(1)〜(3)の何れを物体領域とするかは、予め設定されていても良いし、ユーザのマニュアル操作によって入力装置12から入力された指示に応じて設定されるようにしても良い。
【0071】
例えば、対象動物体領域として背景色を除いて求めると(前述した(1)の領域)、図9(B)に示すように領域44のようになる。この領域44の重心位置は46になる。位置補正部25は、この重心位置46を、補正した対象動物***置として出力する。
【0072】
追跡結果出力部26は、表示装置14において動画像(処理画像)を表示する際に、追跡処理部24から出力された補正された対象動物***置に応じて、画像中の該当する対象動物体の位置を表す表示をする。
【0073】
以上のように、対象動物***置を対象動物体の物体領域の重心へ移動して位置補正を行うことによって、色ヒストグラムによる追跡によって生じる時間方向への微小なブレを軽減して追跡の精度を高めることが可能になる。
【0074】
なお、前述した説明では、動画像中から1つの対象動物体について追跡を行なうものとして説明しているが、複数の対象動物体の追跡を並行して実行するようにしても良い。この場合、各対象動物体について同様の処理を実行すれば良い。
【0075】
また、前述した説明では、処理画像データ(対象動物体を含む動画像データ)は、記憶装置16に記憶されているものとしているが、入力装置12(ビデオカメラ)によって撮影された動画像データを対象とすることも可能である。この場合、入力装置12から入力される動画像データと関連する画像、例えば予め同じ範囲で撮影された画像を参照画像として、背景色を削除した参照ヒストグラムの作成を行っておくものとする。
【0076】
また、上述した実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク(フレキシブルディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムを読み込み、または通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。
【0077】
また、本願発明は、前述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、前記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【0078】
【発明の効果】
以上詳述したように本発明によれば、動画像の背景色を推定し、推定された背景色を除いて対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成し、参照ヒストグラムを用いて色ヒストグラムマッチングによって対象動物体を追跡することによって、画像間での変化をAffine変換で近似できず、追跡対象領域が小さな対象動物体でも、精度良く動画像中から追跡できる。
【図面の簡単な説明】
【図1】本実施形態に係わる画像処理装置の機能構成を示すブロック図。
【図2】本発明の第1実施形態における画像処理方法の処理の流れを示すフローチャート。
【図3】背景色の推定方法を説明するための図。
【図4】部分背景領域より背景色を推定する方法を説明するための図。
【図5】マニュアル操作により背景色を指定する方法を説明するための図。
【図6】参照物体領域が設定された参照画像の一例を示す図。
【図7】背景色を除いた参照ヒストグラムの作成方法を示す図。
【図8】第2実施形態の画像処理方法の処理の流れを示すフローチャート。
【図9】物体領域重心への位置補正方法を説明するための図。
【図10】Affine変換推定を用いた物体追跡手法を示す図。
【図11】色ヒストグラムを用いた物体追跡手法の処理対象とする参照画像の一例を示す図。
【図12】RGB色空間を表す図。
【符号の説明】
10…画像処理部、12…入力装置、14…表示装置、16…記憶装置、20…背景色推定部、21…参照ヒストグラム作成部、22…探索領域設定部、23…処理画像ヒストグラム生成部、24…追跡処理部、25…位置補正部、26…追跡結果出力部、30…参照物体領域、32…部分背景領域、34…ポインタ、36…背景指定領域、38…参照物体領域、40…矩形の対象動物体領域、42…対象動物***置、44…物体領域、46…物体領域の重心位置。
【発明の属する技術分野】
本発明は、動画像中の対象動物体を追跡するための画像処理方法及び画像処理装置に関する。
【0002】
【従来の技術】
動画像中の対象動物体を追跡する技術は、動画像中の自動車や不審者を追跡して検出する監視システムで利用されている。また、この技術は、動画像中のある物体に予め関連情報(名前,値段など)を付与しておき、画面に表示される動画像中のこの物体をユーザがマウス等を用いてポインティングすれば関連情報を画面に提示するような映像を制作するためのアンカー領域の指定などに利用される。これによって、テレビドラマを見ながら俳優が身に付けている時計をユーザがマウスでクリックしてインターネットショッピングによって購入したり、スポーツ観戦中に所望の選手のプロフィールを表示させたり、また、試合中の選手の動きを解析してチームの戦略分析等に応用することも可能になる。
【0003】
動画像中の対象動物体の追跡技術の具体的なアルゴリズムの一つとして、Affine変換推定を用いた物体追跡手法がある(例えば、特許文献1参照。)。これは、フレーム間での対象動物体の移動・変形が、Affine変換であると仮定して、このAffine変換を表すAffineパラメータを推定して物体を追跡する手法である。本手法について、図10を用いて説明する。
【0004】
参照画像に対してユーザの手入力によって参照物体領域を指定し、図10(A)に示すように、追跡に効果的な有限個の特徴点(追跡点)のみを選択する。特徴点選択は、例えば次のようにして行なう。まず、参照物体領域内に定められた間隔で特徴点候補を格子状に配置して、特徴点候補を中心に定められた大きさのブロック(例えば8×8画素)を決める。そして、特徴点候補を中心に、周囲領域においてブロックマッチングを行い、周囲領域とのブロックマッチングを行うことにより得られた類似度が低い、つまり、処理画像との追跡を行う際のブロックマッチング誤り(追跡誤り)の起こりにくいと判断される特徴点候補を選択する。
【0005】
続いて、図10(B)のように、参照画像に配置された特徴点を中心としたブロックと処理画像とでブロックマッチングを行い、移動ベクトルを推定する。一般に、これら移動ベクトルには外れ値が含まれている。よって、ロバスト推定により物体の変換を表すAffineパラメータを推定し、このAffineパラメータを用いて参照物体領域にAffine変換を施す。この結果、図10(C)に示すように、処理画像での対象動物体領域の位置及び形状を推定することができる。
【0006】
また、色ヒストグラムを用いて参照物体領域に対応する領域を処理画像中から推定するアルゴリズムもある(例えば、非特許文献1参照。)。これは、マッチングを取るための特徴量として、参照物体領域内の色ヒストグラムを用いるもので、処理画像の色ヒストグラムとの照合を取ることで物***置を検出する方法である。
【0007】
まず、図11のように、画像中から参照ヒストグラムを作成するための参照物体領域48を設定する。この設定は、参照画像においてユーザがマニュアル操作によって矩形領域や楕円領域を設定してもよいし、また、背景差分法やフレーム間差分法といった画像処理を用いて参照物体領域を自動生成してもよい。続いて、この参照物体領域の色ヒストグラムを作成する。色ヒストグラムの計算では、色空間における各軸をQ分割した3次元色ヒストグラムを作成する。図12では、色空間をRGB空間、Q=4分割として図示してある。参照物体領域内での各画素値が色空間内のQ3=64個の立方体それぞれに何個含まれるかを数えて、参照物体領域での色ヒストグラムを以下の式(1)として算出する。ヒストグラムの性質上、参照物体領域内の総画素数は以下の(2)となる。
【0008】
【数1】
【0009】
次に、以下の式(3)に示す各色ヒストグラムの要素を総画素数で割った正規化ヒストグラムを作成する。
【0010】
【数2】
【0011】
つまり、参照物体領域内の総画素数は1.0に正規化されている。この式(3)を参照物体領域の色ヒストグラムを表す参照ヒストグラムとする。
【0012】
続いて、処理画像中の探索範囲内に候補物体領域を設定し、同様に候補ヒストグラムを作成する(以下に示す式(4))。ヒストグラム間のマッチング度合いを計る尺度としては、以下の式(5)に示すヒストグラムインターセクションSHMを用いる。
【0013】
【数3】
【0014】
ヒストグラムインターセクションSHMは、ヒストグラムが正規化されているため、0から1までの値を取り、この類似度が最大となる候補ヒストグラムを持つ候補物体領域を、処理画像中の探索範囲内で探して、参照物体領域の移動先として出力する。
【0015】
【特許文献1】
特開2001−132591公報
【0016】
【特許文献2】
Michael J. Swain, Dana H. Ballard著「Color Indexing」International Journal of Computer Vision, vol.7, no.1, pp.11−32,1991.
【0017】
【発明が解決しようとする課題】
しかしながら、Affine変換推定を用いた物体追跡手法では、推定されたAffineパラメータによって対象動物体の変形・追跡を行うために、参照画像における対象動物体から処理画像における対象動物体への変化がAffine変換で近似できない場合には正しい追跡を行うことができないという問題があった。また、複数のブロックマッチングを用いて物体を追跡するため、追跡領域がある程度の大きさを持つ必要もあった。
【0018】
一方、色ヒストグラムを用いた物体追跡手法では、対象領域内の色ヒストグラムを用いて追跡を行うため、対象動物体の持つ色成分に大きな変化が生じない限り、形状に大きな変化が生じても追跡することができ、追跡領域が小さな領域の場合でも追跡できる。しかし、一般に、参照物体領域を指定する際、矩形領域や楕円領域で指定するために、参照ヒストグラムとして、対象動物体以外の色成分が反映された色ヒストグラムが作成されてしまい、追跡精度の低下を招く問題があった。
【0019】
本発明は前記のような事情を考慮してなされたもので、画像間での変化をAffine変換で近似できず、追跡対象領域が小さな対象動物体を、精度良く動画像中から追跡することが可能な画像処理方法及び画像処理装置を提供することを目的とする。
【0020】
【課題を解決するための手段】
本発明は、動画像中の対象動物体を追跡する画像処理方法において、動画像の背景色を推定する背景色推定工程と、前記背景色推定工程によって推定された背景色を除いた対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成する参照ヒストグラム作成工程と、前記参照ヒストグラム作成工程によって作成された参照ヒストグラムを用いて、色ヒストグラムマッチングによって対象動物体を追跡する追跡処理工程とを備える。
【0021】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。図1は本実施形態に係わる画像処理装置の機能構成を示すブロック図である。本実施形態における画像処理装置は、例えば半導体メモリ、CD−ROM、DVD、磁気ディスク等の記録媒体に記録された画像処理プログラムを読み込み、この画像処理プログラムによって動作が制御されるコンピュータによって実現される。本実施形態における画像処理装置では、動画像中の対象動物体を追跡するための画像処理を実行する。動画像中の対象動物体としては、例えばテレビドラマの動画像中の俳優、スポーツを撮影した動画像中の選手やボール、監視システムにおいて撮影された動画像中の自動車や不審者等がある。
【0022】
図1に示すように、本実施形態における画像処理装置は、画像処理部10、入力装置12、表示装置14、及び記憶装置16が設けられて構成されている。
【0023】
画像処理部10は、入力装置12あるいは記憶装置16から動画像データを入力し、動画像中の対象動物体を追跡するための画像処理をする機能を有している。
【0024】
画像処理部10には、背景色推定部20、参照ヒストグラム作成部21、探索領域設定部22、処理画像ヒストグラム生成部23、追跡処理部24、位置補正部25、追跡結果出力部26などが設けられる。
【0025】
背景色推定部20は、記憶装置16から入力される参照画像データから動画像の背景色を推定する。参照画像データは、例えば処理対象とする動画像データに含まれる先頭フレームの画像データとする。背景色推定部20は、背景色の推定方法として、動画像に含まれる参照画像に対する画素値の統計処理によって背景色を推定する方法、参照画像中の対象動物体に該当する参照領域を設定し、この参照領域の近傍領域である部分背景領域の色情報から背景色を推定する方法、参照画像に対する位置の指定を入力し、この入力した位置の画像値に基づいて背景色を推定する方法を用いることができる。
【0026】
参照ヒストグラム作成部21は、背景色推定部20によって推定された背景色を動画像中から除き、対象動物体に該当する参照領域の色ヒストグラムである参照ヒストグラムを作成する。
【0027】
探索領域設定部22は、処理対象とする動画像データに含まれる処理画像データから、追跡の対象とする対象動物体に該当する探索領域の候補を設定する。
【0028】
処理画像ヒストグラム生成部23は、探索領域設定部22によって設定された対象動物体に該当する探索領域の色ヒストグラムを作成する。
【0029】
追跡処理部24は、参照ヒストグラム作成部21よって作成された参照ヒストグラムと、処理画像ヒストグラム生成部23によって生成された色ヒストグラムとを用いた色ヒストグラムマッチングによって動画像中の対象動物体を追跡する。
【0030】
位置補正部25は、追跡処理部24により追跡される対象動物体の位置を、この対象動物体の物体領域の重心へ移動して位置補正する(第2実施形態)。
【0031】
追跡結果出力部26は、追跡処理部24による対象動物体についての追跡結果、あるいはさらに位置補正部25によって位置補正された対象動物体の追跡結果を、例えば表示装置14において表示される動画像中に出力する。
【0032】
入力装置12は、ユーザのマニュアル操作によって画像処理部10に対する制御指示などを入力するためのキーボードや、マウスなどのポインティングデバイスの他、画像処理の対象とする動画像データを入力するためのビデオカメラ等の撮影手段を含む。
【0033】
表示装置14は、画像処理部10による処理対象とする動画像の他、動画像中において画像処理によって追跡される対象動物体に該当する領域、参照画像における物体領域を明示する表示を行なう。
【0034】
記憶装置16は、画像処理の対象とする動画像データなどが記憶されるもので、動画像データには背景色推定工程において処理対象とする参照画像データ16a、対象動物体の追跡対象とする処理画像データ16bを含む。参照画像データ16aは、例えば動画像データの先頭フレームの画像を用いる。
【0035】
(第1実施形態)
第1実施形態では、参照画像をもとに背景色を考慮した対象動物体に該当する参照ヒストグラムを作成し、この参照ヒストグラムを用いて処理画像(動画像)中の対象動物体を追跡する。
【0036】
図2は、第1実施形態の画像処理方法の処理の流れを示すフローチャートである。
図2において、ステップA1は動画像(参照画像)の背景色を推定する背景色推定工程、ステップA2は推定された背景色を除いて対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成する参照ヒストグラム作成工程、ステップA3は参照ヒストグラムを用いて色ヒストグラムマッチングによって対象動物体を追跡する追跡処理工程、ステップA4は動画像(処理画像)中の対象動物体に該当する領域の候補を設定する探索領域設定工程、ステップA5は対象動物体に該当する領域対象とした色ヒストグラムを生成する処理画像ヒストグラム生成工程である。
【0037】
まず、動画像中の対象動物体の追跡を開始する前に、背景色推定部20による背景色推定工程では、例えば動画像の先頭フレームの画像を参照画像として入力し、動画像中の背景色を推定する(ステップA1)。すなわち、後段の参照ヒストグラム作成工程において、参照ヒストグラムの作成対象とする参照領域から除く色を決定する。
【0038】
小さな対象動物体を追跡する技術は、主にスポーツ映像中の選手・ボールの追跡や、自動車・不審者等の監視に応用される。例えば、図3(A)に示すような、サッカーの様子を撮影して得られた動画像では、画像の多くの部分を占める領域がサッカーフィールドの芝生の色をしている。また、道路での自動車監視の場合でも、同様に、画像の多くの部分を路面の色が占める。このような場合、背景色推定部20は、参照画像データをもとにして、背景色を次の(1)〜(3)に示す方法による画素値の統計処理によって求める。
【0039】
(1)画面内の全画素の平均色、
(2)画面内の全画素の中間色(メディアン)、
(3)画面内の色ヒストグラムを取り、その最も度数が大きい色(最頻色)。
【0040】
なお、何れの方法を用いて背景色を推定するかは、何れかの方法が予め設定されていても良いし、ユーザのマニュアル操作によって入力装置12から入力された指示に応じて、何れかの方法が設定されるようにしても良い。
【0041】
また、サッカーフィールドのように画像中においてある単色が背景の多くの部分を占める場合には、前述した(1)〜(3)の方法を用いることができるが、単色が背景の多くの部分を占めない画像を対象とする場合には画像中の限られた部分背景領域を対象として、次のようにして背景色を推定することもできる。
【0042】
まず、参照画像中から例えば追跡対象とする対象動物体を含む参照物体領域を設定する。参照物体領域の設定は、例えば参照画像においてユーザが入力装置12(マウスなど)を用いたマニュアル操作によって矩形領域や楕円領域を設定してもよいし、また、背景差分法やフレーム間差分法といった画像処理を用いて参照物体領域を自動生成してもよい。
【0043】
図4には、サッカーの動画像において追跡する参照物体(ここではプレーヤの1人)の位置を表す参照物体領域30が楕円領域によって設定された例を示している。背景色推定部20は、参照物体領域30が設定されると、参照物体領域30からある一定の幅だけ広げた領域を図4に示すように部分背景領域32として設定する。そして、参照物体領域30より外側で部分背景領域32より内側の領域に含まれる画素について、上述した統計処理によって平均色、中間色、あるいは最頻色を算出することによって背景色を求める。
【0044】
また、ユーザが参照画像において入力装置12(マウスなど)を用いたマニュアル操作によって、背景色の推定に参照すべき位置の指定を入力し、この指定された位置をもとに背景色を推定することもできる。
【0045】
図5には、参照画像において、入力装置12(マウスなど)の操作でポインタ34を任意の位置に移動させ、例えば矩形を表す対角の2点を指定することで、背景色の推定に用いる背景指定領域36が設定された例を示している。
【0046】
背景色推定部20は、前述のようにして任意に設定された背景指定領域36に含まれる画素について、上述した統計処理によって平均色、中間色、あるいは最頻色を算出することによって背景色を求める。
【0047】
なお、図5に示すように、背景指定領域36を設定するだけでなく、ユーザによるマニュアル操作によって参照画像中の一点を指示させて背景色を決めることも可能である。この場合、背景色推定部20は、ポインタ34によって指定された位置の画素の色を背景色とする、あるいは指定された位置の周辺の数画素をもとにして背景色を算出するものとする。
【0048】
こうして、背景色の推定に有効な領域(あるいは位置)を設定することで、参照画像中の背景色が一様でない(ある単色が多くを占めていない)場合であっても、後段の参照ヒストグラムの作成の際に参照画像から削除すべき色を決定することができる。例えばサッカーの動画像中においてサッカーフィールドの芝がはがれている箇所が多いために芝と土の色が混在している、あるいは日向の部分と日陰の部分がある場合などであっても対応することができる。
【0049】
次に、参照ヒストグラム作成部21による参照ヒストグラム作成工程において、背景色推定工程によって推定された背景色を除いて、対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成する(ステップA2)。
【0050】
例えば、参照ヒストグラム作成部21は、図6に示す参照画像中で設定される参照物体領域38の画像データをもとに、各画素値から色ヒストグラムを作成する。従来の色ヒストグラムの作成では、図7(a1)に示すような参照物体領域38内の全ての画素を用いて色ヒストグラムを求めていたので、図7(a2)に示すような、物体色(ここではサッカープレーヤ)でない背景色を含んだ色ヒストグラムが作成されてしまう。例えば、サッカープレーヤが身につけているシャツやパンツが赤系統の色であれば赤色付近(物体色)に画素数の頻度のピークが現れ、その他にサッカーフィールドの芝による緑色付近に画素数の頻度のピークが現れる。
【0051】
本実施形態の参照ヒストグラム作成部21は、図7(b1)に示す参照物体領域38(図7(a1)と同じ)から、背景色推定工程(ステップA1)で推定された背景色を除いた図7(b2)に示す参照物体画像を生成し、この画像をもとにして色ヒストグラムを生成する。図7(b3)には、背景色を除いた参照物体画像をもとに生成される色ヒストグラムを示している。図7(b3)に示すように、背景色が画像から除かれているので、色ヒストグラムでは物体色のみに画素数の頻度のピークが現れる。参照ヒストグラム作成部21は、こうして生成した色ヒストグラムを、動画像の対象動物体を追跡するための色ヒストグラムマッチングに用いる参照ヒストグラムとして保持する。
【0052】
これによって、参照ヒストグラムは追跡したい小物体の色成分のみを持つ色ヒストグラムとなり、対象動物体が異なる背景色を持つ領域に移動した際でも、精度良く追跡することが可能になる。
【0053】
なお、図7(a2)(b3)に示す色ヒストグラムは、説明を簡単にするために単純なヒストグラムを例にしているが、例えばサッカープレーヤが身につけているシャツ、パンツ、ソックスなどの色がそれぞれ異なれば、それぞれの部分に該当する色にピークが現れるヒストグラムとなる。
【0054】
次に、追跡結果出力部26による追跡処理工程において、参照ヒストグラム作成工程で作成された参照ヒストグラムを用いて、色ヒストグラムマッチングによって動画像(処理画像)中の対象動物体を追跡する(ステップA3)。
【0055】
そのために、まず探索領域設定部22による探索領域設定工程において、追跡する対象物体を探す処理画像データを入力し、処理画像中の探索範囲内に候補物体領域を設定する(ステップA4)。処理画像ヒストグラム生成部23による処理画像ヒストグラム生成工程では、探索領域設定部22により設定された候補物体領域について色ヒストグラム(候補ヒストグラム)を生成する。この際、処理画像ヒストグラム生成部23は、候補物体領域中における背景色の削除は行わない。
【0056】
追跡処理部24は、参照画像をもとに生成した参照ヒストグラムと、処理画像ヒストグラム生成部23により生成された候補ヒストグラムとの間で色ヒストグラムマッチングを実行する。
【0057】
ここで、参照ヒストグラムと候補ヒストグラムの間のマッチング度合いを計る尺度としては、ヒストグラムインターセクションSHMを用いる(従来の技術の説明参照)。
【0058】
追跡処理部24は、探索領域設定部22により複数の候補物体領域が設定される場合、各候補物体領域の候補ヒストグラムを対象として、参照ヒストグラムとのマッチングを実行する。そして、追跡処理部24は、この類似度が最大となる候補ヒストグラムを持つ候補物体領域を、処理画像中の探索範囲内で探して、参照物体領域の移動先として対象動物***置を出力する。
【0059】
追跡結果出力部26は、表示装置14において動画像(処理画像)を表示する際に、追跡処理部24から出力される対象動物***置に応じて、画像中の該当する対象動物体の位置を表す、例えば矩形枠を表示する。
【0060】
以上の処理を、処理画像について継続的に実行することで、動画像中の対象動物体を追跡することができる。
【0061】
このようにして、動画像の背景色を除いて作成された参照ヒストグラムを用いて色ヒストグラムマッチングを行うことによって、画像間での変化をAffine変換で近似できず、追跡対象領域が小さな対象動物体でも、精度良く動画像中から追跡することができる。
【0062】
(第2実施形態)
第2実施形態は、前述した第1実施形態における画像処理に、物体重心への移動による時間方向のブレ補正の処理を追加するものである。
【0063】
図8は、本発明の第2実施形態の画像処理方法の処理の流れを示すフローチャートである。
【0064】
図8において、ステップB1は動画像の背景色を推定する背景色推定工程、ステップB2は推定された背景色を除いて対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成する参照ヒストグラム作成工程、ステップB3は参照ヒストグラムを用いて色ヒストグラムマッチングによって対象動物***置を出力する追跡処理工程、ステップB4は出力された対象動物***置を対象動物体の物体領域の重心へ移動して位置補正する位置補正工程、ステップB5は動画像(処理画像)中の対象動物体に該当する領域の候補を設定する探索領域設定工程、ステップB6は対象動物体に該当する領域対象とした色ヒストグラムを生成する処理画像ヒストグラム生成工程である。
【0065】
なお、背景色推定工程、参照ヒストグラム作成工程、追跡処理工程、探索領域設定工程、及び処理画像ヒストグラム生成工程は、前述した第1実施形態で説明したように処理を行い、処理画像内での対象動物***置を出力するものとして詳細な説明を省略する。
【0066】
位置補正部25による位置補正工程では、追跡処理部24より出力された対象動物***置を対象動物体の物体領域の重心へ移動して位置補正を行う(ステップB4)。
【0067】
第1実施形態で説明した色ヒストグラムを用いた小物体の追跡は、対象物体の見え方やパターンの情報は用いず、色成分の割合、つまり色ヒストグラムのみを用いて追跡を行うために、物体領域の形状が大きく変化する場合でも追跡することが可能である。しかし、追跡処理に物体領域の形状情報を全く用いていないために、追跡結果を時間方向で見ると微小にブレが生じる場合がある。
【0068】
例えば、矩形の物体領域を用いて色ヒストグラムによって追跡を行うと、図9(A)に示す対象動物体領域40が推定される。この場合に出力される対象動物***置は矩形領域の中心42として出力される。これは、対象としている追跡動物体からややずれた位置を指し示している。この問題に対応するために、色ヒストグラムによる追跡処理によって算出した対象動物***置を、対象動物体の物体領域の重心位置へ移動することによって位置補正を行う。
【0069】
対象動物体の物体領域は、次の(1)〜(3)として求めることができる。
(1)対象動物***置に設定された追跡領域(矩形や楕円)から背景色を除いた領域、
(2)追跡領域内のヒストグラムを取り、その最頻色を持つ画素の集まり、
(3)参照ヒストグラム内に、ある頻度以上で含まれる色を持つ領域。
【0070】
なお、(1)〜(3)の何れを物体領域とするかは、予め設定されていても良いし、ユーザのマニュアル操作によって入力装置12から入力された指示に応じて設定されるようにしても良い。
【0071】
例えば、対象動物体領域として背景色を除いて求めると(前述した(1)の領域)、図9(B)に示すように領域44のようになる。この領域44の重心位置は46になる。位置補正部25は、この重心位置46を、補正した対象動物***置として出力する。
【0072】
追跡結果出力部26は、表示装置14において動画像(処理画像)を表示する際に、追跡処理部24から出力された補正された対象動物***置に応じて、画像中の該当する対象動物体の位置を表す表示をする。
【0073】
以上のように、対象動物***置を対象動物体の物体領域の重心へ移動して位置補正を行うことによって、色ヒストグラムによる追跡によって生じる時間方向への微小なブレを軽減して追跡の精度を高めることが可能になる。
【0074】
なお、前述した説明では、動画像中から1つの対象動物体について追跡を行なうものとして説明しているが、複数の対象動物体の追跡を並行して実行するようにしても良い。この場合、各対象動物体について同様の処理を実行すれば良い。
【0075】
また、前述した説明では、処理画像データ(対象動物体を含む動画像データ)は、記憶装置16に記憶されているものとしているが、入力装置12(ビデオカメラ)によって撮影された動画像データを対象とすることも可能である。この場合、入力装置12から入力される動画像データと関連する画像、例えば予め同じ範囲で撮影された画像を参照画像として、背景色を削除した参照ヒストグラムの作成を行っておくものとする。
【0076】
また、上述した実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク(フレキシブルディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムを読み込み、または通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。
【0077】
また、本願発明は、前述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、前記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【0078】
【発明の効果】
以上詳述したように本発明によれば、動画像の背景色を推定し、推定された背景色を除いて対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成し、参照ヒストグラムを用いて色ヒストグラムマッチングによって対象動物体を追跡することによって、画像間での変化をAffine変換で近似できず、追跡対象領域が小さな対象動物体でも、精度良く動画像中から追跡できる。
【図面の簡単な説明】
【図1】本実施形態に係わる画像処理装置の機能構成を示すブロック図。
【図2】本発明の第1実施形態における画像処理方法の処理の流れを示すフローチャート。
【図3】背景色の推定方法を説明するための図。
【図4】部分背景領域より背景色を推定する方法を説明するための図。
【図5】マニュアル操作により背景色を指定する方法を説明するための図。
【図6】参照物体領域が設定された参照画像の一例を示す図。
【図7】背景色を除いた参照ヒストグラムの作成方法を示す図。
【図8】第2実施形態の画像処理方法の処理の流れを示すフローチャート。
【図9】物体領域重心への位置補正方法を説明するための図。
【図10】Affine変換推定を用いた物体追跡手法を示す図。
【図11】色ヒストグラムを用いた物体追跡手法の処理対象とする参照画像の一例を示す図。
【図12】RGB色空間を表す図。
【符号の説明】
10…画像処理部、12…入力装置、14…表示装置、16…記憶装置、20…背景色推定部、21…参照ヒストグラム作成部、22…探索領域設定部、23…処理画像ヒストグラム生成部、24…追跡処理部、25…位置補正部、26…追跡結果出力部、30…参照物体領域、32…部分背景領域、34…ポインタ、36…背景指定領域、38…参照物体領域、40…矩形の対象動物体領域、42…対象動物***置、44…物体領域、46…物体領域の重心位置。
Claims (6)
- 動画像中の対象動物体を追跡する画像処理方法において、
動画像の背景色を推定する背景色推定工程と、
前記背景色推定工程によって推定された背景色を除いた対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成する参照ヒストグラム作成工程と、
前記参照ヒストグラム作成工程によって作成された参照ヒストグラムを用いて、色ヒストグラムマッチングによって対象動物体を追跡する追跡処理工程とを備えることを特徴とする画像処理方法。 - 前記背景色推定工程において、前記動画像に含まれる参照画像に対する画素値の統計処理によって背景色を推定することを特徴とする請求項1記載の画像処理方法。
- 前記背景色推定工程において、
前記動画像に含まれる参照画像中の対象動物体に該当する参照領域を設定する工程と、
前記参照領域の近傍領域である部分背景領域の色情報から背景色を推定する工程とを有する特徴とする請求項1記載の画像処理方法。 - 前記背景色推定工程において、
前記動画像に含まれる参照画像に対する位置の指定を入力する工程と、
この工程により入力した位置の画像値に基づいて背景色を推定する工程とを有することを特徴とする請求項1記載の画像処理方法。 - 前記追跡処理工程により追跡される対象動物体の位置を前記対象動物体の物体領域の重心へ移動して位置補正する位置補正工程を備えることを特徴とする請求項1記載の画像処理方法。
- 動画像中の対象動物体を追跡する画像処理装置において、
動画像の背景色を推定する背景色推定手段と、
前記背景色推定手段によって推定された背景色を除いた対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成する参照ヒストグラム作成手段と、
前記参照ヒストグラム作成手段によって作成された参照ヒストグラムを用いて、色ヒストグラムマッチングによって対象動物体を追跡する追跡処理手段と
を備えることを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003043029A JP2004252748A (ja) | 2003-02-20 | 2003-02-20 | 画像処理方法、画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003043029A JP2004252748A (ja) | 2003-02-20 | 2003-02-20 | 画像処理方法、画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004252748A true JP2004252748A (ja) | 2004-09-09 |
Family
ID=33026148
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003043029A Pending JP2004252748A (ja) | 2003-02-20 | 2003-02-20 | 画像処理方法、画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004252748A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006154164A (ja) * | 2004-11-29 | 2006-06-15 | Casio Hitachi Mobile Communications Co Ltd | 携帯端末および動画再生方法 |
JP2006185109A (ja) * | 2004-12-27 | 2006-07-13 | Hitachi Ltd | 画像計測装置及び画像計測方法 |
JP2008191906A (ja) * | 2007-02-05 | 2008-08-21 | Fujitsu Ltd | テロップ文字抽出プログラム、記録媒体、方法及び装置 |
WO2009125596A1 (ja) | 2008-04-11 | 2009-10-15 | パナソニック株式会社 | 画像処理装置、方法、および記憶媒体 |
JP2010501440A (ja) * | 2006-08-25 | 2010-01-21 | オーチス エレベータ カンパニー | 目的階登録配車運転においてセキュリティ保護の追跡を匿名で行う乗客指標付けシステム |
WO2011043060A1 (ja) | 2009-10-07 | 2011-04-14 | パナソニック株式会社 | 追尾対象選択装置、方法、プログラム及び回路 |
JP2015075920A (ja) * | 2013-10-09 | 2015-04-20 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN105444888A (zh) * | 2015-11-16 | 2016-03-30 | 青岛市光电工程技术研究院 | 一种高光谱成像***的色差补偿方法 |
CN106303195A (zh) * | 2015-05-28 | 2017-01-04 | 中兴通讯股份有限公司 | 拍摄设备及跟踪拍摄方法和*** |
-
2003
- 2003-02-20 JP JP2003043029A patent/JP2004252748A/ja active Pending
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006154164A (ja) * | 2004-11-29 | 2006-06-15 | Casio Hitachi Mobile Communications Co Ltd | 携帯端末および動画再生方法 |
JP2006185109A (ja) * | 2004-12-27 | 2006-07-13 | Hitachi Ltd | 画像計測装置及び画像計測方法 |
JP2010501440A (ja) * | 2006-08-25 | 2010-01-21 | オーチス エレベータ カンパニー | 目的階登録配車運転においてセキュリティ保護の追跡を匿名で行う乗客指標付けシステム |
JP2008191906A (ja) * | 2007-02-05 | 2008-08-21 | Fujitsu Ltd | テロップ文字抽出プログラム、記録媒体、方法及び装置 |
JP5210318B2 (ja) * | 2008-04-11 | 2013-06-12 | パナソニック株式会社 | 画像処理装置、方法、および記憶媒体 |
EP2151801A1 (en) * | 2008-04-11 | 2010-02-10 | Panasonic Corporation | Image processing apparatus, method, and storage medium |
US8089548B2 (en) | 2008-04-11 | 2012-01-03 | Panasonic Corporation | Image processing device, method, and storage medium |
WO2009125596A1 (ja) | 2008-04-11 | 2009-10-15 | パナソニック株式会社 | 画像処理装置、方法、および記憶媒体 |
EP2151801A4 (en) * | 2008-04-11 | 2014-08-20 | Panasonic Ip Corp America | APPARATUS AND METHOD FOR IMAGE PROCESSING, AND STORAGE MEDIUM |
WO2011043060A1 (ja) | 2009-10-07 | 2011-04-14 | パナソニック株式会社 | 追尾対象選択装置、方法、プログラム及び回路 |
US8432357B2 (en) | 2009-10-07 | 2013-04-30 | Panasonic Corporation | Tracking object selection apparatus, method, program and circuit |
JP2015075920A (ja) * | 2013-10-09 | 2015-04-20 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
US9679386B2 (en) | 2013-10-09 | 2017-06-13 | Casio Computer Co., Ltd. | Image processing device capable of segmenting an image into plural areas |
CN106303195A (zh) * | 2015-05-28 | 2017-01-04 | 中兴通讯股份有限公司 | 拍摄设备及跟踪拍摄方法和*** |
CN105444888A (zh) * | 2015-11-16 | 2016-03-30 | 青岛市光电工程技术研究院 | 一种高光谱成像***的色差补偿方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11594029B2 (en) | Methods and systems for determining ball shot attempt location on ball court | |
US9437012B2 (en) | Multiple-object tracking and team identification for game strategy analysis | |
EP2685425B1 (en) | Object tracking device, object tracking method, and control program | |
EP3668093B1 (en) | Method, system and apparatus for capture of image data for free viewpoint video | |
US10957068B2 (en) | Information processing apparatus and method of controlling the same | |
US20130335635A1 (en) | Video Analysis Based on Sparse Registration and Multiple Domain Tracking | |
US20190089923A1 (en) | Video processing apparatus for displaying a plurality of video images in superimposed manner and method thereof | |
Ghanem et al. | Robust video registration applied to field-sports video analysis | |
EP2320379A1 (en) | Image processing device, object tracking device, and image processing method | |
JP6924932B2 (ja) | 移動体追跡方法、移動体追跡装置、およびプログラム | |
US20090290753A1 (en) | Method and system for gaze estimation | |
JP2009064445A (ja) | 画像処理装置及び方法 | |
JP2009077394A (ja) | 通信システム及び通信方法 | |
JP2009505553A (ja) | ビデオストリームへの視覚効果の挿入を管理するためのシステムおよび方法 | |
JP3836814B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラム | |
JP2018113021A (ja) | 情報処理装置およびその制御方法、プログラム | |
JP2004252748A (ja) | 画像処理方法、画像処理装置 | |
Rozumnyi et al. | Sub-frame appearance and 6d pose estimation of fast moving objects | |
Hasegawa et al. | Synthesis of a stroboscopic image from a hand-held camera sequence for a sports analysis | |
JP2003006654A (ja) | 動画像における移動体の特徴量抽出方法と自動追跡方法及びそれらの装置、並びに、それらの方法の実行プログラムとこの実行プログラムを記録した記録媒体 | |
JP6456244B2 (ja) | カメラキャリブレーション方法および装置 | |
CN114037923A (zh) | 一种目标活动热点图绘制方法、***、设备及存储介质 | |
Liang et al. | Video2Cartoon: A system for converting broadcast soccer video into 3D cartoon animation | |
Rosney et al. | Automating sports broadcasting using ultra-high definition cameras, neural networks, and classical denoising | |
Conze et al. | Multi-reference combinatorial strategy towards longer long-term dense motion estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050905 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051018 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051116 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060110 |