JP2004252748A

JP2004252748A - 画像処理方法、画像処理装置

Info

Publication number: JP2004252748A
Application number: JP2003043029A
Authority: JP
Inventors: Nobuyuki Matsumoto; 信幸松本; Osamu Hori; 修堀; Takashi Ida; 孝井田; Hidenori Takeshima; 秀則竹島
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2003-02-20
Filing date: 2003-02-20
Publication date: 2004-09-09

Abstract

【課題】画像間での変化をＡｆｆｉｎｅ変換で近似できず、追跡対象領域が小さな対象動物体でも、精度良く動画像中において追跡する。
【解決手段】動画像中の対象動物体を追跡する画像処理方法において、動画像の背景色を推定する背景色推定工程（ステップＡ１）と、推定された背景色を除いて対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成する参照ヒストグラム作成工程（ステップＡ２）と、参照ヒストグラムを用いて色ヒストグラムマッチングによって対象動物体を追跡する追跡処理工程（ステップＡ３）を有する。
【選択図】図２

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像中の対象動物体を追跡するための画像処理方法及び画像処理装置に関する。
【０００２】
【従来の技術】
動画像中の対象動物体を追跡する技術は、動画像中の自動車や不審者を追跡して検出する監視システムで利用されている。また、この技術は、動画像中のある物体に予め関連情報（名前，値段など）を付与しておき、画面に表示される動画像中のこの物体をユーザがマウス等を用いてポインティングすれば関連情報を画面に提示するような映像を制作するためのアンカー領域の指定などに利用される。これによって、テレビドラマを見ながら俳優が身に付けている時計をユーザがマウスでクリックしてインターネットショッピングによって購入したり、スポーツ観戦中に所望の選手のプロフィールを表示させたり、また、試合中の選手の動きを解析してチームの戦略分析等に応用することも可能になる。
【０００３】
動画像中の対象動物体の追跡技術の具体的なアルゴリズムの一つとして、Ａｆｆｉｎｅ変換推定を用いた物体追跡手法がある（例えば、特許文献１参照。）。これは、フレーム間での対象動物体の移動・変形が、Ａｆｆｉｎｅ変換であると仮定して、このＡｆｆｉｎｅ変換を表すＡｆｆｉｎｅパラメータを推定して物体を追跡する手法である。本手法について、図１０を用いて説明する。
【０００４】
参照画像に対してユーザの手入力によって参照物体領域を指定し、図１０（Ａ）に示すように、追跡に効果的な有限個の特徴点（追跡点）のみを選択する。特徴点選択は、例えば次のようにして行なう。まず、参照物体領域内に定められた間隔で特徴点候補を格子状に配置して、特徴点候補を中心に定められた大きさのブロック（例えば８×８画素）を決める。そして、特徴点候補を中心に、周囲領域においてブロックマッチングを行い、周囲領域とのブロックマッチングを行うことにより得られた類似度が低い、つまり、処理画像との追跡を行う際のブロックマッチング誤り（追跡誤り）の起こりにくいと判断される特徴点候補を選択する。
【０００５】
続いて、図１０（Ｂ）のように、参照画像に配置された特徴点を中心としたブロックと処理画像とでブロックマッチングを行い、移動ベクトルを推定する。一般に、これら移動ベクトルには外れ値が含まれている。よって、ロバスト推定により物体の変換を表すＡｆｆｉｎｅパラメータを推定し、このＡｆｆｉｎｅパラメータを用いて参照物体領域にＡｆｆｉｎｅ変換を施す。この結果、図１０（Ｃ）に示すように、処理画像での対象動物体領域の位置及び形状を推定することができる。
【０００６】
また、色ヒストグラムを用いて参照物体領域に対応する領域を処理画像中から推定するアルゴリズムもある（例えば、非特許文献１参照。）。これは、マッチングを取るための特徴量として、参照物体領域内の色ヒストグラムを用いるもので、処理画像の色ヒストグラムとの照合を取ることで物***置を検出する方法である。
【０００７】
まず、図１１のように、画像中から参照ヒストグラムを作成するための参照物体領域４８を設定する。この設定は、参照画像においてユーザがマニュアル操作によって矩形領域や楕円領域を設定してもよいし、また、背景差分法やフレーム間差分法といった画像処理を用いて参照物体領域を自動生成してもよい。続いて、この参照物体領域の色ヒストグラムを作成する。色ヒストグラムの計算では、色空間における各軸をＱ分割した３次元色ヒストグラムを作成する。図１２では、色空間をＲＧＢ空間、Ｑ＝４分割として図示してある。参照物体領域内での各画素値が色空間内のＱ^３＝６４個の立方体それぞれに何個含まれるかを数えて、参照物体領域での色ヒストグラムを以下の式（１）として算出する。ヒストグラムの性質上、参照物体領域内の総画素数は以下の（２）となる。
【０００８】
【数１】

【０００９】
次に、以下の式（３）に示す各色ヒストグラムの要素を総画素数で割った正規化ヒストグラムを作成する。
【００１０】
【数２】

【００１１】
つまり、参照物体領域内の総画素数は１．０に正規化されている。この式（３）を参照物体領域の色ヒストグラムを表す参照ヒストグラムとする。
【００１２】
続いて、処理画像中の探索範囲内に候補物体領域を設定し、同様に候補ヒストグラムを作成する（以下に示す式（４））。ヒストグラム間のマッチング度合いを計る尺度としては、以下の式（５）に示すヒストグラムインターセクションＳ_ＨＭを用いる。
【００１３】
【数３】

【００１４】
ヒストグラムインターセクションＳ_ＨＭは、ヒストグラムが正規化されているため、０から１までの値を取り、この類似度が最大となる候補ヒストグラムを持つ候補物体領域を、処理画像中の探索範囲内で探して、参照物体領域の移動先として出力する。
【００１５】
【特許文献１】
特開２００１−１３２５９１公報
【００１６】
【特許文献２】
ＭｉｃｈａｅｌＪ．Ｓｗａｉｎ，ＤａｎａＨ．Ｂａｌｌａｒｄ著「ＣｏｌｏｒＩｎｄｅｘｉｎｇ」ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，ｖｏｌ．７，ｎｏ．１，ｐｐ．１１−３２，１９９１．
【００１７】
【発明が解決しようとする課題】
しかしながら、Ａｆｆｉｎｅ変換推定を用いた物体追跡手法では、推定されたＡｆｆｉｎｅパラメータによって対象動物体の変形・追跡を行うために、参照画像における対象動物体から処理画像における対象動物体への変化がＡｆｆｉｎｅ変換で近似できない場合には正しい追跡を行うことができないという問題があった。また、複数のブロックマッチングを用いて物体を追跡するため、追跡領域がある程度の大きさを持つ必要もあった。
【００１８】
一方、色ヒストグラムを用いた物体追跡手法では、対象領域内の色ヒストグラムを用いて追跡を行うため、対象動物体の持つ色成分に大きな変化が生じない限り、形状に大きな変化が生じても追跡することができ、追跡領域が小さな領域の場合でも追跡できる。しかし、一般に、参照物体領域を指定する際、矩形領域や楕円領域で指定するために、参照ヒストグラムとして、対象動物体以外の色成分が反映された色ヒストグラムが作成されてしまい、追跡精度の低下を招く問題があった。
【００１９】
本発明は前記のような事情を考慮してなされたもので、画像間での変化をＡｆｆｉｎｅ変換で近似できず、追跡対象領域が小さな対象動物体を、精度良く動画像中から追跡することが可能な画像処理方法及び画像処理装置を提供することを目的とする。
【００２０】
【課題を解決するための手段】
本発明は、動画像中の対象動物体を追跡する画像処理方法において、動画像の背景色を推定する背景色推定工程と、前記背景色推定工程によって推定された背景色を除いた対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成する参照ヒストグラム作成工程と、前記参照ヒストグラム作成工程によって作成された参照ヒストグラムを用いて、色ヒストグラムマッチングによって対象動物体を追跡する追跡処理工程とを備える。
【００２１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。図１は本実施形態に係わる画像処理装置の機能構成を示すブロック図である。本実施形態における画像処理装置は、例えば半導体メモリ、ＣＤ−ＲＯＭ、ＤＶＤ、磁気ディスク等の記録媒体に記録された画像処理プログラムを読み込み、この画像処理プログラムによって動作が制御されるコンピュータによって実現される。本実施形態における画像処理装置では、動画像中の対象動物体を追跡するための画像処理を実行する。動画像中の対象動物体としては、例えばテレビドラマの動画像中の俳優、スポーツを撮影した動画像中の選手やボール、監視システムにおいて撮影された動画像中の自動車や不審者等がある。
【００２２】
図１に示すように、本実施形態における画像処理装置は、画像処理部１０、入力装置１２、表示装置１４、及び記憶装置１６が設けられて構成されている。
【００２３】
画像処理部１０は、入力装置１２あるいは記憶装置１６から動画像データを入力し、動画像中の対象動物体を追跡するための画像処理をする機能を有している。
【００２４】
画像処理部１０には、背景色推定部２０、参照ヒストグラム作成部２１、探索領域設定部２２、処理画像ヒストグラム生成部２３、追跡処理部２４、位置補正部２５、追跡結果出力部２６などが設けられる。
【００２５】
背景色推定部２０は、記憶装置１６から入力される参照画像データから動画像の背景色を推定する。参照画像データは、例えば処理対象とする動画像データに含まれる先頭フレームの画像データとする。背景色推定部２０は、背景色の推定方法として、動画像に含まれる参照画像に対する画素値の統計処理によって背景色を推定する方法、参照画像中の対象動物体に該当する参照領域を設定し、この参照領域の近傍領域である部分背景領域の色情報から背景色を推定する方法、参照画像に対する位置の指定を入力し、この入力した位置の画像値に基づいて背景色を推定する方法を用いることができる。
【００２６】
参照ヒストグラム作成部２１は、背景色推定部２０によって推定された背景色を動画像中から除き、対象動物体に該当する参照領域の色ヒストグラムである参照ヒストグラムを作成する。
【００２７】
探索領域設定部２２は、処理対象とする動画像データに含まれる処理画像データから、追跡の対象とする対象動物体に該当する探索領域の候補を設定する。
【００２８】
処理画像ヒストグラム生成部２３は、探索領域設定部２２によって設定された対象動物体に該当する探索領域の色ヒストグラムを作成する。
【００２９】
追跡処理部２４は、参照ヒストグラム作成部２１よって作成された参照ヒストグラムと、処理画像ヒストグラム生成部２３によって生成された色ヒストグラムとを用いた色ヒストグラムマッチングによって動画像中の対象動物体を追跡する。
【００３０】
位置補正部２５は、追跡処理部２４により追跡される対象動物体の位置を、この対象動物体の物体領域の重心へ移動して位置補正する（第２実施形態）。
【００３１】
追跡結果出力部２６は、追跡処理部２４による対象動物体についての追跡結果、あるいはさらに位置補正部２５によって位置補正された対象動物体の追跡結果を、例えば表示装置１４において表示される動画像中に出力する。
【００３２】
入力装置１２は、ユーザのマニュアル操作によって画像処理部１０に対する制御指示などを入力するためのキーボードや、マウスなどのポインティングデバイスの他、画像処理の対象とする動画像データを入力するためのビデオカメラ等の撮影手段を含む。
【００３３】
表示装置１４は、画像処理部１０による処理対象とする動画像の他、動画像中において画像処理によって追跡される対象動物体に該当する領域、参照画像における物体領域を明示する表示を行なう。
【００３４】
記憶装置１６は、画像処理の対象とする動画像データなどが記憶されるもので、動画像データには背景色推定工程において処理対象とする参照画像データ１６ａ、対象動物体の追跡対象とする処理画像データ１６ｂを含む。参照画像データ１６ａは、例えば動画像データの先頭フレームの画像を用いる。
【００３５】
（第１実施形態）
第１実施形態では、参照画像をもとに背景色を考慮した対象動物体に該当する参照ヒストグラムを作成し、この参照ヒストグラムを用いて処理画像（動画像）中の対象動物体を追跡する。
【００３６】
図２は、第１実施形態の画像処理方法の処理の流れを示すフローチャートである。
図２において、ステップＡ１は動画像（参照画像）の背景色を推定する背景色推定工程、ステップＡ２は推定された背景色を除いて対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成する参照ヒストグラム作成工程、ステップＡ３は参照ヒストグラムを用いて色ヒストグラムマッチングによって対象動物体を追跡する追跡処理工程、ステップＡ４は動画像（処理画像）中の対象動物体に該当する領域の候補を設定する探索領域設定工程、ステップＡ５は対象動物体に該当する領域対象とした色ヒストグラムを生成する処理画像ヒストグラム生成工程である。
【００３７】
まず、動画像中の対象動物体の追跡を開始する前に、背景色推定部２０による背景色推定工程では、例えば動画像の先頭フレームの画像を参照画像として入力し、動画像中の背景色を推定する（ステップＡ１）。すなわち、後段の参照ヒストグラム作成工程において、参照ヒストグラムの作成対象とする参照領域から除く色を決定する。
【００３８】
小さな対象動物体を追跡する技術は、主にスポーツ映像中の選手・ボールの追跡や、自動車・不審者等の監視に応用される。例えば、図３（Ａ）に示すような、サッカーの様子を撮影して得られた動画像では、画像の多くの部分を占める領域がサッカーフィールドの芝生の色をしている。また、道路での自動車監視の場合でも、同様に、画像の多くの部分を路面の色が占める。このような場合、背景色推定部２０は、参照画像データをもとにして、背景色を次の（１）〜（３）に示す方法による画素値の統計処理によって求める。
【００３９】
（１）画面内の全画素の平均色、
（２）画面内の全画素の中間色（メディアン）、
（３）画面内の色ヒストグラムを取り、その最も度数が大きい色（最頻色）。
【００４０】
なお、何れの方法を用いて背景色を推定するかは、何れかの方法が予め設定されていても良いし、ユーザのマニュアル操作によって入力装置１２から入力された指示に応じて、何れかの方法が設定されるようにしても良い。
【００４１】
また、サッカーフィールドのように画像中においてある単色が背景の多くの部分を占める場合には、前述した（１）〜（３）の方法を用いることができるが、単色が背景の多くの部分を占めない画像を対象とする場合には画像中の限られた部分背景領域を対象として、次のようにして背景色を推定することもできる。
【００４２】
まず、参照画像中から例えば追跡対象とする対象動物体を含む参照物体領域を設定する。参照物体領域の設定は、例えば参照画像においてユーザが入力装置１２（マウスなど）を用いたマニュアル操作によって矩形領域や楕円領域を設定してもよいし、また、背景差分法やフレーム間差分法といった画像処理を用いて参照物体領域を自動生成してもよい。
【００４３】
図４には、サッカーの動画像において追跡する参照物体（ここではプレーヤの１人）の位置を表す参照物体領域３０が楕円領域によって設定された例を示している。背景色推定部２０は、参照物体領域３０が設定されると、参照物体領域３０からある一定の幅だけ広げた領域を図４に示すように部分背景領域３２として設定する。そして、参照物体領域３０より外側で部分背景領域３２より内側の領域に含まれる画素について、上述した統計処理によって平均色、中間色、あるいは最頻色を算出することによって背景色を求める。
【００４４】
また、ユーザが参照画像において入力装置１２（マウスなど）を用いたマニュアル操作によって、背景色の推定に参照すべき位置の指定を入力し、この指定された位置をもとに背景色を推定することもできる。
【００４５】
図５には、参照画像において、入力装置１２（マウスなど）の操作でポインタ３４を任意の位置に移動させ、例えば矩形を表す対角の２点を指定することで、背景色の推定に用いる背景指定領域３６が設定された例を示している。
【００４６】
背景色推定部２０は、前述のようにして任意に設定された背景指定領域３６に含まれる画素について、上述した統計処理によって平均色、中間色、あるいは最頻色を算出することによって背景色を求める。
【００４７】
なお、図５に示すように、背景指定領域３６を設定するだけでなく、ユーザによるマニュアル操作によって参照画像中の一点を指示させて背景色を決めることも可能である。この場合、背景色推定部２０は、ポインタ３４によって指定された位置の画素の色を背景色とする、あるいは指定された位置の周辺の数画素をもとにして背景色を算出するものとする。
【００４８】
こうして、背景色の推定に有効な領域（あるいは位置）を設定することで、参照画像中の背景色が一様でない（ある単色が多くを占めていない）場合であっても、後段の参照ヒストグラムの作成の際に参照画像から削除すべき色を決定することができる。例えばサッカーの動画像中においてサッカーフィールドの芝がはがれている箇所が多いために芝と土の色が混在している、あるいは日向の部分と日陰の部分がある場合などであっても対応することができる。
【００４９】
次に、参照ヒストグラム作成部２１による参照ヒストグラム作成工程において、背景色推定工程によって推定された背景色を除いて、対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成する（ステップＡ２）。
【００５０】
例えば、参照ヒストグラム作成部２１は、図６に示す参照画像中で設定される参照物体領域３８の画像データをもとに、各画素値から色ヒストグラムを作成する。従来の色ヒストグラムの作成では、図７（ａ１）に示すような参照物体領域３８内の全ての画素を用いて色ヒストグラムを求めていたので、図７（ａ２）に示すような、物体色（ここではサッカープレーヤ）でない背景色を含んだ色ヒストグラムが作成されてしまう。例えば、サッカープレーヤが身につけているシャツやパンツが赤系統の色であれば赤色付近（物体色）に画素数の頻度のピークが現れ、その他にサッカーフィールドの芝による緑色付近に画素数の頻度のピークが現れる。
【００５１】
本実施形態の参照ヒストグラム作成部２１は、図７（ｂ１）に示す参照物体領域３８（図７（ａ１）と同じ）から、背景色推定工程（ステップＡ１）で推定された背景色を除いた図７（ｂ２）に示す参照物体画像を生成し、この画像をもとにして色ヒストグラムを生成する。図７（ｂ３）には、背景色を除いた参照物体画像をもとに生成される色ヒストグラムを示している。図７（ｂ３）に示すように、背景色が画像から除かれているので、色ヒストグラムでは物体色のみに画素数の頻度のピークが現れる。参照ヒストグラム作成部２１は、こうして生成した色ヒストグラムを、動画像の対象動物体を追跡するための色ヒストグラムマッチングに用いる参照ヒストグラムとして保持する。
【００５２】
これによって、参照ヒストグラムは追跡したい小物体の色成分のみを持つ色ヒストグラムとなり、対象動物体が異なる背景色を持つ領域に移動した際でも、精度良く追跡することが可能になる。
【００５３】
なお、図７（ａ２）（ｂ３）に示す色ヒストグラムは、説明を簡単にするために単純なヒストグラムを例にしているが、例えばサッカープレーヤが身につけているシャツ、パンツ、ソックスなどの色がそれぞれ異なれば、それぞれの部分に該当する色にピークが現れるヒストグラムとなる。
【００５４】
次に、追跡結果出力部２６による追跡処理工程において、参照ヒストグラム作成工程で作成された参照ヒストグラムを用いて、色ヒストグラムマッチングによって動画像（処理画像）中の対象動物体を追跡する（ステップＡ３）。
【００５５】
そのために、まず探索領域設定部２２による探索領域設定工程において、追跡する対象物体を探す処理画像データを入力し、処理画像中の探索範囲内に候補物体領域を設定する（ステップＡ４）。処理画像ヒストグラム生成部２３による処理画像ヒストグラム生成工程では、探索領域設定部２２により設定された候補物体領域について色ヒストグラム（候補ヒストグラム）を生成する。この際、処理画像ヒストグラム生成部２３は、候補物体領域中における背景色の削除は行わない。
【００５６】
追跡処理部２４は、参照画像をもとに生成した参照ヒストグラムと、処理画像ヒストグラム生成部２３により生成された候補ヒストグラムとの間で色ヒストグラムマッチングを実行する。
【００５７】
ここで、参照ヒストグラムと候補ヒストグラムの間のマッチング度合いを計る尺度としては、ヒストグラムインターセクションＳ_ＨＭを用いる（従来の技術の説明参照）。
【００５８】
追跡処理部２４は、探索領域設定部２２により複数の候補物体領域が設定される場合、各候補物体領域の候補ヒストグラムを対象として、参照ヒストグラムとのマッチングを実行する。そして、追跡処理部２４は、この類似度が最大となる候補ヒストグラムを持つ候補物体領域を、処理画像中の探索範囲内で探して、参照物体領域の移動先として対象動物***置を出力する。
【００５９】
追跡結果出力部２６は、表示装置１４において動画像（処理画像）を表示する際に、追跡処理部２４から出力される対象動物***置に応じて、画像中の該当する対象動物体の位置を表す、例えば矩形枠を表示する。
【００６０】
以上の処理を、処理画像について継続的に実行することで、動画像中の対象動物体を追跡することができる。
【００６１】
このようにして、動画像の背景色を除いて作成された参照ヒストグラムを用いて色ヒストグラムマッチングを行うことによって、画像間での変化をＡｆｆｉｎｅ変換で近似できず、追跡対象領域が小さな対象動物体でも、精度良く動画像中から追跡することができる。
【００６２】
（第２実施形態）
第２実施形態は、前述した第１実施形態における画像処理に、物体重心への移動による時間方向のブレ補正の処理を追加するものである。
【００６３】
図８は、本発明の第２実施形態の画像処理方法の処理の流れを示すフローチャートである。
【００６４】
図８において、ステップＢ１は動画像の背景色を推定する背景色推定工程、ステップＢ２は推定された背景色を除いて対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成する参照ヒストグラム作成工程、ステップＢ３は参照ヒストグラムを用いて色ヒストグラムマッチングによって対象動物***置を出力する追跡処理工程、ステップＢ４は出力された対象動物***置を対象動物体の物体領域の重心へ移動して位置補正する位置補正工程、ステップＢ５は動画像（処理画像）中の対象動物体に該当する領域の候補を設定する探索領域設定工程、ステップＢ６は対象動物体に該当する領域対象とした色ヒストグラムを生成する処理画像ヒストグラム生成工程である。
【００６５】
なお、背景色推定工程、参照ヒストグラム作成工程、追跡処理工程、探索領域設定工程、及び処理画像ヒストグラム生成工程は、前述した第１実施形態で説明したように処理を行い、処理画像内での対象動物***置を出力するものとして詳細な説明を省略する。
【００６６】
位置補正部２５による位置補正工程では、追跡処理部２４より出力された対象動物***置を対象動物体の物体領域の重心へ移動して位置補正を行う（ステップＢ４）。
【００６７】
第１実施形態で説明した色ヒストグラムを用いた小物体の追跡は、対象物体の見え方やパターンの情報は用いず、色成分の割合、つまり色ヒストグラムのみを用いて追跡を行うために、物体領域の形状が大きく変化する場合でも追跡することが可能である。しかし、追跡処理に物体領域の形状情報を全く用いていないために、追跡結果を時間方向で見ると微小にブレが生じる場合がある。
【００６８】
例えば、矩形の物体領域を用いて色ヒストグラムによって追跡を行うと、図９（Ａ）に示す対象動物体領域４０が推定される。この場合に出力される対象動物***置は矩形領域の中心４２として出力される。これは、対象としている追跡動物体からややずれた位置を指し示している。この問題に対応するために、色ヒストグラムによる追跡処理によって算出した対象動物***置を、対象動物体の物体領域の重心位置へ移動することによって位置補正を行う。
【００６９】
対象動物体の物体領域は、次の（１）〜（３）として求めることができる。
（１）対象動物***置に設定された追跡領域（矩形や楕円）から背景色を除いた領域、
（２）追跡領域内のヒストグラムを取り、その最頻色を持つ画素の集まり、
（３）参照ヒストグラム内に、ある頻度以上で含まれる色を持つ領域。
【００７０】
なお、（１）〜（３）の何れを物体領域とするかは、予め設定されていても良いし、ユーザのマニュアル操作によって入力装置１２から入力された指示に応じて設定されるようにしても良い。
【００７１】
例えば、対象動物体領域として背景色を除いて求めると（前述した（１）の領域）、図９（Ｂ）に示すように領域４４のようになる。この領域４４の重心位置は４６になる。位置補正部２５は、この重心位置４６を、補正した対象動物***置として出力する。
【００７２】
追跡結果出力部２６は、表示装置１４において動画像（処理画像）を表示する際に、追跡処理部２４から出力された補正された対象動物***置に応じて、画像中の該当する対象動物体の位置を表す表示をする。
【００７３】
以上のように、対象動物***置を対象動物体の物体領域の重心へ移動して位置補正を行うことによって、色ヒストグラムによる追跡によって生じる時間方向への微小なブレを軽減して追跡の精度を高めることが可能になる。
【００７４】
なお、前述した説明では、動画像中から１つの対象動物体について追跡を行なうものとして説明しているが、複数の対象動物体の追跡を並行して実行するようにしても良い。この場合、各対象動物体について同様の処理を実行すれば良い。
【００７５】
また、前述した説明では、処理画像データ（対象動物体を含む動画像データ）は、記憶装置１６に記憶されているものとしているが、入力装置１２（ビデオカメラ）によって撮影された動画像データを対象とすることも可能である。この場合、入力装置１２から入力される動画像データと関連する画像、例えば予め同じ範囲で撮影された画像を参照画像として、背景色を削除した参照ヒストグラムの作成を行っておくものとする。
【００７６】
また、上述した実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムを読み込み、または通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。
【００７７】
また、本願発明は、前述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、前記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００７８】
【発明の効果】
以上詳述したように本発明によれば、動画像の背景色を推定し、推定された背景色を除いて対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成し、参照ヒストグラムを用いて色ヒストグラムマッチングによって対象動物体を追跡することによって、画像間での変化をＡｆｆｉｎｅ変換で近似できず、追跡対象領域が小さな対象動物体でも、精度良く動画像中から追跡できる。
【図面の簡単な説明】
【図１】本実施形態に係わる画像処理装置の機能構成を示すブロック図。
【図２】本発明の第１実施形態における画像処理方法の処理の流れを示すフローチャート。
【図３】背景色の推定方法を説明するための図。
【図４】部分背景領域より背景色を推定する方法を説明するための図。
【図５】マニュアル操作により背景色を指定する方法を説明するための図。
【図６】参照物体領域が設定された参照画像の一例を示す図。
【図７】背景色を除いた参照ヒストグラムの作成方法を示す図。
【図８】第２実施形態の画像処理方法の処理の流れを示すフローチャート。
【図９】物体領域重心への位置補正方法を説明するための図。
【図１０】Ａｆｆｉｎｅ変換推定を用いた物体追跡手法を示す図。
【図１１】色ヒストグラムを用いた物体追跡手法の処理対象とする参照画像の一例を示す図。
【図１２】ＲＧＢ色空間を表す図。
【符号の説明】
１０…画像処理部、１２…入力装置、１４…表示装置、１６…記憶装置、２０…背景色推定部、２１…参照ヒストグラム作成部、２２…探索領域設定部、２３…処理画像ヒストグラム生成部、２４…追跡処理部、２５…位置補正部、２６…追跡結果出力部、３０…参照物体領域、３２…部分背景領域、３４…ポインタ、３６…背景指定領域、３８…参照物体領域、４０…矩形の対象動物体領域、４２…対象動物***置、４４…物体領域、４６…物体領域の重心位置。

Claims

動画像中の対象動物体を追跡する画像処理方法において、
動画像の背景色を推定する背景色推定工程と、
前記背景色推定工程によって推定された背景色を除いた対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成する参照ヒストグラム作成工程と、
前記参照ヒストグラム作成工程によって作成された参照ヒストグラムを用いて、色ヒストグラムマッチングによって対象動物体を追跡する追跡処理工程とを備えることを特徴とする画像処理方法。
前記背景色推定工程において、前記動画像に含まれる参照画像に対する画素値の統計処理によって背景色を推定することを特徴とする請求項１記載の画像処理方法。
前記背景色推定工程において、
前記動画像に含まれる参照画像中の対象動物体に該当する参照領域を設定する工程と、
前記参照領域の近傍領域である部分背景領域の色情報から背景色を推定する工程とを有する特徴とする請求項１記載の画像処理方法。
前記背景色推定工程において、
前記動画像に含まれる参照画像に対する位置の指定を入力する工程と、
この工程により入力した位置の画像値に基づいて背景色を推定する工程とを有することを特徴とする請求項１記載の画像処理方法。
前記追跡処理工程により追跡される対象動物体の位置を前記対象動物体の物体領域の重心へ移動して位置補正する位置補正工程を備えることを特徴とする請求項１記載の画像処理方法。
動画像中の対象動物体を追跡する画像処理装置において、
動画像の背景色を推定する背景色推定手段と、
前記背景色推定手段によって推定された背景色を除いた対象動物体の参照領域の色ヒストグラムである参照ヒストグラムを作成する参照ヒストグラム作成手段と、
前記参照ヒストグラム作成手段によって作成された参照ヒストグラムを用いて、色ヒストグラムマッチングによって対象動物体を追跡する追跡処理手段と
を備えることを特徴とする画像処理装置。