JP5441670B2

JP5441670B2 - 画像処理装置及びその制御方法

Info

Publication number: JP5441670B2
Application number: JP2009291410A
Authority: JP
Inventors: 和憲石井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-12-22
Filing date: 2009-12-22
Publication date: 2014-03-12
Anticipated expiration: 2029-12-22
Also published as: JP2011134020A; US20130094711A1; US8355537B2; US20110150277A1; US8948452B2

Description

本発明は、動画において、特定の領域の被写体を追尾する技術に関する。

従来、デジタルカメラやデジタルビデオカメラ等の画像処理装置では、撮像された動画内において、撮影者が設定した被写体や、予め登録されている被写体パターンを画像処理によって検出し、その被写体を追尾する技術が知られている。このような画像処理による被写体の追尾技術では、画像内において、被写体のパターンと相関関係の高い位置を、被写体が移動した位置として判断する。このため、撮像範囲内に類似するパターンが存在する場合や、新たに撮像範囲内に類似するパターンが進入した場合等において、被写体を誤認識してしまう可能性があった。

特許文献１には、追尾する被写体の色差ヒストグラムをテンプレートとして、探索領域において相関度を計算することによって被写体の移動位置を検出し、カメラを被写体の方向に向けるように制御することで追尾性能を向上させる技術が開示されている。

特開平１１−１５０６７６号公報

しかしながら、特許文献１のように、設定した被写体のヒストグラムのパターン（特徴量）を用いて相関度の判定を行う場合、撮影条件の変化によって特徴量が変化する場合があり、被写体を誤追尾したり、追尾が不可能になる問題があった。例えば、設定した被写体の特徴量が色相であると、彩度が低い被写体であった場合、照明条件等によって被写体の明度が変化すると、特徴量の分布も変化してしまい、相関の高い領域を抽出することが不可能であった。
また、撮像範囲内に、被写体の類似色が存在する場合は、類似色を被写体と誤って判別することがあり、被写体を誤追尾する問題があった。
本発明は、上述の問題点に鑑みてなされたものであり、動画において、特定の領域の被写体を安定して追尾できるようにすることを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備える。
動画を構成する第１の画像の特定の領域を基準領域として登録する領域登録手段と、基準領域における所定の条件を満たす信号を示す第１の特徴量、および第１の特徴量を含み、所定の条件よりも広い条件を満たす信号を示す第２の特徴量を設定する設定手段と、第１の画像とは別の第２の画像において、設定手段により設定された第１の特徴量および第２の特徴量のいずれかを用いて、基準領域のマッチング処理を行うマッチング処理手段と、を備え、マッチング処理手段は、基準領域よりも広い領域に含まれる第２の特徴量が所定値よりも少ないと判断した場合には、第２の特徴量を用いてマッチング処理を行い、基準領域よりも広い領域に含まれる第２の特徴量が所定値よりも少ないと判断しない場合には、第１の特徴量を用いてマッチング処理を行うことを特徴とする。

このような構成により本発明によれば、動画において、特定の領域の被写体を安定して追尾することを可能とする。

実施形態に係るデジタルビデオカメラの機能構成を表すブロック図。実施形態に係る追尾制御処理のフローチャート。実施形態１に係る随時特徴判定処理のフローチャート。色差特徴空間を説明するための図。随時特徴判定処理で決定する特徴量を説明するための図。

以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、被写体像の特定の領域を追跡可能なデジタルビデオカメラに、本発明を適用した例を説明する。しかし、本発明は、動画としての被写体像の特定の領域を追跡することが可能な任意の機器に適用可能である。なお、本実施形態において、「有彩色」とは、特徴量として設定する彩度の範囲の色を指し、「無彩色」とは、特徴量として設定する彩度より低い彩度の色を指すものとし、本来の有彩色及び無彩色の定義とは異なるものとする。

図１は、本発明の実施形態１に係るデジタルビデオカメラ１００の機能構成を示すブロック図である。
制御部１０１は、例えばＣＰＵであり、ＲＯＭ１０２に記憶されているデジタルビデオカメラ１００の各ブロックの動作プログラムを、不図示のＲＡＭに展開し実行することにより、デジタルビデオカメラ１００の各ブロックの動作を制御する。ＲＯＭ１０２は、不揮発性メモリであり、デジタルビデオカメラ１００の各ブロックの動作プログラムに加え、例えばデジタルビデオカメラ１００の各ブロックの動作に必要なパラメータや、デジタルビデオカメラ１００の各種設定等を記憶する。操作入力部１０３は、例えばメニューボタンや撮影ボタン等の、デジタルビデオカメラ１００が備える、ユーザからの操作を受け付けるユーザインタフェースであり、受け付けた操作に対応した情報を制御部１０１に伝送する。また、本実施形態のデジタルビデオカメラ１００は、後述する画像表示部１０９としてタッチパネル式表示装置を用いた例を説明する。操作入力部１０３は、タッチパネルセンサで検出された、接触入力があった画像表示部１０９の表示領域上の位置情報も取得し、制御部１０１に伝送するものとする。

撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系１０４によって撮像素子に結像された被写体像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に順次出力する。光学系１０４は、固定レンズや変倍レンズ、焦点レンズ等によって構成されるデジタルビデオカメラ１００が備えるレンズ群であり、撮像部１０５に被写体の反射光を結像する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号に対してＡ／Ｄ変換を適用し、得られたデジタル画像信号（画像データ）を画像処理部１０７に出力する。また、Ａ／Ｄ変換部１０６は、例えばＣＤＳ／ＡＧＣ回路等を備え、デジタル画像信号のゲイン調整を行う。画像処理部１０７は、Ａ／Ｄ変換部１０６より入力されたデジタル画像信号に対して各種画像処理を適用し、映像信号を生成する。画像処理部１０７は、例えばＲＯＭ１０２に記憶されている映像出力形式の情報に従い、設定されている符号化方式やパラメータに従って、映像信号を符号化して記録媒体１０８に出力する。また、画像処理部１０７は、入力されたＲＧＢ色空間の画像データを、ＹＣｂＣｒ色空間の画像データに変換して、後述する特徴量抽出部１１０及びマッチング処理部１１１に出力する。

記録媒体１０８は、例えばデジタルビデオカメラ１００が備える内蔵メモリや、メモリカードやＨＤＤ等のデジタルビデオカメラ１００に着脱可能に装着される記憶装置であり、画像処理部１０７が符号化した映像データを記録する。画像表示部１０９は、デジタルビデオカメラ１００が備える、例えば小型ＬＣＤ等の表示装置であり、記録媒体１０８に記憶されている映像データを表示する。また、画像表示部１０９は、Ａ／Ｄ変換部１０６から出力された画像データを逐次表示（スルー表示）することにより、電子ビューファインダとして機能する。

特徴量抽出部１１０は、Ａ／Ｄ変換部１０６から出力されたＹＣｂＣｒ色空間の画像データの、指定された基準領域内を解析し、基準領域の画像の色情報の分布である特徴量を抽出するブロックである。特徴量は、例えばＲＡＭに記憶され、後述するマッチング処理に用いられる。マッチング処理部１１１は、特徴量を抽出した画像データより後に撮像された画像データから、特徴量と最も相関度の高い領域を特定する、マッチング処理を行う。なお、マッチング処理は図４に示すようなＣｂ、Ｃｒの色差特徴空間から、色相（Ｈ）及び彩度（Ｈ）の情報を用いるため、特徴量も色相及び彩度の情報で構成されるものとする。色相及び彩度の情報を用いることで、例えば照明条件によって変化しやすい輝度の情報を排除してマッチング処理を行うことが可能となる。

このような構成をもつ本実施形態のデジタルビデオカメラ１００の、追尾制御処理について、図２のフローチャートをさらに用いて説明する。なお、本追尾制御処理は、デジタルビデオカメラ１００の電源がＯＮ状態にされ、画像表示部１０９にスルー表示が開始された状態で、毎フレームの撮像において行われるループ処理である。

Ｓ２０１で、制御部１０１は、操作入力部１０３に追尾する被写体の画像内の位置を指定する入力がなされたかを判断する。追尾する被写体の画像内の位置の情報は、例えば画像表示部１０９の表示領域へのユーザからの接触入力を、タッチパネルセンサで検出することにより、操作入力部１０３から制御部１０１に伝えられるものとする。制御部１０１は、入力された追尾する被写体の画像内の位置の情報を、ＲＡＭに追尾位置の情報として記憶する。制御部１０１は、追尾する被写体の画像内の位置を指定する入力がなされた場合は処理をＳ２０２へ、入力がなされなかった場合は、処理をＳ２０５に移す。

Ｓ２０２で、制御部１０１は、指定された追尾位置を中心に、例えばＲＯＭ１０２に記憶されている基準領域として設定する領域の大きさの情報に従って、基準領域を設定する（領域登録）。また、制御部１０１は、基準領域の色相及び彩度の情報を、画素毎に取得してＲＡＭに記憶する。なお、指定された追尾位置を中心に基準領域として設定する領域の大きさを設定する場合に、画像データ外の領域を含む場合は、画像データ内に収まるように基準領域を設定すればよい。

Ｓ２０３で、制御部１０１は、基準領域の情報を特徴量抽出部１１０に伝送し、特徴量抽出部１１０に特徴量抽出処理を行わせ、基準領域の特徴量（第１の特徴量）を抽出する。基準領域の特徴量は、撮像条件の変化する場合や、類似色が撮像範囲に存在する場合等にも対応可能なように、基準領域の彩度及び色相の範囲を設定して決定する。

具体的には、まず、基準領域の画素の彩度平均値を算出し、彩度平均値から特徴量として設定する彩度の範囲を決定する。例えば、彩度が低いとして判定する彩度値が予めＲＯＭ１０２に記憶してある場合、特徴量抽出部１１０は、基準領域の彩度平均値と彩度が低いとして判定する彩度値とを比較し、基準領域が彩度が低いか否かを判断する。そして特徴量抽出部１１０は、基準領域の画素の彩度に合わせて、特徴量として設定する彩度の範囲（有彩色）を変更する。具体的には、特徴量抽出部１１０は、予めＲＯＭ１０２に記憶されている、彩度が低い場合の彩度の範囲の情報と、彩度が低くない場合の彩度の範囲の情報とを、基準領域の彩度に合わせて選択して設定する。なお、彩度が低い場合の範囲は、彩度が低くない場合の彩度の範囲より、範囲の上限及び下限の両方が、低く設定されているものとする。これにより、基準領域に含まれる全ての画素のうち、偏差が高い画素の彩度の情報を除外して特徴量を設定することが可能になる。

なお本実施形態では、彩度が低いとして判定する彩度値と、基準領域の彩度平均値を比較することで、有彩色の範囲を設定し特徴量を決定する方法について説明するが、例えば以下のように設定しても良い。例えば、基準領域の彩度平均値が低いほど、特徴量として設定する彩度の範囲の上限及び下限が低くなるように、予めＲＯＭ１０２に、彩度平均値に合わせて設定する彩度の範囲の情報を記憶しておき、彩度の平均値に応じて選択するようにしてもよい。また、この場合、彩度の平均値に合わせて設定する彩度の範囲は、同一の幅である必要はなく、彩度の平均値に合わせて彩度の範囲の幅も変更可能であってよい。

特徴量抽出部１１０はさらに、設定した有彩色の範囲において、色相の範囲を設定し、特徴量を決定する。色相の範囲は、基準領域内の画素の色相を分類したヒストグラムにおいて、予め設定された特徴量と判定する画素数以上の連続する色相から設定される。このようにして抽出された色相及び彩度の範囲を、特徴量抽出部１１０は特徴量として決定し、制御部１０１に伝送する。そして制御部１０１は、入力された特徴量をＲＡＭに第１の特徴量として記憶し、さらにＲＡＭに記憶されている、追尾可能であることを表す追尾可能フラグをＯＮにして、処理をＳ２０４に移す。なお、ここでは彩度および色相の両方を考慮して第１の特徴量を設定する例を説明したが、これに限られるものではない。例えば、基準領域外に、第１の特徴量として設定した色相の範囲に含まれる画素が存在する割合が、予めＲＯＭ１０２に記憶した閾値よりも低いのであれば、色相の範囲のみを第１の特徴量として記憶したとしても、誤追尾を行う可能性は低いと予測できる。このような場合は、彩度および色相の範囲ではなく、色相の範囲のみを第１の特徴量として記憶するようにしても構わない。

なお、特徴量抽出処理において、予め設定された特徴量と判定する画素数以上の色相が存在しない場合は、特徴量抽出部１１０は、基準領域から特徴量が設定不可能であることを、制御部１０１に伝送する。そして制御部１０１は、ＲＡＭに記憶されている、追尾可能であることを表す追尾可能フラグをＯＦＦにして、処理をＳ２０１に戻せばよい。また、本実施形態では、基準領域の大きさは予め定められた大きさとしているため、特徴量と判定する画素数は予め定められた基準領域の画素数に対して設定されている値である。しかしながら、例えば基準領域をユーザが任意の大きさに設定可能である場合は、特徴量と判定する画素数は、設定された基準領域の画素数において、予め定められた割合に相当する画素数に設定されればよい。

Ｓ２０４で、制御部１０１は、追尾可能フラグがＯＮである場合は、ＲＡＭに記憶されている、特徴量を登録済みであることを表す初期登録済みフラグをＯＮにする。また、Ｓ２０４の処理が終わると、制御部１０１は処理をＳ２０１に戻す。なお、追尾可能フラグ及び初期登録済みフラグの情報は、デジタルビデオカメラ１００の起動時にはＯＦＦにされているものとする。
Ｓ２０５で、制御部１０１は、ＲＡＭに記憶されている追尾可能フラグがＯＮであるかを判断する。制御部１０１は、追尾可能フラグがＯＮである場合は処理をＳ２１０に移す。

追尾可能フラグがＯＮ、即ち基準領域及び特徴量が登録された状態であり、さらに基準領域が追尾可能であると判断された場合、制御部１０１は新たに撮像された画像データから追尾探索領域の画像データを抽出する（Ｓ２１０）。追尾探索領域は、前のフレームで撮像された画像において基準領域の中心として設定された位置（特徴量が移動したと特定された位置）を中心とした、ＲＯＭ１０２に予め設定された基準領域より大きい探索範囲であり、フレーム毎に移動する。即ち、特徴量を抽出した次のフレームでは、Ｓ２０１で入力された追尾位置を中心とした探索範囲が設定されるが、以降のフレームでは新たに特定された基準領域が移動した位置を中心として探索範囲が設定される。制御部１０１は得られた追尾探索領域の画像データをマッチング処理部１１１に伝送し、処理をＳ２１１に移す。

Ｓ２１１で、制御部１０１はマッチング処理部１１１に第１の特徴量、及び前のフレームで撮像された画像において基準領域の中心として設定された位置の情報を伝送し、マッチング処理部１１１にマッチング処理を行わせる。マッチング処理は、追尾探索領域において基準領域の第１の特徴量と相関が高い領域を探索し、基準領域が移動した位置を特定する処理であり、公知の処理を利用すればよい。例えば基準領域の画像を特徴量に該当する画素と、特徴量に該当しない画素に二値化した画像をテンプレートとして、追尾探索領域においてテンプレートと相関度が最も高い位置を、基準領域が移動した位置として特定する。即ち、基準領域が移動した位置は、次のフレームにおける追尾探索領域の中心位置となる。

なお、上述のマッチング処理は一例であり、例えば以下のように処理を行う場合であってもよい。本実施形態ではマッチング処理において、初期に追尾位置として登録された点に基づいて決定された基準領域の画像を利用する方法について説明したが、マッチング処理に用いる画像は毎フレーム更新されてもよい。即ち、マッチング処理の結果基準領域が移動した位置として特定された位置の基準領域と同サイズの画像を、新たなマッチング処理に用いる基準領域の画像として更新してもよい。また、特徴量として定めた色相のヒストグラムを基準にして、マッチング処理を行っても良い。即ち、追尾探索領域内において、抽出した基準領域と同じサイズの領域において、特徴量として定めた色相の占有率の類似度から相関度を特定してもよい。

Ｓ２１２で、制御部１０１はマッチング処理の結果が、追尾継続判定条件を満たしているかを判断する。具体的には、制御部１０１は、マッチング処理の結果、基準領域が移動した位置として特定された位置の、特徴量の相関度が、ＲＯＭ１０２に予め設定された追尾を継続する相関度より小さい場合は追尾が不可能であると判断し、処理をＳ２１４に移す。そしてＳ２１４で、制御部１０１は、追尾可能フラグをＯＦＦにし設定し、処理をＳ２０１に戻す。また、制御部１０１は、マッチング処理の結果、基準領域が移動した位置として特定された位置の特徴量の相関度が、追尾を継続する相関度以上である場合は、追尾可能であると判断し、処理をＳ２１３に移す。そしてＳ２１３で、制御部１０１は追尾可能フラグをＯＮに設定し、処理をＳ２１５に移す。

Ｓ２１５で、制御部１０１は次のフレームで撮像される画像にたいしてマッチング処理を行う際の、特徴量を決定するための、随時特徴判定処理を行う。ここで、随時特徴判定処理について、図３のフローチャートを用いて詳細に説明する。

Ｓ３０１で、制御部１０１は、Ｓ２０３の特徴量抽出処理において、基準領域の彩度平均値が、予め定められた、彩度が低いと判定する彩度値より低い判定されたかを判断する。基準領域の彩度の判定の情報は、Ｓ３０１で改めて制御部１０１が判断してもよいし、Ｓ２０３の時点で制御部１０１がＲＡＭに記憶しておいてもよい。制御部１０１は、基準領域の彩度が低い場合は処理をＳ３０２に移し、基準領域の彩度が低くはない場合は処理をＳ３０４に移す。

Ｓ３０２で、制御部１０１は、Ｓ２１１のマッチング処理において特定された、現フレームで撮像された画像における、基準領域に最も相関が高い領域を中心とした周辺領域の画素の情報を取得する。そして、制御部１０１は、周辺領域の画素のうち、第１の特徴量より、色彩及び彩度を拡大した特徴量（第２の特徴量）に含まれる画素数を検出する。第２の特徴量は、例えば図５に示すように、基準領域内の画素において、特徴量抽出処理で決定された第１の特徴量（図５（ａ））より、色相及び彩度が拡大された特徴量である。本実施形態では、制御部１０１は、図５（ｂ）のように、第１の特徴量より色相の範囲が両側に等間隔で拡大され、彩度の範囲は無彩色の彩度の範囲を含むように拡大された範囲に含まれる、基準領域内の画素の分布を、第２の特徴量として設定する。

Ｓ３０３で、制御部１０１は、周辺領域の画素のうち、第２の特徴量に含まれる画素の占める割合が、ＲＯＭ１０２に記憶されている予め定められた割合以上であるかを判断する。即ち、周辺領域に第２の特徴量に含まれる画素がどれくらい存在するかの情報を把握することにより、次のフレームで撮像される画像が、基準領域の画素と類似する色相であるか否かを予測することが可能となる。つまり、基準領域の彩度が低い場合であっても、周辺領域に第２の特徴量に含まれる色相の画素の存在が少ない場合は、次のフレームのマッチング処理において第２の特徴量を用いても、誤追尾をする可能性が少ないと予測できる。このため、第１の特徴量より拡大された第２の特徴量を用いることで、より精度のよいマッチング結果を得ることができるようになる。また、照明条件等で、彩度や色相が変化する場合にも、第２の特徴量を用いることで、基準領域の彩度が低い場合であっても、基準領域の追尾に冗長性をもたせることが可能である。なお、予め定められた割合は、例えば、基準領域の画素数を、周辺領域の画素数で除した値であってよい。このようにして得られた予測によって、制御部１０１は、周辺領域の画素のうち第２の特徴量に含まれる画素の占める割合が、予め定められた割合以上である場合は処理をＳ３０４に移し、予め定められた割合より小さい場合は処理をＳ３０５に移す。なお、第１の特徴量として彩度および色相の範囲が設定されているのではなく、色相の範囲のみが設定されている場合は、第１の特徴量より色相の範囲を拡大した第２の特徴量を設定すればよい。このような場合も、基準領域の追尾に冗長性をもたせることが可能となる。

Ｓ３０４で、制御部１０１は、次のフレームで撮像された画像におけるマッチング処理では、特徴量抽出処理で得られた第１の特徴量を用いることを、例えばＲＡＭに設定して、随時特徴判定処理を完了する。また、Ｓ３０５で、制御部１０１は、次のフレームで撮像された画像におけるマッチング処理では、第１の特徴量より、色相及び彩度の範囲を拡大した第２の特徴量を用いることを、例えばＲＡＭに設定する。さらに、制御部１０１はＲＡＭに第２の特徴量の情報を記憶して、随時特徴判定処理を完了する。この場合、制御部１０１は、次のフレームのＳ２１１のマッチング処理において、マッチング処理部１１１に、第２の特徴量を伝送して、マッチング処理部１１１に第２の特徴量を用いたマッチング処理を行わせるものとする。なお、Ｓ３０１で、制御部１０１が、基準領域の彩度平均値が、予め定められた、彩度が低いと判定する彩度値より低い判定されたかを判断していたが、このＳ３０１を省略し、必ずＳ３０２に進むようにしても構わない。この場合、明度の影響を受けにくい彩度が高い被写体である場合であっても、Ｓ３０２乃至Ｓ３０３の処理を行うことになるため、その分の処理時間は増加するが、追尾の精度としては同等の結果が得られる。

また、Ｓ２０５で、追尾可能フラグがＯＦＦ、即ち基準領域及び特徴量が登録されていない、または前のフレームで行われたマッチング処理の結果において追尾不可能であると判断された場合、制御部１０１は、処理をＳ２０６に移す。Ｓ２０６で、制御部１０１は、ＲＡＭに記憶されている初期登録済みフラグがＯＮであるかを判断し、ＯＮである場合は処理をＳ２０７に、ＯＦＦである場合は処理をＳ２０１に戻す。

Ｓ２０７で、制御部１０１は、前のフレームのマッチング処理において、基準領域にマッチングする領域が探索できなかった状態（ロスト）であると判断し、ＲＡＭに記憶されている、ロストカウントに１を加算する。そして、制御部１０１はＳ２０８でロストカウントが、ＲＯＭ１０２に予め設定されている追尾復帰不可能と判断するカウントの値以上であるかを判断する。制御部１０１は、追尾復帰不可能と判断するカウントより、ロストカウントが大きい場合は処理をＳ２０９に移し、ロストカウントが小さい場合は処理をＳ２１０に移す。なお、このときＳ２１０で設定される追尾探索領域の情報は、最後にマッチング処理で特定された基準領域が移動した位置を中心とする。また、ロストしている状態の間に基準領域の被写体の移動量が増大している可能性があるため、ロストカウントの大きさに応じて追尾探索領域を拡大してもよい。
また、Ｓ２０９で、制御部１０１はＲＡＭに記憶されている初期登録済みフラグをＯＦＦに設定するとともに、ＲＡＭに記憶されている基準領域の情報を開放し、処理をＳ２０１に戻し、追尾制御処理を繰り返す。

以上説明したように、本実施形態の画像処理装置は、動画において、特定の領域の画像を追尾することが可能である。具体的には、画像処理装置は動画を構成する１枚の画像において、特定の領域を基準領域として登録し、基準領域内の画素の少なくとも色相の分布をもとに、基準領域の第１の特徴量を設定する。このとき、基準領域の画素の色相の分布のうち、予め定めた数よりも多い画素数の色相の範囲を、第１の特徴量として設定する。そして、基準領域が含まれる画像より後のフレームの画像において、基準領域の第１の特徴量に該当する位置をマッチング処理によって決定する事により、基準領域と相関度の高い領域を特定する。

また、第１の特徴量より少なくとも色相の範囲を拡大した第２の特徴量を用いて、次のように判定することにより、次のフレームでマッチング処理に用いる特徴量を決定する。具体的には、マッチング処理を行った画像の、基準領域と相関度の高い領域を含んだ周辺領域において、第２の特徴量に含まれる色相の画素が占める割合が、予め定めた割合以上である場合は、次のフレームのマッチング処理に、第１の特徴量を用いる。また、マッチング処理を行った画像の、基準領域と相関度の高い領域を含んだ周辺領域において、第２の特徴量に含まれる色相の画素が占める割合が、予め定めた割合より小さい場合は、次のフレームのマッチング処理に、第２の特徴量を用いる。

これにより、追尾する被写体が、明度の影響を受けやすい彩度が低い被写体である場合であっても、安定して精度の高い追尾が可能となる。即ち、一度マッチング処理を行ったフレームの画像から、次のフレームの画像における被写体の追尾探索を行う領域に、色相を拡大した特徴量に含まれる画素が少ないと予測可能な場合は、色相を拡大した特徴量をマッチング処理に用いる。このため、基準領域の彩度が低く、照明条件等で色相が変化する場合にも、基準領域の追尾に冗長性をもたせることが可能である。なお、上記実施形態では、マッチング処理を行った画像を用いて、周辺領域の第２の特徴量に含まれる色相の画素が占める割合が、予め定めた割合より大きいか否かを判断していが、これに限られるものではない。すなわち、Ｓ２１１のマッチング処理の前に、基準領域を特定した画像に対して周辺領域を設定し、この画像の周辺領域の第２の特徴量に含まれる色相の画素が占める割合が、予め定めた割合より大きいか否かを判断しても構わない。このように構成すれば、第１の特徴量を設定してから、最初のマッチング処理を行うまでの間に、第１の特徴量と第２の特徴量のどちらを用いるかを選択することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

動画を構成する第１の画像の特定の領域を基準領域として登録する領域登録手段と、
前記基準領域における所定の条件を満たす信号を示す第１の特徴量、および前記第１の特徴量を含み、前記所定の条件よりも広い条件を満たす信号を示す第２の特徴量を設定する設定手段と、
前記第１の画像とは別の第２の画像において、前記設定手段により設定された前記第１の特徴量および前記第２の特徴量のいずれかを用いて、前記基準領域のマッチング処理を行うマッチング処理手段と、を備え、
前記マッチング処理手段は、前記基準領域よりも広い領域に含まれる前記第２の特徴量が所定値よりも少ないと判断した場合には、前記第２の特徴量を用いてマッチング処理を行い、前記基準領域よりも広い領域に含まれる前記第２の特徴量が所定値よりも少ないと判断しない場合には、前記第１の特徴量を用いてマッチング処理を行うことを特徴とする画像処理装置。
前記領域登録手段は、前記第２の画像において、前記マッチング処理手段によるマッチング処理の結果特定された領域を新たな前記基準領域として登録し、
前記マッチング処理手段は、前記第１および第２の画像とは別の第３の画像において、前記新たな基準領域のマッチング処理を行うことを特徴とする請求項１に記載の画像処理装置。
前記マッチング処理手段は、前記基準領域よりも広い領域に含まれる前記第２の特徴量に該当する画素の割合が予め定められた割合に満たない場合に、前記基準領域よりも広い領域に含まれる前記第２の特徴量が所定値よりも少ないと判断することを特徴とする請求項１または２に記載の画像処理装置。
前記設定手段は、前記基準領域の画素の色相について前記第１の特徴量を設定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
動画を構成する画像の特定の領域を基準領域として登録する領域登録手段と、
前記基準領域内の各画素の色相を検出する検出手段と、
前記基準領域内の色相の分布のうち、予め定めた数よりも多い画素が分類される色相の範囲を前記基準領域の第１の特徴量として設定する設定手段と、
前記動画の、前記基準領域が含まれる画像よりも後のフレームの画像において、前記基準領域のマッチング処理を行うマッチング処理手段と、を備え、
前記マッチング処理手段は、前記基準領域より広い領域において、前記第１の特徴量より色相の範囲を拡大した前記基準領域内の色相の分布である第２の特徴量に含まれる色相の画素が占める割合が予め定めた割合より小さい場合には、前記第２の特徴量を用いてマッチング処理を行い、前記第２の特徴量に含まれる色相の画素が占める割合が前記予め定めた割合より大きい場合には、前記第１の特徴量を用いてマッチング処理を行うことを特徴とする画像処理装置。
前記マッチング処理手段は、前記基準領域内の彩度の平均値が予め設定した彩度より大きい場合に、前記基準領域を特定した画像よりも後のフレームの画像において、前記第１の特徴量を用いてマッチング処理を行うことを特徴とする請求項５に記載の画像処理装置。
前記予め定めた割合は、前記基準領域の画素数を前記基準領域より広い領域の画素数で除した値であることを特徴とする請求項６に記載の画像処理装置。
画像処理装置の領域登録手段が、動画を構成する第１の画像の特定の領域を基準領域として登録する領域登録工程と、
前記画像処理装置の設定手段が、前記基準領域における所定の条件を満たす信号を示す第１の特徴量、および前記第１の特徴量を含み、前記所定の条件よりも広い条件を満たす信号を示す第２の特徴量を設定する設定工程と、
前記画像処理装置のマッチング処理手段が、前記第１の画像とは別の第２の画像において、前記設定手段において設定された前記第１の特徴量および前記第２の特徴量のいずれかを用いて前記基準領域のマッチング処理を行うマッチング処理工程と、を備え、
前記マッチング処理手段は前記マッチング処理工程において、前記基準領域よりも広い領域に含まれる前記第２の特徴量が所定値よりも少ないと判断した場合には、前記第２の特徴量を用いてマッチング処理を行い、前記基準領域よりも広い領域に含まれる前記第２の特徴量が所定値よりも少ないと判断しない場合には、前記第１の特徴量を用いてマッチング処理を行うことを特徴とする画像処理装置の制御方法。
画像処理装置の領域登録手段が、動画を構成する画像の特定の領域を基準領域として登録する領域登録工程と、
前記画像処理装置の検出手段が、前記基準領域内の各画素の色相を検出する検出工程と、
前記画像処理装置の設定手段が、前記基準領域内の色相の分布のうち、予め定めた数よりも多い画素が分類される色相の範囲を前記基準領域の第１の特徴量として設定する設定工程と、
前記画像処理装置のマッチング処理手段が、前記動画の、前記基準領域が含まれる画像よりも後のフレームの画像において、前記基準領域のマッチング処理を行うマッチング処理工程と、を備え、
前記マッチング処理手段は前記マッチング処理工程において、前記基準領域より広い領域において、前記第１の特徴量より色相の範囲を拡大した前記基準領域内の色相の分布である第２の特徴量に含まれる色相の画素が占める割合が予め定めた割合より小さい場合には、前記第２の特徴量を用いてマッチング処理を行い、前記第２の特徴量に含まれる色相の画素が占める割合が前記予め定めた割合より大きい場合には、前記第１の特徴量を用いてマッチング処理を行うことを特徴とする画像処理装置の制御方法。
コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。