[第1の実施形態]
本発明の第1の実施形態について図面を参照して説明する。図1は、本実施形態に係る追尾装置を備えた撮像装置の構成の一例を示す図である。図1に示す撮像装置100は、撮影光学系102と、焦点調整機構104と、絞り106と、絞り駆動機構108と、シャッタ110と、シャッタ駆動機構112と、撮像素子114と、撮像素子インターフェイス(IF)回路116と、RAM118と、表示素子120と、表示素子駆動回路122と、タッチパネル124と、タッチパネル駆動回路126と、記録メディア128と、システムコントローラ130と、操作部132と、ROM134とを有している。
撮影光学系102は、図示しない被写体からの光束Fを、撮像素子114の受光面上に集光するための光学系である。この撮影光学系102は、フォーカスレンズ等の複数のレンズを有している。また、撮影光学系102は、ズーム機構を有していてもよい。焦点調整機構104は、モータ及びその駆動回路等を有している。この焦点調整機構104は、システムコントローラ130内のCPU1301の制御に従って、撮影光学系102内のフォーカスレンズをその光軸方向(図示一点鎖線方向)に駆動させる。
絞り106は、開閉自在に構成され、撮影光学系102を介して撮像素子114に入射する光束Fの量を調整する。絞り駆動機構108は、絞り106を駆動するための駆動機構を有している。この絞り駆動機構108は、システムコントローラ130内のCPU1301の制御に従って、絞り106を駆動させる。
シャッタ110は、撮像素子114の受光面を遮光状態又は露光状態とするように構成されている。このシャッタ110により、撮像素子114の露光時間が調整される。シャッタ駆動機構112は、シャッタ110を駆動させるための駆動機構を有し、システムコントローラ130内のCPU1301の制御に従って、シャッタ110を駆動させる。
撮像素子114は、撮影光学系102を介して集光された被写体からの光束Fが結像される受光面を有している。撮像素子114の受光面は、複数の画素が2次元状に配置されて構成されており、また、受光面の光入射側には、カラーフィルタが設けられている。このような撮像素子114は、受光面に結像された光束Fに対応した像(被写体像)を、その光量に応じた電気信号(以下、画像信号という)に変換する。ここで、撮像素子114としては、CCD方式やCMOS方式等の種々の構成の撮像素子が知られている。また、カラーフィルタの色配列としては、ベイヤ配列等の種々の配列が知られている。本実施形態は、撮像素子114の構成が特定の構成に限定されるものではない。したがって、種々の構成の撮像素子が用いられ得る。
撮像素子IF回路116は、システムコントローラ130内のCPU1301の制御に従って、撮像素子114を駆動させる。また、撮像素子IF回路116は、システムコントローラ130内のCPU1301の制御に従って、撮像素子114で得られた画像信号を読み出し、読み出した画像信号に対してCDS(相関二重サンプリング)処理やAGC(自動利得制御)処理等のアナログ処理を施す。さらに、撮像素子IF回路116は、アナログ処理した画像信号をデジタル信号(以下、画像データという)に変換する。
表示素子120は、例えば液晶ディスプレイ(LCD)であり、ライブビュー用の画像及び記録メディア128に記録された画像等の各種の画像を表示する。表示素子駆動回路122は、システムコントローラ130のCPU1301から入力された画像データに基づいて表示素子120を駆動させ、表示素子120に画像を表示させる。
タッチパネル124は、表示素子120の表示画面上に一体的に形成されており、表示画面上へのユーザの指等の接触位置等を検出する。タッチパネル駆動回路126は、タッチパネル124を駆動するとともに、タッチパネル124からの接触検出信号をシステムコントローラ130のCPU1301に出力する。CPU1301は、接触検出信号から、ユーザの表示画面上への接触操作を検出し、その接触操作に応じた処理を実行する。
記録メディア128は、例えばメモリカードであり、撮影動作によって得られた画像ファイルが記録される。画像ファイルは、画像データに所定のヘッダを付与して構成されるファイルである。ヘッダには、撮影条件を示すデータ及び追尾位置を示すデータ等が、タグデータとして記録される。
システムコントローラ130は、撮像装置100の動作を制御するための制御回路として、CPU1301と、AF制御回路1302と、AE制御回路1303と、画像処理回路1304と、焦点距離取得回路1305と、追尾処理回路1306と、顔検出回路1307と、メモリ制御回路1308とを有している。
CPU1301は、焦点調整機構104、絞り駆動機構108、シャッタ駆動機構112、表示素子駆動回路122、タッチパネル駆動回路126等のシステムコントローラ130の外部の各ブロック、及びシステムコントローラ130の内部の各制御回路の動作を制御する。
AF制御回路1302は、コントラストAF処理を制御する。具体的には、AF制御回路1302は、撮像素子IF回路116で得られた画像データの高周波成分を抽出し、この抽出した高周波成分を積算することにより、AF用の合焦評価値を取得する。CPU1301は、この合焦評価値に従って画像データのコントラストを評価しつつ、焦点調整機構104を制御してフォーカスレンズを合焦状態とする。
AE制御回路1303は、AE動作を制御する。具体的には、AE制御回路1303は、撮像素子IF回路116で得られた画像データを用いて被写体輝度を算出する。CPU1301は、この被写体輝度に従って、露光時の絞り106の開口量(絞り値)、シャッタ110の開放時間(シャッタ速度値)、撮像素子感度やISO感度等を算出する。
画像処理回路1304は、画像データに対する各種の画像処理を行う。この画像処理としては、色補正処理、ガンマ(γ)補正処理、圧縮処理等が含まれる。また、画像処理回路1304は、圧縮されている画像データに対する伸張処理も施す。
焦点距離取得回路1305は、撮影光学系102がズーム機構を有する場合に設けられる。焦点距離取得回路1305は、撮影光学系102からその焦点距離を取得する。追尾処理回路1306は、後に詳述する本実施形態に係る追尾処理を実行する。追尾処理回路1306は、画像取得部13061と、追尾領域設定部13062と、色取得位置決定部13063と、類似色検出部13064と、追尾領域更新部13065と、信頼性判定部13066と、追尾色重心検索部13067とを有する。画像取得部13061は、例えば後述のRAM118から追尾対象である追尾被写体を含む画像を、追尾処理回路1306に取り込む。追尾領域設定部13062は、(N−1)フレーム目の画像において追尾被写体に追尾領域を設定する。色取得位置決定部13063は、追尾領域の位置を基準として複数の色取得位置を決定する。類似色検出部13064は、(N−1)フレーム目の画像における追尾領域の色である追尾色と、Nフレーム目の画像における色取得位置の各色とを比較し、最も色が類似している色取得位置を最類似色位置として選択する。追尾領域更新部13065は、追尾領域設定部13062に、最類似色位置に基づく位置をNフレーム目の画像における追尾領域に再設定させる。信頼性判定部13066は、追尾領域更新部13065による追尾領域の更新についての信頼性を判定する。これが繰り返されて追尾被写体の追尾が行われる。また、追尾色重心検索部13067は、従来の色追尾技術である追尾色重心検索を行う。すなわち、追尾色重心検索部13067は、例えば前のフレームの追尾領域の位置に基づいて決定されたサーチエリア内をラスタースキャンし、追尾色と同じ色情報を有する領域を検索し、その重心位置を決定する。
顔検出回路1307は、画像データにおける被写体(人物)の顔を検出する。ここで、顔検出処理について簡単に説明する。顔検出処理においては、各フレームで得られる画像データと、図2(a)に示すような顔パーツ402、404、406との相関量を求める。顔パーツ402は、人物の鼻部周辺の陰影のパターンに対応した画像データであり、顔パーツ404は、人物の目部周辺の陰影のパターンに対応した画像データであり、顔パーツ406は、人物の口部周辺の陰影のパターンに対応した画像データである。画像データと顔パーツ402、404、406との相関量は、図2(b)に示すような、人物の顔を示す所定の配置となったときに最大となる。このとき、顔パーツ402、404、406を含む領域408に顔が存在しているとする。なお、顔パーツ402、404、406は予め設定した検索顔の大きさに応じて、大きさを変えても良い。ここで、図2(b)では、顔領域を矩形領域としているが、円形領域としても良い。メモリ制御回路1308は、CPU1301等が、RAM118、記録メディア128、ROM134にアクセスするための制御を行うインターフェイスである。
操作部132は、ユーザによって操作される各種の操作部材である。操作部132としては、例えば、レリーズボタン、動画ボタン、モードダイヤル、選択キー、電源ボタン等が含まれる。レリーズボタンは、1stレリーズスイッチと、2ndレリーズスイッチとを有している。1stレリーズスイッチは、ユーザがレリーズボタンを半押しするとオンするスイッチである。1stレリーズスイッチがオンすることにより、AF処理等の撮影準備動作が行われる。また、2ndレリーズスイッチは、ユーザがレリーズボタンを全押しするとオンするスイッチである。2ndレリーズスイッチがオンすることにより、静止画撮影用の露光動作が行われる。動画ボタンは、動画撮影の開始又は終了を指示するための操作部材である。ユーザによって動画ボタンが押されると動画撮影処理が開始される。また、動画撮影処理の実行中に動画ボタンが押されると、動画撮影処理が終了される。
モードダイヤルは、撮像装置の撮影設定を選択するための操作部材である。本実施形態では、撮像装置の撮影設定として、例えば、静止画撮影モードと動画撮影モードを選択できる。静止画撮影モードは、静止画像を撮影するための撮影設定である。また、動画撮影モードは、動画像を撮影するための撮影設定である。選択キーは、例えばメニュー画面上での項目の選択や決定をするための操作部材である。ユーザによって選択キーが操作されるとメニュー画面上での項目の選択や決定が行われる。電源ボタンは、撮像装置の電源をオン又はオフするための操作部材である。ユーザによって電源ボタンが操作されると、撮像装置100が起動して動作可能な状態となる。撮像装置が起動している間に電源ボタンが操作されると、撮像装置100が省電力待機状態となる。
ROM134は、CPU1301が種々の処理を実行するためのプログラムコードを記憶している。また、ROM134は、撮影光学系102、絞り106、及び撮像素子114等の動作に必要な制御パラメータ、並びに画像処理回路1304での画像処理に必要な制御パラメータ等の、各種の制御パラメータを記憶している。さらに、ROM134は、顔検出回路1307における顔検出に用いられる顔パーツのデータや追尾枠を表示するためのデータ等も記憶している。
RAM118は、例えばSDRAMであり、ワークエリア、追尾画像エリア、追尾色ログエリア及び追尾データログエリアを記憶エリアとして有している。ワークエリアは、撮像素子IF回路116で得られた画像データ等の、撮像装置100の各部で発生したデータを一時記憶しておくためにRAM118に設けられた記憶エリアである。追尾画像エリアは、追尾画像データを一時記憶しておくためにRAM118に設けられた記憶エリアである。追尾画像データは、追尾処理における追尾被写体を含む画像のデータである。追尾処理においては、この追尾画像データが用いられる。追尾色ログエリアは、追尾処理において、追尾領域の色情報である追尾色を一時記憶しておくためにRAM118に設けられた記憶エリアである。追尾処理においては、追尾色ログエリアに記憶された追尾色と、色取得位置の色とが比較されて最類似色位置が選定される。追尾データログエリアは、追尾データログを一時記憶しておくためにRAM118に設けられた記憶エリアである。追尾データログは、追尾処理の結果として得られた追尾位置を記録したログである。
次に、本実施形態に係る撮像装置の動作について説明する。撮像装置100の撮影動作を示すフローチャートを図3に示す。CPU1301は、ROM134から必要なプログラムコードを読み込んで図3の動作を制御する。
CPU1301は、ステップS100において現在の撮像装置100の撮影設定が静止画撮影モードであるか否かを判定する。前述のとおり、撮影設定は、モードダイヤルによって設定される。ステップS100において撮影設定が静止画撮影モードであると判定された場合、CPU1301は、ステップS102においてライブビュー動作を開始させる。このライブビュー動作において、CPU1301は、シャッタ駆動機構112を制御してシャッタ110を開放した後、撮像素子IF回路116を制御して撮像素子114に撮像を開始させる。その後、CPU1301は、撮像素子114による撮像の結果としてRAM118のワークエリアに記憶された画像データを画像処理回路1304に入力する。画像処理回路1304は、入力された画像データに対してライブビュー表示用の画像処理を施す。続いて、CPU1301は、ライブビュー表示用の画像処理が施された画像データを表示素子駆動回路122に入力し、表示素子120に画像を表示させる。このような表示動作が繰り返し実行されることで、表示素子120に被写体の画像が動画表示される。ユーザは、この動画表示によって被写体を観察することが可能である。
CPU1301は、ステップS104において1stレリーズスイッチがオンされたか否かを判定する。ステップS104において1stレリーズスイッチがオンされたと判定されるまで、CPU1301は、ライブビュー動作を継続する。
ステップS104において1stレリーズスイッチがオンされたと判定された場合、CPU1301は、ステップS106においてレリーズAF処理を行う。レリーズAF処理において、CPU1301は、スキャン駆動によってフォーカスレンズを合焦位置まで駆動させる。スキャン駆動において、CPU1301は、焦点調整機構104を制御してフォーカスレンズを所定のスキャン範囲内で一方向に駆動させつつ、AF制御回路1302に合焦評価値を順次算出させる。CPU1301は、合焦評価値に基づいて合焦を評価する。CPU1301は、合焦評価値が最大となるレンズ位置において、フォーカスレンズの駆動を停止させる。このようなスキャン駆動は、AF前のフォーカスレンズの位置と合焦位置との差が大きい場合に行われる。
CPU1301は、ステップS108において追尾領域を設定し、表示素子駆動回路122を制御して表示素子120に追尾枠を表示させる。ここで、例えば、レリーズAFで合焦した被写体が追尾被写体として設定され得る。また、顔検出回路1307によって顔が検出された場合、その顔が追尾被写体として設定され得る。さらに、タッチパネル124により表示素子120の画面上に表示された被写体が指定された場合、その被写体が追尾被写体として設定され得る。追尾被写体のうちこれら設定された追尾する領域を追尾領域と称することにする。この追尾領域は1画素でもよいし、複数画素でもよい。追尾領域を1画素など比較的狭い領域とする場合に、本実施形態は特に効果を奏する。また、CPU1301は、追尾領域を含み、追尾領域の色情報との差異が所定の閾値以下である色情報を有する矩形領域を探索し、この領域を同色領域として設定する。
CPU1301は、表示素子駆動回路122を制御して表示素子120に追尾領域を表す追尾枠を表示させる。追尾枠は、追尾領域を重心とする四角形の枠でもよいし、同色領域を表す枠でもよい。すなわち、追尾枠は表示素子120の画面上の追尾対象の位置に表示される。なお、追尾領域及び同色領域は、RAM118の追尾データログエリアに記録される。また、追尾領域の色情報は追尾色ログエリアに記録される。
ステップS110において、追尾処理が実行される。この追尾処理は、主に追尾処理回路1306によって実行される。この追尾処理の詳細については後述する。CPU1301は、ステップS112において追尾位置の被写体に合焦するようにAF処理を行うとともに、追尾位置の被写体の露光が適正となるようにAE処理を行う。追尾処理後のAF処理においてCPU1301は、スキャン駆動又はウォブリング駆動によって、フォーカスレンズを合焦位置まで駆動させる。ウォブリング駆動において、CPU1301は、フォーカスレンズを駆動したときにAF制御回路1302で算出された合焦評価値が、前回のレンズ位置での合焦評価値に対して増加したか否かを判定する。CPU1301は、合焦評価値が増加したと判定された場合には前回と同方向にフォーカスレンズを微小駆動させ、合焦評価値が減少した場合には前回と逆方向にフォーカスレンズを微小駆動させる。このような動作を高速で繰り返してフォーカスレンズを徐々に合焦位置まで駆動させる。AE処理においてCPU1301は、AE制御回路1303で算出された追尾位置の被写体の輝度を予め定められた適正な量(適正露光量)とする、本露光時の絞り106の開口量(絞り値)、シャッタ110の開放時間(シャッタ速度値)を算出する。
CPU1301は、ステップS114において2ndレリーズスイッチがオンされたか否かを判定する。2ndレリーズスイッチがオンされていないと判定された場合、処理はステップS110に戻る。このように、2ndレリーズスイッチがオンされるまで、追尾処理とAF・AE処理とが継続される。
ステップS114において2ndレリーズスイッチがオンされたと判定された場合、CPU1301は、ステップS116において表示素子駆動回路122を制御して、追尾枠を非表示とする。CPU1301は、ステップS118において静止画像データを記録メディア128に記録する処理を行う。すなわち、CPU1301は、シャッタ駆動機構112を制御してシャッタ110を閉じさせ、絞り駆動機構108を制御して絞り106を先に算出した絞り値まで絞り込ませる。続いて、CPU1301は、シャッタ駆動機構112を制御してシャッタ110を先に算出した開放時間だけ開放させつつ、撮像素子114に撮像(露光)を行わせる。その後、CPU1301は、撮像素子114を介して得られた静止画像データを画像処理回路1304に処理させる。CPU1301は、画像処理回路1304において処理された静止画像データにヘッダを付与して静止画像ファイルを生成し、生成した静止画像ファイルを記録メディア128に記録する。CPU1301は、ステップS120においてステップS110の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア128に記録した静止画像ファイルに追記する。その後に、CPU1301は、図3に示す動作を終了させる。
ステップS100において撮影設定が動画撮影モードであると判定された場合、CPU1301は、ステップS122において、ライブビュー動作を開始させる。CPU1301は、ステップS124において動画ボタンがオンされたか否かを判定する。ステップS124において、動画ボタンがオンされたと判定されるまで、CPU1301はライブビュー動作を継続する。
ステップS124において動画ボタンがオンされたと判定された場合、CPU1301は、ステップS126において追尾領域を設定し、表示素子駆動回路122を制御して表示素子120に追尾枠を表示させる。ステップS128において後に詳述する追尾処理が実行される。CPU1301は、ステップS130において、追尾位置の被写体に合焦するようにAF処理を行うともに、追尾位置の被写体の露光が適正となるようにAE処理を行う。ステップS130におけるAF処理おいて、フォーカスレンズは、ウォブリング駆動によって合焦位置まで駆動される。
CPU1301は、ステップS132において動画像データを記録メディア128に記録する処理を行う。すなわち、CPU1301は、絞り駆動機構108を制御して絞り106をAE処理において算出した絞り値まで絞り込ませ、AE処理において算出したシャッタ速度値に対応した時間だけ撮像素子114に撮像(露光)を実行させる。露光の終了後、CPU1301は、動画像ファイルを生成して記録メディア128に記録する。また、CPU1301は、撮像素子114を介して得られた動画像データを画像処理回路1304において処理し、画像処理回路1304において処理された動画像データを動画像ファイルに記録する。
CPU1301は、ステップS134においてステップS128の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア128に記録した動画像ファイルに同時記録する。CPU1301は、ステップS136において動画ボタンがオフにされたか否かを判定する。動画ボタンがオフにされていないと判定された場合、処理はステップS128に戻る。このように、動画撮影モード時では、動画ボタンがオフされるまで追尾処理と動画像データの記録が継続される。
ステップS136において動画ボタンがオフされたと判定された場合、CPU1301は、ステップS138において表示素子駆動回路122を制御して、追尾枠を非表示とする。その後、CPU1301は、図3に示す動作を終了させる。
本実施形態に係る追尾処理について図4を参照して説明する。CPU1301は、ステップS200において撮像素子IF回路116を制御して撮像素子114に撮像を実行させる。CPU1301は、ステップS202において、撮像素子114によって撮像された画像のデータを、撮像素子IF回路116を介してRAM118に取り込む。RAM118に取り込まれた画像のデータは、追尾処理回路1306内の画像取得部13061により、必要に応じて追尾処理回路1306に取り込まれる。
追尾処理回路1306内の色取得位置決定部13063は、ステップS204において色情報取得位置判断処理を実行する。この色情報取得位置判断処理について図5に示すフローチャートを参照して説明する。本実施形態では、色情報取得位置判断処理において、5つの色取得位置が設定される。
追尾領域設定部13062は、ステップS300においてX方向の補正倍率(補正倍率(X方向))を決定する。補正倍率(X方向)は、下記式(1)により算出される。
補正倍率(X方向)=同色領域幅(X方向)/第1の定数 (1)
ここで、同色領域幅(X方向)は、同色領域のX方向の長さを表す。同色領域とは、ステップS108の説明において述べたとおり、追尾領域と同じ色情報を有する領域を探索した結果得られる矩形領域である。また、第1の定数は所定の定数である。
色取得位置決定部13063は、ステップS302において、Y方向の補正倍率(補正倍率(Y方向))を決定する。補正倍率(Y方向)は、下記式(2)により算出される。
補正倍率(Y方向)=同色領域幅(Y方向)/第2の定数 (2)
ここで、同色領域幅(Y方向)は、同色領域のY方向の長さを表す。また、第2の定数は所定の定数である。第2の定数は、第1の定数と同じ値でもよいし、異なる値でもよい。
色取得位置決定部13063は、ステップS304において、複数設定する追尾位置のX方向の間隔(間隔(X方向))を決定する。ここで、間隔(X方向)は、下記式(3)により算出される。
間隔(X方向)=第1の基準間隔×補正倍率(X方向) (3)
ここで、第1の基準間隔は所定の間隔である。
色取得位置決定部13063は、ステップS306において、複数設定する追尾位置のY方向の間隔(間隔(Y方向))を決定する。ここで、間隔(Y方向)は、下記式(4)により算出される。
間隔(Y方向)=第2の基準間隔×補正倍率(Y方向) (4)
ここで、第2の基準間隔は所定の間隔であり、第1の基準間隔と同じ値でもよいし、異なる値でもよい。
色取得位置決定部13063は、ステップS308において、色取得位置(中央)を決定する。ここで、色取得位置(中央)のX座標x及びY座標yは、下記式(5)及び(6)により得られる。
x=追尾位置(X方向) (5)
y=追尾位置(Y方向) (6)
ここで、追尾位置(X方向)は、現在の追尾領域の重心の位置である追尾位置のX座標である。また、追尾位置(Y方向)は現在の追尾位置のY座標である。
色取得位置決定部13063は、ステップS310において、色取得位置(右)を決定する。ここで、色取得位置(右)のX座標x及びY座標yは、下記式(7)及び(8)により得られる。
x=追尾位置(X方向)+間隔(X方向) (7)
y=追尾位置(Y方向) (8)
色取得位置決定部13063は、ステップS312において、色取得位置(左)を決定する。ここで、色取得位置(左)のX座標x及びY座標yは、下記式(9)及び(10)により得られる。
x=追尾位置(X方向)−間隔(X方向) (9)
y=追尾位置(Y方向) (10)
色取得位置決定部13063は、ステップS314において、色取得位置(上)を決定する。ここで、色取得位置(上)のX座標x及びY座標yは、下記式(11)及び(12)により得られる。
x=追尾位置(X方向) (11)
y=追尾位置(Y方向)−間隔(Y方向) (12)
色取得位置決定部13063は、ステップS316において、色取得位置(下)を決定する。ここで、色取得位置(下)のX座標x及びY座標yは、下記式(13)及び(14)により得られる。
x=追尾位置(X方向) (13)
y=追尾位置(Y方向)+間隔(Y方向) (14)
ステップS316の後、処理は、色取得位置(中央)、色取得位置(右)、色取得位置(左)、色取得位置(上)及び色取得位置(下)を戻り値として、図4を参照して説明している追尾処理に戻る。
以上説明した色情報取得位置判断処理によれば、図6に示すような色取得位置が得られる。すなわち、図6において、自動車が追尾被写体310であり、その中に追尾領域320が設定されている。追尾領域320と同じ色の矩形領域が同色領域330として設定されている。ここで、色情報取得位置判断処理によって、追尾領域320の重心位置が色取得位置(中央)350Cに設定される。また、追尾領域320の右側に色取得位置(右)350Rが、追尾領域320の左側に色取得位置(左)350Lが、追尾領域320の上側に色取得位置(上)350Tが、追尾領域320の下側に色取得位置(下)350Bが、それぞれ設定される。
図4に戻り、追尾処理について説明を続ける。追尾処理回路1306は、ステップS206において、色情報取得位置判断処理で決定された色取得位置(中央)350C、色取得位置(右)350R、色取得位置(左)350L、色取得位置(上)350T及び色取得位置(下)350Bのそれぞれの位置における色情報を取得する。追尾処理回路1306内の類似色検出部13064は、ステップS208において、最類似色判断処理を実行する。
最類似色判断処理について図7に示すフローチャートを参照して説明する。類似色検出部13064は、ステップS400において、色取得位置(中央)350C、色取得位置(右)350R、色取得位置(左)350L、色取得位置(上)350T及び色取得位置(下)350Bのうち、その色情報が最も追尾色の色情報と類似している位置を選択する。この位置を最類似色位置と称する。なお、各色取得位置の色情報として、各色取得位置の1画素の色情報が用いられてもよいし、各色取得位置を中心とする複数画素の色情報が用いられてもよい。
類似色検出部13064は、ステップS402において追尾色の色情報と最類似色位置の色情報との差異が所定の閾値未満であるか否かを判定する。所定の閾値未満であれば、類似色検出部13064は、ステップS404において、戻り値に最類似色位置有りという情報と選択された最類似色位置の情報とを設定し、処理は図4を参照して説明している処理に戻る。一方、ステップS402の判定において所定の閾値以上であると判定された場合、類似色検出部13064は、ステップS406において、戻り値に最類似色位置無しという情報を設定し、処理は図4を参照して説明している処理に戻る。追尾色の色情報と最類似色位置の色情報との差異を評価することで、追尾の精度が向上する。
例えば図8のように、追尾被写体310である自動車が左に移動している場合を考える。この場合、色取得位置(中央)350C、色取得位置(右)350R、色取得位置(左)350L、色取得位置(上)350T及び色取得位置(下)350Bのうち、追尾色と類似している位置は、色取得位置(左)350Lであると選択される。ここで、追尾色の色情報と色取得位置(左)350Lの色情報との差異が所定の閾値未満であれば、戻り値に最類似色位置有りという情報とこの最類似色位置は色取得位置(左)350Lであるという情報とが設定される。
図4に戻り、追尾処理について説明を続ける。追尾処理回路1306内の追尾領域更新部13065は、ステップS210において最類似色位置が有るか否かを判定する。最類似色位置が無いと判定されたされた場合、追尾領域更新部13065は、ステップS212において追尾領域を更新しない。その後、処理はステップS216に移る。一方、ステップS210の判定において最類似色位置があると判定されたされた場合、追尾領域更新部13065は、ステップS214において追尾領域設定部13062に、追尾領域を最類似色判断処理で選択された最類似色位置に更新させる。なお、追尾領域は、最類似色位置を示す1画素である点としてよいし、その点を重心とする幅を有する領域としてもよい。その後、処理はステップS216に移る。
追尾処理回路1306内の信頼性判定部13066は、ステップS216において追尾領域の信頼性を判断する。例えば信頼性判定部13066は、参照画像データの彩度から信頼性を判断する。具体的には、追尾領域の彩度及び輝度が所定値以上である場合、信頼性があると判断される。これらの信頼性を判定するための閾値は適宜設定され得る。
追尾処理回路1306は、ステップS218において最終的な追尾領域を、RAM118の追尾データログエリアに記録する。また、追尾処理回路1306は、次回の追尾処理においては用いる同色領域も合わせて取得し、RAM118の追尾データログエリアに記録する。また、追尾処理回路1306は、追尾領域の色情報を追尾色ログエリアに記録する。ただし、ステップS216の信頼性判断において、信頼性がないと判断された場合には、追尾位置等を記録しないようにしてもよい。信頼性の判断結果を用いることで、追尾精度が向上する。
CPU1301は、ステップS220において表示素子駆動回路122を制御して、追尾枠の表示位置をステップS218で記憶させた追尾位置に対応した位置に更新する。すなわち、表示素子120に表示される追尾枠は更新され、ユーザは追尾位置を表示素子120上で確認しながら、撮像装置100の操作を行うことができる。その後、CPU1301は、図4の追尾処理を終了し、処理は図3を参照して説明した処理に戻る。
本実施形態によれば、5つの色取得位置のうち追尾領域と最も類似した色を有する位置に次のフレームにおける追尾領域が更新される。このようにして、色の類似度に基づいて、追尾領域が更新され、追尾被写体が追尾されることになる。
このように、例えば画像取得部13061は、画像を取得する画像取得部として機能する。例えば追尾領域設定部13062は、画像のうち一部の領域を追尾領域に設定し、この追尾領域の色を追尾色に設定する追尾領域設定部として機能する。例えば色取得位置決定部13063は、画像において所定の位置関係を有する少なくとも3つの領域を比較領域に設定する比較領域設定部として機能する。例えば類似色検出部13064は、比較領域のうち前記追尾色に最も類似する色を有する比較領域を更新領域として選択する類似色検出部として機能する。例えば追尾領域更新部13065は、更新領域に基づいて追尾領域を再設定する追尾領域更新を追尾領域設定部に実行させる追尾領域更新部として機能する。例えば信頼性判定部13066は、類似色検出部が決定した前記更新領域の信頼性を判定する信頼性判定部として機能する。例えば焦点距離取得回路1305は、画像を撮像する際に用いられた光学系の焦点距離を取得する焦点距離取得部として機能する。例えば表示素子120は、追尾領域を表示する追尾領域告知部として機能する。
従来知られている色追尾技術と本実施形態に係る色追尾技術とを比較する。従来の色追尾技術について図9を参照して説明する。図9(a)に示すように、追尾被写体410に追尾領域420が設定されているものとする。ここで、追尾領域420内の色情報は取得されている。次のフレーム、すなわち、図9(b)に示すように追尾被写体410が移動したフレームにおいて、前のフレームの追尾領域420の位置に基づいて決定されたサーチエリア450内が例えばラスタースキャンされ、前のフレームの追尾領域420と同じ色情報を有する領域が検索される。そして、図9(c)に示すように同じ色情報を有する領域の例えば重心領域が新たな追尾領域420として更新される。
図9を参照して説明したような従来の色追尾技術を用いると、次のような不具合が生じる恐れがある。例えば図10(a)から図10(b)まで、追尾被写体410内の追尾領域420が所望の通りに追尾されていたとする。ここで図10(c)に示すように、追尾領域420と類似した色を有する物体480が追尾被写体に近づき、サーチエリア450内に入ったとき、追尾領域420が図10(c)に示すように物体480の部分に更新される恐れがある。この場合、これ以降追尾被写体410は見失われて物体480が追尾される恐れがある。
これに対して、本実施形態では追尾色と最も類似する色を有する色取得位置が選択される。したがって、本実施形態に係る色追尾では色分解能が非常に高いと言える。このため、追尾被写体が見失われる可能性は従来技術に比べて極めて低い。本実施形態では、追尾領域は追尾被写体内において変位するが、色情報取得位置判断処理において同色領域の大きさに応じて色取得位置が適当に決定されているので、追尾領域は追尾被写体内に収まるように制御されている。例えば、図11に示すように、図8に示した場合よりも追尾被写体310である自動車が画像の大きな範囲を占めているとき、同色領域は大きくなる。このとき、色取得位置350の間隔は、図8に示した場合よりも広くなる。その結果、追尾被写体410は適切に追尾される。
本実施形態によれば、CPU1301によって行われる演算は、追尾色と数か所の色取得位置の色とを比較し最類似色位置を選択する演算であり、図9を参照して説明した従来技術のようにスキャンによる検索の演算を必要としない。したがって、従来技術に比べて本実施形態では、行われる演算量が格段に少ない。したがって、本実施形態によれば高速な処理が実現され得る。さらに、この高速化によって、フレーム間の追尾被写体の移動量は小さくなる。このことは、本実施形態に係る色追尾の原理において、追尾精度を向上させる。
なお、本実施形態では色取得位置を5点としたが、面を形成する3点以上であれば色取得位置は何点でもよい。また、必ずしも色取得位置のうちの1点が元の追尾領域と一致していなくてもよい。ただし、本実施形態のような5点が設定されると、追尾被写体がどのように移動してもよく追尾され得る。
色情報取得位置判断処理において、撮影光学系102の焦点距離を考慮してもよい。例えば、CPU1301は、焦点距離取得回路1305によって取得された焦点距離に基づいて、焦点距離係数を算出する。CPU1301は、図5を参照して説明した色情報取得位置判断処理のステップS304及びステップS306における間隔の算出において、例えば下記式(15)及び(16)のようにこの焦点距離係数を考慮することができる。
間隔(X方向)=第1の基準間隔×補正倍率(X方向)×焦点距離係数 (15)
間隔(Y方向)=第2の基準間隔×補正倍率(Y方向)×焦点距離係数 (16)
なお、この場合、補正倍率は用いられなくてもよい。ただし、上式(15)及び(16)のように補正倍率も焦点距離係数も考慮されている方がより精度が高くなる。
このように焦点距離係数が考慮されることによって、焦点距離が長いときは間隔が大きくされ、焦点距離が短いときは間隔が小さくされる。その結果、図11を参照して行った説明と同様に、例えばズームアップされて追尾被写体が画像内で大きな範囲を占めているとき、ズームアウトされて追尾被写体が画像内で小さな範囲を占めている場合に比べて、色取得位置の間隔は大きくなる。その結果、本実施形態に係る色追尾の精度が向上する。なお、焦点距離に応じて、色取得追加位置の数、面積、配置等が変化するように構成されてもよい。
また、本実施形態では図5を参照して説明した色情報取得位置判断処理において色取得位置が算出されているが、色取得位置の位置関係を表す情報がポイントテンプレートとしてROM134に予め記憶されており、色取得位置決定部13063が色情報取得位置判断処理においてこのテンプレートの配置を決定するように構成されてもよい。また、色取得位置の位置関係が互いに異なるテンプレートが複数用意されており、色情報取得位置判断処理において同色領域等の条件に基づいてテンプレートが選択され、このテンプレートの配置が決定されるように構成されてもよい。また、撮影光学系102の焦点距離に応じてテンプレートが選択されるように構成されてもよい。テンプレートを用いることによって、処理量が削減され、高速な処理が実現される。また、テンプレートが用いられると、最類似色以外に、類似度比率や色分布パターン等が利用され得る。
このように、例えばROM134は、少なくも3つの比較領域の所定の位置関係をポイントテンプレートとして記憶するテンプレート記憶部として機能し、例えば色取得位置決定部13063は、画像において追尾領域の位置に基づいて前記ポイントテンプレートの位置を設定するテンプレート設定部として機能する。
[第2の実施形態]
第2の実施形態について説明する。ここでは、第1の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。本実施形態では、第1の実施形態において最類似色位置が無いと判定されたとき、すなわち、例えば第1の実施形態による色追尾で追尾領域が追尾被写体から外れてしまったとき、スキャンによって追尾領域を検索する従来技術が用いられる。
本実施形態に係る追尾処理を示すフローチャートを図12に示す。この図に示すように、ステップS500乃至ステップS508は、図4を参照して説明した第1の実施形態のステップS200乃至ステップS208とそれぞれ同じである。すなわち、CPU1301は、ステップS500において撮像素子IF回路116を制御して撮像素子114に撮像を実行させ、ステップS502において撮像素子114によって撮像された画像のデータを撮像素子IF回路116を介してRAM118に取り込む。追尾処理回路1306は、ステップS504において色情報取得位置判断処理を実行し、ステップS506において、色情報取得位置判断処理で決定された色取得位置のそれぞれの位置における色情報を取得し、ステップS508において、最類似色判断処理を実行する。
続いて、追尾処理回路1306内の追尾領域更新部13065は、ステップS510において最類似色位置が有るか否かを判定する。最類似色位置が有ると判定されたされた場合、追尾領域更新部13065は、ステップS512において最類似色位置を追尾領域に決定する。その後、処理はステップS522に移る。一方、ステップS510において最類似色位置が無いと判定されたされた場合、追尾処理回路1306内の追尾色重心検索部13067は、ステップS514において追尾色重心検索を行う。ここで、追尾色重心検索とは、例えば図9を参照して説明した従来技術を用いた色追尾である。このように、例えば追尾色重心検索部13067は、画像を走査して追尾色に類似する類似領域を検索し、この類似領域の重心位置を決定する類似領域検索部として機能する。
追尾領域更新部13065は、ステップS516において追尾色重心があるか否かを判定する。追尾色重心があると判定された場合、追尾領域更新部13065は、ステップS518において色重心に基づいて追尾領域に決定する。その後、処理はステップS522に移る。ステップS516において追尾色重心がないと判定された場合、追尾領域更新部13065は、ステップS520において追尾領域を更新せず、処理はステップS522に移る。
ステップS522乃至ステップS5226は、図4を参照して説明した第1の実施形態のステップ216乃至220と同様である。すなわち、信頼性判定部13066は、ステップS522において追尾領域の信頼性を判断する。追尾処理回路1306は、ステップS524において最終的な追尾領域を、RAM118の追尾データログエリアに記録する。また、次回の追尾処理においては用いる同色領域も合わせて取得し、RAM118の追尾データログエリアに記録する。CPU1301は、ステップS526において表示素子駆動回路122を制御して、追尾枠の表示位置をステップS524で記憶させた追尾位置に対応した位置に更新する。その後、CPU1301は、図12の追尾処理を終了し、処理は図3を参照して説明した処理に戻る。その他の処理は、第1の実施形態の場合と同様である。
本実施形態によれば、第1の実施形態において追尾被写体が見失われた際も、従来の技術を用いて、広い領域を探索して追尾被写体が見つけ出され得る。本実施形態によれば、第1の実施形態よりもさらに精度よく追尾被写体が追尾され得る。
[第3の実施形態]
第3の実施形態について説明する。ここでは、第2の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。本実施形態では、第2の実施形態において最類似色位置があると判定されたときはフレームレートが高くされ、最類似色が無いと判定され、追尾色重心を用いるときはフレームレートが低くされる。
本実施形態に係る追尾処理の一例を表すフローチャートを図13に示す。ステップS600乃至ステップS612の処理は、図12を参照して説明した第2の実施形態に係るステップS500乃至ステップS512の処理と同様である。すなわち、CPU1301は、ステップS600において撮像素子IF回路116を制御して撮像素子114に撮像を実行させ、ステップS602において撮像素子114によって撮像された画像のデータを撮像素子IF回路116を介してRAM118に取り込む。追尾処理回路1306は、ステップS604において色情報取得位置判断処理を実行し、ステップS606において色情報取得位置判断処理で決定された色取得位置のそれぞれの位置における色情報を取得し、ステップS608において最類似色判断処理を実行する。追尾処理回路1306は、ステップS610において最類似色位置が有るか否かを判定する。最類似色位置が有ると判定されたされた場合、追尾処理回路1306は、ステップS612において最類似色位置を追尾領域に決定する。
その後、追尾処理回路1306は、ステップS614においてフレームレートを高フレームレートに変更するようにCPU1301に指示を出力する。ここで高フレームレートとは、例えば60乃至120fps等である。その後、処理は、ステップS626に移る。
また、ステップS616乃至ステップS620の処理は、図12を参照して説明した第2の実施形態に係るステップS514乃至ステップS518の処理と同様である。すなわち、ステップS610において最類似色位置が無いと判定されたされた場合、追尾処理回路1306は、ステップS616において追尾色重心検索を行い、ステップS618において追尾色重心があるか否かを判定する。追尾色重心があると判定された場合、追尾処理回路1306は、ステップS620において色重心を追尾領域に決定する。
その後、追尾処理回路1306は、ステップS622においてフレームレートを低フレームレートに変更するようにCPU1301に指示を出力する。ここで低フレームレートとは、例えば15乃至30fps等である。その後、処理は、ステップS626に移る。
また、ステップS624乃至ステップS630の処理は、図12を参照して説明した第2の実施形態に係るステップS520乃至ステップS526の処理と同様である。すなわち、ステップS618において追尾色重心がないと判定された場合、追尾処理回路1306は、ステップS5624において追尾領域を更新せず、処理はステップS626に移る。追尾処理回路1306は、ステップS626において追尾領域の信頼性を判断する。追尾処理回路1306は、ステップS628において最終的な追尾領域を、RAM118の追尾ログエリアに記録する。また、次回の追尾処理においては用いる同色領域も合わせて取得し、RAM118の追尾ログエリアに記録する。CPU1301は、ステップS630において表示素子駆動回路122を制御して、追尾枠の表示位置をステップS628で記憶させた追尾位置に対応した位置に更新する。その後、CPU1301は、図13の追尾処理を終了し、処理は図3を参照して説明した処理に戻る。その他の処理は、第2の実施形態の場合と同様である。
上述のとおり、追尾色重心検索を行う従来技術に比べ、最類似色位置を用いる本発明に係る技術では、処理速度が非常に早い。したがって、本実施形態ではこの処理速度に合わせてフレームレートを変更している。本実施形態によれば、処理に必要かつ十分な時間が確保され、全体として処理速度を速めることができる。最類似色位置に基づく追尾領域の決定を高フレームレートで実行することで、フレーム間の画像の差が小さくなるので、最類似色位置に基づく色追尾の精度は向上する。
上記の60乃至120fpsや15乃至30fps等はもちろん一例である。また、これらフレームレートは、表示素子120が画像を表示するフレームレート、記録メディア128に画像を記録するフレームレート、又は画像を撮影する際に用いられたオートフォーカス、自動露出若しくはオートホワイトバランスのフレームレートに応じて変更されてもよい。オートフォーカス等のフレームレートに応じて変更されることで、必要な追尾のフレームレートが確保される。
[第4の実施形態]
第4の実施形態について説明する。ここでは、第1の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。本実施形態では、第1の実施形態における色情報取得位置判断処理が異なる。
本実施形態に係る色情報取得位置判断処理の一例を示すフローチャートを図14に示す。この図に示すように、ステップS701乃至ステップS716は、図5を参照して説明した第1の実施形態におけるステップS300乃至ステップS316と同様である。すなわち、色取得位置決定部13063は、ステップS700において補正倍率(X方向)を算出し、ステップS702において補正倍率(Y方向)を算出し、ステップS704において間隔(X方向)を算出し、ステップS706において間隔(Y方向)を算出する。次に色取得位置決定部13063は、ステップS708において色取得位置(中央)を算出し、ステップS710において色取得位置(右)を算出し、ステップS712において色取得位置(左)を算出し、ステップS714において色取得位置(上)を算出し、ステップS716において色取得位置(下)を算出する。
色取得位置決定部13063は、ステップS718において積算値(X方向)を算出する。ここで積算値(X方向)は、過去の複数のフレームにおける追尾領域の動きベクトルのX方向の積算値である。ここで上記のフレーム数は所定の値である。色取得位置決定部13063は、ステップS720において積算値(X方向)が所定の閾値より大きいか否かを判定する。積算値(X方向)が所定の閾値以下であると判定された場合、処理はステップS726に移る。
ステップS720において所定の閾値よりも大きいと判定された場合、色取得位置決定部13063は、ステップS722において色取得追加位置(右)のX座標xとY座標yをそれぞれ下記式(17)及び(18)に基づいて決定する。
x=追尾位置(X方向)+間隔(X方向)×2 (17)
y=追尾位置(Y方向) (18)
続いて、色取得位置決定部13063は、ステップS724において色取得追加位置(左)のX座標xとY座標yをそれぞれ下記式(19)及び(20)に基づいて決定する。
x=追尾位置(X方向)−間隔(X方向)×2 (19)
y=追尾位置(Y方向) (20)
色取得位置決定部13063は、ステップS726において積算値(Y方向)を算出する。ここで積算値(Y方向)は、過去の複数のフレームにおける追尾領域の動きベクトルのY方向の積算値である。ここでフレーム数は所定の値である。CPU1301は、ステップS720において積算値(Y方向)が所定の閾値より大きいか否かを判定する。積算値(Y方向)が所定の閾値以下であると判定された場合、処理は図4を参照して説明した追尾処理に戻る。
ステップS728において所定の閾値よりも大きいと判定された場合、色取得位置決定部13063は、ステップS730において色取得追加位置(上)のX座標xとY座標yをそれぞれ下記式(21)及び(22)に基づいて決定する。
x=追尾位置(X方向) (21)
y=追尾位置(Y方向)−間隔(Y方向)×2 (22)
続いて、色取得位置決定部13063は、ステップS732において色取得追加位置(下)のX座標xとY座標yをそれぞれ下記式(23)及び(24)に基づいて決定する。
x=追尾位置(X方向) (23)
y=追尾位置(Y方向)+間隔(X方向)×2 (24)
その後、処理は図4を参照して説明した追尾処理に戻る。
追尾処理に戻る際の戻り値は、色取得位置(中央)、色取得位置(右)、色取得位置(左)、色取得位置(上)及び色取得位置(下)、並びに、追加された色取得追加位置(右)及び色取得追加位置(左)、及び/又は、色取得追加位置(上)及び色取得追加位置(下)である。その他の処理は、第1の実施形態と同様である。
本実施形態では、ステップS720の判定で所定の閾値よりも大きいと判定された場合、すなわち、追尾領域のX方向の速度が所定の値より大きいとき、色取得追加位置が左右に設定される。同様に、ステップS728の判定で所定の閾値よりも大きいと判定された場合、すなわち、追尾領域のY方向の速度が所定の値より大きいとき、色取得追加位置が上下に設定される。すなわち、例えば図15に示すように、追尾被写体310が左に所定の速度より早く動いているとき、色取得位置(中央)350C、色取得位置(右)350R、色取得位置(左)350L、色取得位置(上)350T及び色取得位置(下)350Bに加えて、色取得追加位置(左)360Lと画像の領域から外れているため図示されていない色取得追加位置(右)が設定される。したがって、本実施形態では、図7を参照して説明した最類似色判断処理では、これら7点のうち最も追尾色に類似する色を有する位置が最類似位置として選択される。
本実施形態によれば、追尾被写体の速度が速いとき、追尾被写体が色取得位置から外れて、その結果、追尾被写体を追尾されなくなることを防止することができる。
なお、本実施形態では、色取得追加位置は、上下及び/又は左右に1つずつ追加されているが、追尾被写体の速度に応じて複数個ずつ追加されるように構成されてもよい。また、追尾被写体の移動方向に応じて、移動する方向にのみ色取得追加位置を追加するように構成されてもよい。また、追尾被写体の速度に応じて色取得位置の間隔を変更するように構成されてもよい。また、追尾被写体の速度に応じて色の比較に用いられる領域の面積が変更されるように構成されてもよい。
また、追尾領域の動きベクトルに基づいて色取得位置の配置を、上下左右でなく斜めに配置されるように構成されてもよい。例えば、回転角度θを下記式(25)により決定される。
θ=tan−1(積算値(Y方向)/積算値(X方向)) (25)
そして回転角度θを用いて、色取得位置のX座標x´及びY座標y´をそれぞれ下記式(26)及び(27)のように求められ得る。
x´=x×cosθ−y×sinθ (26)
y´=x×sinθ+y×cosθ (27)
ここで、x及びyは、それぞれ上記式(7)乃至(14)で求まる値である。
このように、色取得位置を追尾被写体の移動方向に合わせて斜めに配置することによっても、追尾被写体が色取得位置から外れて、その結果、追尾被写体を追尾されなくなることが防止され得る。なお、第4の実施形態及び上述したその変形例は、第2の実施形態又は第3の実施形態と組み合わせて用いられてもよいことはもちろんである。
また、色取得位置の決定にポイントテンプレートを用いる場合、種々のポイントテンプレートが予め用意され、追尾被写体の移動速度に応じてそれらのうちから適当なポイントテンプレートが選択されるように構成されてもよい。
[第5の実施形態]
第5の実施形態について説明する。ここでは、第1の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。本実施形態は、第1の実施形態と比較して、図7を参照して説明した最類似判断処理が異なる。本実施形態に係る最類似色判断処理を図16に示すフローチャートを参照して説明する。
類似色検出部13064は、ステップS800において、色取得位置(中央)、色取得位置(右)、色取得位置(左)、色取得位置(上)及び色取得位置(下)のうち、その色が最も追尾色と類似している最類似色位置を選択する。類似色検出部13064は、ステップS802において追尾色の色情報と最類似色位置の色情報との差異が所定の閾値未満であるか否かを判定する。
ステップS802の判定において所定の閾値未満であると判定された場合、類似色検出部13064は、ステップS804において、色取得位置(中央)の色と最類似位置の色との差異が所定の閾値より大きいか否かを判定する。この判定において所定の閾値より大きいと判定された場合、類似色検出部13064は、ステップS806において戻り値に最類似色位置有りという情報とこの最類似色位置の情報とを設定し、処理は図4を参照して説明した追尾処理に戻る。
一方、ステップS804の判定において所定の閾値以下と判定された場合、類似色検出部13064は、ステップS808において追尾色の色情報と最類似色位置の色情報との差異が所定の閾値未満であるか否かを判定する。この判定において所定の閾値未満であると判定された場合、類似色検出部13064は、ステップS810において戻り値に、最類似色位置有りという情報とこの最類似色位置の情報として色取得位置(中央)の位置とを設定し、処理は図4を参照して説明した追尾処理に戻る。ステップS808の判定において所定の閾値以上であると判定された場合、処理はステップS806に移る。
ステップS802の判定において所定の閾値以上であると判定された場合、類似色検出部13064は、ステップS812において、戻り値に最類似色位置無しという情報を設定し、処理は図4を参照して説明した追尾処理に戻る。その他の処理は、第1の実施形態と同様である。
本実施形態によれば、追尾色に最も類似した色を有する色取得位置と色取得位置(中央)との色が近いとき、追尾領域として、追尾色に最も類似した色を有する色取得位置よりも色取得位置(中央)が優先的に採用される。すなわち、本実施形態では、複数の色取得位置のうち前の追尾領域と一致する中央の色取得位置の重み付けが高い。
前述のとおり本発明に係る色追尾技術では、色分解能が高い。このため、追尾領域の位置が必要以上に細かく更新されがちである。これに対して本実施形態によれば、追尾領域の不要な更新がある程度抑制され、安定した追尾が実現される。なお、第5の実施形態は、第2乃至第4の実施形態と組み合わせて用いられてもよいことはもちろんである。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても、発明が解決しようとする課題の欄で述べられた課題が解決でき、かつ、発明の効果が得られる場合には、この構成要素が削除された構成も発明として抽出され得る。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。