JP6024135B2 - 被写体追尾表示制御装置、被写体追尾表示制御方法およびプログラム - Google Patents

Description

本発明は、被写体の追尾機能を備える被写体追尾表示制御装置、被写体追尾表示制御方法およびプログラムに関する。

近年、撮像装置において、撮影を支援する機能として、移動する被写体の位置を順次検出して追尾する追尾機能を備えた画像処理装置が開発されている。
特許文献１では、表示画面内における追尾中の被写体の動きや位置に基づいて、追尾中の被写体の状態を示す矢印等の各種の表示情報を作成して表示部に表示させる技術が開示されている。

特開２００９−２１８７１９号公報

しかしながら、追尾中の被写体が表示部から外に外れてしまった場合、被写体の移動方向を示す矢印を表示部に表示するようになっているものの、表示部に被写体の移動方向を矢印で表示するのみの仕様であったために、被写体の現在位置等を再度探すのに、勘に頼ってパンすることが必要であり、また、被写体を見失った後に、迅速に被写体の移動先を追尾することができないという問題点があった。

本発明の目的は、被写体追尾をより行い易い被写体追尾表示制御装置、被写体追尾表示制御方法およびプログラムを提供することにある。

本発明は、上記目的を達成するため、
被写体を追尾する追尾手段と、
この追尾手段により追尾されている被写体の逐次変化する移動速度と移動方向とを逐次検出する移動状態検出手段と、
前記移動状態検出手段により逐次検出されている、前記被写体の逐次変化する移動速度と移動方向とに基づき、前記追尾手段により追尾されている当該被写体が表示部から外れる直前であるのか否かを検出する直前表示外検出手段と、
前記直前表示外検出手段により前記被写体が前記表示部から外れる直前であることを検出した際は、前記表示部を広角ズームに変更させる表示制御手段と、
前記追尾手段により追尾されている前記被写体が表示部から外れたか否かを検出する表示外検出手段と、
を備え、
前記表示制御手段は、
前記表示部を広角ズームに変更させた後、前記表示外検出手段により前記被写体が前記表示部から外れたことを検出した際に、前記移動状態検出手段により検出されていた前記被写体の直前の移動速度を示し、かつ、前記被写体の直前の移動方向を示す表示情報を前記表示部に表示させる
ことを特徴とする被写体追尾表示制御装置である。

また、本発明の被写体追尾表示制御方法は、
被写体を追尾する追尾処理と、
この追尾処理により追尾されている被写体の逐次変化する移動速度と移動方向とを逐次検出する移動状態検出処理と、
前記移動状態検出処理により逐次検出されている、前記被写体の逐次変化する移動速度と移動方向とに基づき、前記追尾処理により追尾されている当該被写体が表示部から外れる直前であるのか否かを検出する直前表示外検出処理と、
前記直前表示外検出処理により前記被写体が前記表示部から外れる直前であることを検出した際は、前記表示部を広角ズームに変更させる表示制御処理と、
前記追尾処理により追尾されている前記被写体が表示部から外れたか否かを検出する表示外検出処理と、
を有し、
前記表示制御処理において、
前記表示部を広角ズームに変更させた後、前記表示外検出処理により前記被写体が前記表示部から外れたことを検出した際に、前記移動状態検出処理により検出されていた前記被写体の直前の移動速度を示し、かつ、前記被写体の直前の移動方向を示す表示情報を前記表示部に表示させる
ことを特徴とする。

また、本発明のプログラムは、
被写体追尾表示制御装置のコンピュータに、
被写体を追尾する追尾機能、
この追尾機能により追尾されている被写体の逐次変化する移動速度と移動方向とを逐次検出する移動状態検出機能、
前記移動状態検出機能により逐次検出されている、前記被写体の逐次変化する移動速度と移動方向とに基づき、前記追尾機能により追尾されている当該被写体が表示部から外れる直前であるのか否かを検出する直前表示外検出機能、
前記直前表示外検出機能により前記被写体が前記表示部から外れる直前であることを検出した際は、前記表示部を広角ズームに変更させる表示制御機能、
前記追尾機能により追尾されている前記被写体が表示部から外れたか否かを検出する表示外検出機能、
を実現させ、
前記表示制御機能は、
前記表示部を広角ズームに変更させた後、前記表示外検出機能により前記被写体が前記表示部から外れたことを検出した際に、前記移動状態検出機能により検出されていた前記被写体の直前の移動速度を示し、かつ、前記被写体の直前の移動方向を示す表示情報を前記表示部に表示させる
ことを特徴とする。

本発明に従うと、被写体追尾をより行い易くすることができる。

（Ａ）（Ｂ）および（Ｃ）は本発明の実施形態に係る撮像装置の外観を示す正面図、背面図および平面図である。 本発明の第１の実施形態に係る撮像装置の概略構成を示すブロック図である。 第１の実施形態に係る「自動追尾処理１」の制御手順を示すフローチャートである。 （Ａ）（Ｂ）および（Ｃ）は図３の「自動追尾処理１」における表示例を示す図である。 本発明の第２の実施形態に係る撮像装置の概略構成を示すブロック図である。 第２の実施形態における「自動追尾処理２」の制御手順を示すフローチャートである。 （Ａ）〜（Ｄ）は図６の「自動追尾処理２」における表示の遷移例を示す図である。 第３の実施形態に係る撮像装置の概略構成を示すブロック図である。 第３の実施形態における「自動追尾処理３」の制御手順を示すフローチャートである。 （Ａ）〜（Ｄ）は図７の「自動追尾処理３」における表示例を示す図である。

［第１の実施の形態］
まず、本発明の第１の実施の形態について図面に基づいて説明する。

図１は第１の実施形態に係る撮像装置１００の外観を示す図であり、図１（Ａ）は正面図、図１（Ｂ）は背面図、図１（Ｃ）は平面図である。
図１で、撮像装置１００は図１（Ａ）に示すように正面側にレンズ部としての撮像レンズ１を有している。また、撮像装置１００の背面には図１（Ｂ）に示すように、モードダイアル２０、表示部８、カーソルキー２１、ＳＥＴキー２２等が設けられている。また、上面には図１（Ｃ）に示すようにズームレバー２３、シャッタボタン１０ａ及び電源ボタン２４が設けられ、図示されていないが側部にはパーソナルコンピュータ（以下、パソコン）やモデム等の外部装置とＵＳＢケーブルに接続する場合に用いるＵＳＢ端子接続部が設けられている。

図２は、第１の実施形態に係る撮像装置１００の概略構成を示すブロック図である。
図２に示すように、第１の実施形態に係る撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、画像処理部６と、表示制御部７と、表示部８と、記録媒体制御部９と、操作入力部１０と、中央制御部１１とを備えている。ここで、レンズ部１と、電子撮像部２とが撮像手段を構成する。
また、撮像制御部３と、画像処理部６と、中央制御部１１は、例えば、カスタムＬＳＩ１Ａとして設計されている。

レンズ部１は、例えば複数のレンズ玉からなるズームレンズであり、例えばフォーカシングレンズやバリエータレンズ等から構成される。
また、レンズ部１は、図示は省略するが、例えば、バリエータレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えている。

電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を二次元の画像信号に変換する。

撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に逐次出力させる。
また、撮像制御部３は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体の撮像条件の調整制御を行う。

画像データ生成部４は、電子撮像部２から転送された画像フレームのアナログ値の信号に対してＲＧＢの色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を画像データとして生成する。
カラープロセス回路から出力される画像データは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。

中央制御部１１は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１１は、ＣＰＵ、ＲＡＭ、ＲＯＭ（何れも図示略）を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

画像メモリ５は、例えば、ＤＲＡＭ等により構成され、画像データ生成部４から転送された画像データを一時的に記憶する。また、画像メモリ５は、画像処理部６や中央制御部１１等によって処理されるデータ等を一時的に記憶する。

画像処理部６は、被写体検出部６ａと、追尾部６ｂを具備している。

被写体検出部６ａは、被写体Ｈの顔または体全体を検出する被写体検出手段を有する。被写体検出手段は、画像メモリ５から画像を読み出し、その画像から人の顔等を検出し、検出された顔等の位置や大きさ等を特定する。被写体検出部６ａは、撮像された画像データの全領域（画角の全範囲）内に人の顔があるか否かを認識する。つまり、顔認識処理の対象となる範囲は画像データの全領域である。

この被写体検出部６ａは、例えば、画像領域に含まれる人の顔を識別するための一般的な人の顔の特徴点データ（目、眉毛、鼻、口、耳等の特徴データ）と撮像された画像データとを比較照合することによって、顔を検出ように構成されている。

また、この被写体検出部６ａは、一方の眼を検出し、該一方の眼に基づいて両眼対候補を生成することによって、顔を検出するように構成されてもよい。
また、この被写体検出部６ａは、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチング（ブロックマッチングともいう。）によって顔を検出するように構成されてもよい。

また、被写体検出部６ａは、被写体Ｈの形状の特徴領域を表す形状情報を特徴点として抽出する。この場合、被写体検出部６ａは、画像データから被写体Ｈの輪郭を形状情報として抽出する。

追尾部６ｂは、画像データの全領域内を移動する被写体Ｈを追尾する。この追尾部６ｂは、動き検出手段と動き推定手段とを有する。ここで、追尾部６ｂは追尾手段を構成する。

追尾部６ｂは、撮像された画像データの全領域（画角の全範囲）における物体の移動における動きを検出する。具体的には、画像メモリ５から読み出された画像のフレーム間差分を画素単位で求め、差分のあった画素領域に動きのある移動物体が存在すると推定するフレーム間差分方式を用いて、物体の動きを検出する。
また、前フレームで動きと推定された領域を切り出してテンプレート画像とし、現フレームでこのテンプレート画像と相関の高い領域を探索し、相関値が閾値以上である領域を移動物体が存在する領域であると推定するマッチング方式を用いて、物体の動きを検出することもできる。

また、追尾部６ｂは、動き検出手段が検出する動きベクトルに基づいて、被写体Ｈの速さ及び被写体Ｈの動く方向を予測する。

表示制御部７は、画像メモリ５に記憶されている縮小画像データを読み出して表示部８に縮小画像を表示させる制御を行う。
具体的には、表示制御部７は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１１の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている縮小画像データの輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。また、表示制御部７は、撮像モードにて、電子撮像部２及び撮像制御部３による撮像により生成された複数の画像フレームに基づいたライブビュー画像や、本撮像画像として撮像されたレックビュー画像等を表示部８に表示させる機能も有する。

表示部８は、例えば、液晶表示装置であり、表示制御部７からのビデオ信号に基づいて縮小画像を表示する表示手段として機能している。また、表示部８は、表示制御部７からのビデオ信号に基づいて、ライブビュー画像、レックビュー画像、合成画像等を表示部８に表示する。

記録媒体制御部９は、記録媒体９ａが着脱自在に構成され、装着された記録媒体９ａからのデータの読み出しや記録媒体９ａに対するデータの書き込みを制御する。即ち、記録媒体制御部９は、画像処理部６のＪＰＥＧ圧縮部（図示略）により符号化された記録用の画像データを記録媒体９ａに記録させる。記録用の画像データには、切抜画像データも含まれる。

なお、記録媒体９ａは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

操作入力部１０は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１０は、被写体Ｈの撮影指示に係るシャッタボタン１０ａ、各種の指示ボタン１０ｂを備える。指示ボタン１０ｂは、モードダイアル２０、カーソルキー２１、ＳＥＴキー２２、ズームレバー２３等に対応する。それらは、メニュー画面にて撮像モードや機能等の選択や構図の指示等を行い、また、ズーム量の調整指示を行う。これらのボタンの操作に応じて所定の操作信号を中央制御部１１に出力する。

また、操作入力部１０は、各種の設定に係る指示入力を行うためのものとして機能する。

次に、第１の実施形態に係る撮像装置１００の動作について説明する。
図３は、第１の実施形態において実行される「自動追尾処理１」の制御手順を示すフローチャートである。図４は、「自動追尾処理１」における表示画面を示す例である。
以下、撮像装置１００による「自動追尾処理１」の動作について図３のフローチャートおよび図４を参照して説明する。

「自動追尾処理１」の処理が開始されると中央制御部１１は先ず、被写体検出部６ａによる被写体分析を行い、追尾部６ｂは、被写体追尾を行う（ステップＳ０１）。その結果、被写体追尾中である場合は、「ＹＥＳ」へ分岐してステップＳ０２に移行する。一方、被写体追尾中でない場合は、「ＮＯ」へ分岐してステップＳ０１に移行する。

また、追尾が開始されると、中央制御部１１は、追尾部６ｂにより、被写体Ｈの移動速度、移動方向の検出を開始する。そして、追尾が実施されている間、被写体Ｈの移動速度、移動方向の検出を継続する。
ここで、中央制御部１１は、被写体Ｈの移動速度と移動方向とを検出する第１の検出手段を構成する。

ステップＳ０２では、中央制御部１１は、追尾部６ｂを制御して、把握された被写体Ｈの顔または体全体を囲む追尾被写枠２５を表示させる。
図４（Ａ）〜図４（Ｃ）は被写体Ｈに追尾被写枠２５が表示されている様子を示す。

ステップＳ０３では、被写体Ｈの追尾中に、被写体Ｈが移動し、表示部８から外れたか否かを判断する。被写体追尾中に、被写体Ｈが移動し、表示部８から外れた場合には、「ＹＥＳ」へ分岐してステップＳ０４に移行する。表示部８から外れていない場合には、「ＮＯ」へ分岐してステップＳ０２に移行する。
図４（Ｄ）は、被写体Ｈが表示部８から外れた場合を示している。
ここで、中央制御部１１は、前記被写体Ｈを追尾中に、被写体Ｈが表示部８から外れたか否かを検出する第２の検出手段を構成する。

ステップＳ０４では、中央制御部１１は、直前の被写体Ｈの移動速度とその移動方向を、追尾部６ｂから取得して、その移動速度とその移動方向を、移動速度に対応した長さＬで、かつ、移動方向の向きの矢印Ｙとして前記表示部８に表示する。表示方法は、例えば、矢印Ｙの向きで方向を、矢印Ｙの長さＬで移動速度を示す。
ここで、第１の実施形態における直前の被写体Ｈとは、例えば、被写体追尾が行われていた最後の画像フレームにおける被写体である。
また、中央制御部１１は、追尾部６ｂにより検出された被写体Ｈの移動速度に対応した長さで、かつ、被写体Ｈの移動方向の向きの矢印Ｙを表示部８上に表示させる表示制御手段を構成する。
また、図４（Ｄ）は、その移動速度とその移動方向を示す矢印Ｙが前記表示部８上に表示されている様子を示す。

以上のように、第１の実施形態によれば、撮像装置１００は、被写体Ｈを追尾する追尾部６ｂと、この追尾部６ｂにより追尾されている被写体Ｈの移動速度と移動方向とを検出する第１の検出手段１１と、追尾部６ｂにより追尾されている被写体Ｈが表示部から外れたか否かを検出する第２の検出手段１１と、第２の検出手段１１により被写体Ｈが表示部８から外れたことを検出した際に、第１の検出手段１１により検出された被写体Ｈの移動速度を示し、かつ、被写体Ｈの移動方向を示す表示情報を表示部８に表示させる表示制御手段１１と、を備えており、撮像装置１００のこれらの構成要素は被写体追尾表示制御装置として機能している。
そして、追尾部６ｂで被写体Ｈを追尾しながら、被写体Ｈの移動速度と移動方向とを検出し、被写体Ｈが表示部８から外れたか否かを検出し、被写体Ｈが表示部８から外れたことを検出した際に、被写体Ｈの移動速度に対応した長さＬで、かつ、被写体Ｈの移動方向の向きの矢印Ｙを前記表示部８に表示させるようにしているので、被写体Ｈが移動し、表示部８の表示部から外れてしまった場合、その被写体Ｈの直前のベクトル情報（方向、速度）を表示することができる。したがって、撮影者は、被写体Ｈを見失っても、矢印Ｙの向きとその長さＬとの双方を目で確認することができ、撮像装置１００の向きを、どちらの方向に、おおよそ、どの程度、動かせば再び表示部８内に被写体Ｈを入れることができるか、瞬間的に把握できる。

また、表示情報は、第１の検出手段１１により検出された被写体Ｈの移動速度に対応した長さＬを示し、かつ、被写体の移動方向の向きを示す矢印Ｙであるので、表示情報がわかりやすい。

［第２の実施の形態］
次に、本発明の第２の実施形態について説明する。

上述した第１の実施形態では、被写体追尾中に、被写体Ｈが移動し、表示部８から外れてしまった場合に矢印Ｙの表示を行う例を説明したが、第２の実施形態ではレンズ部１のズーム倍率を変更する例を説明する。

図５は、第２の実施形態に係る撮像装置２００の概略構成を示すブロック図である。実施形態２の撮像装置２００は、以下に詳細に説明する以外の点で上記実施形態１の撮像装置１００と略同様の構成をなし、詳細な説明は省略する。撮像装置２００の外観は図１と同様であり、図示と説明は省略する。

第２の実施形態に係る撮像装置２００では、図２に示した撮像装置２００の構成に追尾ズーム制御部１２が追加されている。追尾ズーム制御部１２は、中央制御部３１の制御を受けて、下記の「自動追尾処理２」に応じてレンズ部１のズーム駆動部を制御する。また、撮像制御部３と、追尾ズーム制御部１２と、画像処理部６と、中央制御部３１は、例えば、カスタムＬＳＩ１Ｂとして設計されている。

次に、第２の実施の形態に係る撮像装置２００の動作について説明する。

図６は、第２の実施の形態において実行される「自動追尾処理２」の制御手順を示すフローチャートである。図７は、「自動追尾処理２」における表示画面の遷移を示す例である。
以下、撮像装置２００による「自動追尾処理２」の動作について図６のフローチャートおよび図７を参照して説明する。

「自動追尾処理２」の処理が開始されると中央制御部３１は先ず、被写体検出部６ａによる被写体分析を行い、被写体追尾を行う（ステップＳ０１）。その結果、被写体追尾中である場合は、「ＹＥＳ」へ分岐してステップＳ１２に移行する。一方、被写体追尾中でない場合は、「ＮＯ」へ分岐してステップＳ１１に移行する。
ここで、中央制御部３１は、被写体Ｈの移動速度と移動方向とを検出する第１の検出手段を構成する。

ステップＳ１２では、中央制御部３１は、追尾部６ｂを制御して、把握された被写体Ｈに追尾被写枠２５を表示させる。
図７（Ａ）〜図７（Ｂ）は被写体Ｈに追尾被写枠２５が表示されて、被写体Ｈが追尾されている様子を示している。

ステップ１３では、中央制御部３１は、追尾部６ｂを制御して、「広角ズーム前の画角から被写体Ｈが外れる直前か否か判断する。ここで、広角ズーム前の画角とは、ステップＳ１４で実施する広角ズームアウト処理前の現在のレンズの画角を意味する。被写体追尾中に、被写体Ｈが移動し、「広角ズーム前の画角から被写体Ｈが外れる直前である場合には、「ＹＥＳ」へ分岐してステップＳ１４に移行する。「広角ズーム前の画角から被写体Ｈが外れる直前ではない場合には、「ＮＯ」へ分岐してステップＳ１２に移行する。

広角ズーム前の画角から被写体Ｈが外れる直前か否か判断手法は、以下の通りである。すなわち、被写体Ｈが、所定の時間後に、速度とその方向とから計算して外れると想定されるときを、外れる直前であるとする。
具体的には、動き推定手段は、動き検出手段が検出する動きベクトルに基づいて、被写体Ｈの速度及び被写体Ｈの動く方向を予測し、所定時間（例えば０．５秒）後に表示部８の表示画面部から外れてしまうと予測される場合を外れる直前であるとする。

また、例えば、被写体Ｈが人間である場合には、顔全体の所定の割合、例えば２０％が表示部８の表示画面部から外れてしまった状態、または、顔の両眼の内、片側の眼が認識できなかった場合を直前と定義することができる。さらには、当初の追尾被写枠の所定の割合、例えば２０％が表示部８の表示画面部から外れてしまった状態、または、追尾被写枠を認識する要素が不安定になった状態を直前と定義することもできる。

また、例えば、画面中心から表示部８の表示画面部までの距離の９割を越えた周辺に至ったときを直前であるとすることもできる。
ここで、中央制御部３１は、被写体Ｈを追尾中に、被写体Ｈが表示画面部から外れる直前であるのかを検出する第２の検出手段である。

ステップＳ１４では、中央制御部３１は、追尾ズーム制御部１２を制御して、「広角へズームアウト処理」を行う。「広角へズームアウト処理」とは、中央制御部３１の制御を受けた追尾ズーム制御部１２が、レンズ部１のズーム駆動部を制御してズームレンズの焦点距離を小さく変更する処理である。
図７（Ｃ）では、被写体Ｈが表示画面から外れる直前である状態が例示されている。直前であるかの判断手法は、「被写体Ｈの速度及び被写体Ｈの動く方向を予測し、所定時間（例えば０．５秒）後に表示部８の表示画面部から外れてしまうと予測される場合」である。そして、ステップＳ１３にて直前であることが検出され、ステップＳ１４にて「広角へズームアウト処理」が行われる。図７（Ｄ）においてズーム前の画面が点線Ｔ１で、ズーム後の画面が実線Ｔ２で示されている。ズームされたことにより、ズーム後の表示画面部の内部に被写体Ｈが留まっている。
ここで、中央制御部３１、追尾ズーム制御部１２が、第３の検出手段により被写体Ｈが表示画面部から外れる直前であることを検出したときに表示画面部を広角ズームに変更させる表示制御手段である。

以上のように、第２の実施形態によれば、撮像装置２００は、被写体を追尾する追尾部６ｂと、この追尾部６ｂにより追尾されている被写体の移動速度と移動方向とを検出する第１の検出手段３１と、追尾部６ｂにより追尾されている被写体が表示部８から外れる直前であるのかを検出する第２の検出手段３１と、第２の検出手段３１により被写体が表示部８から外れる直前であることを検出した際は、表示部８を広角ズームに変更させる表示制御手段３１、１２と、を備えており、撮像装置２００のこれらの構成要素は被写体追尾表示制御装置として機能している。
そして、被写体Ｈを追尾しながら、その被写体Ｈの移動速度と移動方向とを検出し、被写体Ｈが表示部８から外れる直前なのかを検出し、被写体Ｈが表示部８から外れる直前であることを検出した際は、表示部８を広角ズームに変更させるようにしているので、撮影者は、広角ズーム処理により被写体Ｈを逃がすことなく動画・静止画撮影や撮影チャンスを待つ等の行為を行うことができる。

［第３の実施の形態］
次に、本発明の第３の実施形態について説明する。

第３の実施形態では、被写体追尾中に、レンズ部１のズーム倍率を変更するとともに、被写体Ｈが移動し、表示画面から外れてしまった場合に所定の表示を行う例を説明する。
図８は、第３の実施形態に係る撮像装置３００の概略構成を示すブロック図である。実施形態３の撮像装置３００は、以下に詳細に説明する以外の点で上記実施形態１の撮像装置１００と略同様の構成をなし、詳細な説明は省略する。撮像装置３００の外観は図１と同様であり、図示と説明は省略する。

第３の実施形態に係る撮像装置３００では、図２に示した撮像装置１００の構成に追尾ズーム制御部１２が追加されている。追尾ズーム制御部１２は、中央制御部４１の制御を受けて、下記の「自動追尾処理２」に応じてレンズ部１のズーム駆動部を制御する。また、撮像制御部３と、追尾ズーム制御部１２と、画像処理部６と、中央制御部４１は、例えば、カスタムＬＳＩ１Ｃとして設計されている。

図９は、第３の実施形態において実行される「自動追尾処理３」の制御手順を示すフローチャートである。図１０は、「自動追尾処理３」における表示画面を示す例である。
以下、撮像装置３００による「自動追尾処理３」の動作について図９のフローチャートおよび図１０を参照して説明する。

「自動追尾処理３」の処理が開始されると中央制御部４１は先ず、被写体検出部６ａによる被写体分析を行い、被写体追尾を行う（ステップＳ２１）。その結果、被写体追尾中である場合は、「ＹＥＳ」へ分岐してステップＳ２２２に移行する。その結果、被写体追尾中でない場合は、「ＮＯ」へ分岐してステップＳ２１に移行する。

また、追尾部６ｂは、追尾が開始されると、被写体Ｈの移動速度、移動方向の検出を開始する。そして、追尾が実施されている間、被写体Ｈの移動速度、移動方向の検出を継続する。
ここで、中央制御部４１は、被写体Ｈの移動速度と移動方向とを検出する第１の検出手段を構成する。

ステップＳ２２では、中央制御部４１は、追尾部６ｂを制御して、把握された被写体Ｈに追尾被写枠を表示させる。
図１０（Ａ）（Ｂ）は被写体Ｈに追尾被写枠２５が表示されている様子を示す。

ステップ２３では、中央制御部４１は、追尾部６ｂを制御して、「広角ズーム前の画角から被写体Ｈが外れる直前か否か判断する。ここで、広角ズーム前の画角とは、ステップＳ２４で実施する広角ズームアウト処理前の現在のレンズの画角を意味する。被写体追尾中に、被写体Ｈが移動し、「広角ズーム前の画角から被写体Ｈが外れる直前である場合には、「ＹＥＳ」へ分岐してステップＳ２４に移行する。「広角ズーム前の画角から被写体Ｈが外れる直前ではない場合には、「ＮＯ」へ分岐してステップＳ２２に移行する。判断手法としては、第２の実施の形態と同じ手法が挙げられる。
ここで、中央制御部４１が、被写体Ｈを追尾中に、被写体Ｈが表示画面部から外れる直前であるのかを検出する第３の検出手段である。

ステップ２４では、中央制御部４１は、追尾ズーム制御部１２を制御して、「広角へズームアウト処理を行う。ズームアウト処理とは、中央制御部４１の制御を受けた追尾ズーム制御部１２が、レンズ部１のズーム駆動部を制御してズームレンズの焦点距離を小さく変更する処理である。
ここで、中央制御部４１、追尾ズーム制御部１２が、被写体Ｈが表示画面部から外れる直前であることを検出した際に表示画面部を広角ズームに変更させる表示制御手段である。
図１０（Ｃ）においてズーム前の画面が点線で、ズーム後の画面が実線で示されている。図１０（Ｃ）の実線に示すように被写体Ｈは、ズームが行われたことにより、表示部８の広角ズーム処理の処理後の表示部８の内部に留まっている。

ステップＳ２５では、中央制御部４１は、被写体検出部６ａによる被写体分析を行い、被写体追尾を行う。その結果、被写体追尾中である場合は、「ＹＥＳ」へ分岐してステップＳ２２に移行する。その結果、被写体追尾中でない場合は、「ＮＯ」へ分岐してステップＳ２６に移行する。

ステップＳ２６では、中央制御部４１は、直前の被写体Ｈの移動速度とその移動方向とを、追尾部６ｂから取得して、その移動速度とその移動方向とを、移動速度に対応した長さＬで、かつ、被写体Ｈの移動方向の向きの矢印Ｙとして前記表示部８に表示する。表示方法は、矢印Ｙの向きで方向を、矢印Ｙの長さＹで移動速度を示す。
ここで、第３の実施形態における直前の被写体Ｈとは、例えば、被写体追尾が行われていた最後の画像フレームにおける被写体である。
ここで、中央制御部４１は、前記被写体Ｈを追尾中に、被写体Ｈが表示部８から外れたか否かを検出する第２の検出手段を構成する。
また、中央制御部４１は、追尾部６ｂにより検出された被写体Ｈの移動速度に対応した長さＬで、かつ、被写体Ｈの移動方向の向きの矢印Ｙを表示部８に表示させる表示制御手段である。
また、図１０（Ｄ）は、その移動速度とその移動方向とを示す矢印Ｙが前記表示部８に表示されている様子を示す。

以上のように、第３の実施形態によれば、撮像装置３００は、被写体を追尾する追尾部６ｂと、この追尾部６ｂにより追尾されている被写体Ｈの移動速度と移動方向とを検出する第１の検出手段４１と、追尾手段により追尾されている被写体が表示部８から外れたか否かを検出する第２の検出手段４１と、追尾手部６ｂにより追尾されている被写体Ｈが表示部８から外れる直前であるのかを検出する第３の検出手段４１と、この第２の検出手段４１により被写体Ｈが表示部８から外れたことを検出した際に、第１の検出手段４１により検出された被写体Ｈの移動速度を示し、かつ、被写体Ｈの移動方向を示す表示情報を前記表示部８に表示させる一方で、第３の検出手段４１により被写体Ｈが表示部８から外れる直前であることを検出した際は、表示部８を広角ズームに変更させる表示制御手段４１、１２と、を備えており、撮像装置３００のこれらの構成要素は被写体追尾表示制御装置として機能している。
したがって、撮影者は、広角ズーム処理により被写体Ｈを逃がすことなく動画・静止画撮影や撮影チャンスを待つ等の行為を行うことができる。さらに、広角ズーム処理によっても、被写体Ｈが画面内に検出されない場合には、その被写体Ｈの直前のベクトル情報（方向、速度）を画面上に表示することができる。したがって、撮影者は、被写体Ｈを見失っても、表示部８に表示された矢印Ｙから、撮像装置３００の向きを、どちらの方向に、おおよそ、どの程度、動かせば再び表示部８内に入れることができるか、瞬間的に把握できる。

本発明の実施形態を説明したが、本発明の範囲は上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、被写体が表示部から外れたことを検出した際に、検出された被写体の移動速度を示し、かつ、被写体の移動方向を示す表示情報として、検出された被写体の移動速度に対応した長さを示し、かつ、被写体の移動方向の向きを示す矢印を用いていたが、被写体の移動方向の向きを示す矢印の近傍位置に、検出された被写体の移動速度を示す速度データを表示してもよい。また、矢印に代えて、文字データで、検出された被写体の移動速度を示し、かつ、被写体の移動方向を示してもよい。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［付記］
＜請求項１＞
被写体を追尾する追尾手段と、
この追尾手段により追尾されている被写体の移動速度と移動方向とを検出する第１の検出手段と、
前記追尾手段により追尾されている被写体が表示部から外れたか否かを検出する第２の検出手段と、
この第２の検出手段により被写体が表示部から外れたことを検出した際に、前記第１の検出手段により検出された被写体の移動速度を示し、かつ、被写体の移動方向を示す表示情報を前記表示部に表示させる表示制御手段と、
を備えていることを特徴とする被写体追尾表示制御装置。
＜請求項２＞
前記表示情報は、前記第１の検出手段により検出された被写体の移動速度に対応した長さを示し、かつ、被写体の移動方向の向きを示す矢印であることを特徴とする請求項１記載の被写体追尾表示制御装置。
＜請求項３＞
被写体を追尾する追尾手段と、
この追尾手段により追尾されている被写体の移動速度と移動方向とを検出する第１の検出手段と、
前記追尾手段により追尾されている被写体が表示部から外れる直前であるのかを検出する第２の検出手段と、
前記第２の検出手段により被写体が表示部から外れる直前であることを検出した際は、表示部を広角ズームに変更させる表示制御手段と、
を備えていることを特徴とする被写体追尾表示制御装置。
＜請求項４＞
被写体を追尾する追尾手段と、
この追尾手段により追尾されている被写体の移動速度と移動方向とを検出する第１の検出手段と、
前記追尾手段により追尾されている被写体が表示部から外れたか否かを検出する第２の検出手段と、
前記追尾手段により追尾されている被写体が表示部から外れる直前であるのかを検出する第３の検出手段と、
この第２の検出手段により被写体が表示部から外れたことを検出した際に、前記第１の検出手段により検出された被写体の移動速度を示し、かつ、被写体の移動方向を示す表示情報を前記表示部に表示させる一方で、前記第３の検出手段により被写体が表示部から外れる直前であることを検出した際は、表示部を広角ズームに変更させる表示制御手段と、
を備えていることを特徴とする被写体追尾表示制御装置。
＜請求項５＞
被写体を追尾する追尾ステップと、
この追尾ステップにより追尾されている被写体の移動速度と移動方向とを検出する第１の検出ステップと、
前記追尾ステップにより追尾されている被写体が表示部から外れたか否かを検出する第２の検出ステップと、
前記被写体が前記表示部から外れたことを検出した際に、前記第１の検出ステップにより検出された被写体の移動速度を示し、かつ、被写体の移動方向を示す表示情報を前記表示部に表示させる表示制御ステップと、
を有することを特徴とする被写体追尾表示制御方法。
＜請求項６＞
被写体追尾表示制御装置のコンピュータを、
被写体を追尾する追尾手段と、
この追尾手段により追尾されている被写体の移動速度と移動方向とを検出する第１の検出手段と、
前記追尾手段により追尾されている被写体が表示部から外れたか否かを検出する第２の検出手段と、
この第２の検出手段により被写体が表示部から外れたことを検出した際に、前記第１の検出手段により検出された被写体の移動速度を示し、かつ、被写体の移動方向を示す表示情報を前記表示部に表示させる表示制御手段と、
として機能させることを特徴とするプログラム。

１００、２００、３００ 撮像装置
１ レンズ部（撮像手段）
２ 電子撮像部（撮像手段）
３ 撮像制御部
４ 画像データ生成部
５ 画像メモリ
６ 画像処理部
６ａ 被写体検出部
６ｂ 追尾部（追尾手段）
７ 表示制御部
８ 表示部
９ 記録媒体制御部
１０ 操作入力部
１０ａ シャッタボタン
１０ｂ 指示ボタン
１１、３１、４１ 中央制御部（第１の検出手段、第２の検出手段、第３の検出手段、表示制御手段）
１２ 追尾ズーム制御部（表示制御手段）
２０ モードダイアル
２１ カーソルキー
２２ セットキー
２３ ズームレバー
２４ 電源ボタン
２５ 追尾被写枠

Claims (6)

1. 被写体を追尾する追尾手段と、
   この追尾手段により追尾されている被写体の逐次変化する移動速度と移動方向とを逐次検出する移動状態検出手段と、
   前記移動状態検出手段により逐次検出されている、前記被写体の逐次変化する移動速度と移動方向とに基づき、前記追尾手段により追尾されている当該被写体が表示部から外れる直前であるのか否かを検出する直前表示外検出手段と、
   前記直前表示外検出手段により前記被写体が前記表示部から外れる直前であることを検出した際は、前記表示部を広角ズームに変更させる表示制御手段と、
   前記追尾手段により追尾されている前記被写体が表示部から外れたか否かを検出する表示外検出手段と、
   を備え、
   前記表示制御手段は、
   前記表示部を広角ズームに変更させた後、前記表示外検出手段により前記被写体が前記表示部から外れたことを検出した際に、前記移動状態検出手段により検出されていた前記被写体の直前の移動速度を示し、かつ、前記被写体の直前の移動方向を示す表示情報を前記表示部に表示させる
   ことを特徴とする被写体追尾表示制御装置。
2. 前記直前表示外検出手段は、前記表示制御手段が前記表示部を広角ズームに変更させる前の状態で、前記移動状態検出手段により逐次検出されている逐次変化する前記被写体の移動速度と移動方向とに基づき、前記追尾手段により追尾されている前記被写体が前記表示部から外れる直前であるのか否かを検出し、
   前記表示外検出手段は、前記表示制御手段が前記表示部を広角ズームに変更させた後の状態で、前記追尾手段により追尾されている前記被写体が前記表示部から外れたか否かを検出する
   ことを特徴とする請求項１に記載の被写体追尾表示制御装置。
3. 所定の周期で画像を取得する撮像手段を更に備え、
   前記移動状態検出手段は、前記撮像手段により取得される連続する複数の画像から前記被写体の逐次変化する移動速度と移動方向とを逐次検出する
   ことを特徴とする請求項１又は２に記載の被写体追尾表示制御装置。
4. 前記表示情報は、前記移動状態検出手段により検出されていた前記被写体の直前の移動速度に対応した長さを示し、かつ、前記被写体の直前の移動方向の向きを示す矢印であることを特徴とする請求項１乃至３のいずれか一項に記載の被写体追尾表示制御装置。
5. 被写体を追尾する追尾処理と、
   この追尾処理により追尾されている被写体の逐次変化する移動速度と移動方向とを逐次検出する移動状態検出処理と、
   前記移動状態検出処理により逐次検出されている、前記被写体の逐次変化する移動速度と移動方向とに基づき、前記追尾処理により追尾されている当該被写体が表示部から外れる直前であるのか否かを検出する直前表示外検出処理と、
   前記直前表示外検出処理により前記被写体が前記表示部から外れる直前であることを検出した際は、前記表示部を広角ズームに変更させる表示制御処理と、
   前記追尾処理により追尾されている前記被写体が表示部から外れたか否かを検出する表示外検出処理と、
   を有し、
   前記表示制御処理において、
   前記表示部を広角ズームに変更させた後、前記表示外検出処理により前記被写体が前記表示部から外れたことを検出した際に、前記移動状態検出処理により検出されていた前記被写体の直前の移動速度を示し、かつ、前記被写体の直前の移動方向を示す表示情報を前記表示部に表示させる
   ことを特徴とする被写体追尾表示制御方法。
6. 被写体追尾表示制御装置のコンピュータに、
   被写体を追尾する追尾機能、
   この追尾機能により追尾されている被写体の逐次変化する移動速度と移動方向とを逐次検出する移動状態検出機能、
   前記移動状態検出機能により逐次検出されている、前記被写体の逐次変化する移動速度と移動方向とに基づき、前記追尾機能により追尾されている当該被写体が表示部から外れる直前であるのか否かを検出する直前表示外検出機能、
   前記直前表示外検出機能により前記被写体が前記表示部から外れる直前であることを検出した際は、前記表示部を広角ズームに変更させる表示制御機能、
   前記追尾機能により追尾されている前記被写体が表示部から外れたか否かを検出する表示外検出機能、
   を実現させ、
   前記表示制御機能は、
   前記表示部を広角ズームに変更させた後、前記表示外検出機能により前記被写体が前記表示部から外れたことを検出した際に、前記移動状態検出機能により検出されていた前記被写体の直前の移動速度を示し、かつ、前記被写体の直前の移動方向を示す表示情報を前記表示部に表示させる
   ことを特徴とするプログラム。

Images