JP5832078B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は撮像装置及びその制御方法に関し、特に撮像装置における合焦度合いを表示するための技術に関する。

自動焦点検出（オートフォーカス：以下「ＡＦ」と記す）技術の進歩に伴い、スチルカメラやビデオカメラのような撮像装置での焦点検出には、主にＡＦが用いられるようになってきている。しかし、マクロ撮影のようにフォーカスを厳密に合わせる必要がある場合や意図的にぼけた映像を撮影する場合等のように、ＡＦでは合焦が難しい条件下で撮像を行う必要のある場合がある。その際には、手動による焦点調節（マニュアルフォーカス：以下「ＭＦ」と記す）での撮影が行われることが多い。

ＭＦ操作を行う場合、操作性や合焦精度は特に、光学ファインダの見えや電子ビューファインダ（以下「ＥＶＦ」と記す）の解像度に大きく左右される。しかし、光学ファインダやＥＶＦの大型化、高解像度化は、撮像装置の大型化や高価格化につながる。

そこで、光学ファインダやＥＶＦを大型化させたり、高解像度化させたりする代わりに、撮影者に合焦度合い（合焦状態）を把握し易くさせる様々な補助表示技術が提案されている。例えば、撮像映像のうち、合焦しているエッジ部分の強調表示（ピーキング表示）や、合焦度合い確認のための部分拡大表示等が挙げられる。また、合焦度合いを示す「評価値」として、画像の輝度信号の高周波数成分の積分値を求め、その大きさの変化をバーグラフでＥＶＦ画像に合成表示する構成が提案されている（特許文献１参照）。また、合焦度合いを示す「評価値」として、撮像信号の高周波成分の振幅のヒストグラムを生成し、ＥＶＦ画像に合成表示する技術が提案されている（特許文献２参照）。

特開平６−１１３１８４号公報 特許第４０８９６７５号公報

しかしながら、ピーキング表示では、合焦しているエッジ部分の大きさや場所によって、強調表示を識別し難い場合がある。ピーキング表示の際に、ＥＶＦ画像のうち合焦しているエッジ部分のみを着色し、他の部分を白黒表示する技術も提案されているが、この場合、エッジ部分を除いた画面全体が白黒表示に変わることで、ＥＶＦによる撮影被写体の視認性が低下してしまう。

また、特許文献１，２に記載された技術では、合焦度合いを示す「評価値」が、撮影画角の中のどの部分についての合焦度合いを示しているかを把握することが、撮影者にとって容易ではない。更に、評価値の大きさの変化をバーグラフの高さやヒストグラムの広がり方の変化で表現しているため、評価値の最大点の把握が容易でない。個別の被写体に対する合焦度合いを何らかの方法で被写体画像と同じ画面に表示した場合、被写体同士の位置関係やカメラの撮影画角の違い（例えば、縦撮り／横撮りの違い）等により、個別の被写体に対する合焦度合い表示が分かり難くなるおそれがある。

本発明は、かかる事情に鑑みてなされたものであり、合焦に関する操作性や視認性を向上させた撮像装置及びその制御方法を提供することを目的とする。

本発明に係る撮像装置は、撮像素子に被写体像を結像させるレンズの焦点調節を行う機能を有する撮像装置であって、前記撮像素子で撮像される映像のエッジ成分を抽出する抽出手段と、前記抽出手段が抽出したエッジ成分の所定方向における位置と大きさとの関係を表す波形画像を生成する生成手段と、前記撮像素子で撮像される映像と前記波形画像とを表示装置に表示する表示手段と、前記表示手段に表示される映像に対して複数の領域を指定する指定手段と、前記指定手段により指定された前記複数の領域の特定の方向における重複を判定する判定手段と、を有し、前記生成手段は、前記判定手段により前記特定の方向において前記複数の領域に重複があると判定された場合、前記特定の方向以外の方向を前記所定方向として前記波形画像を生成することを特徴とする。

本発明に係る撮像装置及びその制御方法によれば、合焦に関する操作性や視認性を向上させることができる。

本発明の実施形態に係るデジタルビデオカメラの概略構成を示すブロック図である。 本発明の実施形態に係るデジタルビデオカメラが有するビデオ制御部における、エッジ成分の波形表示処理を実行する構成例を示すブロック図である。 本発明の実施形態に係るデジタルビデオカメラが有するエッジ抽出回路の概略構成を示す図である。 図３のエッジ抽出回路の周波数特性の例を示す図である。 本発明の実施形態に係るデジタルビデオカメラが有する第１表示部及び／又は第２表示部に、撮像映像と共に指定領域と撮像映像のエッジ成分のレベルを表示した状態を模式的に示す図である。 本発明の実施形態に係るデジタルビデオカメラにおける、マニュアルフォーカス操作時のエッジ成分の基本的な波形表示処理のフローチャートである。 本発明の実施形態に係るデジタルビデオカメラにおける、２つの指定領域の位置判定手法を模式的に示す図である。 本発明の実施形態に係るデジタルビデオカメラにおける、マニュアルフォーカス操作時のエッジ成分の波形表示処理のフローチャートである。 本発明の実施形態に係るデジタルビデオカメラを回転させた際に、第１表示部及び／又は第２表示部に、撮像映像と共に指定領域と撮像映像のエッジ成分のレベルを表示した状態を模式的に示す図である。 本発明の実施形態に係るデジタルビデオカメラを回転させた際の、２つの指定領域の位置判定手法を模式的に示す図である。 本発明の実施形態に係るデジタルビデオカメラのマニュアルフォーカス操作時の、デジタルビデオカメラの回転に連動する波形表示処理のフローチャートである。 本発明の実施形態に係るデジタルビデオカメラにおける、３つ以上の指定領域の位置判定手法を模式的に示す図である。

以下、本発明の実施形態について添付図面を参照して詳細に説明する。本実施形態では、撮像装置の例として、ＭＦ操作機能を備えたデジタルビデオカメラを取り上げる。但し、本発明に係る撮像装置はこれに限定されるものではなく、焦点調節機能（ＡＦ，ＭＦを問わない）と、撮像映像や撮影画像を表示する表示装置とを有する撮像装置に適用可能である。すなわち、本発明に係る撮像装置には、例えば、デジタル（スチル）カメラ、カメラ付き携帯情報端末、カメラ付き携帯電話等も含まれる。

《第１実施形態》
＜デジタルビデオカメラの概略構成＞
図１は、本発明の実施形態に係るデジタルビデオカメラの概略構成を示すブロック図である。図１に示されるレンズ部１０１は、被写体像を撮像素子１０２の撮像面上に結像する光学系を構成し、ズーム機能、焦点調節機能及び絞り調節機能を備える。撮像素子１０２は、多数の光電変換素子が２次元的に配列された構成を有し、レンズ部１０１によって結像された被写体光学像を画素単位の映像信号に変換する。撮像素子１０２は、例えば、ＣＭＯＳイメージセンサやＣＣＤイメージセンサである。なお、撮像素子１０２は、光電変換素子による電荷蓄積時間を調整することによる電子シャッター機能を備える。

撮像素子駆動部１０３は、カメラ信号処理部１０６の制御タイミングに従って撮像素子１０２を駆動制御する。ＣＤＳ／ＡＧＣ部１０４は、撮像素子１０２から出力されるアナログ映像信号を相関二重サンプリング（ＣＤＳ）してノイズを削減し、システム制御部１１１の制御に従って信号レベルのゲイン制御（ＡＧＣ）を行う。Ａ／Ｄ変換器１０５は、ＣＤＳ／ＡＧＣ部１０４から出力されるアナログ映像信号をデジタル映像信号に変換し、カメラ信号処理部１０６に供給する。

カメラ信号処理部１０６は、システム制御部１１１と連携して、タイミング信号の生成、自動露出（ＡＥ）制御、ガンマ調整、ＡＦ制御等のカメラ撮像系の制御を行う。カメラ信号処理部１０６は、例えば、ＡＦ制御時に合焦度合いの判断基準となる「ＡＦ評価値」を算出し、また、撮像映像内の顔検出処理を実行する。なお、撮像映像内の顔検出処理（顔の特徴検出処理）により、個々の被写体の顔の位置とその領域を算出し、顔の位置を示す中心座標と領域サイズをシステム制御部１１１に提示することが可能になる。顔検出方法は特に限定されるものではなく、既知の手法を用いることができる。

デジタルビデオカメラは、用途に応じた第１記憶部１０７、第２記憶部１１６、第３記憶部１１２及び第４記憶部１１９を有している。本実施形態では、便宜上、第１記憶部１０７はカメラ信号処理用、第２記憶部１１６はビデオ制御用、第３記憶部１１２はシステム制御用、第４記憶部１１９はコーデック（ＣＯＤＥＣ）用としてそれぞれ、個別に設けられているものとする。物理的にはこれらの記憶部を同じ記憶装置で実現してもよい。これらの記憶部はそれぞれ、典型的には、読み書き可能な半導体メモリによって構成されるが、これに限定されるものではなく、１又は複数の記憶部を別種の記憶装置［例えば、ハードディスクドライブ（ＨＤＤ）等］で構成してもよい。

第１記憶部１０７は、撮像映像を信号処理する際のフレームメモリ等としてカメラ信号処理部１０６が使用する。レンズ駆動部１０８は、システム制御部１１１の制御に従ってレンズ部１０１が有する不図示のモータやアクチュエータ等を駆動し、ズーム倍率の調整やＡＦ制御、ＡＥ制御を行う。レンズ駆動部１０８の制御は、システム制御部１１１がカメラ信号処理部１０６での信号処理結果に基づいて行う。例えば、ＡＦ制御時には、カメラ信号処理部１０６が求めたＡＦ評価値に基づいてシステム制御部１１１がレンズ駆動部１０８を制御し、レンズ部１０１のフォーカス調整用レンズを駆動制御することで、レンズ部１０１を被写体に合焦させる。

なお、手動でレンズ部１０１の焦点調節を行うＭＦモードが設定されている場合、システム制御部１１１は、撮影者による焦点調節操作を検出する。具体的には、システム制御部１１１は、入力操作部１１３に含まれる、焦点距離の調整用スイッチやレバー、レンズ部１０１の鏡筒外周に設けられたフォーカスリングの操作を検出する。そして、システム制御部１１１は、検出した操作に応じた焦点の移動方向と移動量に基づいて、レンズ駆動部１０８を制御し、レンズ部１０１の焦点距離を変更させる。但し、撮影者が操作するスイッチやレバー等によって機械的にレンズ部１０１の焦点距離が変更可能な構成となっている場合、システム制御部１１１やレンズ駆動部１０８の介在は必要ない。

ストロボ１０９は、必要に応じて或いは撮影者の設定に応じて、静止画撮影時の補助光源として用いられる。マイク１１０は、周囲の音を記録（録音）する際に用いられ、マイク１１０からの音声信号はカメラ信号処理部１０６に供給される。例えば、撮像映像に併せて音声を記録する場合、カメラ信号処理部１０６は、撮像素子１０２とマイク１１０のそれぞれの時間軸を整合させ、映像信号と音声信号をビデオ制御部１１５に供給する。

システム制御部１１１は、例えば、ＣＰＵであり、第３記憶部１１２に記憶されているプログラムを実行することにより、後述するＭＦ操作時の補助表示処理を含む、デジタルビデオカメラの動作全般を制御する。第３記憶部１１２は、ＲＯＭやＲＡＭを含んでおり、システム制御部１１１が実行するプログラムや各種設定に係るパラメータや初期値等を記憶している。なお、第３記憶部１１２は、システム制御部１１１のワークエリアとしても用いられる。

入力操作部１１３は、撮影者がデジタルビデオカメラに指示を与えるためのユーザインタフェースであり、キーやボタン、タッチパネル等の入力デバイスを備えている。本実施形態では、入力操作部１１３は、具体的には、拡大表示のオン／オフ、ゼブラパターン表示やピーキング表示のオン／オフ、ＭＦ操作時の補助表示のオン／オフ等の各種機能の選択ボタンや決定ボタンを有している。また、入力操作部１１３は、静止画撮影用のシャッタボタンやＭＦリング、ズームスイッチ、絞り調整ダイヤル等を有しているものとする。入力操作部１１３には更に、横撮り／縦撮り等のデジタルビデオカメラの撮像姿勢を示す天地情報を検出するための重力センサやジャイロセンサが含まれる。

計時部１１４は、リアルタイムクロック（ＲＴＣ）とバックアップ電池を備えており、システム制御部１１１からの要求に応じて日時情報を返信する。ビデオ制御部１１５は、第１表示部１２２及び第２表示部１２３に対する色相や彩度、明度の調整を含む表示制御を行い、また、アナログライン出力部１２４の出力制御、デジタルデータＩ／Ｆ部１２５への出力制御及び記録／再生部１２０の制御等を行う。ビデオ制御部１１５はまた、第１表示部１２２及び第２表示部１２３を含む各映像出力系に対する映像信号の解像度変換、ゼブラパターンやピーキング信号の生成と重畳、撮像映像からのエッジ成分の抽出や波形生成等も行う。ビデオ制御部１１５はさらに、撮影情報やユーザ設定メニュー等のＯＳＤ（On Screen Display）表示制御を行う。なお、エッジ成分は、合焦度合いを表す因子の１種である。

第２記憶部１１６は、ビデオ制御用の記憶部であり、ビデオ制御部１１５がビデオベースバンド信号に関する信号処理を行う際のフレームメモリ、ワークメモリ等として使用される。Ｈ．２６４コーデック部１１７は、動画像の符号化／復号化処理を行う動画像コーデックの一例である。符号化／復号化の形式として、例えば、ＭＰＥＧ−２方式が用いられるが、他の形式であってよい。同様に、ＪＰＥＧコーデック部１１８は、静止画像の符号化／復号化処理を行う静止画コーデックの一例である。符号化／復号化の形式としては、例えば、ＪＰＥＧ２０００が用いられるが、ＰＮＧ等の他の形式であってもよい。なお、本実施形態では、Ｈ．２６４コーデック部１１７と回路を共用するため及び再生動画からの静止画撮影機能（キャプチャ機能）を実現するために、ＪＰＥＧコーデック部１１８はビデオ制御部１１５に接続されているが、ＪＰＥＧコーデック部１１８はカメラ信号処理部１０６に直接に接続されてもよい。

第４記憶部１１９は、コーデック用として、Ｈ．２６４コーデック部１１７及びＪＰＥＧコーデック部１１８が映像信号の符号化／復号化を行う際に用いられる。記録／再生部１２０は、ビデオ制御部１１５とＨ．２６４コーデック部１１７又はＪＰＥＧコーデック部１１８によって符号化処理され、記録フォーマットとして処理された記録データを、記録媒体１２１に対して記録したり、読み出したりする。記録媒体１２１としては、メモリカードやＤＶＤ等の光ディスク、ＨＤＤ等を用いることができ、各媒体に応じた記録／再生システムを構成すればよい。

第１表示部１２２及び第２表示部１２３は、表示装置であり、いずれも同様の情報を表示することができる。本実施形態では、第２表示部１２３は、第１表示部１２２よりも小型であって、ファインダ内に設けられているものとする。一方、第１表示部１２２は、例えば、デジタルビデオカメラの筐体の側面等に開閉可能に設けられる比較的大型の表示装置である。

撮像モード時に、第１表示部１２２及び第２表示部１２３には、撮像素子１０２からの入力映像や拡大映像に加え、フォーカス枠等の補助表示が表示される。また、第１表示部１２２及び第２表示部１２３に撮像素子１０２からの入力映像を順次表示させることで、電子ビューファインダ（ＥＶＦ）機能が実現される。補助表示には、ゼブラパターン表示やピーキング表示だけでなく、撮像映像のエッジ成分の波形表示等のＭＦ操作時の補助表示も含まれる。

再生モード時に、第１表示部１２２及び第２表示部１２３には、記録媒体１２１に記録されている動画像や静止画像が表示される。また、入力操作部１１３からの撮影者による入力操作情報や記録媒体１２１内の任意の画像情報（撮像情報）等を表示することもできる。

アナログライン出力部１２４は、アナログコンポーネント映像の出力やＳ端子出力、コンポジット映像出力等のインタフェース群である。アナログライン出力部１２４を外部モニタ等に接続することで、デジタルビデオカメラからの映像出力を外部モニタ等に表示することができる。デジタルデータＩ／Ｆ部１２５は、例えば、ＵＳＢインタフェースやＩＥＥＥ１３９４インタフェース、ＨＤＭＩ等のデジタルインタフェースを、１つ以上有している。

＜ビデオ制御部による撮像映像のエッジ成分の波形表示処理＞
ビデオ制御部１１５は、上述した通り、撮像映像のエッジ成分の波形表示処理、すなわち、撮像映像（映像信号）からのエッジ成分の抽出と波形生成を行う。図２は、ビデオ制御部１１５における、撮像映像のエッジ成分の波形表示処理を実行するための構成例を示すブロック図である。

図２に示される前処理部２０１は、領域指定回路２０２と、エッジ抽出回路２０３と、第１メモリコントローラ２０４と、波形制御部２０５とを有している。領域指定回路２０２は、撮像映像のうち、システム制御部１１１を通じて指定された領域（指定領域）の情報を、領域指定信号として第１メモリコントローラ２０４に通知する機能を有している。

システム制御部１１１が領域指定回路２０２に指定することができる指定領域の情報には、領域の大きさ（形状）や数、位置等があるが、これらに限定されるものではない。本実施形態では、後述する図５（ａ）に示されるように、カメラ信号処理部１０６からの顔検出処理の結果として得られる中心座標及び領域サイズに基づいて、システム制御部１１１により複数の指定領域（２つの矩形の指定領域５０２，５０３）が設定される。

なお、顔検出機能に連動させず、撮影者に指定領域の設定を許す構成としてもよい。この場合、画像中の矩形領域を指定する際に用いられる手法のように、大きさ及び位置が可変な矩形枠の大きさや位置を方向キー等によって調節し、決定ボタン等の押下により設定する構成を採用することができる。

指定領域を設定するためのＧＵＩや設定されている指定領域を表す枠等の表示は、撮像映像のエッジ成分の波形表示画像と同様に、必要に応じて、後述する映像合成回路２１０において撮像映像と合成して、重畳表示することができる。これらの表示に関わるデータは、システム制御部１１１から映像合成回路２１０に供給される。

エッジ抽出回路２０３は、撮像映像のエッジ成分を抽出する。本実施形態では、エッジ抽出回路２０３は、ＦＩＲ（Finite Impulse Response）型のバンドパスフィルタを用いてエッジ成分を抽出するが、その詳細は後述することとする。

第１メモリコントローラ２０４は、映像信号のフィールド（又はフレーム）毎に、バンクメモリ部２０６内の第１波形保存メモリ（Ｂａｎｋ１）２０７と第２波形保存メモリ（Ｂａｎｋ２）２０８とのバンク切り替え制御と、メモリアクセス制御を行う。第１波形保存メモリ２０７と第２波形保存メモリ２０８の詳細については後述する。第１メモリコントローラ２０４は、映像信号の現座標情報とエッジ抽出回路２０３で抽出された撮像映像のエッジ成分のレベル（振幅）をそれぞれ直交座標系における情報として考え、メモリアクセスのためのアドレスを生成する。

例えば、後述する図５（ａ）に示されるように、撮像映像のエッジ成分を波形として水平表示する際には、メモリのアドレス空間を、映像信号の水平座標を横軸とし、エッジ成分のレベルを縦軸とした２次元空間と見なして、アクセス制御が行われる。一方、後述する図５（ｂ）に示されるように、撮像映像のエッジ成分を波形として垂直表示する際には、メモリのアドレス空間を、映像信号の垂直座標を縦軸に、エッジ成分のレベルを横軸とした２次元空間と見なして、アクセス制御を行えばよい。ここでのアクセス制御による処理は、初めに該当アドレスのデータを読み出し、後述する波形制御部２０５において処理されたデータを再び第１メモリコントローラ２０４を通じて、同一アドレスに書き戻す処理である。

波形制御部２０５は、第１メモリコントローラ２０４が第１波形保存メモリ２０７から読み出したデータに対して、エッジ抽出回路２０３で抽出した撮像映像のエッジ成分のデータに任意のゲインを乗じたものを加算して、再び第１メモリコントローラ２０４に返す。波形制御部２０５がエッジ成分のデータに乗じるゲインをシステム制御部１１１から制御することにより、頻度によるデータの増加割合を制御することができ、視認性を制御することが可能となる。

これらの処理及び後述する映像合成回路２１０での合成処理により、アクセス頻度が高いアドレスのデータ値（すなわち、撮像映像からの同一レベルのエッジ成分の抽出回数）が大きい場合に、表示輝度が大きく（明るく）なるように制御することができる。このとき、エッジ成分の抽出方向（本実施形態では水平方向又は垂直方向）における同一座標で異なるレベルのエッジ成分が異なる頻度で抽出された場合、その位置に対応した表示輝度は一定でなく、検出されたレベルに対応する位置で変化する。これにより、撮影者は、エッジ成分を視覚的に容易に把握することができる。

なお、各アドレスの初期値は、例えば、最低輝度に対応する値であり、最初にアクセスされた際に所定値が書き込まれ、２度目のアクセスからは、上述した読み出し及び書き戻しが行われる。また、アクセス頻度を用いる制御を行うことにより、エッジ成分ではない単発的なノイズがエッジ成分であるかのように表示され、撮影者に認識されること等を防止するという効果が得られる。

第１メモリコントローラ２０４は、領域指定回路２０２からの領域指定信号によって指定された撮像映像内の指定領域について抽出されたエッジ成分にフラグ情報を付加して、第１波形保存メモリ２０７又は第２波形保存メモリ２０８に書き込む。そして、第２メモリコントローラ２１１が、第１波形保存メモリ２０７又は第２波形保存メモリ２０８に書き込まれたエッジ成分のデータを、フラグ情報を含めて読み出す。

映像合成回路２１０は、第２メモリコントローラ２１１が読み出したフラグ情報に基づいて、指定領域に対するエッジ成分の表示方法（例えば、表示色）を指定領域外に対するエッジ成分の表示方法と異ならせる制御を行う。これにより、撮像映像内のどの指定領域に対応したエッジ成分であるのか（つまり、どのような合焦度合いとなっているのか）を、視覚的に容易に把握することができる。映像合成回路２１０は、１フィールド（又は１フレーム）での処理が終了した後、第２メモリコントローラ２１１から各アドレスのデータ及びフラグ情報を読み出して波形表示画像を生成する。

バンクメモリ部２０６は、第１波形保存メモリ（Ｂａｎｋ１）２０７と第２波形保存メモリ（Ｂａｎｋ２）２０８とを含んでいる。第２波形保存メモリ２０８は、第１波形保存メモリと等価であり、バンク制御に使用される。

第１波形保存メモリ２０７と第２波形保存メモリ２０８はそれぞれ、映像信号のフィールド（又はフレーム）毎に、第１メモリコントローラ２０４と第２メモリコントローラ２１１のいずれかからアクセスされるように切り替えられる。本実施形態では、第１波形保存メモリ２０７が第１メモリコントローラ２０４からアクセスされている時には、第２波形保存メモリ２０８は第２メモリコントローラ２１１からアクセスされるように制御されるものとする。また、次の映像信号のフィールド（又はフレーム）では、メモリコントローラと波形保存メモリとのアクセス関係が入れ替わるものとする。

後処理部２０９は、映像合成回路２１０と、第２メモリコントローラ２１１とを有している。

映像合成回路２１０は、システム制御部１１１の指示により、撮像映像と第２メモリコントローラ２１１がバンクメモリ部２０６から読み出した撮像映像のエッジ成分のデータに基づく波形表示画像とを合成する。合成された画像は、第１表示部１２２及び／又は第２表示部１２３に表示される。なお、上述した通り、読み出されたエッジ成分のデータにフラグ情報が付加されている場合、映像合成回路２１０は、フラグ情報を有するエッジ成分を、フラグ情報を有さないエッジ成分に対して視覚的に識別できるように表示を行う。

例えば、図５（ａ）では、撮像映像を全画面表示し、画面下方に撮像映像のエッジ成分の波形表示画像を重畳表示した様子を表している。ここでは、図５（ａ）は白黒図面であるが、指定領域５０２，５０３内で抽出されたエッジ成分の波形表示５０４，５０５は、指定領域外で抽出されたエッジ成分の波形表示５０６とは異なる色で表示されている。図５（ａ）はその様子（色の違い）を白黒の濃淡により模式的に表している。

なお、指定領域５０２，５０３におけるエッジ成分の波形表示５０４，５０５の色は、システム制御部１１１から指定可能な構成としてもよい。本実施形態では、指定領域と指定領域外とに跨がるエッジ成分に対応する波形表示は、水平方向において同位置（同じ座標）に表示される。これに限られず、エッジ成分のレベルが異なる部分については視認可能で、レベルが同一な部分についてはシステム制御部１１１からの制御に従った優先順位で映像合成回路２１０において合成し、表示する構成とすることができる。

図５（ａ）では特に示していないが、撮像映像のエッジ成分の波形表示画像を見易くするために、波形表示画像の背景にバックグラウンドカラー（半透過の黒等）を表示する等してもよい。その場合、撮像画像にバックグラウンドカラーを重畳し、次いで、そのバックグラウンドカラーの上に波形表示画像を重畳するようにすると、波形表示画像の視認性を向上させることができる。

第２メモリコントローラ２１１は、第１メモリコントローラ２０４によって第１波形保存メモリ２０７又は第２波形保存メモリ２０８に書き込まれたエッジ成分のデータをフラグ情報と共に読み出し、映像合成回路２１０に供給する。映像合成回路２１０は、上述したように、エッジ成分のデータとフラグ情報とから、エッジ成分のレベルと抽出された位置とを表す波形表示画像を生成し、撮像映像と位置合わせして合成し、第１表示部１２２及び／又は第２表示部１２３に表示する。

システム制御部１１１は、詳細な接続配線は図示を省略しているが、ビデオ制御部１１５内の各種制御を統括する。例えば、システム制御部１１１は、領域指定回路２０２への顔検出結果による領域指定や、エッジ抽出回路２０３で撮像映像から抽出するエッジ成分の中心周波数の制御やゲイン制御、波形制御部２０５でのゲイン制御等を行う。システム制御部１１１はまた、映像合成回路２１０でのエッジ成分の波形表示画像の合成有無や映像信号に対する合成位置制御、指定領域とそれ以外の領域に対応する波形表示方法の制御等も行う。

＜エッジ抽出回路の概略構成と処理内容＞
エッジ抽出回路２０３には、映像の所定方向（ここでは水平方向とする）の輝度成分に対して、周波数特性と通過ゲインを調整可能な構造のＦＩＲ型バンドパスフィルタが適用されており、撮像映像からエッジ成分を抽出する。なお、他の方法でエッジ成分を抽出してもよい。

図３は、エッジ抽出回路２０３の概略構成を示す図である。入力映像信号３０１は、Ｄ−ＦＦ（Delay type Flip Flop）３０２に入力される。Ｄ−ＦＦ３０２は映像信号のピクセルクロックで入力映像信号３０１をラッチし、次段のＤ−ＦＦ３０３へ渡す。Ｄ−ＦＦ３０３〜３０９はそれぞれＤ−ＦＦ３０２と同様の構成を有し、前段からのデータを映像信号のピクセルクロックによりラッチして、１ピクセルクロック分だけ遅延させて後段に出力する。ここで、ピクセルクロックは、第１表示部１２２の表示クロックであり、第１表示部１２２に用いられる液晶表示パネル等の仕様（表示解像度）に依存する。本実施形態では、ピクセルクロックは、大凡、１３．５〜３３．７５ＭＨｚの範囲で設定される。

本実施形態では、ＦＩＲ型水平フィルタのＹ（−４）からＹ（４）の９タップのうち、撮像映像から抽出するエッジ成分の周波数に応じて３つのタップを組み合わせる。具体的には、センタータップＹ（０）は共通で、前後のタップの組み合わせを変えて、
［Ｙ（−１）、Ｙ（０）、Ｙ（１）］、
［Ｙ（−２）、Ｙ（０）、Ｙ（２）］、
［Ｙ（−３）、Ｙ（０）、Ｙ（３）］、
［Ｙ（−４）、Ｙ（０）、Ｙ（４）］、という組み合わせを考える。各組み合わせにおいて、選択されていないタップは、選択されているがタップ係数が零に設定されているものと考えることができる。このようにタップの組み合わせを制御することで、エッジとして抽出する周波数帯域を可変としている。

組み合わせる３つのタップのタップ係数及びＤＣゲインは以下の通りに、
センタータップのタップ係数：２α、
前後のタップのタップ係数：−α、
ＤＣゲイン：２α−α−α＝０、とする。

ゲイン調整信号３１０はシステム制御部１１１から供給され、エッジ抽出回路２０３のＦＩＲ型水平フィルタの強調周波数帯域のレベルを制御する。ここでは、ゲイン調整信号３１０は４ビットの信号で、強調するゲインレベルを１６段階に切り替えられる構成とする。具体的には、α＝１５（ゲイン最大）〜α＝０（ゲイン最小（ＯＦＦ））とする。α＝０の場合、映像信号をＦＩＲ型水平フィルタで処理しない（スルーする）ものとする。

図３に示される周波数調整信号３１１は、システム制御部１１１から供給され、これにより、エッジ抽出回路２０３で撮像映像から抽出するエッジ成分の中心周波数が制御される。周波数調整信号３１１は、２ビットの信号とし、抽出するエッジ成分の中心周波数を４通りに切り替え可能とする。

信号セレクタ３１２は、周波数調整信号３１１によって制御され、周波数調整信号３１１に応じた１つの入力を選択して出力することにより、エッジ抽出回路２０３が抽出する中心周波数を切り替える。２ビットの周波数調整信号３１１と、エッジ抽出回路２０３から出力される中心周波数（強調中心周波数）ｆｃとの関係は、具体的には、以下の通りである。

サンプリング周波数：ｆ（ＭＨｚ）のとき、
周波数調整信号３１１：強調中心周波数（ｆｃ）
００：ｆｃ＝ｆ／２（ＭＨｚ）
（センタータップ及びセンタータップと隣り合う前後のタップ使用）
０１：ｆｃ＝ｆ／４（ＭＨｚ）
（センタータップ及びセンタータップから前後に１つ飛ばしたタップ使用）
１０：ｆｃ＝ｆ／６（ＭＨｚ）
（センタータップ及びセンタータップから前後に２つ飛ばしたタップ使用）
１１：ｆｃ＝ｆ／８（ＭＨｚ）
（センタータップ及びセンタータップから前後に３つ飛ばしたタップ使用）
信号セレクタ３１２により選択された信号は、出力信号３１３として第１メモリコントローラ２０４へ出力される。

図４は、サンプリング周波数ｆを１３．５ＭＨｚとしたときのエッジ抽出回路２０３の周波数特性の例を示す図である。図４（ａ），（ｂ），（ｃ），（ｄ）は、それぞれ周波数調整信号３１１が００，０１，１０，１１である場合に対応し、中心周波数ｆｃ（ＭＨｚ）はｆ／２，ｆ／４，ｆ／６，ｆ／８及びその高調周波数となる。

撮像映像の信号が１水平ライン毎にエッジ抽出回路２０３に入力され、水平方向におけるエッジ成分の抽出が行われる。第１メモリコントローラ２０４及び波形制御部２０５は、エッジ抽出回路２０３で抽出されたエッジ成分のレベルに応じた、上述のメモリアクセス制御を行う。この動作が１ライン毎に繰り返されることで、１フィールド（又は１フレーム）分の映像信号について、水平方向における各ラインのエッジ成分のレベルを反映した値が第１波形保存メモリ２０７又は第２波形保存メモリ２０８に書き込まれる。

例えば、撮像映像中に垂直方向の縦線が存在する場合、その縦線が長いほど同じ水平位置に同じレベルのエッジ成分が抽出される頻度が高くなる。同一位置且つ同一レベルでエッジ成分が複数回抽出された場合、抽出回数が多いほど波形保存メモリの同一アドレスにアクセスされる頻度が高くなり、上述のアクセス制御によってそのアドレスのデータ値は大きくなる。その結果、対応する指標は高輝度で表示されることになる。一方、エッジ成分のレベル（振幅）の大きさを示す指標の長さは、頻度には依存しない。検出される垂直表示を行う場合には、垂直ライン毎に同様の動作が行われる。

＜第１表示部及び／又は第２表示部における表示形態＞
図５は、第１表示部１２２及び／又は第２表示部１２３に、撮像映像と共に、顔検出結果による指定領域と撮像映像のエッジ成分のレベルを表示した状態を模式的に示す図である。本実施形態では、例えば、入力操作部１１３を通じて撮影モードがＭＦモードに設定されている場合に、合焦度合いの補助表示として、エッジ成分の波形表示画像を撮像映像に重畳表示する。

ここで、図５について詳述する前に、ＭＦ操作時のエッジ成分の波形表示処理について、図６を参照して説明する。図６は、ＭＦ操作時の基本的なエッジ成分の波形表示処理のフローチャートである。

システム制御部１１１は、入力操作部１１３による焦点距離の調整操作に応じた焦点の移動方向と移動量に基づいて、レンズ駆動部１０８を制御し、レンズ部１０１の焦点距離を変更させる。第１表示部１２２及び／又は第２表示部１２３には、スルー画像（ＥＶＦ画像）が逐次表示され、第１表示部１２２及び／又は第２表示部１２３はＥＶＦとして機能しているものとする。また、第１表示部１２２及び／又は第２表示部１２３に表示される撮像映像内に少なくとも１つの指定領域が設定されているものとする。

システム制御部１１１は、ビデオ制御部１１５に対してＭＦ操作の補助表示処理を開始するように指示し、その際に、設定されている指定領域の情報を領域指定回路２０２に通知する。エッジ抽出回路２０３は、システム制御部１１１からの補助表示処理の開始指示に応答して、撮像映像からのエッジ成分の抽出を開始する（ステップＳ６０１）。

第１メモリコントローラ２０４及び波形制御部２０５は、バンクメモリ部２０６内の波形保存メモリ（ここでは第２波形保存メモリ２０８とする）における、エッジ抽出回路２０３の抽出結果に応じたアドレスへアクセスし、波形生成を行う（ステップＳ６０２）。その際、第１メモリコントローラ２０４は、領域指定回路２０２から領域指定信号で通知された指定領域で抽出されたエッジ成分に対応するアドレスのデータには、フラグ情報を付加する。

続いて、撮像映像の１フィールド（又は１フレーム）からのエッジ成分の抽出（ステップＳ６０１）及び波形生成（ステップＳ６０２）が終了したか否かが判定される（ステップＳ６０３）。波形生成が終了した場合（Ｓ６０３で“ＹＥＳ”）、処理はステップＳ６０４に進められる。波形生成が終了していない場合（Ｓ６０３で“ＮＯ”）、処理はステップＳ６０１に戻される。

ステップＳ６０４では、第２メモリコントローラ２１１が、第２波形保存メモリ２０８からエッジ成分のデータを読み出し、映像合成回路２１０へ供給する。映像合成回路２１０は、波形表示画像を生成し、生成した波形表示画像をＥＶＦ画像に重畳して、第１表示部１２２及び／又は第２表示部１２３に表示する。その際、映像合成回路２１０は、フラグ情報が付加されているエッジ成分のデータを、フラグ情報のないエッジ成分のデータから視覚的に識別できるような波形表示画像を生成する。なお、フラグ情報と表示方法との対応は予め定めておくことができる。

ステップＳ６０４の後、第１メモリコントローラ２０４は、次のフィールド（又はフレーム）に対して用いる波形保存メモリのバンク切り替え処理（ここでは第２波形保存メモリ２０８から第１波形保存メモリ２０７への切り替え）を行う（ステップＳ６０５）。

ステップＳ６０５の処理は、第２メモリコントローラ２１１によるエッジ成分のデータの読み出し、波形表示画像の生成及び表示という一連の処理を含む。ステップＳ６０５の処理はまた、第１メモリコントローラ２０４によるバンク切り替え及び次フィールド（又はフレーム）についてのエッジ成分の抽出処理をも含む。

このように、ＥＶＦ画像にその時点における合焦度合いを表すエッジ成分の波形表示画像を重畳させて表示することで、撮影者はＥＶＦを見ながらＭＦによる合焦を容易に行うことができる。また、波形表示画像のうち、指定領域中のエッジ成分を反映した部分を他の部分と視覚的に識別可能に表示するので、指定領域での合焦度合いを容易に確認することができる。

なお、撮像映像のエッジ成分を示す波形表示画像は、撮像映像上に重畳表示する必要はなく、撮像映像が全画面表示でなければ、撮像映像の周囲に表示するようにしてもよい。また、指定領域で抽出されたエッジ成分のみに基づく波形表示を行うようにしても、指定領域における合焦度合いを容易に識別することができる。表示形態をどのように設定するかを撮影者が任意に、且つ、動的に切り替えることができるように、入力操作部１１３等に機能を割り当てても構わない。

次に、改めて図５に示した第１表示部１２２及び／又は第２表示部１２３における表示形態について詳細に説明する。ここでは、第１表示部１２２と第２表示部１２３は共に、アスペクト比が１６対９の横長形状の表示画面５０１を有しているものとする。また、図５では、顔検出機能により検出された指定領域５０２，５０３で合焦させるものとする。

図５（ａ）の水平表示では、撮像映像の水平方向のエッジ成分のレベルを示す指標（つまり、波形）が画面下端部に表示されている。なお、指標の表示は、画面上端部に行ってもよい。撮影者がＭＦ操作を行う場合、フォーカスが合ってくると、被写体のエッジ部分が合焦してくるので、その位置で抽出されるエッジ成分のレベルが大きくなる。そのため、画面下端部に波形表示される指標が高く（波形が大きく）表示されるようになる。よって、撮影者は、ＥＶＦを見ながら、波形表示画像のうち所望の被写体に対応した指標が最も高く表示される状態となるようにＭＦ操作を行うことで、所望の被写体に容易に合焦させることができる。

図５（ａ）の水平表示では、撮像映像のエッジ成分の波形表示画像を撮像映像に対して水平位置を合わせて重畳表示するので、撮像映像に含まれる個々の被写体について、波形表示画像と撮像映像とを垂直方向に見ながら合焦度合いを確認することができる。なお、本実施形態では、撮像映像の垂直方向において、同一のエッジ成分のレベルが大きいほど波形表示画像の輝度が大きくなるように表示制御され、これにより、更に合焦度合いの確認が容易となっている。

図５（ｂ）の垂直表示は、撮像映像の垂直方向のエッジ成分のレベルを示す波形表示画像を、画面右端部に表示したものである。なお、波形の表示は、画面左端部に行ってもよい。図５（ａ）の水平表示の場合と同様に、撮影者は、波形表示画像のうち、所望の被写体に対応した指標が最も高く表示される状態となるようにＭＦ操作を行うことで、所望の被写体に容易に合焦させることができる。図５（ｂ）の垂直表示では、撮像映像のエッジ成分の波形表示画像を撮像映像に対して垂直位置を合わせて重畳表示するので、撮像映像に含まれる個々の被写体について、波形表示画像と撮像映像とを水平方向に見ながら合焦度合いを確認することができる。

図５（ａ）の波形表示では、指定領域５０２のエッジ成分に対応する指標５０４と指定領域５０３のエッジ成分に対応する指標５０５は、指定領域外で抽出されたエッジ成分の指標５０６とは異なる表示が行われている。つまり、図５（ａ）では色の違いが表現できないため、指標５０４，５０５を線の集合体で表しているが、実際には表示色を異ならせたり、点滅させたり、輝度を変える等、視覚的に識別可能な任意の表示方法を採用することができる。

例えば、指定領域５０２，５０３でそれぞれ抽出されたエッジ成分を反映する指標５０４及び５０５を「赤」、指定領域外で抽出されたエッジ成分を反映した指標５０６を「緑」で表示することができる。これにより、撮像映像全体の合焦度合い確認しつつ、注目する指定領域５０２，５０３の合焦度合い容易に確認することができる。また、指定領域５０２，５０３の矩形枠は、表示しないこともできる。しかし、顔検出機能により検出した顔の中心座標と領域サイズを元にして、映像合成回路２１０部によりＯＳＤによる矩形枠を撮像映像上に表示することで、フォーカスを合わせる場所の目印として撮影者に提示することで、ＭＦ操作性を向上させることができる。これらの特徴は、図５（ｂ）の場合のように、指定領域５０２のエッジ成分に対応する指標５１０と指定領域５０３のエッジ成分に対応する指標５１１についても同様である。

図５（ａ）の場合、顔検出機能による指定領域５０２，５０３が水平方向で離れている場合、画面下端部に水平表示された、指定領域５０２，５０３の各エッジ成分を示す指標５０４，５０５は互いに重ならない。よって、指定領域５０２，５０３のそれぞれの合焦度合いを、明瞭に把握することができる。

これに対して、図５（ｃ）に示されるように、指定領域５０２，５０３同士が、少なくとも一部において水平方向で重複する場合がある。この場合に、指定領域５０２，５０３の各エッジ成分を示す指標５０７，５０８を画面下端部に水平表示すると、指標５０７，５０８同士に重なり部分５０９が生じ、指定領域５０２，５０３のそれぞれの合焦度合いの把握が困難になるおそれがある。この問題を解決した表示形態が、図５（ｂ）に示した表示形態である。すなわち、本実施形態に係るデジタルビデオカメラでは、指定領域５０２，５０３の位置関係を識別することにより、図５（ｃ）の水平表示から図５（ｂ）の垂直表示に切り替える。つまり、撮像映像のエッジ成分の抽出方向を水平方向からこれと直交する垂直方向に切り替えて、指標５０７，５０８の表示から指標５１０，５１１の表示に切り替える。これにより、指標５０７，５０８が重なって重なり部分５０９が生じることを回避して、重複しない指標５１０，５１１を表示させることができ、指定領域５０２，５０３のそれぞれの合焦度合いを明瞭に把握することができるようになる。

このような図５（ｃ）から図５（ｂ）への表示形態の切り替え制御について、図７及び図８を参照して、以下に説明する。図７は、２つの指定領域５０２，５０３の位置判定手法を模式的に示す図である。また、図８は、ＭＦ操作時の撮像映像のエッジ成分の波形表示処理のフローチャートである。

図７では、指定領域５０２，５０３に注目し、指定領域５０２の中心を原点とした２次元のＸ−Ｙ座標を考える。図７（ａ）では、指定領域５０３は指定領域５０２のＸ方向に位置しているため、指定領域５０３は第１象現と第４象現とに跨がって位置する。これに対して、図７（ｂ）では、指定領域５０３は第１象現内にあり、図７（ｃ）では、指定領域５０３は第１象現と第２象現とに跨がって位置している。

ここで、図７（ａ）の指定領域５０３が新たな象現にかかる前を、切り替わり不感帯７０１とし、撮像映像のエッジ成分の波形表示を図５（ａ）の水平表示から図５（ｂ）の垂直表示へと切り替えない。図７（ａ）から図７（ｂ）を経て図７（ｃ）の様に領域５０３の位置が変化し、別象現（第２象現）にかかった時に、エッジ成分の波形表示を図５（ａ）から図５（ｂ）に切り替える。逆に、図７（ｃ）から図７（ｂ）の状態になっても、図５（ｂ）から図５（ａ）へと切り替えず、図７（ｄ）の様に、指定領域５０３の位置が変化して、別象現（第４象現）にかかった時に、図５（ｂ）から図５（ａ）へ切り替える。これにより、エッジ成分の波形表示が、水平表示と垂直表示との間で目まぐるしく切り替わってしまうことを防止しながら、指定領域５０２，５０３の位置関係に依存して指標５０４，５０５，５１０，５１１が識別し難くなることを回避することができる。

図８のフローチャートに示す様に、図７を参照して説明した表示の切り替え制御では、先ず、撮像映像からの顔検出処理が行われる（ステップＳ８０１）。ここでは、顔検出処理において、２つの顔の中心座標と領域サイズが算出され、指定領域５０２，５０３が設定される。続いて、指定領域５０２を基準となる領域に設定して、指定領域５０２の中心を原点とする２次元のＸ−Ｙ座標が設定され（ステップＳ８０２）、さらに、注目する領域である指定領域５０３の位置する象現（領域）が検出される（ステップＳ８０３）。そして、指定領域５０３が切り替わり不感帯７０１内に位置するか否かが判定される（ステップＳ８０４）。

切り替わり不感帯７０１内にある場合（Ｓ８０４で“ＹＥＳ”）、波形表示画像の表示位置を切り替えないため、処理はステップＳ８０１へ戻される。切り替わり不感帯７０１内にない場合（Ｓ８０４で“ＹＥＳ”）、別の象現に跨がっていることになるので、波形表示画像の表示位置を変更させる処理（図５（ａ）と図５（ｂ）との間の表示形態の切り替え）が実行される（ステップＳＳ８０５）。これにより、指定領域５０２，５０３の合焦度合いを示す指標５０４，５０５，５１０，５１１が、指定領域５０２，５０３の位置に合わせて、適切に表示されるようになる。

以上に説明したように、本実施形態によれば、ＭＦ操作時の合焦を支援するための補助表示として、撮像映像の表示画面において、撮像映像から抽出したエッジ成分のレベルを撮像映像中の被写***置と対応させて波形表示する。これにより、波形表示されるレベルが最も高くなるように焦点調整を行うことで、ＭＦ操作での合焦を容易に行うことができる。その際、エッジ成分のレベルを被写***置と対応した位置に表示し、波形表示画像のうち指定領域中のエッジ成分を反映した部分を、他の部分と視覚的に識別可能に表示する。これにより、撮像映像中のどの位置（指定領域）で抽出されたエッジ成分であるのかを容易に認識して、指定領域での合焦度合いを容易に確認することができるので、所望の被写体に対する合焦を容易に行うことができる。これと同時に、撮像映像における指定領域のエッジ成分の波形表示画像を、指定領域同士の位置関係に応じて水平方向と垂直方向との間で切り替えて表示することで、合焦度合いを示す指標の識別を確保している。これにより、ＭＦ操作時の合焦操作が一層容易になっている。

《第２実施形態》
第２実施形態は、第１実施形態と比較すると、指定領域のエッジ成分の波形表示方法のみが相違し、それ以外の点については第１実施形態と同様であるため、同内容の事項についての説明を省略し、相違点について詳細に説明する。

本実施形態は、デジタルビデオカメラ本体を回転させて横撮り撮影と縦撮り撮影とを変更したときの、指定領域のエッジ成分の波形表示方法に特徴を有する。すなわち、本実施形態は、撮影画角内で指定領域の位置関係が、表示されている波形表示に対して変化したときに、その変化に対応することを特徴とする。

図９は、デジタルビデオカメラを回転させた際に、第１表示部１２２及び／又は第２表示部１２３に、撮像映像と共に、指定領域と撮像映像のエッジ成分の波形表示画像とが表示された状態を模式的に示す図である。図９（ａ）は、本発明の実施形態には属さない表示形態であって、図５（ａ）の状態からデジタルビデオカメラ本体を回転させた、そのままの状態が示されている。つまり、撮像映像のエッジ成分を示す波形表示画像は、表示画面９０１の長辺に沿って表示されている。図９（ａ）では、表示画面９０１内の指定領域５０２，５０３のそれぞれに対応する指標が、指標９０２のように重なってしまい、その結果、それぞれの指標を明瞭に識別することが困難となってしまっている。

この問題を解決するために、本実施形態では、図９（ｂ）に示されるように、デジタルビデオカメラ本体の回転に連動してＸ−Ｙ座標を回転させ、指定領域５０２，５０３のそれぞれの指標９０４，９０５を重ならないように表示させる。図１０は、デジタルビデオカメラを回転させた際の、指定領域５０２，５０３の位置判定手法を模式的に示す図である。なお、デジタルビデオカメラ本体の回転の検出には、入力操作部１１３に含まれる天地方向を判定する重力センサ（不図示）等からの情報が用いられる。

図１０（ａ）のＸ−Ｙ座標状態は、図５（ａ）、図７（ａ）及び図９（ａ）のＸ−Ｙ座標状態と同じであり、水平方向とＸ方向とし、鉛直方向をＹ方向としている。そのため、基準となる指定領域５０２の位置は変わらず、指定領域５０３の位置する象現は「第１象現＋第４象現」のままであるので、撮像映像のエッジ成分の波形表示画像の表示位置の切り替えは行われず、図９（ａ）の表示状態となってしまう。

これに対し、図１０（ｂ）は図９（ｂ）のＸ−Ｙ座標状態を示しており、水平方向がＹ方向となり、鉛直方向がＸ方向となっている。すなわち、デジタルビデオカメラ本体の回転に連動させて座標系を回転させることにより、図１０（ａ）のＸ−Ｙ座標状態から図１０（ｂ）のＸ−Ｙ座標状態への変換を行っている。このような座標系の回転を行うと、基準となる指定領域５０２の位置は変わらず、指定領域５０３の位置する象現が、図１０（ａ）の「第１象現＋第４象現」から、図１０（ｂ）の「第４象現＋第３象現」へと変わる。こうして、指定領域５０３が新たな象現である第３象現に跨がるため、エッジ成分の波形表示画像の表示位置が切り替わり、指定領域５０２，５０３のそれぞれに対する指標９０３，９０４を重ならずに表示される図９（ｂ）の表示状態とすることが可能になる。

図１１は、ＭＦ操作時の、デジタルビデオカメラ本体の回転に連動する波形表示処理のフローチャートである。ステップＳ１１０１，Ｓ１１０２の各処理は、図８に示したステップＳ８０１，Ｓ８０２の各処理と同じであるので、ここでの説明を省略する。ステップＳ１１０２の後、デジタルビデオカメラ本体が回転したか（横撮り撮影と縦撮り撮影の変更がなされたか）否かが判定される（ステップＳ１１０３）。

回転したと判定された場合（Ｓ１１０３で“ＹＥＳ”）、基準の指定領域（指定領域５０２）を中心として、Ｘ−Ｙ座標を回転させ（ステップＳ１１０７）、その後、処理はステップＳ１１０４に進められる。また、回転していないと判定された場合（Ｓ１１０３で“ＮＯ”）、処理はステップＳ１１０４に進められる。ステップＳ１１０４〜Ｓ１１０６の各処理は、図８に示したステップＳ８０３〜Ｓ８０５の各処理と同じであるので、ここでの説明を省略する。

以上説明したように、本実施形態によれば、デジタルビデオカメラを回転させて、横撮り撮影と縦撮り撮影とを変更した場合に、合焦度合いを示す指標である波形表示画像を適切な位置に表示させることができる。これにより、被写体の位置やデジタルビデオカメラの構え方等を意識することなく、撮影画角内の被写***置に対応する個々の領域に対する合焦度合いの視認性を向上させることができる。

《その他の実施形態》
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

例えば、上記実施形態では、撮像素子１０２に被写体像を結像するレンズ（レンズ部１０１）を備える撮像装置についてのみ説明したが、本発明においてレンズは必須ではなく、本発明は、例えば、レンズ交換式デジタルカメラに対しても適用可能である。

また、上記実施形態では、指定領域５０２，５０３のエッジ成分の波形表示画像を、撮像映像における指定領域の位置と対応させて（一致させて）表示したが、両者の位置関係が把握可能であれば、必ずしも位置を完全に一致させる必要はない。例えば、水平方向での撮像映像のエッジ成分の波形表示画像を撮像映像の横幅よりも短い範囲に縮小表示しても、撮像映像と波形表示画像との対応関係を把握することができ、同等の効果を得ることができる。

さらに、上記実施形態では、指定領域５０２，５０３のエッジ成分の波形表示画像をＭＦ操作時に補助表示する場合についてのみ説明したが、ＡＦ操作時にも、撮影者の設定や指示に応じて或いは常時、撮像映像のエッジ成分の波形表示が行われるようにしてもよい。これにより、ＡＦ操作時の合焦度合いや合焦位置の確認が一層容易となる。

加えて、複数の領域が２つではなく、３つ以上の場合には、次の通りに処理することができる。図１２は、３つ以上の指定領域の位置判定手法を模式的に示す図であり、図１２（ａ）は指定領域が３つの場合を、図１２（ｂ）は、指定領域が３つより多い例として、指定領域が５つの場合をそれぞれ示している。

図１２（ａ）の場合、Ｘ方向とＹ方向のそれぞれの方向から見たときの領域が占める割合を比較する。すなわち、図１２（ａ）に示されるように、
（Ａ＋Ｂ）≧（Ｃ＋Ｄ） ‥‥‥（１）
なのか、
（Ａ＋Ｂ）＜（Ｃ＋Ｄ） ‥‥‥（２）
なのかを判断する。その結果、エッジ成分の波形表示画像の表示位置を、上記（１）の関係が成立する場合にはＸ軸に並行に、上記（２）の関係が成立する場合にはＹ軸に並行に切り替える。また、図１２（ｂ）の場合は、指定領域の大きさの上位から数えて閾値を持たせ、閾値以下の領域内の表示色制御等を止める等することで、エッジ成分の波形表示画像の重なりを軽減し、視認性を向上させる。

本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１１１ システム制御部
１１５ ビデオ制御部
１２２ 第１表示部
２０１ 前処理部
２０２ 領域指定回路
２０３ エッジ抽出回路
２０４ 第１メモリコントローラ
２０５ 波形制御部
２０６ バンクメモリ部
２０７ 第１波形保存メモリ（Ｂａｎｋ１）
２０８ 第２波形保存メモリ（Ｂａｎｋ２）
２０９ 後処理部
２１０ 映像合成回路
２１１ 第２メモリコントローラ
２１２ 領域判定回路

Claims (12)

1. 撮像素子に被写体像を結像させるレンズの焦点調節を行う機能を有する撮像装置であって、
   前記撮像素子で撮像される映像のエッジ成分を抽出する抽出手段と、
   前記抽出手段が抽出したエッジ成分の所定方向における位置と大きさとの関係を表す波形画像を生成する生成手段と、
   前記撮像素子で撮像される映像と前記波形画像とを表示装置に表示する表示手段と、
   前記表示手段に表示される映像に対して複数の領域を指定する指定手段と、
   前記指定手段により指定された前記複数の領域の特定の方向における重複を判定する判定手段と、を有し、
   前記生成手段は、前記判定手段により前記特定の方向において前記複数の領域に重複があると判定された場合、前記特定の方向以外の方向を前記所定方向として前記波形画像を生成することを特徴とする撮像装置。
2. 前記判定手段は、前記複数の領域間の相対的な位置関係を判定し、前記特定の方向について基準となる領域の中心座標と他の領域とに重複があると判定される場合に、前記複数の領域に重複があると判定することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子の天地方向を検出する検出手段を有し、
   前記生成手段は、前記検出手段により検出される方向に応じて前記所定方向を決定し、前記波形画像を生成することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記表示手段は、前記撮像素子で撮像される映像と前記波形画像とを前記表示装置に逐次表示することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記表示手段は、前記撮像素子で撮像された映像と前記波形画像とを、前記所定方向における位置が一致するように重畳表示することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記表示手段は、前記複数の領域をそれ以外の領域に対して視覚的に識別できるように表示することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記抽出手段は、前記映像の前記所定方向の複数のラインでエッジ成分の抽出を行い、
   前記生成手段は、前記所定方向における各位置で抽出される前記エッジ成分の各信号を信号レベルの高さごとに計数し、当該計数に応じた前記波形画像を生成することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記生成手段は、前記計数が多いほど高い輝度で表示されるように前記波形画像を生成することを特徴とする請求項７に記載の撮像装置。
9. 前記生成手段は、メモリのアクセス制御を行うメモリ制御手段を有し、
   前記メモリ制御手段は、前記撮像素子からの映像信号が入力されると、前記メモリの、当該映像信号の前記所定方向における位置と信号レベルの大きさに対応するアドレスに記憶されたデータを読み出し、当該データに所定値を加算したものを同一アドレスに書き戻し、
   前記生成手段は、前記メモリのアドレスと、当該アドレスに記憶されたデータに基づいて前記波形画像を生成することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記撮像素子で撮像される映像から特定の被写体を検出する被写体検出手段を有し、
    前記指定手段は、前記被写体検出手段による検出結果に基づいて前記複数の領域を指定することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記複数の領域を指定するためのユーザ操作を受け付ける操作手段を有し、
    前記指定手段は、前記操作手段による操作結果に基づいて前記複数の領域を指定することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 撮像素子に被写体像を結像させるレンズの焦点調節を行う機能を有する撮像装置で実行される制御方法であって、
    前記撮像素子で撮像される映像のエッジ成分を抽出する抽出ステップと、
    前記抽出ステップで抽出したエッジ成分の所定方向における位置と大きさとの関係を表す波形画像を生成する生成ステップと、
    前記撮像素子で撮像される映像と前記波形画像とを表示装置に表示する表示ステップと、
    前記表示ステップで表示される映像に対して複数の領域を指定する指定ステップと、
    前記指定ステップにより指定された前記複数の領域の特定の方向における重複を判定する判定ステップと、を有し、
    前記生成ステップでは、前記判定ステップにより前記特定の方向において前記複数の領域に重複があると判定された場合、前記特定の方向以外の方向を前記所定方向として前記波形画像を生成することを特徴とする撮像装置の制御方法。

Images