JP2011135351A

JP2011135351A - 撮像装置及びその制御方法並びにプログラム

Info

Publication number: JP2011135351A
Application number: JP2009293202A
Authority: JP
Inventors: Hironari Miura; 裕也三浦
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-12-24
Filing date: 2009-12-24
Publication date: 2011-07-07
Anticipated expiration: 2029-12-24
Also published as: JP5432699B2

Abstract

【課題】マニュアルフォーカス時の操作性や合焦状態の視認性を向上する。
【解決手段】撮像素子に被写体像を結像するレンズの焦点調節機能を有する撮像装置であって、前記撮像素子で撮像された被写体像の所定方向におけるエッジ成分を表すエッジ情報を抽出する抽出手段と、前記抽出手段で抽出されたエッジ情報の前記所定方向における位置とその大きさとの関係を表すエッジ成分画像を生成する生成手段と、前記撮像素子で撮像された画像と前記エッジ成分画像とを逐次表示する表示手段と、を有し、前記生成手段は、前記抽出手段により抽出されたエッジ情報のうち、予め設定されたレベル範囲内のエッジ情報と、当該範囲外のエッジ情報とを異なる表示態様として、視覚的に判別できるような前記エッジ成分画像を生成する。
【選択図】図３

Description

本発明は撮像装置及びその制御方法に関し、特には撮像装置における合焦度合の表示技術に関する。

自動焦点検出（オートフォーカス：以下、ＡＦ）技術の進歩に伴い、スチルカメラやビデオカメラのような撮像装置での焦点検出は主にＡＦが用いられている。しかし、マクロ撮影のようにフォーカスを厳密に合わせる必要がある場合や、意図的にぼけた映像を撮影する場合、ＡＦでは合焦しづらい条件下などでは、手動での焦点調節（以下、マニュアルフォーカス）で撮影が行われることも多い。

特にマニュアルフォーカス操作を行う場合、操作性や合焦精度は、光学ファインダや電子ビューファインダ（以下、ＥＶＦ）の解像度に大きく左右される。しかし、光学ファインダや表示装置の大型化や高解像度化は、撮像装置の大型化や高価格化につながる。そのため、全ての撮像装置において、容易かつ精度の高いマニュアルフォーカス操作を実現するに十分な光学ファインダや表示装置が搭載されているとは言えない状況にある。

そこで、撮影者が合焦度合（合焦状態）をよりわかりやすく把握できるよう、様々な補助表示が提案されている。例えば、撮像映像のうち、合焦しているエッジ部分の強調表示（ピーキング処理）や、合焦状態確認のための部分拡大表示などがある。

特許文献１には、合焦度合を示す「評価値」として、画像の輝度信号の高域成分の積分値を求め、その大きさの変化をバーグラフでモニタ画像に合成表示する構成が記載されている。特許文献２には、合焦度合を示す「評価値」として、撮像信号の高周波成分の振幅のヒストグラムを生成し、モニタ画像に合成表示することが記載されている。

特開平６−１１３１８４号公報特許第４０８９６７５号明細書

ピーキング処理は、モニタ画像のうち、合焦しているエッジ部分を強調表示するものであるが、合焦しているエッジ部分の大きさや位置によっては強調表示が判別しにくい場合がある。また、ピーキング処理においてモニタ画像のうち合焦しているエッジ部分にのみ着色し、他の範囲を白黒で表示することも行われているが、エッジ部分以外の画面全体が白黒表示に変わることで、ＥＶＦを通じた被写体の視認性が低下してしまう。

また、特許文献１や特許文献２では、合焦度合を示す「評価値」が、どの部分についての合焦度合を示しているか把握することが困難である。また、評価値の大きさの変化をバーグラフの高さやヒストグラムの広がり方の変化で表現しているため、評価値の最大値を容易に把握できなかった。

本発明は、上記課題に鑑みてなされ、その目的は、マニュアルフォーカス時の操作性や合焦状態の視認性を向上する技術を実現する。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、撮像素子に被写体像を結像するレンズの焦点調節機能を有する撮像装置であって、前記撮像素子で撮像された被写体像の所定方向におけるエッジ成分を表すエッジ情報を抽出する抽出手段と、前記抽出手段で抽出されたエッジ情報の前記所定方向における位置とその大きさとの関係を表すエッジ成分画像を生成する生成手段と、前記撮像素子で撮像された画像と前記エッジ成分画像とを逐次表示する表示手段と、を有し、前記生成手段は、前記抽出手段により抽出されたエッジ情報のうち、予め設定されたレベル範囲内のエッジ情報と、当該範囲外のエッジ情報とを異なる表示態様として、視覚的に判別できるような前記エッジ成分画像を生成する。

本発明によれば、マニュアルフォーカス時の操作性や合焦状態の視認性を向上することができる。

本発明に係る実施形態１の撮像装置の構成を示すブロック図である。実施形態１、２のビデオ制御部の構成を示すブロック図（ａ）及び実施形態３、４のビデオ制御部の構成を示すブロック図（ｂ）である。実施形態１、２により波形表示画像を撮像映像と共に表示した画面（ａ）、（ｂ）及び従来例の画面（ｃ）を模式的に示す図である。図２のエッジ抽出回路の構成を示す図である。図４のエッジ抽出回路の周波数特性を例示する図である。マニュアルフォーカス時の図３（ａ）の波形表示処理を示すフローチャート（ａ）及び図３（ｂ）の波形表示処理を示すフローチャート（ｂ）である。実施形態３により波形表示画像を撮像映像と共に水平表示した画面（ａ）及び垂直表示した画面（ｂ）を模式的に示す図である。実施形態４により波形表示画像を撮像映像と共に表示した画面（ａ）、（ｂ）を模式的に示す図である。マニュアルフォーカス時の図７（ａ）の波形表示処理を示すフローチャートである。

以下に、添付図面を参照して本発明の実施の形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

［実施形態１］先ず、図１を参照して、本発明の撮像装置を実現する実施形態１としての、マニュアルフォーカス機能を備えたハイビジョンデジタルビデオカメラについて説明する。なお、本発明は、マニュアルフォーカス機能を有する撮像装置と表示装置とを備えるあらゆる装置に適用可能であり、例えば、主として静止画を撮影するデジタルスチルカメラ、カメラ付き携帯情報端末、カメラ付き携帯電話などにも適用可能である。

図１において、レンズ部６０１は、被写体像を撮像素子６０２の撮像面上に結像する光学系を構成し、ズーム機能、焦点調節機能及び絞り調節機能を備える。撮像素子６０２は多数の光電変換素子が２次元的に配列された構成を有し、レンズ部６０１によって結像された被写体の光学像を画素単位の映像信号に変換する。撮像素子６０２は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサや、ＣＣＤ（Charge Coupled Device）イメージセンサであってよい。また、撮像素子６０２は、光電変換素子による電荷蓄積時間を調整することによる電子シャッター機能を備える。

撮像素子駆動部６０３は、カメラ信号処理部６０６の制御するタイミングに従って撮像素子６０２を駆動制御する。ＣＤＳ／ＡＧＣ部６０４は、撮像素子６０２からのアナログ映像信号を相関二重サンプリング（ＣＤＳ）してノイズを削減し、システム制御部６１１の制御に従って信号レベルのゲイン制御（ＡＧＣ）を行う。Ａ／Ｄ（Analog to Digital）変換器６０５は、ＣＤＳ／ＡＧＣ部６０４からのアナログ映像信号をデジタル映像信号に変換し、カメラ信号処理部６０６に供給する。

カメラ信号処理部６０６は、システム制御部６１１と連携して、タイミング信号の生成、自動露出（ＡＥ）制御、ガンマ調整、ＡＦ制御など、カメラ撮像系の制御を行う。例えば、オートフォーカス時に合焦度合の判断基準となる「ＡＦ評価値」は、カメラ信号処理部６０６が算出する。

本実施形態では、焦点検出枠は画面中に３×３の格子状に配置された９点あるものとし、ＡＦ制御に用いる焦点検出枠の数や位置は撮像された映像又はユーザ設定に基づいて選択されるものとする。

本実施形態のビデオカメラは、用途に応じた第１〜第４記憶部６０７、６１２、６１６、６１９を有している。ここでは便宜上、それぞれカメラ信号処理用、システム制御用、ビデオ制御用、ＣＯＤＥＣ用として個別に設けられているものとして記載しているが、物理的には同じ記憶装置で実現されてもよい。第１〜第４記憶部６０７、６１２、６１６、６１９は、典型的には読み書き可能な半導体メモリによって構成されるが、少なくとも１つが他の記憶装置で構成されてもよい。

第１記憶部６０７は、撮像した画像を信号処理する際のフレームメモリ等としてカメラ信号処理部６０６が使用する。レンズ駆動部６０８はシステム制御部６１１の制御に従い、レンズ部６０１の図示しないモータやアクチュエータなどを駆動し、ズーム倍率やフォーカス調整、露出調整を行う。レンズ駆動部６０８の制御は、システム制御部６１１がカメラ信号処理部６０６での信号処理結果に基づいて行う。例えば、ＡＦ制御時には、カメラ信号処理部６０６が求めたＡＦ評価値に基づいてシステム制御部６１１がレンズ駆動部６０８を制御し、レンズ部６０１のフォーカス調整用レンズを駆動制御することで、レンズ部６０１を被写体に合焦させる。

マニュアルフォーカスモードに設定されている場合、システム制御部６１１は、撮影者による焦点調節操作を検出する。具体的には、システム制御部６１１は、入力操作部６１３に含まれる、焦点距離の調整用スイッチやレバー、又はレンズ部６０１の鏡筒外周に設けられたフォーカスリングの操作を検出する。そして、システム制御部６１１は、検出した操作に応じた焦点の移動方向と移動量に基づいて、レンズ駆動部６０８を制御し、レンズ部６０１の焦点距離を変更させる。なお、撮影者が操作するスイッチやレバー等によって機械的にレンズ部６０１の焦点距離が変更可能である場合には、システム制御部６１１やレンズ駆動部６０８が介在する必要はない。

ストロボ６０９は、必要に応じて、あるいは撮影者の設定に応じて、静止画撮影時に補助光源として用いられる。マイク６１０は、周囲の音を記録する際に有効とされ、マイク６１０からの音声信号はカメラ信号処理部６０６に供給される。例えば撮像素子６０２で撮像した映像と併せてマイク６１０からの音声を記録する場合、カメラ信号処理部６０６は両者の時間軸の整合をとってビデオ制御部６１５に供給する。

システム制御部６１１は例えばＣＰＵであってよく、例えば第３記憶部６１２に記憶されたプログラムを実行することにより、後述するマニュアルフォーカス時の補助表示処理を含む、本実施形態のビデオカメラの動作全般を制御する。第３記憶部６１２は、例えばＲＯＭやＲＡＭを含み、システム制御部６１１が実行するプログラムや各種設定、初期値などを記憶する。また、第３記憶部６１２は、システム制御部６１１のワークエリアとしても用いられる。

入力操作部６１３は、撮影者がビデオカメラに指示を与えるためのユーザインタフェースであり、キー、ボタン、タッチパネル等の入力デバイスを備える。本実施形態において、入力操作部６１３は、拡大表示ＯＮ／ＯＦＦボタン、ゼブラパターンやピーキング表示ＯＮ／ＯＦＦ、マニュアル・フォーカス・アシスト機能表示ＯＮ／ＯＦＦなど各種機能の選択ボタンや決定ボタンを含む。また、静止画撮影用のシャッターボタン、マニュアルフォーカスリング、ズームスイッチ、絞り調整ダイヤルなども入力操作部６１３に含まれる。計時部６１４は、リアルタイムクロック（ＲＴＣ）とバックアップ電池を備え、システム制御部６１１からの要求に応じて、日時情報を返信する。

ビデオ制御部６１５は、第１表示部６２２及び第２表示部６２３への、色相、彩度、明度の調整を含む表示制御、アナログライン入出力部６２４の入出力制御、デジタルデータＩ／Ｆ部６２５への出力制御および、記録／再生部６２０の制御等を行う。第１表示部６２２及び第２表示部６２３を含む各映像出力系に対する映像信号の解像度変換や、ゼブラパターンやピーキング信号の生成および重畳、撮像映像からのエッジ成分抽出や波形生成なども、ビデオ制御部６１５が行う。ビデオ制御部６１５はさらに、撮影情報やユーザ設定メニューなどのＯＳＤ（On Screen Display）表示制御も行う。第２記憶部６１６はビデオ制御用の記憶部で、ビデオ制御部６１５がビデオベースバンド信号に関する信号処理を行う際のフレームメモリ、ワークメモリ等として使用する。

H.264コーデック部６１７は、動画像の符号化／復号化処理を行う動画像コーデックの一例である。符号化／復号化の形式はＭＰＥＧ（Moving Picture Experts Group）−２方式を始め、他の形式であってよい。同様に、ＪＰＥＧ（Joint Photographic Experts Group）コーデック部６１８は、静止画像の符号化／復号化処理を行う静止画コーデックの一例である。やはり符号化／復号化の形式はＪＰＥＧ２０００やＰＮＧなど、他の形式であってよい。なお、本実施形態では、H.264コーデック部６１７と回路を共用するためと、再生動画からの静止画撮影機能を実現するため、ＪＰＥＧコーデック部６１８はビデオ制御部６１５に接続されている。しかし、ＪＰＥＧコーデック部６１８はカメラ信号処理部６０６に直接接続されてもよい。第４記憶部６１９はコーデック用で、H.264コーデック部６１７およびＪＰＥＧコーデック部６１８が映像信号の符号化／復号化の際に用いる。

記録／再生部６２０は、ビデオ制御部６１５とH.264コーデック部６１７又はＪＰＥＧコーデック部６１８により符号化処理され、記録フォーマットとして処理された記録データをメモリカードなどの記録媒体６２１に書き込んだり、読み出したりする。なお、記録媒体６２１はメモリカードに限定されず、ＤＶＤや更に高容量の光ディスク、ＨＤＤなどでもよく、それぞれに応じた記録再生システムを、別途、構成可能である。

第１表示部６２２及び第２表示部６２３は表示装置であり、いずれも同様の情報を表示することができる。但し、本実施形態では、第２表示部６２３は第１表示部６２２よりも小型であり、ファインダ内に設けられている。一方、第１表示部６２２は、例えば筐体の側面などに開閉可能に設けられる比較的大型の表示装置である。

第１及び第２表示部６２２及び６２３には、撮影モードでは撮像素子６０２からの入力映像や拡大映像に加え、フォーカス枠表示などの補助表示が表示される。撮像素子６０２からの入力映像を順次表示することで、第１及び第２表示部６２２及び６２３は電子ビューファインダ（ＥＶＦ）として機能する。補助表示には、ゼブラパターン表示をはじめ、ピーキング表示や撮像映像のエッジ成分の波形表示といったマニュアルフォーカス時の補助表示も含まれる。

一方、再生モード時、第１及び第２表示部６２２及び６２３には、記録媒体６２１に記録されている動画像や静止画像が表示される。また、入力操作部６１３からの撮影者による入力操作情報や、記録媒体６２１のメモリカード内の任意の画像情報（撮影情報）などを表示することも可能である。

アナログライン入出力部６２４は、アナログコンポーネント映像の出力や、Ｓ映像端子入出力、コンポジット映像入出力などのインタフェース群である。アナログライン入出力部６２４を外部モニタ等に接続して、ハイビジョンデジタルビデオカメラからの映像出力を外部モニタに表示したり、外部映像機器に接続して、外部映像機器からの映像入力を受け付けることができる。

デジタルデータＩ／Ｆ部６２５は、ＵＳＢＩ／ＦやＩＥＥＥ１３９４Ｉ／Ｆ、ＨＤＭＩなどのデジタルインタフェースを１つ以上含むことができる。

次に、図２を参照して、ゼブラパターンやピーキング信号の生成および重畳、撮像映像からのエッジ成分抽出や波形生成も行うことが可能なビデオ制御部６１５について、特にエッジ成分の波形表示に係る構成を説明する。

図２において、前処理部２０２は、領域指定回路２１４、エッジ抽出回路２０３、メモリコントローラＡ２０４、波形制御部２０５を含んでいる。なお、領域指定回路２１４は、実施形態１では使用せず、後述する実施形態２で使用する。

エッジ抽出回路２０３は、ＦＩＲ（Finite Impulse Response）型のバンドパフフィルタを用いて、撮像映像からエッジ成分の信号の大きさ（振幅）をエッジ情報として抽出する。エッジ抽出回路２０３の詳細は後述する。

メモリコントローラＡ２０４は、映像信号のフィールド（又はフレーム）毎に、バンクメモリ部２０６内の波形保存メモリＢａｎｋ１２０７と波形保存メモリＢａｎｋ２２０８とのバンク切り替え制御を行うとともに、メモリアクセスのための制御を行う。メモリコントローラＡ２０４は、映像信号の座標情報と、エッジ抽出回路２０３で抽出されたエッジ情報を、それぞれ直交座標系における情報として、メモリアクセスのためのアドレスを生成する。

例えば、図３（ａ）の画面を表示する際は、メモリのアドレス空間を、映像信号の水平座標を横軸に、エッジ情報を縦軸とした２次元空間と見なしてアクセス制御を行う。ここでのアクセス制御は、始めに該当アドレスのデータを読み出し、後述する波形制御部２０５で処理されたデータを、再びメモリコントローラＡ２０４を通じて同一アドレスに書き戻す処理である。

波形制御部２０５は、メモリコントローラＡ２０４が波形保存メモリＢａｎｋ１２０７から読み出したデータに対して、エッジ抽出回路２０３で抽出したエッジ情報のデータに任意のゲインを乗じたものを加算して、メモリコントローラＡ２０４に返す。波形制御部２０５がエッジ情報のデータに乗じるゲインをシステム制御部６１１で制御することで、頻度によるデータの増加割合を制御することができ、視認性を制御することが可能となる。

これらの処理、並びに後述する映像合成回路２１０での合成処理により、アクセス頻度が高いアドレスのデータ値、即ち同一レベルの頻度が大きい場合に表示輝度が大きく（明るく）なるように制御できる。なお、各アドレスの初期値は例えば最低輝度に対応する値であり、最初にアクセスされた際に所定値を書き込み、２度目のアクセスからは、上述した読み出し及び書き戻しを行うことができる。また、頻度制御を行う効果としては、エッジではない単発的なノイズ成分が、エッジであるかのように表示、認識されることなどを防止できる。

１フィールド（又は１フレーム）での処理が終了した後、メモリコントローラＢ２１１によって各アドレスのデータを読み出し、読み出したアドレスとデータ、予め設定されたレベル範囲のエッジ情報に基づき波形表示画像（エッジ成分画像）が生成される。本実施形態では、図３（ａ）に示す表示（水平表示）の場合は、メモリのアドレス空間を、映像信号の水平座標を横軸に、エッジ情報を縦軸とした２次元空間と見なしてアクセス制御を行う。そのため、撮像映像に対応したエッジ情報、即ち合焦状態を視覚的に把握することができる。

また、上述のアクセス制御により、アクセス頻度の高いアドレスには大きなデータが書き込まれる。つまり、エッジ情報の抽出方向（水平方向又は垂直方向）における同一座標（位置）で同一レベルのエッジ情報が抽出された回数が多いほど、当該同一レベルを表す指標の輝度が高く（明るく）表示される。

また、上記エッジ情報の抽出方向における同一座標で異なるレベルのエッジ情報が異なる頻度で抽出された場合、その位置に対応した指標の輝度は一定でないため、抽出されたレベルに対応する位置により変化する。

他の表示態様として、メモリのアドレス空間を、映像信号の垂直座標を縦軸に、エッジ情報を横軸とした２次元空間と見なしてアクセス制御（垂直表示）を行うことも容易である。

バンクメモリ部２０６は、波形保存メモリＢａｎｋ１２０７と、波形保存メモリＢａｎｋ２２０８を含んでいる。波形保存メモリＢａｎｋ１２０７と波形保存メモリＢａｎｋ２２０８とは、映像信号のフィールド（又はフレーム）毎に、メモリコントローラＡ２０４とメモリコントローラＢ２１１のいずれかからアクセスされるように切り替えられている。

ここでは、波形保存メモリＢａｎｋ１２０７がメモリコントローラＡ２０４からアクセスされている時には、別バンクの波形保存メモリＢａｎｋ２２０８がメモリコントローラＢ２１１からアクセスされるように制御しているものとする。そして、次の映像フィールド（又はフレーム）では、メモリコントローラと波形保存メモリとのアクセス関係が入れ替わる。波形保存メモリＢａｎｋ２２０８は、波形保存メモリＢａｎｋ１２０７と等価で、バンク制御に使用される。

後処理部２０９は、映像合成回路２１０、メモリコントローラＢ２１１を含んでいる。映像合成回路２１０は、映像信号と、メモリコントローラＢ２１１によってバンクメモリ部２０６から読み出したエッジ情報に基づく波形表示画像とを合成し、第１表示部６２２及び／又は第２表示部６２３に表示する。この時に、予め設定したレベル範囲、例えば、エッジ情報の抽出方向である横軸毎に、抽出されたエッジ成分のうち、例えば最大値から予め設定されたレベル範囲までのエッジ情報に基づく波形表示画像を合成する。これにより、撮影映像を波形表示画像で覆い隠してしまう部分を少なくすることができる。

後述する図３（ａ）では、撮影映像を全画面表示し、画面下方に波形表示画像を重畳表示した様子を表している。ここでは、波形表示のうち、予め設定されたレベル範囲のエッジ情報のみが表示されるので、図３（ｃ）のように全てのレベル範囲のエッジ情報を表示する場合と比較して、撮影映像と重なる範囲を少なくして、より多くの撮影映像が視認できる。

また便宜上、図３（ａ）では特に示していないが、波形表示画像を見やすくするために、波形表示画像の背景にバックグラウンドカラー（半透過の黒など）を表示するようにしても良い。その際には、映像信号にバックグラウンドカラーを重畳し、次いで、そのバックグラウンドカラーの上に波形表示画像を重畳するようにすると波形表示画像の視認性を向上することができる。

メモリコントローラＢ２１１は、メモリコントローラＡ２０４により波形保存メモリＢａｎｋ１２０７又は波形保存メモリＢａｎｋ２２０８に書き込まれたエッジ情報を読み出し、映像合成回路２１０に供給する。映像合成回路２１０は、エッジ情報と予め設定されたレベル範囲から、上述したように、エッジ情報と抽出された位置とを表す波形表示画像を生成し、撮像映像と位置合わせして合成して第１表示部６２２及び／又は第２表示部６２３に表示する。

システム制御部６１１の詳細な接続配線は記載していないが、ビデオ制御部６１５内の各種制御を行う。例えば、システム制御部６１１は、エッジ抽出回路２０３で抽出するエッジ成分の信号の中心周波数やゲインコントロール、波形制御部２０５でのゲイン制御を行う。また、システム制御部６１１は、映像合成回路２１０でのエッジ情報のレベル範囲の制御や、エッジ情報の波形表示画像の合成の有無、映像信号に対する合成位置制御なども行う。

エッジ抽出回路２０３は、撮像映像の所定方向（水平方向とする）の輝度成分に対し、周波数特性と通過ゲインを調整可能な構造のＦＩＲ（Finite Impulse Response）型バンドパスフィルタを適用し、エッジ成分の信号の大きさ（振幅）を抽出する。なお、他の方法でエッジ成分を抽出してもよい。

次に、図４を参照して、図２のエッジ抽出回路２０３の構成について説明する。図４に示すエッジ抽出回路２０３において、入力映像信号７０１は、Ｄ−ＦＦ（Delay type Flip Flop）７０２に入力される。Ｄ−ＦＦ７０２は映像信号のピクセルクロックで入力映像信号７０１をラッチし、次段のＤ−ＦＦ７０３へ渡す。Ｄ−ＦＦ７０２の出力信号は、入力信号に対してピクセルクロック１クロック分遅延する。ここで、ピクセルクロックは、第１表示部６２２の表示クロックであり、液晶表示パネル等の仕様（表示解像度）に依存するが、ここでは１３.５〜３３．７５ＭＨｚ程度とする。

Ｄ−ＦＦ７０３〜７０９はそれぞれＤ−ＦＦ７０２と同様の構成を有し、前段からのデータを映像信号のピクセルクロックによりラッチして、１ピクセルクロック分遅延させて後段に出力する。ここでは、ＦＩＲ型水平フィルタのＹ（−４）からＹ（４）の９タップのうち、抽出するエッジ成分の信号周波数に応じて３つのタップを組み合わせる。具体的には、センタータップＹ（０）は共通で、前後のタップの組み合わせを変えて、
Ｙ（−１）、Ｙ（０）、Ｙ（１）
Ｙ（−２）、Ｙ（０）、Ｙ（２）
Ｙ（−３）、Ｙ（０）、Ｙ（３）
Ｙ（−４）、Ｙ（０）、Ｙ（４）
という組み合わせを考える。

また、それぞれの組み合わせにおいて、選択されていないタップは、選択されているがタップ係数が零に設定されているものと考えることができる。このようにタップの組み合わせを制御することで、エッジ情報として抽出する周波数帯域を可変としている。

なお、本実施形態において、組み合わせる３つのタップのタップ係数及びＤＣゲインは以下のようにする。

センタータップのタップ係数：２α
前後のタップのタップ係数：−α
ＤＣゲイン：２α−α−α＝０
ゲイン調整信号７１０はシステム制御部６１１から供給され、エッジ抽出回路２０３のＦＩＲ型水平フィルタの強調周波数帯域のレベルを制御する。ここでは、ゲイン調整信号７１０は４ビットの信号で、強調するゲインレベルを１６段階に切り替えられる構成とする。具体的には、α＝１５：ゲイン最大〜α＝０：ＯＦＦ（ゲイン最小）とする。

ここで、α＝０の場合、便宜上図４には示していないが、映像信号をＦＩＲ型水平フィルタで処理しない（スルーする）ものとする。

周波数調整信号７１１はシステム制御部６１１から供給され、エッジ抽出回路２０３で抽出するエッジ成分の信号の中心周波数を制御する。ここでは、周波数調整信号７１１は２ビットの信号とし、抽出するエッジ成分の信号の中心周波数を４通りに切り替え可能とする。

信号セレクタ７１２は、周波数調整信号７１１により制御され、周波数調整信号７１１に応じた１つの入力を選択して出力することにより、エッジ抽出回路２０３が抽出する中心周波数を切り替える。具体的には、２ビットの周波数調整信号７１１と、エッジ抽出回路２０３から出力される信号の中心周波数（強調中心周波数）との関係は以下の通りである。

サンプリング周波数：ｆ（ＭＨｚ）とすると、
周波数調整信号７１１：強調中心周波数（ｆｃ）
００：ｆｃ＝ｆ／２ＭＨｚ
（センタータップ及びセンタータップと隣り合う前後のタップ使用）
０１：ｆｃ＝ｆ／４ＭＨｚ
（センタータップ及びセンタータップから前後に１つ飛ばしたタップ使用）
１０：ｆｃ＝ｆ／６ＭＨｚ
（センタータップ及びセンタータップから前後に２つ飛ばしたタップ使用）
１１：ｆｃ＝ｆ／８ＭＨｚ
（センタータップ及びセンタータップから前後に３つ飛ばしたタップ使用）
信号セレクタ７１２により選択された信号は、メモリコントローラＡ２０４へ出力される。

また、図５は、ｆ=１３．５ＭＨｚとした時の、エッジ抽出回路２０３の周波数特性を模式的に示している。図６（ａ）〜（ｄ）は、それぞれ周波数調整信号７１１が００、０１、１０、１１である場合に対応し、中心周波数ｆｃ（ＭＨｚ）はｆ／２、ｆ／４、ｆ／６、ｆ／８および、その高調周波数となる。

撮像映像信号を１水平ライン毎にエッジ抽出回路２０３に入力し、水平方向におけるエッジ成分の信号を抽出する。そして、メモリコントローラＡ２０４及び波形制御部２０５は、抽出されたエッジ成分の信号に応じたメモリアクセス制御を行う。この処理を１ライン毎に繰り返すことで、１フィールド又は１フレーム分の映像信号について、水平方向における各ラインのエッジ成分のレベルを反映した値が波形保存メモリＢａｎｋ１２０７又は波形保存メモリＢａｎｋ２２０８に書き込まれる。例えば、映像中に垂直方向の縦線が存在する場合、その縦線が長いほど、同じ水平位置に同じレベルのエッジ成分が抽出される頻度が高くなる。同一レベルのエッジ成分が同一位置で複数回抽出された場合、抽出回数が多いほど波形保存メモリの同一アドレスにアクセスされる頻度が高くなり、上述のアクセス制御によってそのアドレスのデータ値は大きくなる。その結果、対応する指標は高輝度で表示されることになる。エッジ成分の信号の大きさを示す指標の最大値は、頻度には依存せず、抽出されるエッジ成分の信号の最大振幅を表しており、合焦度合の指標となっている。また、エッジ成分の信号の大きさを表す指標の長さは、頻度には依存しない。なお、垂直表示を行う場合には、垂直ライン毎に同様の動作を行う。

図３（ａ）は、本実施形態の撮像装置により、第１表示部６２２及び／又は第２表示部６２３に表示されている撮像映像に、エッジ情報の波形表示画像を重畳表示した画面を例示している。本実施形態においては、例えば撮影モードにおいて、入力操作部６１３を通じてマニュアルフォーカスモードに設定されている場合に、補助表示として、エッジ情報の波形表示画像を撮像映像に重畳表示する。撮影モードにおいて、第１表示部６２２及び／又は第２表示部６２３にはスルー画像が逐次表示され、電子ビューファインダとして機能している。上述のように、システム制御部６１１は、入力操作部６１３に含まれるスイッチやレバー等による焦点距離の調整操作に応じた焦点の移動方向と移動量に基づいて、レンズ駆動部６０８を制御し、レンズ部６０１の焦点距離を変更させる。

図３（ａ）の表示（水平表示）は、表示画面がアスペクト比１６：９の横長であるとした場合に、撮像映像の水平方向のエッジ成分の信号を示す波形を、画面下端部に表示する。ここで、本実施形態では、波形表示されるエッジ成分が予め設定されたレベル範囲に制限されている。即ち、図３（ａ）の１２７、１２８、１２９、１３０で示した部分の波形表示が後述する波形表示処理により削除されて撮影映像が視認可能となっている。換言すると、本実施形態の波形表示処理を行っていない場合、図３（ｃ）の１３７、１３８、１３９、１４０で示した部分のように、波形表示で撮影映像が隠れてしまう（又はαブレンドした場合でも撮影映像を確認しにくい）。

フォーカスの合わせ方としては、例えば撮影者がマニュアルフォーカス操作を行う場合、フォーカスが合ってくると、被写体のエッジ部分が合焦してくるので、その位置で抽出されるエッジ成分のレベルが大きくなる。そのため、画面下端部に波形表示されるエッジ成分のレベルも大きく（指標が高く）表示されるようになる。ＥＶＦを見ながら、波形表示画像のうち、所望の被写体に対応した指標が最も高く表示される状態となるようにマニュアルフォーカス操作を行うことで、所望の被写体に合焦させることができる。水平表示では、撮像映像と水平方向の位置を一致させて波形表示画像を重畳表示するので、映像中に含まれる水平方向の個々の被写体について、波形表示と撮像映像を垂直方向に見ながら合焦度合を確認することができる。

また、撮像映像を垂直方向に見た時には、同一レベルのエッジ成分の頻度が大きいほど、波形表示における表示強度（ここでは輝度のインテンシティとする）が大きくなるように制御される。

上記波形表示中で、エッジ成分の波形表示としては必ずしも全てのレベルが表示される必要はなく、ピークレベル（最大値）が判れば合焦度合を確認することが可能である。
そのため、設定した範囲内のレベル表示と範囲外のレベル表示を変えること、ここでは範囲内を表示、範囲外を非表示とすることで、撮影映像を波形表示で隠してしまう範囲を極力少なくし、撮影映像を確認可能にする。また、抽出されたエッジ成分のレベルを表す波形表示を行い、合焦度合を明確に把握可能としている。

有効表示面１０２には、撮像映像や各種撮影情報、マニュアルフォーカス時の補助表示としてのエッジ情報の波形表示画像などが表示される。

図３（ａ）に示す画面において、直方体形状の被写体１０３のうち、有効表示面１０２の垂直方向と平行な辺１０８及び斜めに見える辺１０９が、水平方向におけるエッジ成分として抽出される。

厳密には、被写体のエッジの傾きによって、必ずしもエッジ成分のレベルが変わるわけではないが、ここでは説明の便宜上、辺１０８は、辺１０９や三角形状の被写体１０４の辺１０６と比べてエッジ成分のレベルが大きいものとする。よって、対応する波形表示画像における指標１２３も長く（指標として高いレベルに）表示される。

また、辺１０９については、水平方向におけるエッジ成分のレベルが辺１０８ほど大きくないものとし、対応する波形表示画像の指標１２４、１２５、１２６も低く表示される。また、指標１２４、１２５、１２６は、それぞれ平行した辺１０９に対応するものであるため、抽出されるエッジ成分のレベルは同等であり、指標１２４、１２５、１２６の高さは同等であるものとする。しかしながら、指標１２４は、被写体１０３の底面と天面における２つの辺１０９で抽出されたエッジ成分のレベルを反映するため、抽出頻度が高く、指標１２５、１２６よりも高輝度となる。

また、底辺が有効表示面１０２の長辺と平行な三角形状の被写体１０４のうち、辺１０５、１０６が水平方向におけるエッジとして抽出される。そして、辺１０５に対応する水平位置に、指標１２０が表示される。更に、辺１０６に対応する水平位置の、他に高い指標がない部分（指標１２３、１２４、１２５を除いた部分）に指標１２１、１２２が表示される。

次に、図６（ａ）を参照して、上述したマニュアルフォーカス時の波形表示処理について説明する。本フローチャートに示した処理は、撮影モードにおいて、入力操作部６１３を通じてマニュアルフォーカスモードに設定されている時に実行される。この状態で第１表示部６２２及び／又は第２表示部６２３には所謂スルー画像（ＥＥ画とも呼ばれる）が逐次表示され、表示部はＥＶＦとして機能しているものとする。さらに、予め任意のレベル範囲が設定されているものとする。

システム制御部６１１は、ビデオ制御部６１５に対してマニュアルフォーカス時の補助表示を開始するように指示する。この際、システム制御部６１１は、予め設定されたレベル範囲の情報を映像合成回路２１０に通知する。

開始指示に応答して、エッジ抽出回路２０３はエッジ情報の抽出を開始する（Ｓ１０２）。また、メモリコントローラＡ２０４及び波形制御部２０５は、バンクメモリ部２０６の波形保存メモリ（ここでは波形保存メモリＢａｎｋ２２０８とする）の、エッジ抽出回路２０３の抽出結果に応じたアドレスへアクセスし、波形生成を行う（Ｓ１０３）。この際、メモリコントローラＡ２０４は、領域指定回路２１４から領域指定信号で通知された指定領域で抽出されたエッジ情報に対応するアドレスのデータには、フラグ情報を付加する。

前処理部２０２では、映像信号の１フィールド（又は１フレーム）分について、エッジ成分の抽出及び波形生成処理を順次行う（Ｓ１０２〜Ｓ１０４）。そして、１フィールド（又は１フレーム）分の波形生成処理が終了すると、メモリコントローラＢ２１１が、波形保存メモリＢａｎｋ２２０８からデータを読み出し、映像合成回路２１０へ供給する。そして、映像合成回路２１０は、波形表示画像を生成し、生成した波形表示画像をスルー画像に重畳して、第１表示部６２２及び／又は第２表示部６２３に表示する（Ｓ１０５）。この際、映像合成回路２１０は、通知されたレベル範囲内と範囲外のデータに対して、表示態様を変えて、波形表示画像を生成する。ここでは、予め、ピークレベルから一定範囲内のデータを表示して範囲外のデータは非表示とする。無論、表示態様には、αブレンド値を制御するなどの方法も考えられる。

一方、メモリコントローラＡ２０４は、次のフィールド（又はフレーム）に対して用いる波形保存メモリのバンク切り替え処理を行う（Ｓ１０６）。実際には、メモリコントローラＢ２１１によるデータの読み出し、波形表示画像の生成及び表示という一連の処理と、メモリコントローラＡ２０４によるバンク切り替え及び次フィールド（又はフレーム）のエッジ抽出処理とが並行して行われる。このように、スルー画像に加えてその時点における合焦状態を表すエッジ情報の波形表示画像を表示することで、撮影者はＥＶＦを見ながらマニュアルフォーカス操作を容易に行うことができる。また、ここでは、波形表示画像で、フォーカスアシストに必要なピーク部の波形以外を表示しないので、撮影映像の視認性を極力損なうことなく、合焦度合を容易に確認可能となる。

本実施形態によれば、撮影者のマニュアルフォーカス操作を支援するための補助表示として、撮像映像信号から抽出した被写体のエッジ情報を、撮像映像中の被写体の位置と一致させて表示する。これにより、撮影者は、エッジ成分のレベルが最も大きくなるように焦点調整を行うことで、マニュアルフォーカス操作を正確かつ且つ容易に行うことができる。

更に、エッジ成分が、エッジ成分を抽出した撮像映像中の位置と一致した位置に表示されるため、撮像映像中のどの位置で抽出されたエッジ成分なのかを容易に把握することができる。その際に、エッジ成分を予め設定されたレベル範囲に応じて表示することで、波形表示画像が撮影映像を覆い隠す範囲を極力少なくできるので、被写体を視認しつつ、所望の被写体に合焦させる操作が容易となる。

［実施形態２］次に、実施形態２について説明する。なお、実施形態２は、撮像装置の構成も含めて、エッジ成分の波形表示処理以外は実施形態１と同様であるため、重複する説明は省略し、相異点についてのみ説明する。

本実施形態が実施形態２と異なる点は、撮像映像の予め設定された指定領域から抽出されたエッジ成分のレベルを反映した波形表示を、予め指定された領域ごとに判別可能に表示する点である。図２ではビデオ制御部６１５の領域指定回路２１４が実施形態１と異なっている。

領域指定回路２１４は、撮像映像信号で表される画像のうち、システム制御部６１１を通じて指定された領域の情報を、領域指定信号によってメモリコントローラＡ２０４に通知する機能を有している。システム制御部６１１を領域指定回路２１４に指定可能な領域の大きさ、数及び位置に特に制限はない、ここでは、図３（ｂ）の点線で示す２つの矩形状の領域（指定領域３０１、３０２）が設定されているものとする。

撮影者に領域指定を許可する場合、一般的に画像中の矩形領域を指定する際に使用できるように、領域の大きさや位置が可変な矩形枠を方向キーなどによって調節し、決定ボタンなどの押下により設定できるようになっている。なお、領域指定を行うためのＧＵＩ（Graphical User Interface）や指定領域を表す枠などは、波形表示画像と同様に、映像合成回路２１０により撮像映像と合成して重畳表示できる。これらの表示に関するデータは、システム制御部６１１から映像合成回路２１０に供給される。

メモリコントローラＡ２０４は、領域指定回路２１４からの領域指定信号により通知される指定領域において抽出されたエッジ情報をバンクメモリ部２０６へ書き込む際、指定領域ごとに異なるフラグ情報を付加する。そして、メモリコントローラＢ２１１でフラグ情報も含めて読み出し、映像合成回路２１０では、フラグ情報に基づいて、指定領域に対するエッジ情報の表示態様（例えば表示色）を、指定領域外のエッジ情報と異なるように波形表示画像が生成される。

例えば、フラグ情報の有無と、フラグ情報の値とに応じて、それぞれ異なる色を有する指標から構成される波形表示画像を生成する。なお、指定領域外で抽出されたエッジ成分のみを反映した指標と、個々の指定領域で抽出されたエッジ成分を反映した指標とが視覚的に判別可能であれば、色を異ならせる以外の方法で波形表示画像を生成及び／又は表示してもよい。映像合成回路２１０は、読み出されたエッジ情報のデータにフラグ情報が含まれる場合には、フラグ情報を含まないエッジ成分と視覚的に判別できるように表示する。

図３（ｂ）は、映像信号を全画面表示し、画面下方に波形表示画像を重畳表示した様子を示している。なお、図３（ｂ）では白黒であるが、指定領域３０１、３０２内で抽出されたエッジ成分の波形表示を、指定領域外で抽出されたエッジ成分の波形表示と異なる色で表示している様子を示している。指定領域についてのエッジ成分の表示色は、システム制御部６１１で指定可能である。また、指定領域とそれ以外の領域とに跨るエッジ部分に対応する波形表示は水平方向に対して同じ位置に表示されることになるが、レベルが異なる部分は視認可能である。また、レベルが同じ部分は、システム制御部６１１に従った優先順位で映像合成回路２１０で合成して表示できる。

システム制御部６１１は、詳細な接続配線は記載されていないが、実施形態１と同様、ビデオ制御部６１５内の各種制御を行い、例えば、実施形態１に加えて、指定領域とそれ以外の領域に対応する波形表示処理なども行う。

図３（ｂ）は、実施形態１で説明した図３（ａ）と同様、「水平表示」の例を示している。図３（ｂ）の例では、新たに指定領域３０１、３０２が設定されているものとする。なお、指定領域の大きさや数、位置に特段の制限はない。

図３（ｂ）の例において、指定領域３０１に含まれる辺１０８の一部に対応しているのは指標３０５、３０６であり、辺１０９の一部に対応しているのは指標３０７である。ここで、指定領域３０１に含まれるエッジ成分の指標３０５、３０６、３０７を他の指標とは異なる表示態様、例えば異なる表示色で表示する。一方、指定領域３０２に含まれる辺１０６の一部に対応しているのは指標３０８、３０９、３１０であり、これらも他の指標とは異なる表示態様、例えば異なる表示色で表示される。

このように、上記指定領域３０１、３０２のそれぞれに含まれるエッジ成分のうち、予め設定されたレベル範囲内を表示し、かつレベル範囲外を非表示にすると共に表示色を変える。これにより、図３（ａ）の指標１２３、１２４のように単に最大値から設定レベル範囲が表示されるだけではなく、図３（ｂ）の指標３０５、３０６、３０７と、指標３０８、３０９、３１０が独立して表示されるようになる。よって、撮影映像中の、それぞれの指定領域に入る被写体に対する合焦状態が容易に判別できる。

また、指標３０５、３０６、３０７と、指標３０８、３０９、３１０の中で、水平方向における同じ位置で同じレベルのエッジ成分が抽出されて、指標として重なりを有する場合の表示態様は任意に設定可能である。例えば、表示優先順位の高い順に、指定領域３０１、指定領域３０２であるとする。これにより、表示画面の下側にある指定領域で抽出されたエッジ成分が、指標の下から表示されるようになっている。但し、フォーカスを合わせる際に、撮像映像の中心部に注目したい場合には、中央の指定領域３０２の優先順位を高くしてもよい。

次に、図６（ｂ）を参照して、実施形態２のマニュアルフォーカス時の波形表示処理について説明する。このフローチャートに示す処理は、撮影モードにおいて、入力操作部６１３を通じてマニュアルフォーカスモードに設定されている場合に実行される。この状態で第１表示部６２２及び／又は第２表示部６２３には所謂スルー画像（ＥＥ画とも呼ばれる）が逐次表示され、表示部はＥＶＦとして機能しているものとする。さらに、予め任意のレベル範囲が設定されているものとする。

システム制御部６１１は、ビデオ制御部６１５に対してマニュアルフォーカス時の補助表示を開始するように指示する。この際、システム制御部６１１は、設定されている指定レベル範囲の情報を映像合成回路２１０に通知する。また、設定されている指定領域の情報を領域指定回路２１４に通知する。

開始指示に応答して、エッジ抽出回路２０３はエッジ情報の抽出を開始する（Ｓ２０２）。また、メモリコントローラＡ２０４及び波形制御部２０５は、バンクメモリ部２０６内の波形保存メモリ（ここでは波形保存メモリＢａｎｋ２２０８とする）の、エッジ抽出回路２０３の抽出結果に応じたアドレスへアクセスし、波形生成を行う（Ｓ２０３）。この際、メモリコントローラＡ２０４は、領域指定回路２１４から領域指定信号で通知された指定領域で抽出されたエッジ情報に対応するアドレスのデータには、フラグ情報を付加する。

前処理部２０２では、映像信号の１フィールド（又は１フレーム）分について、エッジ情報の抽出及び波形生成処理を順次行う（Ｓ２０２〜Ｓ２０４）。そして、１フィールド（又は１フレーム）分の波形生成処理が終了すると、メモリコントローラＢ２１１が、波形保存メモリＢａｎｋ２２０８からデータを読み出し、映像合成回路２１０へ供給する。そして、映像合成回路２１０は、波形表示画像を生成し、生成した波形表示画像をスルー画像に重畳して、第１表示部６２２及び／又は第２表示部６２３に表示する（Ｓ２０５）。この際、映像合成回路２１０は、通知されたレベル範囲内と範囲外のデータに対して、表示態様を変えて、波形表示画像を生成する。ここでは、予め、ピークレベルから一定範囲内のデータを表示して範囲外のデータは非表示とする。もちろん、表示態様には、αブレンド値を制御するなどの方法も考えられる。

フラグ情報が付加されているデータについては、フラグ情報のないデータと視覚的に判別できるような波形表示画像を生成する。フラグ情報と表示態様との対応は予め定めておくことができる。

一方、メモリコントローラＡ２０４は、次のフィールド（又はフレーム）に対して用いる波形保存メモリのバンク切り替え処理を行う（Ｓ２０６）。実際には、メモリコントローラＢ２１１によるデータの読み出し、波形表示画像の生成及び表示という一連の処理と、メモリコントローラＡ２０４によるバンク切り替え及び次フィールド（又はフレーム）のエッジ抽出処理とが並行して行われる。このように、スルー画像に重畳してその時点における合焦状態を表すエッジ情報の波形表示画像を表示することで、撮影者はＥＶＦを見ながらマニュアルフォーカス操作による合焦調節を容易に行うことができる。また、ここでは、波形表示画像で、フォーカスアシストに必要なピーク部の波形映像以外を表示しないので、撮影映像の視認性を極力損なうことなく、合焦度合を容易に確認することが可能となる。

また、波形表示画像のうち、指定領域中のエッジ成分のレベルを反映した部分を他の部分と視覚的に判別可能に表示するので、指定領域での合焦度合を容易に確認することができる。

本実施形態によれば、撮像映像から抽出されたエッジ成分の位置と大きさを示す指標を、指定領域と指定領域外とで異なる態様で表示することで、実施形態１の効果に加え、所望の指定領域における合焦度合を一層明確かつ容易に把握することができる。

［実施形態３］次に、実施形態３について説明する。なお、実施形態３は、撮像装置の構成も含めて、エッジ成分の波形表示処理以外は実施形態１と同様であるため、重複する説明は省略し、相異点についてのみ説明する。

本実施形態が実施形態３と異なる点は、図２（ｂ）に示すビデオ制御部６１５がピーキング処理回路２１２を有する点である。また、メモリコントローラＡ２０４は、領域指定回路２１４から領域指定信号により指定された領域について、抽出されたエッジ情報にフラグ情報を付加して波形保存メモリに書き込む。そして、メモリコントローラＢ２１１がフラグ情報を含むエッジ情報を読み出し、映像合成回路２１０はフラグ情報に基づいて、指定領域に対するエッジ情報の表示態様（例えば表示色）を、指定領域外のエッジ情報と異ならせる制御を行う。

本実施形態では、フラグ情報に基づき、指定領域に対応するエッジ成分を指定領域外のエッジ成分とは異なる表示態様とするので、どの部分に対応したエッジ成分であるのかを容易に把握することができる。

領域指定回路２１４は、撮像映像信号で表される画像のうち、システム制御部６１１を通じて指定された領域の情報を、領域指定信号によってメモリコントローラＡ２０４に通知する機能を有している。システム制御部６１１が領域指定回路２１４により指定可能な領域の大きさ、数及び位置に特に制限はない、ここでは、図７（ａ）のように、一点鎖線で示す３つの矩形状の領域（指定領域１１１５、１１１６、１１１７）が設定されているものとする。

図７（ａ）は白黒であるが、指定領域１１１５〜１１１７内で抽出されたエッジ成分の波形表示を、指定領域外で抽出されたエッジ成分と異なる色で表示し、かつ、当該指定領域内の撮像映像に対してピーキング処理を施した様子を示している。指定領域に対するエッジ成分の表示色や、指定領域でのピーキング処理のエッジ表示色は、システム制御部６１１において設定可能である。

また、指定領域とそれ以外の領域とに跨るエッジ成分の波形表示は水平方向に対して同じ位置に表示されるが、レベルが異なる部分は視認可能であり、レベルが同じ部分は、システム制御部６１１に従った優先順位で映像合成回路２１０で合成して表示できる。また、図７（ｂ）に示す垂直表示の場合は、バンクメモリ部２０６のアドレス空間を、映像信号の垂直座標を縦軸に、エッジ成分のレベルを横軸とした２次元空間と見なしてアクセス制御を行えばよい。

システム制御部６１１は、領域指定回路２１４への領域指定、エッジ抽出回路２０３で抽出するエッジ成分の信号の中心周波数やゲインコントロール、波形制御部２０５でのゲイン制御などを行う。また、システム制御部６１１は、ピーキング処理回路２１２でのピーキング処理のオン／オフやピーキング処理のゲイン、表示色制御などを行う。さらに、システム制御部６１１は、映像合成回路２１０による波形表示画像の合成の有無や映像信号に対する合成位置制御、指定領域とそれ以外の領域に対応する波形表示処理なども行う。

撮影者がマニュアルフォーカス操作を行う場合、フォーカスが合ってくると、被写体のエッジ部分が合焦してくるので、その位置で抽出されるエッジ成分のレベルが大きくなる。そのため、画面下端部に波形表示されるエッジ成分のレベルも大きく（指標が高く）なる。ＥＶＦを見ながら、波形表示画像のうち、所望の被写体に対応した指標が最も高く表示される状態となるようにマニュアルフォーカス操作を行うことで、所望の被写体に合焦させることができる。水平表示では、撮像映像と水平方向における位置を一致させて波形表示画像を重畳表示するので、映像中に含まれる個々の被写体について、波形表示と撮像映像を垂直方向に見ながら合焦度合を確認することができる。

同時に、指定領域に対してピーキング表示を行うことで、フォーカスが合ってくると、領域内の映像がピーキング処理され、映像中のどの部分のエッジ成分を波形表示しているのかを視覚的に確認することが可能である。図８（ａ）に示す表示１３０１、１３０２、１３０３のように定常的に映像に重ねて表示されるものではないため、被写体確認の妨げにならず、指定領域と合焦状態の確認が同時に行える。

一方、図７（ｂ）の「垂直表示」は、表示画面がアスペクト比１６：９の横長であるとした場合に、撮像映像の垂直方向の波形表示画像を、画面右端部に表示する。水平表示と同様、撮影者は、波形表示画像のうち、所望の被写体に対応した指標が最も高く表示される状態となるようにマニュアルフォーカス操作を行うことで、所望の被写体に合焦させることができる。垂直表示では、撮像映像と垂直方向の位置を一致させて波形表示画像を重畳表示するので、映像中に含まれる個々の被写体について、波形表示と撮像映像を水平方向に見ながら合焦度合を確認することができる。

このように撮像映像中の指定領域内で抽出されたエッジ成分のレベルを表す波形表示を、指定領域外で抽出されたエッジ成分とは異なる態様（例えば異なる表示色）で表示し、指定領域における合焦度合を明瞭に把握可能としている。指定された領域の表示態様についても、同様に、領域に対してピーキング処理を行うことで、把握可能としている。

図７（ａ）に示す水平表示において、直方体形状の被写体１１０３のうち、有効表示面１０２の垂直方向と平行な辺１１０６及び、斜めに見える辺１１０７が、水平方向におけるエッジとして抽出される。厳密には、被写体のエッジの傾きによって、必ずしもエッジ成分のレベルが変わるわけではないが、ここでは説明の便宜上、辺１１０６は、辺１１０７や辺１１１０、１１１１に比べてエッジ成分のレベルが高いものとする。よって、対応する波形表示画像の指標１１０８及び１１１８も高く（長く）表示される。

また、一部が指定領域１１１５に含まれる辺１１０６に対応する指標１１１８は、指標１１０８と異なる表示がなされている。なお、図７（ａ）では、色の違いが表現できないため指標１１１８を点線で表現しているが、実際には表示色を異ならせたり、点滅させたり、輝度を変えるといった、視覚的に判別可能な任意の表示態様を採用することができる。

例えば、指定領域１１１５及び１１１６で抽出されたエッジ成分のレベルを反映した指標１１１８及び１１１９を「赤」、指定領域外で抽出されたエッジ成分のレベルを反映した指標１１０８、１１０９、１１２、１１４を「緑」で表示する。これにより、撮像映像全体の合焦度合確認しつつ、注目する領域の合焦度合容易に確認可能となる。

なお、指標１１１８は、指定領域１１１５から抽出されたエッジ成分と、指定領域外から抽出されたエッジ成分の両方を反映した指標であるが、ここでは指定領域１１１５のエッジ成分を優先して表示するような設定がなされているものとする。

また、辺１１０７については、水平方向におけるエッジ成分のレベルが辺１１０６ほど高くないものとし、対応する波形表示画像の指標１１０９も低く表示される。また、左右の指標１１０９は、平行した辺１１０７に関するものであるため、抽出されるエッジ成分のレベルは等しく、指標１１０９の高さは等しい。しかし、右側の指標は、被写体１１０３の底面と天面における２つの辺１１０７で抽出されたエッジ成分のレベルを反映するため、抽出頻度が高く、左側の指標よりも高輝度となる。

また、底辺が有効表示面１１０２の長辺と平行な三角形状の被写体１１０４のうち、辺１１１０、１１１１が水平方向におけるエッジとして抽出される。そして、辺１１１０、１１１１に対応する水平位置に、指標１１１２及び１１１９が表示される。

指標１１１２及び１１１９はいずれも辺１１１０、１１１１に対応する指標であるが、指標１１１９は辺１１１０のうち指定領域１１１６に含まれる部分に対応するため、指標１１１２と表示態様が異なっている。

被写体１１０５は、長辺が有効表示面１０２の長辺と平行で、短辺１１１３が有効表示面１０２の短辺と平行な長方形状である。短辺１１１３に対応するエッジ成分の指標１１１４が表示される。なお、短辺１１１３のうち、図中の左の辺に対応する指標１１１４は、被写体１１０４の辺１１１０に対応する指標１１１２と重なる部分の輝度が高く表示される。

指定領域１１１５〜１１１７の位置は表示しないこともできるが、ここでは指定領域内の映像をピーキング処理し、例えば図７（ａ）に示す指標１１２０、１１２１を映像上に合成表示し、マニュアルフォーカス操作の指標として撮影者に表示する。指定領域の表示／ピーキングは、システム制御部６１１から、領域指定回路２１４及びピーキング処理回路２１２へ表示位置や表示色等を指示することにより実行される。

また、図７（ｂ）は、図７（ａ）と同じ被写体を撮像している状態で、１つの指定領域１１１６が存在する場合に垂直表示を行った様子を示している。水平表示時と同様、説明の便宜上、被写体１１０３〜１１０５のうち、水平方向の辺１１２２、１１２５及び１１２９のエッジ成分が高いレベルを有するものとする。そのため、対応する指標１１２３、１１２６及び１１３０が高く（長く）表示される。また、斜めの辺１１０７、１１１０及び１１１１については、指標１１２４、１１２７及び１１２８が表示される。

指標１１２７及び１１２８はいずれも辺１１１０と１１１１のエッジ成分を合わせて反映した指標であるが、辺１１１０のうち、指定領域１１１６に含まれる部分を反映した指標１１２８は、１１２７と異ならせて表示している。

ここでも、水平表示と同様、例えば、指定領域１１１６で抽出されたエッジ成分のレベルを反映した指標１１２８を「赤」、指定領域外で抽出されたエッジ成分のレベルを反映した指標１１２３、１１２４、１１２６、１１２７、１１３０を「緑」で表示する。これにより、撮像映像全体の合焦度合を確認しつつ、注目する領域の合焦度合を容易に確認可能となる。

図７（ｂ）においても、被写体１１０３の波形表示画像のうち、斜めの辺１１２２に対する左右の指標１１２４は、下側の方が高輝度で表示される（反映される辺１１２２の数が多いため）。また、指標１１２４のうち、指標１１２７と重なる部分は、重なっていない部分よりも輝度が高く表示される。

なお、図７（ｂ）の例では、説明を簡単にするため、指定領域が１つであるものとしたが、複数であってもよいことは言うまでもない。

水平表示と垂直表示は、例えば入力操作部６１３に含まれる切り替えキーが押下される毎に切り替えて表示するように構成することができる。また、水平表示と垂直表示の両方を行ってもよい。さらに、波形表示画像は、撮像映像上に重畳表示する必要はなく、撮像映像が全画面表示されていなければ、撮像映像の周囲に表示してもよい。この場合も、波形表示画像の位置と、撮像映像の位置とを対応させることは言うまでもない。

なお、図７に示した例では、撮像映像全体についてのエッジ成分の波形表示を行い、波形表示の中で、指定領域内で抽出されたエッジ成分のレベルを反映している指標を、他の指標と視覚的に判別できるように表示した。しかしながら、指定領域で抽出されたエッジ成分のみに基づく波形表示を行うようにしても、指定領域における合焦度合を容易に判別できる。また、どちらの表示を行うか、撮影者が任意かつ動的に切り替えられるよう、入力操作部６１３などに機能を割り当てても構わない。

次に、図９を参照して、上述したマニュアルフォーカス操作時の波形表示処理について説明する。以下では、図９に示すフローチャートにおいて、図７（ｂ）と同様の処理には同一のステップ番号を付して説明を省略する。また、予め任意のレベル範囲が設定されているものとする。

図９において、システム制御部６１１は、予め設定されているレベル範囲の情報を映像合成回路２１０に通知し、この開始指示に応答して、エッジ抽出回路２０３はエッジ情報の抽出を開始する（Ｓ２０２）。システム制御部６１１は、抽出されたエッジ情報と、予め指定された領域情報とに基づき、ピーキング処理回路２１２へ、指定領域に対するピーキング処理を指示する（Ｓ３０１）。その後、ステップＳ２０３〜Ｓ２０６の処理を実行する。

本実施形態によれば、マニュアルフォーカス操作時に被写体毎に合焦度合を表す情報が各被写体と対応した位置に表示される。このため、撮像映像中のどの被写体のどの位置に対する合焦度合なのかを把握することができ、撮影映像中に焦点距離の異なる複数の被写体が存在する場合であっても、所望の被写体へのフォーカス操作が容易となる。

同時に、指定領域自体の位置表示において、指定領域に対応する映像にピーキング処理を行うことで、撮影映像を隠すことなく、映像中の何処の部分が指定された領域なのかを容易に把握しながら合焦操作を行うことができる。

また、水平方向や垂直方向といったように、撮像映像中の異なる方向におけるエッジ成分を波形表示することができるため、被写体が有するエッジの方向などに応じて表示を切り替えることで、フォーカス操作がより一層容易になる。

［実施形態４］次に、実施形態４について説明する。なお、実施形態４は、撮像装置の構成も含めて、エッジ成分の波形表示処理以外は実施形態３と同様であるため、重複する説明は省略し、相異点についてのみ説明する。

実施形態３では指定領域の映像に対してピーキング処理を行うことで、指定領域の映像上の位置を示していたが、これに加えて、実施形態４では、映像中の指定領域と指定領域外において、ピーキング処理だけでなく元映像の表示態様を変えている。

具体的には、図８（ｂ）に示すように、矩形領域１４０１、１４０２、１４０３（図７（ａ）の矩形領域１１１５、１１１６、１１１７に対応）において、矩形領域内の映像を白黒で表示している。図８（ｂ）では便宜上、矩形領域１４０１、１４０２、１４０３内を水平線で示しているが、実際には領域内を白黒、領域外をカラー表示（通常表示）とする。これにより、フォーカスが合っていない状態で、ピーキング表示によりエッジ成分が十分に見えない場合や、元々エッジ成分の少ない被写体を撮影する場合などに指定領域を明示することができる。更に、ピーキング処理において、エッジ部分に色付けを行う表示を併用することなどで、指定領域を表しつつピーキング表示も明瞭に、かつ、エッジ成分の波形表示も同時に視認可能である。

本実施形態によれば、映像中の指定領域を示す表示を、合焦度合に依存しない態様で表示するため、実施形態３の効果に加えて、撮影者は、エッジ成分の波形表示と対応した指定領域の映像中の位置を容易に把握することができる。

上述の実施形態では、撮像素子に被写体像を結像するレンズ（レンズ部６０１）を備える撮像装置についてのみ説明したが、本発明においてレンズは必須ではなく、例えばレンズ交換式デジタルカメラにおいても適用可能である。

また、上述の実施形態においては、エッジ成分の波形表示を、撮像映像と位置を対応させて（一致させて）合成したが、両者の位置関係が把握可能であれば、必ずしも位置を完全に一致させて合成しなくてもよい。例えば、例えば水平方向のエッジ成分の波形表示を撮像映像の横幅よりも短い範囲に縮小表示しても、撮像映像と波形表示との対応関係は把握可能であるため、同様の効果が期待できる。

さらに、上述の実施形態では、エッジ成分の波形表示を、マニュアルフォーカス時の補助表示として表示する場合についてのみ説明したが、オートフォーカス時においても撮影者の指示に応じて、あるいは常時、エッジ成分の波形表示を行ってもよい。これにより、オートフォーカス時の合焦状態や合焦位置の確認が一層容易になる。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims

撮像素子に被写体像を結像するレンズの焦点調節機能を有する撮像装置であって、
前記撮像素子で撮像された被写体像の所定方向におけるエッジ成分を表すエッジ情報を抽出する抽出手段と、
前記抽出手段で抽出されたエッジ情報の前記所定方向における位置とその大きさとの関係を表すエッジ成分画像を生成する生成手段と、
前記撮像素子で撮像された画像と前記エッジ成分画像とを逐次表示する表示手段と、を有し、
前記生成手段は、前記抽出手段により抽出されたエッジ情報のうち、予め設定されたレベル範囲内のエッジ情報と、当該範囲外のエッジ情報とを異なる表示態様として、視覚的に判別できるような前記エッジ成分画像を生成することを特徴とする撮像装置。
前記表示手段は、前記撮像素子で撮像された画像と前記生成手段により生成されたエッジ成分画像とを合成することを特徴とする請求項１に記載の撮像装置。
前記生成手段は、前記エッジ成分画像のうち、前記撮像素子で撮像された画像中の予め指定された領域から抽出されたエッジ情報と、当該指定された領域外から抽出されたエッジ情報とを異なる表示態様として、視覚的に判別できるような前記エッジ成分画像を生成することを特徴とする請求項１に記載の撮像装置。
前記生成手段は、前記予め指定された領域が複数ある場合、前記エッジ成分画像のうち、前記予め指定された領域の各々から抽出されたエッジ情報が互いに異なる表示態様になるような前記エッジ成分画像を生成することを特徴とする請求項３に記載の撮像装置。
前記表示手段は、前記撮像素子で撮像された画像と前記エッジ成分画像とを、前記所定方向における位置が一致するように重畳表示することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
前記エッジ成分画像は、前記エッジ成分の大きさに応じた長さを有する複数の指標が、前記所定方向に配列して構成されることを特徴とする請求項５に記載の撮像装置。
前記抽出手段は、前記撮像素子で撮像された画像について前記所定方向の１ライン毎にエッジ情報の抽出を行い、
前記生成手段は、前記所定方向における同一の座標で同じ大きさのエッジ成分が複数回抽出された場合、前記抽出された回数が多いほど、対応する前記指標の輝度を高くすることを特徴とする請求項６に記載の撮像装置。
前記表示手段は、前記撮像素子で撮像された画像中に複数の被写体が含まれている場合、被写体毎のエッジ成分画像を各被写体と対応した位置に表示することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
前記表示手段は、前記予め指定された領域に対応する被写体の部分を、他の部分と異なる表示態様になるように表示することを特徴とする請求項３に記載の撮像装置。
撮影者が前記予め指定された領域を設定するための操作手段を更に有することを特徴とする請求項３に記載の撮像装置。
撮像素子に被写体像を結像するレンズの焦点調節機能を有する撮像装置の制御方法であって、
前記撮像素子で撮像された被写体像の所定方向におけるエッジ成分を表すエッジ情報を抽出する抽出工程と、
前記抽出工程で抽出されたエッジ情報の前記所定方向における位置とその大きさとの関係を表すエッジ成分画像を生成する生成工程と、
前記撮像素子で撮像された画像と前記エッジ成分画像とを表示装置に逐次表示する表示工程と、を有し、
前記生成工程では、前記抽出工程で抽出されたエッジ情報のうち、予め設定されたレベル範囲内のエッジ情報と、当該範囲外のエッジ情報とを異なる表示態様として、視覚的に判別できるような前記エッジ成分画像を生成することを特徴とする制御方法。
請求項１１に記載の制御方法を撮像装置のコンピュータに実行させるためのプログラム。