JP5799690B2

JP5799690B2 - 撮像装置及びその制御方法

Info

Publication number: JP5799690B2
Application number: JP2011195108A
Authority: JP
Inventors: 泰二郎森久; 盛宏高木
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2011-09-07
Filing date: 2011-09-07
Publication date: 2015-10-28
Anticipated expiration: 2031-09-07
Also published as: EP2568698B1; JP2013058850A; EP2568698A2; EP2568698A3

Description

本発明は、撮像装置及びその制御方法に関するものである。

撮像装置の一態様である電子スチルカメラでは、一般にスルー画像を表示して、撮影者が静止画撮影をするための撮影範囲、ホワイトバランス、露出、及びフォーカス状態の確認などを行っている。

しかしながら、撮影者が手動でフォーカス調整を行う場合、一般的なスルー画像は解像度が低いため、フォーカス状態を十分に確認することが出来ず、正確にフォーカス調整（フォーカス合わせ、ピント合わせともいう）を行うことが難しかった。

その問題に対し、特許文献１では、フォーカス調整用の画像において、被写体の輪郭線に沿った各画素に所定の色を付け、輪郭の明瞭度に応じて色の種類や濃淡を変化させることにより、高精度にフォーカス状態の確認ができる発明が開示されている。

また、特許文献２では、フォーカス調整用の画像において、フォーカスリングの操作が行われると被写体の輪郭線に沿った各画素に所定の色を付け、フォーカス状態の確認をしやすくする発明が開示されている。

しかしながら、特許文献１，２のように、スルー画像において被写体の輪郭線に沿って色を付けても、輪郭線の色が被写体部分と色味が近いときには見にくくなってしまい高精度にフォーカス状態を確認することが困難であった。

本発明は、以上の従来技術における課題に鑑みてなされたものであり、フォーカス調整（ピント合わせ）時に撮影者が容易かつ高精度にそのフォーカス状態を確認することができ、かつ必要に応じて被写体の構図を確認することもできる撮像装置及びその制御方法を提供することを目的とする。

発明者らは、まずフォーカス状態の確認は被写体の輪郭線で行っており、必ずしも被写体像自体は必要ないという考え方に基づき、被写体の輪郭線のみをスルー画像として表示する構成とした。しかしながら、この構成では高精度にフォーカス状態を確認することはできるが、画像における被写体の様子が分かりづらく、撮像する画像として被写体を含めた構図を決めることが困難な場合があった。ここで、被写体を含めた構図が問題になるのは、被写体に人物の顔が含まれている場合や被写体が撮像装置から比較的離れていて広い範囲の中に被写体を含めて撮影する場合である。発明者らは、この知見に基づきさらに鋭意検討を行い、本発明を成すに至った。

すなわち、前記課題を解決するために提供する本発明は、撮像光学系により結像された被写体像を光電変換して画像データを出力する撮像手段と、前記撮像手段により取得された画像データに基づいてスルー画像を表示する表示手段と、前記画像データ中の輝度データから高周波成分を抽出しエッジ信号データを出力するフィルタ処理手段と、所定の閾値を用いて前記エッジ信号データを２値化処理する２値化処理手段と、前記２値化処理されたエッジ信号データと、前記画像データ中の輝度データ及び色差データとを合成する合成手段と、撮影条件と前記画像データから取得される情報に応じて、前記２値化処理されたエッジ信号データに基づいた表示形式と前記合成された画像データに基づいた表示形式のいずれかの表示形式でスルー画像の表示を行うように制御する表示制御手段と、を備えることを特徴とする撮像装置である。

また、前記課題を解決するために提供する本発明は、撮像光学系により結像された被写体像を光電変換して画像データを出力する撮像手段と、前記撮像手段により取得された画像データに基づいてスルー画像を表示する表示手段と、前記画像データ中の輝度データから高周波成分を抽出しエッジ信号データを出力するフィルタ処理手段と、所定の閾値を用いて前記エッジ信号データを２値化処理する２値化処理手段と、前記２値化処理されたエッジ信号データと、前記画像データ中の輝度データ及び色差データとを合成する合成手段と、を備える撮像装置の制御方法であって、撮影条件と前記画像データから取得される情報に応じて、前記２値化処理されたエッジ信号データに基づいた表示形式と前記合成された画像データに基づいた表示形式のいずれかの表示形式でスルー画像の表示を行うように制御する表示制御工程を有することを特徴とする撮像装置の制御方法である。

本発明の撮像装置及びその制御方法によれば、撮影条件と前記画像データから取得される情報に応じて、前記２値化処理されたエッジ信号データに基づいた表示形式と前記合成された画像データに基づいた表示形式のいずれかの表示形式でスルー画像の表示を行うように制御するので、被写体が人物の顔を含まないつまり動かないような物体のみの場合や被写体が被写界深度の浅くなる近距離にある場合には被写体の輪郭のみを強調表示することで高精度にフォーカス状態を確認することができ、適切なピント合わせが可能となる。また、被写体として人物の顔を含み人物や顔など表情や動きなどで構図を決める必要がある場合等には被写体の画像に輪郭線を重畳させて表示することで、フォーカス状態の確認（ピント合わせのしやすさ）と構図の決めやすさを両立させることができる。

本発明に係る撮像装置であるデジタルカメラの構成を示す平面図である。本発明に係る撮像装置であるデジタルカメラの構成を示す正面図である。本発明に係る撮像装置であるデジタルカメラの構成を示す背面図である。本発明に係る撮像装置であるデジタルカメラのシステム構成を示すブロック図である。本発明に係る撮像装置であるデジタルカメラにおいてモニタリング処理のスルー画像表示に関わる処理システムの構成を示すブロック図である。図５のＣＣＤ信号処理ブロックにおける信号処理段階ごとの画像データを示す模式図である。合成画像データを表示デバイスに表示した例を示す模式図である。図５の処理システムにおけるスルー画像表示のための信号処理手順を示すフローチャートである。

以下に、本発明に係る撮像装置及びその制御方法の構成について説明する。
図１〜図３は、本発明の撮像装置としてのデジタルカメラを示す外観図であり、図１はデジタルカメラの平面図を示し、図２はデジタルカメラの正面図を示し、図３はデジタルカメラの背面図を示す。また、図４は、デジタルカメラ内部のシステム構成を示すブロック図である。

図１において、Ｃは撮像装置としてのデジタルカメラである。
図１に示すように、デジタルカメラＣの上部には、サブ液晶ディスプレイ１（以下、液晶ディスプレイを「ＬＣＤ」という。）、レリーズシャッターＳＷ１、モードダイアルＳＷ２が設けられており、図２に示すように、デジタルカメラＣの側部には、ＳＤカード（メモリカード）／電池装填室の蓋（電池蓋）２が設けられており、デジタルカメラＣの正面側には、ストロボ発光部３、光学ファインダ４、測距ユニット５、リモコン受光部６、撮影レンズを備えた鏡胴ユニット７が設けられている。

また、図３に示すように、デジタルカメラＣの背面側には、光学ファインダ４、ＡＦ用ＬＥＤ８、ストロボ用ＬＥＤ９、ＬＣＤモニタ１０、広角ズームスイッチ（ZOOM SW(WIDE)）ＳＷ３、望遠ズームスイッチ（ZOOM SW(TELE)）ＳＷ４、セルフタイマ設定／解除スイッチ（セルフタイマ／削除ＳＷ）ＳＷ５、再生スイッチＳＷ６、上移動／ストロボ設定スイッチ（上／ストロボSW）ＳＷ７、右移動スイッチ（右SW）ＳＷ８、ディスプレイスイッチＳＷ９、下移動／マクロ設定スイッチ（下／マクロSW）ＳＷ１０、左移動／画像確認スイッチ（左／画像確認SW）ＳＷ１１、メニュー（ＭＥＮＵ）／ＯＫスイッチＳＷ１２、電源スイッチＳＷ１３が設けられている。

図４において、１０４はデジタルスチルカメラプロセッサ（以下、「プロセッサ」とする。）である。プロセッサ１０４は、ＣＰＵ（中央演算装置）を内蔵しており、デジタルカメラＣの各部はプロセッサ１０４によって制御されている。

図４に示すように、鏡筒ユニット７は、被写体の光学画像を取り込むズームレンズ７−１ａを備えたズーム光学系７−１、被写体の光学画像を光電変換するための固体撮像素子であるＣＣＤ（Charge Coupled Device）１０１の受光部に結像させるフォーカスレンズ７−２ａを備えたフォーカス光学系７−２、絞り７−３ａを備えた絞りユニット７−３、メカシャッタ７−４ａを備えたメカシャッタユニット７−４によって構成されている。

ズーム光学系７−１、フォーカス光学系７−２、絞りユニット７−３、メカシャッタユニット７−４は、それぞれズームモータ７−１ｂ、フォーカスモータ７−２ｂ、絞りモータ７−３ｂ、メカシャッタモータ７−４ｂによって駆動される。

また、これらの各モータ７−１ｂ〜７−４ｂはモータドライバ７−５によって駆動され、モータドライバ７−５は、リモコン受光部６の入力や操作部ＫｅｙユニットＳＷ１〜ＳＷ１３の操作入力に基づく、デジタルカメラプロセッサ１０４のＣＰＵブロック１０４−３からの駆動指令により駆動制御される。

鏡胴ユニット７の各光学系７−１，７−２によりＣＣＤ１０１の受光部に結像された被写体像は、ＣＣＤ１０１によって画像信号に変換され、この画像信号がＦ／Ｅ−ＩＣ１０２に出力される。

Ｆ／Ｅ（フロントエンド）−ＩＣ１０２は、画像ノイズ除去用相関二重サンプリングを行うＣＤＳ１０２−１、自動的に利得の調整を行うＡＧＣ１０２−２、ＡＧＣ１０２−２から出力されるアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ１０２−３によって構成されている。

Ｆ／Ｅ−ＩＣ１０２は、ＣＣＤ１０１から出力されたアナログ画像信号にノイズ低減の処理や利得調整の処理などの所定の処理を施し、さらにアナログ画像信号をデジタル画像信号に変換して、プロセッサ１０４のＣＣＤ１信号処理ブロック１０４−１に出力する。

Ｆ／Ｅ−ＩＣ１０２による画像信号のサンプリングなどのタイミング処理は、プロセッサ１０４のＣＣＤ１信号処理ブロック１０４−１からフィードバックされる垂直同期信号（以下、ＶＤ）・水平同期信号（以下、ＨＤ）に基づいてＴＧ１０２−４によって行われる。

プロセッサ１０４は、ＣＣＤ１０１よりＦ／Ｅ―ＩＣ１０２の出力データにホワイトバランス設定やガンマ設定を行い、又前述したようにＶＤ信号、ＨＤ信号を供給するＣＣＤ１信号処理ブロック１０４−１、フィルタリング処理により輝度データ（Ｙ）、色差データ（ＣｂＣｒ）への変換を行い、所定の信号処理を行うＣＣＤ２信号処理ブロック１０４−２、装置各部の動作を制御するＣＰＵブロック１０４−３、制御に必要なデータ等を一時的に保存するローカルＳＲＡＭ１０４−４、パソコンなどの外部機器とＵＳＢ通信を行うＵＳＢブロック１０４−５、パソコンなどの外部機器とシリアル通信を行うシリアルブロック１０４−６、ＪＰＥＧ圧縮・伸長を行うＪＰＥＧＣＯＤＥＣブロック１０４−７、画像データのサイズを補間処理により拡大・縮小するリサイズブロック１０４−８、画像データを液晶モニタやＴＶなどの外部表示機器に表示するためのビデオ信号に変換するビデオ信号出力ブロックであるＴＶ信号表示ブロック１０４−９、撮影された画像データを記録するメモリカードの制御を行うメモリカードコントローラブロック１０４−１０を備えており、これらの各ブロック１０４−１〜１０４−１０はバスラインを介して相互に接続されている。

プロセッサ１０４の外部には、ＳＤＲＡＭ１０３、ＲＡＭ１０７、ＣＰＵブロック１０４−３にて解読可能なコードで記述された制御プログラムや制御するためのパラメータなどが格納されたＲＯＭ１０８、撮影された画像の画像データを記憶する内蔵メモリ１２０が設けられており、これらもバスラインを介してプロセッサ１０４に接続されている。

ＳＤＲＡＭ１０３は、プロセッサ１０４で画像データに各種処理を施す際に、画像データを一時的に保存するものである。保存される画像データは、例えば、ＣＣＤ１０１から、Ｆ／Ｅ−ＩＣ１０２を経由して取りこんで、ＣＣＤ１信号処理ブロック１０４−１でホワイトバランス設定、ガンマ設定が行われた状態の「ＲＡＷ−ＲＧＢ画像データ」やＣＣＤ２制御ブロック１０４−２で輝度データ、色差データ変換が行われた状態の「ＹＣｂＣｒ画像データ」、ＪＰＥＧＣＯＤＥＣブロック１０４−７で、ＪＰＥＧ圧縮された「ＪＰＥＧ画像データ」、ＣＣＤ２制御ブロック１０４−２で輝度データに基づいて得られた「２値化エッジ信号画像データ」、ＣＣＤ２制御ブロック１０４−２でＹＣｂＣｒ画像データと２値化エッジ信号画像データを合成して得られた「合成画像データ」などである。

電源スイッチＳＷ１３をオンにした際に、ＲＯＭ１０８に格納された制御プログラムがプロセッサ１０４のメモリにロードされ、ＣＰＵブロック１０４−３はその制御プログラムに従ってデジタルカメラＣの各部の動作を制御するとともに、制御に必要なデータ等を一時的にＲＡＭ１０７及びＬｏｃａｌＳＲＡＭ１０４−４に保存する。また、ＲＯＭ１０８に書き換え可能なフラッシュＲＯＭを使用することで、制御プログラムや制御するためのパラメータを変更することが可能となり、機能のバージョンアップを容易に行えるようになっている。

制御プログラムが実行される際には、ＲＡＭ１０７のメモリが制御プログラムの作業用メモリとして使用されるので、ＲＡＭ１０７のメモリには、制御プログラムの制御データやパラメータなどが随時書き込みや読み出しが行われる。
後述される全ての処理は、この制御プログラムを実行することにより、主にプロセッサ１０４によって実行される。

また、ＣＰＵブロック１０４−３は、音声記録回路１１５−１、音声再生回路１１６−１、ストロボ発光部３を発光させるストロボ回路１１４、被写体までの距離を計測する測距ユニット５、サブＣＰＵ１０９に接続されており、これらの回路はＣＰＵブロック１０４−３によって制御される。

マイク１１５−３によって取り込まれた音声信号はマイクアンプ１１５−２によって増幅され、音声記録回路１１５−１によってデジタル信号に変換されて、ＣＰＵブロック１０４−３の制御命令に従いメモリカードなどに記録される。

音声再生回路１１６−１は、ＣＰＵブロック１０４−３の制御命令に従いＲＯＭ１０８などに記録されている適宜の音声データを音声信号に変換し、オーディオアンプ１１６−２によって増幅してスピーカー１１６−３から出力させる。

サブＣＰＵ１０９は、ＲＯＭ，ＲＡＭをワンチップに内蔵したＣＰＵである。このサブＣＰＵ１０９には、ＬＣＤドライバ１１１を介してサブＬＣＤ１、リモコン受光部６、ＡＦ用ＬＥＤ８、ストロボ用ＬＥＤ９、各スイッチＳＷ１〜ＳＷ１３からなる操作キーユニット、ブザー１１３が接続されており、これらはサブＣＰＵ１０９によって制御される。また、サブＣＰＵ１０９は、操作キーユニットＳＷ１〜ＳＷ１３やリモコン受光部６の出力信号をユーザの操作情報としてＣＰＵブロック１０４−３に出力し、またＣＰＵブロック１０４−３より出力されるカメラの状態をサブＬＣＤ１、ＡＦ用ＬＥＤ８、ストロボ用ＬＥＤ９、ブザー１１３の制御信号に変換して出力する。

サブＬＣＤ１は、例えば撮影可能枚数など表示するための表示部であり、ＬＣＤドライバ１１１はサブＣＰＵ１０９の出力信号よりサブＬＣＤ１を駆動するためのドライブ回路である。

また、ＡＦ用ＬＥＤ８は、撮影時の合焦状態（フォーカス状態）を表示するためのＬＥＤであり、ストロボ用ＬＥＤ９は、ストロボ充電状態を表すためのＬＥＤである。なお、このＡＦ用ＬＥＤ８とストロボ用ＬＥＤ９を、メモリカードアクセス中などの別の表示用途に使用してもよい。

操作キーユニットＳＷ１〜ＳＷ１３は、ユーザが操作するキー回路であり、リモコン受光部６はユーザが操作したリモコン送信機の信号の受信部である。

プロセッサ１０４のＵＳＢブロック１０４−５は、パソコンなどの外部機器とＵＳＢ接続するためのＵＳＢコネクタ１２２に接続されている。また、プロセッサ１０４のシリアルブロック１０４−６は、シリアルブロック１０４−６の出力信号を電圧変換するための回路であるシリアルドライバ回路１２３−１を介してＲＳ−２３２Ｃコネクタに接続されている。これらのＵＳＢブロック１０４−５やシリアルブロックによって、デジタルカメラＣとデジタルカメラＣに接続された外部機器との間でデータ通信が行われる。

プロセッサ１０４のＴＶ信号表示ブロック１０４−９には、ＬＣＤモニタ１０を駆動するドライブ回路であるとともに、ＴＶ信号ブロック１０４−９から出力されたビデオ信号をＬＣＤモニタ１０に表示するための信号に変換する機能を有するＬＣＤドライバ１１７、ビデオ信号（ＴＶ信号）を増幅すると共に７５Ωインピーダンス整合を行うためのビデオアンプ１１８が接続されており、ＬＣＤドライバ１１７とビデオアンプ１１８には、それぞれＬＣＤモニタ１０、ＴＶなどの外部モニタ機器に接続するためのビデオジャック１１９が接続されている。

ＴＶ信号表示ブロック１０４−９は、画像データをビデオ信号に変換して、ＬＣＤモニタ１０やビデオジャック１１９に接続された外部モニタ機器に出力する。
ＬＣＤモニタ１０は、撮影中の被写体のモニタや、撮影された画像の表示、メモリカードまたは内蔵メモリ１２０に記録された画像の表示などに使用される。

メモリカードコントローラブロック１０４−１０には、メモリカードスロットル１２１が接続されており、メモリカードスロットル１２１に挿入された増設用のメモリカードとデジタルカメラとの間で画像データのやり取りを行なう。

次に、本実施例のデジタルカメラＣの動作概要について説明する。
デジタルカメラＣの動作モードには、撮影する際に使用する撮影モードと、撮影された画像を再生する際に使用する再生モードとがあり、撮影モードには、さらにフォーカス光学系７−２について自動合焦制御するＡＦモードとマニュアルで合焦調整するＭＦモードがある。

また、撮影モードでの動作中には、セルフタイマを使用して撮影するセルフタイマモードやリモコンによってデジタルカメラＣを遠隔操作するリモコンモードなどの動作モードが用意されている。

デジタルカメラＣの電源スイッチＳＷ１３をオンにした状態で、モードダイアルＳＷ２を撮影モードに設定すると、デジタルカメラＣは撮影モードになり、モードダイアルＳＷ２を再生モードに設定した場合には、デジタルカメラＣは再生モードになる。詳しくは次の手順を踏む。

（Ｓ１１）まず、デジタルカメラＣの電源スイッチＳＷ１３をオンにすると、動作モードの判断が行われる。すなわち、モードダイアルＳＷ２のスイッチの状態が撮影モードか、再生モードかが判断され、撮影モードならばステップＳ１２の処理に進み、再生モードならばステップＳ２１の処理に進む。

〔撮影モード〕
（Ｓ１２）プロセッサ１０４によりモータドライバ７−５が制御されて鏡胴ユニット７を構成するレンズ鏡筒が撮影可能な位置に移動され、さらに、ＣＣＤ１０１、Ｆ／Ｅ−ＩＣ１０２、ＬＣＤモニタ１０などの撮影に必要とされる各回路に電源が投入される。
（Ｓ１３）そして、各光学系７−１，７−２によってＣＣＤ１０１の受光部に結像された被写体像の情報は随時ＣＣＤ１０１によりＲＧＢアナログ信号に変換され、このＲＧＢアナログ信号はＣＤＳ回路１０２−１とＡＧＣ１０２−２によってノイズ低減の処理や利得調整の処理などの所定の処理がなされ、Ａ／Ｄ変換器１０２−３により、ＲＧＢアナログ信号はＲＧＢデジタル信号に変換され、プロセッサ１０４のＣＣＤ１信号処理ブロックに出力される。
（Ｓ１４）さらに、このＲＧＢデジタル信号は、ＣＣＤ１信号処理ブロック１０４−１及びＣＣＤ２信号処理ブロック１０４−２の信号処理によって、ＲＡＷ−ＲＧＢ画像データ、ＹＣｂＣｒ画像データ、２値化エッジ信号画像データ、合成画像データ、ＪＰＥＧ画像データに変換されメモリコントローラ（図示省略）によってＳＤＲＡＭ１０３のフレームメモリに書き込まれる。
（Ｓ１５）これらの画像データのうち、２値化エッジ信号画像データまたは合成画像データが、ＳＤＲＡＭ１０３のフレームメモリから随時読み出され、ＴＶ信号表示ブロック１０４−９によってビデオ信号に変換されて、ＬＣＤモニタ１０やＴＶなどの外部モニタ機器にスルー画像として出力される。
このように、撮影待機状態において、被写体像の画像データを随時ＳＤＲＡＭ１０３のフレームメモリに取り込むと共に、被写体像（スルー画像）を随時ＬＣＤモニタ１０やＴＶなどの外部モニタ機器に出力する処理をモニタリング処理と称する。

（Ｓ１６）つぎに、レリーズシャッターＳＷ１の状態が判断され、レリーズシャッターＳＷ１が押されていないときは、ステップＳ１２の処理に戻り、レリーズシャッターＳＷ１が押されたときは、このときＳＤＲＡＭ１０３のフレームメモリに取り込まれている被写体の画像データ（ＪＰＥＧ画像データ）を内蔵メモリ１２０やメモリカードに記録する処理などが実行され、その後ステップＳ１２の処理に戻る。本ステップの処理を撮影処理と称する。

このようにデジタルカメラＣが撮影モードで動作しているときには、ステップＳ１２〜ステップＳ１６の処理を繰り返すことになる。この繰り返しの処理を行っている状態をファインダモードと称し、所定の周期（例えば約１／３０秒の周期）でこれらの処理が繰り返される。ファインダモードでは、モニタリング処理も約１／３０秒の周期で繰り返し行われるので、これに伴い、ＬＣＤモニタ１０や外部モニタ機器の表示は更新される。

〔再生モード〕
（Ｓ２１）
内蔵メモリ１２０やメモリカードに記録された画像データをＬＣＤモニタ１０やＴＶなどの外部モニタ機器に出力させる。
（Ｓ２２）ついで、モードダイアルＳＷ２の設定変更が行われたか否かを判断し、設定変更が行われたならばＳ１１の処理に戻り、設定変更が行われていないならばステップＳ２１の処理に戻る。

ここで、前述した撮影モードのモニタリング処理の際には、撮影者はＬＣＤモニタ１０に表示されるスルー画像を見て被写体に対する合焦状態（フォーカス状態）を確認するが、スルー画像において目的の被写体にピントが合っていないときにはＡＦモード、ＭＦモードのいずれの場合にも、ＬＣＤモニタ１０に表示されるスルー画像を見ながら上／ストロボスイッチＳＷ７または下／マクロスイッチＳＷ１０を押すことにより（あるいはフォーカスリングを回すことにより）被写体に対してピントが合うように鏡胴ユニット７におけるフォーカスレンズ７−２ａの位置を調整する作業を行う。このとき、特許文献１，２のように、スルー画像において被写体の輪郭線に沿って色を付ける発明では、輪郭線の色が被写体部分と色味が近いときには見にくくなってしまい高精度にフォーカス状態を確認することが困難であった。また、発明者らは、まずフォーカス状態の確認は被写体の輪郭線で行っており、必ずしも被写体像自体は必要ないという考え方に基づき、被写体の輪郭線のみをスルー画像として表示する構成を検討とした。しかしながら、この構成では高精度にフォーカス状態を確認することはできるが、画像における被写体の様子が分かりづらく、撮像する画像として被写体を含めた構図を決めることが困難な場合があった。ここで、被写体を含めた構図が問題になるのは、被写体に人物の顔が含まれている場合や被写体が撮像装置から比較的離れていて広い範囲の中に被写体を含めて撮影する場合である。発明者らは、この知見に基づきさらに鋭意検討を行い、本発明を成すに至った。
以下、本発明のデジタルカメラＣの根幹を成す部分について説明する。

図５は、本発明の撮像装置であるデジタルカメラＣにおいてモニタリング処理のスルー画像表示に関わる処理システムの構成を示すブロック図である。
デジタルカメラＣにおいてモニタリング処理のスルー画像表示に関わる処理システムは、図５に示すように、撮像光学系（鏡胴ユニット７）におけるフォーカス光学系７−２と、撮像光学系により結像された被写体像を光電変換して画像データを出力する撮像センサ（ＣＣＤ１０１，Ｆ／Ｅ−ＩＣ１０２）と、画像変換処理部１０４−２ａ，ハイパスフィルタ（ＨＰＦ）処理部１０４−２ｂ，レベル変換処理部１０４−２ｃ，合成処理部１０４−２ｄを有し、撮像センサから出力される画像データの信号（ＲＡＷ−ＲＧＢ）を処理するＣＣＤ信号処理ブロック（ＣＣＤ１信号処理ブロック１０４−１，ＣＣＤ２信号処理ブロック１０４−２）と、前記撮像センサにより取得された画像データに基づいてスルー画像を表示する表示デバイス（ＬＣＤモニタ１０，ＬＣＤドライバ１１７，ＴＶ信号表示ブロック１０４−９）と、顔検出手段１０４−３ａ，フォーカス位置検出手段１０４−３ｂ，選択表示手段１０４−３ｃを有し、制御プログラムに従い各部を制御する表示制御手段であるＣＰＵブロック１０４−３と、を備える。

ここで、画像変換処理部１０４−２ａは、ＣＣＤ１信号処理ブロック１０４−１とＣＣＤ２信号処理ブロック１０４−２の一部の処理機能を有しており、撮像センサ（Ｆ／Ｅ−ＩＣ１０２）から送られてくる画像データ（ＲＡＷ−ＲＧＢ）について、ホワイトバランス処理、色補間処理などを行った後、輝度（Ｙ）データと色差（ＣｂＣｒ）データに分ける処理を行う。図６（ａ）に輝度（Ｙ）データのイメージ図を示す。ここでは、表面に凸部及び開口部のある直方体の被写体であって、画像略中央部にピントが合い、画像周辺部に向かうにつれてピントがぼけた状態のものを例として示している。また、色差ＣｂはＢ信号から輝度Ｙを差し引いた（Ｂ−Ｙ）に特定の定数を掛けて得られる値であり、同じく色差ＣｒはＲ信号から輝度Ｙを差し引いた（Ｒ−Ｙ）に特定の定数を掛けて得られる値である。
画像変換処理部１０４−２ａは、輝度（Ｙ）データをＨＰＦ処理部１０４−２ｂに送り、必要に応じてＹＣｂＣｒ画像データを合成処理部１０４−２ｄに送る。

ＨＰＦ処理部１０４−２ｂは、画像変換処理部１０４−２ａから送られてきた輝度（Ｙ）データについて、高周波成分を抽出するハイパスフィルタ処理を施し、輝度（Ｙ）が急激に変化するエッジ信号を出力するものである。図６（ｂ）に、図６（ａ）の輝度（Ｙ）データにハイパスフィルタ処理を施し得られたエッジ信号のイメージ図を示す。図中、白いドットがエッジレベルのある程度高いエッジ信号を意味する。

レベル変換処理部１０４−２ｃは、ＨＰＦ処理部１０４−２ｂから送られてきたエッジ信号について、決められた閾値を境に２値化するレベル変換処理を施し、２値化エッジ信号を出力するものである。これにより、エッジレベルの高い部分のみ抽出され、その結果として被写体のピントの合っている輪郭線のみが得られる。図６（ｃ）に、図６（ｂ）のエッジ信号にレベル変換処理を施し、得られた２値化エッジ信号画像データを表示デバイスに表示した例（イメージ図）を示す。

合成処理部１０４−２ｄは、前記２値化エッジ信号画像データとＹＣｂＣｒ画像データとを重畳する合成処理、すなわち２値化エッジ信号に元の輝度（Ｙ）データ及び色差（ＣｂＣｒ）データを加算する処理を行って合成画像データとして表示デバイスに出力する（図７）。これは、ＹＣｂＣｒ画像に輪郭線が表示された画像データとなる。あるいは、合成処理部１０４−２ｄは、前記合成処理を行わず、前記２値化エッジ信号画像データをそのまま表示デバイスに出力する。

また、顔検出手段１０４−３ａは、画像データの中に人物の顔があるか否かを検出するものである。詳しくは、顔検出手段１０４−３ａは、モニタリング中の画像データ（例えば、ＹＣｂＣｒ画像データ）の中からあるタイミングで一枚の画像データをコピーし、コピーした画像データに対して顔検出処理を実施し、画像内に人物の顔があるか否かを判断する。ここで被写体像の中から人物像を検出する方法は、公知の手法によればよく、例えば以下に示す方法のいずれかの方法を用いるとよい。
（１）テレビジョン学会誌Ｖｏｌ．４９、Ｎｏ．６、ｐｐ．７８７−７９７（１９９５）の「顔領域抽出に有効な修正ＨＳＶ表色系の提案」に示されるように、カラー画像をモザイク画像化し、肌色領域に着目して顔領域を抽出する方法。
（２）電子情報通信学会誌Ｖｏｌ．７４−Ｄ−ＩＩ、Ｎｏ．１１、ｐｐ．１６２５−１６２７（１９９１）の「静止濃淡情景画像からの顔領域を抽出する手法」に示されているように、髪や目や口など正面人物像の頭部を構成する各部分に関する幾何学的な形状特徴を利用して正面人物の頭部領域を抽出する方法。
（３）画像ラボ１９９１−１１（１９９１）の「テレビ電話用顔領域検出とその効果」に示されるように、動画像の場合、フレーム間の人物の微妙な動きによって発生する人物像の輪郭エッジを利用して正面人物像を抽出する方法。

フォーカス位置検出手段１０４−３ｂは、ピント合わせをしている際、あるいはピント合わせ完了時のフォーカスレンズ７−２ａのその可動域における位置を検出するものであり、詳しくは、ピント合わせで調整中のフォーカスレンズ７−２ａの位置がその可動域における所定位置よりも近距離側にあるか否かを検出する手段である。

選択表示手段１０４−３ｃは、表示デバイスで表示するスルー画像の表示形式として、２値化処理されたエッジ信号データ（２値化エッジ信号画像データ）に基づいた表示形式と前記合成された画像データ（合成画像データ）に基づいた表示形式のいずれかを撮影者が選択可能に表示する。例えば、ＬＣＤモニタ１０に「合成画像？」、「エッジ信号のみ？」と表示し、右スイッチＳＷ８及び左／画像確認スイッチＳＷ１１を操作していずれかを選択するようにする。

図５の処理システムにおいて、ＣＰＵブロック１０４−３は、スルー画像表示のために以下の信号処理制御を行う。図８を参照しながら説明する。
（Ｓ１０１）デジタルカメラＣが撮影モードの撮影待機状態となると前記モニタリング処理が実行され、まずＣＰＵブロック１０４−３は、顔検出手段１０４−３ａから顔検出結果を取得し、画像データから顔が検出されたか否かを確認する。
（Ｓ１０２）顔が検出された場合（Ｓ１０１のＹＥＳ）、合成処理部１０４−２ｄがレベル変換処理部１０４−２ｃから出力された２値化エッジ信号と、画像変換処理部１０４−２ａから出力された元の輝度（Ｙ）信号及び色差（ＣｂＣｒ）信号とを加算し、合成画像データを出力する。
（Ｓ１０３）出力された合成画像データを表示デバイスのＬＣＤモニタ１０がスルー画像として表示する。これにより、例えばＬＣＤモニタ１０上に、輪郭線と、輪郭線以外の部分に彩色された被写体とからなるスルー画像が表示されるため、輪郭線とともに被写体の様子も見ることができ、ピントを合わせつつ、顔の表情や人物の動きなどを見ながら構図を決めることができる。

（Ｓ１０４）顔が検出されない場合（Ｓ１０１のＮＯ）、ＣＰＵブロック１０４−３は、フォーカス位置検出手段１０４−３ｂからフォーカス位置検出結果を取得し、フォーカスが近距離であるか否か、すなわちピント合わせで調整中のフォーカスレンズ７−２ａの位置がその可動域における所定位置よりも近距離側にあるか否かを確認する。
（Ｓ１０５）フォーカスが近距離である場合、すなわちフォーカスレンズ７−２ａの位置がその可動域における所定位置よりも近距離側にある場合（Ｓ１０４のＹＥＳ）、合成処理部１０４−２ｄがレベル変換処理部１０４−２ｃから出力された２値化エッジ信号画像を出力し、該２値化エッジ信号画像データを表示デバイスのＬＣＤモニタ１０がスルー画像として表示する（例えば、図６（ｃ））。被写体として人物（顔）が入っておらず、その被写体が比較的近距離にあることから構図を決める必要がないためである。これにより、例えばＬＣＤモニタ１０上に、輪郭線を白、それ以外は無彩色（グレー）としたスルー画像が表示されるため、被写体の色によって輪郭線が見えにくくなることがなくなり容易にピントを合わせることができる。

（Ｓ１０６）フォーカスが近距離でない場合、すなわちフォーカスレンズ７−２ａの位置がその可動域における所定位置よりも近距離側にない場合（Ｓ１０４のＮＯ）、選択表示手段１０４−３ｃが２値化エッジ信号画像データに基づいた表示形式（「エッジ信号のみ」）と合成画像データに基づいた表示形式（「合成画像」）のいずれかを撮影者が選択可能に表示し、ＣＰＵブロック１０４−３は、撮影者（ユーザ）の選択が２値化エッジ信号画像データに基づいた表示形式（「エッジ信号のみ？」）であるか否かを確認する。被写体として人物（顔）は入っていないが、その被写体が比較的遠距離にあり構図を決める必要なときもあるため、撮影者に利用しやすい表示形式を選択させるためである。

（Ｓ１０７）撮影者（ユーザ）の選択が２値化エッジ信号画像データに基づいた表示形式（「エッジ信号のみ」）である場合（Ｓ１０６のＹＥＳ）、合成処理部１０４−２ｄがレベル変換処理部１０４−２ｃから出力された２値化エッジ信号画像を出力し、該２値化エッジ信号画像データを表示デバイスのＬＣＤモニタ１０がスルー画像として表示する（例えば、図６（ｃ））。
（Ｓ１０８）撮影者（ユーザ）の選択が２値化エッジ信号画像データに基づいた表示形式（「エッジ信号のみ」）でない場合（Ｓ１０６のＮＯ）、ＣＰＵブロック１０４−３は、撮影者（ユーザ）の選択が合成画像データに基づいた表示形式（「合成画像」）であると判断し、合成処理部１０４−２ｄがレベル変換処理部１０４−２ｃから出力された２値化エッジ信号と、画像変換処理部１０４−２ａから出力された元の輝度（Ｙ）信号及び色差（ＣｂＣｒ）信号とを加算し、合成画像データを出力する。
（Ｓ１０９）出力された合成画像データを表示デバイスのＬＣＤモニタ１０がスルー画像として表示する。

以上のように、本発明の撮像装置及びその制御方法によれば、撮影条件（フォーカス位置検出）と前記画像データから取得される情報（顔検出）に応じて、前記２値化処理されたエッジ信号データに基づいた表示形式と前記合成された画像データに基づいた表示形式のいずれかの表示形式でスルー画像の表示を行うように制御するので、被写体が人物の顔を含まないつまり動かないような物体のみの場合や被写体が被写界深度の浅くなる近距離にある場合には被写体の輪郭のみを強調表示することで高精度にフォーカス状態を確認することができ、適切なピント合わせが可能となる。また、被写体として人物の顔を含み人物や顔など表情や動きなどで構図を決める必要がある場合等には被写体の画像に輪郭線を重畳させて表示することで、フォーカス状態の確認（ピント合わせのしやすさ）と構図の決めやすさを両立させることができる。

なお、これまで本発明を図面に示した実施形態をもって説明してきたが、本発明は図面に示した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
例えば、図５の処理システムの構成において、顔検出手段１０４−３ａ、フォーカス位置検出手段１０４−３ｂのいずれかを省略してもよい。

１サブＬＣＤ
２ＳＤカード／電池蓋
３ストロボ発光部
４光学ファインダ
５測距ユニット
６リモコン受光部
７鏡胴ユニット
７−１ズーム光学系
７−１ａズームレンズ
７−１ｂズームモータ
７−２フォーカス光学系
７−２ａフォーカスレンズ
７−２ｂフォーカスモータ
７−３絞りユニット
７−３ａ絞り
７−３ｂ絞りモータ
７−４メカシャッタユニット
７−４ａメカシャッタ
７−４ｂメカシャッタモータ
７−５モータドライバ
８ＡＦ用ＬＥＤ
９ストロボ用ＬＥＤ
１０ＬＣＤモニタ
１０１ＣＣＤ
１０２Ｆ／Ｅ−ＩＣ
１０２−１ＣＤＳ
１０２−２ＡＧＣ
１０２−３Ａ／Ｄ（ＡＤＣ）
１０２−４ＴＧ
１０３ＳＤＲＡＭ
１０４デジタルカメラプロセッサ
１０４−１ＣＣＤ１信号処理ブロック
１０４−２ＣＣＤ２信号処理ブロック
１０４−２ａ画像変換処理部
１０４−２ｂＨＰＦ（ハイパスフィルタ）処理部
１０４−２ｃレベル変換処理部
１０４−２ｄ合成処理部
１０４−３ＣＰＵブロック
１０４−３ａ顔検出手段
１０４−３ｂフォーカス位置検出手段
１０４−３ｃ選択表示手段
１０４−４ＬｏｃａｌＳＲＡＭ
１０４−５ＵＳＢブロック
１０４−６シリアルブロック
１０４−７ＪＰＥＧＣＯＤＥＣブロック
１０４−８リサイズブロック
１０４−９ＴＶ信号表示ブロック
１０４−１０メモリカードコントローラブロック
１０７ＲＡＭ
１０８ＲＯＭ
１０９サブＣＰＵ
１１１，１１７ＬＣＤドライバ
１１３ブザー
１１４ストロボ回路
１１５−１音声記録回路
１１５−２マイクアンプ
１１５−３マイク
１１６−１音声再生回路
１１６−２オーディオアンプ
１１６−３スピーカー
１１８ビデオアンプ
１１９ビデオジャック
１２０内蔵メモリ
１２１メモリカードスロットル
１２２ＵＳＢコネクタ
１２３−１シリアルドライバ回路
１２３−２ＲＳ−２３２Ｃコネクタ
Ｃデジタルカメラ
ＳＷ１レリーズシャッター
ＳＷ２モードダイアル
ＳＷ３ズームスイッチ（ＷＩＤＥ）
ＳＷ４ズームスイッチ（ＴＥＬＥ）
ＳＷ５セルフタイマ／削除スイッチ
ＳＷ６再生スイッチ
ＳＷ７上移動／ストロボ設定スイッチ
ＳＷ８右移動スイッチ
ＳＷ９ディスプレイスイッチ
ＳＷ１０下移動／マクロスイッチ
ＳＷ１１左移動／画像確認スイッチ
ＳＷ１２メニュー／ＯＫスイッチ
ＳＷ１３電源スイッチ

特開２００７− ２８３８０号公報特開２００９−２７２８３７号公報

Claims

撮像光学系により結像された被写体像を光電変換して画像データを出力する撮像手段と、
前記撮像手段により取得された画像データに基づいてスルー画像を表示する表示手段と、
前記画像データ中の輝度データから高周波成分を抽出しエッジ信号データを出力するフィルタ処理手段と、
所定の閾値を用いて前記エッジ信号データを２値化処理する２値化処理手段と、
前記２値化処理されたエッジ信号データと、前記画像データ中の輝度データ及び色差データとを合成する合成手段と、
撮影条件と前記画像データから取得される情報に応じて、前記２値化処理されたエッジ信号データに基づいた表示形式と前記合成された画像データに基づいた表示形式のいずれかの表示形式でスルー画像の表示を行うように制御する表示制御手段と、
を備えることを特徴とする撮像装置。
前記画像データから顔検出を行う顔検出手段を更に備え、
前記表示制御手段は、前記顔検出手段により顔が検出された場合に、前記合成された画像データに基づいた表示形式でスルー画像の表示を行うことを特徴とする請求項１記載の撮像装置。
前記撮像光学系のフォーカスレンズの位置を検出するフォーカスレンズ位置検出手段を更に備え、
前記表示制御手段は、前記フォーカスレンズ位置検出手段により検出されたフォーカスレンズの位置が所定位置より近距離側にある場合に、前記２値化処理されたエッジ信号データに基づいた表示形式でスルー画像の表示を行うことを特徴とする請求項２記載の撮像装置。
前記２値化処理されたエッジ信号データに基づいた表示形式と前記合成された画像データに基づいた表示形式のいずれかを撮影者が選択可能に表示する選択表示手段を更に備え、
前記表示制御手段は、前記顔検出手段により顔が検出されなかった場合、及び／又は前記フォーカスレンズ位置検出手段により検出されたフォーカスレンズの位置が所定位置より近距離側になかった場合に、前記選択表示手段により選択された表示形式によるスルー画像の表示を行うことを特徴とする請求項３記載の撮像装置。
撮像光学系により結像された被写体像を光電変換して画像データを出力する撮像手段と、
前記撮像手段により取得された画像データに基づいてスルー画像を表示する表示手段と、
前記画像データ中の輝度データから高周波成分を抽出しエッジ信号データを出力するフィルタ処理手段と、
所定の閾値を用いて前記エッジ信号データを２値化処理する２値化処理手段と、
前記２値化処理されたエッジ信号データと、前記画像データ中の輝度データ及び色差データとを合成する合成手段と、
撮影条件と前記画像データから取得される情報に応じて、前記２値化処理されたエッジ信号データに基づいた表示形式と前記合成された画像データに基づいた表示形式のいずれかの表示形式でスルー画像の表示を行うように制御する表示制御手段と、
前記撮像光学系のフォーカスレンズの位置を検出するフォーカスレンズ位置検出手段と、備え、
前記表示制御手段は、前記フォーカスレンズ位置検出手段により検出されたフォーカスレンズの位置が所定位置より近距離側にある場合に、前記２値化処理されたエッジ信号データに基づいた表示形式でスルー画像の表示を行うことを特徴とする撮像装置。
撮像光学系により結像された被写体像を光電変換して画像データを出力する撮像手段と、前記撮像手段により取得された画像データに基づいてスルー画像を表示する表示手段と、前記画像データ中の輝度データから高周波成分を抽出しエッジ信号データを出力するフィルタ処理手段と、所定の閾値を用いて前記エッジ信号データを２値化処理する２値化処理手段と、前記２値化処理されたエッジ信号データと、前記画像データ中の輝度データ及び色差データとを合成する合成手段と、を備える撮像装置の制御方法であって、
撮影条件と前記画像データから取得される情報に応じて、前記２値化処理されたエッジ信号データに基づいた表示形式と前記合成された画像データに基づいた表示形式のいずれかの表示形式でスルー画像の表示を行うように制御する表示制御工程を有することを特徴とする撮像装置の制御方法。
前記撮像装置は、前記画像データから顔検出を行う顔検出手段を更に備え、
前記表示制御工程は、前記顔検出手段により顔が検出された場合に、前記合成された画像データに基づいた表示形式でスルー画像の表示を行うように制御することを特徴とする請求項６記載の撮像装置の制御方法。
前記撮像装置は、前記撮像光学系のフォーカスレンズの位置を検出するフォーカスレンズ位置検出手段を更に備え、
前記表示制御工程は、前記フォーカスレンズ位置検出手段により検出されたフォーカスレンズの位置が所定位置より近距離側にある場合に、前記２値化処理されたエッジ信号データに基づいた表示形式でスルー画像の表示を行うように制御することを特徴とする請求項７記載の撮像装置の制御方法。
前記撮像装置は、前記２値化処理されたエッジ信号データに基づいた表示形式と前記合成された画像データに基づいた表示形式のいずれかを撮影者が選択可能に表示する選択表示手段を更に備え、
前記表示制御工程は、前記顔検出手段により顔が検出されなかった場合、及び／又は前記フォーカスレンズ位置検出手段により検出されたフォーカスレンズの位置が所定位置より近距離側になかった場合に、前記選択表示手段により選択された表示形式によるスルー画像の表示を行うように制御することを特徴とする請求項８記載の撮像装置の制御方法。
撮像光学系により結像された被写体像を光電変換して画像データを出力する撮像手段と、前記撮像手段により取得された画像データに基づいてスルー画像を表示する表示手段と、前記画像データ中の輝度データから高周波成分を抽出しエッジ信号データを出力するフィルタ処理手段と、所定の閾値を用いて前記エッジ信号データを２値化処理する２値化処理手段と、前記２値化処理されたエッジ信号データと、前記画像データ中の輝度データ及び色差データとを合成する合成手段と、前記撮像光学系のフォーカスレンズの位置を検出するフォーカスレンズ位置検出手段と、を備える撮像装置の制御方法であって、
撮影条件と前記画像データから取得される情報に応じて、前記２値化処理されたエッジ信号データに基づいた表示形式と前記合成された画像データに基づいた表示形式のいずれかの表示形式でスルー画像の表示を行うように制御し、かつ前記フォーカスレンズ位置検出手段により検出されたフォーカスレンズの位置が所定位置より近距離側にある場合に、前記２値化処理されたエッジ信号データに基づいた表示形式でスルー画像の表示を行うように制御する表示制御工程を有することを特徴とする撮像装置の制御方法。