JP5437781B2 - 画像処理装置、方法およびプログラム - Google Patents

Description

本発明は撮像装置の取得した画像データの輪郭強調補正に関する。

特許文献１では、画像処理部は、主要被写体の領域の階調補正の特性を他の領域と変化させる。例えば、画像処理部は、撮像画像の主要被写体の領域には、他の領域と異なる階調曲線の階調特性テーブルを適用して階調補正を実行する。

特許文献２では、画質改善装置は、入力信号の波形を判別し、入力信号が振幅一定の正弦波、余弦波、変調波等の場合には、エッジ強調成分を付加せず、入力信号がパルスや、バーパルス等の波形の立ち上がり部分を含む信号、および振幅が変化する正弦波、余弦波、変調波等の場合には、波形の傾斜部にエッジ強調成分を付加する。従って、この画質改善装置は、エッジ強調が必要な部分のみにエッジ強調成分を付加でき、視覚的に不自然さを与えることなく再生画像の輪郭部を強調して画質の鮮鋭度を向上させることにより、画質を改善することができる、とする。

特許文献３は、微小な凸レンズアレイを撮像面の直前にマトリクス状に設けて被写体像を異なる２つの撮像子に入射させ、２つの撮像子の出力信号の位相差に応じて合焦状態を検出する技術の一例である。

特許文献４および５では、システムコントローラに被写体のコントラスト情報が入力されると、同情報から判断・演算処理部により撮像装置の合焦状態が如何なる状態かを認識し、プロセス処理部のアパーチャ補償回路の周波数特性を変えて、上記合焦状態に応じた映像形成を行う。

特許文献６は、撮像レンズの射出瞳をメガネレンズによって２つに分割し、その分割された２つの領域を通過した光束を蓄積型の光電変換素子列（ラインセンサ）に結像させ、そのラインセンサの出力信号をＡ／Ｄ変換器にてＡ／Ｄ変換し、それらの像の相対位置の変位をコンピュータによって演算することで合焦状態を特定する技術の一例である。具体的には、メガネレンズによって２次結像された左右の像が異なるラインセンサ群によって受光される。そして、種々の処理回路を経て、ラインセンサ画素出力が出力される。受光センサからのラインセンサ画素出力がＡ／Ｄ変換器によってデジタル信号に変換された後、マイクロコンピュータによって、Ａ像とＢ像との相関演算が行われ、被写体のデフォーカス状態（又は距離情報）が検出される。また、特許文献６は、焦点検出装置として、撮像画面上の複数エリアに対して、夫々独立に合焦状態を検出可能な多点焦点検出装置では、多点測距を行うために、各測距エリアに独立したラインセンサが設けられ、さらに、各ラインセンサに対してＡＧＣ領域および測距演算領域が設定されている、とする。

特許文献７は、ＴＴＬ（Through The Lens）位相差検出方式による合焦制御、すなわち２つの像の像間隔からデフォーカス量を演算し、現在のレンズ位置から算出したデフォーカス量分だけ駆動した位置にレンズを停止させる技術の一例である。

特許文献８は、撮像画面を分割し、その分割領域ごとに被写体の焦点検出を行って、その像ずれ量を検出する技術の一例を示す。なお、像ずれ量は被写体までの距離に依存するため、像ずれ量は被写体距離と技術的に同視しうる。

特許文献９は輪郭強調処理の一例を示す。特許文献１０は、焦点距離に対するレンズ性能の関係、特に焦点距離に応じた撮影画角の中央領域および周辺領域における光学性能の関係の一例を示す。また特許文献１０は、撮影光学系の性能保証範囲外で使用する場合の像性能低下を補完するように、輪郭補正処理のゲイン値やコアリングレベルを変更する。また特許文献１１は、顔検出技術の一例を示す。

特開２００７−２８２１１９号公報、段落００６２ 特許２５３０２４９号公報（特開平４−１３９９６６号公報） 特許２９５９１４２号公報 特許３４６９５９０号公報（特開平５−１８３７９６号公報） 特開２００２−２８７８４６号公報（特開２００４−６２１８８号公報） 特開２００６−２８５６３９号公報 特開２００６−２７６６９９号公報 特開平４−７３７３１号公報 特開２００６−１２９１７６号公報 特開２００２−６４７４５号公報、段落０１０９、段落０１１６、図２３ 特許公開２００９−１０４４２７号公報

従来技術では、輪郭強調は画面全体、検出された顔、主要被写体などに一律に適用される。よって例えば、従来技術では、主要被写体にピントがあっており背景にはピントがあってない場合であっても、背景に輪郭強調が施される。この結果、ぼやけた部分の輪郭が強調され、好ましくない画像が得られる。本発明は、被写体距離を考慮した輪郭強調を実施する。

本発明は、撮像レンズを介して結像された被写体を撮像素子により光電変換することで得られた画像データを入力する入力部と、被写体までの距離を算出する距離算出部と、距離算出部の算出した距離に応じた強度の輪郭強調処理を、入力部の入力した画像データに対して実施する輪郭強調処理部と、を備える画像処理装置を提供する。

好ましくは、画像処理装置は、画像データの所定の合焦領域に存在する被写体に合焦するよう撮像レンズの位置を制御する合焦制御部を備え、距離算出部は、画像データの所定の合焦領域に存在する被写体である合焦被写体までの距離と合焦被写体以外の被写体である周辺被写体までの距離との差を算出し、輪郭強調処理部は、合焦被写体までの距離と周辺被写体までの距離との差に応じた強度の輪郭強調処理を周辺被写体に実施する。

好ましくは、輪郭強調処理部は、合焦被写体までの距離と周辺被写体までの距離との差が大きくなるにつれて強度を弱めた輪郭強調処理を周辺被写体に実施する。

すなわち、本発明によると、距離差に応じて輪郭強調を弱めることで、自然な画像が得られる。

好ましくは、画像処理装置は、撮影モードを設定するモード設定部を備え、輪郭強調処理部は、モード設定部の設定した撮影モードに応じて合焦被写体までの距離と周辺被写体までの距離との差に応じた強度の輪郭強調処理を周辺被写体に実施する。

好ましくは、輪郭強調処理部は、モード設定部の設定した撮影モードが人物モードであることに応じて合焦被写体よりも弱い強度の輪郭強調処理を周辺被写体に実施する。

すなわち、人物モードの場合は人物に近い被写体の輪郭強調を弱めることで、相対的に人物を強調し、人物モードに相応しい画像を得ることができる。

好ましくは、輪郭強調処理部は、モード設定部の設定した撮影モードが風景モードであることに応じて合焦被写体と同一の強度の輪郭強調処理を周辺被写体に実施する。

すなわち、風景モードの場合は近距離に合焦した場合も遠景の輪郭強調を弱めないことで遠景の画質を向上させ、風景モードに相応しい画像を得ることができる。

好ましくは、画像処理装置は、画像データに所定の合焦領域を設定する合焦領域設定部と、合焦領域設定部の設定した所定の合焦領域と画像データの中央部との間の画像データ上での位置の差異を判定する判定部と、を備え、輪郭強調処理部は、判定部が判定した差異に応じて、画像データの中央部以外の領域より弱い強度の輪郭強調処理を画像データの中央部に実施する。

すなわち、画面中心はレンズ性能がよいので、画像データの中央部の輪郭強調を弱めることで、画像全体のバランスをとることができる。

輪郭強調処理部は、ズームレンズの焦点距離に応じた強度の輪郭強調処理を画像データの中央部に実施する。

すなわち、ズームレンズの焦点距離に応じて画面中央のレンズ性能が変化することを考慮し、ズームの焦点距離に応じて画面中央の輪郭強調の強度を変え、画像全体のバランスをとることができる。

距離算出部は、画像データの全体を実質的に被覆する領域のデフォーカス量に基づいて被写体までの距離を算出し、合焦制御部は、所定の合焦領域のデフォーカス量に基づいて撮像レンズの位置を制御する。

ここで、画像データの全体を実質的に被覆する領域とは、画像データの全体を完全に隙間なく覆っていることを意味せず、画像データを密にあるいは粗に覆うことを含む。

本発明は、画像処理装置が、撮像レンズを介して結像された被写体を撮像素子により光電変換することで得られた画像データを入力するステップと、被写体までの距離を算出するステップと、算出した距離に応じた強度の輪郭強調処理を、入力した画像データに対して実施するステップと、を実行する画像処理方法を提供する。

本発明は、この画像処理方法を画像処理装置に実行させるための画像処理プログラムを提供する。

この発明によると、被写体までの距離に応じた強度の輪郭強調処理が実施される。従って、例えば、合焦被写体に比して距離の差が大きい被写体すなわちピントの大きくずれた被写体に対する輪郭強調処理を弱め、自然な画像を得ることができる。

撮像装置（デジタルカメラ）の実施の形態を示すブロック図 ＣＣＤの構成例を示す図（ベイヤ型配列の例） ＣＣＤの構成例を示す図（ベイヤ型配列の他の例） ＣＣＤの構成例を示す図（ハニカム型配列の例） ＣＣＤの要部拡大図 ＣＣＤの断面を模式的に示した図 焦点状態と位相差検出用の画素Ａ、画素Ｂの出力（位相差）との関係を示す図 他のＣＣＤの構成例を示す図 第１実施形態の撮影処理のフローチャート 第２実施形態の撮影処理のフローチャート 第３実施形態の撮影処理のフローチャート 第４実施形態の撮影処理のフローチャート 撮像レンズの像高の例を示す図 第５実施形態の撮影処理のフローチャート

以下、添付図面に従って本発明に係る撮像装置の実施の形態について説明する。

＜第１実施形態＞
［撮像装置の全体構成］
図１は本発明に係る撮像装置（デジタルカメラ）１０の実施の形態を示すブロック図である。

このデジタルカメラ１０は、撮像した画像を不揮発性記憶媒体、好ましくはメモリカード５４その他の可搬性記憶媒体に記録するもので、カメラ全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。ＣＰＵ４０の実行するプログラムやその実行に必要なパラメータ、例えばフォーカス領域の座標などは、ＲＯＭ５３などの不揮発性記憶媒体に記憶されている。ＣＰＵ４０は撮影処理などのプログラムを実行する際のバッファとして、メモリ（ＳＤＲＡＭ）４８やＶＲＡＭ５０などの揮発性記憶媒体を利用する。

デジタルカメラ１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキーなどを含む操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいてデジタルカメラ１０の各回路を制御し、例えば、撮像準備（ズームレンズ駆動制御、ＡＦ、ＡＥ）および本撮像（記録用画像データの取得）を含む撮像制御、画像処理制御、画像データの記録／再生制御、表示部３０の表示制御などを行う。なお、操作部３８はボタンやキーのみで構成する必要はなく、ボタンやキーの等価物、例えばタッチパネル、音声センサ、視線センサといった各種のユーザインターフェースでも構成されうる。

操作部３８のシャッタボタンは、撮像開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、静止画を撮像するオート撮像モード（通常撮影モード）、マニュアル撮像モード、人物、風景、夜景等のシーンポジション、および動画を撮像する動画モードのいずれかを選択する撮像モードの選択手段である。

再生ボタンは、撮像記録した静止画または動画を液晶モニタや有機ＥＬ（エレクトロルミネセンス）ディスプレイなどで構成された表示部３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、表示部３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定および実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮像時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。

撮像モード時において、被写体を示す画像光は、撮像レンズ１２、絞り１４を介して固体撮像素子１６の受光面に結像される。以下、固体撮像素子１６はＣＣＤとするが、ＣＭＯＳなどでもよい。撮像レンズ１２はフォーカスレンズおよびズームレンズを含む。これらのレンズは、ＣＰＵ４０によって制御されるレンズ駆動部３６によって光軸方向に駆動され、合焦位置の検出と当該検出された合焦位置へのフォーカスレンズ移動を行うフォーカス制御、操作部３８からの指示に応じて焦点距離をテレ（望遠）側またはワイド（広角）側に変化させるズーム制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値Ｆ2.8 〜Ｆ11まで１ＡＶ刻みで５段階に絞り制御される。

また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、撮像制御部３２を介してＣＣＤ１６での電荷蓄積時間（シャッタスピード）や、ＣＣＤ１６からの画像信号の読み出し制御等を行う。

なお、図１の各ブロックの全てが１つの撮像装置に一体化されている必要はなく、それらの全部または一部が各々独立した複数の装置に組み込まれていてもよい。例えば、撮像レンズ１２、絞り１４、固体撮像素子１６、撮像制御部３２、絞り駆動部３４、レンズ駆動部３６、アナログ信号処理部１８、Ａ／Ｄ変換部２０、画像入力コントローラ２２などの画像データの取得に関する各ブロック（撮像部）と、ＶＲＡＭ５０、メモリ４８、デジタル信号処理部２４などの取得された画像データに対する画像処理に関する各ブロック（画像処理部）とは、必ずしも一体の装置に構成されなくてもよい。撮像部を外付け用カメラユニットとし、撮像部以外のブロックは、当該カメラから画像信号などを通信可能な画像処理部としてもよい。

図２は本発明に係るＣＣＤ１６の構成例を示す図である。図２（ａ）および（ｂ）はベイヤ型配列、図２（ｃ）はハニカム型配列の一例である。

図２（ａ）に示すように、ＣＣＤ１６は、マトリクス状に配列された偶数ラインの画素群と、奇数ラインの画素群とを有しており、これらの２つの画素群にてそれぞれ光電変換された２面分の画像信号は、後述するように独立して読み出すことができるようになっている。各画素群に対応する複数の受光素子は、有効な撮像信号を得るための有効画素領域と、黒レベルの基準信号を得るためのオプティカルブラック領域（以下「ＯＢ領域」という）とを形成する。ＯＢ領域は、実際には、有効画素領域の周囲を取り囲むように形成される。位相差検出用の画素群は有効画素領域の全体に渡って配列されていれば足り、ＯＢ領域には配列されなくてもよい。

図２（ａ）に示すように、ＣＣＤ１６はＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素を有する。偶数ライン（０、２、４、…）には、ＧＢＧＢ…の画素が配列される。一方、奇数ライン（１、３、５、…）には、ＲＧＲＧＲＧ…の画素が配列される。偶数ラインの画素は、奇数ラインの画素に対して画素同士が２分の１ピッチだけライン方向に沿って左または右に交互にずれて配置されている。

また、偶数ラインの画素は、位相差検出用の画素として構成されている。即ち、図３に示すように、偶数ラインの位相差検出用の画素では、光電変換素子（フォトダイオード）ＰＤの中心と、その上方に設けられたマイクロレンズＬ１の中心とがずれている。一方、奇数ラインの通常の画素では、光電変換素子（フォトダイオード）ＰＤの中心と、その上方に設けられたマイクロレンズＬ２の中心とが一致している。またマイクロレンズＬ１は、マイクロレンズＬ２よりも小さいものとなっている。

また、図２および図３上で符号Ａ、Ｂで区別されているように、位相差検出用の画素は、フォトダイオードＰＤに対してマイクロレンズＬ１が左にずれているもの（画素Ａ）と、右にずれているもの（画素Ｂ）との２種類の画素を有している。位相差検出用の各画素Ａ・Ｂは同一色のカラーフィルタを備え、好ましくはＧ（緑）のカラーフィルタを備える。

図４は上記ＣＣＤ１６の断面を模式的に示したものである。図４に示すように通常の画素は、撮像レンズ１２の射出瞳を通過する光束の受光方向の制限を受けないようにマイクロレンズＬ２によりフォトダイオードＰＤ上に集光されているが、位相差検出用の画素は、撮像レンズ１２の射出瞳を通過する光束の受光方向の制限を受けるようにマイクロレンズＬ１とフォトダイオードＰＤとが配置されており、画素Ａと画素Ｂとでは、光束の受光方向の制限方向が異なる。

従って、図５に示すように後ピン、合焦、前ピンの状態に応じて画素Ａと画素Ｂの出力は、位相がずれるかまたは位相が一致する。上記位相差検出用の画素Ａ，Ｂの出力信号の位相差は撮像レンズ１２のデフォーカス量に対応するため、この位相差を検出することにより撮像レンズ１２のＡＦ制御を行うことができる。なお、詳細は省略するが、図２（ａ）と同様、図２（ｂ）および（ｃ）のような画素配列の場合でも、同一色のカラーフィルタを備えた位相差検出用の画素ＡおよびＢのフォトダイオードＰＤの中心に対するマイクロレンズの中心を左または右に交互にずらして配列することにより、位相差を検出することができる。さらに、位相差検出用の画素ＡおよびＢは、密に配列されてもよいし、粗に配列されてもよい。

この位相差は、所定のフォーカス領域に含まれる小領域の各々について算出されるだけでなく、有効画素領域の全体を実質的に被覆する複数の小領域の各々について算出される。有効画素領域の全体を実質的に被覆する複数の小領域とは、有効画素領域の全体を完全に覆っている必要はなく、フォーカス領域を除く有効画素領域の全体に渡って密にあるいは粗に配列されていればよい。例えば、特許文献８のように、有効画素領域をマトリクス状に所定の単位（例えば８×８画素）、あるいはそれ以下（例えば１×１画素）、あるいはそれ以上（例えば１０×１０画素）で分割した分割領域の各々について位相差が算出される。あるいは、有効画素領域の外縁を起点に所定のピッチ（例えば分割領域１つ分、あるいはそれ以上、あるいはそれ以下）を隔てた所定の単位の分割領域ごとに位相差が算出される。要するに位相差は有効画素領域の全体に渡って算出されるものとするが、必ずしも有効画素領域を構成する小領域の全てについて算出されなくてもよい。

なお、位相差検出用の画素Ａ，Ｂは、図３および図４に示したようにマイクロレンズＬ２をずらして構成する場合に限らず、マイクロレンズに対してフォトダイオードＰＤの位置をずらすようにしてもよく、また、図６に示すように２つのフォトダイオードＰＤ上に１つのマイクロレンズＬ３を設け、この２つのフォトダイオードＰＤをそれぞれ画素Ａ，Ｂとしてもよい。

図１に戻って、ＣＣＤ１６に蓄積された信号電荷は、撮像制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。ＣＣＤ１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。

なお、ＣＣＤ１６からは偶数ラインの１画面分（Ａ面）の画像信号が読み出され、続いて奇数ラインの１画面分（Ｂ面）の画像信号が読み出され、Ａ面、Ｂ面の画像信号は、後述するように適宜画像処理される。

デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するＡ面およびＢ面の画像信号に対して、オフセット処理、ホワイトバランス補正処理、感度補正処理、ゲイン・コントロール処理、ガンマ補正処理、ノイズ低減処理といった補正処理と、当該補正処理後のＡ面およびＢ面の画像信号の合成処理、当該合成処理されたＡ面・Ｂ面の画像信号である合成画像に対するＹＣ処理、ＹＣ処理で得られたＹ信号（輝度信号）に対する輪郭強調等が行われる。

特許文献９と同様、デジタル信号処理部２４の輪郭強調処理は、次の処理を含みうる。輪郭補正処理では、まず合成画像から輪郭成分を抽出する。輪郭成分の抽出は、例えば合成画像の輝度を表す輝度信号Ｙに対し、帯域通過フィルタ（ＢＰＦ）や高域通過フィルタ（ＨＰＦ）等のフィルタリング処理を行うことで実現できる。これにより、処理対象の画像データが表す原画像上の各部分（各画素位置）における輪郭成分の強度を表す輪郭成分データが得られる。輪郭成分データが表す原画像上の各部分の輪郭成分の強度は、原画像上の各部分におけるフィルタ演算を行う単位領域（例えば３×３画素の領域、あるいはそれ以上またはそれ以下の領域、例えば位相差の算出単位となる分割領域と同一の領域）内のコントラスト（輝度のレベル差）に依存し、コントラストが小さい部分では輪郭成分の強度も小さくなり、コントラストが大きい部分では輪郭成分の強度も大きくなる。

次に、デジタル信号処理部２４は、ＣＰＵ４０からの制御に従ってＲＯＭ５３に予め記憶されている変換特性情報を読み出す。上記の変換特性情報は、複数の種類存在する。ここでは、ＲＯＭ５３は、第１ないし第４の変換特性情報を記憶する。変換特性情報は、変換特性を関数によって規定する情報であるが、これに代えてＬＵＴに設定する変換データでもよい。

第１の変換特性情報は、入力されたデータの値が大きくなるに従って、入力データの値の変化に対する出力データの値の変化の傾き（この傾きは輪郭成分の強度変換におけるゲインに相当する）が小さくなるように定められた変換特性を規定する。

また、第２の変換特性情報は、各周辺領域の画像データに対応する合焦被写体との距離差の値が大きくなるに従って、入力データの値の変化に対する出力データの値の変化の傾きが小さくなるように定められた変換特性を規定する。例えば、第２の変換特性情報は、周辺領域の画像データに対する輪郭強調の強度（ゲイン）＝（当該周辺領域内の被写体の距離情報−所定のフォーカス領域内の被写体の距離情報）×α（所定の定数）を規定する。

また、第３の変換特性情報は、入力されたデータの値が大きくなるに従って、入力データの値の変化に対する出力データの値の変化の傾きが小さくなるように定められた変換特性を規定する。ただし、第３の変換特性情報の傾きは第１の変換特性情報の傾きよりも小さく、輪郭強調の強度が弱いものとする。第３の変換特性情報の傾きは０でもよい。

また、第４の変換特性情報は、周辺領域の画像データに対応する撮像レンズ１２の焦点距離が小さくなるに従って（画角が広角側から望遠側に遷移するに従って）、入力データの値の変化に対する出力データの値の変化の傾きが小さくなるように定められた変換特性を規定する。

デジタル信号処理部２４は、読み出した変換特性情報に基づいて、輪郭成分データが表す輪郭成分の強度を変換する。これにより、原画像の各部分における輪郭成分の強度（各部分のコントラスト）に応じて各部分の輪郭強調の度合い（ゲイン）が変化することになる。

デジタル信号処理部２４の処理で得られたＹＣ信号からなる画像データは、ＶＲＡＭ５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の画像を表す画像データを記憶するＸ領域とＹ領域とが含まれている。ＶＲＡＭ５０において１コマ分の画像を表す画像データがＸ領域とＹ領域とで交互に書き換えられる。ＶＲＡＭ５０のＸ領域およびＹ領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。ＶＲＡＭ５０から読み出された画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている表示部３０に出力され、これにより被写体像が表示部３０の表示画面上に表示される。

また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、ＡＦ動作およびＡＥ動作が開始する。即ち、Ａ／Ｄ変換器２０から出力される画像データのうちのＢ面の画像データ（位相差検出用の画素の出力信号）がＡＦ検出部４２に取り込まれる。ＡＦ検出部４２は、Ｂ面の画像データの所定のフォーカス領域内の画素Ａの画像データと画素Ｂの画像データとの位相差を検出し、この位相差を示す情報をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＦ検出部４２から入力する位相差情報に基づいてデフォーカス量を求め、このデフォーカス量が０になるようにレンズ駆動部３６を介して撮像レンズ１２に含まれるフォーカスレンズの位置を制御する。

ただし、ＡＦ検出部４２は、Ｂ面の画像データの所定のフォーカス領域以外の領域の画素Ａの画像データと画素Ｂの画像データとの位相差を検出し、この位相差を示す情報をＣＰＵ４０に出力することもできる。

所定のフォーカス領域の位置は、ＣＰＵ４０により設定される。例えば、ＣＰＵ４０は、操作部３８から「通常撮影モード」または「風景モード」が設定された場合、予めＲＯＭ５３に記憶された座標情報に基づいて設定された位置、例えば画面中央部の矩形領域（例えば画面中心点の座標を囲む１６×１６画素の矩形領域）を所定のフォーカス領域に設定する。あるいは、ＣＰＵ４０は、操作部３８から「人物撮影モード」が設定された場合、顔検出部４６により検出された顔領域を所定のフォーカス領域に設定する。あるいはＣＰＵ４０は、操作部３８を介してユーザにより適宜指示された領域を所定のフォーカス領域に設定してもよい。ＣＰＵ４０による所定のフォーカス領域の設定は、操作部３８を介した撮像モードの選択と連動していてもよいし、連動していなくてもよい。

顔検出部４６での顔検出は、撮像画像内で所定の対象領域の位置を移動させながら、対象領域の画像と、ＲＯＭ５３に予め記憶された顔画像テンプレート（顔画像の特徴量）とを照合して両者の相関を調べ、相関スコアが予め設定された閾値を越えると、その対象領域を顔領域として検出する。その他、顔検出方法には、エッジ検出または形状パターン検出による顔検出方法、色相検出または肌色検出による顔検出方法等の公知の方法を利用することができる（例えば特許文献１１を参照）。

また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。ＡＥ検出部４４では、画面全体のＧ信号を積算し、または画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、または顔検出部４６により検出された顔領域のＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮像Ｅｖ値）を算出し、この撮像Ｅｖ値に基づいて絞り１４の絞り値およびＣＣＤ１６の電子シャッタ（シャッタスピード）をＲＯＭ５３の所定のプログラム線図に従って決定し、その決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御するとともに、決定したシャッタスピードに基づいて撮像制御部３２を介してＣＣＤ１６での電荷蓄積時間を制御する。

ＡＥ動作およびＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力されるＡ面およびＢ面の画像データが画像入力コントローラ２２からメモリ４８に入力し、一時的に記憶される。以下、シャッタボタンの全押しに応じた画像データの取得を本撮像と呼ぶ。

Ａ面およびＢ面の画像データは、メモリ４８から読み出され、デジタル信号処理部２４において補正処理、画像合成処理、合成された画像データの輝度データおよび色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、デジタル信号処理部２４にて、後述する輪郭強調処理が施された後、再びメモリ４８に記憶される。続いて、ＹＣデータは圧縮伸長処理部２６に出力され、JPEG （joint photographic experts group）などの所定の圧縮処理が実行される。圧縮されたＹＣデータは、再びメモリ４８に出力されて記憶されたのち、メディア・コントローラ５２によって読み出され、メモリカード５４に記録される。

［撮像動作］
次に、上記構成のデジタルカメラ１０による撮像時の動作について説明する。

図７は本発明に係る撮像装置（デジタルカメラ１０）の撮影処理を示すフローチャートである。この処理はＣＰＵ４０によって制御される。この処理をＣＰＵ４０に実行させるためのプログラムはＲＯＭ５３などの不揮発性記憶媒体に記憶されている。

図７において、ＣＰＵ４０は、操作部３８のシャッタボタンが半押し（Ｓ１がＯＮ）されたか否かを判別する。シャッタボタンのＳ１がＯＮされると、ＣＰＵ４０は、位相差検出用の画素の信号が含まれているＢ面の画像データの読み出しを行わせ、読み出した画像データにより位相差ＡＦ処理およびＡＥ処理を行う。

即ち、Ｓ１では、ＣＰＵ４０は、ＡＥ検出部４４を制御してＧ信号の積算を行わせ、その積算値に基づいてシャッタスピード、絞り値等の撮像条件を決定する。

Ｓ２では、ＣＰＵ４０は、ＡＦ検出部４２を制御して、所定のフォーカス領域内に含まれる小領域の画素Ａの画像データと画素Ｂの画像データとの間の位相差の検出を行わせ、この位相差情報に基づいて所定のフォーカス領域内のデフォーカス量を求める。

Ｓ３では、ＣＰＵ４０は、ＳＤＲＡＭ４８の主要デフォーカス量が０になるようにレンズ駆動部３６を介して撮像レンズ１２を制御し、所定のフォーカス領域内の被写体に撮像レンズ１２を合焦させる。なお、撮像レンズ１２の配置によっては、主要デフォーカス量が０になることが合焦状態を意味するとは限らない。

ＣＰＵ４０は、撮像レンズ１２を合焦させたとき、所定のフォーカス領域内の画素Ａの画像データと画素Ｂの画像データとの間の位相差情報を主要位相差情報としてＳＤＲＡＭ４８に記憶する。

またＣＰＵ４０は、撮像レンズ１２を合焦させたとき、ＡＦ検出部４２を制御して、所定のフォーカス領域以外の有効画素領域に含まれる小領域である周辺領域の画素Ａの画像データと画素Ｂの画像データとの間で位相差の検出を行わせ、この各周辺領域の位相差情報を周辺位相差情報としてＳＤＲＡＭ４８に記憶する。

Ｓ４では、ＣＰＵ４０は、シャッタボタンのＳ２がＯＮされたと判別されると、Ｓ１のＡＥ処理にて設定したシャッタ速度および絞り値と、Ｓ２のＡＦ処理で設定された合焦レンズ位置とに応じた撮像条件で本撮像を行わせる。

Ｓ５では、ＣＰＵ４０は、この本撮像により取得されたＣＣＤ１６のＡ面・Ｂ面の画像データをＶＲＡＭ５０に取得し、これらのＡ面・Ｂ面の画像データの補正処理、合成処理、ＹＣ処理を行うようデジタル信号処理部２４を制御する。

Ｓ６では、ＣＰＵ４０は、ＳＤＲＡＭ４８の主要位相差情報から、所定のフォーカス領域内の被写体までの距離を示す主要距離情報を得る。また、ＣＰＵ４０は、ＳＤＲＡＭ４８の周辺位相差情報から、各周辺領域内の被写体までの距離を示す距離情報を得る。これは特許文献８のように位相差が距離情報に依存することに基づいて算出しうる。

ＣＰＵ４０は、各周辺領域に対応する距離情報と主要距離情報とから、所定のフォーカス領域内の被写体である合焦被写体と各周辺領域内の被写体である周辺被写体との距離差を周辺領域ごとに算出し、各周辺領域に対応する距離差をＳＤＲＡＭ４８に記憶する。なお、上記距離差が算出可能であるならば、所定のフォーカス領域内の被写体に撮像レンズ１２を合焦させる方式はＴＴＬ位相差検出方式に限らず、外部パッシブ方式、アクティブ方式などを採用してもよい。あるいは、ＣＰＵ４０は、合焦方式とは無関係な方式で被写体距離を算出してもよい。例えば、ＣＰＵ４０は、異なる位置に設けられた２台以上の撮像部を用いて被写体を撮像し、これにより取得された複数の画像（基準カメラによる基準画像および参照カメラによる参照画像）の間で対応する画素である対応点を探索し（ステレオマッチング）、互いに対応する基準画像上の画素と、参照画像上の画素との位置の差（視差）を算出し、視差に三角測量の原理を適用することにより、基準カメラまたは参照カメラから当該画素に対応する被写体上の点までの距離を計測してもよい。

そして、ＣＰＵ４０は、各周辺領域に対応する距離差が所定の閾値（例えば被写界深度の３倍、すなわち合焦被写体の周辺にボケが生じる限界）未満であるか否かを、周辺領域ごとに判断する。Ｙｅｓの場合はＳ７、Ｎｏの場合はＳ８に進む。

Ｓ７では、ＣＰＵ４０は、ＲＯＭ５３に記憶されている第１の変換特性情報に基づいて、ＶＲＡＭ５０に記憶された本撮像後のＹＣデータのうち、所定のフォーカス領域の輪郭成分データが表す輪郭成分の強度と、上記距離差が所定の閾値未満の周辺領域の輪郭成分データが表す輪郭成分の強度とを変換し、これらの領域に輪郭強調を施すようデジタル信号処理部２４を制御する。

Ｓ８では、ＣＰＵ４０は、ＲＯＭ５３に記憶されている第２の変換特性情報に基づいて、本撮像後のＹＣデータのうち、上記距離差が所定の閾値以上の周辺領域の輪郭成分データが表す輪郭成分の強度を変換し、輪郭強調を施すようデジタル信号処理部２４を制御する。

Ｓ９では、ＣＰＵ４０は、Ｓ７またはＳ８で輪郭強調が施されたＹＣデータをメモリカード５４に記録するよう圧縮伸長処理部２６およびメディア・コントローラ５２を制御する。

以上の処理によると、所定のフォーカス領域内の合焦被写体までの距離と、所定のフォーカス領域以外の各周辺領域内の被写体までの距離との差に基づいて、輪郭強調の度合いを変化させる。このため、ピントのあっていない被写体に過剰に輪郭強調が施されることが防がれ、自然な画像が得られる。

＜第２実施形態＞
図８は第２実施形態に係る撮影処理を示すフローチャートである。この処理はＣＰＵ４０によって制御される。この処理をＣＰＵ４０に実行させるためのプログラムはＲＯＭ５３に記憶されている。

Ｓ１０〜Ｓ１５はそれぞれＳ１〜Ｓ６と同様である。ただし、Ｓ１５にてＹｅｓと判定された場合はＳ１６、Ｎｏと判定された場合はＳ１７に進む。

Ｓ１６はＳ７と同様である。

Ｓ１７では、ＣＰＵ４０は操作部３８を介して設定された撮像モードが人物モードであるか否かを判断する。Ｙｅｓの場合はＳ１８、Ｎｏの場合はＳ１９に進む。なお、このＳ１７の判断をＳ１５よりも先に行った上、Ｙｅｓの場合はＳ１８に進み、Ｎｏの場合はＳ１５を実施した上で、Ｓ１６またはＳ１９に進んでもよい。

Ｓ１８では、ＣＰＵ４０は、ＲＯＭ５３に記憶されている第３の変換特性情報に基づいて、本撮像後のＹＣデータのうち、上記距離差が所定の閾値以上の周辺領域の輪郭成分データが表す輪郭成分の強度を変換し、輪郭強調を施すようデジタル信号処理部２４を制御する。第３の変換特性情報の傾きが０の場合は、本撮像後のＹＣデータの周辺領域に対する輪郭強調が停止する。

Ｓ１９、Ｓ２０はそれぞれＳ８、Ｓ９と同様である。

以上の処理によると、人物モードが設定された場合は、人物に近い周辺領域に対する輪郭強調が弱められるため、相対的に被写体人物の輪郭が強調される。

＜第３実施形態＞
図９は第３実施形態に係る撮影処理を示すフローチャートである。この処理はＣＰＵ４０によって制御される。この処理をＣＰＵ４０に実行させるためのプログラムはＲＯＭ５３に記憶されている。

Ｓ２１〜Ｓ２６はＳ１〜Ｓ６と同様である。ただし、Ｓ２６にてＹｅｓと判定された場合はＳ２７、Ｎｏと判定された場合はＳ２８に進む。

Ｓ２７はＳ７と同様である。

Ｓ２８では、ＣＰＵ４０は操作部３８を介して設定された撮像モードが風景モードであるか否かを判断する。Ｙｅｓの場合はＳ２７、Ｎｏの場合はＳ２９に進む。なお、このＳ２８の判断をＳ２６よりも先に行った上、Ｙｅｓの場合はＳ２７に進み、Ｎｏの場合はＳ２６を実施した上でＳ２７またはＳ２９に進んでもよい。

Ｓ２９、Ｓ３０はそれぞれＳ８、Ｓ９と同様である。

以上の処理によると、風景モードが設定された場合は、上記距離差が所定の閾値未満であっても、設定値の輪郭強調が施されるため、風景の解像度が高まる。

＜第４実施形態＞
図１０は第４実施形態に係る撮影処理を示すフローチャートである。この処理はＣＰＵ４０によって制御される。この処理をＣＰＵ４０に実行させるためのプログラムはＲＯＭ５３に記憶されている。

Ｓ３１〜Ｓ３６はＳ１〜Ｓ６と同様である。ただし、Ｓ３６にてＹｅｓと判定された場合はＳ３７、Ｎｏと判定された場合はＳ３８に進む。

Ｓ３７、Ｓ３８はそれぞれＳ７、Ｓ８と同様である。

Ｓ３９では、ＣＰＵ４０は、ＣＰＵ４０がＡＦ動作のために設定した所定のフォーカス領域の代表点（当該フォーカス領域の中心点など）の座標を算出するとともに、当該ＹＣデータの中心点の座標を算出する。ＣＰＵ４０は、当該代表点の座標および当該中心点の座標の間の距離である変位距離を算出する。ＣＰＵ４０は、当該変位距離が所定の閾値未満であるか否かを判断する。Ｙｅｓと判定された場合はＳ４１、Ｎｏと判定された場合はＳ４０に進む。この所定の閾値は、撮像レンズ１２のレンズ収差などの結像性能に応じて設定され、具体的には撮像レンズ１２の像高６割（図１１参照）が設定される。

Ｓ４０では、ＣＰＵ４０は、画面中央部の領域（例えば中心点の座標を囲む１６×１６画素の矩形領域）の輪郭強調の強度をＳ３８よりも下げた輪郭強調処理を実施するようデジタル信号処理部２４を制御する。

Ｓ４１はＳ９と同様である。

以上の処理によると、フォーカス領域の代表点が画面中心に近いか画面の周縁領域にあるかが判断され、その判断結果に応じて輪郭強調の度合いが変化する。すなわち、画面中心部はレンズ性能がよいので、フォーカス領域が画面の周縁領域にあれば、画面中心部の輪郭強調の度合いを弱めて、画像の全体のバランスがとられる。

＜第５実施形態＞
図１２は第５実施形態に係る撮影処理を示すフローチャートである。この処理はＣＰＵ４０によって制御される。この処理をＣＰＵ４０に実行させるためのプログラムはＲＯＭ５３に記憶されている。

Ｓ５１〜Ｓ５９はＳ３１〜Ｓ３９と同様である。

Ｓ６０では、ＣＰＵ４０は、ＲＯＭ５３に記憶されている第４の変換特性情報に基づいて、本撮像後のＹＣデータのうち、画面中央部の輪郭成分データが表す輪郭成分の強度を変換し、輪郭強調を施すようデジタル信号処理部２４を制御する。つまり、ＣＰＵ４０は、撮像レンズ１２の撮影画角がワイド側からテレ側に遷移するに従って、画面中央部の輪郭強調の程度をＳ５８よりも下げる。

すなわち、Ｓ５８において画面中央部の一部または全部の輪郭成分データに輪郭強調が施されている場合、Ｓ６０では、その輪郭強調の程度よりもさらに低い程度の輪郭強調を焦点距離に応じて施す。つまり、画面中央部の一部または全部が周辺領域である場合は、その部分についてはさらに低い程度の輪郭強調を施す。

特許文献１０に示されるように、撮像レンズ１２の焦点距離（画角）がワイド側からテレ側に遷移するに従って、画面中央部の光学性能と画面周辺部の光学性能の差が低下し両者の光学性能が均一化する。本処理では、ズームレンズがワイド側に存在する場合はテレ側に存在する場合よりも画面中央部の輪郭強調の度合いを下げるため、フォーカス領域の輪郭強調と画面中央部の輪郭強調とのバランスをとることができる。

１０…撮像装置（デジタルカメラ）、１２…撮像レンズ、１６…固体撮像素子、２４…デジタル信号処理部、３０…表示部、３２…撮像制御部、３６…レンズ駆動部、３８…操作部、４０…中央処理装置（ＣＰＵ）、４２…ＡＦ検出部、４４…ＡＥ検出部、４６…顔検出部、４８…メモリ、５４…メモリカード

Claims (10)

1. 撮像レンズを介して結像された被写体を撮像素子により光電変換することで得られた画像データを入力する入力部と、
   前記被写体までの距離を算出する距離算出部と、
   前記距離算出部の算出した距離に応じた強度の輪郭強調処理を、前記入力部の入力した画像データに対して実施する輪郭強調処理部と、
   前記画像データの所定の合焦領域に存在する被写体に合焦するよう前記撮像レンズの位置を制御する合焦制御部と、
   前記画像データに所定の合焦領域を設定する合焦領域設定部と、
   前記合焦領域設定部の設定した所定の合焦領域と前記画像データの中央部との間の前記画像データ上での位置の差異を判定する判定部と、
   を備え、
   前記距離算出部は、前記画像データの所定の合焦領域に存在する被写体である合焦被写体までの距離と前記合焦被写体以外の被写体である周辺被写体までの距離との差を算出し、
   前記輪郭強調処理部は、前記合焦被写体までの距離と前記周辺被写体までの距離との差に応じた強度の輪郭強調処理を前記周辺被写体に実施し、かつ、前記判定部が判定した前記差異に応じて、前記距離算出部の算出した距離に応じた強度より弱い強度の輪郭強調処理を前記画像データの中央部に実施する画像処理装置。
2. 前記輪郭強調処理部は、前記合焦被写体までの距離と前記周辺被写体までの距離との差が大きくなるにつれて強度を弱めた輪郭強調処理を前記周辺被写体に実施する請求項１に記載の画像処理装置。
3. 撮影モードを設定するモード設定部を備え、
   前記輪郭強調処理部は、前記モード設定部の設定した撮影モードに応じて前記合焦被写体までの距離と前記周辺被写体までの距離との差に応じた強度の輪郭強調処理を前記周辺被写体に実施する請求項１または２に記載の画像処理装置。
4. 前記輪郭強調処理部は、前記モード設定部の設定した撮影モードが人物モードであることに応じて前記合焦被写体よりも弱い強度の輪郭強調処理を前記周辺被写体に実施する請求項３に記載の画像処理装置。
5. 前記輪郭強調処理部は、前記モード設定部の設定した撮影モードが風景モードであることに応じて前記合焦被写体と同一の強度の輪郭強調処理を前記周辺被写体に実施する請求項３に記載の画像処理装置。
6. 前記合焦領域設定部は、前記モード設定部の設定した撮影モードに応じて前記所定の合焦領域の位置を設定する請求項３〜５のいずれかに記載の画像処理装置。
7. 前記輪郭強調処理部は、前記撮像レンズに含まれるズームレンズの焦点距離に応じた強度の輪郭強調処理を前記画像データの中央部に実施する請求項１〜６のいずれかに記載の画像処理装置。
8. 前記距離算出部は、前記画像データの全体を実質的に被覆する領域のデフォーカス量に基づいて前記被写体までの距離を算出し、
   前記合焦制御部は、前記所定の合焦領域のデフォーカス量に基づいて前記撮像レンズの位置を制御する請求項１〜７のいずれかに記載の画像処理装置。
9. 画像処理装置が、
   撮像レンズを介して結像された被写体を撮像素子により光電変換することで得られた画像データを入力するステップと、
   前記被写体までの距離を算出するステップと、
   前記算出した距離に応じた強度の輪郭強調処理を、前記入力した画像データに対して実施するステップと、
   前記画像データの所定の合焦領域に存在する被写体に合焦するよう前記撮像レンズの位置を制御するステップと、
   前記画像データに所定の合焦領域を設定するステップと、
   前記設定した所定の合焦領域と前記画像データの中央部との間の前記画像データ上での位置の差異を判定するステップと、
   前記画像データの所定の合焦領域に存在する被写体である合焦被写体までの距離と前記合焦被写体以外の被写体である周辺被写体までの距離との差を算出するステップと、
   前記合焦被写体までの距離と前記周辺被写体までの距離との差に応じた強度の輪郭強調処理を前記周辺被写体に実施し、かつ、前記判定した前記差異に応じて、前記算出した距離に応じた強度より弱い強度の輪郭強調処理を前記画像データの中央部に実施するステップと、
   を実行する画像処理方法。
10. 請求項９に記載の画像処理方法を画像処理装置に実行させるための画像処理プログラム。

Images