JP2009044535A - 電子カメラ - Google Patents

Abstract

【課題】撮像素子で取得された画像の鮮鋭さを画像内で異ならせる処理を簡単にする。
【解決手段】電子カメラは、撮影光学系１を通過した被写体光束を２系統に分割し、２系統の光束がそれぞれ形成する２つの像の位相差に基づいてデフォーカス情報を検出する焦点検出手段３と、被写体光束を２系統に分割する光学系が撮像面の略全域に形成されている撮像素子３と、焦点検出手段３が検出した撮像面におけるデフォーカス情報の分布に基づいて、撮像素子３で取得される画像の鮮鋭さを異ならせる画像処理手段４とを備える。
【選択図】図１

Description

本発明は、電子カメラに関する。

被写体までの距離を計測し、距離に応じてグループ分けした撮像空間に対して異なるフィルタ処理を行う技術が開示されている（特許文献１参照）。

特開２００６−６７５２１号公報

従来技術では、赤外線などを用いて被写体までの距離が計測される。このため、撮像素子の撮像面までの距離と厳密に一致しない上、撮影画角内の全被写体に向けてそれぞれ赤外光を発しながら、各被写体までの距離を計測する必要があった。

（１）本発明による電子カメラは、撮影光学系を通過した被写体光束を２系統に分割し、２系統の光束がそれぞれ形成する２つの像の位相差に基づいてデフォーカス情報を検出する焦点検出手段と、被写体光束を２系統に分割する光学系が撮像面の略全域に形成されている撮像素子と、焦点検出手段が検出した撮像面におけるデフォーカス情報の分布に基づいて、撮像素子で取得される画像の鮮鋭さを異ならせる画像処理手段とを備えることを特徴とする。
（２）請求項１に記載の電子カメラにおいて、画像処理手段は、画像の空間周波数を変える処理、画像の輪郭強調の強さを変える処理、およびγ補正時のゲインを変える処理の少なくとも１つを行うことが好ましい。
（３）請求項２に記載の電子カメラにおいて、画像処理手段は、撮像素子で取得された画像をデフォーカス情報の大きさに応じて複数のグループに分類し、分類された画像の領域間において空間周波数、輪郭強調の強さ、およびγ補正時のゲインの少なくとも１つを異ならせることが好ましい。
（４）請求項３に記載の電子カメラにおいて、画像処理手段は、画像の中で遠景に対応する領域ほど空間周波数を低く、輪郭強調を弱く、γ補正時のゲインを低くすることもできる。

本発明による電子カメラでは、撮像素子で取得された画像の鮮鋭さを画像内で異ならせる処理が簡単になる。

以下、図面を参照して本発明を実施するための最良の形態について説明する。図１は、本発明の一実施の形態による電子カメラの要部構成を説明するブロック図である。電子カメラは、制御装置４によって制御される。

撮影レンズ１は、後述する撮像素子の撮像面上に被写体像を結像させる。測距装置兼撮像装置３は、撮像素子と、ＡＦＥ(Analog Front End)回路と、Ａ／Ｄ変換回路と、デフォーカス量演算回路とを含む。

撮像素子は、たとえば、ＣＭＯＳイメージセンサ３１（図２）によって構成される。イメージセンサ３１は被写体像を撮像し、アナログ画像信号をＡＦＥ回路へ出力する。ＡＦＥ回路は、アナログ画像信号に対するアナログ処理（指示されたＩＳＯ感度に応じた信号増幅など）を行う。ＩＳＯ感度は、制御装置４からの感度設定指示に応じて撮像感度（露光感度）を所定範囲（たとえばＩＳＯ５０相当〜ＩＳＯ１０００相当）内で変更するものである。撮像感度は、ＡＦＥ回路で行う信号増幅の増幅率を変化させる被制御量のことをいう。撮像感度値は、相当するＩＳＯ感度値で表される。Ａ／Ｄ変換回路は、アナログ処理後の画像信号をディジタル信号に変換する。ディジタル画像信号は、制御装置４内の画像処理部４ａへ出力される。

画像処理部４ａは、入力されたディジタル画像信号に対して画像処理を施す。画像処理には、たとえば、γ変換処理、輪郭強調処理、フィルタ処理や色温度調整（ホワイトバランス調整）処理、画像信号に対するフォーマット変換処理、画像圧縮・伸張処理などが含まれる。バッファメモリ４ｂは、画像処理前後および画像処理途中のデータを一時的に格納する他、記録媒体９へ記録する前の画像ファイルを格納したり、記録媒体９から読み出した画像ファイルを格納したりするために使用される。

表示回路６は、撮像画像を液晶モニタ７に表示させたり、操作メニューを液晶モニタ７に表示させるための表示データを作成する。液晶モニタ７は、上記作成された表示データによる再生画像またはメニュー画面を表示する。

制御装置４は、各ブロックから出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。操作部材８は電子カメラの操作スイッチ類を含む。操作部材８は、レリーズボタン（不図示）の押下操作に連動してオン／オフする半押しスイッチや全押しスイッチ、メニュー操作キーなど、各操作スイッチなどからの操作信号を制御装置４へ出力する。

記録媒体９は、電子カメラに対して着脱可能なメモリカードなどで構成される。記録媒体９には、制御装置４からの指示によって画像のデータおよびその情報を含む画像ファイルが記録される。記録媒体９に記録された画像ファイルは、制御装置４からの指示によって読み出しが可能である。

＜焦点検出処理＞
本実施形態の電子カメラは、イメージセンサ３１上の焦点検出領域に入射される光束を用いて、いわゆる位相差検出方式によって撮影レンズ１による焦点調節状態の検出を行う。図２は、イメージセンサ３１に形成されるフォーカス検出用の画素列を説明する図である。イメージセンサ３１が有する画素のうち、水平方向に所定の画素列ごとに設けられた画素列Ａ、画素列Ｂ、画素列Ｃ、…は通常の画素列と異なり、それぞれフォーカス検出用画素で構成される。フォーカス検出用画素には、それぞれ瞳分割用のマスキングが施されている。

具体的には、画素に対応して形成されるオンチップマイクロレンズの略半面が遮光されている。図３は、図２のフォーカス検出用画素列の微小領域３１０を拡大した図である。各画素において、左半面または右半面が交互にマスキングされる。これにより、横方向に隣接する画素間ではマスキングされた半面同士、またはマスキングされていない半面同士が隣り合う。

図４は、フォーカス検出用画素列および当該画素列に入射される光束を説明する図である。図４において、右半面がマスキングされている画素のフォトダイオードには左方向からの光束（Ａ成分と呼ぶ）が入射される。また、左半面がマスキングされている画素のフォトダイオードには右方向からの光束（Ｂ成分と呼ぶ）が入射される。

この結果、Ａ成分の光束が入射される画素群から得られる画素出力（光電変換信号値）は、撮影レンズ１の射出瞳の片半分から入射された光束による像を表し、Ｂ成分の光束が入射される画素群から得られる画素出力（光電変換信号値）は、上記射出瞳の他半分から入射された光束による像を表す。

図５は、主要被写体に対して合焦時に得られる画素出力波形を例示する図である。図５において横軸は画素位置を表し、縦軸は画素出力を表す。合焦時はイメージセンサ３１上に鮮鋭像が結ばれる状態であるため、瞳分割された光束による一対の像はイメージセンサ３１上で一致する。つまり、フォーカス検出用画素列を構成する画素群から得られるＡ成分波形およびＢ成分波形は、その形状が重なる。

図６は、主要被写体に対して非合焦時に得られる画素出力波形を例示する図である。図６において横軸は画素位置を表し、縦軸は画素出力を表す。非合焦時はイメージセンサ３１の手前で鮮鋭像を結ぶ状態、あるいはイメージセンサ３１の後ろ側に鮮鋭像を結ぶ状態であるため、瞳分割された光束による一対の像はイメージセンサ３１上では一致しない。この場合のＡ成分波形およびＢ成分波形は、合焦状態からのずれ（デフォーカス量）に応じて、Ａ成分波形とＢ成分波形の位置関係（ずれ方向およびずれ量Δｄ）が異なる。

測距装置兼撮像装置３内のデフォーカス量演算回路は、Ａ成分波形およびＢ成分波形の位置関係に基づいて撮影レンズ１による焦点位置の調節状態（デフォーカス量）を算出し、算出結果を制御装置４へ送出する。制御装置４がデフォーカス量に応じたレンズ駆動信号（レンズ駆動方向およびレンズ駆動量を指示する信号）をレンズ駆動機構５へ出力すると、レンズ駆動機構５がフォーカスレンズ２を光軸方向へ進退移動させる。これにより、ピント調節が行われる。

なお、図５および図６において例示する比較領域は、Ａ成分波形およびＢ成分波形から抽出した特徴点（たとえば極大値）を共通に含む領域である。デフォーカス量演算回路は、フォーカス検出用画素列を構成する画素群から得られるＡ成分波形およびＢ成分波形のうち、比較領域内の波形データを用いてデフォーカス量を求める。

＜位相差分布の測定＞
本実施形態の電子カメラは、イメージセンサ３１が撮像面の略全域にフォーカス検出用画素列を有することから、撮影画面の略全域でＡ成分波形とＢ成分波形の位置関係、すなわち位相差情報を取得できる。位相差情報は、Ａ成分波形およびＢ成分波形を出力する画素群上に形成される被写体像に対応する被写体までの距離（電子カメラから当該被写体までの撮影距離）に対応する。したがって、イメージセンサ３１上の所定領域ごとに位相差情報を取得すれば、撮影画面内に存在する全ての被写体までの撮影距離情報を得ることができる。

図７(a)は、撮影レンズ１がイメージセンサ３１の撮像面上に被写体７１の鮮鋭像を結ぶ状態（被写体７１に合焦）を例示する図である。図７(b)は、フォーカス検出用画素列から被写体７１の像に関して得られる画素出力波形を例示する図である。図７(b)において横軸は画素位置を表し、縦軸は画素出力を表す。合焦状態では、Ａ成分波形およびＢ成分波形間の位相差が略０になる。

図８(a)は、図７に例示したフォーカス調節状態において撮影レンズ１がイメージセンサ３１の撮像面上に被写体７２の像を結ぶ場合を例示する図である。図８(b)は、フォーカス検出用画素列から被写体７２の像に関して得られる画素出力波形を例示する図である。図８(b)において横軸は画素位置を表し、縦軸は画素出力を表す。被写体７２は被写体７１より電子カメラから離れているため、被写体７１に合焦している状態（被写体７２に非合焦の状態）ではＡ成分波形およびＢ成分波形の間に位相差が生じる。本実施形態に例示する光学系の場合、Ａ成分波形がＢ成分波形に対して右側にΔｄずれた位相差が検出される。

図９は、撮影画面の所定領域ごとに検出した位相差の分布を例示する図である。「０」は合焦した（ピント面）領域を表す。正数はピント面より遠方の被写体領域を表す。負数はピント面より近い被写体領域を表す。「−」はＡ成分波形およびＢ成分波形の特徴点を検出不能などの理由で位相差を検出できなかった領域を表す。ここで、像７１ａは被写体７１の像を表し、像７２ａは被写体７２の像を表す。

制御装置４は、図９に例示した位相差分布を用いて補間処理を施し、位相差検出されていない領域（すなわち、フォーカス検出用画素列が設けられていない画素列に対応する領域、および図９において「−」で表された領域）についての位相差情報を算出する。図１０は、補間処理後の位相差分布を例示する図である。像７１ａが被写体７１の像を表し、像７２ａが被写体７２の像を表す点は図９の場合と同様である。

＜像ぼけ付加処理＞
制御装置４は、上述した位相差分布に応じて撮影画面の領域間で異なる画像処理（たとえば、γ変換処理、輪郭強調処理、フィルタ処理）を行うことにより、画像のエッジを不鮮明にし、画像のコントラストを低下させて画像の鮮鋭度を下げる。このために制御装置４は、補間処理後の位相差分布（図１０）に基づき、撮影画面を所定数（たとえば３）の領域にグループ分けする。図１１はグループ分けした領域を例示する図である。図１１の例によれば、位相差情報が５未満の第１領域１１１と、位相差情報が５以上かつ１５未満の第２領域１１２と、位相差情報が１５以上の第３領域１１３とに３分割されている。第１領域１１１は被写体像７１ａに対応し、第２領域１１２は被写体像７２ａに対応し、第３領域１１３は被写体７１および７２より遠方の背景像に対応する。

制御装置４は、第１領域１１１における画像の鮮鋭度を最も高く、第３領域１１３における画像の鮮鋭度を最も低くすることによって画像ぼけを付加する。このために制御装置４は、以下の処理のうち少なくとも１つを行う。
［ａ］第１領域−第２領域−第３領域の順に、第３領域１１３における空間周波数の低周波数成分を多く、かつ高周波数成分を少なくするバンドパスフィルタ(BPF)処理を施す。
［ｂ］第１領域−第２領域−第３領域の順に、第３領域１１３におけるγ変換処理のゲインを弱める。
［ｃ］第１領域−第２領域−第３領域の順に、第３領域１１３における輪郭強調処理のゲインを弱める。図１２は、グループ分けした各領域ごと、各処理ごとの処理内容を例示する図である。

以上説明した電子カメラが行うカメラ処理について、図１３〜図１６のフローチャートを参照して説明する。
＜レリーズ待機処理＞
図１３は、制御装置４が実行するレリーズ待機処理の流れを説明するフローチャートである。ステップＳ１０において、制御装置４はレリーズ操作を受付けたか否かを判定する。制御装置４は、操作部材８からレリーズボタンが全押し操作されたことを示す操作信号が入力された場合、ステップＳ１０を肯定判定してステップＳ２０へ進む。制御装置４は、操作部材８からレリーズボタンが全押し操作されたことを示す操作信号が入力されない場合にはステップＳ１０を否定判定し、当該判定処理を繰り返しながらレリーズ待機を行う。

ステップＳ２０において、制御装置４は、レリーズ処理を行ってステップＳ１０へ戻る。レリーズ処理の詳細については後述する。

＜レリーズ処理＞
図１４のステップＳ２１において、制御装置４はＡＦ（オートフォーカス）処理を行ってステップＳ２２へ進む。ＡＦ処理の詳細については後述する。ステップＳ２２において、制御装置４は撮影処理を行って図１４による処理を終了する。撮影処理の詳細については後述する。

＜ＡＦ処理＞
図１５のステップＳ２１１において、制御装置４はＡＦ実施領域を決定してステップＳ２１２へ進む。制御装置４は、たとえば、操作部材８からの操作信号によって指示されているフォーカス検出領域をＡＦ実施領域とする。

ステップＳ２１２において、制御装置４は測距装置兼撮像装置３へ指示を送り、ＡＦ実施領域に対応するイメージセンサ３１の位相差検出画素列のからの信号を読み出させてステップＳ２１３へ進む。

ステップＳ２１３において、制御装置４は測距装置兼撮像装置３へ指示を送り、位相差を計測（デフォーカス量の算出）させてステップＳ２１４へ進む。ステップＳ２１４において、制御装置４は、合焦させるために必要なフォーカスレンズ駆動量を位相差から算出してステップＳ２１５へ進む。ステップＳ２１５において、制御装置４はレンズ駆動機構５へ指示を送り、フォーカスレンズ２を駆動させてステップＳ２１６へ進む。

ステップＳ２１６において、制御装置４はフォーカスレンズ２が目標位置へ到達したか否かを判定する。制御装置４は、レンズ駆動機構５からレンズ駆動が完了したことを示す信号を受けた場合にステップＳ２１６を肯定判定し、図１５による処理を終了して図１４のステップＳ２２へ進む。制御装置４は、レンズ駆動機構５からレンズ駆動が完了したことを示す信号を受けない場合にはステップＳ２１６を否定判定し、当該判定処理を繰り返しながらレンズ駆動の完了を待つ。

＜撮影処理＞
図１６のステップＳ２２１において、制御装置４は測距装置兼撮像装置３へ指示を送り、画像データを取得させてステップＳ２２２に進む。これにより、測距装置兼撮像装置３は被写体像を撮像し、イメージセンサ３１の全画素からの信号を読み出す。

ステップＳ２２２において、制御装置４は測距装置兼撮像装置３へ指示を送り、図９に例示した所定領域ごとに、対応する位相差検出用（フォーカス検出用）画素列からの信号を抽出させてステップＳ２２３へ進む。ステップＳ２２３において、制御装置４は測距装置兼撮像装置３へ指示を送り、各領域ごとの位相差分布を算出させてステップＳ２２４へ進む。補間処理を行うことにより、図１０に例示した位相差分布が得られる。

ステップＳ２２４において、制御装置４は測距装置兼撮像装置３へ指示を送り、位相差分布に応じて撮影画面をグループ分けし、ステップＳ２２５へ進む。ステップＳ２２５において、制御装置４は、ステップＳ２２１で取得した撮影画像に対し、グループ分けした領域間で異なる画像処理（γ変換処理、輪郭強調処理、フィルタ処理）を画像処理部４ａに行わせてステップＳ２２６へ進む。

ステップＳ２２６において、制御装置４は、画像処理後の画像データを含むファイルを記録媒体９に保存して図１６による処理を終了する。

以上説明した実施形態によれば、次の作用効果が得られる。
（１）電子カメラは、位相差検出ＡＦに用いる位相差検出用の画素列を含むイメージセンサ３１を備えたので、瞳分割された一対の像を、撮影画像を取得する撮像面上において取得できる。これにより、位相差検出ＡＦに用いるフォーカスセンサをイメージセンサと別に設ける場合のように、イメージセンサの撮像面とフォーカスセンサの撮像面とが厳密に一致しないことに起因するピントずれの発生を防止することができる。

（２）位相差検出用画素列をメージセンサ３１の撮像面の略全域に所定画素間隔で設けたので、撮影画面の略全域で被写体までの撮影距離情報（位相差情報）を得ることができる。従来技術と異なり、撮影画角内の全被写体までの距離を個別に計測しなくてよいので、測距に要する時間および計測処理の負担を軽減できる。

（３）撮影画像に対して行う画像処理（γ変換処理、輪郭強調処理、フィルタ処理）を、位相差情報の分布に応じて異ならせたので、撮影距離が近い被写体と遠い被写体とで異なる処理を行うことができる。たとえば３５mm版カメラに比べてイメージセンサの撮像面積が小さい電子カメラのように、実焦点距離が短いカメラは撮影画像が平面的で奥行き感に乏しいことが多い。このような場合に遠い被写体に対して像ぼけを付加すれば、画像に奥行き感を持たせることができる。

（４）撮影画面を位相差情報の分布に応じてグループ分けし、グループ分けした領域ごとに画像処理を異ならせた。グループ数を３つにする場合には３通りの画像処理を行えばよいので、３通り以上の画像処理を行う場合に比べて画像処理の負担を軽減することができる。

（変形例１）
上述したイメージセンサ３１は、位相差検出用の画素列を所定画素列ごとに設けるように説明したが、水平方向の全画素列（すなわちイメージセンサ３１の全画素）を位相差検出用の画素で構成してもよい。

（変形例２）
画像ぼけを付加するための画像処理、すなわち、画像のエッジを不鮮明にし、画像のコントラストを低下させて画像の鮮鋭度を下げる処理は、上述したγ変換処理、輪郭強調処理、フィルタ処理を少なくとも１つ行うものでもよいし、各処理を組み合わせて行うものでもよい。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。

本発明の一実施の形態による電子カメラの要部構成を説明するブロック図である。 イメージセンサに形成されるフォーカス検出用の画素列を説明する図である。 フォーカス検出用画素列の拡大図である。 フォーカス検出用画素列、および画素列に入射される光束を説明する図である。 合焦時に得られる画素出力波形を例示する図である。 非合焦時に得られる画素出力波形を例示する図である。 (a)はイメージセンサの撮像面上に鮮鋭像を結ぶ状態を例示する図である。(b)は画素出力波形を例示する図である。 (a)はイメージセンサの撮像面上に他の被写体の像を結ぶ場合を例示する図である。(b)は画素出力波形を例示する図である。 撮影画面の所定領域ごとに検出した位相差分布を例示する図である。 補間処理後の位相差分布を例示する図である。 グループ分けした領域を例示する図である。 グループ分けした各領域ごと、各処理ごとの処理内容を例示する図である。 レリーズ待機処理の流れを説明するフローチャートである。 レリーズ処理の流れを説明するフローチャートである。 ＡＦ処理の流れを説明するフローチャートである。 撮影処理の流れを説明するフローチャートである。

符号の説明

１…撮影レンズ
２…フォーカスレンズ
３…測距装置兼撮像装置
４…制御装置
４ａ…画像処理部
４ｂ…バッファメモリ
５…レンズ駆動機構
６…表示回路
７…液晶モニタ
８…操作部材

Claims (4)

1. 撮影光学系を通過した被写体光束を２系統に分割し、前記２系統の光束がそれぞれ形成する２つの像の位相差に基づいてデフォーカス情報を検出する焦点検出手段と、
   前記被写体光束を２系統に分割する光学系が撮像面の略全域に形成されている撮像素子と、
   前記焦点検出手段が検出した前記撮像面におけるデフォーカス情報の分布に基づいて、前記撮像素子で取得される画像の鮮鋭さを異ならせる画像処理手段とを備えることを特徴とする電子カメラ。
2. 請求項１に記載の電子カメラにおいて、
   前記画像処理手段は、画像の空間周波数を変える処理、画像の輪郭強調の強さを変える処理、およびγ補正時のゲインを変える処理の少なくとも１つを行うことを特徴とする電子カメラ。
3. 請求項２に記載の電子カメラにおいて、
   前記画像処理手段は、前記撮像素子で取得された画像を前記デフォーカス情報の大きさに応じて複数のグループに分類し、前記分類された前記画像の領域間において前記空間周波数、前記輪郭強調の強さ、および前記γ補正時のゲインの少なくとも１つを異ならせることを特徴とする電子カメラ。
4. 請求項３に記載の電子カメラにおいて、
   前記画像処理手段は、前記画像の中で遠景に対応する領域ほど前記空間周波数を低く、前記輪郭強調を弱く、前記γ補正時のゲインを低くすることを特徴とする電子カメラ。

Images