JP6257316B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、撮像装置およびその制御方法に関する。

コンピュテーショナルフォトグラフィ（Computational Photography）という技術を搭載した撮像装置が研究されている。コンピュテーショナルフォトグラフィは、単なる画像の輝度や色のデータのほかに、従来の撮像装置では記録されなかった新たな情報を撮像素子で取り込み、画像データとともに記録し、記録した情報を用いて画像処理ＬＳＩで様々な処理を行うという技術である。例えば、撮像装置は、被写体からの光の入射角度や、奥行きの情報などの光線情報（ライトフィールド）を記録する。これらの従来の撮像装置では記録できなかった情報を用いて、フォーカス、アイリスによる被写界深度、焦点距離などを、後の画像処理で正確に再現させることができる。記録したライトフィールドを用いて、実際に撮影した画像について、後から合焦位置（フォーカス位置）を変更できるカメラが提案されている。

ライトフィールドの取得方法の代表的なものとして、多視点で画像を取得する方法について説明する。例えば、１台の撮像装置で焦点距離を変えて複数の画像を取得し、取得した複数の画像を１枚の画像としてデータを残すことで、その画像の焦点距離を後から画像処理で自由に編集することができる。また、カメラを水平もしくは垂直に移動させ、画像を複数枚取得することで、その画像の視差から被写体の距離情報を取得することもできる。これらの方法は、単一の撮像装置（撮像素子）を用いる。特許文献１は、複数のカメラからライトフィールドを取得して処理するシステムを開示している。

特開２００８−２５７６８６号公報

複数のカメラを設けてライトフィールドを取得するシステムでは、消費電力が大きくなり、装置も大型化してしまう。したがって、焦点距離が異なる複数のレンズを通じた入射光を撮像素子で光電変換して出力される画像信号から、ライトフィールドすなわち入射光の方向の情報を得る撮像装置が考えられる。

一方、画像の取得後に撮像装置のユーザがズーム位置、フォーカス位置、被写界深度を編集することができる撮像装置では、ユーザの撮影意図に合った画像を出力することが重要である。しかし、ユーザが、特定の人物を主被写体として追いたい場合に、画像の取得後にユーザがズーム位置、フォーカス位置、被写界深度を編集することができる撮像装置では、どのような画像を出力すればユーザが意図した画像になるのかを決定することが困難である。

本発明は、焦点距離が異なる複数のレンズを備える撮像装置であって、ユーザが意図する主被写体を精度良く決定して主被写体に合焦位置が合った画像を出力する撮像装置の提供を目的とする。

本発明の一実施形態の撮像装置は、焦点距離が異なる複数のレンズと、前記レンズを通じた入射光を光電変換する複数の撮像部と、前記撮像部が出力する画像信号に基づく、前記レンズに対応する画像からの被写体の検出処理を、レンズの焦点距離毎に順次実行する検出手段と、前記検出手段によって画像から被写体が検出された場合に、前記検出された被写体に合焦位置が合った画像を出力する出力手段とを備える。

本発明の撮像装置によれば、ユーザが意図する主被写体を精度良く決定して主被写体に合焦位置が合った画像を出力することができる。

本実施形態の撮像装置の構成例を示す図である。 撮像装置に設けられたレンズおよび撮像素子を説明する図である。 実施例１の撮像装置の動作処理を説明するフローチャートである。 実施例２の撮像装置の動作処理を説明するフローチャートである。

（実施例１）
図１は、本実施形態の撮像装置の構成例を示す図である。
図１に示す撮像装置は、デジタルビデオカメラである。もちろん、本発明の適用範囲は、デジタルビデオカメラに限定されない。本発明は、デジタルスチルカメラ、デジタル一眼レフカメラ等にも適用可能である。

本実施形態の撮像装置は、撮像光学系１０１、撮像素子１０２、画像処理ＬＳＩ１０３、信号記録部１０４、ライトフィールド画像処理部１０５、フォーカス制御部１０６、撮像素子制御部１０７、システム制御部１０８、表示部１０９を備える。

システム制御部１０８は、撮像素子全体を制御する。撮像光学系１０１は、被写体光を取り込み、少なくともフォーカス位置などを変えられる機構を持つ。撮像素子１０２は、取り込んだ光をアナログの電気信号（画像信号）に光電変換して出力する。

撮像素子１０２から出力される画像信号に基づいて任意のライトフィールドを取得できるようにするために、撮像装置は、複数の撮像素子１０２を備えており、それぞれの撮像素子は、面上にレンズ（この例ではマイクロレンズ）を備える。すなわち、撮像光学系１０１と撮像素子１０２の構造によって、撮像素子１０２が出力する信号からライトフィールド（入射光の方向に関する情報）を得ることができる。なお、他の形態として、撮像素子が１つの撮像素子を備え、この撮像素子が有する複数の撮像部のそれぞれにマイクロレンズが設けられていてもよい。

画像処理ＬＳＩ１０３は、撮像素子１０２から出力された画像信号（映像信号）をデジタル信号へ変換し、デジタル化した映像信号にデジタルゲイン、ガンマ、ニーなどの画像処理を行なう。また、画像処理ＬＳＩ１０３は、撮像素子１０２から出力された黒レベルを測定して、映像信号をクランプする。

信号記録部１０４は、画像処理ＬＳＩによってデジタル処理された映像信号を記録する。画像処理ＬＳＩ１０５は、撮像素子１０２から出力された映像信号から得られるライトフィールド情報を用いて、映像信号に対して任意の画像処理を実行する。フォーカス制御部１０６は、撮像光学系１０１が有するフォーカスレンズを駆動して、ピント位置を変化させる焦点調節処理を実行する。

撮像素子制御部１０７は、撮像素子１０２の制御を実行する。表示部１０９は、画像処理ＬＳＩ１０３から出力される信号、またはライトフィールド画像処理部１０５から出力される信号を画像として表示する。図１に示す処理部のそれぞれは、分割されたＬＳＩとは限らない。撮像装置が、複数の処理部を一つにまとめたＬＳＩを備えるようにしてもよい。

以下に、各処理部の詳細を説明する。
撮像光学系１０１は、被写体からの光を撮像素子１０２に渡す。この例では、撮像光学系１０１は、フォーカスレンズを備える。撮像装置の形態に応じて、撮像光学系１０１が、入射光を制御するアイリス部、焦点距離を変えるズームレンズ部などを備えていてもよい。

撮像素子１０２は、撮像光学系から入射光を受け、入射光を電気信号へ変換し、出力する。撮像素子１０２は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサや、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサである。

撮像素子１０２から出力される映像信号には、アナログの映像信号で直接出力されるものと、撮像素子１０２の内部でＡ／Ｄ変換処理を行い、ＬＶＤＳ等のデジタルデータで出力されるものとがある。ＬＶＤＳは、Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇの略称である。

画像処理ＬＳＩ１０３は、撮像素子１０２から出力されたアナログ電気信号をデジタル信号へ変換するアナログフロントエンド部と、デジタル化した映像信号に各処理を行う処理部とを有する。撮像素子１０２の内部でＡＤ変換処理を行なう場合は、アナログフロントエンド部は省略される。

画像処理ＬＳＩ１０３は、例えば、撮像素子１０２がＣＭＯＳイメージセンサの場合は、ＣＭＯＳイメージセンサ特有の固定パターンノイズの除去や、黒レベルクランプ処理などを行なう。また、画像処理ＬＳＩ１０３は、撮像装置の代表的な画像処理機能である画素加算機能、ノイズリダクション、ガンマ補正、ニー、デジタルゲイン、キズ補正などの各種画像処理を行なう。画像処理ＬＳＩ１０３は、それぞれの補正や画像処理に必要となる設定値を記憶しておく記憶回路も有する。

信号記録部１０４は、画像処理ＬＳＩ１０３が出力する、各画像処理が反映された映像信号と、ライトフィールド情報とを、任意の記録手段へ記録する。記録手段は、例えば、ＨＤＤ（ハードディスクドライブ）、ＳＤメモリーカード、コンパクトフラッシュ（登録商標）等である。

ライトフィールド画像処理部１０５は、撮像素子が出力する信号に基づいて得られるライトフィールドに基づいて、撮像光学系のピント位置、ズーム位置、被写界深度調整など任意の画像処理を行う。なお、ライトフィールドを取得する処理部は、画像処理ＬＳＩ１０３、ライトフィールド画像処理部１０５のいずれであってもよい。

フォーカス制御部１０６は、撮像光学系１０１が備えるフォーカスレンズを駆動制御する。なお、撮像装置が、フォーカス制御部１０６を備えない構成をとることもできる。撮像素子制御部１０７は、撮像素子１０１の制御を行う。具体的には、撮像素子制御部１０７は、画像処理ＬＳＩによる画像処理結果に基づいて、システム制御部を介して、露光処理等の方法を決定し、撮像素子の制御を行う。

システム制御部１０８は、画像処理ＬＳＩ１０３から受けた露出情報に基づいて、撮像装置を目標とする露出にするための制御を決定し、フォーカス制御部１０６および撮像素子制御部１０７に指示する。

表示部１０９は、映像（画像）を表示する。これにより、撮像装置が現在どのような映像を記録しているかがユーザに示される。表示部１０９は、例えば、外部のモニターや、撮像装置に付属する液晶モニターやビューファインダー等である。

図２は、本実施形態の撮像装置に設けられたレンズおよび撮像素子を説明する図である。
図２（Ａ）に示すように、撮像装置の正面には、焦点距離の異なる複数のレンズ（マイクロレンズ）及び撮像素子（センサ）が、４×４のマトリックス状に配置されている。図１（Ｂ）は、各々のレンズの焦点距離を示す。１番のレンズは、焦点距離Ａのレンズ、２番のレンズは、焦点距離Ｂのレンズ、３番のレンズは、焦点距離Ｃのレンズ、４番のレンズは、焦点距離Ｄのレンズである。

焦点距離Ａのレンズが、最も焦点距離が短い。すなわち、焦点距離Ａのレンズが最もＷｉｄｅ側のレンズである。焦点距離Ｂのレンズ、焦点距離Ｃのレンズ、焦点距離Ｄのレンズに進むにつれて焦点距離が長くなる。焦点距離Ｄのレンズが、最も焦点距離が長い。すなわち、焦点距離Ｄのレンズが最もＴｅｌｅ側のレンズである。

撮像装置は、焦点距離を変えた撮像素子を用意して、複数の画角の画像を記録することで、ライトフィールド画像処理部１０５で焦点距離を任意に変えることができる。また、撮像装置は、同じ焦点距離の撮像素子を複数別位置に配置することで、光の視差情報を使用して、被写体の距離情報を得ることができる。撮像装置は、被写体の距離情報を利用して、ピント位置を合わせたり、画像処理で背景のぼかし具合を計算し、画像の被写界深度を制御することができる。

図３は、実施例１の撮像装置の動作処理を説明するフローチャートである。
まず、システム制御部１０８が、撮像装置の動作モードが、顔検出優先モードであるかを判断する（ステップＳ１）。顔検出優先モードは、撮像素子１０２が出力する映像から被写体として顔を検出する顔検出処理を実行する動作モードである。ユーザは、撮像装置が備える所定の操作部（不図示）を操作して、動作モードを顔検出優先モードに設定することができる。顔検出処理を実行するのは、ユーザがどのような被写体を撮影する（したい）かを判断し、優先的にフォーカスを合わせたり、露出を合わせる等の処理を行うためである。なお、検出対象は顔に限定されない。撮像装置は、人体、ペット等の物を被写体として検出するようにしてもよい。

撮像装置の動作モードが、顔検出優先モードでない場合は、処理がステップＳ５に進む。そして、システム制御部１０８が、撮像素子１０２が出力する映像信号に係る任意の映像を表示部１０９へ出力する。

撮像装置の動作モードが、顔検出優先モードである場合は、処理がステップＳ２に進む。そして、システム制御部１０８が、複数のレンズおよび撮像素子１０２のうち、最も焦点距離の長いレンズおよび撮像素子を通じて得られた映像信号を解析して、この映像信号に係る映像を対象に、顔検出処理を実行する（ステップＳ２）。

次に、システム制御部１０８が、顔が検出されたかを判断する（ステップＳ３）。顔が検出された場合は、処理がステップＳ４に進む。システム制御部１０８が、撮像素子１０２が出力する映像信号から得られるライトフィールドを用いて、検出された顔に合焦位置があった映像を生成する（ステップＳ４）。そして、システム制御部１０８が、生成した映像を表示部１０９に出力する。

顔が検出されない場合は、処理がステップＳ６に進む。システム制御部１０８が、現在処理対象となっている映像に対応する撮像素子が、最も焦点距離が短いレンズに対応する撮像素子（最広角センサ）であるかを判断する（ステップＳ６）。現在処理対象となっている映像に対応する撮像素子が、最広角センサである場合は、処理がステップＳ５に進む。そして、システム制御部１０８が、撮像素子１０２が出力する映像信号に係る任意の映像を表示部１０９へ出力する。

現在処理対象となっている映像に対応する撮像素子が、最広角センサでない場合は、処理がステップＳ７に進む。そして、次に焦点距離の長いレンズに対応する撮像素子に対応する映像を顔検出処理の対象とし（ステップＳ７）、処理がステップＳ２に進む。

実施例１の撮像装置は、撮像素子１０２が出力する画像信号に基づく、レンズに対応する画像からの被写体の検出処理を、レンズの焦点距離毎に順次実行する。具体的には、撮像装置は、焦点距離が長いレンズに対応する撮像素子の映像から焦点距離が短い撮像素子の映像に順次シフトして顔を解析していき、顔を検出した場合に、検出された顔にフォーカスが合った映像をライトフィールドを用いて生成して表示する。したがって、ユーザは、中央にある顔にフォーカスのあった映像を確認することができ、撮影をしやすくなる。なお、検出する被写体によっては、焦点距離の短いレンズに対応する映像から順に顔の検出処理の対象とするようにしてもよい。

（実施例２）
図４は、実施例２の撮像装置の動作処理を説明するフローチャートである。
まず、システム制御部１０８が、撮像装置の動作モードが、顔検出優先モードであるかを判断する（ステップＳ１１）。撮像装置の動作モードが、顔検出優先モードである場合は、処理がステップＳ１２に進む。そして、システム制御部１０８が、複数のレンズおよび撮像素子のうち、最も焦点距離の長いレンズおよび撮像素子を通じて得られた映像信号を解析の対象とする（ステップＳ１２）。

ステップＳ１３、Ｓ１４、Ｓ１７、Ｓ１８は、それぞれ、図３のステップＳ２、Ｓ３、Ｓ６、Ｓ７と同様である。なお、ステップＳ１７の判断処理で、現在処理対象となっている映像に対応する撮像素子が、最広角センサでない場合は、処理がステップＳ１９に進む。

ステップＳ１４の判断処理で、顔が検出された場合は、処理がステップＳ１５に進む。そして、システム制御部１０８が、検出された顔に合焦位置が合うようにフォーカス制御部１０６を制御する（ステップＳ１５）。そして、システム制御部１０８が、上記ステップＳ１５で顔に合焦位置が合った映像を表示部１０９に出力する（ステップＳ１６）。

ステップＳ１１の判断処理で、撮像装置の動作モードが、顔検出優先モードでない場合は、処理がステップＳ１９に進む。そして、システム制御部１０８が、最広角センサが出力する映像信号に係る映像に含まれる被写体に合焦位置が合うようにする制御量を算出する（ステップＳ１９）。これは、最広角センサからの映像が最も被写体の情報量が多いからである。続いて、システム制御部１０８が、ステップＳ１９で算出された制御量を用いて、フォーカス制御部１０６を制御して、被写体に合焦位置を移動させる（ステップＳ２０）。そして、システム制御部１０８が、被写体に合焦点位置が合った映像を表示部１０９に出力する（ステップＳ２１）。

実施例２の撮像装置は、顔の検出処理を望遠側のレンズに対応する映像から広角側のレンズに対応する映像に順次切り替え、検出された顔にフォーカスが合った映像をフォーカスレンズの駆動により取得して表示部へ出力する。したがって、ユーザは、中央にある顔にフォーカスが合った映像を確認することができ、撮影をしやすくなる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１０１ 撮像光学系
１０２ 撮像素子
１０３ 画像処理ＬＳＩ
１０６ フォーカス制御部
１０７ 撮像素子制御部
１０８ システム制御部
１０９ 表示部

Claims (8)

1. 焦点距離が異なる複数のレンズと、
   前記レンズを通じた入射光を光電変換する複数の撮像部と、
   前記撮像部が出力する画像信号に基づく、前記レンズに対応する画像からの被写体の検出処理を、レンズの焦点距離毎に順次実行する検出手段と、
   前記検出手段によって画像から被写体が検出された場合に、前記検出された被写体に合焦位置が合った画像を出力する出力手段とを備える
   ことを特徴とする撮像装置。
2. 前記検出手段は、前記焦点距離が長い順に、前記レンズに対応する画像からの被写体の検出処理の対象とする
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記検出手段は、前記レンズに対応する画像から被写体が検出できない場合に、当該レンズの焦点距離の次に焦点距離が長いレンズに対応する画像を前記被写体の検出処理の対象とする
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記検出手段は、前記レンズに対応する画像から被写体が検出できない場合に、当該レンズが焦点距離が最も短いレンズであるかを判断し、当該レンズが焦点距離が最も短いレンズでない場合に、当該レンズの焦点距離の次に焦点距離が長いレンズに対応する画像を前記被写体の検出処理の対象とする
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記検出手段は、前記焦点距離が短い順に、前記レンズに対応する画像からの被写体の検出処理の対象とする
   ことを特徴とする請求項１に記載の撮像装置。
6. 前記検出手段によって画像から被写体が検出された場合に、前記撮像部が出力する画像信号に基づいて得られる前記入射光の方向に関する情報に基づいて、前記検出された被写体に合焦位置が合った画像を生成する生成手段を備え、
   前記出力手段は、前記生成手段により生成された画像を出力する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. フォーカスレンズを駆動制御して焦点調節処理を行う制御手段を備え、
   前記制御手段は、前記検出手段によって画像から被写体が検出された場合に、前記検出された被写体に合焦位置が合うように前記焦点調節処理を行い、
   前記出力手段は、前記焦点調節処理によって前記被写体に合焦位置が合った画像を出力する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
8. 焦点距離が異なる複数のレンズと、前記レンズを通じた入射光を光電変換する複数の撮像部とを備える撮像装置の制御方法であって、
   前記撮像部が出力する画像信号に基づく、前記レンズに対応する画像からの被写体の検出処理を、レンズの焦点距離毎に順次実行する検出工程と、
   前記検出工程によって画像から被写体が検出された場合に、前記検出された被写体に合焦位置が合った画像を出力する出力工程とを有する
   ことを特徴とする制御方法。

Images