JP2013162291A - カメラモジュール - Google Patents

Abstract

【課題】簡易な構成によりリフォーカス機能を実現可能とするカメラモジュールを提供すること。
【解決手段】実施形態によれば、カメラモジュールは、視差量算出部４４、被写体距離算出部５０、リフォーカスフィルタ生成部５１及びリフォーカス画像生成部４９を有する。視差量算出部４４は、第１画像及び第２画像の視差量を算出する。被写体距離算出部５０は、視差量を基に、被写体までの被写体距離を算出する。リフォーカスフィルタ生成部５１は、フィルタ強度が調整されたリフォーカスフィルタを生成する。リフォーカスフィルタ生成部５１は、第１画像及び第２画像に映し出された複数の被写体のうちフォーカスを合わせる照準とされる被写体についての被写体距離に応じて、フィルタ強度を調整する。リフォーカス画像生成部４９は、リフォーカスフィルタを使用するフィルタ処理を第１画像に施すことにより、リフォーカス画像を生成する。
【選択図】図７

Description

本発明の実施形態は、カメラモジュールに関する。

カメラモジュールは、高性能化の一つとして、任意の位置にフォーカスを再調整するリフォーカス機能を備えるものが知られている。リフォーカス機能を備えるカメラモジュールとしては、例えば、イメージセンサと、被写体からの光をイメージセンサへ取り込むメインレンズ系との間に、サブレンズアレイを設けるものが知られている。

カメラモジュールは、被写体の正確な奥行き情報を得る上で、サブレンズアレイの設置の際は、イメージセンサからの距離を正確に確保することが求められる。サブレンズアレイの位置決め精度が低い場合、画像処理により高品質な画像を得ることが困難となる。カメラモジュールは、簡易な構成により、リフォーカス機能を実現することが望まれている。

特開２０１１−９９７７９号公報

本発明の一つの実施形態は、簡易な構成によりリフォーカス機能を実現可能とするカメラモジュールを提供することを目的とする。

本発明の一つの実施形態によれば、カメラモジュールは、第１及び第２撮像レンズ、第１及び第２イメージセンサ、及び画像処理装置を有する。第１及び第２撮像レンズは、被写体からの光を取り込み、被写体像を結像させる。第１イメージセンサは、第１撮像レンズによって結像した被写体像の撮像により第１画像を取得する。第１イメージセンサは、第１画像信号を出力する。第２イメージセンサは、第２撮像レンズによって結像した被写体像の撮像により第２画像を取得する。第２イメージセンサは、第２画像信号を出力する。画像処理装置は、視差量算出部、被写体距離算出部、リフォーカスフィルタ生成部及びリフォーカス画像生成部を有する。視差量算出部は、第１画像及び第２画像の視差量を、第１画像信号及び第２画像信号を基に算出する。被写体距離算出部は、視差量を基に、被写体までの被写体距離を算出する。リフォーカスフィルタ生成部は、フィルタ強度が調整されたリフォーカスフィルタを生成する。リフォーカスフィルタ生成部は、第１画像及び第２画像に映し出された複数の被写体のうちフォーカスを合わせる照準とされる被写体についての被写体距離に応じて、フィルタ強度を調整する。リフォーカス画像生成部は、リフォーカスフィルタを使用するフィルタ処理を第１画像に施すことにより、リフォーカス画像を生成する。

第１の実施形態にかかるカメラモジュールの一部構成を模式的に表した斜視図。 カメラモジュールの概略構成を示すブロック図。 レンズモジュール、固体撮像装置及びＩＳＰの詳細を示すブロック図。 タイミング生成器によるフレームタイミングの調整について説明するブロック図。 フレームメモリを使用するフレームタイミングの調整について説明するブロック図。 ＩＳＰの信号処理回路による信号処理の手順を説明するフローチャート。 撮像処理回路の詳細を示すブロック図。 輝度情報生成部における第１輝度情報の生成について説明する図。 輝度情報生成部における第１輝度情報の生成について説明する図。 カメラモジュールを用いてリフォーカス画像を生成するための手順を示すフローチャート。 Ｇ成分の輝度画像とモノクロ画像とからの視差量の算出について説明する図。 被写体距離算出部における被写体距離の算出について説明する図。 第１輝度情報及び第２輝度情報の合成による合成輝度情報の取得に関する変形例を説明する図表。 タイプ３にて使用するカラーイメージセンサにおける画素の配列を説明する図。 タイプ４にて使用する第１イメージセンサにおける画素の配列を説明する図。 Ｙ画素についてのＣ成分の輝度値の算出について説明する図。 Ｃ画素についてのＹ成分の輝度値の算出について説明する図。 第２の実施形態にかかるカメラモジュールに適用される撮像処理回路の構成を示すブロック図。 第３の実施形態にかかるカメラモジュールに適用される撮像処理回路の構成を示すブロック図。

以下に添付図面を参照して、実施形態にかかるカメラモジュールを詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。

（第１の実施形態）
図１は、第１の実施形態にかかるカメラモジュールの一部構成を模式的に表した斜視図である。図２は、カメラモジュールの概略構成を示すブロック図である。カメラモジュール１０は、レンズモジュール１１、固体撮像装置１２、イメージシグナルプロセッサ（image signal processor；ＩＳＰ）１３、記憶部１４及び表示部１５を有する。

レンズモジュール１１は、被写体からの光を取り込み、被写体像を結像させる。固体撮像装置１２は、被写体像を撮像する。ＩＳＰ１３は、固体撮像装置１２での撮像により得られた画像信号の信号処理を実施する。記憶部１４は、ＩＳＰ１３での信号処理を経た画像を格納する。記憶部１４は、ユーザの操作等に応じて、表示部１５へ画像信号を出力する。表示部１５は、ＩＳＰ１３あるいは記憶部１４から入力される画像信号に応じて、画像を表示する。表示部１５は、例えば、液晶ディスプレイである。

図３は、レンズモジュール、固体撮像装置及びＩＳＰの詳細を示すブロック図である。レンズモジュール１１は、第１撮像レンズ２１、第２撮像レンズ２２及びレンズ駆動部２７を有する。第１撮像レンズ２１は、被写体からの光を取り込み、第１イメージセンサ２３へ入射させる。第２撮像レンズ２２は、被写体からの光を取り込み、第２イメージセンサ２４へ入射させる。

図１に示すように、第１撮像レンズ２１及び第２撮像レンズ２２は、共通のレンズホルダー１６に取り付けられている。第１撮像レンズ２１及び第２撮像レンズ２２は、例えば、それぞれレンズバレルに保持された状態で、レンズホルダー１６に取り付けられる。第１撮像レンズ２１及び第２撮像レンズ２２は、図中一点鎖線で示す第１撮像レンズ２１の光軸及び第２撮像レンズ２２の光軸に対して垂直な方向へ並べられている。

固体撮像装置１２は、撮像処理回路２０、第１イメージセンサ２３、第２イメージセンサ２４、タイミング生成器２５、フレームメモリ２６及びオートフォーカス（ＡＦ）駆動ドライバ３５を有する。

第１イメージセンサ２３は、例えば、複数の色光を検出するカラーイメージセンサである。第１イメージセンサ２３は、例えばベイヤー配列をなして配置されたＲ画素、Ｇ画素及びＢ画素を有する。Ｒ画素は、Ｒ光を検出する。Ｇ画素は、Ｇ光を検出する。Ｂ画素は、Ｂ光を検出する。第１イメージセンサ２３は、ＲＡＷ画像データを出力する。ＲＡＷ画像データは、被写体から入射する各色光の強度分布に応じた第１画像信号とする。

第２イメージセンサ２４は、例えば、白色光を検出するモノクロイメージセンサである。第２イメージセンサ２４は、アレイ状に配置されたＷ画素を有する。Ｗ画素は、Ｗ光を検出する。第２イメージセンサ２４は、モノクロ画像データを出力する。モノクロ画像データは、被写体から入射する光の輝度分布に応じた第２画像信号とする。第１イメージセンサ２３及び第２イメージセンサ２４は、例えば、ＬＶＤＳ（low voltage differential signaling）による伝送方式を採用する。

撮像処理回路２０は、第１イメージセンサ２３からのＲＡＷ画像データと、第２イメージセンサ２４からのモノクロ画像データとの信号処理を実施する。撮像処理回路２０は、ＲＡＷ画像データ及びモノクロ画像データを合成して得られた合成画像データを出力する。

フレームメモリ２６は、撮像処理回路２０に取り込まれたＲＡＷ画像データ及びモノクロ画像データの少なくともいずれかを格納する。フレームメモリ２６は、後述する視差補正のために使用される他、例えば、高ダイナミックレンジ（high dynamic range；ＨＤＲ）処理や手振れ補正等のために使用されるものとしても良い。

図１に示すように、第１イメージセンサ２３、第２イメージセンサ２４及びフレームメモリ２６は、共通のプリント基板１７上に配置されている。第１撮像レンズ２１は、第１イメージセンサ２３に対向させて配置されている。第２撮像レンズ２２は、第２イメージセンサ２４に対向させて配置されている。

カメラモジュール１０は、第１イメージセンサ２３、第２イメージセンサ２４及びフレームメモリ２６を共通のプリント基板１７上に集約することで、小型化に適した構成としている。タイミング生成器２５は、ＲＡＷ画像データとモノクロ画像データとに適用するフレームタイミングを生成する。

ＡＦ駆動ドライバ３５は、撮像処理回路２０からの指示に応じて、レンズ駆動部２７を制御する。ＡＦ駆動ドライバ３５は、第１撮像レンズ２１及び第２撮像レンズ２２のフォーカス駆動を制御するフォーカス駆動制御部として機能する。

図４は、タイミング生成器によるフレームタイミングの調整について説明するブロック図である。タイミング生成器２５は、水平同期信号Ｈ及び垂直同期信号Ｖを生成する。第１イメージセンサ２３は、フレームタイミングを水平同期信号Ｈ及び垂直同期信号Ｖに一致させてから、ＲＡＷ画像データを出力する。第２イメージセンサ２４は、フレームタイミングを水平同期信号Ｈ及び垂直同期信号Ｖに一致させてから、モノクロ画像データを出力する。

図５は、フレームメモリを使用するフレームタイミングの調整について説明するブロック図である。第１フレームメモリ２８は、第１イメージセンサ２３からのＲＡＷ画像データを一時的に格納する。第２フレームメモリ２９は、第２イメージセンサ２４からのモノクロ画像データを一時的に格納する。第１フレームメモリ２８及び第２フレームメモリ２９は、例えば、フレームメモリ２６（図３参照）に包含されているものとする。

第１フレームメモリ２８は、格納しているＲＡＷ画像データのフレームタイミングを水平同期信号Ｈ及び垂直同期信号Ｖに一致させてから、ＲＡＷ画像データを出力する。第２フレームメモリ２９は、格納しているモノクロ画像データのフレームタイミングを水平同期信号Ｈ及び垂直同期信号Ｖに一致させてから、モノクロ画像データを出力する。固体撮像装置１２は、図４及び図５のいずれの構成によってフレームタイミングを調整しても良いものとする。

図３に示すように、ＩＳＰ１３は、カメラインタフェース（Ｉ／Ｆ）３１、画像取り込み部３２、信号処理回路３３及びドライバインタフェース（Ｉ／Ｆ）３４を有する。カメラＩ／Ｆ３１は、固体撮像装置１２からの画像データの入力を受け付ける。画像取り込み部３２は、カメラＩ／Ｆ３１へ入力された画像データを取り込む。

信号処理回路３３は、画像取り込み部３２へ取り込まれた画像について、信号処理を実施する。ドライバＩ／Ｆ３４は、信号処理回路３３での信号処理を経た画像データを、記憶部１４及び表示部１５（図１参照）へ出力する。

図６は、ＩＳＰの信号処理回路による信号処理の手順を説明するフローチャートである。信号処理回路３３は、画像取り込み部３２へ取り込まれた画像について、シェーディング補正を実施する（ステップＳ１）。信号処理回路３３は、シェーディング補正により、第１撮像レンズ２１及び第２撮像レンズ２２について、中央部と周辺部との光量差による輝度ムラを補正する。

信号処理回路３３は、固定パターンノイズ、暗電流ノイズ、ショットノイズなどのノイズを除去するノイズリダクション（ステップＳ２）及び解像度復元処理（ステップＳ３）を実施する。次に、信号処理回路３３は、ベイヤー配列の順序で伝達されてくるデジタル画像信号に対して、画素補間処理（デモザイキング）を施す（ステップＳ４）。デモザイキングでは、撮像により得られた画像信号の補間処理により、不足色成分の感度レベル値を生成する。信号処理回路３３は、デモザイキングによりカラーのビットマップ画像を合成する。

信号処理回路３３は、カラー画像に対して、ホワイトバランスの自動調整（automatic white balance control；ＡＷＢ）を実施する（ステップＳ５）。さらに、信号処理回路３３は、色再現性を得るためのリニアカラーマトリクス処理（ステップＳ６）、ディスプレイ等に表示される画像の彩度や明るさを補正するためのガンマ補正（ステップＳ７）を実施する。なお、本実施形態で説明する信号処理回路３３における信号処理の手順は一例であって、他の処理の追加、省略可能な処理の省略、順序の変更などを適宜しても良い。

カメラモジュール１０における信号処理のための構成は、前段の撮像処理回路２０と、後段のＩＳＰ１３とに大別される。カメラモジュール１０において、撮像処理回路２０及びＩＳＰ１３は、第１イメージセンサ２３及び第２イメージセンサ２４により取り込まれた画像信号の信号処理を実施する画像処理装置として機能する。

レンズ駆動部２７は、第１撮像レンズ２１及び第２撮像レンズ２２のフォーカス調整のために、光軸の方向について第１撮像レンズ２１及び第２撮像レンズ２２を駆動する。レンズ駆動部２７は、レンズホルダー１６を移動させることで、第１撮像レンズ２１及び第２撮像レンズ２２を一括して駆動する。カメラモジュール１０は、第１撮像レンズ２１及び第２撮像レンズ２２を一括して駆動可能とすることで、第１撮像レンズ２１及び第２撮像レンズ２２を個別に駆動する場合に比べてレンズモジュール１１を簡易な構成にできる。

図７は、撮像処理回路の詳細を示すブロック図である。撮像処理回路２０は、カラー信号分離部４１、ローパスフィルタ（ＬＰＦ）４２、輝度情報生成部４３、視差量算出部４４、視差補正部４５、輝度情報合成部４６、解像度復元部４７、画像合成部４８、リフォーカス画像生成部４９、被写体距離算出部５０及びリフォーカスフィルタ生成部５１を有する。撮像処理回路２０には、第１イメージセンサ２３からのＲＡＷ画像データ６１と、第２イメージセンサ２４からのモノクロ画像データ６２とが入力される。

カラー信号分離部４１は、第１イメージセンサ２３から入力されたＲＡＷ画像データ６１を、色情報６３及び輝度情報６４へと分離する。色情報６３は、例えば、ＹＵＶ色空間の色差成分に相当する情報とする。輝度情報６４は、例えば、ＹＵＶ色空間の輝度成分に相当する情報とする。

輝度情報生成部４３は、カラー信号分離部４１においてＲＡＷ画像データ６１から抽出された輝度情報６４から、特定の色成分であるＧ成分についての第１輝度情報６５を生成する。

図８及び図９は、輝度情報生成部における第１輝度情報の生成について説明する図である。輝度情報生成部４３は、Ｒ画素及びＢ画素については、周囲のＧ画素が検出した輝度値の補間処理により、Ｇ成分の輝度値を算出する。

輝度情報生成部４３は、Ｒ画素についてのＧ成分の輝度値の算出において、例えば、図８に示すように、Ｒ画素を中心とする３行３列の画素ブロックに含まれる４個のＧ画素が検出した輝度値を参照する。輝度情報生成部４３は、例えば、次に示す式により、Ｒ画素におけるＧ成分の輝度値を算出する。なお、式中、「Ｇ１」、「Ｇ２」、「Ｇ３」及び「Ｇ４」の項は、それぞれ、図８に示すＧ画素（Ｇ１、Ｇ２、Ｇ３及びＧ４）が検出したＧ成分の輝度値とする。
（Ｒ画素におけるＧ成分の輝度値）＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４

輝度情報生成部４３は、Ｂ画素についてのＧ成分の輝度値の算出において、例えば、図９に示すように、Ｂ画素を中心とする３行３列の画素ブロックに含まれる４個のＧ画素が検出した輝度値を参照する。輝度情報生成部４３は、例えば、次に示す式により、Ｂ画素におけるＧ成分の輝度値を算出する。
（Ｂ画素におけるＧ成分の輝度値）＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４

輝度情報生成部４３は、Ｇ画素が検出した輝度値と、Ｒ画素及びＢ画素について算出されたＧ成分の輝度値とを、第１輝度情報６５として出力する。固体撮像装置１２は、Ｒ、Ｇ、Ｂの各成分のうち輝度についての情報を最も多く得られるのがＧ成分であることから、Ｇ成分について第１輝度情報６５を採用することとしている。なお、輝度情報生成部４３による補間処理の手法は、適宜変更可能であるものとする。例えば、輝度情報生成部４３は、デモザイク処理の手法により、第１輝度情報６５を生成することとしても良い。

撮像処理回路２０は、例えば、モノクロ画像データ６２及び第１輝度情報６５をフレームメモリ２６（図３参照）に一時格納する。視差量算出部４４は、第１イメージセンサ２３により取得したＲＡＷ画像（第１画像）と第２イメージセンサ２４により取得したモノクロ画像（第２画像）との視差量を算出する。視差量算出部４４は、フレームメモリ２６から読み出した第１輝度情報６５とモノクロ画像データ６２とを基に、視差量を算出する。

視差量算出部４４は、モノクロ画像データ６２を第２輝度情報とみなして、視差量の算出に使用する。第２輝度情報は、第２画像信号であるモノクロ画像データ６２に含まれる輝度情報であって、例えば、ＹＵＶ色空間の輝度成分に相当する情報とする。なお、視差量算出部４４は、モノクロ画像データ６２をそのまま第２輝度情報として使用する他、モノクロ画像データ６２に対する演算処理等により得られた第２輝度情報を使用することとしても良い。なお、視差量の算出、視差量に応じたフォーカス調整については後述する。

視差補正部４５は、視差量算出部４４で算出された視差量を基に、第１輝度情報６５によるＧ成分の輝度画像と、モノクロ画像データ６２によるモノクロ画像との視差を補正する。視差補正部４５は、例えば、Ｇ成分の輝度画像を基準としてモノクロ画像の視差を補正する。視差補正部４５は、モノクロ画像を基準としてＧ成分の輝度画像の視差を補正することとしても良い。この場合、撮像処理回路２０は、Ｇ成分の輝度画像と同様の視差補正を、色情報６３についても実施する。輝度情報合成部４６は、視差補正部４５における視差の補正を経た第１輝度情報６５及びモノクロ画像データ６２を合成し、合成輝度情報６６とする。

解像度復元部４７は、合成輝度情報６６による合成画像について、解像度復元を実施する。解像度復元部４７は、第１撮像レンズ２１及び第２撮像レンズ２２が備えるボケ量等のレンズ特性を推測し、推測したレンズ特性に基づき解像度復元を実施する。レンズ特性としては、例えば、光学伝達係数（point spread function；ＰＳＦ）を用いる。ＰＳＦの推測には、例えば、最小二乗法による推定方法を使用する。解像度復元の効果は、復元に用いるアルゴリズムに依存する。解像度復元部４７は、元の被写体像に近い画像を復元するために、例えば、Richardson−Lucy法を使用する。

カメラモジュール１０は、解像度復元の確実な効果を得るために、第１撮像レンズ２１、第２撮像レンズ２２、第１イメージセンサ２３及び第２イメージセンサ２４のそれぞれについての個体情報、例えば製造誤差、レンズ特性等を予め保持する。これらの個体情報は、例えば、固体撮像装置１２内のＯＴＰ（one time programmable memory、図示省略）やＩＳＰ１３に格納される。

ＬＰＦ４２は、カラー信号分離部４１からの色情報６３について平滑化処理を実施する。ＬＰＦ４２は、色情報６３の平滑化処理により、色ノイズを低減させる。なお、撮像処理回路２０は、色情報６３について、ＬＰＦ４２による平滑化処理に代えて、例えばノイズリダクション処理を実施することとしても良い。

画像合成部４８は、解像度復元部４７での解像度復元を経た合成輝度情報６６と、ＬＰＦ４２での平滑化処理を経た色情報６３との合成により、合成画像データを生成する。

固体撮像装置１２は、第２イメージセンサ２４により、信号対ノイズ比（ＳＮＲ）及び解像度が高い輪郭成分を持つ第２輝度情報を得ることが可能である。鮮明な輪郭成分を第２輝度情報から得られることから、撮像処理回路２０は、第１イメージセンサ２３からのＲＡＷ画像データ６１については、カラー信号分離部４１において、輝度情報６４よりも色情報６３を優先して抽出することとしても良い。これにより、撮像処理回路２０は、輪郭成分とともに、色成分についても高い感度を得ることが可能となる。

なお、画像合成部４８は、第１輝度情報６５及び第２輝度情報の合成により得た合成輝度情報６６と色情報６３とを含む合成画像データを生成するものに限られない。画像合成部４８は、少なくとも、色情報６３と第２輝度情報とを含む合成画像データを生成するものであれば良い。撮像処理回路２０は、合成画像データに少なくとも色情報６３と第２輝度情報とを含めることで、色成分と輪郭成分について高い感度を得ることができる。

被写体距離算出部５０は、視差量算出部４４において算出された視差量を基に、depth mapを生成する。被写体距離算出部５０は、視差量を基に、被写体までの被写体距離を算出する。被写体距離算出部５０は、ＲＡＷ画像（第１画像）及びモノクロ画像（第２画像）に映し出された複数の被写体について、それぞれ被写体距離を算出する。

リフォーカスフィルタ生成部５１は、画像のリフォーカス処理のためのリフォーカスフィルタを生成する。リフォーカスフィルタ生成部５１には、被写体距離算出部５０で算出された被写体距離のデータと、リフォーカス指示５２とが入力される。

リフォーカス指示５２は、フォーカスを合わせる照準とされる被写体を指定するための信号とする。リフォーカス指示５２は、例えば、表示部１５（図２参照）に表示された画像に映し出された被写体のうち所望の被写体の位置をタッチすることにより、ＩＳＰ１３（図２参照）から出力される。

リフォーカスフィルタ生成部５１は、被写体距離算出部５０から入力された複数の被写体についての被写体距離のうち、リフォーカス指示５２によって指定された被写体についての被写体距離を選択する。リフォーカスフィルタ生成部５１は、選択した被写体距離に応じてフィルタ強度を調整する。

リフォーカス画像生成部４９は、画像合成部４８から出力された合成画像データに対し、リフォーカスフィルタ生成部５１からのリフォーカスフィルタを使用するフィルタ処理を施し、リフォーカス画像データ６７を生成する。撮像処理回路２０は、リフォーカス画像生成部４９で生成したリフォーカス画像データ６７を出力する。

図１０は、カメラモジュールを用いてリフォーカス画像を生成するための手順を示すフローチャートである。固体撮像装置１２は、第１イメージセンサ２３での撮像により第１画像であるＲＡＷ画像を取得し、第２イメージセンサ２４での撮像により第２画像であるモノクロ画像を取得する（ステップＳ１１）。

固体撮像装置１２は、輝度情報生成部４３においてＲＡＷ画像データ６１から第１輝度情報６５を生成することで、ＲＡＷ画像をＧ成分の輝度画像へ変換する（ステップＳ１２）。視差量算出部４４は、Ｇ成分の輝度画像とモノクロ画像とを基に、視差量を算出する（ステップＳ１３）。

図１１は、Ｇ成分の輝度画像とモノクロ画像とからの視差量の算出について説明する図である。この例では、視差量算出部４４（図７参照）は、Ｇ成分の輝度画像７１を基準として、モノクロ画像７２のずれを画素数に換算し、視差量とする。視差量算出部４４は、例えば、ブロックマッチングの手法を採用することで、画像同士のずれを簡易的に計算する。

図示する例では、モノクロ画像７２は、Ｇ成分の輝度画像７１に対して右方向へ２画素分ずれている。この場合、視差量算出部４４は、視差量として、画素数「２」を出力する。視差量算出部４４は、輝度画像７１及びモノクロ画像７２に映し出された複数の被写体について、それぞれ視差量を算出する。被写体距離算出部５０（図３参照）は、ステップＳ１３において求められた視差量に応じて、被写体ごとの被写体距離を算出する（ステップＳ１４）。

図１２は、被写体距離算出部における被写体距離の算出について説明する図である。被写体距離算出部５０は、第１撮像レンズ２１及び第２撮像レンズ２２の間の距離と視差量とを基に、被写体距離を求める。例えば、第１撮像レンズ２１及び第２撮像レンズ２２の間の予め定められた距離に対して、図示するグラフのように視差量と被写体距離との関係が表されるとする。被写体距離算出部５０は、かかる視差量と被写体距離との関係から、例えば視差量「２（画素）」に対応する被写体距離として「０．７（ｍ）」を出力する。

リフォーカスフィルタ生成部５１は、画像のリフォーカス処理において基準とするリフォーカスフィルタを生成する（ステップＳ１５）。リフォーカスフィルタ生成部５１は、リフォーカス指示５２に応じて、照準とする被写体についての被写体距離を選択する。

リフォーカスフィルタ生成部５１は、選択した被写体距離の位置から離れるに従ってボケ量が大きくなるように、リフォーカスフィルタのフィルタ強度を調整する（ステップＳ１６）。リフォーカス画像生成部４９は、ステップＳ１６での調整を経てリフォーカスフィルタ生成部５１から出力されたリフォーカスフィルタを使用する畳み込み演算により、リフォーカス画像を生成する（ステップＳ１７）。これにより、カメラモジュール１０は、リフォーカス画像を生成するための手順を終了する。

カメラモジュール１０は、第１及び第２イメージセンサ２３及び２４を使用することで、互いに視差を持つＲＡＷ画像とモノクロ画像とを取得する。カメラモジュール１０は、視差量に応じた被写体距離を被写体ごとに算出することで、リフォーカス指示５２により適宜指定された被写体にフォーカスを合わせたリフォーカス画像を得ることができる。

第１の実施形態によると、カメラモジュール１０は、高い感度での撮影のために適用される第１及び第２イメージセンサ２３及び２４を、リフォーカス機能に流用することができる。カメラモジュール１０は、撮像レンズとイメージセンサとの間に設けられるレンズアレイ等、リフォーカス機能のために専ら使用される光学系に代えて、他の機能にも流用可能な二眼構成を適用可能とする。これにより、カメラモジュール１０は、リフォーカス機能のための専用の光学系を適用する場合に対し、簡易な構成によりリフォーカス機能を実現することができる。

本実施形態の固体撮像装置１２は、ＲＡＷ画像から第１輝度情報６５及び色情報６３を取得し、モノクロ画像から第２輝度情報であるモノクロ画像データ６２を取得する。撮像処理回路２０は、他の色画素に比べて感度が高いＷ画素からの第２輝度情報と、Ｇ成分について生成した第１輝度情報６５とを輝度情報合成部４６おいて合成することで、高感度な合成画像を得る。また、固体撮像装置１２は、ＲＡＷ画像から取得した色情報６３を撮像処理回路２０において合成することで、高い色再現性を確保する。

固体撮像装置１２は、各色画素にＷ画素を混在させたイメージセンサを使用する場合に比べ、クロストークによる色再現性の低下を抑制可能とする。また、固体撮像装置１２は、各色画素より先にＷ画素の出力が飽和することによる各色成分の感度低下も抑制できる。

さらに、カメラモジュール１０は、画素の大型化に対応すべく長い焦点距離の確保が不要となるため、薄型化及び小型化が可能となる。以上により、カメラモジュール１０は、薄型かつ小型な構成とし、高感度かつ高解像度で、色再現性の優れた画像を撮影することができる。

なお、図７に示す撮像処理回路２０が備える各要素の少なくとも一部は、ＩＳＰ１３の信号処理回路３３に設けることとしても良い。また、信号処理回路３３が実施するものとして図６に示す各処理の少なくとも一部は、撮像処理回路２０で実施することとしても良い。固体撮像装置１２は、撮像処理回路２０及び信号処理回路３３の構成次第により、フレームメモリ２６を適宜省くこととしても良い。

第１の実施形態の応用として、視差量の算出、被写体距離の算出、リフォーカスフィルタの生成及びリフォーカス画像の生成の各工程の少なくとも一部は、カメラモジュール１０に接続されたコンピュータ等において実施されるものとしても良い。

図１３は、第１輝度情報及び第２輝度情報の合成による合成輝度情報の取得に関する変形例を説明する図表である。図表中、タイプ１は、本実施形態においてこれまで説明した態様を表している。タイプ１において、固体撮像装置１２は、Ｗ画素を並列させた第２イメージセンサ２４と、ＲＧＢの各画素をベイヤー配列とした第１イメージセンサ２３とを備える。固体撮像装置１２は、Ｗ成分の輝度値からなる第２輝度情報と、ＲＡＷ画像データ６１の補間処理を経て取得したＧ成分の第１輝度情報６５とを取得する。

タイプ２では、固体撮像装置１２は、Ｇ画素を並列させた第２イメージセンサ２４と、タイプ１と同様の第１イメージセンサ２３とを使用する。固体撮像装置１２は、Ｇ成分の輝度値からなる第２輝度情報を取得する。固体撮像装置１２は、タイプ１と同様に、Ｇ成分の第１輝度情報６５を取得する。

図１４は、タイプ３にて使用するカラーイメージセンサにおける画素の配列を説明する図である。タイプ３では、ＲＢの各画素を交互に並列させた第１イメージセンサ２３を使用する。固体撮像装置１２は、かかる第１イメージセンサ２３と、タイプ２と同様の第２イメージセンサ２４とを使用する。固体撮像装置１２は、タイプ２と同様に、Ｇ成分の輝度値からなる第２輝度情報を取得する。

カラー信号分離部４１（図７参照）は、ＲＡＷ画像データ６１から、Ｒ成分及びＢ成分についての輝度情報６４を抽出する。輝度情報生成部４３は、輝度情報６４の補間処理により、各画素についてＲ成分の輝度値とＢ成分の輝度値とを取得する。輝度情報生成部４３は、Ｒ成分の輝度値とＢ成分の輝度値とを加算し、Ｍ（マゼンタ）成分の輝度値とする。タイプ３では、Ｍ成分の輝度値からなる第１輝度情報６５を取得する。

図１５は、タイプ４にて使用する第１イメージセンサにおける画素の配列を説明する図である。タイプ４では、ＣＹ（Ｃ：シアン、Ｙ：イエロー）の各画素を交互に並列させた第１イメージセンサ２３を使用する。固体撮像装置１２は、かかる第１イメージセンサ２３と、タイプ２と同様の第２イメージセンサ２４とを使用する。

固体撮像装置１２は、タイプ２と同様に、Ｇ成分の輝度値からなる第２輝度情報を取得する。カラー信号分離部４１は、ＲＡＷ画像データ６１から、Ｃ成分及びＹ成分についての輝度情報６４を抽出する。輝度情報生成部４３は、輝度情報６４の補間処理により、各画素についてＣ成分の輝度値とＹ成分の輝度値とを取得する。

図１６は、Ｙ画素についてのＣ成分の輝度値の算出について説明する図である。輝度情報生成部４３は、例えば、Ｙ画素を中心とする３行３列の画素ブロックに含まれる４個のＣ画素が検出した輝度値を参照する。輝度情報生成部４３は、例えば、次に示す式により、Ｙ画素についてのＣ成分の輝度値を算出する。なお、式中、「Ｃ１」、「Ｃ２」、「Ｃ３」及び「Ｃ４」の項は、それぞれ、図１６に示すＣ画素（Ｃ１、Ｃ２、Ｃ３及びＣ４）が検出したＣ成分の輝度値とする。
（Ｙ画素におけるＣ成分の輝度値）＝（Ｃ１＋Ｃ２＋Ｃ３＋Ｃ４）／４

図１７は、Ｃ画素についてのＹ成分の輝度値の算出について説明する図である。輝度情報生成部４３は、例えば、Ｃ画素を中心とする３行３列の画素ブロックに含まれる４個のＹ画素が検出した輝度値を参照する。輝度情報生成部４３は、例えば、次に示す式により、Ｃ画素についてのＹ成分の輝度値を算出する。なお、式中、「Ｙ１」、「Ｙ２」、「Ｙ３」及び「Ｙ４」の項は、それぞれ、図１７に示すＹ画素（Ｙ１、Ｙ２、Ｙ３及びＹ４）が検出したＹ成分の輝度値とする。
（Ｃ画素におけるＹ成分の輝度値）＝（Ｙ１＋Ｙ２＋Ｙ３＋Ｙ４）／４

輝度情報生成部４３は、Ｃ成分の輝度値とＹ成分の輝度値とを加算し、Ｇ成分の輝度値とする。タイプ４では、Ｇ成分の輝度値からなる第１輝度情報６５を取得する。タイプ１〜４のいずれを採用する場合も、固体撮像装置１２は、高感度、高解像度で、色再現性の優れた画像を取り込むことができる。なお、タイプ３及び４は、タイプ１と同様に、Ｗ成分の輝度値からなる第２輝度情報を取得するものとしても良い。

（第２の実施形態）
図１８は、第２の実施形態にかかるカメラモジュールに適用される撮像処理回路の構成を示すブロック図である。本実施形態にかかるカメラモジュールは、第２イメージセンサ２４（図３参照）として、複数の色光を検出するカラーイメージセンサを用いる。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。

第２イメージセンサ２４は、例えばベイヤー配列をなして配置されたＲ画素、Ｇ画素及びＢ画素を有する。第２イメージセンサ２４は、ＲＡＷ画像データ８５を出力する。ＲＡＷ画像データ８５は、被写体から入射する各色光の強度分布に応じた第２画像信号とする。

撮像処理回路８０は、視差量算出部８１、視差補正部８２、画像合成部８３、解像度復元部８４、被写体距離算出部５０、リフォーカスフィルタ生成部５１及びリフォーカス画像生成部４９を有する。

視差量算出部８１は、第１イメージセンサ２３から入力されたＲＡＷ画像データ６１と、第２イメージセンサ２４から入力されたＲＡＷ画像データ８５とを使用して、第１イメージセンサ２３により取得した第１ＲＡＷ画像、及び第２イメージセンサ２４により取得した第２ＲＡＷ画像の視差量を算出する。視差量算出部８１は、例えば、第１ＲＡＷ画像を基準として、第２ＲＡＷ画像のずれを画素数に換算し、視差量とする。

視差補正部８２は、第１ＲＡＷ画像及び第２ＲＡＷ画像の視差を補正する。画像合成部８３は、視差補正部８２における視差の補正を経たＲＡＷ画像データ６１及び８５を合成する。解像度復元部８４は、画像合成部８３による合成画像について、解像度復元を実施する。

被写体距離算出部５０は、視差量算出部８１において算出された視差量を基に、被写体までの被写体距離を算出する。被写体距離算出部５０は、第１ＲＡＷ画像（第１画像）及び第２ＲＡＷ画像（第２画像）に映し出された複数の被写体について、それぞれ被写体距離を算出する。

リフォーカス画像生成部４９は、解像度復元部８４から出力された合成画像データに対し、リフォーカスフィルタ生成部５１からのリフォーカスフィルタを使用するフィルタ処理を施し、リフォーカス画像データ６７を生成する。撮像処理回路８０は、リフォーカス画像生成部４９で生成したリフォーカス画像データ６７を出力する。

第２の実施形態においても、カメラモジュール１０は、簡易な構成によりリフォーカス機能を実現することができる。また、カメラモジュール１０は、高感度かつ色再現性の優れた画像の撮影を可能とする。

（第３の実施形態）
図１９は、第３の実施形態にかかるカメラモジュールに適用される撮像処理回路の構成を示すブロック図である。第１及び第２の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。

第２イメージセンサ２４（図３参照）は、第２の実施形態と同様、複数の色光を検出するカラーイメージセンサとする。第２イメージセンサ２４は、第１イメージセンサ２３に対し少ない画素数として構成されている。本実施の形態では、第１イメージセンサ２３は、主に画像データを取得するために使用されるイメージセンサとする。第２イメージセンサ２４は、第１イメージセンサ２３とともに被写体距離を算出するため、いわば副次的に使用されるイメージセンサとしている。

撮像処理回路９０は、視差量算出部８１、被写体距離算出部５０、リフォーカスフィルタ生成部５１及びリフォーカス画像生成部４９を有する。

リフォーカス画像生成部４９は、第１イメージセンサ２３から入力されたＲＡＷ画像データ６１に対し、リフォーカスフィルタ生成部５１からのリフォーカスフィルタを使用するフィルタ処理を施し、リフォーカス画像データ６７を生成する。リフォーカス画像生成部４９は、第１イメージセンサ２３で取得された第１ＲＡＷ画像（第１画像）に、リフォーカスフィルタを使用するフィルタ処理を施すことにより、リフォーカス画像を生成する。

第２の実施形態においても、カメラモジュール１０は、簡易な構成によりリフォーカス機能を実現することができる。カメラモジュール１０は、第１イメージセンサ２３に対し少ない画素数の第２イメージセンサ２４を使用することで、第１イメージセンサ２３と同じ画素数の第２イメージセンサ２４を使用する場合よりも製造コストを低減させる。

本実施形態において、第２イメージセンサ２４は、第１イメージセンサ２３と同じ画素数のものとしても良い。第２イメージセンサ２４は、モノクロイメージセンサとしても良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ カメラモジュール、２０、８０、９０ 撮像処理回路、２１ 第１撮像レンズ、２２ 第２撮像レンズ、２３ 第１イメージセンサ、２４ 第２イメージセンサ、２６ フレームメモリ、３３ 信号処理回路、４４、８１ 視差量算出部、４５、８２ 視差補正部、４８、８３ 画像合成部、４９ リフォーカス画像生成部、５０ 被写体距離算出部、５１ リフォーカスフィルタ生成部。

Claims (5)

1. 被写体からの光を取り込み、被写体像を結像させる第１撮像レンズ及び第２撮像レンズと、
   前記第１撮像レンズによって結像した前記被写体像の撮像により第１画像を取得し、第１画像信号を出力する第１イメージセンサと、
   前記第２撮像レンズによって結像した前記被写体像の撮像により第２画像を取得し、第２画像信号を出力する第２イメージセンサと、
   前記第１イメージセンサからの前記第１画像信号及び前記第２イメージセンサからの前記第２画像信号の信号処理を実施する画像処理装置と、を有し、
   前記画像処理装置は、
   前記第１画像及び前記第２画像の視差量を、前記第１画像信号及び前記第２画像信号を基に算出する視差量算出部と、
   前記視差量に応じて、前記第１画像及び前記第２画像の視差を補正する視差補正部と、
   前記視差補正部での補正を経た前記第１画像及び前記第２画像の合成により、合成画像を生成する画像合成部と、
   前記視差量を基に、前記被写体までの被写体距離を算出する被写体距離算出部と、
   前記第１画像及び前記第２画像に映し出された複数の前記被写体のうち、フォーカスを合わせる照準とされる被写体についての前記被写体距離に応じてフィルタ強度が調整されたリフォーカスフィルタを生成するリフォーカスフィルタ生成部と、
   前記リフォーカスフィルタを使用するフィルタ処理を前記合成画像に施すことにより、リフォーカス画像を生成するリフォーカス画像生成部と、を有することを特徴とするカメラモジュール。
2. 被写体からの光を取り込み、被写体像を結像させる第１撮像レンズ及び第２撮像レンズと、
   前記第１撮像レンズによって結像した前記被写体像の撮像により第１画像を取得し、第１画像信号を出力する第１イメージセンサと、
   前記第２撮像レンズによって結像した前記被写体像の撮像により第２画像を取得し、第２画像信号を出力する第２イメージセンサと、
   前記第１イメージセンサからの前記第１画像信号及び前記第２イメージセンサからの前記第２画像信号の信号処理を実施する画像処理装置と、を有し、
   前記画像処理装置は、
   前記第１画像及び前記第２画像の視差量を、前記第１画像信号及び前記第２画像信号を基に算出する視差量算出部と、
   前記視差量を基に、前記被写体までの被写体距離を算出する被写体距離算出部と、
   前記第１画像及び前記第２画像に映し出された複数の前記被写体のうち、フォーカスを合わせる照準とされる被写体についての前記被写体距離に応じてフィルタ強度が調整されたリフォーカスフィルタを生成するリフォーカスフィルタ生成部と、
   前記リフォーカスフィルタを使用するフィルタ処理を前記第１画像に施すことにより、リフォーカス画像を生成するリフォーカス画像生成部と、を有することを特徴とするカメラモジュール。
3. 前記画像処理装置は、
   前記第１画像及び前記第２画像の合成により、合成画像を生成する画像合成部をさらに有し、
   前記リフォーカス画像生成部は、前記合成画像のリフォーカス画像を生成することを特徴とする請求項２に記載のカメラモジュール。
4. 前記第１イメージセンサは、複数の色光を検出するカラーイメージセンサであって、
   前記第２イメージセンサは、単一の色光を検出するモノクロイメージセンサであって、
   前記視差量算出部は、前記第１画像信号に含まれる第１輝度情報と、前記第２画像信号に含まれる第２輝度情報とを基に、前記視差量を算出することを特徴とする請求項２又は３に記載のカメラモジュール。
5. 前記第２イメージセンサは、前記第１イメージセンサに対し少ない画素数として構成されていることを特徴とする請求項２から４のいずれか一項に記載のカメラモジュール。

Images