JP5734776B2 - カメラモジュール - Google Patents

Description

本発明の実施形態は、カメラモジュールに関する。

近年、互いに視差を持たせた左目用画像と右目用画像とを並行して撮影し、３Ｄ立体視画像を得るカメラモジュールが普及している。また、従来、露出を異ならせて撮影された被写体像の合成により、高ダイナミックレンジ（high dynamic range；ＨＤＲ）動作を実現させる技術が提案されている。左目用及び右目用の２つの画像を得るために、３Ｄ画像の撮影には、例えば、２つの撮像光学系が使用される。また、露出の調節は、例えば、メカニカル機構を使用する絞りの制御により実施される。撮影におけるこれらの機能の実現を１つのカメラモジュールにより試みる場合に、機能ごとに必要とされる構成を単に組み合わせることとすると、カメラモジュールの構造の複雑化、大型化が問題となる。

特開２００９−２１７０２９号公報

本発明の一つの実施形態は、簡易かつ小型な構成により、複数の撮影機能を実現可能とするカメラモジュールを提供することを目的とする。

本発明の一つの実施形態によれば、カメラモジュールは、撮像レンズ、イメージセンサ、可変絞り部、信号処理部及び制御ドライバを有する。撮像レンズは、被写体からの光を取り込み、被写体像を結像させる。イメージセンサは、被写体像を撮像する。可変絞り部は、撮像レンズ及びイメージセンサの間の光路中に配置されている。可変絞り部は、撮像レンズから入射した光の透過及び遮蔽を領域ごとに切り換えることで、イメージセンサ側へ通過させる光の量を調節可能とする。信号処理部は、イメージセンサでの撮像により取得した画像信号の信号処理を実施する。制御ドライバは、イメージセンサの駆動、及び可変絞り部の駆動を制御する。可変絞り部は、光を透過させる透過領域の面積及び位置の少なくともいずれかを可変とする。制御ドライバは、イメージセンサによる撮像タイミングを調整可能とする。制御ドライバは、透過領域の面積及び位置の少なくともいずれかに対応して、撮像タイミングを調整する。

実施形態にかかるカメラモジュールの概略構成を示すブロック図。 撮像レンズからイメージセンサへの光の進行について説明する図。 可変絞り部のうち撮像レンズ側の平面図。 ３Ｄ画像撮影機能を実施するための構成を示すブロック図。 ３Ｄ画像の撮影における可変絞り部の駆動について説明する図。 ＨＤＲ撮影機能を実施するための構成を示すブロック図。 ＨＤＲ撮影における可変絞り部の駆動について説明する図。 多視点同時撮影機能を実施するための構成を示すブロック図。 多視点同時撮影における可変絞り部の駆動について説明する図。

以下に添付図面を参照して、実施形態にかかるカメラモジュールを詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

（実施形態）
図１は、実施形態にかかるカメラモジュールの概略構成を示すブロック図である。カメラモジュール１０は、例えば、デジタルカメラである。カメラモジュール１０は、撮像レンズ１１、可変絞り部１２、イメージセンサ１３、イメージシグナルプロセッサ（image signal processor；ＩＳＰ）１４、記憶部１５及び表示部１６を有する。

撮像レンズ１１は、被写体からの光を取り込み、イメージセンサ１３にて被写体像を結像させる。イメージセンサ１３は、被写体像を撮像する。可変絞り部１２は、撮像レンズ１１及びイメージセンサ１３の間の光路中に配置されている。可変絞り部１２は、撮像レンズ１１から入射した光の透過及び遮蔽を領域ごとに切り換えることで、イメージセンサ１３側へ通過させる光の量を調節可能とする。

ＩＳＰ１４は、イメージセンサ１３での撮像により得られた画像信号の信号処理を実施する。ＩＳＰ１４は、例えば、イメージセンサ１３から出力されたＲＡＷ画像について、シェーディング補正、自動露出（auto exposure；ＡＥ）調整、自動ホワイトバランス（auto white balance；ＡＷＢ）調整、マトリクス処理、輪郭強調、輝度圧縮、ガンマ処理等を実施する。

記憶部１５は、ＩＳＰ１４での信号処理を経た画像を格納する。記憶部１５は、ユーザの操作等に応じて、表示部１６へ画像信号を出力する。表示部１６は、ＩＳＰ１４あるいは記憶部１５から入力される画像信号に応じて、画像を表示する。表示部１６は、例えば、液晶ディスプレイである。

図２は、撮像レンズからイメージセンサへの光の進行について説明する図である。図３は、可変絞り部のうち撮像レンズ側の平面図である。可変絞り部１２は、光の透過及び遮蔽を切り換え可能とする複数の領域３１〜３６を備える。また、可変絞り部１２は、電源（図示省略）との接続のための電極３７を備える。

各領域３１〜３６は、例えば、エレクトロクロミック素子を用いて構成されている。エレクトロクロミック素子は、電気化学的な酸化還元反応によって光の透過率を変化させる性質を備える。可変絞り部１２は、領域３１〜３６ごとの光の透過及び遮蔽を印加電圧に応じて切り換えることで、イメージセンサ１３側へ通過させる光の量を調節可能とする。

領域３６は、円状の外周を備える。５つの領域３１〜３５は、領域３６の外周をなす円の内側に形成されている。領域３６は、円形のうち５つの領域３１〜３５を除いた部分である。領域３１は、可変絞り部１２の中心に位置する。領域３１の周囲には、４つの領域３２〜３５が配置されている。レンズバレル３８は、筒形状をなしている。レンズバレル３８は、撮像レンズ１１と可変絞り部１２とを支持する。

次に、実施形態にかかるカメラモジュールの各機能について説明する。カメラモジュール１０は、例えば、３Ｄ画像撮影、ＨＤＲ撮影、及び多視点同時撮影の各機能を備えるものとする。カメラモジュール１０は、これらの機能のうちの少なくとも２つを実施可能であれば良いものとする。

図４は、３Ｄ画像撮影機能を実施するための構成を示すブロック図である。イメージセンサ１３は、画素部４１及び撮像処理回路４２を有する。画素部４１は、各画素における光電変換により生成された画像信号を出力する。撮像処理回路４２は、画素部４１を駆動し、かつ画素部４１からの画像信号を処理する。

ＩＳＰ１４は、カメラインタフェース（Ｉ／Ｆ）４３、画像取り込み部４４、信号処理部４５、ドライバインタフェース（Ｉ／Ｆ）４６及び制御ドライバ４７を有する。イメージセンサ１３での撮像により得られたＲＡＷ画像は、カメラＩ／Ｆ４３から画像取り込み部４４へ取り込まれる。

信号処理部４５は、画像取り込み部４４へ取り込まれたＲＡＷ画像について、信号処理を実施する。ドライバＩ／Ｆ４６は、信号処理部４５での信号処理を経た画像信号を、記憶部１５及び表示部１６（図１参照）へ出力する。制御ドライバ４７は、可変絞り部１２、撮像処理回路４２及びドライバＩ／Ｆ４６を制御する。また、制御ドライバ４７は、イメージセンサ１３に適用するフレームタイミングを生成する。

図５は、３Ｄ画像の撮影における可変絞り部の駆動について説明する図である。図中、領域３１〜３６のうち斜線を付した部分は光を遮蔽させる状態であることを表し、白抜きとした部分は光を透過させる状態であることを表すものとする。

カメラモジュール１０による３Ｄ画像の撮影が指示されると、制御ドライバ４７は、第１段階として、例えば、図中上段に示すように、中心の領域３１の右側に位置する領域３２を透過状態とし、その他の領域３１、３３〜３６を遮蔽状態とする。次に、制御ドライバ４７は、第２段階として、第１段階にて透過状態としていた領域３２を、図中下段に示すように、遮蔽状態へと切り換える。また、制御ドライバ４７は、中心の領域３１の左側に位置する領域３３を透過状態へと切り換える。制御ドライバ４７は、領域３１、３４〜３６については遮蔽状態のままとする。

このように、制御ドライバ４７は、３Ｄ画像の撮影においては、可変絞り部１２のうち光を透過させる透過領域の位置を変化させる。領域３２の位置を第１の位置とすると、領域３３の位置は、第１の位置から水平方向へシフトさせた第２の位置である。

制御ドライバ４７は、一定のフレームレート、例えば６０ｆｐｓ（frame per second）で可変絞り部１２の透過領域を切り換える。また、制御ドライバ４７は、可変絞り部１２における透過領域の切り換えと同期して撮像を実施するように、撮像処理回路４２を制御する。イメージセンサ１３は、領域３２を透過状態とした第１の撮像により、例えば右目用画像を取得する。また、イメージセンサ１３は、領域３３を透過状態とした第２の撮像により、例えば左目用画像を取得する。

右目用画像は、透過領域を第１の位置とする第１の撮像において取得した第１画像である。左目用画像は、透過領域を第２の位置とする第２の撮像において取得した第２画像である。イメージセンサ１３は、第１の撮像と第２の撮像とでは、撮像タイミングを一定とする。

信号処理部４５は、右目用画像と左目用画像とを、立体視表示のための画像として出力する。制御ドライバ４７は、ドライバＩ／Ｆ４６の制御により、表示部１６に対する出力を右目用画像と左目用画像とに切り換える。このように、カメラモジュール１０は、水平方向における異なる視点から撮影された２つの画像を順次撮影することで、３Ｄ立体視画像を得る。

図６は、ＨＤＲ撮影機能を実施するための構成を示すブロック図である。イメージセンサ１３は、フレームメモリ４８を備える。フレームメモリ４８は、撮像処理回路４２からの画像信号を適宜格納する。制御ドライバ４７は、可変絞り部１２、撮像処理回路４２及び信号処理部４５を制御する。

図７は、ＨＤＲ撮影における可変絞り部の駆動について説明する図である。図中、領域３１〜３６のうち斜線を付した部分は光を遮蔽させる状態であることを表し、白抜きとした部分は光を透過させる状態であることを表すものとする。

カメラモジュール１０によるＨＤＲ撮影が指示されると、制御ドライバ４７は、第１段階として、例えば、図中上段に示すように、中心の領域３１を透過状態とし、その他の領域３２〜３６を遮蔽状態とする。

次に、制御ドライバ４７は、第２段階として、図中中段に示すよう、第１段階にて遮蔽状態としていた領域３２〜３５を透過状態へと切り換える。制御ドライバ４７は、領域３１については透過状態のままとする。また、制御ドライバ４７は、領域３６については遮蔽状態のままとする。

次に、制御ドライバ４７は、第３段階として、第２段階まで遮蔽状態としていた領域３６を透過状態へと切り換える。また、制御ドライバ４７は、領域３１〜３５については透過状態のままとする。

このように、制御ドライバ４７は、ＨＤＲ撮影においては、可変絞り部１２のうち光を透過させる透過領域の面積を変化させる。領域３１〜３６の総面積を第１の面積、領域３１の面積を第２の面積、領域３１〜３５の総面積を第３の面積、とすると、制御ドライバ４７は、透過領域の面積を第２の面積、第３の面積及び第１の面積へと変化させる。

可変絞り部１２は、透過領域の面積を第２の面積、第３の面積及び第１の面積へと拡大させることで、イメージセンサ１３側へ通過させる光量を順次増加させる。カメラモジュール１０は、可変絞り部１２の透過領域の面積を変化させることで、イメージセンサ１３への入射光量を変化させる。なお、可変絞り部１２は、透過領域を第２の面積、第３の面積及び第１の面積の順序で変化させる場合に限られない。透過領域の面積を変化させる態様は、適宜変更可能であるものとする。

制御ドライバ４７は、可変絞り部１２における透過領域の面積を変化させるとともに、画素部４１から画像信号を出力させる周波数（フレームレート）を変化させる。制御ドライバ４７は、透過領域を第２の面積としたとき、イメージセンサ１３のフレームレートを例えば６０ｆｐｓとする。制御ドライバ４７は、透過領域を第３の面積としたとき、イメージセンサ１３のフレームレートを例えば１５ｆｐｓとする。さらに、制御ドライバ４７は、透過領域を第１の面積としたとき、イメージセンサ１３のフレームレートを例えば７．５ｆｐｓとする。

このように、制御ドライバ４７は、可変絞り部１２の透過領域の面積が大きいほど、イメージセンサ１３の撮像タイミングの間隔が短くなるように撮像処理回路４２を制御する。イメージセンサ１３は、可変絞り部１２及び撮像処理回路４２の制御により露出を異ならせた被写体像を順次撮像する。

本実施例では、イメージセンサ１３は、露出を異ならせた第１段階、第２段階及び第３段階での撮像を行う。イメージセンサ１３は、第１段階及び第２段階での撮像により取得した画像信号をフレームメモリ４８に一時格納し、第３段階での撮像により取得した画像信号の出力とともに、フレームメモリ４８に格納されている画像信号を読み出す。

信号処理部４５は、ＨＤＲ撮影が指示されていることが制御ドライバ４７から通知されると、露出を異ならせた各画像のうち適正な露出が得られている部分同士を合成し、ＨＤＲ合成画像を生成する。信号処理部４５は、例えば、第３段階での撮像において入射光量の飽和が生じた画素の信号値を、第２段階あるいは第１段階での撮像により得られた信号値を使用して補間する。このように、カメラモジュール１０は、露出を異ならせて得られた画像を合成することにより、ＨＤＲ撮影を可能とする。

なお、カメラモジュール１０は、可変絞り部１２における透過領域の調整とフレームレートの調整とにより露出を異ならせる場合に限られない。カメラモジュール１０は、例えばフレームレートを一定とし、可変絞り部１２における透過領域の調整によって露出を異ならせることとしても良い。また、カメラモジュール１０は、ＨＤＲ撮影において、露出を異ならせた３段階の画像による合成画像を得る場合に限られず、露出を異ならせた複数の画像による合成画像を得るものであれば良い。

図８は、多視点同時撮影機能を実施するための構成を示すブロック図である。制御ドライバ４７は、可変絞り部１２及び撮像処理回路４２を制御する。

図９は、多視点同時撮影における可変絞り部の駆動について説明する図である。多視点同時撮影が指示されると、制御ドライバ４７は、第１段階として、例えば、図中上段に示すように、中心の領域３１の右側に位置する領域３２を透過状態とし、その他の領域３１、３３〜３６を遮蔽状態とする。

次に、制御ドライバ４７は、第２段階として、第１段階にて透過状態としていた領域３２を、図中中段に示すように、遮蔽状態へと切り換える。また、制御ドライバ４７は、中心の領域３１を透過状態へと切り換える。制御ドライバ４７は、領域３３〜３６については遮蔽状態のままとする。

次に、制御ドライバ４７は、第３段階として、第２段階にて透過状態としていた領域３１を、図中下段に示すように、遮蔽状態へと切り換える。また、制御ドライバ４７は、中心の領域３１の左側に位置する領域３３を透過状態へと切り換える。制御ドライバ４７は、領域３２、３４〜３６については遮蔽状態のままとする。

なお、可変絞り部１２は、透過領域の位置を変化させる順序を適宜変更しても良い。また、可変絞り部１２は、透過状態と遮蔽状態との切り換えを領域３１、３２、３３について行う場合に限られない。可変絞り部１２は、領域３１〜３５のうちの少なくとも２つについて、透過状態と遮蔽状態とに切り換え可能であれば良いものとする。これにより、カメラモジュール１０は、多視点同時撮影が可能となる。

このように、制御ドライバ４７は、多視点同時撮影においては、可変絞り部１２のうち光を透過させる透過領域の位置を変化させる。イメージセンサ１３は、互いに異なる視点から被写体を撮影する。

制御ドライバ４７は、一定のフレームレート、例えば６０ｆｐｓで可変絞り部１２の透過領域を切り換える。また、制御ドライバ４７は、可変絞り部１２における透過領域の切り換えと同期して撮像を実施するように、撮像処理回路４２を制御する。

カメラモジュール１０は、異なる視点から撮影した複数の画像を用いて、被写体距離の推定や、画像の繋ぎ合わせによる二次元画像の再構成処理等を行うことができる。また、カメラモジュール１０は、互いに異なる視点からの画像により、被写体の奥行き情報が得られる。カメラモジュール１０は、かかる奥行き情報を利用することで、例えば、リフォーカス等の画像処理が可能となる。

従来、複数の視点からの被写体の同時撮影や、３Ｄ画像の撮影には、例えば複眼構成が採用されている。本実施形態のカメラモジュール１０は、３Ｄ画像撮影、ＨＤＲ撮影、及び多視点同時撮影の各機能につき可変絞り部１２を流用可能とする。カメラモジュール１０は、可変絞り部１２を使用することで、撮影の機能ごとに必要とされる構成を単に組み合わせる場合に比べ簡易かつ小型な構成により、複数の機能による撮影が可能となる。

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ カメラモジュール、１１ 撮像レンズ、１２ 可変絞り部、１３ イメージセンサ、３１〜３６ 領域、４５ 信号処理部、４７ 制御ドライバ。

Claims (5)

1. 被写体からの光を取り込み、被写体像を結像させる撮像レンズと、
   前記被写体像を撮像するイメージセンサと、
   前記撮像レンズ及び前記イメージセンサの間の光路中に配置され、前記イメージセンサ側へ通過させる光の量を調節可能とする可変絞り部と、
   前記イメージセンサでの撮像により取得した画像信号の信号処理を実施する信号処理部と、
   前記イメージセンサの駆動、及び前記可変絞り部の駆動を制御する制御ドライバと、を有し、
   前記可変絞り部は、光の透過及び遮蔽を切り換え可能な複数の領域を備え、領域ごとに光の透過及び遮蔽を切り換えることで、光を透過させる透過領域の面積及び位置を可変とし、
   前記制御ドライバは、前記透過領域の面積及び位置に対応して、前記イメージセンサによる撮像タイミングを調整可能とすることを特徴とするカメラモジュール。
2. 前記制御ドライバは、前記透過領域の面積を第１の面積と、前記第１の面積より小さい第２の面積とに変化させ、かつ、前記透過領域の面積が大きいほど前記撮像タイミングの間隔を短くさせ、
   前記信号処理部は、前記透過領域を前記第２の面積とする第２の撮像において入射光量に対する出力の飽和が生じた画素の信号値を、前記透過領域を前記第１の面積とする第１の撮像にて取得した信号値を使用して補間し、合成画像を得ることを特徴とする請求項１に記載のカメラモジュール。
3. 前記制御ドライバは、前記透過領域を複数の位置に変化させ、かつ、互いに異なる位置を前記透過領域とする撮像において前記イメージセンサの前記撮像タイミングを一定とすることを特徴とする請求項１又は２に記載のカメラモジュール。
4. 前記制御ドライバは、前記透過領域を第１の位置と、前記第１の位置から水平方向へシフトさせた第２の位置とに変化させ、
   前記信号処理部は、前記透過領域を前記第１の位置とする第１の撮像において取得した第１画像と、前記透過領域を前記第２の位置とする第２の撮像において取得した第２画像とを、立体視表示のための画像として出力することを特徴とする請求項３に記載のカメラモジュール。
5. 前記可変絞り部は、エレクトロクロミック素子を用いて構成されていることを特徴とする請求項１から４のいずれか一項に記載のカメラモジュール。

Images