JP2014110442A - 撮像装置 - Google Patents

Abstract

【課題】複数の撮像部の配置を適切にする。
【解決手段】撮像装置に設けられる複数の撮像部は、同心円状に配置される撮像部群と、格子状に配置される撮像部群とにより構成され、前記撮像装置で撮像された画像データの画像処理のモードを決定する決定手段と、前記モードに応じて撮像に使用する撮像部を選択する選択手段とを有する。前記決定手段は、１つ以上のモードを決定し、前記モードは、リフォーカス処理、画角変更処理、視点位置変更処理、ノイズ低減処理、解像度変換処理、ＨＤＲ処理、距離推定、および視差推定の少なくとも１つを含む。
【選択図】図１

Description

本発明は、撮像装置に関する。より詳細には、多視点の画像データを撮像する撮像装置に関する。

これまで、カメラのピント調整を誤って撮像した場合は、ピント調整をやり直して再撮像する必要があった。また、奥行きの異なる複数の被写体に対してそれぞれにピントが合った画像を得たい場合には、被写体毎にピントを合わせた撮像を複数回行う必要があった。

近年、光学系に新たな光学素子を追加することで複数視点からの画像を取得し、後で画像処理によってピント位置を調節すること（リフォーカス）が可能なライトフィールドフォトグラフィという技術が発展している。

この技術を用いれば、撮像後にピント調整を行えるため、撮像時のピント調整の失敗を画像処理で補うことができるという利点がある。さらに、画像処理方法を変えることで画像中の任意の被写体にピントを合わせた複数の画像を一枚の撮像画像から得る事ができ、撮像回数を減らす事ができるという利点もある。

ライトフィールドフォトグラフィでは、複数視点の画像データから、空間中の複数の位置について、それぞれの位置を通過する光線の方向と強度（ライトフィールド、以下、「ＬＦ」という。）を計算する。そして、得られたＬＦの情報を用いて、仮想の光学系を通過して仮想のセンサに結像した場合の画像を計算する。このような仮想の光学系やセンサを適宜設定する事で、リフォーカスも可能となる。ＬＦに関する数学的性質や数学的基礎などはＲ.ＮＧらによって議論されている（非特許文献１）。

ＬＦを取得するための撮像技術としては、小型のカメラ（個眼カメラ）を並べたカメラアレイが知られている。カメラアレイでは、取得したＬＦから、仮想センサ上の画像データを撮像後に合成することができる。

ＬＦから仮想センサ上の画像を合成する方法として、取得した複数枚の画像データを仮想的なセンサ上に射影変換し加算して平均化する方法が知られている（特許文献１）。

また、複数視点の画像データを、上述したリフォーカス処理のほかに、ダイナミックレンジを広げるＨＤＲ処理や、距離や視差を推定する処理に用いることもできる。

国際公開第２００８／０５０９０４号

R.NG, M.Levoy, M.Bredif, G.Duval, M. Horowitz, P.Hanrahan,"Light Field Photography with a Hand-held Plenoptic Camera"(Stanford Tech ReportCTSR 2005-02, 2005)

カメラアレイを用いて複数視点の画像データを用いて上述した各種の処理機能を実現することが可能であるものの、個眼カメラが各々の機能に適した配置に必ずしもなっていない場合がある。

本発明に係る撮像装置は、複数の撮像部を有する撮像装置であって、前記複数の撮像部は、同心円状に配置される撮像部群と、格子状に配置される撮像部群とにより構成されることを特徴とする。

本発明によれば、各種の機能に適した位置に個眼カメラを配置することにより、複数の機能に適した撮像装置を提供することが可能となる。

実施例１に係る撮像装置の外観の一例を示す図である。 実施例１に係る撮像装置の構成の一例を示す図である。 実施例１に係る撮像装置の撮像部の一例を示す図である。 合成処理を説明するための図である。 合成処理を説明するための図である。 実施例１に係る撮像装置の処理の一例を示すフローチャートである。 撮像装置の変形例を示す図である。 撮像装置の他の変形例を示す図である。 撮像装置の外観の一例を示す図である。

以下、図面を参照して本発明を実施するための形態について説明する。

図１は、本実施例に係る撮像装置１００の外観の一例を示す図である。図１は撮像装置１００の前面側（撮像部が配置される面）から見た斜視図である。

図１に示すように撮像装置１００の前面には複数の撮像部１０１−１１２が同心円状に配置され、かつ、同心円状の内部に複数の撮像部１１３−１１６が格子状に配置されることによってカメラアレイを形成している。すなわち、図１の撮像装置１００は、第１の撮像部群が第１の形状に配置され、第２の撮像部群が第１の形状とは異なる第２の形状に配置される例を示している。

なお、図１の例においては、第１の撮像部群が１２個の撮像部を有し、第２の撮像部群が４個の撮像部を有する例を挙げて説明しているが、複数の形状を成す撮像部が含まれていればよく、図１で説明する例に限定されるものではない。また、図示していないが、撮像装置１００は、ボタン、タッチパネルディスプレイ、ジョグダイヤルなど各種のインターフェイスなどの他の機能を有することができる。

図２は、図１に示す撮像装置１００の構成の一例を示す図である。ＣＰＵ２０１は、ＲＡＭ２０２をワークメモリとして使用して、ＲＯＭ２０３に格納されたＯＳや各種プログラムを実行する。また、ＣＰＵ２０１は、システムバス２００を介して、撮像装置１００の各構成を制御する。ＲＡＭ２０２は、撮像光学系の制御結果を示すフォーカス設定及び絞り設定など撮像部１０１−１１６の状態を示す情報である撮像パラメータなどを格納する。ＲＯＭ２０３は、撮像部１０１−１１６の相対的な位置関係並びに各撮像部の撮像素子の画素ピッチ、光のエネルギーの受光効率、及び撮像部の焦点距離（画角）などを示すカメラ設計パラメータなどを格納する。なお、図示していないが、各撮像部１０１−１１６のＲＯＭに当該撮像部のカメラ設計パラメータを格納するようにしてもよい。

ＣＰＵ２０１は、コンピュータグラフィックス（ＣＧ）生成部２０７及び表示制御部２０４を制御してモニタ２１３にユーザインタフェイス（ＵＩ）を表示させる。また、ＣＰＵ２０１は、撮影ボタン１６３や操作部１６４を介してユーザ指示を受信する。そして、ＣＰＵ２０１は、ユーザ指示に従い、撮像時の被写体距離、焦点距離、絞り、露光時間、及びフラッシュの発光などの撮影条件の設定をすることができる。また、ＣＰＵ２０１は、ユーザ指示に従い、撮像の指示、及び撮像した画像の表示設定を行うことができる。ＣＧ生成部２０７は、ＵＩを実現するための文字やグラフィックスなどのデータを生成する。

ユーザから撮影を指示されると、ＣＰＵ２０１は、ユーザの指示に対応した光学系の制御方法を光学系制御方法生成部２０９から取得する。次に、ＣＰＵ２０１は、取得した光学系の制御方法に基づいて光学系制御部２１０に撮像を指示する。この撮像指示を受信した光学系制御部２１０は、フォーカスを合わせ、絞りを調節し、又はシャッタを開閉するなどの撮像光学系の制御を行う。また、光学系制御部２１０は、撮像光学系の制御結果を示すフォーカス設定及び絞り設定など撮像部１０１−１１６の状態を示す情報である撮像パラメータをＲＡＭ２０２に格納する。なお、一つの光学系制御部２１０によって各撮像部１０１−１１６の撮像光学系を制御するのではなく、ＣＰＵ２０１と通信可能な光学系制御部を各撮像部１０１−１１６に備えてもよい。

撮像部１０１−１１６はそれぞれ、被写体からの光をＣＣＤやＣＭＯＳなどの撮像センサ３０７において受光する。詳細は図３に関連して後述する。撮像部１０１−１１６は、撮像センサ３０７が出力するアナログ信号をアナログ−デジタル（Ａ／Ｄ）変換した撮像データ（以下、ＲＡＷデータ）を、一旦、撮像部１０１−１１６内のバッファメモリに保持する。バッファメモリに保持されたＲＡＷデータは、ＣＰＵ２０１の制御により、順次、ＲＡＭ２０２の所定領域に格納される。

デジタル信号処理部２０８は、ＲＡＭ２０２の所定領域に格納された複数のＲＡＷデータ（以下、ＲＡＷデータ群）から画像データを生成する現像処理を行う。またデジタル信号処理部２０８は、ＲＡＷデータ群および生成した画像データをＲＡＭ２０２の所定領域に格納する。なお、現像処理には、複数のＲＡＷデータを合成する合成処理、デモザイキング処理、ホワイトバランス処理、ガンマ処理、及びノイズ低減処理などが含まれる。また、デジタル信号処理部２０８は、撮影後の画像データに対してズーム倍率を変更し、変更後の画像データを生成する処理を行うことができる。生成した画像データにはフォーカス距離、ズーム倍率および被写界深度などを示す現像処理時のパラメータ（以下、画像生成パラメータ）が付加される。画像生成パラメータは、例えばユーザから指定された値に基づいて生成される。また、例えば初回現像時などにおいては初期設定値を画像生成パラメータとして用いることができる。また、ＲＡＷデータ群には少なくとも撮像パラメータが付加されるが、外部の画像処理装置による現像処理を考慮して、カメラ設計パラメータを付加してもよい。

ＣＰＵ２０１は、表示制御部２０４を制御して、ＲＡＭ２０２の所定領域に格納された画像データをモニタ２１３に表示する。圧縮伸長部２１２は、ＲＡＭ２０２の所定領域に格納された画像データをＪＰＥＧやＭＰＥＧなどのフォーマットに変換するエンコード処理を行う。また、圧縮伸長部２１２は、必要ならば、ＲＡＷデータ群をロスレス圧縮する処理を行う。

ＣＰＵ２０１は、表示制御部２０４を制御して、ＲＡＭ２０２の所定領域に格納された画像データをモニタ２１３に表示する。圧縮伸長部２１２は、ＲＡＭ２０２の所定領域に格納された画像データをＪＰＥＧやＭＰＥＧなどのフォーマットに変換するエンコード処理、必要ならば、ＲＡＷデータ群をロスレス圧縮する処理を行う。

インタフェイス（Ｉ／Ｆ）２０５は、例えばメモリカードやＵＳＢメモリなどの記録メディア２０６を読み書きする機能及び有線や無線のネットワークに接続する機能を有する。Ｉ／Ｆ２０５は、ＣＰＵ２０１の指示に従い、例えばＲＡＭ２０２に格納されたＪＰＥＧやＭＰＥＧフォーマットの画像データおよびＲＡＷデータ群を外部のメディアやサーバ装置に出力したり、外部の記録メディアやサーバ装置から各種データを入力する。

画像生成パラメータ生成部２１１は、デジタル信号処理部２０８における現像処理に必要な画像生成パラメータを生成する。

＜各撮像部の構成例＞
図３のブロック図は、撮像部１０１の構成例を示す図である。なお、図３には撮像部１０１の構成例を示すが、他の撮像部１０２−１１６もほぼ同様の構成を有する。ただし、撮像部１０１−１１６の画角、フォーカスおよび絞りなどの設定は、必ずしもすべて同一の構成でなくてもよい。

被写体からの光は、フォーカスレンズ群３０１ａ、絞り３０２ａ、固定レンズ群３０３ａ、シャッタ３０４ａ、赤外線カットフィルタ３０５、カラーフィルタ３０６を通過して、ＣＭＯＳセンサやＣＣＤなどの撮像センサ３０７上に結像する。Ａ／Ｄ変換部３０８は、撮像センサ素子が出力するアナログ信号をＡ／Ｄ変換する。バッファ３０９は、Ａ／Ｄ変換部３０８が出力するＲＡＷデータを一時的に格納し、ＣＰＵ２０１の要求に応じて、ＲＡＷデータをシステムバス２００を介してＲＡＭ２０２に転送する。

なお、図３（ａ）に示すレンズ群と絞りの配置は一例であり、異なる配置でもよい。例えば、一部またはすべての撮像部がテレセントリック性などのレンズ性能を向上させるための固定レンズ群３０３ａをもたなくてもよい。

（画像合成処理）
図４および図５を参照してデジタル信号処理部２０８による画像の合成の概念について説明する。図４（ａ）は異なる距離にある被写体を撮像部４０１〜４０３で撮影した様子を表している。

図４（ａ）において、撮像部４０１〜４０３は撮像部１０１〜１１６の中で代表的な３つの撮像部を図示したものである。点線４０４〜４０６は仮想的なピント位置（ピントを合わせようとする位置）の中で代表的な３枚の仮想的なピント位置を図示したものである。図４（ａ）に示すように、被写体４０７〜４０９はそれぞれ距離の異なる位置に置かれている。

図４（ｂ）は、撮像部４０１で取得した画像４１０を表す。撮像部４０２、４０３で取得する画像は、画像４１０において、各被写体４０４〜４０６の距離に応じた視差分だけ被写体がずれた画像になる。

図５はデジタル信号処理部２０８によって再構成された（合成された）画像の概念図である。画像５０１は仮想的なピント位置を点線４０６に設定したときの再構成後の画像である。画像５０１では被写体４０７にピントが合っており、被写体４０８、４０９にはボケが発生している。

画像５０２は仮想的なピント位置を点線４０５にしたとき、画像５０３は仮想的なピント位置を点線４０４にしたときのそれぞれの再構成後の画像である。画像５０２、５０３はそれぞれピントが合った被写体は４０８、４０９である。このように仮想的なピントを動かすことで、好きな被写体にピントを合わせた画像を得ることができる。

この合成処理の例では、仮想的なピント位置を制御することにより、所定の被写体にピントを合わせると同時に他の被写体をボケさせることが可能となる。合成処理の例はこれに限らず、例えば、画角を変更する処理、視点位置を変更する処理、ノイズを低減するノイズ低減処理、ダイナミックレンジを広げるHDR処理や、解像度を上げる高解像度化処理であっても良い。

＜撮像装置の処理フロー＞
図６は、撮像装置の処理の一例を示すフローチャートである。

ステップＳ６０１において、光学系制御方法生成部２０９は、予め設定された複数のモード（機能）のうち、使用するモードを決定する。複数のモードには、例えば次のモードが挙げられる。すなわち、リフォーカス処理を行うモード、画角変更処理を行うモード、視点位置変更処理を行うモード、ノイズ低減処理を行うモード、画像の解像度を変換させ解像度変換処理を行うモード、ＨＤＲ処理を行うモード、距離・視差推定を行うモードである。なお、上述したモード以外のモードが含まれていてよい。使用するモードについては、例えばユーザから操作部１６４を介して入力された情報に基づいて光学系制御方法生成部２０９が決定することができる。例えば、ユーザは不図示のジョグダイヤルやスイッチディスプレイ上のタッチパネルを介して、使用するモードを撮像装置１００に入力することができる。

ステップＳ６０２において、光学系制御方法生成部２０９は、ステップＳ６０１で決定したモードに応じて、撮像に用いる撮像部を選択する。すなわち、光学系制御方法生成部２０９は、光学系制御部２１０を介して制御する撮像部を決定する。

撮像後にピント位置を変更するリフォーカス処理を行う場合、格子状に配置された撮像部群を用いるよりも同心円状に配置された撮像部群を用いる方が画像を加工したり編集したりする処理に適している。例えば、リフォーカス時に被写界深度を制御したり、ボケを付与する場合には、同心円状に配置された撮像部群の方が自然なボケを再現することができる。

一方、格子状に配置された撮像部群は、同心円状に配置された撮像部群よりも計算誤差が少なくなるので、距離・視差推定に適している。

このように、使用するモードに応じて好ましい撮像部群が異なる。よって、ステップＳ６０２においては、モードに応じて撮像に用いる撮像部を選択する。なお、ステップＳ６０２においては、撮像部群の全ての撮像部を、撮像に用いる撮像部として選択しなくてもよい。光学系制御方法生成部２０９は、モードに応じて撮像に用いる撮像部群を決定し、決定した撮像部群の中から撮像に用いる撮像部を選択してもよい。例えば、決定したモードの処理をより精細に行う場合にはより多くの撮像部を選択し、決定したモードの処理をより高速に行う場合には、より少ない撮像部を選択してもよい。

なお、ステップＳ６０１では１つのモードが決定される場合を例として説明しているが、ステップＳ７０２で複数のモードが決定されてもよい。例えば、リフォーカス処理と距離推定処理とが決定がされてもよい。この場合、ステップＳ６０２において、光学系制御方法生成部２０９は、決定されたモードに従って、同心円状に配置された撮像部と、格子状の配置された撮像部との両方を、撮像に用いる撮像部として選択してもよい。

ステップＳ６０３で、光学系制御部２１０は、ステップＳ６０２で選択された撮像部を用いて撮像を行う。撮像した画像データは、ＲＡＭ２０２に記録される。

ステップＳ６０３で、ＣＰＵ２０１はデジタル信号処理部２０８を制御して、ステップＳ６０３で撮像された画像データに対して、ステップＳ６０１で決定したモードに従って画像処理を行う。

以上のように、本実施例においては、第１の撮像部群が同心円状に配置され、かつ、同心円状の内部に第２の撮像部群が格子状に配置されたカメラアレイを形成している。係る構成により、撮像後の画像処理において使用するモードに応じて、使用する撮像部を選択することできる。そして、このように選択された撮像部を介して得られる画像データを用いることにより、各モードに応じて好適な画像処理を行うことができる。

実施例１では、第１の撮像部群が同心円状に配置され、かつ、同心円状の内部に第２の撮像部群が格子状に配置されたカメラアレイを形成するように構成された撮像装置の例を説明した。実施例２においては、各種の変形例について説明する。

図７は、実施例１で説明した図１とは逆に、格子状の撮像部７０１−７０４の内部に同心円状の撮像部７０５−７１２が配置される撮像装置７００の例を示している。なお、図７の例では、同心円状の撮像部７０５−７１２の内部にさらに撮像部７１３が配置されている例を示しているが、撮像部７１３は配置されていてもいなくてもよい。

図８は、図７で示す撮像装置７００を変形した例である撮像装置８００を示している。すなわち、同心円状に配置されている撮像部８０５−８１２と格子状に配置されている撮像部８０１−８０４とが横に並行に配置されている例を示している。なお、図７で説明したように、同心円状に配置されている撮像部８０５−８１２の内部の撮像部８１３は、配置されてもいなくてもよい。

以上のように、第１の撮像部群が第１の形状に配置され、第２の撮像部群が第１の形状とは異なる第２の形状に配置されるいずれの場合についても、本発明を適用することは可能である。

＜撮像装置の外観＞
図９は、撮像装置の外観の一例を示す図である。図９（ａ）は、正面図である。図９（ｂ）は平面図である。図９（ｃ）は底面図である。図９（ｄ）は左側面図である。図９（ｅ）は右側面図である。図９（ｆ）は背面図である。

（その他の実施形態）
なお、上記の例では、複数の撮像部が同心円状に配置されるものとして説明した。しかしながら、必ずしも同心円である必要はなく、楕円状に配置されていてもよい。また、上記の例では、第１の撮像部群と第２の撮像部群とが２つの形状を形成する場合を例に挙げて説明したが、第３の撮像部群を設けるなど３つ以上の形状を形成してもよい。

また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

Claims (7)

1. 複数の撮像部を有する撮像装置であって、
   前記複数の撮像部は、同心円状に配置される撮像部群と、格子状に配置される撮像部群とにより構成されることを特徴とする撮像装置。
2. 前記撮像装置で撮像された画像データの画像処理のモードを決定する決定手段と、
   前記モードに応じて撮像に使用する撮像部を選択する選択手段と、
   をさらに有することを特徴とする請求項１に記載の撮像装置。
3. 前記決定手段は、１つ以上のモードを決定することを特徴とする請求項２に記載の撮像装置。
4. 前記モードは、リフォーカス処理、画角変更処理、視点位置変更処理、ノイズ低減処理、解像度変換処理、ＨＤＲ処理、距離推定、および視差推定の少なくとも１つを含むことを特徴とする請求項２または３に記載の撮像装置。
5. 前記格子状に配置される撮像部群は、前記同心円状に配置される撮像部群の内部に配置されることを特徴とする請求項１から４のいずれかに記載の撮像装置。
6. 前記同心円状に配置される撮像部群は、前記格子状に配置される撮像部群の内部に配置されることを特徴とする請求項１から４のいずれかに記載の撮像装置。
7. 前記格子状に配置される撮像部群は、前記同心円状に配置される撮像部群と並行に配置されることを特徴とする請求項１から４のいずれかに記載の撮像装置。

Images