JPWO2020174978A1 - 撮像装置、撮像装置の画像データ処理方法、及びプログラム - Google Patents

Abstract

撮像装置は、複数の撮像素子と、少なくとも１つの信号処理回路と、伝送路と、を含み、複数の撮像素子の各々は、被写体を撮像することで得た画像データを記憶し、かつ、撮像素子に内蔵されたメモリ、及びメモリに記憶された画像データに基づく出力画像データを出力し、かつ、撮像素子に内蔵された通信インタフェースを有し、伝送路は、複数の撮像素子及び単一の信号処理回路を直列に接続しており、複数の撮像素子の各々の通信インタフェースは、伝送路を介して出力画像データを後段の撮像素子又は信号処理回路に出力する。

Description

本開示の技術は、撮像装置、撮像装置の画像データ処理方法、及びプログラムに関する。

ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子が１つのみ搭載されている撮像装置により複数フレーム分の撮像が行われる場合、時分割で撮像が行われる。そのため、例えば、動き続けている被写体に対して複数フレーム分の撮像が行われることで得られた複数の画像の合成が行われると、合成後の画像内に乱れが生じることがある。

これに対し、複数のＣＭＯＳイメージセンサにより露光期間を揃えて被写体が撮像されることで得られた複数の画像が合成されると、単一のＣＭＯＳイメージセンサにより時分割で撮像されることで得られた複数の画像が合成された場合に比べ、合成後の画像内の乱れが少なくなる。

ところで、複数のＣＭＯＳイメージセンサは、信号処理部に接続されており、信号処理部では、複数のＣＭＯＳイメージセンサの各々によって撮像されることで得られた画像に対して信号処理が行われる。一般的に、信号処理部は、ＣＭＯＳイメージセンサの後段に位置している。複数のＣＭＯＳイメージセンサを信号処理部に接続する方法としては、次の第１〜第３接続方法が知られている。

図３６には、ＣＭＯＳイメージセンサ１０００Ａ、ＣＭＯＳイメージセンサ１０００Ｂ、及びＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）１００２が示されている。ＬＳＩ１００２は、ＣＭＯＳイメージセンサ１０００Ａ及びＣＭＯＳイメージセンサ１０００Ｂの後段に位置する信号処理部である。図３６に示す例では、ＬＳＩ１００２に対して、ＣＭＯＳイメージセンサ１０００Ａ及びＣＭＯＳイメージセンサ１０００Ｂが第１接続方法で接続されている。具体的には、ＬＳＩ１００２に対して、ＣＭＯＳイメージセンサ１０００Ａが通信ラインＬＮ１で直接接続され、かつ、ＣＭＯＳイメージセンサ１０００Ｂが通信ラインＬＮ２で直接接続されている。

図３７には、ＣＭＯＳイメージセンサ１０００Ａ、ＣＭＯＳイメージセンサ１０００Ｂ、及びＬＳＩユニット１００４が示されている。ＬＳＩユニット１００４は、ＣＭＯＳイメージセンサ１０００Ａ及びＣＭＯＳイメージセンサ１０００Ｂの後段に位置する信号処理部である。ＬＳＩユニット１００４は、ＬＳＩ１００４Ａ及びＬＳＩ１００４Ｂを備えている。図３７に示す例では、ＬＳＩユニット１００４に対してＣＭＯＳイメージセンサ１０００Ａ，１０００Ｂが第２接続方法で接続されている。具体的には、ＬＳＩ１００４Ａに対してＣＭＯＳイメージセンサ１０００Ａが通信ラインＬＮ３で直接接続され、かつ、ＬＳＩ１００４Ｂに対してＣＭＯＳイメージセンサ１０００Ｂが通信ラインＬＮ４で直接接続されている。

第３接続方法は特開２０１６−１４３９１５号公報に開示されている。図３８には、特開２０１６−１４３９１５号公報に開示されている第３接続方法を簡略的に示した概念図が示されている。図３８に示す例において、ＬＳＩユニット１００６は、ＣＭＯＳイメージセンサ１０００Ａ及びＣＭＯＳイメージセンサ１０００Ｂの後段に位置する信号処理部である。ＬＳＩユニット１００６は、ＬＳＩ１００６Ａ及びＬＳＩ１０００６Ｂを備えている。ＬＳＩ１００６Ａ、ＬＳＩ１０００６Ｂ、ＣＭＯＳイメージセンサ１０００Ａ、及びＣＭＯＳイメージセンサ１０００Ｂは第３接続方法で接続されている。具体的には、ＬＳＩ１００６Ａに対してＣＭＯＳイメージセンサ１０００Ａが通信ラインＬＮ５で直接接続され、ＬＳＩ１００６Ｂに対してＣＭＯＳイメージセンサ１０００Ｂが通信ラインＬＮ６で直接接続され、ＬＳＩ１００６ＡとＬＳＩ１０００６Ｂとが通信ラインＬＮ７で直接接続されている。

本開示の技術に係る一つの実施形態は、複数の撮像素子を信号処理部に接続する場合に複数の撮像素子に対応する複数のインタフェースが信号処理部に設けられる場合に比べ、複数の撮像素子を信号処理部に接続するのに要する配線数を抑制することができる撮像装置、撮像装置の画像データ処理方法、及びプログラムを提供する。

本開示の技術に係る第１の態様は、複数の撮像素子と、少なくとも１つの信号処理部と、伝送路と、を含み、複数の撮像素子の各々は、被写体を撮像することで得た画像データを記憶し、かつ、撮像素子に内蔵された記憶部、及び記憶部に記憶された画像データに基づく出力画像データを出力し、かつ、撮像素子に内蔵された出力部を有し、伝送路は、複数の撮像素子及び単一の信号処理部を直列に接続しており、複数の撮像素子の各々の出力部は、伝送路を介して出力画像データを後段の撮像素子又は信号処理部に出力する撮像装置である。これにより、複数の撮像素子を信号処理部に接続する場合に複数の撮像素子に対応する複数のインタフェースが信号処理部に設けられる場合に比べ、複数の撮像素子を信号処理部に接続するのに要する配線数を抑制することができる。

本開示の技術に係る第２の態様は、複数の撮像素子に含まれる隣接する撮像素子のうちの前段の撮像素子である前段撮像素子の出力部によって出力された出力画像データが隣接する撮像素子のうちの後段の撮像素子である後段撮像素子の記憶部に記憶されてから後段の撮像素子の出力部によって出力される第１の態様に係る撮像装置である。これにより、後段撮像素子は、出力画像データを後段撮像素子の記憶部に記憶させずに出力する場合に比べ、前段撮像素子から受け取った出力画像データを適切な出力タイミングで出力することができる。

本開示の技術に係る第３の態様は、複数の撮像素子のうち、信号処理部に遠い側の撮像素子から近い側の撮像素子にかけて出力画像データが順に受け渡され、複数の撮像素子のうちの最終段の撮像素子に受け渡された出力画像データは、最終段の撮像素子の出力部によって信号処理部に出力される第２の態様に係る撮像装置である。これにより、信号処理部に対して全ての撮像素子が直接接続されていなくても、各撮像素子によって撮像されることで得られた画像データを信号処理部に単一の経路から受け取らせることができる。

本開示の技術に係る第４の態様は、信号処理部は、複数の撮像素子の各々の出力部によって出力された出力画像データの各々を時分割で受け取る第３の態様に係る撮像装置である。これにより、信号処理部に対して全ての撮像素子が直接接続されていなくても、各撮像素子によって撮像されることで得られた画像データを最小限の配線数で信号処理部に受け取らせることができる。

本開示の技術に係る第５の態様は、信号処理部は、複数の撮像素子のうち、信号処理部に近い側の撮像素子から遠い側の撮像素子の順に、複数の撮像素子の各々の出力部によって出力された出力画像データの各々を時分割で受け取る第４の態様に係る撮像装置である。これにより、複数の撮像素子の各々で生成された各画像データを信号処理部に最も近い側の撮像素子に一旦集めてから信号処理部に出力する場合に比べ、複数の撮像素子の各々で生成された各画像データを信号処理部に早く受け取らせることができる。

本開示の技術に係る第６の態様は、後段撮像素子により撮像されることで画像データとして得られた後段画像データは後段撮像素子の記憶部に記憶され、後段撮像素子は、前段撮像素子の出力部によって出力画像データとして後段撮像素子に出力された前段画像データと、記憶部に記憶されている後段画像データとを合成する合成部を更に含み、後段撮像素子の出力部は、合成部により前段画像データと後段画像データとが合成されることで得られた合成画像データを出力画像データとして出力する第２の態様に係る撮像装置である。これにより、信号処理部で前段画像データと後段画像データとを合成させる必要がなくなる。

本開示の技術に係る第７の態様は、後段撮像素子により撮像されることで画像データとして得られた後段画像データは後段撮像素子の記憶部に記憶され、後段撮像素子は、前段撮像素子の出力部によって出力画像データとして後段撮像素子に出力された前段画像データと、記憶部に記憶されている後段画像データとを連結する連結部を更に含み、後段撮像素子の出力部は、連結部により前段画像データと後段画像データとが連結されることで得られた連結画像データを出力画像データとして出力する第２の態様に係る撮像装置である。これにより、信号処理部で前段画像データと後段画像データとを連結させる必要がなくなる。

本開示の技術に係る第８の態様は、後段撮像素子の露光時間は、前段撮像素子の露光時間よりも長い第２の態様から第７の態様のうちの１つの態様に係る撮像装置である。これにより、後段撮像素子により撮像されることで得られた単一の画像データ又は前段撮像素子により撮像されることで得られた単一の画像データに比べ、ダイナミックレンジの大きな画像データを得ることができる。

本開示の技術に係る第９の態様は、信号処理部は、伝送路において複数の撮像素子よりも後段に位置する第１の態様から第８の態様の何れか１つの態様に係る撮像装置である。これにより、信号処理部は、信号処理部の前段に位置する複数の撮像素子によって撮像されることで得られた全ての画像データを受け取ることができる。

本開示の技術に係る第１０の態様は、複数の撮像素子の出力部の各々は、互いに同期して出力画像データを出力する第１の態様から第９の態様の何れか１つの態様に係る撮像装置である。これにより、画像データが複数の撮像素子のうちの１つの撮像素子に滞留することを回避することができる。

本開示の技術に係る第１１の態様は、少なくとも光電変換素子と記憶部とが１チップ化された第１の態様から第１０の態様の何れか１つの態様に係る撮像装置である。これにより、光電変換素子と記憶部とが１チップ化されていない撮像素子に比べ、撮像素子の可搬性が高くなる。

本開示の技術に係る第１２の態様は、撮像素子は、光電変換素子に記憶部が積層された積層型撮像素子である第１１の態様に係る撮像装置である。これにより、電変換素子６１とメモリ１１２とを接続する配線を短くすることができるため、配線遅延を減らすことができ、この結果、光電変換素子と記憶部とが積層されていない場合に比べ、光電変換素子から記憶部への画像データの転送速度を高めることができる。

本開示の技術に係る第１３の態様は、信号処理部に入力された出力画像データに基づく画像を表示部に対して表示させる制御を行う表示制御部を更に含む第１の態様から第１２の態様の何れか１つの態様に係る撮像装置である。これにより、出力画像データに基づく画像をユーザに視認させることができる。

本開示の技術に係る第１４の態様は、信号処理部に入力された出力画像データを記憶装置に対して記憶させる制御を行う記憶制御部を更に含む第１の態様から第１３の態様の何れか１つの態様に係る撮像装置である。これにより、信号処理部に入力された出力画像データを過不足なく管理することができる。

本開示の技術に係る第１５の態様は、複数の撮像素子と、少なくとも１つの信号処理部と、伝送路と、を含み、複数の撮像素子の各々は、被写体を撮像することで得た画像データを記憶し、かつ、撮像素子に内蔵された記憶部、及び記憶部に記憶された画像データに基づく出力画像データを出力し、かつ、撮像素子に内蔵された出力部を有する撮像装置の画像データ処理方法であって、複数の撮像素子及び単一の信号処理部を１つの伝送路で直列に接続し、複数の撮像素子の各々の出力部は、伝送路を介して出力画像データを後段の撮像素子又は信号処理部に出力することを含む撮像装置の画像データ処理方法である。これにより、複数の撮像素子を信号処理部に接続する場合に複数の撮像素子に対応する複数のインタフェースが信号処理部に設けられる場合に比べ、複数の撮像素子を信号処理部に接続するのに要する配線数を抑制することができる。

本開示の技術に係る第１６の態様は、複数の撮像素子と、少なくとも１つの信号処理部と、伝送路と、を含み、複数の撮像素子の各々は、被写体を撮像することで得た画像データを記憶し、かつ、撮像素子に内蔵された記憶部、及び記憶部に記憶された画像データに基づく出力画像データを出力し、かつ、撮像素子に内蔵された出力部を有する撮像装置に含まれる出力部としてコンピュータを機能させるためのプログラムであって、複数の撮像素子及び単一の信号処理部は１つの伝送路で直列に接続されており、複数の撮像素子の各々の出力部は、伝送路を介して出力画像データを後段の撮像素子又は信号処理部に出力するプログラムである。これにより、複数の撮像素子を信号処理部に接続する場合に複数の撮像素子に対応する複数のインタフェースが信号処理部に設けられる場合に比べ、複数の撮像素子を信号処理部に接続するのに要する配線数を抑制することができる。

本開示の技術に係る第１７の態様は、複数の撮像素子と、少なくとも１つの信号処理部と、伝送路と、を含み、複数の撮像素子の各々は、被写体を撮像することで得た画像データを記憶し、かつ、撮像素子に内蔵されたメモリ、及びメモリに記憶された画像データに基づく出力画像データを出力し、かつ、撮像素子に内蔵されたプロセッサを有し、伝送路は、複数の撮像素子及び単一の信号処理部を直列に接続しており、複数の撮像素子の各々のプロセッサは、伝送路を介して出力画像データを後段の撮像素子又は信号処理部に出力する撮像装置である。

第１実施形態に係るスマートデバイスの背面側の外観の一例を示す背面視斜視図である。 図１に示すスマートデバイスの前面側の外観の一例を示す前面視斜視図である。 第１実施形態に係るスマートデバイスの構成の一例を示すブロック図である。 第１実施形態に係るスマートデバイスの撮像装置に含まれる撮像素子のフレームレートの説明に供する概念図である。 第１実施形態に係るスマートデバイスに含まれるコントローラ、ＵＩ系デバイス、及びその周辺の電気系の構成の一例を示すブロック図である。 第１実施形態に係る第１撮像素子及び第２撮像素子の各々の積層構造の一例を示す概念図である。 第１実施形態に係る第１撮像素子及びその周辺の構成の一例を示すブロック図である。 第１実施形態に係る第２撮像素子及びその周辺の構成の一例を示すブロック図である。 第１実施形態に係る撮像装置に含まれる第１撮像素子及び第２撮像素子での画像データの流れの一例を示す概念図である。 第１実施形態に係る撮像装置に含まれる第１撮像素子、信号処理回路、及びコントローラの間での画像データの流れの一例を示す概念図である。 第１実施形態に係る撮像装置に含まれる第１撮像素子及び第２撮像素子の各々での処理内容の一例を示すタイムチャートである。 第１実施形態に係る前段撮像処理の流れの一例を示すフローチャートである。 第１実施形態に係る後段撮像処理の流れの一例を示すフローチャートである。 第１撮像素子での露光期間と第２撮像素子での露光期間とを揃えた場合の第１撮像素子及び第２撮像素子内での処理内容の一例を示すタイムチャートである。 第１実施形態に係る第１撮像素子の構成の変形例を示す概念図である。 第１実施形態に係る後段撮像処理の流れの変形例を示すフローチャートである。 第２実施形態に係るスマートデバイスの背面側の外観の一例を示す背面視斜視図である。 第２実施形態に係るスマートデバイスの構成の一例を示すブロック図である。 第２実施形態に係るスマートデバイスに含まれるコントローラ、ＵＩ系デバイス、及びその周辺の電気系の構成の一例を示すブロック図である。 第２実施形態に係る第２撮像素子及びその周辺の構成の一例を示すブロック図である。 第２実施形態に係る第３撮像素子及びその周辺の構成の一例を示すブロック図である。 第２実施形態に係る撮像装置に含まれる第２撮像素子及び第３撮像素子での画像データの流れの一例を示す概念図である。 第２実施形態に係る撮像装置に含まれる第１撮像素子及び第２撮像素子での画像データの流れの一例を示す概念図である。 第２実施形態に係る撮像装置に含まれる第１撮像素子、信号処理回路、及びコントローラの間での画像データの流れの一例を示す概念図である。 第２実施形態に係る撮像装置に含まれる第１撮像素子、第２撮像素子、及び第３撮像素子の各々での処理内容の一例を示すタイムチャートである。 第２実施形態に係る前段撮像処理の流れの変形例を示すフローチャートである。 第２実施形態に係る中段撮像処理の流れの変形例を示すフローチャートである。 第２実施形態に係る後段撮像処理の流れの変形例を示すフローチャートである。 直列に接続された第１〜第３撮像素子の各々から信号処理回路にデジタル画像データを伝送する場合の第１撮像素子内、第２撮像素子内、及び第３撮像素子内での処理内容の一例を示すタイムチャートである。 図２９に示す時間帯Ｔ１でのデジタル画像データの受け渡し状態の一例を示す概念図である。 図２９に示す時間帯Ｔ２でのデジタル画像データの受け渡し状態の一例を示す概念図である。 図２９に示す時間帯Ｔ３でのデジタル画像データの受け渡し状態の一例を示す概念図である。 第２実施形態に係る第１撮像素子の構成の変形例を示す概念図である。 第２実施形態に係る撮像装置の変形例を示す概念図である。 後段撮像プログラムが記憶された記憶媒体から、後段撮像プログラムが第１撮像素子内のコンピュータにインストールされる態様の一例を示す概念図である。 前段撮像プログラムが記憶された記憶媒体から、前段撮像プログラムが第２撮像素子（第３撮像素子）内のコンピュータにインストールされる態様の一例を示す概念図である。 中段撮像プログラムが記憶された記憶媒体から、中段撮像プログラムが第２撮像素子内のコンピュータにインストールされる態様の一例を示す概念図である。 従来技術に係る第１接続方法による接続態様の一例を示す概念図である。 従来技術に係る第２接続方法による接続態様の一例を示す概念図である。 従来技術に係る第３接続方法による接続態様の一例を示す概念図である。

以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。

先ず、以下の説明で使用される文言について説明する。

ＣＰＵとは、“Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称を指す。ＲＡＭとは、“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＲＯＭとは、“Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。ＤＲＡＭとは、“Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＳＲＡＭとは、“Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。

ＬＳＩとは、“Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ”の略称を指す。ＡＳＩＣとは、“Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称を指す。ＰＬＤとは、“Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ”の略称を指す。ＦＰＧＡとは、“Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ”の略称を指す。

ＳＳＤとは、“Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ”の略称を指す。ＤＶＤ−ＲＯＭとは、“Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。ＵＳＢとは、“Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ”の略称を指す。ＨＤＤとは、“Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ”の略称を指す。ＥＥＰＲＯＭとは、“Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。

ＣＣＤとは、“Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ”の略称を指す。ＣＭＯＳとは、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称を指す。ＥＬとは、“Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。Ａ／Ｄとは、“Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ”の略称を指す。Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＵＩとは、“Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ”の略称を指す。

ＬＶＤＳとは、“Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ”の略称を指す。ＰＣＩ−ｅとは、 “Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ”の略称を指す。ＳＡＴＡとは、“Ｓｅｒｉａｌ Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ”の略称を指す。ＳＬＶＳ−ＥＣとは、“Ｓｃａｌａｂｌｅ Ｌｏｗ Ｓｉｇｎａｌｉｎｇ ｗｉｔｈ Ｅｍｂｅｄｄｅｄ Ｃｌｏｃｋ”の略称を指す。ＭＩＰＩとは、“Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｓｓｏｒ Ｉｎｔｅｒｆａｃｅ”の略称を指す。

［第１実施形態］
一例として図１に示すように、スマートデバイス１０は、筐体１２を備えており、筐体１２に撮像装置１４が収容されている。撮像装置１４は、第１撮像レンズ１６及び第２撮像レンズ１８を備えている。スマートデバイス１０を縦置きの状態にした場合の筐体１２の背面１２Ａの右上部において、第１撮像レンズ１６及び第２撮像レンズ１８は、鉛直方向に沿って既定の間隔（例えば、数ミリの間隔）で配置されており、背面１２Ａから露出している。

一例として図２に示すように、筐体１２の前面１２Ｂには、指示キー２２及びタッチパネル・ディスプレイ２４が設けられている。スマートデバイス１０を縦置きの状態にした場合の前面１２Ｂの下部には、指示キー２２が配置されており、指示キー２２の上方にタッチパネル・ディスプレイ２４が配置されている。

指示キー２２は、各種の指示を受け付ける。ここで言う「各種の指示」とは、例えば、ロック解除受付画面の表示の指示、各種メニューを選択可能なメニュー画面の表示の指示、１つ又は複数のメニューの選択の指示、選択内容の確定の指示、及び選択内容の消去の指示等を指す。なお、ロック解除受付画面とは、スマートデバイス１０のロックを解除するための暗号を受け付ける画面を指す。

タッチパネル・ディスプレイ２４は、ディスプレイ２６及びタッチパネル２８（図５も参照）を備えている。ディスプレイ２６の一例としては、液晶ディスプレイが挙げられる。ディスプレイ２６は、液晶ディスプレイではなく、有機ＥＬディスプレイなどの他のディスプレイであってもよい。なお、ディスプレイ２６は、本開示の技術に係る「表示部（ディスプレイ）」の一例である。

ディスプレイ２６は、画像及び文字情報等を表示する。ディスプレイ２６は、撮像装置１４が撮像モードの場合に連続的な撮像により得られたライブビュー画像の表示に用いられる。また、ディスプレイ２６は、静止画像用の撮像の指示が与えられた場合に撮像されることで得られた静止画像の表示にも用いられる。更に、ディスプレイ２６は、撮像装置１４が再生モードの場合の再生画像の表示及びメニュー画面等の表示にも用いられる。

タッチパネル２８は、透過型のタッチパネルであり、ディスプレイ２６の表示領域の表面に重ねられている。タッチパネル２８は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。

一例として図３に示すように、スマートデバイス１０は、撮像装置１４の他に、コントローラ１５及びＵＩ系デバイス１７を備えている。コントローラ１５は、スマートデバイス１０の電気系を制御する。コントローラ１５は、撮像装置１４及びＵＩ系デバイス１７に接続されている。ＵＩ系デバイス１７は、ユーザからの指示を受け付けたり、ユーザに対して各種情報を表示したりするデバイスである。コントローラ１５は、ＵＩ系デバイス１７によって受け付けられた各種の指示の取得、及びＵＩ系デバイス１７の制御を行う。

撮像装置１４は、被写体を撮像することで、被写体の画像を示す画像データを生成し、生成した画像データをコントローラ１５に出力する。コントローラ１５は、撮像装置１４から入力された画像データに基づく画像をＵＩ系デバイス１７に対して表示させる。

撮像装置１４は、第１撮像装置３０、第２撮像装置３２、及び信号処理回路３４を備えている。信号処理回路３４は、撮像装置１４の後段に位置する電気回路である。具体的には、信号処理回路３４は、第１撮像装置３０の後段に位置する電気回路である。信号処理回路３４は、通信ライン３５を介してコントローラ１５に接続されている。

第１撮像装置３０は、第１撮像レンズ１６及び第１撮像装置本体３６を備えている。第１撮像レンズ１６は、対物レンズ１６Ａ、フォーカスレンズ１６Ｂ、及び絞り１６Ｃを備えている。対物レンズ１６Ａ、フォーカスレンズ１６Ｂ、及び絞り１６Ｃは、被写体側から第１撮像装置本体３６側にかけて、光軸Ｌ１に沿って、対物レンズ１６Ａ、フォーカスレンズ１６Ｂ、及び絞り１６Ｃの順に配置されている。フォーカスレンズ１６Ｂ及び絞り１６Ｃは、モータ等の駆動源（図示省略）からの動力を受けることで作動する。すなわち、フォーカスレンズ１６Ｂ及び絞り１６Ｃは、付与された動力に応じて光軸Ｌ１に沿って移動する。また、絞り１６Ｃは、付与された動力に応じて作動することで露出を調節する。

第１撮像装置本体３６は、第１撮像素子３８及びメカニカルシャッタ４０を備えている。第１撮像素子３８は、後述の第２撮像素子５２と隣接しており、第２撮像素子５２よりも後段側の撮像素子である。第１撮像素子３８は、本開示の技術に係る「複数の撮像素子」に含まれる撮像素子の一例であり、本開示の技術に係る「後段の撮像素子」及び「後段撮像素子」の一例である。

メカニカルシャッタ４０は、モータ等の駆動源（図示省略）からの動力を受けることで作動する。第１撮像素子３８は、受光面４２Ａを有する光電変換素子４２を備えている。被写体を示す被写体光は、第１撮像レンズ１６を透過し、メカニカルシャッタ４０を介して第１撮像素子３８の受光面４２Ａに結像される。光電変換素子４２は、受光面４２Ａに結像された被写体光を光電変換することで、被写体の画像を示す第１画像データ７０を生成する。

第１撮像素子３８は、通信ライン４４を介して信号処理回路３４に接続されている。また、第１撮像素子３８は、通信ライン４６を介してコントローラ１５に接続されている。第１撮像素子３８は、通信ライン４６を介してコントローラ１５によって制御される。第１撮像素子３８は、コントローラ１５の制御下で、被写体を撮像する。また、第１撮像素子３８は、被写体を撮像することで得た第１画像データ７０を、通信ライン４４を介して信号処理回路３４に出力する。なお、通信ライン４４は、本開示の技術に係る「伝送路」の一例である。

第２撮像装置３２は、第２撮像レンズ１８及び第２撮像装置本体５０を備えている。第２撮像レンズ１８は、対物レンズ１８Ａ、フォーカスレンズ１８Ｂ、及び絞り１８Ｃを備えている。対物レンズ１８Ａ、フォーカスレンズ１８Ｂ、及び絞り１８Ｃは、被写体側から第２撮像装置本体５０側にかけて、光軸Ｌ２に沿って、対物レンズ１８Ａ、フォーカスレンズ１８Ｂ、及び絞り１８Ｃの順に配置されている。対物レンズ１８Ａ、フォーカスレンズ１８Ｂ、及び絞り１８Ｃは、光軸Ｌ２上において、対物レンズ１６Ａ、フォーカスレンズ１６Ｂ、及び絞り１６Ｃと同様の機能を有する。フォーカスレンズ１８Ｂ及び絞り１８Ｃは、光軸Ｌ２上において、フォーカスレンズ１６Ｂ及び絞り１６Ｃと同様に作動する。

第２撮像装置本体５０は、第２撮像素子５２及びメカニカルシャッタ５３を備えている。第２撮像素子５２は、第１撮像素子３８と隣接しており、第１撮像素子３８よりも前段の撮像素子である。第１撮像素子３８及び第２撮像素子５２は、本開示の技術に係る「複数の撮像素子」の一例であり、第２撮像素子５２は、本開示の技術に係る「複数の撮像素子」に含まれる撮像素子の一例である。また、第１撮像素子３８及び第２撮像素子５２は、本開示の技術に係る「隣接する撮像素子」の一例である。また、第１撮像素子３８と第２撮像素子５２との位置関係において、第２撮像素子５２は、本開示の技術に係る「前段撮像素子」の一例である。メカニカルシャッタ５３は、メカニカルシャッタ４０と同様の機能を有しており、メカニカルシャッタ４０と同様に作動する。

第２撮像素子５２は、受光面５６Ａを有する光電変換素子５６を備えている。被写体を示す被写体光は、第２撮像レンズ１８を透過し、メカニカルシャッタ５３を介して第２撮像素子５２の受光面５６Ａに結像される。光電変換素子５６は、受光面５６Ａに結像された被写体光を光電変換することで、被写体の画像を示す第２画像データ８０を生成する。

第２撮像素子５２は、通信ライン５４を介して第１撮像素子３８に接続されている。また、第２撮像素子５２は、通信ライン５８を介してコントローラ１５に接続されている。第２撮像素子５２は、通信ライン５８を介してコントローラ１５によって制御される。第２撮像素子５２は、コントローラ１５の制御下で、被写体を撮像する。また、第２撮像素子５２は、被写体を撮像することで得た第２画像データ８０を、通信ライン５４を介して第１撮像素子３８に出力する。なお、通信ライン５４は、本開示の技術に係る「伝送路」の一例である。

このように、第２撮像素子５２の後段には第１撮像素子３８が位置し、第１撮像素子３８の後段には信号処理回路３４が位置する。そして、第２撮像素子５２は通信ライン５４を介して第１撮像素子３８に接続され、第１撮像素子３８は、通信ライン４４を介して信号処理回路３４に接続されている。つまり、第１撮像素子３８、第２撮像素子５２、及び信号処理回路３４は、通信ライン４４，５４によって直列に接続されている。

一例として図４に示すように、第１撮像素子３８にはコントローラ１５から通信ライン４６を介して読出同期信号が入力される。読出同期信号には、垂直同期信号及び水平同期信号が含まれている。垂直同期信号は、光電変換素子４２からの１フレーム毎の第１画像データ７０の読み出しの開始タイミングを規定する同期信号である。水平同期信号は、光電変換素子４２からの水平ライン毎の第１画像データ７０の読み出しの開始タイミングを規定する同期信号である。第１撮像素子３８では、コントローラ１５から通信ライン４６を介して入力された垂直同期信号に応じて定まるフレームレートに従って、光電変換素子４２から第１画像データ７０が読み出される。

一方、第２撮像素子５２にはコントローラ１５から通信ライン５８を介して読出同期信号が入力される。垂直同期信号は、光電変換素子５６からの１フレーム毎の第２画像データ８０の読み出しの開始タイミングを規定する同期信号である。水平同期信号は、光電変換素子５６からの水平ライン毎の第２画像データ８０の読み出しの開始タイミングを規定する同期信号である。第２撮像素子５２では、コントローラ１５から通信ライン５８を介して入力された垂直同期信号に応じて定まるフレームレートに従って、光電変換素子５６から第２画像データ８０が読み出される。

図４に示す例では、第１撮像素子３８及び第２撮像素子５２の双方のフレームレートとして、期間Ｔ内に光電変換素子４２，５６の各々から８フレーム分の読み出しが行われるフレームレートが示されている。具体的なフレームレートの一例としては、１２０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）が挙げられるが、これに限らず、１２０ｆｐｓを超えるフレームレートであってもよいし、１２０ｆｐｓ未満のフレームレートであってもい。

一例として図５に示すように、コントローラ１５は、ＣＰＵ１５Ａ、ＲＯＭ１５Ｂ、ＲＡＭ１５Ｃ、及び通信Ｉ／Ｆ１５Ｄ１，１５Ｄ２，１５Ｅを備えている。ＣＰＵ１５Ａ、ＲＯＭ１５Ｂ、ＲＡＭ１５Ｃ、及び通信Ｉ／Ｆ１５Ｄ１，１５Ｄ２，１５Ｅは、バスライン１００を介して相互に接続されている。なお、ＣＰＵ１５Ａは、本開示の技術に係る「表示制御部（表示プロセッサ）」及び「記憶制御部（記憶プロセッサ）」の一例である。

ＲＯＭ１５Ｂには、各種プログラムが記憶されている。ＣＰＵ１５Ａは、ＲＯＭ１５Ｂから各種プログラムを読み出し、読み出した各種プログラムをＲＡＭ１５Ｃに展開する。ＣＰＵ１５Ａは、ＲＡＭ１５Ｃに展開した各種プログラムに従ってスマートデバイス１０の全体を制御する。

通信Ｉ／Ｆ１５Ｄ１，１５Ｄ２，１５Ｅの各々は、ＦＰＧＡを有する通信デバイスである。なお、ここでは、通信Ｉ／Ｆ１５Ｄ１，１５Ｄ２，１５Ｅの各々としてＦＰＧＡを有する通信デバイスが採用されているが、あくまでも一例に過ぎず、通信Ｉ／Ｆ１５Ｄ１，１５Ｄ２，１５Ｅの各々は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、通信Ｉ／Ｆ１５Ｄ１，１５Ｄ２，１５Ｅの各々は、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータであってもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、通信Ｉ／Ｆ１５Ｄ１，１５Ｄ２，１５Ｅの各々は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

通信Ｉ／Ｆ１５Ｄ１は、通信ライン４６を介して第１撮像素子３８に接続されている。ＣＰＵ１５Ａは、通信Ｉ／Ｆ１５Ｄ１を介して第１撮像素子３８を制御する。例えば、ＣＰＵ１５Ａは、通信Ｉ／Ｆ１５Ｄ１を介して第１撮像素子３８に対して読出同期信号を供給することで光電変換素子４２からの第１画像データ７０の読出タイミングを制御する。

通信Ｉ／Ｆ１５Ｄ２は、通信ライン５８を介して第２撮像素子５２に接続されている。ＣＰＵ１５Ａは、通信Ｉ／Ｆ１５Ｄ２を介して第２撮像素子５２を制御する。例えば、ＣＰＵ１５Ａは、通信Ｉ／Ｆ１５Ｄ２を介して第２撮像素子５２に対して読出同期信号を供給することで光電変換素子５６からの第２画像データ８０の読出タイミングを制御する。

通信Ｉ／Ｆ１５Ｅは、通信ライン３５を介して信号処理回路３４に接続されている。ＣＰＵ１５Ａは、通信Ｉ／Ｆ１５Ｅを介して信号処理回路３４との間で各種情報の授受を行う。信号処理回路３４は、本開示の技術に係る「単一の信号処理部（単一の信号処理回路）」の一例である。

信号処理回路３４は、ＬＳＩであり、具体的には、ＡＳＩＣを含むデバイスである。なお、ここでは、信号処理回路３４としてＡＳＩＣを含むデバイスが採用されているが、これは、あくまでも一例に過ぎない。信号処理回路３４は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、信号処理回路３４は、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータであってもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、信号処理回路３４は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

詳しくは後述するが、信号処理回路３４には、第１撮像素子３８から画像データが入力される。信号処理回路３４は、第１撮像素子３８から入力された画像データに対して各種の信号処理（詳しくは後述）を行う。信号処理回路３４は、各種の信号処理を行った画像データを、通信ライン３５を介して通信Ｉ／Ｆ１５Ｅに出力する。信号処理回路３４から通信Ｉ／Ｆ１５Ｅに入力された画像データは、通信Ｉ／Ｆ１５ＥによってＣＰＵ１５Ａに転送される。

バスライン１００には、二次記憶装置１０２及び外部Ｉ／Ｆ１０４が接続されている。二次記憶装置１０２は、フラッシュメモリ、ＳＳＤ、ＨＤＤ、又はＥＥＰＲＯＭなどの不揮発性のメモリである。ＣＰＵ１５Ａは、二次記憶装置１０２に対して各種情報の読み書きを行う。なお、二次記憶装置１０２は、本開示の技術に係る「記憶装置」の一例である。

外部Ｉ／Ｆ１０４は、ＦＰＧＡを有する通信デバイスである。なお、ここでは、外部Ｉ／Ｆ１０４としてＦＰＧＡを含むデバイスが採用されているが、これは、あくまでも一例に過ぎない。外部Ｉ／Ｆ１０４は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、外部Ｉ／Ｆ１０４は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

外部Ｉ／Ｆ１０４には、ＵＳＢメモリ及びメモリカード等の外部装置（図示省略）が接続される。外部Ｉ／Ｆ１０４は、ＣＰＵ１５Ａと外部装置との間の各種情報の授受を司る。なお、ＵＳＢメモリ及びメモリカード等の外部装置は、本開示の技術に係る「記憶装置」の一例である。

ＵＩ系デバイス１７は、タッチパネル・ディスプレイ２４及び受付デバイス８４を備えている。ディスプレイ２６及びタッチパネル２８は、バスライン１００に接続されている。従って、ＣＰＵ１５Ａは、ディスプレイ２６に対して各種情報を表示させ、タッチパネル２８によって受け付けられた各種指示に従って動作する。

受付デバイス８４は、ハードキー部２５を備えている。ハードキー部２５は、複数のハードキーであり、指示キー２２（図２参照）を有する。ハードキー部２５は、バスライン１００に接続されており、ＣＰＵ１５Ａは、ハードキー部２５によって受け付けられた各種指示を取得し、取得した指示に従って動作する。

一例として図６に示すように、第１撮像素子３８には、光電変換素子４２、処理回路１１０、及びメモリ１１２が内蔵されている。第２撮像素子５２には、光電変換素子５６、処理回路１２０、及びメモリ１２２が内蔵されている。第２撮像素子５２において、光電変換素子５６は、光電変換素子４２と同様の機能を有するデバイスであり、処理回路１２０は、処理回路１１０と同様の機能を有するデバイスであり、メモリ１２２は、メモリ１１２と同様の機能を有するデバイスである。そのため、以下、図６に示す例の説明については、第１撮像素子３８を例に挙げて説明し、第２撮像素子５２の説明は省略する。

第１撮像素子３８は、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化された撮像素子である。すなわち、光電変換素子４２、処理回路１１０、及びメモリ１１２は１パッケージ化されている。第１撮像素子３８では、光電変換素子４２に対して処理回路１１０及びメモリ１１２が積層されている。具体的には、光電変換素子４２及び処理回路１１０は、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されており、処理回路１１０及びメモリ１１２、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されている。ここでは、光電変換素子４２、処理回路１１０、及びメモリ１１２の３層構造が例示されているが、本開示の技術はこれに限らず、処理回路１１０とメモリ１１２とを１層としたメモリ層と、光電変換素子４２との２層構造であってもよい。

処理回路１１０は、例えば、ＬＳＩである。メモリ１１２は、書き込みタイミングと読み出しタイミングとが異なるメモリである。ここでは、メモリ１１２の一例として、ＤＲＡＭが採用されている。

処理回路１１０は、ＡＳＩＣ及びＦＰＧＡを含むデバイスであり、上述のコントローラ１５の指示に従って、第１撮像素子３８の全体を制御する。なお、ここでは、処理回路１１０がＡＳＩＣ及びＦＰＧＡを含むデバイスによって実現される例を挙げているが、本開示の技術はこれに限定されるものではなく、例えば、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、処理回路１１０として、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、処理回路１１０は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

光電変換素子４２は、マトリクス状に配置された複数のフォトダイオードを有している。複数のフォトダイオードの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。

光電変換素子４２に含まれる各フォトダイオードには、カラーフィルタが配置されている。カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタ、Ｒ（赤）に対応するＲフィルタ、及びＢ（青）に対応するＢフィルタを含む。光電変換素子４２は、Ｒ画素、Ｇ画素、及びＢ画素を有する。

Ｒ画素は、Ｒフィルタが配置されたフォトダイオードに対応する画素であり、Ｇ画素は、Ｇフィルタが配置されたフォトダイオードに対応する画素であり、Ｂ画素は、Ｂフィルタが配置されたフォトダイオードに対応する画素である。Ｒ画素、Ｇ画素、及びＢ画素は、行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で配置されている。本実施形態では、Ｒ画素、Ｇ画素、及びＢ画素がＸ−Ｔｒａｎｓ（登録商標）配列に対応した周期性で配列されている。なお、ここでは、Ｘ−Ｔｒａｎｓ配列を例示しているが、本開示の技術はこれに限定されず、Ｒ画素、Ｇ画素、及びＢ画素の配列は、ベイヤ配列又はハニカム配列などであってもよい。

第１撮像素子３８は、いわゆる電子シャッタ機能を有しており、コントローラ１５（図５及び図７参照）の制御下で電子シャッタ機能を働かせることで、光電変換素子４２内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆるシャッタスピードを指す。

第１撮像装置１４（図３参照）では、ローリングシャッタ方式で、静止画像用の撮像と、ライブビュー画像用の撮像とが行われる。静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ４０（図３参照）を作動させることで実現され、ライブビュー画像用の撮像は、メカニカルシャッタ４０を作動させずに、電子シャッタ機能を働かせることで実現される。なお、ここでは、ローリングシャッタ方式が例示されているが、本開示の技術はこれに限らず、ローリングシャッタ方式に代えてグローバルシャッタ方式を適用してもよい。

なお、メモリ１１２，１２２の各々は、本開示の技術に係る「記憶部」の一例である。本実施形態において、メモリ１１２，１２２としてＤＲＡＭが採用されているが、本開示の技術はこれに限らず、メモリ１１２，１２２は、ＳＲＡＭであっても本開示の技術は成立する。また、第１撮像素子３８及び第２撮像素子５２の各々は、本開示の技術に係る「積層型撮像素子」の一例である。本実施形態において、第１撮像素子３８及び第２撮像素子５２の各々は、ＣＭＯＳイメージセンサである。また、ここでは、第１撮像素子３８及び第２撮像素子５２としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、第１撮像素子３８及び第２撮像素子５２がＣＣＤイメージセンサであっても本開示の技術は成立する。

一例として図７に示すように、信号処理回路３４は、通信Ｉ／Ｆ３４Ａ，３４Ｂを備えている。詳しくは後述するが、通信Ｉ／Ｆ３４Ａは、通信ライン４４を介して第１撮像素子３８の処理回路１１０と接続されており、信号処理回路３４は、通信Ｉ／Ｆ３４Ａを介して第１撮像素子３８の処理回路１１０と通信を行う。例えば、通信Ｉ／Ｆ３４Ａは、第１撮像素子３８から出力された画像データを受け付ける。

通信Ｉ／Ｆ３４Ｂは、通信ライン３５を介してコントローラ１５の通信Ｉ／Ｆ１５Ｅに接続されており、信号処理回路３４は、通信Ｉ／Ｆ３４Ｂ，１５Ｅを介してコントローラ１５と通信を行う。例えば、通信Ｉ／Ｆ３４Ｂは、信号処理回路３４によって各種の信号処理（詳しくは後述）が行われることで得られた画像データを、通信ライン３５を介してコントローラ１５の通信Ｉ／Ｆ１５Ｅに出力する。

第２撮像素子５２は、通信Ｉ／Ｆ１２０Ｄ１，１２０Ｄ２を備えている。通信Ｉ／Ｆ１２０Ｄ２は、本開示の技術に係る「出力部（通信インタフェース）」の一例である。通信Ｉ／Ｆ１２０Ｄ１は、通信ライン５８を介してコントローラ１５の通信Ｉ／Ｆ１５Ｄ２と接続されており、第２撮像素子５２は、通信Ｉ／Ｆ１５Ｄ２，１２０Ｄ１を介してコントローラ１５と通信を行う。例えば、第２撮像素子５２は、コントローラ１５の通信Ｉ／Ｆ１５Ｄ２から通信ライン５８を介して出力された読出同期信号を通信Ｉ／Ｆ１２０Ｄ１で受け付ける。

詳しくは後述するが、通信Ｉ／Ｆ１２０Ｄ２は、通信ライン５４を介して第１撮像素子３８の処理回路１１０に接続されており、第２撮像素子５２は、通信Ｉ／Ｆ１２０Ｄ２を介して第１撮像素子３８の処理回路１１０と通信を行う。例えば、第２撮像素子５２は、被写体を撮像することで得た第２画像データ８０を、通信Ｉ／Ｆ１２０Ｄ２から通信ライン５４を介して処理回路１１０に出力する。

第１撮像素子３８において、処理回路１１０は、読出回路１１０Ａ、デジタル処理回路１１０Ｂ、制御回路１１０Ｃ、及び通信Ｉ／Ｆ１１０Ｄ１，１１０Ｄ２，１１０Ｄ３を備えている。通信Ｉ／Ｆ１１０Ｄ２は、本開示の技術に係る「出力部（通信インタフェース）」の一例である。

読出回路１１０Ａは、光電変換素子４２、デジタル処理回路１１０Ｂ、及び制御回路１１０Ｃの各々に接続されている。デジタル処理回路１１０Ｂは、制御回路１１０Ｃに接続されている。制御回路１１０Ｃは、メモリ１１２及び通信Ｉ／Ｆ１１０Ｄ１，１１０Ｄ２，１１０Ｄ３の各々に接続されている。

上述の第１画像データ７０は、一例として図７に示すように、第１アナログ画像データ７０Ａと第１デジタル画像データ７０Ｂとに大別される。なお、以下では、説明の便宜上、第１アナログ画像データ７０Ａと第１デジタル画像データ７０Ｂとを区別して説明する必要がない場合、「第１画像データ７０」と称する。

通信Ｉ／Ｆ１１０Ｄ１は、ＦＰＧＡを有する通信デバイスであり、通信ライン４６を介してコントローラ１５の通信Ｉ／Ｆ１５Ｄ１に接続されている。処理回路１１０とコントローラ１５との間は、通信ライン４６を介して通信Ｉ／Ｆ１５Ｄ１，１１０Ｄ１によってＰＣＩ−ｅの接続規格に従って接続されている。

通信Ｉ／Ｆ１１０Ｄ１は、コントローラ１５の通信Ｉ／Ｆ１５Ｄ１から通信ライン４６を介して出力された読出同期信号を受け付け、受け付けた読出同期信号を制御回路１１０Ｃに出力する。

通信Ｉ／Ｆ１１０Ｄ２は、ＦＰＧＡを有する通信デバイスであり、通信ライン４４を介してＰＣＩ−ｅの接続規格に従って信号処理回路３４の通信Ｉ／Ｆ３４Ａに接続されている。通信Ｉ／Ｆ１１０Ｄ２は、信号処理回路３４と制御回路１１０Ｃとの間での通信を司る。ここでは、通信Ｉ／Ｆ１１０Ｄ２としてＦＰＧＡを有する通信デバイスが採用されているが、あくまでも一例に過ぎず、通信Ｉ／Ｆ１１０Ｄ２は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、通信Ｉ／Ｆ１１０Ｄ２は、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータであってもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、通信Ｉ／Ｆ１１０Ｄ２は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

通信Ｉ／Ｆ１１０Ｄ３は、ＦＰＧＡを有する通信デバイスであり、通信ライン５４を介してＰＣＩ−ｅの接続規格に従って第２撮像素子５２の通信Ｉ／Ｆ１２０Ｄ２に接続されている。通信Ｉ／Ｆ１１０Ｄ３は、第２撮像素子５２と制御回路１１０Ｃとの間での通信を司る。ここでは、通信Ｉ／Ｆ１１０Ｄ３としてＦＰＧＡを有する通信デバイスが採用されているが、あくまでも一例に過ぎず、通信Ｉ／Ｆ１１０Ｄ３は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、通信Ｉ／Ｆ１１０Ｄ３は、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータであってもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、通信Ｉ／Ｆ１１０Ｄ３は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

読出回路１１０Ａは、制御回路１１０Ｃの制御下で、光電変換素子４２を制御し、光電変換素子４２から第１アナログ画像データ７０Ａを読み出す。光電変換素子４２からの第１アナログ画像データ７０Ａの読み出しは、コントローラ１５から処理回路１１０に入力された読出同期信号に従って行われる。

具体的には、先ず、通信Ｉ／Ｆ１１０Ｄ１がコントローラ１５から読出同期信号を受け付け、受け付けた読出同期信号を制御回路１１０Ｃに出力する。次に、制御回路１１０Ｃは、通信Ｉ／Ｆ１１０Ｄ１から入力された読出同期信号を読出回路１１０Ａに転送する。すなわち、読出回路１１０Ａには、垂直同期信号及び水平同期信号が転送される。そして、読出回路１１０Ａは、制御回路１１０Ｃから転送された垂直同期信号に従って光電変換素子４２からフレーム単位での第１アナログ画像データ７０Ａの読み出しを開始する。また、読出回路１１０Ａは、制御回路１１０Ｃから転送された水平同期信号に従って水平ライン単位での第１アナログ画像データ７０Ａの読み出しを開始する。

読出回路１１０Ａは、光電変換素子４２から読み出された第１アナログ画像データ７０Ａに対してアナログ信号処理を行う。アナログ信号処理には、ノイズキャンセル処理及びアナログゲイン処理などの公知の処理が含まれる。ノイズキャンセル処理は、光電変換素子４２に含まれる画素間の特性のばらつきに起因するノイズをキャンセルする処理である。アナログゲイン処理は、第１アナログ画像データ７０Ａに対してゲインをかける処理である。このようにしてアナログ信号処理が行われた第１アナログ画像データ７０Ａは、読出回路１１０Ａによってデジタル処理回路１１０Ｂに出力される。

デジタル処理回路１１０Ｂは、Ａ／Ｄ変換器１１０Ｂ１を備えている。Ａ／Ｄ変換器１１０Ｂ１は、第１アナログ画像データ７０ＡをＡ／Ｄ変換する。

デジタル処理回路１１０Ｂは、読出回路１１０Ａから入力された第１アナログ画像データ７０Ａに対してデジタル信号処理を行う。デジタル信号処理には、例えば、相関二重サンプリング、Ａ／Ｄ変換器１１０Ｂ１によるＡ／Ｄ変換、及びデジタルゲイン処理が含まれる。

第１アナログ画像データ７０Ａに対しては、デジタル処理回路１１０Ｂによって相関二重サンプリングが行われる。相関二重サンプリングの信号処理が行われた第１アナログ画像データ７０Ａに対しては、Ａ／Ｄ変換器１１０Ｂ１によってＡ／Ｄ変換が行われ、これによって、第１アナログ画像データ７０Ａがデジタル化され、ＲＡＷデータとして第１デジタル画像データ７０Ｂが得られる。そして、第１デジタル画像データ７０Ｂに対しては、デジタル処理回路１１０Ｂによってデジタルゲイン処理が行われる。デジタルゲイン処理とは、第１デジタル画像データ７０Ｂに対してゲインをかける処理を指す。このようにデジタル信号処理が行われることによって得られた第１デジタル画像データ７０Ｂは、デジタル処理回路１１０Ｂによって制御回路１１０Ｃに出力される。

一方、詳しくは後述するが、第２撮像素子５２でも、第１撮像素子３８と同様の方法で被写体の画像を示す第２デジタル画像データ８０Ｂが生成される。そして、第２撮像素子５２で生成された第２デジタル画像データ８０Ｂは、第２撮像素子５２の通信Ｉ／Ｆ１２０Ｄ２によって通信ライン５４を介して処理回路１１０の通信Ｉ／Ｆ１１０Ｄ３に出力される。通信Ｉ／Ｆ１２０Ｄ２によって出力された第２デジタル画像データ８０Ｂは、通信Ｉ／Ｆ１１０Ｄ３によって受け付けられ、制御回路１１０Ｃに転送される。

なお、本第１実施形態では、第１デジタル画像データ７０Ｂ及び第２デジタル画像データ８０Ｂを区別して説明する必要がない場合、符号を付さずに「デジタル画像データ」と称する。ここで言う「第２デジタル画像データ８０Ｂ」は、本開示の技術に係る「出力画像データ」の一例である。

メモリ１１２は、複数フレームのデジタル画像データを記憶可能なメモリである。メモリ１１２は、画素単位の記憶領域（図示省略）を有しており、デジタル画像データが制御回路１１０Ｃによって、画素単位で、メモリ１１２のうちの対応する記憶領域に記憶される。

制御回路１１０Ｃは、デジタル処理回路１１０Ｂから入力された第１デジタル画像データ７０Ｂをメモリ１１２に記憶する。また、制御回路１１０Ｃは、通信Ｉ／Ｆ１１０Ｄ３から入力された第２デジタル画像データ８０Ｂもメモリ１１２に記憶する。

制御回路１１０Ｃは、メモリ１１２に対してランダムアクセス可能であり、通信Ｉ／Ｆ１１０Ｄ２を介した信号処理回路３４からの要求に応じて、メモリ１１２からデジタル画像データを取得する。制御回路１１０Ｃは、メモリ１１２から取得したデジタル画像データに対して画像処理を施して得た画像データを通信Ｉ／Ｆ１１０Ｄ２に出力する。

通信Ｉ／Ｆ１１０Ｄ２は、制御回路１１０Ｃから入力された画像データを、通信ライン４４を介して信号処理回路３４に出力する。信号処理回路３４では、通信Ｉ／Ｆ１１０Ｄ２から出力された画像データが通信Ｉ／Ｆ３４Ａによって受け付けられ、受け付けられた画像データに対して各種の信号処理（詳しくは後述）が行われる。

一例として図８に示すように、第２撮像素子５２において、処理回路１２０は、読出回路１２０Ａ、デジタル処理回路１２０Ｂ、制御回路１２０Ｃ、及び通信Ｉ／Ｆ１２０Ｄ１，１２０Ｄ２を備えている。

読出回路１２０Ａは、光電変換素子５６、デジタル処理回路１２０Ｂ、及び制御回路１２０Ｃの各々に接続されている。デジタル処理回路１２０Ｂは、制御回路１２０Ｃに接続されている。制御回路１２０Ｃは、メモリ１２２及び通信Ｉ／Ｆ１２０Ｄ１，１２０Ｄ２の各々に接続されている。

上述の第２画像データ８０は、一例として図８に示すように、第２アナログ画像データ８０Ａと第２デジタル画像データ８０Ｂとに大別される。なお、以下では、説明の便宜上、第２アナログ画像データ８０Ａと第２デジタル画像データ８０Ｂとを区別して説明する必要がない場合、「第２画像データ８０」と称する。

通信Ｉ／Ｆ１２０Ｄ１は、ＦＰＧＡを有する通信デバイスであり、通信ライン５８を介してコントローラ１５の通信Ｉ／Ｆ１５Ｄ２に接続されている。処理回路１２０とコントローラ１５との間は、通信ライン５８を介して通信Ｉ／Ｆ１５Ｄ２，１２０Ｄ１によってＰＣＩ−ｅの接続規格に従って接続されている。

通信Ｉ／Ｆ１２０Ｄ１は、コントローラ１５の通信Ｉ／Ｆ１５Ｄ２から通信ライン５８を介して出力された読出同期信号を受け付け、受け付けた読出同期信号を制御回路１２０Ｃに出力する。

通信Ｉ／Ｆ１２０Ｄ２は、ＦＰＧＡを有する通信デバイスであり、ここでは、通信Ｉ／Ｆ１２０Ｄ２としてＦＰＧＡを有する通信デバイスが採用されているが、あくまでも一例に過ぎず、通信Ｉ／Ｆ１２０Ｄ２は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、通信Ｉ／Ｆ１２０Ｄ２は、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータであってもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、通信Ｉ／Ｆ１２０Ｄ２は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

読出回路１２０Ａは、制御回路１２０Ｃの制御下で、光電変換素子５６を制御し、光電変換素子５６から第２アナログ画像データ８０Ａを読み出す。光電変換素子５６からの第２アナログ画像データ８０Ａの読み出しは、コントローラ１５から処理回路１２０に入力された読出同期信号に従って行われる。

具体的には、先ず、通信Ｉ／Ｆ１２０Ｄ１がコントローラ１５から読出同期信号を受け付け、受け付けた読出同期信号を制御回路１２０Ｃに出力する。次に、制御回路１２０Ｃは、通信Ｉ／Ｆ１２０Ｄ１から入力された読出同期信号を読出回路１２０Ａに転送する。すなわち、読出回路１２０Ａには、垂直同期信号及び水平同期信号が転送される。そして、読出回路１２０Ａは、制御回路１２０Ｃから転送された垂直同期信号に従って光電変換素子５６からフレーム単位での第２アナログ画像データ８０Ａの読み出しを開始する。また、読出回路１２０Ａは、制御回路１２０Ｃから転送された水平同期信号に従って水平ライン単位での第２アナログ画像データ８０Ａの読み出しを開始する。

読出回路１２０Ａは、光電変換素子５６から読み出された第２アナログ画像データ８０Ａに対して、上述のアナログ信号処理を行う。このようにしてアナログ信号処理が行われた第２アナログ画像データ８０Ａは、読出回路１２０Ａによってデジタル処理回路１２０Ｂに出力される。

デジタル処理回路１２０Ｂは、Ａ／Ｄ変換器１２０Ｂ１を備えている。Ａ／Ｄ変換器１２０Ｂ１は、第２アナログ画像データ８０ＡをＡ／Ｄ変換する。

デジタル処理回路１２０Ｂは、読出回路１２０Ａから入力された第２アナログ画像データ８０Ａに対してデジタル信号処理を行う。第２アナログ画像データ８０Ａに対するデジタル信号処理は、第１アナログ画像データ７０Ａに対するデジタル信号処理に比べ、Ａ／Ｄ変換器１１０Ｂ１によるＡ／Ｄ変換に代えて、Ａ／Ｄ変換器１２０Ｂ１によるＡ／Ｄ変換が含まれる点が異なる。

相関二重サンプリングの信号処理が行われた第２アナログ画像データ８０Ａに対しては、Ａ／Ｄ変換器１１０Ｂ１によってＡ／Ｄ変換が行われ、これによって、第２アナログ画像データ８０Ａがデジタル化され、ＲＡＷデータとして第２デジタル画像データ８０Ｂが得られる。デジタル信号処理が行われることによって得られた第２デジタル画像データ８０Ｂは、デジタル処理回路１２０Ｂによって制御回路１２０Ｃに出力される。

メモリ１２２は、複数フレームの第２デジタル画像データ８０Ｂを記憶可能なメモリである。メモリ１２２は、画素単位の記憶領域（図示省略）を有しており、第２デジタル画像データ８０Ｂが制御回路１２０Ｃによって、画素単位で、メモリ１２２のうちの対応する記憶領域に記憶される。制御回路１２０Ｃは、デジタル処理回路１２０Ｂから入力された第２デジタル画像データ８０Ｂをメモリ１２２に記憶する。

制御回路１２０Ｃは、メモリ１２２に対してランダムアクセス可能であり、メモリ１２２から第２デジタル画像データ８０Ｂを取得する。制御回路１２０Ｃは、メモリ１２２から取得した第２デジタル画像データ８０Ｂを通信Ｉ／Ｆ１２０Ｄ２に出力する。通信Ｉ／Ｆ１２０Ｄ２は、制御回路１２０Ｃから入力された第２デジタル画像データ８０Ｂを、通信ライン５４を介して第１撮像素子３８の通信Ｉ／Ｆ１１０Ｄ３に出力する。

ここで、画像データの伝送経路及び処理方法の一例について図９及び図１０を参照しながら説明する。

一例として図９に示すように、第２撮像素子５２によって被写体が撮像されることで得られた第２デジタル画像データ８０Ｂは、メモリ１２２に記憶されてから、通信ライン５４を介して第１撮像素子３８に出力される。すなわち、第１撮像素子３８及び第２撮像素子５２は、隣接する撮像素子であり、隣接する撮像素子のうちの前段の撮像素子である第２撮像素子５２の通信Ｉ／Ｆ１２０Ｄ２によって第２デジタル画像データ８０Ｂが出力される。そして、通信Ｉ／Ｆ１２０Ｄ２によって出力された第２デジタル画像データ８０Ｂは、隣接する撮像素子のうちの後段の撮像素子である第１撮像素子３８の通信Ｉ／Ｆ１１０Ｄ３によって受け付けられ、受け付けられた第２デジタル画像データ８０Ｂはメモリ１１２に記憶される。また、第１撮像素子３８によって撮像されることで得られた第１デジタル画像データ７０Ｂもメモリ１１２に記憶される。

なお、第１デジタル画像データ７０Ｂは、本開示の技術に係る「後段画像データ」の一例である。また、第２デジタル画像データ８０Ｂは、本開示の技術に係る「前段画像データ」の一例である。

一例として図１０に示すように、第１撮像素子３８において、制御回路１１０Ｃは、取得部１１０Ｃ１及び合成部１１０Ｃ２を有する。合成部１１０Ｃ２は、本開示の技術に係る「合成回路」の一例である。取得部１１０Ｃ１は、メモリ１１２から第１デジタル画像データ７０Ｂ及び第２デジタル画像データ８０Ｂを取得する。なお、ここでは、第２デジタル画像データ８０Ｂがメモリ１１２に一旦記憶されてから、取得部１１０Ｃ１によってメモリ１１２から第２デジタル画像データ８０Ｂが取得される形態例を挙げて説明しているが、本開示の技術はこれに限定されない。第２デジタル画像データ８０Ｂは、メモリ１１２に記憶されることなく取得部１１０Ｃ１によって取得されるようにしてもよい。

合成部１１０Ｃ２は、取得部１１０Ｃ１によって取得された第１デジタル画像データ７０Ｂ及び第２デジタル画像データ８０Ｂを合成する。具体的には、合成部１１０Ｃ２は、第１デジタル画像データ７０Ｂと第２デジタル画像データ８０Ｂとを画素単位で加算平均することで第１デジタル画像データ７０Ｂと第２デジタル画像データ８０Ｂとを合成する。

なお、ここで、合成方法として加算平均を例に挙げて説明したが、合成方法はこれに限らない。例えば、第１デジタル画像データ７０Ｂ及び第２デジタル画像データ８０Ｂによるアルファブレンドを行うようにしてもよい。また、第１デジタル画像データ７０Ｂと第２デジタル画像データ８０Ｂとを画素単位で単に加算するようにしてもよい。このように、第１デジタル画像データ７０Ｂと第２デジタル画像データ８０Ｂとを合成する方法は、如何なる方法であっても本開示の技術は成立する。

合成部１１０Ｃ２は、第１デジタル画像データ７０Ｂと第２デジタル画像データ８０Ｂとを合成して得た合成画像データ１３０を通信Ｉ／Ｆ１１０Ｄ２に出力する。通信Ｉ／Ｆ１１０Ｄ２は、合成部１１０Ｃ２から入力された合成画像データ１３０を通信ライン４４を介して信号処理回路３４に出力する。なお、合成画像データ１３０は、本開示の技術に係る「出力画像データ」の一例である。

信号処理回路３４では、合成画像データ１３０に対して各種の信号処理を行い、各種の信号処理を行った合成画像データ１３０をコントローラ１５に出力する。コントローラ１５では、合成画像データ１３０が入力されると、ＣＰＵ１５Ａによって合成画像データ１３０が二次記憶装置１０２に対して記憶されたり、外部Ｉ／Ｆ１０４を介して外部装置（図示省略）に記憶されたりする。また、コントローラ１５では、合成画像データ１３０が入力されると、ＣＰＵ１５Ａによって合成画像データ１３０に基づく画像が静止画像又はライブビュー画像としてディスプレイ２６に対して表示される。

信号処理回路３４によって行われる各種の信号処理には、例えば、デモザイク処理、デジタル間引き処理、及びデジタル加算処理などの公知の信号処理が含まれる。

デモザイク処理は、カラーフィルタの配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理である。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報が算出される。デジタル間引き処理は、合成画像データ１３０に含まれる画素をライン単位で間引く処理である。ライン単位とは、例えば、水平ライン単位及び／又は垂直ライン単位を指す。デジタル加算処理は、例えば、合成画像データ１３０に含まれる複数の画素について画素値を加算平均する処理である。

なお、信号処理回路３４によって行われる各種の信号処理は、その他の公知の信号処理を含んでいてもよい。その他の公知の信号処理としては、例えば、ホワイトバランス調整、シャープネス調整、ガンマ補正、色空間変換処理、及び色差補正などが挙げられる。また、各種の信号処理が信号処理回路３４と第１撮像素子３８とで分散して行われるようにしてもよい。すなわち、信号処理回路３４によって行われる各種の信号処理のうちの少なくとも一部を第１撮像素子３８の処理回路１１０に担わせるようにしてもよい。

一例として図１１に示すように、第２撮像素子５２では、光電変換素子５６が露光されることで第２アナログ画像データ８０Ａが生成され、垂直同期信号が入力されると、光電変換素子５６からの第２アナログ画像データ８０Ａの読み出し、及び光電変換素子５６に対するリセットが行われる。光電変換素子５６に対するリセットとは、光電変換素子５６内の各画素の残留電荷を消去する動作を指す。光電変換素子５６による露光は、光電変換素子５６に対する読出回路１２０Ａによる前回のリセットが行われてから読み出しが行われるまでの間に行われる。

第２アナログ画像データ８０Ａに対してデジタル信号処理が行われることによって第２デジタル画像データ８０Ｂが生成され、生成された第２デジタル画像データ８０Ｂはメモリ１２２に記憶される。そして、メモリ１２２に記憶されている第２デジタル画像データ８０Ｂは第１撮像素子３８に出力される。

一方、第１撮像素子３８では、光電変換素子４２が露光されることで第１アナログ画像データ７０Ａが生成され、垂直同期信号が入力されると、光電変換素子４２からの第１アナログ画像データ７０Ａの読み出し、及び光電変換素子４２に対するリセットが行われる。光電変換素子４２に対するリセットとは、光電変換素子４２内の各画素の残留電荷を消去する動作を指す。光電変換素子４２による露光は、光電変換素子４２に対する読出回路１１０Ａによる前回のリセットが行われてから読み出しが行われるまでの間に行われる。

第１アナログ画像データ７０Ａに対してデジタル信号処理が行われることによって第１デジタル画像データ７０Ｂが生成される。第１デジタル画像データ７０Ｂは、第２撮像素子５２から出力された第２デジタル画像データ８０Ｂと同期させるために、メモリ１１２に一旦記憶される。第２デジタル画像データ８０Ｂがメモリ１１２に記憶されると、メモリ１１２に記憶されている第１デジタル画像データ７０Ｂ及び第２デジタル画像データ８０Ｂが合成され、合成画像データ１３０が生成される。合成画像データ１３０は、信号処理回路３４に出力される。

また、図１１に示す例では、第２撮像素子５２に入力される垂直同期信号の入力タイミングよりも第１撮像素子３８に入力される垂直同期信号の入力タイミングの方が遅い。これにより、第１撮像素子３８での光電変換素子４２による露光時間が、第２撮像素子５２での光電変換素子５６による露光時間よりも長くなる。

次に、スマートデバイス１０の本開示の技術に係る部分の作用について説明する。

先ず、第２撮像素子５２の処理回路１２０によって実行される前段撮像処理の流れについて図１２を参照しながら説明する。

図１２に示す前段撮像処理では、先ず、ステップＳＴ１０で、制御回路１２０Ｃは、コントローラ１５からの垂直同期信号が通信Ｉ／Ｆ１２０Ｄ１によって受け付けられたか否かを判定する。ステップＳＴ１０において、コントローラ１５からの垂直同期信号が通信Ｉ／Ｆ１２０Ｄ１によって受け付けられていない場合は、判定が否定されて、前段撮像処理はステップＳＴ２２へ移行する。ステップＳＴ１０において、コントローラ１５からの垂直同期信号が通信Ｉ／Ｆ１２０Ｄ１によって受け付けられた場合は、判定が肯定されて、前段撮像処理はステップＳＴ１２へ移行する。

ステップＳＴ１２で、読出回路１２０Ａは、第２アナログ画像データ８０Ａの読み出し及び光電変換素子５６のリセットを行い、その後、前段撮像処理はステップＳＴ１４へ移行する。

ステップＳＴ１４で、デジタル処理回路１２０Ｂは、第２アナログ画像データ８０Ａに対してデジタル信号処理を行い、その後、前段撮像処理はステップＳＴ１６へ移行する。

ステップＳＴ１４において第２アナログ画像データ８０Ａに対してデジタル信号処理が行われることで得られた第２デジタル画像データ８０Ｂは、制御回路１２０Ｃに転送される。

ステップＳＴ１６で、制御回路１２０Ｃは、第２デジタル画像データ８０Ｂをメモリ１２２に記憶し、その後、前段撮像処理はステップＳＴ１８へ移行する。

ステップＳＴ１８で、制御回路１２０Ｃは、第２デジタル画像データ８０Ｂを第１撮像素子３８に出力するタイミング（出力タイミング）が到来したか否かを判定する。出力タイミングの一例としては、制御回路１２０Ｃがメモリ１２２から第２デジタル画像データ８０Ｂを読み出すことが可能なタイミングが挙げられる。メモリ１２２はＤＲＡＭであり、メモリ１２２に対する書き込みと読み出しとを同時に行うことはできない。そのため、制御回路１２０Ｃがメモリ１２２から第２デジタル画像データ８０Ｂを読み出すことが可能なタイミングとは、例えば、メモリ１２２への１フレーム分の第２デジタル画像データ８０Ｂの記憶が完了したタイミングを指す。

ステップＳＴ１８において、出力タイミングが到来していない場合は、判定が否定されて、ステップＳＴ１８の判定が再び行われる。ステップＳＴ１８において、出力タイミングが到来した場合は、判定が肯定されて、前段撮像処理はステップＳＴ２０へ移行する。

ステップＳＴ２０で、制御回路１２０Ｃは、メモリ１２２から第２デジタル画像データ８０Ｂを取得し、取得した第２デジタル画像データ８０Ｂを、通信Ｉ／Ｆ１２０Ｄ２を介して第１撮像素子３８に出力し、その後、前段撮像処理はステップＳＴ２２へ移行する。

ステップＳＴ２２で、制御回路１２０Ｃは、前段撮像処理を終了する条件（以下、「前段撮像処理終了条件」と称する）を満足したか否かを判定する。前段撮像処理終了条件の一例としては、前段撮像処理を終了させる指示が受付デバイス８４（図５参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ２２において、前段撮像処理終了条件を満足していない場合は、判定が否定されて、前段撮像処理はステップＳＴ１０へ移行する。ステップＳＴ２２において、前段撮像処理終了条件を満足した場合は、判定が肯定されて、前段撮像処理が終了する。

次に、第１撮像素子３８の処理回路１１０によって実行される後段撮像処理の流れについて図１３を参照しながら説明する。

図１３に示す後段撮像処理では、先ず、ステップＳＴ３０で、制御回路１１０Ｃは、コントローラ１５からの垂直同期信号が通信Ｉ／Ｆ１１０Ｄ１によって受け付けられたか否かを判定する。ステップＳＴ３０において、コントローラ１５からの垂直同期信号が通信Ｉ／Ｆ１１０Ｄ１によって受け付けられていない場合は、判定が否定されて、後段撮像処理はステップＳＴ４４へ移行する。ステップＳＴ３０において、コントローラ１５からの垂直同期信号が通信Ｉ／Ｆ１１０Ｄ１によって受け付けられた場合は、判定が肯定されて、後段撮像処理はステップＳＴ３２へ移行する。

ステップＳＴ３２で、読出回路１１０Ａは、第１アナログ画像データ７０Ａの読み出し及び光電変換素子４２のリセットを行い、その後、後段撮像処理はステップＳＴ３４へ移行する。

ステップＳＴ３４で、デジタル処理回路１１０Ｂは、第１アナログ画像データ７０Ａに対してデジタル信号処理を行い、その後、後段撮像処理はステップＳＴ３６へ移行する。

ステップＳＴ３４において第１アナログ画像データ７０Ａに対してデジタル信号処理が行われることで得られた第１デジタル画像データ７０Ｂは、制御回路１１０Ｃに転送される。

ステップＳＴ３６で、制御回路１１０Ｃは、第１デジタル画像データ７０Ｂをメモリ１１２に記憶し、その後、後段撮像処理はステップＳＴ３８へ移行する。

ステップＳＴ３８で、制御回路１１０Ｃは、第２撮像素子５２から第２デジタル画像データ８０Ｂが入力されたか否かを判定する。ステップＳＴ３８において、第２撮像素子５２から第２デジタル画像データ８０Ｂが入力されていない場合は、判定が否定されて、ステップＳＴ３８の判定が再び行われる。ステップＳＴ３８において、第２撮像素子５２から第２デジタル画像データ８０Ｂが入力された場合は、判定が肯定されて、後段撮像処理はステップＳＴ４０へ移行する。

ステップＳＴ４０で、制御回路１１０Ｃは、第１デジタル画像データ７０Ｂと第２デジタル画像データ８０Ｂとを合成し、合成画像データ１３０を生成し、その後、後段撮像処理はステップＳＴ４２へ移行する。

ステップＳＴ４２で、制御回路１１０Ｃは、合成画像データ１３０を、通信Ｉ／Ｆ１１０Ｄ２を介して信号処理回路３４に出力し、その後、後段撮像処理はステップＳＴ４４へ移行する。

ステップＳＴ４４で、制御回路１１０Ｃは、後段撮像処理を終了する条件（以下、「後段撮像処理終了条件」と称する）を満足したか否かを判定する。後段撮像処理終了条件の一例としては、後段撮像処理を終了させる指示が受付デバイス８４（図５参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ４４において、後段撮像処理終了条件を満足していない場合は、判定が否定されて、後段撮像処理はステップＳＴ３０へ移行する。ステップＳＴ４４において、後段撮像処理終了条件を満足した場合は、判定が肯定されて、後段撮像処理が終了する。

以上説明したように、撮像装置１４には、信号処理回路３４、第１撮像素子３８、及び第２撮像素子５２が設けられている。第２撮像素子５２は通信ライン５４を介して第１撮像素子３８に接続されており、第１撮像素子３８は、通信ライン４４を介して信号処理回路３４に接続されている。すなわち、信号処理回路３４、第１撮像素子３８、及び第２撮像素子５２は、通信ライン４４，５４によって直列に接続されている。

そして、第２撮像素子５２により被写体が撮像されることで得られた第２デジタル画像データ８０Ｂは通信Ｉ／Ｆ１２０Ｄ２により通信ライン５４を介して第１撮像素子３８に出力される。第１撮像素子３８により被写体が撮像されることで得られた第１デジタル画像データ７０Ｂは第２デジタル画像データ８０Ｂと合成される。第１デジタル画像データ７０Ｂと第２デジタル画像データ８０Ｂとが合成されることによって得られた合成画像データ１３０は通信Ｉ／Ｆ１１０Ｄ２により通信ライン４４を介して信号処理回路３４に出力される。従って、第１撮像素子３８及び第２撮像素子５２を信号処理回路３４に直接接続する場合に比べ、第１撮像素子３８及び第２撮像素子５２を信号処理回路３４に接続するのに要する配線数を抑制することができる。

また、撮像装置１４では、合成部１１０Ｃ２により第１デジタル画像データ７０Ｂと第２デジタル画像データ８０Ｂとが合成され、合成されることで得られた合成画像データ１３０が第１撮像素子３８の通信Ｉ／Ｆ１１０Ｄ２によって通信ライン４４を介して信号処理回路３４に出力される。従って、信号処理回路３４で第１デジタル画像データ７０Ｂと第２デジタル画像データ８０Ｂとを合成させる必要がなくなる。

また、撮像装置１４では、第１撮像素子３８での光電変換素子４２による露光時間が、第２撮像素子５２での光電変換素子５６による露光時間よりも長い。従って、第１デジタル画像データ７０Ｂと第２デジタル画像データ８０Ｂとが合成されることによって得られた合成画像データ１３０のダイナミックレンジは、単一のデジタル画像データのダイナミックレンジよりも、大きくなる。つまり、合成画像データ１３０は、単一のデジタル画像データよりも輝度を綿密に表現可能な画像データとなる。

また、撮像装置１４では、信号処理回路３４は、第１撮像素子３８及び第２撮像素子５２に直列に接続されており、かつ、第１撮像素子３８及び第２撮像素子５２よりも後段に位置している。具体的には、第２撮像素子５２が前段に位置し、第１撮像素子３８が中段に位置し、信号処理回路３４が後段に位置している。従って、信号処理回路３４は、第１撮像素子３８及び第２撮像素子５２の各々によって撮像されることで得られた全ての画像データを受け取ることができる。

また、撮像装置１４では、第１撮像素子３８として、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化された撮像素子が採用されている。これにより、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化されていない撮像素子に比べ、第１撮像素子３８の可搬性が高くなる。また、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化されていない撮像素子に比べ、設計の自由度も高めることができる。更に、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化されていない撮像素子に比べ、撮像装置１４の小型化にも寄与することができる。なお、第２撮像素子５２についても第１撮像素子３８と同様の効果が得られる。

また、図６に示すように、第１撮像素子３８として、光電変換素子４２にメモリ１１２が積層された積層型撮像素子が採用されている。これにより、光電変換素子４２とメモリ１１２とが積層されていない場合に比べ、光電変換素子４２からメモリ１１２への画像データの転送速度を高めることができる。転送速度の向上は、処理回路１１０全体での処理の高速化にも寄与する。また、光電変換素子４２とメモリ１１２とが積層されていない場合に比べ、設計の自由度も高めることができる。更に、光電変換素子４２とメモリ１１２とが積層されていない場合に比べ、撮像装置１４の小型化にも寄与することができる。なお、第２撮像素子５２についても第１撮像素子３８と同様の効果が得られる。

また、撮像装置１４では、合成画像データ１３０に基づくライブビュー画像等がディスプレイ２６に表示される。これにより、合成画像データ１３０により示される画像をユーザに視認させることができる。

更に、撮像装置１４では、信号処理回路３４に入力された合成画像データ１３０がＣＰＵ１５Ａによって二次記憶装置１０２、ＵＳＢメモリ、及び／又はメモリカード等に記憶される。これにより、信号処理回路３４に入力された合成画像データ１３０を過不足なく管理することができる。

なお、上記第１実施形態では、第１撮像素子３８及び第２撮像素子５２の露光開始のタイミングを揃え、かつ、第１撮像素子３８の露光時間が第２撮像素子５２の露光時間よりも長くした場合について説明したが、本開示の技術はこれに限定されない。例えば、第１撮像素子３８の露光期間と第２撮像素子５２の露光期間とを揃えるようにしてもよい。すなわち、第１撮像素子３８及び第２撮像素子５２の露光開始のタイミングを揃え、かつ、図１４に示すように、第１撮像素子３８の露光時間と第２撮像素子５２の露光時間とを揃えるようにしてもよい。この場合、第１撮像素子３８に垂直同期信号が入力される入力タイミングと第２撮像素子５２に垂直同期信号が入力される入力タイミングとを揃えるようにすればよい。

また、上記第１実施形態では、第１デジタル画像データ７０Ｂと第２デジタル画像データ８０Ｂとが合成される場合について説明したが、本開示の技術はこれに限定されない。例えば、第１デジタル画像データ７０Ｂと第２デジタル画像データ８０Ｂとが連結されるようにしてもよい。この場合、一例として図１５に示すように、制御回路１１０Ｃは、合成部１１０Ｃ２に代えて連結部１１０Ｃ３を有する。連結部１１０Ｃ３は、本開示の技術に係る「連結回路」の一例である。連結部１１０Ｃ３は、取得部１１０Ｃ１によって取得された第１デジタル画像データ７０Ｂ及び第２デジタル画像データ８０Ｂを連結し、連結して得た連結画像データ１３０Ａを生成する。このように生成された連結画像データ１３０Ａは、通信Ｉ／Ｆ１１０Ｄ２によって通信ライン４４を介して信号処理回路３４に出力される。

図１５に示す例では、第１デジタル画像データ７０Ｂと第２デジタル画像データ８０Ｂとが縦方向に連結されている形態例が示されているが、これに限らず、第１デジタル画像データ７０Ｂと第２デジタル画像データ８０Ｂとが横方向に連結されていてもよい。このように、第１デジタル画像データ７０Ｂと第２デジタル画像データ８０Ｂとの連結方向は如何なる方向であってもよい。また、第１デジタル画像データ７０Ｂと第２デジタル画像データ８０Ｂとの互いの一部を重ねるようにして、第１デジタル画像データ７０Ｂと第２デジタル画像データ８０Ｂとが連結されるようにしてもよい。この場合の重複領域については、例えば、第１デジタル画像データ７０Ｂと第２デジタル画像データ８０Ｂとの加算平均の画素値を用いればよい。

図１６には、図１５に示す連結画像データ１３０Ａを生成して出力する場合の後段撮像処理の流れの一例が示されている。図１６に示す後段撮像処理は、図１３に示す後段撮像処理に比べ、ステップＳＴ４０に代えてステップＳＴ４０Ａを有する点、及びステップＳＴ４２に代えてステップＳＴ４２Ａを有する点が異なる。

図１６に示す後段撮像処理では、ステップＳＴ４０Ａで、制御回路１１０Ｃは、第１デジタル画像データ７０Ｂと第２デジタル画像データ８０Ｂとを連結し、連結画像データ１３０Ａを生成し、その後、後段撮像処理はステップＳＴ４２Ａへ移行する。ステップＳＴ４２で、制御回路１１０Ｃは、連結画像データ１３０Ａを信号処理回路３４に出力し、その後、後段撮像処理はステップＳＴ４４へ移行する。

このように、第１デジタル画像データ７０Ｂと第２デジタル画像データ８０Ｂとが連結されることで、信号処理回路３４で第１デジタル画像データ７０Ｂと第２デジタル画像データ８０Ｂとを連結させる必要がなくなる。また、第１デジタル画像データ７０Ｂに基づく画像と第２デジタル画像データ８０Ｂに基づく画像とをまとめて視覚的に確認することが可能となる。

また、上記第１実施形態では、メモリ１２２から制御回路１２０Ｃによって取得された第２デジタル画像データ８０Ｂが通信Ｉ／Ｆ１２０Ｄ２によって第１撮像素子３８に出力される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、メモリ１２２から制御回路１２０Ｃによって取得された第２デジタル画像データ８０Ｂに対して制御回路１２０Ｃによって何らかの画像処理が施されることで得た画像データが通信Ｉ／Ｆ１２０Ｄ２によって第１撮像素子３８に出力されるようにしてもよい。ここで、上記の画像処理としては、例えば、間引き処理及び加算処理等の公知の画像処理が挙げられる。

第２デジタル画像データ８０Ｂに対して何らかの画像処理が施されることで得た画像データは、本開示の技術に係る「出力画像データ」の一例である。

また、上記第１実施形態では、通信Ｉ／Ｆ１５Ｄ１と通信Ｉ／Ｆ１１０Ｄ１とがＰＣＩ−ｅの接続規格に従って接続されている。また、通信Ｉ／Ｆ１５Ｄ２と通信Ｉ／Ｆ１２０Ｄ１とがＰＣＩ−ｅの接続規格に従って接続されている。また、通信Ｉ／Ｆ３４Ａと通信Ｉ／Ｆ１１０Ｄ２とがＰＣＩ−ｅの接続規格に従って接続されている。更に、通信Ｉ／Ｆ１１０Ｄ３と通信Ｉ／Ｆ１２０Ｄ２とがＰＣＩ−ｅの接続規格に従って接続されている。しかし、本開示の技術はこれに限定されない。ＰＣＩ−ｅの接続規格に代えて、ＬＶＤＳ、ＳＡＴＡ、ＳＬＶＳ−ＥＣ、又はＭＩＰＩ等の他の接続規格が採用されてもよい。

また、上記第１実施形態では、第１撮像素子３８と第２撮像素子５２との間の通信、第１撮像素子３８と信号処理回路３４との間の通信、コントローラ１５と第１撮像素子３８、及びコントローラ１５と第２撮像素子５２との通信は何れも有線形式の通信である。しかし、本開示の技術はこれに限定されない。第１撮像素子３８と第２撮像素子５２との間の通信、第１撮像素子３８と信号処理回路３４との間の通信、コントローラ１５と第１撮像素子３８、及びコントローラ１５と第２撮像素子５２との通信のうちの少なくとも１つを無線形式の通信としてもよい。

また、上記第１実施形態では、第１撮像素子３８として、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化された撮像素子が例示されているが、本開示の技術はこれに限定されない。例えば、光電変換素子４２、処理回路１１０、及びメモリ１１２のうち、少なくとも光電変換素子４２及びメモリ１１２が１チップ化されていればよい。なお、第２撮像素子５２についても同様のことが言える。

［第２実施形態］
上記第１実施形態では、第１撮像素子３８及び第２撮像素子５２という２個の撮像素子が搭載されているスマートデバイス１０を例示したが、本第２実施形態では、３個の撮像装置が搭載されているスマートデバイスについて説明する。なお、本第２実施形態では、上記第１実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第１実施形態と異なる部分について説明する。

一例として図１７に示すように、スマートデバイス５００は、上記第１実施形態で説明したスマートデバイス１０に比べ、撮像装置１４に代えて撮像装置５１４を有する点が異なる。撮像装置５１４は、上記第１実施形態で説明した撮像装置１４に比べ、第３撮像レンズ５１８を有する点が異なる。スマートデバイス１０を縦置きの状態にした場合の筐体１２の背面１２Ａの右上部において、第１撮像レンズ１６、第２撮像レンズ１８、及び第３撮像レンズ５１８は、鉛直方向に沿って既定の間隔（例えば、数ミリの間隔）で配置されており、背面１２Ａから露出している。

一例として図１８に示すように、スマートデバイス５００は、上記第１実施形態で説明したスマートデバイス１０に比べ、コントローラ１５に代えてコントローラ５１５を有する点が異なる。また、撮像装置５１４は、上記第１実施形態で説明した撮像装置１４に比べ、第３撮像装置５３２を有する点が異なる。また、撮像装置５１４は、上記第１実施形態で説明した撮像装置１４に比べ、第２撮像装置３２に代えて第２撮像装置４３２を有する点が異なる。

第３撮像装置５３２は、第２撮像装置４３２の前段に位置する撮像装置である。第３撮像装置５３２は、第３撮像レンズ５１８及び第３撮像装置本体５５０を備えている。第３撮像レンズ５１８は、対物レンズ５１８Ａ、フォーカスレンズ５１８Ｂ、及び絞り５１８Ｃを備えている。対物レンズ５１８Ａ、フォーカスレンズ５１８Ｂ、及び絞り５１８Ｃは、被写体側から第３撮像装置本体５５０側にかけて、光軸Ｌ３に沿って、対物レンズ５１８Ａ、フォーカスレンズ５１８Ｂ、及び絞り５１８Ｃの順に配置されている。対物レンズ５１８Ａ、フォーカスレンズ５１８Ｂ、及び絞り５１８Ｃは、光軸Ｌ３上において、上記第１実施形態で説明した対物レンズ１８Ａ、フォーカスレンズ１８Ｂ、及び絞り１８Ｃと同様の機能を有する。フォーカスレンズ５１８Ｂ、及び絞り５１８Ｃは、光軸Ｌ３上において、フォーカスレンズ１８Ｂ及び絞り１８Ｃと同様に作動する。

第３撮像装置本体５５０は、メカニカルシャッタ５５３及び第３撮像素子５５２を備えている。メカニカルシャッタ５３は、メカニカルシャッタ４０と同様の機能を有しており、メカニカルシャッタ４０と同様に作動する。撮像素子５５２は、上記第１実施形態で説明した第１撮像素子３８及び第２撮像素子５２と同様の積層構造を有している（図６参照）。そのため、ここでは、第３撮像素子５５２の積層構造についての説明は省略する。

なお、第１撮像素子３８、第２撮像素子４５２、及び第３撮像素子５５２は、本開示の技術に係る「複数の撮像素子」の一例である。また、第３撮像素子５５２は、本開示の技術に係る「複数の撮像素子」に含まれる撮像素子の一例である。また、第２撮像素子４５２及び第３撮像素子５５２は、本開示の技術の「隣接する撮像素子」の一例である。また、第３撮像素子５５２は、第２撮像素子４５２及び第３撮像素子５５２の位置関係において、第２撮像素子４５２は、本開示の技術に係る「後段の撮像素子」及び「後段撮像素子」の一例であり、第３撮像素子５５２は、本開示の技術に係る「前段の撮像素子」及び「前段撮像素子」の一例である。

第３撮像素子５５２は、受光面５５６Ａを有する光電変換素子５５６を備えている。被写体を示す被写体光は、第３撮像レンズ５１８を透過し、メカニカルシャッタ５５３を介して第３撮像素子５５２の受光面５５６Ａに結像される。光電変換素子５５６は、受光面５５６Ａに結像された被写体光を光電変換することで、被写体の画像を示す第３画像データ５８０を生成する。

第３撮像素子５５２は、通信ライン５５４を介して第２撮像素子４５２に接続されている。また、第３撮像素子５５２は、通信ライン５５８を介してコントローラ５１５に接続されている。なお、通信ライン５５４は、本開示の技術に係る「伝送路」の一例である。

第３撮像素子５５２は、通信ライン５５８を介してコントローラ５１５によって制御される。第３撮像素子５５２は、コントローラ５１５の制御下で、被写体を撮像する。また、第３撮像素子５５２は、被写体を撮像することで得た第３画像データ５８０を、通信ライン５５４を介して第２撮像素子４５２に出力する。

このように、第３撮像素子５５２の後段には第２撮像素子４５２が位置し、第２撮像素子４５２の後段には第１撮像素子３８が位置し、第１撮像素子３８の後段には信号処理回路３４が位置する。そして、第３撮像素子５５２は通信ライン５５４を介して第２撮像素子４５２が接続され、第２撮像素子４５２は通信ライン５４を介して第１撮像素子３８に接続され、第１撮像素子３８は通信ライン４４を介して信号処理回路３４に接続されている。つまり、第１撮像素子３８、第２撮像素子４５２、第３撮像素子５５２、及び信号処理回路３４は、通信ライン４４，５４，５５４によって直列に接続されている。

第２撮像素子４５２は、第１撮像素子３８よりも信号処理回路３４から遠い側に位置し、第３撮像素子５５２は、第２撮像素子４５２よりも信号処理回路３４から遠い側に位置する。換言すると、第２撮像素子４５２は、第３撮像素子５５２よりも信号処理回路３４に近い側に位置し、第１撮像素子３８は、第２撮像素子４５２よりも信号処理回路３４に近い側に位置する。

第３撮像素子５５２にはコントローラ１５から通信ライン５５８を介して読出同期信号が入力される。垂直同期信号は、光電変換素子５５６からの１フレーム毎の第３画像データ５８０の読み出しの開始タイミングを規定する同期信号である。水平同期信号は、光電変換素子５５６からの水平ライン毎の第３画像データ５８０の読み出しの開始タイミングを規定する同期信号である。第３撮像素子５５２では、コントローラ１５から通信ライン５５８を介して入力された垂直同期信号に応じて定まるフレームレートに従って、光電変換素子５５６から第３画像データ５８０が読み出される。

一例として図１９に示すように、コントローラ５１５は、上記第１実施形態で説明したコントローラ１５に比べ、通信Ｉ／Ｆ１５Ｄ３を有する点が異なる。通信Ｉ／Ｆ１５Ｄ３は、バスライン１００に接続されている。

通信Ｉ／Ｆ１５Ｄ３は、ＦＰＧＡを有する通信デバイスである。なお、ここでは、通信Ｉ／Ｆ１５Ｄ３としてＦＰＧＡを有する通信デバイスが採用されているが、あくまでも一例に過ぎず、通信Ｉ／Ｆ１５Ｄ３は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、通信Ｉ／Ｆ１５Ｄ３は、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータであってもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、通信Ｉ／Ｆ１５Ｄ３は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

通信Ｉ／Ｆ１５Ｄ３は、通信ライン５５８を介して第３撮像素子５５２に接続されている。ＣＰＵ１５Ａは、通信Ｉ／Ｆ１５Ｄ３を介して第３撮像素子５５２を制御する。例えば、ＣＰＵ１５Ａは、通信Ｉ／Ｆ１５Ｄ３を介して第３撮像素子５５２に対して読出同期信号を供給することで光電変換素子５５６からの第３画像データ５８０の読出タイミングを制御する。

一例として図２０に示すように、第２撮像素子４５２は、上記第１実施形態で説明した第２撮像素子５２に比べ、処理回路１２０に代えて処理回路４５３を有する点が異なる。処理回路４５３は、処理回路１２０に比べ、通信Ｉ／Ｆ１２０Ｄ３を有する点、及び制御回路１２０Ｃに代えて制御回路７２０Ｃを有する点が異なる。通信Ｉ／Ｆ１２０Ｄ３は、制御回路７２０Ｃに接続されている。

通信Ｉ／Ｆ１２０Ｄ３は、ＦＰＧＡを有する通信デバイスである。ここでは、通信Ｉ／Ｆ１２０Ｄ３としてＦＰＧＡを有する通信デバイスが採用されているが、あくまでも一例に過ぎず、通信Ｉ／Ｆ１２０Ｄ３は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、通信Ｉ／Ｆ１２０Ｄ３は、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータであってもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、通信Ｉ／Ｆ１２０Ｄ３は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

一方、第３撮像素子５５２は、通信Ｉ／Ｆ６２０Ｄ１，６２０Ｄ２を備えている。通信Ｉ／Ｆ６２０Ｄ２は、本開示の技術に係る「出力部（通信インタフェース）」の一例である。通信Ｉ／Ｆ６２０Ｄ１は、ＦＰＧＡを有する通信デバイスであり、通信ライン５５８を介してコントローラ１５の通信Ｉ／Ｆ１５Ｄ３と接続されており、第３撮像素子５５２は、通信Ｉ／Ｆ１５Ｄ３，６２０Ｄ１を介してコントローラ１５と通信を行う。例えば、第３撮像素子５５２は、コントローラ１５の通信Ｉ／Ｆ１５Ｄ３から通信ライン５５８を介して出力された読出同期信号を通信Ｉ／Ｆ６２０Ｄ１で受け付ける。

通信Ｉ／Ｆ６２０Ｄ２は、ＦＰＧＡを有する通信デバイスであり、通信ライン５５４を介してＰＣＩ−ｅの接続規格に従って第２撮像素子４５２の通信Ｉ／Ｆ１２０Ｄ３に接続されている。通信Ｉ／Ｆ６２０Ｄ２は、第３撮像素子５５２と制御回路７２０Ｃとの間での通信を司る。ここでは、通信Ｉ／Ｆ６２０Ｄ２としてＦＰＧＡを有する通信デバイスが採用されているが、あくまでも一例に過ぎず、通信Ｉ／Ｆ６２０Ｄ２は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、通信Ｉ／Ｆ６２０Ｄ２は、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータであってもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、通信Ｉ／Ｆ６２０Ｄ２は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

詳しくは後述するが、第３撮像素子５５２でも、上記第１実施形態で説明した第１撮像素子３８と同様の方法で被写体の画像を示す第３デジタル画像データ５８０Ｂが生成される。そして、第３撮像素子５５２で生成された第３デジタル画像データ５８０Ｂは、通信Ｉ／Ｆ６２０Ｄ２によって通信ライン５５４を介して処理回路４５３の通信Ｉ／Ｆ１２０Ｄ３に出力される。通信Ｉ／Ｆ１２０Ｄ３によって出力された第３デジタル画像データ５８０Ｂは、通信Ｉ／Ｆ１２０Ｄ３によって受け付けられ、制御回路７２０Ｃに転送される。

なお、本第２実施形態では、第１デジタル画像データ７０Ｂ、第２デジタル画像データ８０Ｂ、及び第３デジタル画像データ５８０Ｂを区別して説明する必要がない場合、符号を付さずに「デジタル画像データ」と称する。ここで言う「第３デジタル画像データ５８０Ｂ」は、本開示の技術に係る「出力画像データ」の一例である。

制御回路７２０Ｃは、デジタル処理回路１２０Ｂから入力された第２デジタル画像データ８０Ｂをメモリ１２２に記憶する。また、制御回路１２０Ｃは、通信Ｉ／Ｆ１２０Ｄ３から入力された第３デジタル画像データ５８０Ｂもメモリ１２２に記憶する。

制御回路７２０Ｃは、メモリ１２２に対してランダムアクセス可能であり、メモリ１２２からデジタル画像データを取得する。制御回路７２０Ｃは、メモリ１２２から取得したデジタル画像データに対して画像処理を施して得た画像データを通信Ｉ／Ｆ１２０Ｄ２に出力する。

通信Ｉ／Ｆ１２０Ｄ２は、制御回路７２０Ｃから入力された画像データを、通信ライン４４を介して第１撮像素子３８の通信Ｉ／Ｆ１１０Ｄ２（図７及び図８参照）に出力する。

一例として図２１に示すように、第３撮像素子５５２は、光電変換素子５５６、処理回路６２０、及びメモリ６２２を備えている。処理回路６２０は、読出回路６２０Ａ、デジタル処理回路６２０Ｂ、制御回路６２０Ｃ、及び通信Ｉ／Ｆ６２０Ｄ１，６２０Ｄ２を備えている。

読出回路６２０Ａは、光電変換素子５５６、デジタル処理回路６２０Ｂ、及び制御回路６２０Ｃの各々に接続されている。デジタル処理回路６２０Ｂは、制御回路６２０Ｃに接続されている。制御回路６２０Ｃは、メモリ６２２及び通信Ｉ／Ｆ６２０Ｄ１，６２０Ｄ２の各々に接続されている。

上述の第３画像データ５８０は、第３アナログ画像データ５８０Ａと第３デジタル画像データ５８０Ｂとに大別される。なお、以下では、説明の便宜上、第３アナログ画像データ５８０Ａと第３デジタル画像データ５８０Ｂとを区別して説明する必要がない場合、「第３画像データ５８０」と称する。

通信Ｉ／Ｆ６２０Ｄ１は、コントローラ１５の通信Ｉ／Ｆ１５Ｄ３から通信ライン５５８を介して出力された読出同期信号を受け付け、受け付けた読出同期信号を制御回路６２０Ｃに出力する。

読出回路６２０Ａは、制御回路６２０Ｃの制御下で、光電変換素子５５６を制御し、光電変換素子５５６から第３アナログ画像データ５８０Ａを読み出す。光電変換素子５５６からの第３アナログ画像データ５８０Ａの読み出しは、コントローラ１５から処理回路６２０に入力された読出同期信号に従って行われる。

具体的には、先ず、通信Ｉ／Ｆ６２０Ｄ１がコントローラ１５から読出同期信号を受け付け、受け付けた読出同期信号を制御回路６２０Ｃに出力する。次に、制御回路６２０Ｃは、通信Ｉ／Ｆ６２０Ｄ１から入力された読出同期信号を読出回路６２０Ａに転送する。すなわち、読出回路６２０Ａには、垂直同期信号及び水平同期信号が転送される。そして、読出回路６２０Ａは、制御回路６２０Ｃから転送された垂直同期信号に従って光電変換素子５５６からフレーム単位での第３アナログ画像データ５８０Ａの読み出しを開始する。また、読出回路６２０Ａは、制御回路６２０Ｃから転送された水平同期信号に従って水平ライン単位での第３アナログ画像データ５８０Ａの読み出しを開始する。

読出回路６２０Ａは、光電変換素子５５６から読み出された第３アナログ画像データ５８０Ａに対して、上述のアナログ信号処理を行う。このようにしてアナログ信号処理が行われた第３アナログ画像データ５８０Ａは、読出回路６２０Ａによってデジタル処理回路６２０Ｂに出力される。

デジタル処理回路６２０Ｂは、Ａ／Ｄ変換器６２０Ｂ１を備えている。Ａ／Ｄ変換器６２０Ｂ１は、第３アナログ画像データ５８０ＡをＡ／Ｄ変換する。

デジタル処理回路６２０Ｂは、読出回路６２０Ａから入力された第３アナログ画像データ５８０Ａに対してデジタル信号処理を行う。第３アナログ画像データ５８０Ａに対するデジタル信号処理は、第２アナログ画像データ８０Ａに対するデジタル信号処理に比べ、Ａ／Ｄ変換器１２０Ｂ１によるＡ／Ｄ変換に代えて、Ａ／Ｄ変換器６２０Ｂ１によるＡ／Ｄ変換が含まれる点が異なる。

相関二重サンプリングの信号処理が行われた第３アナログ画像データ５８０Ａに対しては、Ａ／Ｄ変換器６２０Ｂ１によってＡ／Ｄ変換が行われ、これによって、第３アナログ画像データ５８０Ａがデジタル化され、ＲＡＷデータとして第３デジタル画像データ５８０Ｂが得られる。デジタル信号処理が行われることによって得られた第３デジタル画像データ５８０Ｂは、デジタル処理回路６２０Ｂによって制御回路６２０Ｃに出力される。

メモリ６２２は、複数フレームの第３デジタル画像データ５８０Ｂを記憶可能なメモリである。メモリ１２２は、画素単位の記憶領域（図示省略）を有しており、第２デジタル画像データ８０Ｂが制御回路６２０Ｃによって、画素単位で、メモリ６２２のうちの対応する記憶領域に記憶される。制御回路１２０Ｃは、デジタル処理回路６２０Ｂから入力された第３デジタル画像データ５８０Ｂをメモリ６２２に記憶する。

制御回路６２０Ｃは、メモリ６２２に対してランダムアクセス可能であり、メモリ６２２から第３デジタル画像データ５８０Ｂを取得する。制御回路６２０Ｃは、メモリ６２２から取得した第３デジタル画像データ５８０Ｂを通信Ｉ／Ｆ６２０Ｄ２に出力する。通信Ｉ／Ｆ６２０Ｄ２は、制御回路６２０Ｃから入力された第３デジタル画像データ５８０Ｂを、通信ライン５５４を介して第２撮像素子４５２の通信Ｉ／Ｆ１２０Ｄ３に出力する。

ここで、画像データの伝送経路及び処理方法の一例について図２２〜図２４を参照しながら説明する。

一例として図２２に示すように、第３撮像素子５５２によって被写体が撮像されることで得られた第３デジタル画像データ５８０Ｂは、メモリ６２２に記憶されてから、通信ライン５５４（図２０及び図２１参照）を介して第２撮像素子４５２に出力される。すなわち、第２撮像素子４５２及び第３撮像素子５５２は、隣接する撮像素子であり、隣接する撮像素子のうちの前段の撮像素子である第３撮像素子５５２の通信Ｉ／Ｆ６２０Ｄ２によって第３デジタル画像データ５８０Ｂが出力される。そして、通信Ｉ／Ｆ６２０Ｄ２によって出力された第３デジタル画像データ５８０Ｂは、隣接する撮像素子のうちの後段の撮像素子である第２撮像素子４５２の通信Ｉ／Ｆ１２０Ｄ３によって受け付けられ、受け付けられた第３デジタル画像データ５８０Ｂはメモリ１２２に記憶される。また、第２撮像素子４５２によって撮像されることで得られた第２デジタル画像データ８０Ｂもメモリ１１２に記憶される。

なお、第２デジタル画像データ８０Ｂと第３デジタル画像データ５８０Ｂとの関係において、第２デジタル画像データ８０Ｂは、本開示の技術に係る「後段画像データ」の一例である。また、第２デジタル画像データ８０Ｂと第３デジタル画像データ５８０Ｂとの関係において、第３デジタル画像データ５８０Ｂは、本開示の技術に係る「前段画像データ」の一例である。

一例として図２３に示すように、第２撮像素子４５２において、制御回路７２０Ｃは、取得部７２０Ｃ１及び合成部７２０Ｃ２を有する。取得部７２０Ｃ１は、メモリ１２２から第２デジタル画像データ８０Ｂ及び第３デジタル画像データ５８０Ｂを取得する。なお、ここでは、第３デジタル画像データ５８０Ｂがメモリ１２２に一旦記憶されてから、取得部７２０Ｃ１によってメモリ１２２から第３デジタル画像データ５８０Ｂが取得される形態例を挙げて説明しているが、本開示の技術はこれに限定されない。第３デジタル画像データ５８０Ｂは、メモリ１２２に記憶されることなく取得部７２０Ｃ１によって取得されるようにしてもよい。

合成部７２０Ｃ２は、取得部７２０Ｃ１によって取得された第２デジタル画像データ８０Ｂ及び第３デジタル画像データ５８０Ｂを合成する。具体的には、合成部７２０Ｃ２は、第２デジタル画像データ８０Ｂと第３デジタル画像データ５８０Ｂとを画素単位で加算平均することで第２デジタル画像データ８０Ｂと第３デジタル画像データ５８０Ｂとを合成する。

なお、ここで、合成方法として加算平均を例に挙げて説明したが、合成方法はこれに限らない。例えば、第２デジタル画像データ８０Ｂ及び第３デジタル画像データ５８０Ｂによるアルファブレンドを行うようにしてもよい。また、第２デジタル画像データ８０Ｂと第３デジタル画像データ５８０Ｂとを画素単位で単に加算するようにしてもよい。このように、第２デジタル画像データ８０Ｂと第３デジタル画像データ５８０Ｂとを合成する方法は、如何なる方法であっても本開示の技術は成立する。

合成部７２０Ｃ２は、第２デジタル画像データ８０Ｂと第３デジタル画像データ５８０Ｂとを合成して得た第１合成画像データ７３０を通信Ｉ／Ｆ１２０Ｄ２に出力する。通信Ｉ／Ｆ１２０Ｄ２は、合成部７２０Ｃ２から入力された第１合成画像データ７３０を通信ライン５４（図７参照）を介して第１撮像素子３８の通信Ｉ／Ｆ１１０Ｄ３に出力する。なお、第１合成画像データ７３０は、本開示の技術に係る「出力画像データ」の一例である。

第１合成画像データ７３０は、第１撮像素子３８の通信Ｉ／Ｆ１１０Ｄ３によって受け付けられる。通信Ｉ／Ｆ１１０Ｄ３によって受け付けられた第１合成画像データ７３０は、第１撮像素子３８のメモリ１１２に記憶される。

すなわち、第１撮像素子３８及び第２撮像素子４５２は、隣接する撮像素子であり、隣接する撮像素子のうちの前段の撮像素子である第２撮像素子４５２の通信Ｉ／Ｆ１２０Ｄ２によって第１合成画像データ７３０が出力される。そして、通信Ｉ／Ｆ１２０Ｄ２によって出力された第１合成画像データ７３０は、隣接する撮像素子のうちの後段の撮像素子である第１撮像素子３８の通信Ｉ／Ｆ１１０Ｄ３によって受け付けられ、受け付けられた第１合成画像データ７３０はメモリ１２２に記憶される。また、第１撮像素子３８によって撮像されることで得られた第１デジタル画像データ７０Ｂもメモリ１１２に記憶される。

なお、第１デジタル画像データ７０Ｂと第１合成画像データ７３０との関係において、第１デジタル画像データ７０Ｂは、本開示の技術に係る「後段画像データ」の一例である。また、第１デジタル画像データ７０Ｂと第１合成画像データ７３０との関係において、第１合成画像データ７３０は、本開示の技術に係る「前段画像データ」の一例である。

一例として図２４に示すように、第１撮像素子３８において、取得部１１０Ｃ１は、メモリ１１２から第１デジタル画像データ７０Ｂ及び第１合成画像データ７３０を取得する。なお、ここでは、第１合成画像データ７３０がメモリ１１２に一旦記憶されてから、取得部１１０Ｃ１によってメモリ１１２から第１合成画像データ７３０が取得される形態例を挙げて説明しているが、本開示の技術はこれに限定されない。第１合成画像データ７３０は、メモリ１１２に記憶されることなく取得部１１０Ｃ１によって取得されるようにしてもよい。

合成部１１０Ｃ２は、取得部１１０Ｃ１によって取得された第１デジタル画像データ７０Ｂ及び第１合成画像データ７３０を合成する。具体的には、合成部１１０Ｃ２は、第１デジタル画像データ７０Ｂと第１合成画像データ７３０とを画素単位で加算平均することで第１デジタル画像データ７０Ｂと第１合成画像データ７３０とを合成する。

なお、ここで、合成方法として加算平均を例に挙げて説明したが、合成方法はこれに限らない。例えば、第１デジタル画像データ７０Ｂ及び第１合成画像データ７３０によるアルファブレンドを行うようにしてもよい。また、第１デジタル画像データ７０Ｂと第１合成画像データ７３０とを画素単位で単に加算するようにしてもよい。このように、第１デジタル画像データ７０Ｂと第１合成画像データ７３０とを合成する方法は、如何なる方法であっても本開示の技術は成立する。

合成部１１０Ｃ２は、第１デジタル画像データ７０Ｂと第１合成画像データ７３０とを合成して得た第２合成画像データ８３０を通信Ｉ／Ｆ１１０Ｄ２に出力する。通信Ｉ／Ｆ１１０Ｄ２は、合成部１１０Ｃ２から入力された第２合成画像データ８３０を通信ライン４４を介して信号処理回路３４に出力する。なお、第２合成画像データ１３０は、本開示の技術に係る「出力画像データ」の一例である。

信号処理回路３４では、第２合成画像データ８３０に対して、上記第１実施形態で説明した各種の信号処理を行い、各種の信号処理を行った第２合成画像データ８３０をコントローラ１５に出力する。コントローラ１５では、第２合成画像データ８３０が入力されると、ＣＰＵ１５Ａによって第２合成画像データ８３０が二次記憶装置１０２に対して記憶されたり、外部Ｉ／Ｆ１０４を介して外部装置（図示省略）に記憶されたりする。また、コントローラ１５では、第２合成画像データ８３０が入力されると、ＣＰＵ１５Ａによって第２合成画像データ８３０に基づく画像が静止画像又はライブビュー画像としてディスプレイ２６に対して表示される。

一例として図２５に示すように、第３撮像素子５５２では、光電変換素子５５６が露光されることで第３アナログ画像データ５８０Ａが生成され、垂直同期信号が入力されると、光電変換素子５５６からの第３アナログ画像データ５８０Ａの読み出し、及び光電変換素子５５６に対するリセットが行われる。光電変換素子５５６に対するリセットとは、光電変換素子５５６内の各画素の残留電荷を消去する動作を指す。光電変換素子５５６による露光は、光電変換素子５５６に対する読出回路６２０Ａによる前回のリセットが行われてから読み出しが行われるまでの間に行われる。

第３アナログ画像データ５８０Ａに対してデジタル信号処理が行われることによって第３デジタル画像データ５８０Ｂが生成され、生成された第３デジタル画像データ５８０Ｂはメモリ６２２に記憶される。そして、メモリ６２２に記憶されている第３デジタル画像データ５８０Ｂは第２撮像素子４５２に出力される。

第２撮像素子４５２では、光電変換素子５６が露光されることで第２アナログ画像データ８０Ａが生成され、第３撮像素子５５２よりも遅いタイミングで垂直同期信号が入力されると、光電変換素子５６からの第２アナログ画像データ８０Ａの読み出し、及び光電変換素子５６に対するリセットが行われる。光電変換素子５６に対するリセットとは、光電変換素子５６内の各画素の残留電荷を消去する動作を指す。光電変換素子５６による露光は、光電変換素子５６に対する読出回路１２０Ａによる前回のリセットが行われてから読み出しが行われるまでの間に行われる。

第２アナログ画像データ８０Ａに対してデジタル信号処理が行われることによって第２デジタル画像データ８０Ｂが生成される。第２デジタル画像データ８０Ｂは、第３撮像素子５５２から出力された第３デジタル画像データ５８０Ｂと同期させるために、メモリ１２２に一旦記憶される。第３デジタル画像データ５８０Ｂがメモリ１２２に記憶されると、メモリ１２２に記憶されている第２デジタル画像データ８０Ｂ及び第３デジタル画像データ５８０Ｂが合成され、第１合成画像データ７３０が生成される。第１合成画像データ７３０は、第１撮像素子３８に出力される。

第１撮像素子３８では、光電変換素子４２が露光されることで第１アナログ画像データ７０Ａが生成され、第２撮像素子４５２よりも遅いタイミングで垂直同期信号が入力されると、光電変換素子４２からの第１アナログ画像データ７０Ａの読み出し、及び光電変換素子４２に対するリセットが行われる。光電変換素子４２に対するリセットとは、光電変換素子４２内の各画素の残留電荷を消去する動作を指す。光電変換素子４２による露光は、光電変換素子４２に対する読出回路１１０Ａによる前回のリセットが行われてから読み出しが行われるまでの間に行われる。

第１アナログ画像データ７０Ａに対してデジタル信号処理が行われることによって第１デジタル画像データ７０Ｂが生成される。第１デジタル画像データ７０Ｂは、第２撮像素子４５２から出力された第１合成画像データ７３０と同期させるために、メモリ１１２に一旦記憶される。第１合成画像データ７３０がメモリ１１２に記憶されると、メモリ１１２に記憶されている第１デジタル画像データ７０Ｂ及び第１合成画像データ７３０が合成され、第２合成画像データ８３０が生成される。合成画像データ８３０は、信号処理回路３４に出力される。

図２５に示す例では、第３撮像素子５５２に入力される垂直同期信号の入力タイミングよりも第２撮像素子４５２に入力される垂直同期信号の入力タイミングの方が遅い。また、第２撮像素子４５２に入力される垂直同期信号の入力タイミングよりも第１撮像素子３８に入力される垂直同期信号の入力タイミングの方が遅い。これにより、第２撮像素子４５２での光電変換素子５６による露光時間が、第３撮像素子５５２の光電変換素子５５６による露光時間より長くなる。また、第１撮像素子３８での光電変換素子４２による露光時間が、第２撮像素子４５２での光電変換素子５６による露光時間よりも長くなる。

次に、スマートデバイス５００の本開示の技術に係る部分の作用について説明する。

先ず、第３撮像素子５５２の処理回路６２０によって実行される前段撮像処理の流れについて図２６を参照しながら説明する。

図２６に示す前段撮像処理では、先ず、ステップＳＴ１００で、制御回路６２０Ｃは、コントローラ１５からの垂直同期信号が通信Ｉ／Ｆ６２０Ｄ１によって受け付けられたか否かを判定する。ステップＳＴ１００において、コントローラ１５からの垂直同期信号が通信Ｉ／Ｆ６２０Ｄ１によって受け付けられていない場合は、判定が否定されて、前段撮像処理はステップＳＴ１１２へ移行する。ステップＳＴ１００において、コントローラ１５からの垂直同期信号が通信Ｉ／Ｆ６２０Ｄ１によって受け付けられた場合は、判定が肯定されて、前段撮像処理はステップＳＴ１０２へ移行する。

ステップＳＴ１０２で、読出回路６２０Ａは、第３アナログ画像データ５８０Ａの読み出し及び光電変換素子５５６のリセットを行い、その後、前段撮像処理はステップＳＴ１０４へ移行する。

ステップＳＴ１０４で、デジタル処理回路６２０Ｂは、第３アナログ画像データ５８０Ａに対してデジタル信号処理を行い、その後、前段撮像処理はステップＳＴ１０６へ移行する。

ステップＳＴ１０４において第３アナログ画像データ５８０Ａに対してデジタル信号処理が行われることで得られた第３デジタル画像データ５８０Ｂは、制御回路６２０Ｃに転送される。

ステップＳＴ１０６で、制御回路６２０Ｃは、第３デジタル画像データ５８０Ｂをメモリ６２２に記憶し、その後、前段撮像処理はステップＳＴ１０８へ移行する。

ステップＳＴ１０８で、制御回路６２０Ｃは、第３デジタル画像データ５８０Ｂを第２撮像素子４５２に出力するタイミング（本第２実施形態に係る出力タイミング）が到来したか否かを判定する。本第２実施形態に係る出力タイミングの一例としては、制御回路６２０Ｃがメモリ６２２から第３デジタル画像データ５８０Ｂを読み出すことが可能なタイミングが挙げられる。メモリ６２２はＤＲＡＭであり、メモリ６２２に対する書き込みと読み出しとを同時に行うことはできない。そのため、制御回路６２０Ｃがメモリ６２２から第３デジタル画像データ５８０Ｂを読み出すことが可能なタイミングとは、例えば、メモリ６２２への１フレーム分の第３デジタル画像データ５８０Ｂの記憶が完了したタイミングを指す。

ステップＳＴ１０８において、本第２実施形態に係る出力タイミングが到来していない場合は、判定が否定されて、ステップＳＴ１０８の判定が再び行われる。ステップＳＴ１０８において、出力タイミングが到来した場合は、判定が肯定されて、前段撮像処理はステップＳＴ１１０へ移行する。

ステップＳＴ１００で、制御回路６２０Ｃは、メモリ６２２から第３デジタル画像データ５８０Ｂを取得し、取得した第３デジタル画像データ５８０Ｂを、通信Ｉ／Ｆ６２０Ｄ２を介して第２撮像素子４５２に出力し、その後、前段撮像処理はステップＳＴ１１２へ移行する。

ステップＳＴ１１２で、制御回路６２０Ｃは、上記第１実施形態で説明した前段撮像処理終了条件を満足したか否かを判定する。ステップＳＴ１１２において、前段撮像処理終了条件を満足していない場合は、判定が否定されて、前段撮像処理はステップＳＴ１００へ移行する。ステップＳＴ１１２において、前段撮像処理終了条件を満足した場合は、判定が肯定されて、前段撮像処理が終了する。

次に、第２撮像素子４５２の処理回路４５３によって実行される中段撮像処理の流れについて図２７を参照しながら説明する。

図２７に示す中段撮像処理では、先ず、ステップＳＴ１３０で、制御回路７２０Ｃは、コントローラ１５からの垂直同期信号が通信Ｉ／Ｆ１２０Ｄ１によって受け付けられたか否かを判定する。ステップＳＴ１３０において、コントローラ１５からの垂直同期信号が通信Ｉ／Ｆ１２０Ｄ１によって受け付けられていない場合は、判定が否定されて、後段撮像処理はステップＳＴ１４４へ移行する。ステップＳＴ１３０において、コントローラ１５からの垂直同期信号が通信Ｉ／Ｆ１２０Ｄ１によって受け付けられた場合は、判定が肯定されて、中段撮像処理はステップＳＴ１３２へ移行する。

ステップＳＴ１３２で、読出回路１２０Ａは、第２アナログ画像データ８０Ａの読み出し及び光電変換素子５６のリセットを行い、その後、中段撮像処理はステップＳＴ１３４へ移行する。

ステップＳＴ１３４で、デジタル処理回路１２０Ｂは、第２アナログ画像データ８０Ａに対してデジタル信号処理を行い、その後、中段撮像処理はステップＳＴ１３６へ移行する。

ステップＳＴ１３４において第２アナログ画像データ８０Ａに対してデジタル信号処理が行われることで得られた第２デジタル画像データ８０Ｂは、制御回路７２０Ｃに転送される。

ステップＳＴ１３６で、制御回路７２０Ｃは、第２デジタル画像データ８０Ｂをメモリ１２２に記憶し、その後、中段撮像処理はステップＳＴ１３８へ移行する。

ステップＳＴ１３８で、制御回路７２０Ｃは、第３撮像素子５５２から第３デジタル画像データ５８０Ｂが入力されたか否かを判定する。ステップＳＴ１３８において、第３撮像素子５５２から第３デジタル画像データ５８０Ｂが入力されていない場合は、判定が否定されて、ステップＳＴ１３８の判定が再び行われる。ステップＳＴ１３８において、第３撮像素子５５２から第３デジタル画像データ５８０Ｂが入力された場合は、判定が肯定されて、中段撮像処理はステップＳＴ１４０へ移行する。

ステップＳＴ１４０で、制御回路７２０Ｃは、第２デジタル画像データ７０Ｂと第３デジタル画像データ５８０Ｂとを合成することで第１合成画像データ７３０を生成し、その後、中段撮像処理はステップＳＴ４２へ移行する。

ステップＳＴ１４２で、制御回路７２０Ｃは、第１合成画像データ７３０を、通信Ｉ／Ｆ１２０Ｄ２を介して第１撮像素子３８に出力し、その後、中段撮像処理はステップＳＴ１４４へ移行する。

ステップＳＴ１４４で、制御回路７２０Ｃは、中段撮像処理を終了する条件（以下、「中段撮像処理終了条件」と称する）を満足したか否かを判定する。中段撮像処理終了条件の一例としては、中段撮像処理を終了させる指示が受付デバイス８４（図５参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ１４４において、中段撮像処理終了条件を満足していない場合は、判定が否定されて、中段撮像処理はステップＳＴ１３０へ移行する。ステップＳＴ１４４において、中段撮像処理終了条件を満足した場合は、判定が肯定されて、中段撮像処理が終了する。

次に、第１撮像素子３８の処理回路１１０によって実行される後段撮像処理の流れについて図２８を参照しながら説明する。

図２８に示す後段撮像処理では、先ず、ステップＳＴ１５０で、制御回路１１０Ｃは、コントローラ１５からの垂直同期信号が通信Ｉ／Ｆ１１０Ｄ１によって受け付けられたか否かを判定する。ステップＳＴ１５０において、コントローラ１５からの垂直同期信号が通信Ｉ／Ｆ１１０Ｄ１によって受け付けられていない場合は、判定が否定されて、後段撮像処理はステップＳＴ１６４へ移行する。ステップＳＴ１５０において、コントローラ１５からの垂直同期信号が通信Ｉ／Ｆ１１０Ｄ１によって受け付けられた場合は、判定が肯定されて、後段撮像処理はステップＳＴ１５２へ移行する。

ステップＳＴ１５２で、読出回路１１０Ａは、第１アナログ画像データ７０Ａの読み出し及び光電変換素子４２のリセットを行い、その後、後段撮像処理はステップＳＴ１５４へ移行する。

ステップＳＴ１５４で、デジタル処理回路１１０Ｂは、第１アナログ画像データ７０Ａに対してデジタル信号処理を行い、その後、後段撮像処理はステップＳＴ１５６へ移行する。

ステップＳＴ１５４において第１アナログ画像データ７０Ａに対してデジタル信号処理が行われることで得られた第１デジタル画像データ７０Ｂは、制御回路１１０Ｃに転送される。

ステップＳＴ１５６で、制御回路１１０Ｃは、第１デジタル画像データ７０Ｂをメモリ１１２に記憶し、その後、後段撮像処理はステップＳＴ１５８へ移行する。

ステップＳＴ１５８で、制御回路１１０Ｃは、第２撮像素子４５２から第１合成画像データ７３０が入力されたか否かを判定する。ステップＳＴ１５８において、第２撮像素子４５２から第１合成画像データ７３０が入力されていない場合は、判定が否定されて、ステップＳＴ１５８の判定が再び行われる。ステップＳＴ１５８において、第２撮像素子４５２から第１合成画像データ７３０が入力された場合は、判定が肯定されて、後段撮像処理はステップＳＴ１６０へ移行する。

ステップＳＴ１６０で、制御回路１１０Ｃは、第１デジタル画像データ７０Ｂと第１合成画像データ７３０とを合成することで第２合成画像データ８３０を生成し、その後、後段撮像処理はステップＳＴ１６２へ移行する。

ステップＳＴ１６２で、制御回路１１０Ｃは、第２合成画像データ８３０を、通信Ｉ／Ｆ１１０Ｄ２を介して信号処理回路３４に出力し、その後、後段撮像処理はステップＳＴ１６４へ移行する。

ステップＳＴ１６４で、制御回路１１０Ｃは、上記第１実施形態で説明した後段撮像処理終了条件を満足したか否かを判定する。ステップＳＴ１６４において、後段撮像処理終了条件を満足していない場合は、判定が否定されて、後段撮像処理はステップＳＴ１５０へ移行する。ステップＳＴ１６４において、後段撮像処理終了条件を満足した場合は、判定が肯定されて、後段撮像処理が終了する。

以上説明したように、撮像装置５１４には、信号処理回路３４、第１撮像素子３８、第２撮像素子４５２、及び第３撮像素子５５２が設けられている。第３撮像素子５５２は通信ライン５５４を介して第２撮像素子４５２に接続されている。また、第２撮像素子４５２は通信ライン５４を介して第１撮像素子３８に接続されている。更に、第１撮像素子３８は、通信ライン４４を介して信号処理回路３４に接続されている。すなわち、信号処理回路３４、第１撮像素子３８、第２撮像素子４５２、及び第３撮像素子５５２は、通信ライン４４，５４，５５４によって直列に接続されている。

そして、第３撮像素子５５２により被写体が撮像されることで得られた第３デジタル画像データ５８０Ｂは通信Ｉ／Ｆ６２０Ｄ２によって通信ライン５５４を介して第２撮像素子４５２に出力される。第２撮像素子４５２により被写体が撮像されることで得られた第２デジタル画像データ８０Ｂは第３デジタル画像データ５８０Ｂと合成される。第２デジタル画像データ８０Ｂと第３デジタル画像データ５８０Ｂとが合成されることによって得られた第１合成画像データ７３０は通信Ｉ／Ｆ１２０Ｄ２により通信ライン５４を介して第１撮像素子３８に出力される。

第１撮像素子３８により被写体が撮像されることで得られた第１デジタル画像データ７０Ｂは第１合成画像データ７３０と合成される。第１デジタル画像データ７０Ｂと第１合成画像データ７３０とが合成されることによって得られた第２合成画像データ８３０は通信Ｉ／Ｆ１１０Ｄ２により通信ライン４４を介して信号処理回路３４に出力される。従って、第１撮像素子３８、第２撮像素子４５２、及び第３撮像素子５５２の各々を信号処理回路３４に直接接続する場合に比べ、第１撮像素子３８、第２撮像素子４５２、及び第３撮像素子５５２を信号処理回路３４に接続するのに要する配線数を抑制することができる。

また、撮像装置５１４では、合成部７２０Ｃ２により第２デジタル画像データ８０Ｂと第３デジタル画像データ５８０Ｂとが合成され、合成されることで得られた第１合成画像データ７３０が第１撮像素子３８に出力される。そして、合成部１１０Ｃ２により第１デジタル画像データ７０Ｂと第１合成画像データ７３０とが合成され、合成されることで得られた第２合成画像データ８３０が第１撮像素子３８の通信Ｉ／Ｆ１１０Ｄ２によって通信ライン４４を介して信号処理回路３４に出力される。従って、信号処理回路３４での第１デジタル画像データ７０Ｂ、第２デジタル画像データ８０Ｂ、及び第３デジタル画像データ５８０Ｂの合成が不要になる。

また、撮像装置５１４では、第２撮像素子４５２での光電変換素子５６による露光時間が第３撮像素子５５２での光電変換素子５５６による露光時間よりも長い。また、第１撮像素子３８での光電変換素子４２による露光時間が、第２撮像素子４５２での光電変換素子５６による露光時間よりも長い。従って、第１デジタル画像データ７０Ｂ、第２デジタル画像データ８０Ｂ、及び第３デジタル画像データ５８０Ｂが合成されることによって得られた第２合成画像データ８３０のダイナミックレンジは、単一のデジタル画像データのダイナミックレンジよりも、大きくなる。つまり、第２合成画像データ８３０は、単一のデジタル画像データよりも輝度を綿密に表現可能な画像データとなる。

また、撮像装置５１４では、信号処理回路３４は、第１撮像素子３８、第２撮像素子４５２、及び第３撮像素子５５２に直列に接続されており、かつ、第１撮像素子３８、第２撮像素子４５２、及び第３撮像素子５５２よりも後段に位置している。具体的には、前段側から後段側にかけて第３撮像素子５５２、第２撮像素子４５２、第１撮像素子３８、及び信号処理回路３４の順に配置されている。従って、信号処理回路３４は、第１撮像素子３８、第２撮像素子４５２、及び第３撮像素子５５２の各々によって撮像されることで得られた全ての画像データを受け取ることができる。

また、撮像装置５１４でも、上記第１実施形態で説明した第１撮像素子３８及び第２撮像素子５２と同様に、第３撮像素子５５２として、光電変換素子５５６、処理回路６２０、及びメモリ６２２が１チップ化された撮像素子が採用されている。これにより、上記第１実施形態で説明した第１撮像素子３８及び第２撮像素子５２と同様の効果が得られる。

また、撮像装置５１４でも、上記第１実施形態で説明した第１撮像素子３８及び第２撮像素子５２と同様に、第３撮像素子５５２として、光電変換素子５５６にメモリ６２２が積層された積層型撮像素子が採用されている。これにより、上記第１実施形態で説明した第１撮像素子３８及び第２撮像素子５２と同様の効果が得られる。

また、撮像装置５１４では、第２合成画像データ８３０に基づくライブビュー画像等がディスプレイ２６に表示される。これにより、第２合成画像データ８３０により示される画像をユーザに視認させることができる。

更に、撮像装置５１４では、信号処理回路３４に入力された第２合成画像データ８３０がＣＰＵ１５Ａによって二次記憶装置１０２、ＵＳＢメモリ、及び／又はメモリカード等に記憶される。これにより、信号処理回路３４に入力された第２合成画像データ８３０を過不足なく管理することができる。

なお、上記第２実施形態では、第１デジタル画像データ７０Ｂ、第２デジタル画像データ８０Ｂ、及び第３デジタル画像データ５８０Ｂが合成される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、第１デジタル画像データ７０Ｂ、第２デジタル画像データ８０Ｂ、及び第３デジタル画像データ５８０Ｂが合成されることなく信号処理回路３４に出力されるようにしてもよい。この場合、信号処理回路３４に遠い側の撮像素子から近い側の撮像素子にかけてデジタル画像データが順に受け渡され、最終段の撮像素子に受け渡されたデジタル画像データが最終段の撮像素子の通信Ｉ／Ｆによって信号処理回路３４に出力されるようにすればよい。

例えば、図２９に示すように、先ず、時間帯Ｔ０に、第１撮像素子３８、第２撮像素子４５２、及び第３撮像素子５５２の各々によって露光が行われる。次に、時間帯Ｔ１において、第１撮像素子３８によって撮像されることで得られた第１デジタル画像データ７０Ｂが第１撮像素子３８の通信Ｉ／Ｆ１１０Ｄ２によって信号処理回路３４に出力される。また、時間帯Ｔ１において、第２撮像素子４５２によって撮像されることで得られた第２デジタル画像データ８０Ｂが第２撮像素子４５２の通信Ｉ／Ｆ１２０Ｄ２によって第１撮像素子３８に出力される。更に、時間帯Ｔ１において、第３撮像素子５５２によって撮像されることで得られた第３デジタル画像データ５８０Ｂが第３撮像素子５５２の通信Ｉ／Ｆ６２０Ｄ２によって第２撮像素子４５２に出力される。

次に、時間帯Ｔ２において、第１撮像素子３８に対して時間帯Ｔ１に第２撮像素子４５２から入力された第２デジタル画像データ８０Ｂは、第１撮像素子３８の通信Ｉ／Ｆ１１０Ｄ２によって信号処理回路３４に出力される。また、時間帯Ｔ２において、第２撮像素子４５２に対して時間帯Ｔ１に第３撮像素子５５２から入力された第３デジタル画像データ５８０Ｂは、第２撮像素子４５２の通信Ｉ／Ｆ１２０Ｄ２によって第１撮像素子３８に出力される。

そして、時間帯Ｔ３において、第１撮像素子３８に対して時間帯Ｔ２に第２撮像素子４５２から入力された第３デジタル画像データ５８０Ｂは、第１撮像素子３８の通信Ｉ／Ｆ１１０Ｄ２によって信号処理回路３４に出力される。従って、信号処理回路３４に対して第１撮像素子３８、第２撮像素子４５２、及び第３撮像素子５５２が直接接続されていなくても、第１デジタル画像データ７０Ｂ、第２デジタル画像データ８０Ｂ、及び第３デジタル画像データ５８０Ｂを信号処理回路３４に単一の経路から受け取らせることができる。

また、時間帯Ｔ１において、第１デジタル画像データ７０Ｂの出力、第２デジタル画像データ８０Ｂの出力、及び第３デジタル画像データ５８０Ｂの出力は互いに同期して行われる。また、時間帯Ｔ２において、第２デジタル画像データ８０Ｂの出力、及び第３デジタル画像データ５８０Ｂの出力は互いに同期して行われる。従って、画像データが第１撮像素子３８、第２撮像素子４５２、及び第３撮像素子５５２のうちの１つの撮像素子に滞留することを回避することができる。

図２９に示す例では、第１撮像素子３８の通信Ｉ／Ｆ１１０Ｄ２、第２撮像素子４５２の通信Ｉ／Ｆ１２０Ｄ２、及び第３撮像素子５５２の通信Ｉ／Ｆ６２０Ｄ２の各々によって出力されたデジタル画像データの各々が信号処理回路３４により時分割で受け取られる。すなわち、第１デジタル画像データ７０Ｂ、第２デジタル画像データ８０Ｂ、及び第３デジタル画像データ５８０Ｂが信号処理回路３４によって時分割で受け取られる。

これにより、信号処理回路３４に対して全ての撮像素子の各々が直接接続されていなくても、各撮像素子によって撮像されることで得られた画像データを最小限の配線数で信号処理部に受け取らせることができる。そして、信号処理回路３４は、第１撮像素子３８から順次に受け取ったデジタル画像データに対して順次に各種の信号処理を施すことができる。

一例として図３０に示すように、時間帯Ｔ１（図２９参照）では、第３デジタル画像データ５８０Ｂが第３撮像素子５５２のメモリ６２２から第２撮像素子４５２のメモリ１２２に移される。また、時間帯Ｔ１では、第２デジタル画像データ８０Ｂが第２撮像素子４５２のメモリ１２２から第１撮像素子３８のメモリ１１２に移される。更に、時間帯Ｔ１では、第１デジタル画像データ７０Ｂが第１撮像素子３８のメモリ１１２から信号処理回路３４に移される。

つまり、時間帯Ｔ１では、第１撮像素子３８、第２撮像素子４５２、及び第３撮像素子５５２のうち、信号処理回路３４の最も近くに位置する第１撮像素子３８で生成された第１デジタル画像データ７０Ｂが信号処理回路３４によって受け取られる。

一例として図３１に示すように、時間帯Ｔ２（図２９参照）では、第３デジタル画像データ５８０Ｂが第２撮像素子４５２のメモリ１２２から第１撮像素子３８のメモリ１１２に移される。また、時間帯Ｔ２では、第２デジタル画像データ８０Ｂが第１撮像素子３８のメモリ１１２から信号処理回路３４に移される。

つまり、時間帯Ｔ２では、第１撮像素子３８、第２撮像素子４５２、及び第３撮像素子５５２のうち、第１撮像素子３８の次に信号処理回路３４の近くに位置する第２撮像素子４５２で生成された第２デジタル画像データ８０Ｂが信号処理回路３４によって受け取られる。

一例として図３２に示すように、時間帯Ｔ３（図２９参照）では、第３デジタル画像データ５８０Ｂが第１撮像素子３８のメモリ１１２から信号処理回路３４に移される。

つまり、時間帯Ｔ３では、第１撮像素子３８、第２撮像素子４５２、及び第３撮像素子５５２のうち、信号処理回路３４から最も遠くに位置する第３撮像素子５５２で生成された第３デジタル画像データ５８０Ｂが信号処理回路３４によって受け取られる。

従って、第２撮像素子４５２は、第３デジタル画像データ５８０Ｂをメモリ１２２に記憶させずに出力する場合に比べ、第３撮像素子５５２から受け取った第３デジタル画像データ５８０Ｂを適切な出力タイミングで出力することができる。また、第１撮像素子３８は、第２デジタル画像データ８０Ｂをメモリ１１２に記憶させずに出力する場合に比べ、第２撮像素子４５２から受け取った第２デジタル画像データ８０Ｂを適切な出力タイミングで出力することができる。また、第１撮像素子３８は、第３デジタル画像データ５８０Ｂをメモリ１１２に記憶させずに出力する場合に比べ、第２撮像素子４５２から受け取った第３デジタル画像データ５８０Ｂを適切なタイミングで出力することができる。

また、一例として図３０〜図３２に示すように、複数の撮像素子のうち、信号処理回路３４に近い側の撮像素子から遠い側の撮像素子の順にデジタル画像データの各々が時分割で信号処理回路３４によって受け取られる。従って、複数の撮像素子の各々で生成された各デジタル画像データを信号処理回路３４に最も近い側の撮像素子に一旦集めてから信号処理回路３４に出力する場合に比べ、複数の撮像素子の各々で生成された各デジタル画像データを信号処理回路３４に早く受け取らせることができる。

また、上記第２実施形態では、第１デジタル画像データ７０Ｂ、第２デジタル画像データ８０Ｂ、及び第３デジタル画像データ５８０Ｂが合成される場合について説明したが、本開示の技術はこれに限定されない。例えば、第１デジタル画像データ７０Ｂ、第２デジタル画像データ８０Ｂ、及び第３デジタル画像データ５８０Ｂが連結されるようにしてもよい。この場合、一例として図３３に示すように、制御回路１１０Ｃは、合成部１１０Ｃ２に代えて連結部１１０Ｃ３を有する。連結部１１０Ｃ３は、取得部１１０Ｃ１によって取得された第１デジタル画像データ７０Ｂ、第２デジタル画像データ８０Ｂ、及び第３デジタル画像データ５８０Ｂを連結し、連結して得た連結画像データ１３０Ｂを生成する。このように生成された連結画像データ１３０Ｂは、通信Ｉ／Ｆ１１０Ｄ２によって通信ライン４４を介して信号処理回路３４に出力される。

図３３に示す例では、第１デジタル画像データ７０Ｂ、第２デジタル画像データ８０Ｂ、及び第３デジタル画像データ５８０Ｂが縦方向に連結されている形態例が示されているが、これに限らず、第１デジタル画像データ７０Ｂ、第２デジタル画像データ８０Ｂ、及び第３デジタル画像データ５８０Ｂが横方向に連結されていてもよい。このように、第１デジタル画像データ７０Ｂ、第２デジタル画像データ８０Ｂ、及び第３デジタル画像データ５８０Ｂの連結方向は如何なる方向であってもよい。また、第１デジタル画像データ７０Ｂ、第２デジタル画像データ８０Ｂ、及び第３デジタル画像データ５８０Ｂのうち、隣接するデジタル画像データ間の一部を重ねるようにして第１デジタル画像データ７０Ｂ、第２デジタル画像データ８０Ｂ、及び第３デジタル画像データ５８０Ｂが連結されるようにしてもよい。

また、上記第２実施形態では、メモリ６２２から制御回路６２０Ｃによって取得された第３デジタル画像データ５８０Ｂが通信Ｉ／Ｆ６２０Ｄ２によって第２撮像素子４５２に出力される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、メモリ６２２から制御回路６２０Ｃによって取得された第３デジタル画像データ５８０Ｂに対して制御回路６２０Ｃによって何らかの画像処理が施されることで得た画像データが通信Ｉ／Ｆ６２０Ｄ２によって第２撮像素子４５２に出力されるようにしてもよい。ここで、上記の画像処理としては、例えば、間引き処理及び加算処理等の公知の画像処理が挙げられる。第３デジタル画像データ５８０Ｂに対して何らかの画像処理が施されることで得た画像データは、本開示の技術に係る「出力画像データ」の一例である。

また、上記第２実施形態では、通信Ｉ／Ｆ１５Ｄ３と通信Ｉ／Ｆ６２０Ｄ１とがＰＣＩ−ｅの接続規格に従って接続されている。また、通信Ｉ／Ｆ１２０Ｄ３と通信Ｉ／Ｆ６２０Ｄ２とがＰＣＩ−ｅの接続規格に従って接続されている。しかし、本開示の技術はこれに限定されない。ＰＣＩ−ｅの接続規格に代えて、ＬＶＤＳ、ＳＡＴＡ、ＳＬＶＳ−ＥＣ、及びＭＩＰＩ等の他の接続規格が採用されてもよい。

また、上記第２実施形態では、第２撮像素子４５２と第３撮像素子５５２との間の通信、及びコントローラ１５と第３撮像素子４５２との間の通信は何れも有線形式の通信である。しかし、本開示の技術はこれに限定されない。第２撮像素子４５２と第３撮像素子５５２との間の通信、及びコントローラ１５と第３撮像素子４５２との間の通信のうちの少なくとも一方の通信を無線形式の通信としてもよい。

また、上記第２実施形態では、第３撮像素子５５２として、光電変換素子５５６、処理回路６２０、及びメモリ６２２が１チップ化された撮像素子が例示されているが、本開示の技術はこれに限定されない。例えば、光電変換素子５５６、処理回路６２０、及びメモリ６２２のうち、少なくとも光電変換素子５５６及びメモリ６２２が１チップ化されていればよい。なお、第２撮像素子４５２についても同様のことが言える。

また、上記第２実施形態では、第１撮像レンズ１６、第２撮像レンズ１８、及び第３撮像レンズ５１８という３個の撮像レンズの各々から被写体光を撮像装置５１４に取り込む形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図３４に示すように、撮像装置５１４に代えて撮像装置９００を用いても本開示の技術は成立する。

撮像装置９００は、撮像装置５１４に比べ、第１撮像レンズ１６、第２撮像レンズ１８、及び第３撮像レンズ５１８のうちの第１撮像レンズ１６のみを有する点が異なる。また、撮像装置９００は、撮像装置５１４に比べ、光路分離器９０２を有する点が異なる。光路分離器９０２は、ビームスプリッタ９０２Ａ，９０２Ｂ及び反射ミラー９０２Ｃを備えている。光路分離器９０２は、第１撮像レンズ１６に入射された被写体光の光路を分離し、被写体光を第１撮像素子３８の受光面４２Ａ、第２撮像素子４５２の受光面５６Ａ、及び第３撮像素子５５２の受光面５５６Ａの各々に導く。

光路分離器９０２は、第１撮像レンズ１６と受光面４２Ａ，５６Ａ，５５６Ａとの間に配置されている。ビームスプリッタ９０２Ａは、受光面４２Ａに対応する位置に設けられている。ビームスプリッタ９０２Ｂは、受光面５６Ａに対向する位置に設けられている。反射ミラー９０２Ｃは、受光面５５６Ａに対向する位置に設けられている。

ビームスプリッタ９０２Ａは、第１撮像レンズ１６から入射された被写体光を透過することで受光面４２Ａに導き、かつ、第１撮像レンズ１６から入射された被写体光を反射することでビームスプリッタ９０２Ｂに導く。ビームスプリッタ９０２Ｂは、ビームスプリッタ９０２Ａによって導かれた被写体光を反射することで受光面５６Ａに導き、かつ、ビームスプリッタ９０２Ａによって導かれた被写体光を透過することで反射ミラー９０２Ｃに導く。反射ミラー９０２Ｃは、ビームスプリッタ９０２Ｂによって導かれた被写体光を反射することで受光面５５６Ａに導く。これにより、被写体光が受光面４２Ａ，５６Ａ，５５６Ａの各々によって受光され、第１撮像素子３８、第２撮像素子４５２、及び第３撮像素子５５２によって被写体が撮像される。

また、図１７〜図３４に示す例では、第１撮像素子３８、第２撮像素子４５２、及び第３撮像素子５５２という３個の撮像素子を示したが、これらは、あくまでも一例に過ぎず、本開示の技術はこれに限定されない。例えば、２個の撮像素子であっても、４個以上の撮像素子であっても本開示の技術は成立する。４個以上の撮像素子を用いる場合は、第１撮像素子３８と第３撮像素子５５２との間に第２撮像素子４５２と同様の構成を有する１つ以上の撮像素子を介在させる。そして、信号処理回路３４から最も遠い撮像素子から信号処理回路３４に最も近い撮像素子にかけて画像データが順次に転送されるように、複数の撮像素子が直列に接続されるようにすればよい。

また、上記各実施形態では、信号処理回路３４を例示したが、本開示の技術はこれに限定されず、信号処理回路３４の他に１つ以上の信号処理回路を用いてもよい。この場合、第１撮像素子３８を複数の信号処理回路の各々に対して直接接続するようにすればよい。

また、上記各実施形態では、処理回路１１０，１２０，４５３，６２０がＡＳＩＣ及びＦＰＧＡを含むデバイスによって実現される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、処理回路１１０に含まれる複数のデバイスのうちの少なくとも制御回路１１０Ｃはコンピュータによるソフトウェア構成により実現されるようにしてもよい。また、処理回路１２０に含まれる複数のデバイスのうちの少なくとも制御回路１２０Ｃはコンピュータによるソフトウェア構成により実現されるようにしてもよい。また、処理回路４５３に含まれる複数のデバイスのうちの少なくとも制御回路７２０Ｃはコンピュータによるソフトウェア構成により実現されるようにしてもよい。更に、処理回路６２０に含まれる複数のデバイスのうちの少なくとも制御回路６２０Ｃはコンピュータによるソフトウェア構成により実現されるようにしてもよい。

この場合、例えば、図３５Ａに示すように、第１撮像素子３８にはコンピュータ１８５２が内蔵されており、コンピュータ１８５２に上記第１又は第２実施形態に係る後段撮像処理を実行させるための後段撮像プログラム１９０２Ａを記憶媒体１９００Ａに記憶させておく。コンピュータ１８５２は、ＣＰＵ１８５２Ａ、ＲＯＭ１８５２Ｂ、及びＲＡＭ１８５２Ｃを備えている。そして、記憶媒体１９００Ａに記憶されている後段撮像プログラム１９０２Ａは、コンピュータ１８５２にインストールされる。ＣＰＵ１８５２Ａは、後段撮像プログラム１９０２Ａに従って、第１又は第２実施形態に係る後段撮像処理を実行する。

後段撮像プログラム１９０２Ａは記憶媒体１９００Ａではなく、ＲＯＭ１８５２Ｂに記憶されていてもよい。この場合、ＣＰＵ１８５２Ａは、ＲＯＭ１８５２Ｂから後段撮像プログラム１９０２Ａを読み出し、読み出した後段撮像プログラム１９０２ＡをＲＡＭ１８５２Ｃに展開する。そして、ＣＰＵ１８５２Ａは、ＲＡＭ１８５２Ｃに展開した後段撮像プログラム１９０２Ａに従って、第１又は第２実施形態に係る後段撮像処理を実行する。

また、一例として図３５Ｂに示すように、第２撮像素子５２及び第３撮像素子５５２の各々にはコンピュータ１８５２が内蔵されている。第２撮像素子５２のコンピュータ１８５４に第１実施形態に係る前段撮像処理を実行させるための前段撮像プログラム１９０２Ｂ１を記憶媒体１９００Ｂに記憶させておく。また、第３撮像素子５５２のコンピュータ１８５２に第２実施形態に係る前段撮像処理を実行させるための前段撮像プログラム１９０２Ｂを記憶媒体１９００Ｂに記憶させておく。

なお、以下では、説明の便宜上、第２撮像素子５２のコンピュータ１８５４と第３撮像素子５５２のコンピュータ１８５４とを区別して説明する必要がない場合、「コンピュータ１８５４」と称する。また、以下では、説明の便宜上、前段撮像プログラム１９０２Ｂ１，１９０２Ｂ２を区別して説明する必要がない場合、「前段撮像プログラム１９０２Ｂ」と称する。

コンピュータ１８５４は、ＣＰＵ１８５４Ａ、ＲＯＭ１８５４Ｂ、及びＲＡＭ１８５４Ｃを備えている。そして、記憶媒体１９００Ｂに記憶されている前段撮像プログラム１９０２Ｂは、コンピュータ１８５４にインストールされる。ＣＰＵ１８５２Ａは、前段撮像プログラム１９０２Ｂに従って、第１又は第２実施形態に係る前段撮像処理を実行する。

前段撮像プログラム１９０２Ｂは記憶媒体１９００Ｂではなく、ＲＯＭ１８５４Ｃに記憶されていてもよい。この場合、ＣＰＵ１８５４Ａは、ＲＯＭ１８５４Ｂから前段撮像プログラム１９０２Ｂを読み出し、読み出した前段撮像プログラム１９０２ＢをＲＡＭ１８５４Ｃに展開する。そして、第２撮像素子５２の場合、ＣＰＵ１８５４Ａは、ＲＡＭ１８５４Ｃに展開した前段撮像プログラム１９０２Ｂに従って、上記第１実施形態に係る前段撮像処理を実行する。また、第３撮像素子５５２の場合、ＣＰＵ１８５４Ａは、ＲＡＭ１８５４Ｃに展開した前段撮像プログラム１９０２Ｂに従って、上記第２実施形態に係る前段撮像処理を実行する。

一例として図３５Ｃに示すように、第２撮像素子４５２にはコンピュータ１８５６が内蔵されており、コンピュータ１８５６に上述した中段撮像処理を実行させるための中段撮像プログラム１９０２Ｃを記憶媒体１９００Ｃに記憶させておく。コンピュータ１８５６は、ＣＰＵ１８５６Ａ、ＲＯＭ１８５６Ｂ、及びＲＡＭ１８５６Ｃを備えている。そして、記憶媒体１９００Ｃに記憶されている中段撮像プログラム１９０２Ｃは、コンピュータ１８５６にインストールされる。ＣＰＵ１８５６Ａは、中段撮像プログラム１９０２Ｃに従って、上述した中段撮像処理を実行する。

中段撮像プログラム１９０２Ｃは記憶媒体１９００Ｃではなく、ＲＯＭ１８５６Ｂに記憶されていてもよい。この場合、ＣＰＵ１８５６Ａは、ＲＯＭ１８５６Ｂから中段撮像プログラム１９０２Ｃを読み出し、読み出した中段撮像プログラム１９０２ＣをＲＡＭ１８５６Ｃに展開する。そして、ＣＰＵ１８５６Ａは、ＲＡＭ１８５６Ｃに展開した中段撮像プログラム１９０２Ｃに従って、上述した中段撮像処理を実行する。

図３５Ａ〜図３５Ｃに示す例では、ＣＰＵ１８５２Ａ，１８５４Ａ，１８５６Ａの各々は、単数のＣＰＵであるが、本開示の技術はこれに限定されず、ＣＰＵ１８５２Ａ，１８５４Ａ，１８５６Ａのうちの少なくとも１つについて、複数のＣＰＵを採用してもよい。記憶媒体１９００Ａ，１９００Ｂ，１９００Ｃは何れも、非一時的記憶媒体である。なお、記憶媒体１９００Ａ，１９００Ｂ，１９００Ｃの一例としては、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。

また、通信網（図示省略）を介してコンピュータ１８５２，１８５４，１８５６（以下、符号を付さずに「コンピュータ」と称する）の各々に接続される他のコンピュータ又はサーバ装置等の記憶部に各種プログラム（上述の後段撮像プログラム１９０２Ａ、前段撮像プログラム１９０２Ｂ、及び中段撮像プログラム１９０２Ｃ）を記憶させておき、上述の撮像装置１４，５１４（以下、符号を付さずに「撮像装置」と称する）の要求に応じて各種プログラムがコンピュータにダウンロードされるようにしてもよい。この場合、ダウンロードされた各種プログラムがコンピュータのＣＰＵによって実行される。

また、コンピュータは、第１撮像素子３８、第２撮像素子５２，４５２、及び第３撮像素子５５２（以下、単に「撮像素子」と称する）の外部に設けられるようにしてもよい。この場合、コンピュータが各種プログラムに従って撮像素子を制御するようにすればよい。

上記第１実施形態で説明した前段撮像処理及び後段撮像処理、並びに上記第２実施形態で説明した前段撮像処理、中段撮像処理、及び後段撮像処理（以下、「各種処理」と称する）を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。

各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、撮像素子内処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−ｃｈｉｐ）などに代表されるように、各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、撮像素子内処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

また、上記各実施形態では、撮像装置が内蔵されたデバイスとしてスマートデバイス１０，５００を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置が内蔵されたレンズ交換式カメラ、レンズ固定式カメラ、パーソナル・コンピュータ、又はウェアラブル端末装置等の各種の電子機器に対しても本開示の技術は適用可能であり、これらの電子機器であっても、上記各実施形態で説明した撮像装置と同様の作用及び効果が得られる。

また、上記各実施形態では、ディスプレイ２６を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示部（ディスプレイ）」として用いるようにしてもよい。

また、上記の各種処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

第３接続方法は特開２０１６−１４３９１５号公報に開示されている。図３８には、特開２０１６−１４３９１５号公報に開示されている第３接続方法を簡略的に示した概念図が示されている。図３８に示す例において、ＬＳＩユニット１００６は、ＣＭＯＳイメージセンサ１０００Ａ及びＣＭＯＳイメージセンサ１０００Ｂの後段に位置する信号処理部である。ＬＳＩユニット１００６は、ＬＳＩ１００６Ａ及びＬＳＩ１００６Ｂを備えている。ＬＳＩ１００６Ａ、ＬＳＩ１００６Ｂ、ＣＭＯＳイメージセンサ１０００Ａ、及びＣＭＯＳイメージセンサ１０００Ｂは第３接続方法で接続されている。具体的には、ＬＳＩ１００６Ａに対してＣＭＯＳイメージセンサ１０００Ａが通信ラインＬＮ５で直接接続され、ＬＳＩ１００６Ｂに対してＣＭＯＳイメージセンサ１０００Ｂが通信ラインＬＮ６で直接接続され、ＬＳＩ１００６ＡとＬＳＩ１００６Ｂとが通信ラインＬＮ７で直接接続されている。

本開示の技術に係る第１２の態様は、撮像素子は、光電変換素子に記憶部が積層された積層型撮像素子である第１１の態様に係る撮像装置である。これにより、光電変換素子と記憶部とを接続する配線を短くすることができるため、配線遅延を減らすことができ、この結果、光電変換素子と記憶部とが積層されていない場合に比べ、光電変換素子から記憶部への画像データの転送速度を高めることができる。

ＬＶＤＳとは、“Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ”の略称を指す。ＰＣＩ−ｅとは、 “Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ”の略称を指す。ＳＡＴＡとは、“Ｓｅｒｉａｌ Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ”の略称を指す。ＳＬＶＳ−ＥＣとは、“Ｓｃａｌａｂｌｅ Ｌｏｗ Ｓｉｇｎａｌｉｎｇ ｗｉｔｈ Ｅｍｂｅｄｄｅｄ Ｃｌｏｃｋ”の略称を指す。ＭＩＰＩとは、“Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ”の略称を指す。

第１撮像装置３０（図３参照）では、ローリングシャッタ方式で、静止画像用の撮像と、ライブビュー画像用の撮像とが行われる。静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ４０（図３参照）を作動させることで実現され、ライブビュー画像用の撮像は、メカニカルシャッタ４０を作動させずに、電子シャッタ機能を働かせることで実現される。なお、ここでは、ローリングシャッタ方式が例示されているが、本開示の技術はこれに限らず、ローリングシャッタ方式に代えてグローバルシャッタ方式を適用してもよい。

相関二重サンプリングの信号処理が行われた第２アナログ画像データ８０Ａに対しては、Ａ／Ｄ変換器１２０Ｂ１によってＡ／Ｄ変換が行われ、これによって、第２アナログ画像データ８０Ａがデジタル化され、ＲＡＷデータとして第２デジタル画像データ８０Ｂが得られる。デジタル信号処理が行われることによって得られた第２デジタル画像データ８０Ｂは、デジタル処理回路１２０Ｂによって制御回路１２０Ｃに出力される。

図１６に示す後段撮像処理では、ステップＳＴ４０Ａで、制御回路１１０Ｃは、第１デジタル画像データ７０Ｂと第２デジタル画像データ８０Ｂとを連結し、連結画像データ１３０Ａを生成し、その後、後段撮像処理はステップＳＴ４２Ａへ移行する。ステップＳＴ４２Ａで、制御回路１１０Ｃは、連結画像データ１３０Ａを信号処理回路３４に出力し、その後、後段撮像処理はステップＳＴ４４へ移行する。

一例として図１７に示すように、スマートデバイス５００は、上記第１実施形態で説明したスマートデバイス１０に比べ、撮像装置１４に代えて撮像装置５１４を有する点が異なる。撮像装置５１４は、上記第１実施形態で説明した撮像装置１４に比べ、第３撮像レンズ５１８を有する点が異なる。スマートデバイス５００を縦置きの状態にした場合の筐体１２の背面１２Ａの右上部において、第１撮像レンズ１６、第２撮像レンズ１８、及び第３撮像レンズ５１８は、鉛直方向に沿って既定の間隔（例えば、数ミリの間隔）で配置されており、背面１２Ａから露出している。

第３撮像装置本体５５０は、メカニカルシャッタ５５３及び第３撮像素子５５２を備えている。メカニカルシャッタ５３は、メカニカルシャッタ４０と同様の機能を有しており、メカニカルシャッタ４０と同様に作動する。第３撮像素子５５２は、上記第１実施形態で説明した第１撮像素子３８及び第２撮像素子５２と同様の積層構造を有している（図６参照）。そのため、ここでは、第３撮像素子５５２の積層構造についての説明は省略する。

なお、第１撮像素子３８、第２撮像素子４５２、及び第３撮像素子５５２は、本開示の技術に係る「複数の撮像素子」の一例である。また、第３撮像素子５５２は、本開示の技術に係る「複数の撮像素子」に含まれる撮像素子の一例である。また、第２撮像素子４５２及び第３撮像素子５５２は、本開示の技術の「隣接する撮像素子」の一例である。また、第２撮像素子４５２及び第３撮像素子５５２の位置関係において、第２撮像素子４５２は、本開示の技術に係る「後段の撮像素子」及び「後段撮像素子」の一例であり、第３撮像素子５５２は、本開示の技術に係る「前段の撮像素子」及び「前段撮像素子」の一例である。

第３撮像素子５５２にはコントローラ５１５から通信ライン５５８を介して読出同期信号が入力される。垂直同期信号は、光電変換素子５５６からの１フレーム毎の第３画像データ５８０の読み出しの開始タイミングを規定する同期信号である。水平同期信号は、光電変換素子５５６からの水平ライン毎の第３画像データ５８０の読み出しの開始タイミングを規定する同期信号である。第３撮像素子５５２では、コントローラ５１５から通信ライン５５８を介して入力された垂直同期信号に応じて定まるフレームレートに従って、光電変換素子５５６から第３画像データ５８０が読み出される。

一方、第３撮像素子５５２は、通信Ｉ／Ｆ６２０Ｄ１，６２０Ｄ２を備えている。通信Ｉ／Ｆ６２０Ｄ２は、本開示の技術に係る「出力部（通信インタフェース）」の一例である。通信Ｉ／Ｆ６２０Ｄ１は、ＦＰＧＡを有する通信デバイスであり、通信ライン５５８を介してコントローラ５１５の通信Ｉ／Ｆ１５Ｄ３と接続されており、第３撮像素子５５２は、通信Ｉ／Ｆ１５Ｄ３，６２０Ｄ１を介してコントローラ５１５と通信を行う。例えば、第３撮像素子５５２は、コントローラ５１５の通信Ｉ／Ｆ１５Ｄ３から通信ライン５５８を介して出力された読出同期信号を通信Ｉ／Ｆ６２０Ｄ１で受け付ける。

制御回路７２０Ｃは、デジタル処理回路１２０Ｂから入力された第２デジタル画像データ８０Ｂをメモリ１２２に記憶する。また、制御回路７２０Ｃは、通信Ｉ／Ｆ１２０Ｄ３から入力された第３デジタル画像データ５８０Ｂもメモリ１２２に記憶する。

メモリ６２２は、複数フレームの第３デジタル画像データ５８０Ｂを記憶可能なメモリである。メモリ６２２は、画素単位の記憶領域（図示省略）を有しており、第３デジタル画像データ５８０Ｂが制御回路６２０Ｃによって、画素単位で、メモリ６２２のうちの対応する記憶領域に記憶される。制御回路６２０Ｃは、デジタル処理回路６２０Ｂから入力された第３デジタル画像データ５８０Ｂをメモリ６２２に記憶する。

一例として図２２に示すように、第３撮像素子５５２によって被写体が撮像されることで得られた第３デジタル画像データ５８０Ｂは、メモリ６２２に記憶されてから、通信ライン５５４（図２０及び図２１参照）を介して第２撮像素子４５２に出力される。すなわち、第２撮像素子４５２及び第３撮像素子５５２は、隣接する撮像素子であり、隣接する撮像素子のうちの前段の撮像素子である第３撮像素子５５２の通信Ｉ／Ｆ６２０Ｄ２によって第３デジタル画像データ５８０Ｂが出力される。そして、通信Ｉ／Ｆ６２０Ｄ２によって出力された第３デジタル画像データ５８０Ｂは、隣接する撮像素子のうちの後段の撮像素子である第２撮像素子４５２の通信Ｉ／Ｆ１２０Ｄ３によって受け付けられ、受け付けられた第３デジタル画像データ５８０Ｂはメモリ１２２に記憶される。また、第２撮像素子４５２によって撮像されることで得られた第２デジタル画像データ８０Ｂもメモリ１２２に記憶される。

合成部１１０Ｃ２は、第１デジタル画像データ７０Ｂと第１合成画像データ７３０とを合成して得た第２合成画像データ８３０を通信Ｉ／Ｆ１１０Ｄ２に出力する。通信Ｉ／Ｆ１１０Ｄ２は、合成部１１０Ｃ２から入力された第２合成画像データ８３０を通信ライン４４を介して信号処理回路３４に出力する。なお、第２合成画像データ８３０は、本開示の技術に係る「出力画像データ」の一例である。

第１アナログ画像データ７０Ａに対してデジタル信号処理が行われることによって第１デジタル画像データ７０Ｂが生成される。第１デジタル画像データ７０Ｂは、第２撮像素子４５２から出力された第１合成画像データ７３０と同期させるために、メモリ１１２に一旦記憶される。第１合成画像データ７３０がメモリ１１２に記憶されると、メモリ１１２に記憶されている第１デジタル画像データ７０Ｂ及び第１合成画像データ７３０が合成され、第２合成画像データ８３０が生成される。第２合成画像データ８３０は、信号処理回路３４に出力される。

図２５に示す例では、第３撮像素子５５２に入力される垂直同期信号の入力タイミングよりも第２撮像素子４５２に入力される垂直同期信号の入力タイミングの方が遅い。また、第２撮像素子４５２に入力される垂直同期信号の入力タイミングよりも第１撮像素子３８に入力される垂直同期信号の入力タイミングの方が遅い。これにより、第２撮像素子４５２での光電変換素子５６による露光時間が、第３撮像素子５５２での光電変換素子５５６による露光時間より長くなる。また、第１撮像素子３８での光電変換素子４２による露光時間が、第２撮像素子４５２での光電変換素子５６による露光時間よりも長くなる。

ステップＳＴ１１０で、制御回路６２０Ｃは、メモリ６２２から第３デジタル画像データ５８０Ｂを取得し、取得した第３デジタル画像データ５８０Ｂを、通信Ｉ／Ｆ６２０Ｄ２を介して第２撮像素子４５２に出力し、その後、前段撮像処理はステップＳＴ１１２へ移行する。

図２７に示す中段撮像処理では、先ず、ステップＳＴ１３０で、制御回路７２０Ｃは、コントローラ１５からの垂直同期信号が通信Ｉ／Ｆ１２０Ｄ１によって受け付けられたか否かを判定する。ステップＳＴ１３０において、コントローラ１５からの垂直同期信号が通信Ｉ／Ｆ１２０Ｄ１によって受け付けられていない場合は、判定が否定されて、中段撮像処理はステップＳＴ１４４へ移行する。ステップＳＴ１３０において、コントローラ１５からの垂直同期信号が通信Ｉ／Ｆ１２０Ｄ１によって受け付けられた場合は、判定が肯定されて、中段撮像処理はステップＳＴ１３２へ移行する。

ステップＳＴ１４０で、制御回路７２０Ｃは、第２デジタル画像データ８０Ｂと第３デジタル画像データ５８０Ｂとを合成することで第１合成画像データ７３０を生成し、その後、中段撮像処理はステップＳＴ１４２へ移行する。

これにより、信号処理回路３４に対して全ての撮像素子の各々が直接接続されていなくても、各撮像素子によって撮像されることで得られた画像データを最小限の配線数で信号処理回路３４に受け取らせることができる。そして、信号処理回路３４は、第１撮像素子３８から順次に受け取ったデジタル画像データに対して順次に各種の信号処理を施すことができる。

また、上記第２実施形態では、第２撮像素子４５２と第３撮像素子５５２との間の通信、及びコントローラ１５と第３撮像素子５５２との間の通信は何れも有線形式の通信である。しかし、本開示の技術はこれに限定されない。第２撮像素子４５２と第３撮像素子５５２との間の通信、及びコントローラ１５と第３撮像素子５５２との間の通信のうちの少なくとも一方の通信を無線形式の通信としてもよい。

光路分離器９０２は、第１撮像レンズ１６と受光面４２Ａ，５６Ａ，５５６Ａとの間に配置されている。ビームスプリッタ９０２Ａは、受光面４２Ａに対向する位置に設けられている。ビームスプリッタ９０２Ｂは、受光面５６Ａに対向する位置に設けられている。反射ミラー９０２Ｃは、受光面５５６Ａに対向する位置に設けられている。

また、一例として図３５Ｂに示すように、第２撮像素子５２及び第３撮像素子５５２の各々にはコンピュータ１８５４が内蔵されている。第２撮像素子５２のコンピュータ１８５４に第１実施形態に係る前段撮像処理を実行させるための前段撮像プログラム１９０２Ｂ１を記憶媒体１９００Ｂに記憶させておく。また、第３撮像素子５５２のコンピュータ１８５４に第２実施形態に係る前段撮像処理を実行させるための前段撮像プログラム１９０２Ｂ２を記憶媒体１９００Ｂに記憶させておく。

コンピュータ１８５４は、ＣＰＵ１８５４Ａ、ＲＯＭ１８５４Ｂ、及びＲＡＭ１８５４Ｃを備えている。そして、記憶媒体１９００Ｂに記憶されている前段撮像プログラム１９０２Ｂ２は、コンピュータ１８５４にインストールされる。ＣＰＵ１８５４Ａは、前段撮像プログラム１９０２Ｂに従って、第１又は第２実施形態に係る前段撮像処理を実行する。

前段撮像プログラム１９０２Ｂは記憶媒体１９００Ｂではなく、ＲＯＭ１８５４Ｂに記憶されていてもよい。この場合、ＣＰＵ１８５４Ａは、ＲＯＭ１８５４Ｂから前段撮像プログラム１９０２Ｂを読み出し、読み出した前段撮像プログラム１９０２ＢをＲＡＭ１８５４Ｃに展開する。そして、第２撮像素子５２の場合、ＣＰＵ１８５４Ａは、ＲＡＭ１８５４Ｃに展開した前段撮像プログラム１９０２Ｂに従って、上記第１実施形態に係る前段撮像処理を実行する。また、第３撮像素子５５２の場合、ＣＰＵ１８５４Ａは、ＲＡＭ１８５４Ｃに展開した前段撮像プログラム１９０２Ｂに従って、上記第２実施形態に係る前段撮像処理を実行する。

Claims (16)

1. 複数の撮像素子と、
   少なくとも１つの信号処理回路と、
   伝送路と、を含み、
   前記複数の撮像素子の各々は、被写体を撮像することで得た画像データを記憶し、かつ、前記撮像素子に内蔵されたメモリ、及び前記メモリに記憶された前記画像データに基づく出力画像データを出力し、かつ、前記撮像素子に内蔵された通信インタフェースを有し、
   前記伝送路は、前記複数の撮像素子及び単一の前記信号処理回路を直列に接続しており、
   前記複数の撮像素子の各々の前記通信インタフェースは、前記伝送路を介して前記出力画像データを後段の撮像素子又は前記信号処理回路に出力する
   撮像装置。
2. 前記複数の撮像素子に含まれる隣接する撮像素子のうちの前段の撮像素子である前段撮像素子の前記通信インタフェースによって出力された前記出力画像データが前記隣接する撮像素子のうちの後段の撮像素子である後段撮像素子の前記メモリに記憶されてから前記後段の撮像素子の前記通信インタフェースによって出力される請求項１に記載の撮像装置。
3. 前記複数の撮像素子のうち、前記信号処理回路に遠い側の撮像素子から近い側の撮像素子にかけて前記出力画像データが順に受け渡され、前記複数の撮像素子のうちの最終段の撮像素子に受け渡された前記出力画像データは、前記最終段の撮像素子の前記通信インタフェースによって前記信号処理回路に出力される請求項２に記載の撮像装置。
4. 前記信号処理回路は、前記複数の撮像素子の各々の前記通信インタフェースによって出力された前記出力画像データの各々を時分割で受け取る請求項３に記載の撮像装置。
5. 前記信号処理回路は、前記複数の撮像素子のうち、前記信号処理回路に近い側の撮像素子から遠い側の撮像素子の順に、前記複数の撮像素子の各々の前記通信インタフェースによって出力された前記出力画像データの各々を時分割で受け取る請求項４に記載の撮像装置。
6. 前記後段撮像素子により撮像されることで前記画像データとして得られた後段画像データは前記後段撮像素子の前記メモリに記憶され、
   前記後段撮像素子は、前記前段撮像素子の前記通信インタフェースによって前記出力画像データとして前記後段撮像素子に出力された前段画像データと、前記メモリに記憶されている前記後段画像データとを合成する合成回路を更に含み、
   前記後段撮像素子の前記通信インタフェースは、前記合成回路により前記前段画像データと前記後段画像データとが合成されることで得られた合成画像データを前記出力画像データとして出力する請求項２に記載の撮像装置。
7. 前記後段撮像素子により撮像されることで前記画像データとして得られた後段画像データは前記後段撮像素子の前記メモリに記憶され、
   前記後段撮像素子は、前記前段撮像素子の前記通信インタフェースによって前記出力画像データとして前記後段撮像素子に出力された前段画像データと、前記メモリに記憶されている前記後段画像データとを連結する連結回路を更に含み、
   前記後段撮像素子の前記通信インタフェースは、前記連結回路により前記前段画像データと前記後段画像データとが連結されることで得られた連結画像データを前記出力画像データとして出力する請求項２に記載の撮像装置。
8. 前記後段撮像素子の露光時間は、前記前段撮像素子の露光時間よりも長い請求項２から請求項７の何れか一項に記載の撮像装置。
9. 前記信号処理回路は、前記伝送路において前記複数の撮像素子よりも後段に位置する請求項１から請求項８の何れか一項に記載の撮像装置。
10. 前記複数の撮像素子の前記通信インタフェースの各々は、互いに同期して前記出力画像データを出力する請求項１から請求項９の何れか一項に記載の撮像装置。
11. 少なくとも光電変換素子と前記メモリとが１チップ化された請求項１から請求項１０の何れか一項に記載の撮像装置。
12. 前記撮像素子は、前記光電変換素子に前記メモリが積層された積層型撮像素子である請求項１１に記載の撮像装置。
13. 前記信号処理回路に入力された前記出力画像データに基づく画像をディスプレイに対して表示させる制御を行う表示プロセッサを更に含む請求項１から請求項１２の何れか一項に記載の撮像装置。
14. 前記信号処理回路に入力された前記出力画像データを記憶装置に対して記憶させる制御を行う記憶プロセッサを更に含む請求項１から請求項１３の何れか一項に記載の撮像装置。
15. 複数の撮像素子と、少なくとも１つの信号処理回路と、伝送路と、を含み、前記複数の撮像素子の各々は、被写体を撮像することで得た画像データを記憶し、かつ、前記撮像素子に内蔵されたメモリ、及び前記メモリに記憶された前記画像データに基づく出力画像データを出力し、かつ、前記撮像素子に内蔵された通信インタフェースを有する撮像装置の画像データ処理方法であって、
    前記複数の撮像素子及び単一の前記信号処理回路を１つの前記伝送路で直列に接続し、
    前記複数の撮像素子の各々の前記通信インタフェースは、前記伝送路を介して前記出力画像データを後段の撮像素子又は前記信号処理回路に出力することを含む
    撮像装置の画像データ処理方法。
16. 複数の撮像素子と、少なくとも１つの信号処理回路と、伝送路と、を含み、前記複数の撮像素子の各々は、被写体を撮像することで得た画像データを記憶し、かつ、前記撮像素子に内蔵されたメモリ、及び前記メモリに記憶された前記画像データに基づく出力画像データを出力し、かつ、前記撮像素子に内蔵された通信インタフェースを有する撮像装置に含まれる前記通信インタフェースとしてコンピュータを機能させるためのプログラムであって、
    前記複数の撮像素子及び単一の前記信号処理回路は１つの前記伝送路で直列に接続されており、
    前記複数の撮像素子の各々の前記通信インタフェースは、前記伝送路を介して前記出力画像データを後段の撮像素子又は前記信号処理回路に出力する
    プログラム。

Images