JP7289921B2 - 撮像装置、撮像装置の動作方法、及びプログラム - Google Patents

Description

本開示の技術は、撮像装置、撮像装置の動作方法、及びプログラムに関する。

特開２０１４－１７６０５６号公報には、撮影光学系、指向性センサ、画像読み出し装置、及び画像生成装置を備えた撮像装置が開示されている。撮影光学系は、中央部の中央光学系と、その周辺部の中央光学系より焦点距離の短い環状光学系とから構成される。環状光学系は、中央部が欠落した第一画像を結像面に結像させ、中央光学系は、欠落した第一画像を含む第２画像を結像面に結像させる。指向性センサは、撮影光学系の結像位置に配設され、２次元状に配列された光電変換素子により構成された複数の画素を持つ指向性センサであって、環状光学系及び中央光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む。画像読み出し装置は、指向性センサから環状光学系を介して受光した中央部が欠落した第一画像と中央光学系を介して受光した第二画像とをそれぞれ取得する。画像生成装置は、画像読み出し装置により取得した第一画像と第二画像との拡大／縮小率を調整して、第一画像の中央部の領域に、第二画像を嵌め込み合成して画像を生成する。

特開２００２－２６２１５９号公報には、撮像光学系の光路中に配置され、透過率と反射率の分光比率の特性を制御可能な単数または複数の分光手段と、この分光手段で被写体像を分けて撮像して光電変換による電荷蓄積によって被写体像を入力する複数の撮像手段を備え、複数の撮像手段がそれぞれ異なった撮影画角で撮像することを特徴とする撮像装置が開示されている。

本開示の技術に係る一つの実施形態は、第１撮像素子から出力された第１画像データにより示される常に一定の解像度の画像のみを検出対象にして特定被写体画像を検出する検出処理が行われることによって得られる検出結果に関わらず、常に第１画像データが特定の出力先に出力される場合に比べ、高い精度で特定被写体画像を検出する検出処理が行われ、検出処理による検出結果に適した解像度の画像を示す画像データを特定の出力先に出力することができる撮像装置、撮像装置の動作方法、及びプログラムを提供する。

本開示の技術に係る第１の態様は、被写体を撮像することで得た第１画像データを後段の撮像素子に出力する第１撮像素子と、後段の撮像素子として設けられた第２撮像素子であって、第１撮像素子から出力された第１画像データを記憶する記憶部と、第２撮像素子によって被写体が撮像されることで得られた第２画像データを処理する処理部と、を有する第２撮像素子と、を含み、第２画像データにより示される第２画像は、第１画像データより示される第１画像よりも解像度が高く、処理部は、第２画像から特定の被写体を示す特定被写体画像を検出する検出処理を行い、第２撮像素子は、検出処理により特定被写体画像が検出されなかった場合に、記憶部に記憶されている第１画像データを特定の出力先に出力し、検出処理により特定被写体画像が検出された場合に、第１画像データと第２画像データとが処理部によって合成されることで得られた合成画像データ、又は、第２画像データを出力先に出力する撮像装置である。

本開示の技術に係る第２の態様は、第１撮像素子及び第２撮像素子の互いの撮像範囲は重複している第１の態様に係る撮像装置である。

本開示の技術に係る第３の態様は、第１画像データは、第１焦点距離及び第１焦点距離よりも長い第２焦点距離のうちの第１焦点距離で第１撮像素子によって撮像されることで得られた第１焦点距離画像データであり、第２画像データは、第２焦点距離で第２撮像素子によって撮像されることで得られた第２焦点距離画像データである第１の態様又は第２の態様に係る撮像装置である。

本開示の技術に係る第４の態様は、第２焦点距離は、光学ズーム機構によって変更される第３の態様に係る撮像装置である。

本開示の技術に係る第５の態様は、第２撮像素子は、フレーム毎に露出量が変更可能な撮像を行う第１の態様から第４の態様の何れか１つの態様に係る撮像装置である。

本開示の技術に係る第６の態様は、第１撮像素子は、第１被写体光が結像される第１光電変換素子を有し、第２撮像素子は、第２被写体光が結像される第２光電変換素子を有し、第１画像データは、第１光電変換素子のうちの指定された第１領域から得られた画像データであり、第２画像データは、第２光電変換素子のうちの指定された第２領域から得られた画像データであり、第２領域は、第１領域よりも広い領域である第１の態様から第５の態様の何れか１つの態様に係る撮像装置である。

本開示の技術に係る第７の態様は、第２画像データの出力の要求を受け付ける受付部を更に含み、第２撮像素子は、受付部によって要求が受け付けられた場合に、検出処理による検出結果に関わらず、第２画像データを出力先に出力する第１の態様から第６の態様の何れか１つの態様に係る撮像装置である。

本開示の技術に係る第８の態様は、第２撮像素子でのフレームレートは、第１撮像素子でのフレームレートよりも高い第１の態様から第７の態様の何れか１つの態様に係る撮像装置である。

本開示の技術に係る第９の態様は、第２撮像素子は、少なくとも光電変換素子と記憶部とが１チップ化された撮像素子である第１の態様から第８の態様の何れか１つの態様に係る撮像装置である。

本開示の技術に係る第１０の態様は、第２撮像素子は、光電変換素子に記憶部が積層された積層型撮像素子である第９の態様に係る撮像装置である。

本開示の技術に係る第１１の態様は、第１撮像素子、第２撮像素子、及び出力先を直列に接続しており、第１撮像素子は、第１画像データを第２撮像素子に出力する第１の態様から第１０の態様の何れか１つの態様に係る撮像装置である。

本開示の技術に係る第１２の態様は、第２撮像素子により出力された第１画像データに基づく画像、及び、第２撮像素子により出力された合成画像データ又は第２画像データに基づく画像のうちの少なくとも一方を表示部に対して表示させる制御と、第２撮像素子により出力された第１画像データ、及び、第２撮像素子により出力された合成画像データ又は第２画像データのうちの少なくとも一方を記憶装置に対して記憶させる制御とのうちの少なくとも一方を行う制御部を更に含む第１の態様から第１１の態様の何れか１つの態様に係る撮像装置である。

本開示の技術に係る第１３の態様は、撮像装置の動作方法であって、撮像装置に含まれる第１撮像素子によって被写体が撮像されることで得られた第１画像データを第１撮像素子が後段の撮像素子に出力すること、後段の撮像素子として撮像装置に設けられた第２撮像素子が有する記憶部が、第１撮像素子から出力された第１画像データを記憶すること、第２撮像素子が被写体を撮像することで得た第２画像データを処理すること、第２撮像素子が、第２画像データにより示される第２画像から特定の被写体を示す特定被写体画像を検出する検出処理を行うこと、第２撮像素子が、検出処理により特定被写体画像が検出されなかった場合に、記憶部に記憶されている第１画像データを特定の出力先に出力すること、並びに、第２撮像素子が、検出処理により特定被写体画像が検出された場合に、第１画像データと第２画像データとが合成されることで得られた合成画像データ、又は、第２画像データを出力先に出力することを含み、第２画像は、第１画像データより示される第１画像よりも解像度が高い撮像装置の動作方法である。

本開示の技術に係る第１４の態様は、撮像装置に対して適用されるコンピュータに処理を実行させるためのプログラムであって、処理は、撮像装置に含まれる第１撮像素子によって被写体が撮像されることで得られた第１画像データを第１撮像素子が後段の撮像素子に出力すること、後段の撮像素子として撮像装置に設けられた第２撮像素子が有する記憶部が、第１撮像素子から出力された第１画像データを記憶すること、第２撮像素子が被写体を撮像することで得た第２画像データを処理すること、第２撮像素子が、第２画像データにより示される第２画像から特定の被写体を示す特定被写体画像を検出する検出処理を行うこと、第２撮像素子が、検出処理により特定被写体画像が検出されなかった場合に、記憶部に記憶されている第１画像データを特定の出力先に出力すること、並びに、第２撮像素子が、検出処理により特定被写体画像が検出された場合に、第１画像データと第２画像データとが合成されることで得られた合成画像データ、又は、第２画像データを出力先に出力することを含み、第２画像は、第１画像データより示される第１画像よりも解像度が高いプログラムである。

実施形態に係るスマートデバイスの背面側の外観の一例を示す背面視斜視図である。 図１に示すスマートデバイスの前面側の外観の一例を示す前面視斜視図である。 実施形態に係るスマートデバイスに含まれる撮像装置の構成の一例を示すブロック図である。 実施形態に係るスマートデバイスの構成の一例を示すブロック図である。 実施形態に係る撮像装置に含まれる撮像素子の撮像フレームレートの説明に供する概念図である。 実施形態に係る撮像装置に含まれる撮像素子の出力フレームレートの説明に供する概念図である。 実施形態に係る第１撮像素子及び第２撮像素子の各々の積層構造の一例を示す概念図である。 実施形態に係る第１撮像素子及び第２撮像素子の各々の光電変換素子のアスペクト比の一例を示す概念図である。 実施形態に係る第１撮像素子及びその周辺の構成の一例を示すブロック図である。 実施形態に係る第２撮像素子及びその周辺の構成の一例を示すブロック図である。 実施形態に係る撮像装置に含まれる第１撮像素子及び第２撮像素子での画像データの流れの一例を示す概念図である。 第１撮像装置による撮像の態様の一例、及び第２撮像装置による撮像の態様の一例を示す概念図である。 第１撮像装置の撮像範囲（第１撮像範囲）及び第２撮像装置による撮像範囲（第２撮像範囲）の一例を示す概念図である。 第１撮像装置によって第１撮像範囲が撮像されることで得られた第１デジタル画像データにより示される第１画像の一例、及び第２撮像装置によって第２撮像範囲が撮像されることで得られた第２デジタル画像データにより示される第２画像の一例を示す画像図である。 実施形態に係る撮像装置に含まれる第１撮像素子及び第２撮像素子の各々での処理内容の一例を示すタイムチャートである。 実施形態に係る第２撮像素子の機能の一例を示す概念図である。 実施形態に係る前段撮像処理の流れの一例を示すフローチャートである。 実施形態に係る後段撮像処理の流れの一例を示すフローチャートである。 図１７Ａのフローチャートの続きである。 実施形態に係る後段撮像処理の流れの変形例を示すフローチャートである。 実施形態に係る第２撮像素子の機能の変形例を示すブロック図である。 前段撮像処理プログラム及び後段撮像処理プログラムが記憶された記憶媒体から、前段撮像処理プログラム及び後段撮像処理プログラムが撮像装置内のコンピュータにインストールされる態様の一例を示す概念図である。 従来技術に係る接続方法によって第１撮像素子及び第２撮像素子が信号処理回路に接続された態様の一例を示す概念図である。

以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。

先ず、以下の説明で使用される文言について説明する。

ＣＰＵとは、“Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称を指す。ＲＡＭとは、“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＲＯＭとは、“Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。ＤＲＡＭとは、“Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＳＲＡＭとは、“Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＬＳＩとは、“Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ”の略称を指す。ＡＳＩＣとは、“Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称を指す。ＰＬＤとは、“Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ”の略称を指す。ＦＰＧＡとは、“Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ”の略称を指す。ＳｏＣとは、“Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ”の略称を指す。ＳＳＤとは、“Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ”の略称を指す。ＵＳＢとは、“Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ”の略称を指す。ＨＤＤとは、“Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ”の略称を指す。ＥＥＰＲＯＭとは、“Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。ＣＣＤとは、“Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ”の略称を指す。ＣＭＯＳとは、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称を指す。ＥＬとは、“Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。Ａ／Ｄとは、“Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ”の略称を指す。Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＵＩとは、“Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＬＶＤＳとは、“Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ”の略称を指す。ＰＣＩｅとは、“Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ”の略称を指す。ＳＡＴＡとは、“Ｓｅｒｉａｌ Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ”の略称を指す。ＳＬＶＳ－ＥＣとは、“Ｓｃａｌａｂｌｅ Ｌｏｗ Ｓｉｇｎａｌｉｎｇ ｗｉｔｈ Ｅｍｂｅｄｄｅｄ Ｃｌｏｃｋ”の略称を指す。ＭＩＰＩ（登録商標）とは、“Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＬＴＥとは、“Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ”の略称を指す。５Ｇとは、“５ｔｈ Ｇｅｎｅｒａｔｉｏｎ”の略称を指す。

本明細書の説明において、「鉛直」とは、完全な鉛直の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの鉛直を指す。本明細書の説明において、「水平」とは、完全な水平の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの水平を指す。本明細書の説明において、「垂直」とは、完全な垂直の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの垂直を指す。本明細書の説明において、「同一」とは、完全な同一の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの同一を指す。

一例として図１に示すように、スマートデバイス１０は、筐体１２を備えており、筐体１２に撮像装置１４が収容されている。スマートデバイス１０としては、例えば、撮像機能付きの電子機器であるスマートフォン又はタブレット端末等が挙げられる。

撮像装置１４は、第１撮像装置３０及び第２撮像装置３２を備えている。第１撮像装置３０は、第１撮像レンズ１６及び第１撮像素子３８を備えている。第２撮像装置３２は、第２撮像レンズ１８及び第２撮像素子５２を備えている。なお、以下では、説明の便宜上、第１撮像素子３８及び第２撮像素子５２を区別して説明する必要がない場合、符号を付さずに「撮像素子」と称する。

スマートデバイス１０を縦置きの状態にした場合の筐体１２の背面１２Ａの左上部（縦置きの状態のスマートデバイス１０の背面視左上部）において、第１撮像レンズ１６及び第２撮像レンズ１８は、鉛直方向に沿って既定の間隔（例えば、数ミリの間隔）で配置されており、背面１２Ａから露出している。第１撮像レンズ１６の中心は光軸Ｌ１上に位置している。第２撮像レンズ１８の中心は光軸Ｌ２上に位置している。

第１撮像素子３８の前方（物体側）には、第１撮像レンズ１６が配置されている。第１撮像レンズ１６は、被写体を示す被写体光（以下、単に「被写体光」とも称する）を取り込み、取り込んだ被写体光を第１撮像素子３８に結像させる。第２撮像素子５２の前方（物体側）には、第２撮像レンズ１８が配置されている。第２撮像レンズ１８は、被写体光を取り込み、取り込んだ被写体光を第２撮像素子５２に結像させる。

一例として図２に示すように、筐体１２の前面１２Ｂには、指示キー２２及びタッチパネル・ディスプレイ２４が設けられている。スマートデバイス１０を縦置きの状態にした場合の前面１２Ｂの下部には、指示キー２２が配置されており、指示キー２２の上方にタッチパネル・ディスプレイ２４が配置されている。なお、本実施形態では、指示キー２２がタッチパネル・ディスプレイ２４とは別に設けられているが、タッチパネル・ディスプレイ２４上の仮想的な指示キーであってもよい。

指示キー２２は、各種の指示を受け付ける。ここで言う「各種の指示」とは、例えば、ロック解除受付画面の表示の指示、各種メニューを選択可能なメニュー画面の表示の指示、１つ又は複数のメニューの選択の指示、選択内容の確定の指示、及び選択内容の消去の指示等を指す。なお、ロック解除受付画面とは、スマートデバイス１０のロックを解除するための暗号を受け付ける画面を指す。

タッチパネル・ディスプレイ２４は、ディスプレイ２６及びタッチパネル２８（図４も参照）を備えている。ディスプレイ２６の一例としては、有機ＥＬディスプレイが挙げられる。ディスプレイ２６は、有機ＥＬディスプレイではなく、液晶ディスプレイ又は無機ＥＬディスプレイなどの他種類のディスプレイであってもよい。なお、ディスプレイ２６は、本開示の技術に係る「表示部（ディスプレイ）」の一例である。

ディスプレイ２６は、画像及び文字情報等を表示する。ディスプレイ２６は、撮像素子を用いた連続的な撮像により得られたライブビュー画像の表示に用いられる。また、ディスプレイ２６は、静止画像及び／又は動画像の表示にも用いられる。更に、ディスプレイ２６は、再生画像の表示及びメニュー画面等の表示にも用いられる。

タッチパネル２８は、透過型のタッチパネルであり、ディスプレイ２６の表示領域の表面に重ねられている。タッチパネル２８は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。

なお、ここでは、タッチパネル・ディスプレイ２４の一例として、タッチパネル２８がディスプレイ２６の表示領域の表面に重ねられているアウトセル型のタッチパネル・ディスプレイを挙げているが、これはあくまでも一例に過ぎない。例えば、タッチパネル・ディスプレイ２４として、オンセル型又はインセル型のタッチパネル・ディスプレイを適用することも可能である。

一例として図３に示すように、スマートデバイス１０は、撮像装置１４の外に、コントローラ１５及びＵＩ系デバイス１７を備えている。コントローラ１５は、スマートデバイス１０の全体を制御する。ＵＩ系デバイス１７は、ユーザに対して情報を提示したり、ユーザからの指示を受け付けたりするデバイスである。コントローラ１５は、ＵＩ系デバイス１７からの各種情報の取得、及びＵＩ系デバイス１７の制御を行う。

第１撮像装置３０は、第１撮像レンズ１６の他に、第１撮像装置本体３６を備えている。第１撮像装置本体３６の前方（物体側）には、第１撮像レンズ１６が配置されている。

第１撮像装置本体３６は、第１撮像素子３８を備えている。第１撮像素子３８は、受光面４２Ａを有する光電変換素子４２を備えている。本実施形態において、第１撮像素子３８は、ＣＭＯＳイメージセンサである。また、ここでは、第１撮像素子３８としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、第１撮像素子３８がＣＣＤイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。

第１撮像レンズ１６は、対物レンズ１６Ａ、結像レンズ１６Ｂ、及び絞り１６Ｃを備えている。対物レンズ１６Ａ、結像レンズ１６Ｂ、及び絞り１６Ｃは、被写体側（物体側）から受光面４２Ａ側（像側）にかけて、光軸Ｌ１に沿って、対物レンズ１６Ａ、結像レンズ１６Ｂ、及び絞り１６Ｃの順に配置されている。ここでは、絞り１６Ｃの一例として、開口が変化しない固定絞りが採用されている。絞り１６Ｃが固定絞りの場合、露出調節は第１撮像素子３８の電子シャッタで行う。絞り１６Ｃは、固定絞りでなく、可変絞りであってもよい。なお、第１撮像レンズ１６に含まれる対物レンズ１６Ａ、結像レンズ１６Ｂ、及び絞り１６Ｃはあくまでも一例であり、レンズの構成及び／又は絞り１６Ｃの位置が変わっても本開示の技術は成立する。

被写体光は、第１撮像レンズ１６を透過し、受光面４２Ａに結像される。第１撮像素子３８は、受光面４２Ａで被写体光を受光し、受光した被写体光を光電変換素子４２に対して光電変換させることで、被写体を撮像する。第１撮像素子３８は、通信ライン４６を介してコントローラ１５に接続されており、コントローラ１５からの指示に従って被写体を撮像することで、被写体の画像を示す第１画像データを生成する。ここで、光電変換素子４２は、本開示の技術に係る「第１光電変換素子」の一例であり、光電変換素子４２に結像される被写体光は、本開示の技術に係る「第１被写体光」の一例である。

一方、第２撮像装置３２は、第２撮像レンズ１８の他に、第２撮像装置本体５０を備えている。第２撮像装置本体５０の前方（物体側）には、第２撮像レンズ１８が配置されている。

第２撮像装置本体５０は、第２撮像素子５２を備えている。第２撮像素子５２は、受光面５６Ａを有する光電変換素子５６を備えている。本実施形態において、第２撮像素子５２は、ＣＭＯＳイメージセンサである。また、ここでは、第２撮像素子５２としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、第２撮像素子５２がＣＣＤイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。

第２撮像レンズ１８は、対物レンズ１８Ａ、ズームレンズ１８Ｂ、及び絞り１８Ｃを備えている。対物レンズ１８Ａ、ズームレンズ１８Ｂ、及び絞り１８Ｃは、被写体側（物体側）から受光面５６Ａ側（像側）にかけて、光軸Ｌ２に沿って、対物レンズ１８Ａ、ズームレンズ１８Ｂ、及び絞り１８Ｃの順に配置されている。ズームレンズ１８Ｂは、モータ等の駆動源（図示省略）からの動力を受けることで作動する。すなわち、ズームレンズ１８Ｂは、付与された動力に応じて光軸Ｌ２に沿って移動する。ここでは、絞り１８Ｃの一例として、開口が変化しない固定絞りが採用されている。絞り１８Ｃが固定絞りの場合、露出調節は第２撮像素子５２の電子シャッタで行う。絞り１８Ｃは、固定絞りでなく、可変絞りであってもよい。なお、第２撮像レンズ１８に含まれる対物レンズ１８Ａ、ズームレンズ１８Ｂ、及び絞り１８Ｃはあくまでも一例であり、レンズの構成及び／又は絞り１８Ｃの位置が変わっても本開示の技術は成立する。

被写体光は、第２撮像レンズ１８を透過し、受光面５６Ａに結像される。第２撮像素子５２は、受光面５６Ａで被写体光を受光し、受光した被写体光を光電変換素子５６に対して光電変換させることで、被写体を撮像する。第２撮像素子５２は、通信ライン５８Ａを介してコントローラ１５に接続されており、コントローラ１５からの指示に従って被写体を撮像することで、被写体の画像を示す第２画像データを生成する。ここで、光電変換素子５６は、本開示の技術に係る「第２光電変換素子」の一例であり、光電変換素子５６に結像される被写体光は、本開示の技術に係る「第２被写体光」の一例である。

なお、以下では、説明の便宜上、受光面４２Ａ及び５６Ａを区別して説明する必要がない場合、符号を付さずに「受光面」と称する。更に、以下では、説明の便宜上、光電変換素子４２及び５６を区別して説明する必要がない場合、符号を付さずに「光電変換素子」と称する。

第１撮像素子３８は、通信ライン５４を介して第２撮像素子５２に接続されている。第２撮像素子５２の後段には信号処理回路３４が位置しており、第２撮像素子５２は、通信ライン４４を介して信号処理回路３４に接続されている。すなわち、第１撮像素子３８、第２撮像素子５２、及び信号処理回路３４は、直列に接続されている。なお、第２撮像素子５２は、本開示の技術に係る「後段の撮像素子」の一例であり、信号処理回路３４は、本開示の技術に係る「特定の出力先」の一例である。

詳しくは後述するが、第１撮像素子３８は、被写体を撮像することで得た第１画像データを第２撮像素子５２に出力し、第２撮像素子５２は、第１撮像素子３８からの第１画像データを受け付ける。信号処理回路３４は、通信ライン３５を介してコントローラ１５に接続されており、第２撮像素子５２は、画像データを信号処理回路３４に出力する。図３、図４、図５Ａ、及び図５Ｂに示す例において「画像データ」とは、第１画像データと、第２撮像素子５２によって被写体が撮像されることで得られた第２画像データに基づく画像データとの総称を指す。

信号処理回路３４は、ＬＳＩであり、具体的には、ＡＳＩＣ及びＦＰＧＡを含むデバイスである。信号処理回路３４は、第２撮像素子５２から入力された画像データに対して各種の信号処理を行う。信号処理回路３４によって行われる各種の信号処理には、例えば、ホワイトバランス調整、シャープネス調整、ガンマ補正、色空間変換処理、及び色差補正などの公知の信号処理が含まれる。

信号処理回路３４は、通信ライン３５を介してコントローラ１５に接続されており、各種の信号処理が行われた画像データが、信号処理回路３４によってコントローラ１５に出力される。

なお、本実施形態では、信号処理回路３４としてＡＳＩＣ及びＦＰＧＡを含むデバイスを例示しているが、本開示の技術はこれに限定されない。例えば、信号処理回路３４は、ＡＳＩＣ、ＦＰＧＡ、又はＰＬＤを含むデバイスであってもよいし、ＦＰＧＡ及びＰＬＤを含むデバイスであってもよいし、ＡＳＩＣ及びＰＬＤを含むデバイスであってもよい。

また、信号処理回路３４は、ＣＰＵ、ストレージ、及びメモリを含むコンピュータであってもよい。ここで、ストレージとは、不揮発性の記憶装置を指す。不揮発性の記憶装置の一例としては、フラッシュメモリに代えて、又は、フラッシュメモリと併せて、磁気抵抗メモリ及び／又は強誘電体メモリなどの各種の不揮発性メモリが挙げられる。また、不揮発性の記憶装置は、ＥＥＰＲＯＭ、ＨＤＤ、及び／又はＳＳＤ等であってもよい。また、メモリは、各種情報を一時的に記憶し、ワークメモリとして用いられる。メモリの一例としては、ＲＡＭが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。コンピュータに含まれるＣＰＵは、単数であってもよいし、複数であってもよい。また、ＣＰＵに代えてＧＰＵを用いてもよい。また、信号処理回路３４は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

第２撮像レンズ１８は、光学ズーム機構５９を備えている。光学ズーム機構５９は、ズームレンズ１８Ｂ及び駆動機構６０を有する。ズームレンズ１８Ｂは、駆動機構６０に取り付けられており、駆動機構６０は、ズームレンズ１８Ｂを駆動させる。駆動機構６０は、通信ライン５８Ｂを介してコントローラ１５に接続されており、コントローラ１５からの指示に従って動作する。駆動機構６０は、スライド機構（図示省略）、モータ（図示省略）及びドライバ（図示省略）を備えている。ドライバは、通信ライン５８Ｂを介してコントローラ１５に接続されている。コントローラ１５は、駆動信号をドライバに出力する。駆動信号は、モータの駆動を制御する信号である。ドライバは、コントローラ１５から入力された駆動信号に従ってモータを駆動させる。スライド機構は、ズームレンズ１８Ｂを支持しており、モータの動力を受けることでズームレンズ１８Ｂを光軸Ｌ２に沿ってスライドさせる。従って、光学ズーム機構５９は、コントローラ１５の制御下でズームレンズ１８Ｂを光軸Ｌ２に沿ってスライドさせることで、焦点距離を変更する。第２撮像装置３２の画角は、焦点距離が変更されることによって調節される。なお、光学ズーム機構５９及び駆動機構６０等の周辺の図はあくまでも概念図であり、光学ズーム機構６０は様々な構成を有する。

一例として図４に示すように、コントローラ１５は、ＣＰＵ１５Ａ、ストレージ１５Ｂ、及びメモリ１５Ｃを備えている。また、コントローラ１５は、通信Ｉ／Ｆ１５Ｄ１、１５Ｄ２及び１５Ｅを備えている。ＣＰＵ１５Ａは、本開示の技術に係る「制御部（プロセッサ）」の一例である。

ＣＰＵ１５Ａ、ストレージ１５Ｂ、メモリ１５Ｃ、通信Ｉ／Ｆ１５Ｄ１、通信Ｉ／Ｆ１５Ｄ２、及び通信Ｉ／Ｆ１５Ｅは、バス１００を介して接続されている。なお、図４に示す例では、図示の都合上、バス１００として１本のバスが図示されているが、複数本のバスであってもよい。バス１００は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。

ストレージ１５Ｂは、各種パラメータ及び各種プログラムを記憶している。ストレージ１５Ｂは、不揮発性の記憶装置である。ここでは、ストレージ１５Ｂの一例として、フラッシュメモリが採用されている。フラッシュメモリはあくまでも一例に過ぎず、フラッシュメモリに代えて、又は、フラッシュメモリと併せて、磁気抵抗メモリ及び／又は強誘電体メモリなどの各種の不揮発性メモリが挙げられる。また、不揮発性の記憶装置は、ＥＥＰＲＯＭ、ＨＤＤ、及び／又はＳＳＤ等であってもよい。また、メモリ１５Ｃは、各種情報を一時的に記憶し、ワークメモリとして用いられる。メモリ１５Ｃの一例としては、ＲＡＭが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。

ストレージ１５Ｂには、各種プログラムが記憶されている。ＣＰＵ１５Ａは、ストレージ１５Ｂから必要なプログラムを読み出し、読み出したプログラムをメモリ１５Ｃ上で実行する。ＣＰＵ１５Ａは、メモリ１５Ｃ上で実行するプログラムに従ってスマートデバイス１０の全体を制御する。

通信Ｉ／Ｆ１５Ｄ１は、通信ライン４６を介して第１撮像装置３０に接続されており、第１撮像装置３０とＣＰＵ１５Ａとの間の各種情報の授受を司る。ＣＰＵ１５Ａは、通信Ｉ／Ｆ１５Ｄ１を介して第１撮像装置３０を制御する。例えば、ＣＰＵ１５Ａは、通信Ｉ／Ｆ１５Ｄ１を介して第１撮像素子３８に対して、撮像を行うタイミングを規定する第１撮像タイミング信号を供給することで第１撮像素子３８によって行われる撮像のタイミングを制御する。

通信Ｉ／Ｆ１５Ｄ２は、通信ライン５８Ａ及び５８Ｂを介して第２撮像装置３２に接続されており、第２撮像装置３２とＣＰＵ１５Ａとの間の各種情報の授受を司る。ＣＰＵ１５Ａは、通信Ｉ／Ｆ１５Ｄ２を介して第２撮像装置３２を制御する。例えば、ＣＰＵ１５Ａは、通信Ｉ／Ｆ１５Ｄ２を介して第２撮像素子５２に対して、撮像を行うタイミングを規定する第２撮像タイミング信号を供給することで第２撮像素子５２によって行われる撮像のタイミングを制御する。また、ＣＰＵ１５Ａは、通信Ｉ／Ｆ１５Ｄ２を介して駆動機構６０に対して、駆動信号を供給することで駆動機構６０の動作を制御する。

なお、以下では、第１撮像タイミング信号と第２撮像タイミング信号とを区別して説明する必要がない場合、「撮像タイミング信号」と称する。

通信Ｉ／Ｆ１５Ｅは、通信ライン３５を介して信号処理回路３４に接続されており、信号処理回路３４とＣＰＵ１５Ａとの間の各種情報の授受を司る。信号処理回路３４は、通信Ｉ／Ｆ１５Ｅを介してＣＰＵ１５Ａによって制御される。ＣＰＵ１５Ａの制御下で信号処理回路３４によって各種の信号処理が行われた画像データは、信号処理回路３４によって通信Ｉ／Ｆ１５Ｅに出力される。通信Ｉ／Ｆ１５Ｅは、信号処理回路３４から出力された画像データを受け付け、受け付けた画像データをＣＰＵ１５Ａに転送する。

バス１００には、外部Ｉ／Ｆ１０４が接続されている。外部Ｉ／Ｆ１０４は、少なくとも一部が回路で構成された通信デバイスである。ここでは、外部Ｉ／Ｆ１０４として、少なくとも一部が回路で構成されたデバイスを例示しているが、これはあくまでも一例に過ぎない。外部Ｉ／Ｆ１０４は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、外部Ｉ／Ｆ１０４は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

外部Ｉ／Ｆ１０４の一例としては、ＵＳＢインタフェースが挙げられる。ＵＳＢインタフェースには、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、メモリカード、及び／又はプリンタ等の外部装置（図示省略）が直接または間接的に接続可能である。外部Ｉ／Ｆ１０４は、ＣＰＵ１５Ａと外部装置との間の各種情報の授受を司る。

ＵＩ系デバイス１７は、タッチパネル・ディスプレイ２４及び受付デバイス８４を備えている。ディスプレイ２６及びタッチパネル２８は、バス１００に接続されている。従って、ＣＰＵ１５Ａは、ディスプレイ２６に対して各種情報を表示させ、タッチパネル２８によって受け付けられた各種指示に従って動作する。受付デバイス８４は、ハードキー部２５を備えている。ハードキー部２５は、指示キー２２（図２参照）を含む少なくとも１つのハードキーである。ハードキー部２５は、バス１００に接続されており、ＣＰＵ１５Ａは、ハードキー部２５によって受け付けられた指示を取得し、取得した指示に従って動作する。但し、ハードキー部２５が外部Ｉ／Ｆ１０４に接続されている構成もあり得る。

なお、スマートデバイス１０は、ＬＴＥ、５Ｇ、無線ＬＡＮ、及び／又はＢｌｕｅｔｏｏｔｈ（登録商標）等の通信機能を有している。

一例として図５Ａに示すように、撮像素子にはコントローラ１５から撮像タイミング信号が入力される。撮像タイミング信号には、垂直同期信号及び水平同期信号が含まれている。垂直同期信号は、光電変換素子からの１フレーム毎の画像データの読み出しの開始タイミングを規定する同期信号である。水平同期信号は、光電変換素子からの水平ライン毎の画像データの読み出しの開始タイミングを規定する同期信号である。

撮像素子では、コントローラ１５から入力された垂直同期信号に応じて定まる撮像フレームレートで、光電変換素子から画像データが読み出される。また、撮像素子では、光電変換素子から読み出された画像データに対して処理が行われ、処理された画像データが出力フレームレートで出力される。

撮像フレームレートと出力フレームレートは、“撮像フレームレート＞出力フレームレート”の関係性を有している。つまり、出力フレームレートは、撮像フレームレートよりも低いフレームレートである。例えば、撮像フレームレートは、図５Ａに示すように、期間Ｔ内に光電変換素子から８フレーム分の画像データの読み出しが行われるフレームレートであり、出力フレームレートは、図５Ｂに示すように、期間Ｔ内に２フレーム分の画像データの出力が行われるフレームレートである。撮像フレームレート及び出力フレームレートは何れも可変なフレームレートである。

本実施形態において、第２撮像素子５２でのフレームレートは、第１撮像素子３８でのフレームレートよりも高い。例えば、第２撮像素子５２での撮像フレームレートとしては、例えば、２４０ｆｐｓが採用されており、第１撮像素子３８での撮像フレームレートとしては、１２０ｆｐｓが採用されている。また、例えば、第２撮像素子５２での出力フレームレートとしては、例えば、６０ｆｐｓが採用されており、第１撮像素子３８での出力フレームレートとしては、３０ｆｐｓが採用されている。

なお、ここで例示している撮像フレームレートの値及び出力フレームレートの値はあくまでも一例に過ぎない。例えば、第２撮像素子５２での撮像フレームレートは、２４０ｆｐｓを超えるフレームレートであってもよいし、２４０ｆｐｓ未満のフレームレートであってもよい。第１撮像素子３８での撮像フレームレートは、第２撮像素子５２での撮像フレームレートよりも低いフレームレートであれば、６０ｆｐｓを超えるフレームレートであってもよいし、６０ｆｐｓ未満のフレームレートであってもよい。また、例えば、第２撮像素子５２での出力フレームレートは、６０ｆｐｓを超えるフレームレートであってもよいし、６０ｆｐｓ未満のフレームレートであってもよい。また、例えば、第１撮像素子３８での出力フレームレートは、第２撮像素子５２での出力フレームレートよりも低いフレームレートであれば、３０ｆｐｓを超えるフレームレートであってもよいし、３０ｆｐｓ未満のフレームレートであってもよい。

一例として図６に示すように、第１撮像素子３８には、光電変換素子４２、処理回路１１０、及びメモリ１１２が内蔵されている。第１撮像素子３８は、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化された撮像素子である。すなわち、光電変換素子４２、処理回路１１０、及びメモリ１１２は１パッケージ化されている。第１撮像素子３８では、光電変換素子４２に対して処理回路１１０及びメモリ１１２が積層されている。具体的には、光電変換素子４２及び処理回路１１０は、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されており、処理回路１１０及びメモリ１１２、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されている。ここでは、光電変換素子４２、処理回路１１０、及びメモリ１１２の３層構造が例示されているが、本開示の技術はこれに限らず、処理回路１１０とメモリ１１２とを１層としたメモリ層と、光電変換素子４２との２層構造であってもよい。

第２撮像素子５２も第１撮像素子と同様の積層構造を有する撮像素子である。第２撮像素子５２には、光電変換素子５６、処理回路１２０、及びメモリ１２２が内蔵されている。第２撮像素子５２は、光電変換素子５６、処理回路１２０、及びメモリ１２２が１チップ化された撮像素子である。すなわち、光電変換素子５６、処理回路１２０、及びメモリ１２２は１パッケージ化されている。第２撮像素子５２では、光電変換素子５６に対して処理回路１２０及びメモリ１２２が積層されている。具体的には、光電変換素子５６及び処理回路１２０は、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されており、処理回路１２０及びメモリ１２２、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されている。ここでは、光電変換素子５６、処理回路１２０、及びメモリ１２２の３層構造が例示されているが、本開示の技術はこれに限らず、処理回路１２０とメモリ１２２とを１層としたメモリ層と、光電変換素子５６との２層構造であってもよい。なお、第２撮像素子５２は、本開示の技術に係る「積層型撮像素子」の一例である。各光電変換素子と処理回路等が外部Ｉ／Ｆを介することなく接続されているため、相互に高速通信が可能になっている。

なお、以下では、処理回路１１０及び１２０を区別して説明する必要がない場合、符号を付さずに「処理回路」と称し、メモリ１１２及び１２２を区別して説明する必要がない場合、符号を付さずに「メモリ」と称する。

処理回路は、例えば、ＬＳＩである。メモリは、書き込みタイミングと読み出しタイミングとが異なるメモリである。ここでは、メモリの一例として、ＤＲＡＭが採用されている。なお、メモリがＳＲＡＭ等の他の種類の記憶装置であっても本開示の技術は成立する。

処理回路は、ＡＳＩＣ及びＦＰＧＡを含むデバイスであり、上述のコントローラ１５の指示に従って、撮像素子の全体を制御する。なお、ここでは、処理回路としてＡＳＩＣ及びＦＰＧＡを含むデバイスを例示しているが、本開示の技術はこれに限定されない。例えば、処理回路は、ＡＳＩＣ、ＦＰＧＡ、又はＰＬＤを含むデバイスであってもよいし、ＦＰＧＡ及びＰＬＤを含むデバイスであってもよいし、ＡＳＩＣ及びＰＬＤを含むデバイスであってもよい。

また、処理回路は、ＣＰＵ、ストレージ、及びメモリを含むコンピュータであってもよい。ストレージとは、フラッシュメモリ等の不揮発性の記憶装置を指す。メモリは、各種情報を一時的に記憶し、ワークメモリとして用いられる。メモリの一例としてはＲＡＭが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。コンピュータに含まれるＣＰＵは、単数であってもよいし、複数であってもよい。また、ＣＰＵに代えてＧＰＵを用いてもよい。また、処理回路は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

光電変換素子は、マトリクス状に配置された複数のフォトダイオードを有している。複数のフォトダイオードの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。

光電変換素子に含まれる各フォトダイオードには、カラーフィルタが配置されている。カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタ、Ｒ（赤）に対応するＲフィルタ、及びＢ（青）に対応するＢフィルタを含む。

光電変換素子は、Ｒ画素、Ｇ画素、及びＢ画素を有する。Ｒ画素は、Ｒフィルタが配置されたフォトダイオードに対応する画素であり、Ｇ画素は、Ｇフィルタが配置されたフォトダイオードに対応する画素であり、Ｂ画素は、Ｂフィルタが配置されたフォトダイオードに対応する画素である。Ｒ画素、Ｇ画素、及びＢ画素は、行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で配置されている。本実施形態では、Ｒ画素、Ｇ画素、及びＢ画素がＸ－Ｔｒａｎｓ（登録商標）配列に対応した周期性で配列されている。なお、ここでは、Ｘ－Ｔｒａｎｓ配列を例示しているが、本開示の技術はこれに限定されず、Ｒ画素、Ｇ画素、及びＢ画素の配列は、ベイヤ配列又はハニカム（登録商標）配列などであってもよい。

撮像素子は、いわゆる電子シャッタ機能を有しており、コントローラ１５の制御下で電子シャッタ機能を働かせることで、光電変換素子内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆるシャッタスピードを指す。撮像素子での撮像は、ローリングシャッタ方式の電子シャッタ機能を働かせることで実現される。なお、ここでは、ローリングシャッタ方式が例示されているが、本開示の技術はこれに限らず、ローリングシャッタ方式に代えてグローバルシャッタ方式を適用してもよい。

光電変換素子４２の物体側の領域の面積（受光領域の広さ）と光電変換素子５６の物体側の領域の面積（受光領域の広さ）とは同一である。一例として図７に示すように、第１画像データは、光電変換素子４２のうちの指定された第１領域４２Ｂから得られ、第２画像データは、光電変換素子５６のうちの指定された第２領域５６Ｂから得られる。第２領域５６Ｂは、第１領域４２Ｂよりも広い領域である。つまり、光電変換素子４２から切り出された第１領域４２Ｂよりも、光電変換素子５６から切り出された第２領域５６Ｂの方が広い領域である。図７に示す例では、第１領域４２Ｂは、アスペクト比が１６：９で規定された領域であり、第２領域５６Ｂは、アスペクト比が３：２で規定された領域である。

一例として図８に示すように、処理回路１１０は、通信Ｉ／Ｆ１１０Ｄ１及び１１０Ｄ２を備えている。コントローラ１５の通信Ｉ／Ｆ１５Ｄ１は、処理回路１１０の通信Ｉ／Ｆ１１０Ｄ１に接続されており、第１撮像タイミング信号を通信Ｉ／Ｆ１１０Ｄ１に出力する。通信Ｉ／Ｆ１１０Ｄ１は、通信Ｉ／Ｆ１５Ｄ１から出力された第１撮像タイミング信号を受け付ける。

第２撮像素子５２は、通信Ｉ／Ｆ１２０Ｄ１及び１２０Ｄ２を備えている。通信Ｉ／Ｆ１２０Ｄ２は、第１撮像素子３８の通信Ｉ／Ｆ１１０Ｄ２に接続されている。処理回路１１０の通信Ｉ／Ｆ１１０Ｄ２は、第１画像データ等の各種情報を第２撮像素子５２の通信Ｉ／Ｆ１２０Ｄ２に出力し、通信Ｉ／Ｆ１２０Ｄ２は、通信Ｉ／Ｆ１１０Ｄ２から出力された各種情報を受け付ける。第２撮像素子５２の通信Ｉ／Ｆ１２０Ｄ１は、コントローラ１５の通信Ｉ／Ｆ１５Ｄ２に接続されている。コントローラ１５は、第２撮像タイミング信号を含む各種情報を第２撮像素子５２の通信Ｉ／Ｆ１２０Ｄ１に出力する。通信Ｉ／Ｆ１２０Ｄ１は、通信Ｉ／Ｆ１５Ｄ２から出力された各種情報を受け付ける。

第１撮像素子３８において、処理回路１１０は、通信Ｉ／Ｆ１１０Ｄ１及び通信Ｉ／Ｆ１１０Ｄ２の他に、読出回路１１０Ａ、デジタル処理回路１１０Ｂ、及び制御回路１１０Ｃを備えている。

読出回路１１０Ａは、光電変換素子４２、デジタル処理回路１１０Ｂ、及び制御回路１１０Ｃの各々に接続されている。デジタル処理回路１１０Ｂは、制御回路１１０Ｃに接続されている。制御回路１１０Ｃは、メモリ１１２、通信Ｉ／Ｆ１１０Ｄ１、及び通信Ｉ／Ｆ１１０Ｄ２の各々に接続されている。

上述の第１画像データは、一例として図８に示すように、第１アナログ画像データ７０Ａと第１デジタル画像データ７０Ｂとに大別される。なお、以下では、説明の便宜上、第１アナログ画像データ７０Ａと第１デジタル画像データ７０Ｂとを区別して説明する必要がない場合、符号を付さずに「第１画像データ」と称する。

処理回路１１０の通信Ｉ／Ｆ１１０Ｄ１及び１１０Ｄ２の各々は、少なくとも一部が回路で構成された通信デバイスである。また、コントローラ１５の通信Ｉ／Ｆ１５Ｄ１及び１５Ｄ２の各々も、少なくとも一部が回路で構成された通信デバイスである。更に、第２撮像素子５２の通信Ｉ／Ｆ１２０Ｄ１及び１２０Ｄ２の各々も、少なくとも一部が回路で構成された通信デバイスである。

処理回路１１０の通信Ｉ／Ｆ１１０Ｄ１とコントローラ１５の通信Ｉ／Ｆ１５Ｄ１との間は、ＰＣＩｅの接続規格に従って接続されている。また、処理回路１１０の通信Ｉ／Ｆ１１０Ｄ２と第２撮像素子５２の通信Ｉ／Ｆ１２０Ｄ２との間も、ＰＣＩｅの接続規格に従って接続されている。更に、第２撮像素子５２の通信Ｉ／Ｆ１２０Ｄ１とコントローラ１５の通信Ｉ／Ｆ１５Ｄ２との間も、ＰＣＩｅの接続規格に従って接続されている。

通信Ｉ／Ｆ１１０Ｄ１は、コントローラ１５の通信Ｉ／Ｆ１５Ｄ１から出力された第１撮像タイミング信号を受け付け、受け付けた第１撮像タイミング信号を制御回路１１０Ｃに転送する。

読出回路１１０Ａは、制御回路１１０Ｃの制御下で、光電変換素子４２を制御し、光電変換素子４２により撮像されることで得られた第１アナログ画像データ７０Ａを光電変換素子４２から読み出す。光電変換素子４２からの第１アナログ画像データ７０Ａの読み出しは、コントローラ１５から処理回路１１０に入力された第１撮像タイミング信号に従って行われる。すなわち、第１アナログ画像データ７０Ａは、第１撮像タイミング信号によって規定された第１撮像フレームレートで読出回路１１０Ａによって光電変換素子４２から読み出される。

具体的には、先ず、通信Ｉ／Ｆ１１０Ｄ１がコントローラ１５から第１撮像タイミング信号を受け付け、受け付けた第１撮像タイミング信号を制御回路１１０Ｃに転送する。次に、制御回路１１０Ｃは、通信Ｉ／Ｆ１１０Ｄ１から転送された第１撮像タイミング信号を読出回路１１０Ａに転送する。すなわち、読出回路１１０Ａには、垂直同期信号及び水平同期信号が転送される。そして、読出回路１１０Ａは、制御回路１１０Ｃから転送された垂直同期信号に従って光電変換素子４２からフレーム単位での第１アナログ画像データ７０Ａの読み出しを開始する。また、読出回路１１０Ａは、制御回路１１０Ｃから転送された水平同期信号に従って水平ライン単位での第１アナログ画像データ７０Ａの読み出しを開始する。

読出回路１１０Ａは、光電変換素子４２から読み出された第１アナログ画像データ７０Ａに対してアナログ信号処理を行う。アナログ信号処理には、ノイズキャンセル処理及びアナログゲイン処理などの公知の処理が含まれる。ノイズキャンセル処理は、光電変換素子４２に含まれる画素間の特性のばらつきに起因するノイズをキャンセルする処理である。アナログゲイン処理は、第１アナログ画像データ７０Ａに対してゲインをかける処理である。このようにしてアナログ信号処理が行われた第１アナログ画像データ７０Ａは、読出回路１１０Ａによってデジタル処理回路１１０Ｂに出力される。

デジタル処理回路１１０Ｂは、Ａ／Ｄ変換器１１０Ｂ１を備えている。Ａ／Ｄ変換器１１０Ｂ１は、第１アナログ画像データ７０ＡをＡ／Ｄ変換する。

デジタル処理回路１１０Ｂは、読出回路１１０Ａから入力された第１アナログ画像データ７０Ａに対してデジタル信号処理を行う。デジタル信号処理には、例えば、Ａ／Ｄ変換器１１０Ｂ１によるＡ／Ｄ変換、及びデジタルゲイン処理が含まれる。

第１アナログ画像データ７０Ａに対しては、Ａ／Ｄ変換器１１０Ｂ１によってＡ／Ｄ変換が行われ、これによって、第１アナログ画像データ７０Ａがデジタル化され、ＲＡＷデータとして第１デジタル画像データ７０Ｂが得られる。そして、第１デジタル画像データ７０Ｂに対しては、デジタル処理回路１１０Ｂによってデジタルゲイン処理が行われる。デジタルゲイン処理とは、第１デジタル画像データ７０Ｂに対してゲインをかける処理を指す。このようにデジタル信号処理が行われることによって得られた第１デジタル画像データ７０Ｂは、デジタル処理回路１１０Ｂによって制御回路１１０Ｃに出力される。

メモリ１１２は、複数フレームの第１デジタル画像データ７０Ｂをフレーム単位で記憶可能なメモリである。制御回路１１０Ｃは、デジタル処理回路１１０Ｂから入力された第１デジタル画像データ７０Ｂをメモリ１１２に対して記憶させる。メモリ１１２は、画素単位の記憶領域を有しており、第１デジタル画像データ７０Ｂは、制御回路１１０Ｃによって、画素単位で、メモリ１１２のうちの対応する記憶領域に記憶される。制御回路１１０Ｃは、メモリ１１２に対してアクセス可能であり、メモリ１１２から第１デジタル画像データ７０Ｂを取得する。メモリ１１２に対するアクセスの一例としては、ランダムアクセスが挙げられる。

一例として図９に示すように、処理回路１２０は、通信Ｉ／Ｆ１２０Ｄ１、１２０Ｄ２及び１２０Ｄ３を備えている。コントローラ１５の通信Ｉ／Ｆ１５Ｄ２は、処理回路１２０の通信Ｉ／Ｆ１２０Ｄ１に接続されており、第２撮像タイミング信号を通信Ｉ／Ｆ１２０Ｄ１に出力する。通信Ｉ／Ｆ１２０Ｄ１は、通信Ｉ／Ｆ１５Ｄ２から出力された第２撮像タイミング信号を受け付ける。

信号処理回路３４は、通信Ｉ／Ｆ３４Ａ及び３４Ｂを備えている。通信Ｉ／Ｆ３４Ａ及び３４Ｂの各々は、少なくとも一部が回路で構成された通信デバイスである。通信Ｉ／Ｆ３４Ａは、処理回路１２０の通信Ｉ／Ｆ１２０Ｄ３に接続されており、通信Ｉ／Ｆ３４Ｂは、コントローラ１５の通信Ｉ／Ｆ１５Ｅに接続されている。

処理回路１２０の通信Ｉ／Ｆ１２０Ｄ１とコントローラ１５の通信Ｉ／Ｆ１５Ｄ２との間は、ＰＣＩｅの接続規格に従って接続されている。また、処理回路１２０の通信Ｉ／Ｆ１２０Ｄ３と信号処理回路３４の通信Ｉ／Ｆ３４Ａとの間も、ＰＣＩｅの接続規格に従って接続されている。更に、信号処理回路３４の通信Ｉ／Ｆ３４Ｂとコントローラ１５の通信Ｉ／Ｆ１５Ｅとの間も、ＰＣＩｅの接続規格に従って接続されている。

処理回路１２０の通信Ｉ／Ｆ１２０Ｄ３は、第１画像データ及び後述の合成画像データ９０（図１５参照）等の各種情報を信号処理回路３４の通信Ｉ／Ｆ３４Ａに出力し、通信Ｉ／Ｆ３４Ａは、通信Ｉ／Ｆ１２０Ｄ３から出力された各種情報を受け付ける。信号処理回路３４は、通信Ｉ／Ｆ３４Ａによって受け付けられた各種情報に対して、必要に応じて信号処理を施す。通信Ｉ／Ｆ３４Ｂは、コントローラ１５の通信Ｉ／Ｆ１５Ｅに接続されており、各種情報をコントローラ１５の通信Ｉ／Ｆ１５Ｅに出力する。通信Ｉ／Ｆ１５Ｅは、通信Ｉ／Ｆ３４Ｂから出力された各種情報を受け付ける。

なお、以下では、通信Ｉ／Ｆ１１０Ｄ１、通信Ｉ／Ｆ１１０Ｄ２、通信Ｉ／Ｆ１２０Ｄ１、通信Ｉ／Ｆ１２０Ｄ２、通信Ｉ／Ｆ１０２Ｄ３、通信Ｉ／Ｆ３４Ａ、通信Ｉ／Ｆ３４Ｂ、通信Ｉ／Ｆ１５Ｅ、通信Ｉ／Ｆ１５Ｄ１、及び通信Ｉ／Ｆ１５Ｄ２を区別して説明する必要がない場合、符号を付さずに「通信Ｉ／Ｆ」と称する。

上述したように、ここでは、通信Ｉ／Ｆとして、少なくとも一部が回路で構成された通信デバイスが採用されている。通信Ｉ／Ｆの一例としては、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスが挙げられる。また、通信Ｉ／Ｆは、ＣＰＵ、フラッシュメモリ等のストレージ、及びＲＡＭ等のメモリを含むコンピュータであってもよい。この場合、コンピュータに含まれるＣＰＵは、単数であってもよいし、複数であってもよい。ＣＰＵに代えてＧＰＵを用いてもよい。また、通信Ｉ／Ｆは、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

第２撮像素子５２において、処理回路１２０は、通信Ｉ／Ｆ１２０Ｄ１、１２０Ｄ２及び１２０Ｄ３の他に、読出回路１２０Ａ、デジタル処理回路１２０Ｂ、及び制御回路１２０Ｃを備えている。なお、制御回路１２０Ｃは、本開示の技術に係る「処理部（制御回路）」の一例である。

読出回路１２０Ａは、光電変換素子５６、デジタル処理回路１２０Ｂ、及び制御回路１２０Ｃの各々に接続されている。デジタル処理回路１２０Ｂは、制御回路１２０Ｃに接続されている。制御回路１２０Ｃは、メモリ１２２、通信Ｉ／Ｆ１２０Ｄ１、通信Ｉ／Ｆ１２０Ｄ２、及び通信Ｉ／Ｆ１２０Ｄ３の各々に接続されている。

上述の第２画像データは、一例として図９に示すように、第２アナログ画像データ８０Ａと第２デジタル画像データ８０Ｂとに大別される。なお、以下では、説明の便宜上、第２アナログ画像データ８０Ａと第２デジタル画像データ８０Ｂとを区別して説明する必要がない場合、符号を付さずに「第２画像データ」と称する。

通信Ｉ／Ｆ１２０Ｄ１は、コントローラ１５の通信Ｉ／Ｆ１５Ｄ２から出力された第２撮像タイミング信号を受け付け、受け付けた第２撮像タイミング信号を制御回路１２０Ｃに転送する。

読出回路１２０Ａは、制御回路１２０Ｃの制御下で、光電変換素子５６を制御し、光電変換素子５６により撮像されることで得られた第２アナログ画像データ８０Ａを光電変換素子５６から読み出す。光電変換素子５６からの第２アナログ画像データ８０Ａの読み出しは、コントローラ１５から処理回路１２０に入力された第２撮像タイミング信号に従って行われる。すなわち、第２アナログ画像データ８０Ａは、第２撮像タイミング信号によって規定された第２撮像フレームレートで読出回路１２０Ａによって光電変換素子５６から読み出される。

具体的には、先ず、通信Ｉ／Ｆ１２０Ｄ１がコントローラ１５から第２撮像タイミング信号を受け付け、受け付けた第２撮像タイミング信号を制御回路１２０Ｃに転送する。次に、制御回路１２０Ｃは、通信Ｉ／Ｆ１２０Ｄ１から転送された第２撮像タイミング信号を読出回路１２０Ａに転送する。すなわち、読出回路１２０Ａには、垂直同期信号及び水平同期信号が転送される。そして、読出回路１２０Ａは、制御回路１２０Ｃから転送された垂直同期信号に従って光電変換素子５６からフレーム単位での第２アナログ画像データ８０Ａの読み出しを開始する。また、読出回路１２０Ａは、制御回路１２０Ｃから転送された水平同期信号に従って水平ライン単位での第２アナログ画像データ８０Ａの読み出しを開始する。

読出回路１２０Ａは、光電変換素子５６から読み出された第２アナログ画像データ８０Ａに対してアナログ信号処理を行う。アナログ信号処理には、ノイズキャンセル処理及びアナログゲイン処理などの公知の処理が含まれる。ノイズキャンセル処理は、光電変換素子５６に含まれる画素間の特性のばらつきに起因するノイズをキャンセルする処理である。アナログゲイン処理は、第２アナログ画像データ８０Ａに対してゲインをかける処理である。このようにしてアナログ信号処理が行われた第２アナログ画像データ８０Ａは、読出回路１２０Ａによってデジタル処理回路１２０Ｂに出力される。

デジタル処理回路１２０Ｂは、Ａ／Ｄ変換器１２０Ｂ１を備えている。Ａ／Ｄ変換器１２０Ｂ１は、第２アナログ画像データ８０ＡをＡ／Ｄ変換する。

デジタル処理回路１２０Ｂは、読出回路１２０Ａから入力された第２アナログ画像データ８０Ａに対してデジタル信号処理を行う。デジタル信号処理には、例えば、Ａ／Ｄ変換器１２０Ｂ１によるＡ／Ｄ変換、及びデジタルゲイン処理が含まれる。

第２アナログ画像データ８０Ａに対しては、Ａ／Ｄ変換器１２０Ｂ１によってＡ／Ｄ変換が行われ、これによって、第２アナログ画像データ８０Ａがデジタル化され、ＲＡＷデータとして第２デジタル画像データ８０Ｂが得られる。そして、第２デジタル画像データ８０Ｂに対しては、デジタル処理回路１２０Ｂによってデジタルゲイン処理が行われる。デジタルゲイン処理とは、第２デジタル画像データ８０Ｂに対してゲインをかける処理を指す。このようにデジタル信号処理が行われることによって得られた第２デジタル画像データ８０Ｂは、デジタル処理回路１２０Ｂによって制御回路１２０Ｃに出力される。

なお、以下では、説明の便宜上、第１デジタル画像データ７０Ｂ及び第２デジタル画像データ８０Ｂを区別して説明する必要がない場合、符号を付さずに「デジタル画像データ」と称する。

メモリ１２２は、複数フレームのデジタル画像データをフレーム単位で記憶可能なメモリである。制御回路１２０Ｃは、デジタル処理回路１２０Ｂから入力された第２デジタル画像データ８０Ｂをメモリ１２２に対して記憶させる。また、制御回路１２０Ｃは、通信Ｉ／Ｆ１２０Ｄ２によって受け付けられた第１デジタル画像データ７０Ｂをメモリ１２２に対して記憶させる。メモリ１２２は、画素単位の記憶領域を有しており、デジタル画像データは、制御回路１２０Ｃによって、画素単位で、メモリ１２２のうちの対応する記憶領域に記憶される。制御回路１２０Ｃは、メモリ１２２に対してアクセス可能である。メモリ１２２に対するアクセスの一例としては、ランダムアクセスが挙げられる。

制御回路１２０Ｃは、メモリ１２２からデジタル画像データを取得し、取得したデジタル画像データに基づく画像データを通信Ｉ／Ｆ１２０Ｄ３を介して信号処理回路３４に出力する。ここで、「デジタル画像データに基づく画像データ」とは、第１デジタル画像データ７０Ｂ、又は第２デジタル画像データ８０Ｂに基づく画像データを指す。第２デジタル画像データ８０Ｂに基づく画像データとは、例えば、第２デジタル画像データ８０Ｂ、又は、後述の合成画像データ９０を指す。

信号処理回路３４では、通信Ｉ／Ｆ１２０Ｄ３から入力された画像データが通信Ｉ／Ｆ３４Ａによって受け付けられ、受け付けられた画像データに対して各種の信号処理が行われる。

一例として図１０に示すように、第１撮像素子３８では、光電変換素子４２が露光されることで第１アナログ画像データ７０Ａが生成され、垂直同期信号が入力されると、光電変換素子４２からの第１アナログ画像データ７０Ａの読み出し、及び光電変換素子４２に対するリセットが行われる。光電変換素子４２に対するリセットとは、光電変換素子４２内の各画素の残留電荷を消去する動作を指す。光電変換素子４２による露光は、光電変換素子４２に対する読出回路１１０Ａによる前回のリセットが行われてから読み出しが行われるまでの間に行われる。

第１アナログ画像データ７０Ａに対してデジタル信号処理が行われることによって第１デジタル画像データ７０Ｂが生成され、生成された第１デジタル画像データ７０Ｂはメモリ１１２に記憶される。そして、メモリ１１２に記憶されている第１デジタル画像データ７０Ｂは第２撮像素子５２に出力され、第２撮像素子５２のメモリ１２２に記憶される。

一方、第２撮像素子５２では、光電変換素子５６が露光されることで第２アナログ画像データ８０Ａが生成され、垂直同期信号が入力されると、光電変換素子５６からの第２アナログ画像データ８０Ａの読み出し、及び光電変換素子５６に対するリセットが行われる。光電変換素子５６に対するリセットとは、光電変換素子５６内の各画素の残留電荷を消去する動作を指す。光電変換素子５６による露光は、光電変換素子５６に対する読出回路１２０Ａによる前回のリセットが行われてから読み出しが行われるまでの間に行われる。

光電変換素子５６での露光時間は、可変露光時間である。可変露光時間とは、制御回路１２０Ｃによってフレーム毎に変更可能な露光時間を指す。例えば、制御回路１２０Ｃは、コントローラ１５の制御下で、撮像条件等（例えば、撮像シーンの明るさ及び／又は受付デバイス８４によって受け付けられた指示等）に従って、光電変換素子５６での露光時間を変更する。光電変換素子５６での露光時間は、例えば、第２撮像素子５２に入力される垂直同期信号の入力タイミングをずらすことによって変更される。このように、光電変換素子５６での露光時間がフレーム毎に変更されることによって、第２撮像素子５２では、フレーム毎に露出量が変更可能な撮像が行われる。

第２アナログ画像データ８０Ａに対してデジタル信号処理が行われることによって第２デジタル画像データ８０Ｂが生成される。第２デジタル画像データ８０Ｂは、制御回路１２０Ｃによってメモリ１２２に記憶される。

ところで、本実施形態に係る撮像装置１４では、広角撮像と望遠撮像とが行われる。広角撮像は、第１撮像装置３０によって行われ、望遠撮像は、第２撮像装置３２によって行われる。一例として図１１に示すように、第１撮像装置３０に対して設定されている焦点距離（以下、「第１焦点距離」と称する）は、第２撮像装置３２に対して設定されている焦点距離（以下、「第２焦点距離」と称する）よりも短い。そのため、第１撮像装置３０による撮像の画角は、第２撮像装置３２による撮像の画角よりも広い。また、第２焦点距離は、光学ズーム機構５９（図３参照）によって変更される。なお、この場合、ズームレンズ１８Ｂの移動範囲は、“第２焦点距離＞第１焦点距離”の関係性が維持される範囲に制限されている。

本実施形態において、光軸Ｌ１（図３参照）上での結像レンズ１６Ｂの位置は不変である。なお、結像レンズ１６Ｂは、光軸Ｌ１で移動可能なレンズであってもよく、この場合、結像レンズ１６Ｂの移動範囲は、“第２焦点距離＞第１焦点距離”の関係性が維持される範囲に制限される。

第１撮像装置３０及び第２撮像装置３２は、“第２焦点距離＞第１焦点距離”の関係性を有するので、一例として図１２に示すように、第１撮像装置３０による撮像範囲（以下、「第１撮像範囲」と称する）は、第２撮像装置３２による撮像範囲（以下、「第２撮像範囲」と称する）よりも広い。また、第１撮像範囲及び第２撮像範囲は重複している。すなわち、第１撮像範囲に第２撮像範囲が含まれている。

一例として図１３に示すように、第１撮像範囲が第１撮像装置３０に含まれる第１撮像素子３８よって撮像されることで得られた第１デジタル画像データ７０Ｂにより示される画像である第１画像（以下、単に「第１画像」とも称する）は、第２撮像範囲が第２撮像装置３２に含まれる第２撮像素子５２によって撮像されることで得られた第２デジタル画像データ８０Ｂにより示される画像である第２画像（以下、単に「第２画像」とも称する）よりも広角な画像である。そして、第２画像は、第１画像よりも解像度が高い。つまり、第２画像の画素密度は、第１画像の画素密度よりも大きい。

ここで、画像データの伝送経路及び処理方法の一例について図１４及び図１５を参照しながら説明する。

一例として図１４に示すように、第１撮像素子３８によって被写体が撮像されることで得られた第１デジタル画像データ７０Ｂは、メモリ１１２に一旦記憶されてから、通信Ｉ／Ｆ１１０Ｄ２によって第２撮像素子５２に出力される。第１撮像素子３８及び第２撮像素子５２は、直列に接続された撮像素子であり、前段の撮像素子である第１撮像素子３８の通信Ｉ／Ｆ１２０Ｄ２によって第１デジタル画像データ７０Ｂが後段の撮像素子である第２撮像素子５２に出力される。そして、通信Ｉ／Ｆ１２０Ｄ２によって出力された第１デジタル画像データ７０Ｂは、第２撮像素子５２の通信Ｉ／Ｆ１２０Ｄ２によって受け付けられ、受け付けられた第１デジタル画像データ７０Ｂはメモリ１２２に記憶される。また、第２撮像素子５２によって撮像されることで得られた第２デジタル画像データ８０Ｂもメモリ１２２に記憶される。

メモリ１２２に記憶される第１デジタル画像データ７０Ｂは、第１焦点距離で第１撮像素子３８によって第１撮像範囲が撮像されることで得られたデジタル画像データである。また、メモリ１２２に記憶される第２デジタル画像データ８０Ｂは、第１焦点距離よりも長い第２焦点距離で第２撮像素子によって第２撮像範囲が撮像されることで得られたデジタル画像データである。なお、第１デジタル画像データ７０Ｂは、本開示の技術に係る「第１焦点距離画像データ」の一例であり、第２デジタル画像データ８０Ｂは、本開示の技術に係る「第２焦点距離画像データ」の一例である。

一例として図１５に示すように、第２撮像素子５２において、制御回路１２０Ｃは、検出部１２０Ｃ１、判定部１２０Ｃ２、及び合成部１２０Ｃ３を有する。メモリ１２２には、第１撮像素子３８によって第１撮像範囲（図１２参照）が撮像されることで得られた第１デジタル画像データ７０Ｂと、第２撮像素子５２によって第２撮像範囲（図１２参照）が撮像されることで得られた第２デジタル画像データ８０Ｂとが記憶されている。

制御回路１２０Ｃは、メモリ１２２に記憶されている第２デジタル画像データ８０Ｂを処理する。具体的には、先ず、検出部１２０Ｃ１が、メモリ１２２に記憶されている第２デジタル画像データにより示される第２画像から人物を示す人物画像を検出する検出処理を行う。検出部１２０Ｃ１は、公知の顔検出処理を利用することで人物画像の検出を行う。顔検出処理は、公知技術であるため、ここでの説明は省略する。なお、人物は、本開示の技術に係る「特定の被写体」の一例であり、「人物画像」は、本開示の技術に係る「特定被写体画像」の一例である。また、人物は、不特定の人物であってもよいし、特定の人物（特定の個人）であってもよい。

なお、ここでは、本開示の技術に係る「特定の被写体」の一例として、人物を例示しているが、本開示の技術はこれに限定されず、人物以外の被写体（例えば、建造物、乗り物、植物、虫、動物、飲食物、及び／又は小物等）であってもよい。また、検出処理は、特定の被写体を示す特定被写体画像、又は、特定被写体画像の特徴量（周波数特性等）がコンピュータ等によって予め学習（例えば、機械学習）されることで得られた学習結果を用いることによって行われるようにしてもよい。

判定部１２０Ｃ２は、検出処理によって第２画像から人物画像が検出された否かを判定する。検出処理によって人物画像が検出されなかった場合、判定部１２０Ｃ２は、メモリ１２２から第１デジタル画像データ７０Ｂを取得する。判定部１２０Ｃ２は、メモリ１２２から取得した第１デジタル画像データ７０Ｂを通信Ｉ／Ｆ１２０Ｄ３を介して信号処理回路３４に出力する。

検出処理によって人物画像が検出された場合、判定部１２０Ｃ２は、検出処理によって人物画像が検出されたことを示す検出成功信号を合成部１２０Ｃ３に出力する。合成部１２０Ｃ３は、判定部１２０Ｃ２から検出成功信号が入力されると、メモリ１２２から第１デジタル画像データ７０Ｂを取得する。そして、合成部１２０Ｃ３は、メモリ１２２から取得した第１デジタル画像データ７０Ｂと、検出部１２０Ｃ１での検出対象とされた第２デジタル画像データ８０Ｂとを合成することで合成画像データ９０を生成する。合成画像データ９０により示される画像は、例えば、図１５に示すように、第１画像内に第２画像が埋め込まれた画像である。合成部１２０Ｃ３は、合成画像データ９０を通信Ｉ／Ｆ１２０Ｄ３を介して信号処理回路３４に出力する。

なお、ここで、判定部１２０Ｃ２及び合成部１２０Ｃ３によってメモリ１２２から取得される第１デジタル画像データ７０Ｂは、例えば、検出部１２０Ｃ１での検出対象とされた第２デジタル画像データ８０Ｂを得るために第２撮像素子５２によって第２撮像範囲が撮像されたタイミングと同期して第１撮像素子３８によって第１撮像範囲が撮像されることで得られたデジタル画像データである。

また、ここでは、合成画像データ９０により示される画像の一例として、第１画像内に第２画像が埋め込まれた画像が挙げられているが、本開示の技術はこれに限定されない。例えば、第１画像に対して第２画像を重畳させてもよいし、第１画像と第２画像とが隣り合った状態で連結させてもよいし、第１画像と第２画像とによるアルファブレンドであってもよいし、他の合成方法であってもよい。

信号処理回路３４では、第２撮像素子５２から入力された画像データ（図１５に示す例では、第１デジタル画像データ７０Ｂ又は合成画像データ９０）に対して各種の信号処理を行い、各種の信号処理を行った画像データをコントローラ１５に出力する。コントローラ１５では、画像データが入力されると、ＣＰＵ１５Ａによって画像データがストレージ１５Ｂに記憶されたり、外部Ｉ／Ｆ１０４を介して、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、及び／又はメモリカード等に記憶されたりする。また、コントローラ１５では、画像データが入力されると、ＣＰＵ１５Ａによって画像データに基づく画像が静止画像又はライブビュー画像としてディスプレイ２６に表示される。なお、ここでは、画像データの記憶と、画像データに基づく画像の表示との双方が行われる形態例を挙げているが、画像データの記憶、又は、画像データに基づく画像の表示が行われるようにしてもよい。

次に、スマートデバイス１０の本開示の技術に係る部分の作用について説明する。

先ず、第１撮像素子３８の処理回路１１０によって実行される前段撮像処理の流れについて図１６を参照しながら説明する。

図１２に示す前段撮像処理では、先ず、ステップＳＴ１０で、制御回路１１０Ｃは、コントローラ１５からの垂直同期信号が通信Ｉ／Ｆ１１０Ｄ１によって受け付けられたか否かを判定する。ステップＳＴ１０において、コントローラ１５からの垂直同期信号が通信Ｉ／Ｆ１１０Ｄ１によって受け付けられていない場合は、判定が否定されて、前段撮像処理はステップＳＴ２２へ移行する。ステップＳＴ１０において、コントローラ１５からの垂直同期信号が通信Ｉ／Ｆ１１０Ｄ１によって受け付けられた場合は、判定が肯定されて、前段撮像処理はステップＳＴ１２へ移行する。

ステップＳＴ１２で、読出回路１１０Ａは、第１アナログ画像データ７０Ａの読み出し及び光電変換素子４２のリセットを行い、その後、前段撮像処理はステップＳＴ１４へ移行する。

ステップＳＴ１４で、デジタル処理回路１１０Ｂは、第１アナログ画像データ７０Ａに対してデジタル信号処理を行い、その後、前段撮像処理はステップＳＴ１６へ移行する。

ステップＳＴ１４において第１アナログ画像データ７０Ａに対してデジタル信号処理が行われることで得られた第１デジタル画像データ７０Ｂは、制御回路１１０Ｃに転送される。

ステップＳＴ１６で、制御回路１１０Ｃは、第１デジタル画像データ７０Ｂをメモリ１１２に対して記憶させ、その後、前段撮像処理はステップＳＴ１８へ移行する。

ステップＳＴ１８で、制御回路１１０Ｃは、第１デジタル画像データ７０Ｂを第２撮像素子５２に出力するタイミング（第１出力タイミング）が到来したか否かを判定する。第１出力タイミングの一例としては、第１撮像素子３８の出力フレームレートによって規定されたタイミングが挙げられる。ステップＳＴ１８において、第１出力タイミングが到来していない場合は、判定が否定されて、ステップＳＴ１８の判定が再び行われる。ステップＳＴ１８において、第１出力タイミングが到来した場合は、判定が肯定されて、前段撮像処理はステップＳＴ２０へ移行する。

ステップＳＴ２０で、制御回路１１０Ｃは、メモリ１１２から第１デジタル画像データ７０Ｂを取得し、取得した第１デジタル画像データ７０Ｂを、通信Ｉ／Ｆ１１０Ｄ２を介して第２撮像素子５２に出力し、その後、前段撮像処理はステップＳＴ２２へ移行する。

ステップＳＴ２２で、制御回路１１０Ｃは、前段撮像処理を終了する条件（以下、「前段撮像処理終了条件」と称する）を満足したか否かを判定する。前段撮像処理終了条件の一例としては、前段撮像処理を終了させる指示が受付デバイス８４（図４参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ２２において、前段撮像処理終了条件を満足していない場合は、判定が否定されて、前段撮像処理はステップＳＴ１０へ移行する。ステップＳＴ２２において、前段撮像処理終了条件を満足した場合は、判定が肯定されて、前段撮像処理が終了する。

次に、第２撮像素子５２の処理回路１２０によって実行される後段撮像処理の流れについて図１７Ａ及び図１７Ｂを参照しながら説明する。

図１７Ａに示す後段撮像処理では、先ず、ステップＳＴ３０で、制御回路１２０Ｃは、コントローラ１５からの垂直同期信号が通信Ｉ／Ｆ１２０Ｄ１によって受け付けられたか否かを判定する。ステップＳＴ３０において、コントローラ１５からの垂直同期信号が通信Ｉ／Ｆ１２０Ｄ１によって受け付けられていない場合は、判定が否定されて、後段撮像処理はステップＳＴ５６へ移行する。ステップＳＴ３０において、コントローラ１５からの垂直同期信号が通信Ｉ／Ｆ１２０Ｄ１によって受け付けられた場合は、判定が肯定されて、後段撮像処理はステップＳＴ３２へ移行する。

ステップＳＴ３２で、読出回路１２０Ａは、第２アナログ画像データ８０Ａの読み出し及び光電変換素子５６のリセットを行い、その後、後段撮像処理はステップＳＴ３４へ移行する。

ステップＳＴ３４で、デジタル処理回路１２０Ｂは、第２アナログ画像データ８０Ａに対してデジタル信号処理を行い、その後、後段撮像処理はステップＳＴ３６へ移行する。

ステップＳＴ３４において第２アナログ画像データ８０Ａに対してデジタル信号処理が行われることで得られた第２デジタル画像データ８０Ｂは、制御回路１２０Ｃに転送される。

ステップＳＴ３６で、制御回路１２０Ｃは、第２デジタル画像データ８０Ｂをメモリ１２２に対して記憶させ、その後、後段撮像処理はステップＳＴ３８へ移行する。

ステップＳＴ３８で、制御回路１２０Ｃは、第１撮像素子３８から第１デジタル画像データ７０Ｂが入力されたか否かを判定する。ステップＳＴ３８において、第１撮像素子３８から第１デジタル画像データ７０Ｂが入力されていない場合は、判定が否定されて、ステップＳＴ３８の判定が再び行われる。ステップＳＴ３８において、第１撮像素子３８から第１デジタル画像データ７０Ｂが入力された場合は、判定が肯定されて、後段撮像処理はステップＳＴ４０へ移行する。

ステップＳＴ４０で、制御回路１２０Ｃは、ステップＳＴ３８で入力された第１デジタル画像データ７０Ｂをメモリ１２２に対して記憶させ、その後、後段撮像処理はステップＳＴ４２へ移行する。

ステップＳＴ４２で、検出部１２０Ｃ１は、メモリ１２２から第２デジタル画像データ８０Ｂを取得し、その後、後段撮像処理はステップＳＴ４４へ移行する。

ステップＳＴ４４で、検出部１２０Ｃ１は、ステップＳＴ４４で取得した第２デジタル画像データ８０Ｂを用いて検出処理を行い、その後、後段撮像処理はステップＳＴ４５へ移行する。

ステップＳＴ４５で、判定部１２０Ｃ２は、第２デジタル画像データ８０Ｂにより示される第２画像から人物画像がステップＳＴ４４での検出処理によって検出されたか否かを判定する。ステップＳＴ４５において、第２画像から人物画像が検出されていない場合は、判定が否定されて、後段撮像処理は、図１７Ｂに示すステップＳＴ４６へ移行する。ステップＳＴ４５において、第２画像から人物画像が検出された場合は、判定が肯定されて、後段撮像処理はステップＳＴ５０へ移行する。

図１７Ｂに示すステップＳＴ４６で、判定部１２０Ｃ２は、第１デジタル画像データ７０Ｂを信号処理回路３４に出力するタイミング（第２出力タイミング）が到来したか否かを判定する。第２出力タイミングの一例としては、第２撮像素子５２の出力フレームレートによって規定されたタイミングが挙げられる。

ステップＳＴ４６において、第２出力タイミングが到来していない場合は、判定が否定されて、ステップＳＴ４６の判定が再び行われる。ステップＳＴ４６において、第２出力タイミングが到来した場合は、判定が肯定されて、後段撮像処理はステップＳＴ４８へ移行する。

ステップＳＴ４８で、判定部１２０Ｃ２は、メモリ１２２から第１デジタル画像データ７０Ｂを取得し、取得した第１デジタル画像データ７０Ｂを、通信Ｉ／Ｆ１２０Ｄ３を介して信号処理回路３４に出力し、その後、後段撮像処理は、図１７Ａに示すステップＳＴ５６へ移行する。

図１７Ａに示すステップＳＴ５０で、合成部１２０Ｃ３は、メモリ１２２から第１デジタル画像データ７０Ｂを取得し、取得した第１デジタル画像データ７０Ｂと、ステップＳＴ４４で検出処理の検出対象として用いられた第２デジタル画像データ８０Ｂとを合成することで合成画像データ９０を生成し、その後、後段撮像処理はステップＳＴ５２へ移行する。

ステップＳＴ５２で、合成部１２０Ｃ３は、第２出力タイミングが到来したか否かを判定する。ステップＳＴ５２において、第２出力タイミングが到来していない場合は、判定が否定されて、ステップＳＴ５２の判定が再び行われる。ステップＳＴ５２において、第２出力タイミングが到来した場合は、判定が肯定されて、後段撮像処理はステップＳＴ５４へ移行する。

ステップＳＴ５４で、合成部１２０Ｃ３は、ステップＳＴ５０で生成した合成画像データ９０を、通信Ｉ／Ｆ１２０Ｄ３を介して信号処理回路３４に出力し、その後、後段撮像処理はステップＳＴ５６へ移行する。

ステップＳＴ５６で、制御回路１２０Ｃは、後段撮像処理を終了する条件（以下、「後段撮像処理終了条件」と称する）を満足したか否かを判定する。後段撮像処理終了条件の一例としては、後段撮像処理を終了させる指示が受付デバイス８４（図４参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ５６において、後段撮像処理終了条件を満足していない場合は、判定が否定されて、後段撮像処理はステップＳＴ３０へ移行する。ステップＳＴ５６において、後段撮像処理終了条件を満足した場合は、判定が肯定されて、後段撮像処理が終了する。

以上説明したように、スマートデバイス１０では、第１撮像素子３８によって第１撮像範囲が撮像されることで得られた第１デジタル画像データ７０Ｂが第２撮像素子５２のメモリ１２２に記憶される。また、第２撮像素子５２によって第２撮像範囲が撮像されることで得られた第２デジタル画像データ８０Ｂがメモリ１２２に記憶される。第２撮像素子５２では、第２デジタル画像データ８０Ｂにより示される第２画像から人物画像を検出する検出処理が検出部１２０Ｃ１によって行われる。第２画像は、第１画像よりも高い解像度の画像であるので、第１画像を用いて人物画像の検出が行われる場合に比べ、高い精度で人物画像が検出される。

ここで、検出処理によって第２画像から人物画像が検出されなかった場合に、メモリ１２２に記憶されている第１デジタル画像データ７０Ｂが信号処理回路３４に出力される。また、検出処理によって第２画像から人物画像が検出された場合に、メモリ１２２に記憶されている第１デジタル画像データ７０Ｂと、検出処理で用いた第２デジタル画像データ８０Ｂとが合成部１２０Ｃ３によって合成される。そして、第１デジタル画像データ７０Ｂと第２デジタル画像データ８０Ｂとが合成されることで得られた合成画像データ９０が信号処理回路３４に出力される。

従って、本構成によれば、第１画像のみを検出対象にして人物画像を検出する処理が行われることによって得られる検出結果に関わらず、常に第１デジタル画像データ７０Ｂが信号処理回路３４に出力される場合に比べ、高い精度で人物画像を検出する検出処理が行われ、検出処理による検出結果に適した解像度の画像を示す画像データを信号処理回路３４に出力することができる。

また、スマートデバイス１０では、第１撮像素子３８及び第２撮像素子５２の互いの撮像範囲が重複している。すなわち、第１撮像範囲内に第２撮像範囲が含まれている。従って、本構成によれば、第１撮像範囲と第２撮像範囲とが重複していない場合に比べ、第１撮像範囲内に人物が存在しているか否かを容易に特定することができる。

また、スマートデバイス１０では、第２デジタル画像データ８０Ｂは、第１焦点距離よりも長い第２焦点距離で第２撮像素子５２によって撮像されることで得られた画像データである。従って、本構成によれば、第１焦点距離と同一の焦点距離又は第１焦点距離よりも短い焦点距離で第２撮像素子５２によって撮像されることで得られた画像データを用いて人物画像の検出が行われる場合に比べ、高い精度で人物画像を検出することができる。

また、スマートデバイス１０では、第２焦点距離が光学ズーム機構５９によって変更される。従って、本構成によれば、第２撮像素子５２は様々な画角で撮像することにより得た第２デジタル画像データ８０Ｂを用いて検出処理を行うことができる。

また、スマートデバイス１０では、フレーム毎に露出量が変更可能な撮像が第２撮像素子５２によって行われる。従って、本構成によれば、第２撮像素子５２によって撮像されることで得られるフレーム毎の第２デジタル画像データ８０Ｂにより示される第２画像の露出量が常に一定の場合に比べ、人物画像の検出精度を高めることができる。

また、スマートデバイス１０では、第２領域５６Ｂのアスペクト比が３：２であり、第１領域４２Ｂのアスペクト比が１６：９である。従って、本構成によれば、第２領域５６Ｂのアスペクト比が第１領域４２Ｂのアスペクト比と同一の１６：９である場合に比べ、検出処理によって第２画像から人物画像が検出される範囲を広げることができる。

また、スマートデバイス１０では、第２撮像素子５２でのフレームレートは、第１撮像素子３８でのフレームレートよりも高い。従って、本構成によれば、第１撮像素子３８で第１画像から人物画像の検出が行われる場合に比べ、高速に検出処理を行うことができる。

また、スマートデバイス１０では、第２撮像素子５２として、光電変換素子５６、処理回路１２０、及びメモリ１２２が１チップ化された撮像素子が採用されている。従って、本構成によれば、光電変換素子５６、処理回路１２０、及びメモリ１２２が１チップ化されていない撮像素子に比べ、第２撮像素子５２の可搬性が高くなる。また、光電変換素子５６、処理回路１２０、及びメモリ１２２が１チップ化されていない撮像素子に比べ、設計の自由度も高めることができる。更に、光電変換素子５６、処理回路１２０、及びメモリ１２２が１チップ化されていない撮像素子に比べ、撮像装置１４の小型化にも寄与することができる。

また、スマートデバイス１０では、第２撮像素子５２として、光電変換素子５６にメモリ１２２が積層された積層型撮像素子が採用されている。これにより、光電変換素子５６とメモリ１２２とを接続する配線を短くすることができるため、配線遅延を減らすことができ、この結果、光電変換素子５６とメモリ１２２とが積層されていない場合に比べ、光電変換素子５６からメモリ１２２への画像データの転送速度を高めることができる。

また、転送速度の向上は、処理回路１２０全体での処理の高速化にも寄与する。また、光電変換素子５６とメモリ１２２とが積層されていない場合に比べ、設計の自由度も高めることができる。更に、光電変換素子５６とメモリ１２２とが積層されていない場合に比べ、撮像装置１４の小型化にも寄与することができる。

また、スマートデバイス１０では、第２撮像素子５２から出力された画像データに基づくライブビュー画像等がＣＰＵ１５Ａによってディスプレイ２６に表示される。従って、本構成によれば、第２撮像素子５２から出力された画像データに基づくライブビュー画像等をユーザに視認させることができる。

また、スマートデバイス１０では、第２撮像素子５２から出力された画像データがＣＰＵ１５Ａによってストレージ１５Ｂ、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、及び／又はメモリカード等に記憶される。従って、本構成によれば、第２撮像素子５２から出力された画像データを管理することができる。

ところで、図２１には、信号処理回路３４に対して第１撮像素子３８が通信ラインＬＮ１で直接接続され、かつ、信号処理回路３４に対して第２撮像素子５２が通信ラインＬＮ２で直接接続されている形態例が示されている。図２１に示す例では、第１撮像素子３８及び第２撮像素子５２を信号処理回路３４に接続する場合、信号処理回路３４には、第１撮像素子３８及び第２撮像素子５２の各々に対応するインタフェースが必要になる。そのため、信号処理回路３４に対して単一の撮像素子のみが接続される場合に比べ、配線数が増える。

これに対し、スマートデバイス１０では、第１撮像素子３８、第２撮像素子５２、及び信号処理回路３４が直列に接続されており、第１撮像素子３８から第２撮像素子５２に第１デジタル画像データ７０Ｂが出力される。そして、第２撮像素子５２から第１デジタル画像データ７０Ｂ、及び合成画像データ９０が選択的に信号処理回路３４に出力される。従って、本構成によれば、信号処理回路３４に対して第１撮像素子３８が通信ラインＬＮ１で直接接続され、かつ、信号処理回路３４に対して第２撮像素子５２が通信ラインＬＮ２で直接接続される場合（図２１参照）に比べ、第１撮像素子３８及び第２撮像素子５２を信号処理回路３４に接続するのに要する配線数を抑制することができる。

なお、上記実施形態では、第２撮像素子５２から信号処理回路３４に合成画像データ９０が出力される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、合成画像データ９０に代えて、第２デジタル画像データ８０Ｂが第２撮像素子５２から信号処理回路３４に出力されるようにしてもよい。或いは、第２デジタル画像データ８０Ｂに基づく画像データ（例えば、第２デジタル画像データ８０Ｂを加工した画像データ）が第２撮像素子５２から信号処理回路３４に出力されるようにしてもよい。ここで、第２デジタル画像データ８０Ｂの他に、第２デジタル画像データ８０Ｂに基づく画像データも、本開示の技術に係る「第２画像データ」の一例である。

合成画像データ９０に代えて第２デジタル画像データ８０Ｂが出力される場合、一例として図１８に示すように、後段撮像処理では、図１７Ａに示すステップＳＴ５２の処理が不要となり、図１７Ａに示すステップＳＴ５４の処理に代えてステップＳＴ１５４の処理が制御回路１２０Ｃによって行われる。すなわち、ステップＳＴ１５４では、制御回路１２０Ｃによって、ステップＳＴ４４の検出処理で用いた第２デジタル画像データ８０Ｂが信号処理回路３４に出力される。

なお、合成画像データ９０に代えて、第２デジタル画像データ８０Ｂが信号処理回路３４に出力される場合、コントローラ１５のＣＰＵ１５Ａの制御下で、第２デジタル画像データ８０Ｂに基づく画像がディスプレイ２６に表示されたり、第２デジタル画像データ８０Ｂがストレージ１５Ｂ等の記憶装置に記憶されたりするようにしてもよい。

また、上記実施形態では、検出部１２０Ｃ１がメモリ１２２から第２デジタル画像データ８０Ｂを取得する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、第２デジタル画像データ８０Ｂは、メモリ１２２に記憶されることなく検出部１２０Ｃ１によって用いられるようにしてもよい。すなわち、第２デジタル画像データ８０Ｂは、メモリ１２２に記憶されずに制御回路１２０Ｃによって処理されるようにしてもよい。

また、上記実施形態では、第２撮像素子５２として、光電変換素子５６、処理回路１２０、及びメモリ１２２が１チップ化された撮像素子が例示されているが、本開示の技術はこれに限定されない。例えば、光電変換素子５６、処理回路１２０、及びメモリ１２２のうち、少なくとも光電変換素子５６及びメモリ１２２が１チップ化されていればよい。

また、上記実施形態では、検出処理による検出結果に応じて第１デジタル画像データ７０Ｂ又は合成画像データ９０が選択的に出力される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、検出処理による検出結果に関わらず、第２撮像素子５２から信号処理回路３４に第２デジタル画像データ８０Ｂが出力されるようにしてもよい。

この場合、例えば、図１９に示すように、コントローラ１５が、検出処理による検出結果に関わらず信号処理回路３４に第２デジタル画像データ８０Ｂを出力することを要求する出力要求信号を、通信ライン５８Ａを介して第２撮像素子５２に出力する。第２撮像素子５２では、通信Ｉ／Ｆ１２０Ｄ１によって出力要求信号が受け付けられる。ここで、通信Ｉ／Ｆ１２０Ｄ１は、本開示の技術に係る「受付部（アクセプタ）」の一例である。

出力要求信号が通信Ｉ／Ｆ１２０Ｄ１によって受け付けられた場合に、制御回路１２０Ｃは、検出処理による検出結果に関わらず、第２デジタル画像データ８０Ｂを信号処理回路３４に出力する。本構成によれば、検出処理による検出結果に関わらず第２デジタル画像データ８０Ｂの出力を求めるユーザの利便性の向上に寄与することができる。

また、上記実施形態では、第１撮像素子３８として積層型撮像素子を例示したが、本開示の技術はこれに限定されず、第１撮像素子３８は、非積層型の撮像素子であってもよい。この場合、第１撮像装置３０に代えて、非積層型の撮像素子と、非積層型の撮像素子によって得られた第１アナログ画像データ７０Ａから第１デジタル画像データ７０Ｂを生成し、生成した第１デジタル画像データ７０Ｂを第２撮像素子５２に出力する処理回路とを有する第１撮像装置を適用すればよい。或いは、第１撮像素子３８として非積層型の撮像素子を用いる場合、例えば、第１アナログ画像データ７０Ａが第１撮像素子３８から第２撮像素子５２に出力され、第２撮像素子５２によって第１アナログ画像データ７０Ａがデジタル化されて第１デジタル画像データ７０Ｂが生成されるようにしてもよい。

また、上記実施形態では、通信Ｉ／Ｆ間がＰＣＩｅの接続規格に従って接続されているが、本開示の技術はこれに限定されない。ＰＣＩｅの接続規格に代えて、ＬＶＤＳ、ＳＡＴＡ、ＳＬＶＳ－ＥＣ、又はＭＩＰＩ等の他の接続規格が採用されてもよい。

また、上記実施形態では、第２撮像素子５２と信号処理回路３４との間の通信、コントローラ１５と第１撮像素子３８との通信、コントローラ１５と第２撮像素子５２との間の通信、及び信号処理回路３４とコントローラ１５との通信は何れも有線形式の通信である。しかし、本開示の技術はこれに限定されない。第２撮像素子５２と信号処理回路３４との間の通信、コントローラ１５と第１撮像素子３８との通信、コントローラ１５と第２撮像素子５２との間の通信、及び／又は信号処理回路３４とコントローラ１５との通信を無線形式の通信としてもよい。

また、上記実施形態では、ＵＩ系デバイス１７がスマートデバイス１０に組み込まれている形態例を挙げて説明したが、ＵＩ系デバイス１７に含まれる複数の構成要素のうちの少なくとも一部がスマートデバイス１０に対して外付けされていてもよい。また、ＵＩ系デバイス１７に含まれる複数の構成要素のうちの少なくとも一部が別体として外部Ｉ／Ｆ１０４に接続されることによって使用されるようにしてもよい。

また、上記実施形態では、処理回路１２０としてＡＳＩＣ及びＦＰＧＡを含むデバイスを例示しているが、本開示の技術はこれに限定されず、処理回路１２０は、コンピュータによるソフトウェア構成により実現されるようにしてもよい。

この場合、例えば、図２０に示すように、撮像装置１４にはコンピュータ８５２が内蔵されている。例えば、第２撮像素子５２に、処理回路１２０に代えてコンピュータ８５２が内蔵されている。コンピュータ８５２に上記実施形態に係る前段撮像処理を実行させるための前段撮像処理プログラム９０２Ａは記憶媒体９００に記憶されている。また、コンピュータ８５２に上記実施形態に係る後段撮像処理を実行させるための後段撮像処理プログラム９０２Ｂも記憶媒体９００に記憶されている。記憶媒体９００の一例としては、非一時的記憶媒体であるＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。

なお、以下では、説明の便宜上、前段撮像処理と後段撮像処理とを区別して説明する必要がない場合、「撮像装置処理」と称し、前段撮像処理プログラム９０２Ａと後段撮像処理プログラム９０２Ｂとを区別して説明する必要がない場合、「撮像装置処理プログラム」と称する。

コンピュータ８５２は、ＣＰＵ８５２Ａ、ストレージ８５２Ｂ、及びメモリ８５２Ｃを備えている。ストレージ８５２Ｂは、ＥＥＰＲＯＭ等の不揮発性の記憶装置であり、メモリ８５２Ｃは、ＲＡＭ等の揮発性の記憶装置である。記憶媒体９００に記憶されている撮像装置処理プログラム９０２は、コンピュータ８５２にインストールされる。ＣＰＵ８５２Ａは、撮像装置処理プログラム９０２に従って撮像装置処理を実行する。

撮像装置処理プログラム９０２は、記憶媒体９００ではなく、ストレージ８５２Ｂに記憶されていてもよい。この場合、ＣＰＵ８５２Ａは、ストレージ８５２Ｂから撮像装置処理プログラム９０２を読み出し、読み出した撮像装置処理プログラム９０２をメモリ８５２Ｃで実行する。このように、撮像装置処理プログラム９０２がＣＰＵ８５２Ａによって実行されることで撮像装置処理が実現される。

また、通信網（図示省略）を介してコンピュータ８５２に接続される他のコンピュータ又はサーバ装置等の記憶部に撮像装置処理プログラム９０２を記憶させておき、上述のスマートデバイス１０の要求に応じて撮像装置処理プログラム９０２がダウンロードされ、コンピュータ８５２にインストールされるようにしてもよい。

なお、コンピュータ８５２に接続される他のコンピュータ又はサーバ装置等の記憶部、又はストレージ８５２Ｂに撮像装置処理プログラム９０２の全てを記憶させておく必要はなく、撮像装置処理プログラム９０２の一部を記憶させておいてもよい。

図２０に示す例では、撮像装置１４にコンピュータ８５２が内蔵されている態様例が示されているが、本開示の技術はこれに限定されず、例えば、コンピュータ８５２が撮像装置１４の外部に設けられるようにしてもよい。

図２０に示す例では、ＣＰＵ８５２Ａは、単数のＣＰＵであるが、複数のＣＰＵであってもよい。また、ＣＰＵ８５２Ａに代えてＧＰＵを適用してもよい。

図２０に示す例では、コンピュータ８５２が例示されているが、本開示の技術はこれに限定されず、コンピュータ８５２に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ８５２に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

上記実施形態で説明した撮像装置処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、撮像装置処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで撮像装置処理を実行する。

撮像装置処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、撮像装置処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、撮像装置処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、撮像装置処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、撮像装置処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の撮像装置処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

また、図１に示す例では、スマートデバイス１０を例示したが、本開示の技術はこれに限定されない。すなわち、撮像装置１４が内蔵された各種の電子機器（例えば、レンズ交換式カメラ、レンズ固定式カメラ、パーソナル・コンピュータ、及び／又はウェアラブル端末装置等）に対しても本開示の技術は適用可能であり、これらの電子機器であっても、上記のスマートデバイス１０と同様の作用及び効果が得られる。また、上記実施形態では、第１撮像装置３０と第２撮像装置３２とが撮像装置１４として筐体１２に収容されている形態例を挙げて説明したが、第１撮像装置３０及び第２撮像装置３２の双方が筐体１２に収容されている必要はない。例えば、第１撮像装置３０及び第２撮像装置３２の双方が筐体１２外で２台のカメラとして使用されてもよい。この場合も、上述した撮像装置１４と同様の作用及び効果が得られる。

また、上記実施形態では、ディスプレイ２６を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示部（ディスプレイ）」として用いるようにしてもよい。

また、上記実施形態では、第１撮像素子３８及び第２撮像素子５２という２つの撮像素子を例示したが、本開示の技術はこれに限定されず、３つ以上の撮像素子を適用してもよい。３つ以上の撮像素子のうちの１つの撮像素子（特定の撮像素子）によって撮像されることで得られる画像は、他の撮像素子によって撮像されることで得られる画像よりも解像度が高く、検出処理に用いられる。また、特定の撮像素子は、積層型撮像素子であることが好ましい。特定の撮像素子において、検出処理によって特定被写体画像（例えば、人物画像）が検出された場合に、特定の撮像素子によって撮像されることで得られた画像と、残りの撮像素子のうちの少なくとも１つの撮像素子によって撮像されることで得られた画像とが合成されることで得られた合成画像を示す合成画像データが、特定の撮像素子によって出力されるようにする。

なお、この場合も、上記第１撮像素子３８と第２撮像素子５２とが直列に接続されているのと同様に、３つ以上の撮像素子も直列に接続されているようにしてもよい。また、３つ以上の撮像素子を用いる場合、互いの撮像素子によって撮像されることで得られる各画像の解像度が異なるようにしてもよく、最も低い解像度の画像以外の画像のうち、最も低い解像度の画像から高い解像度の画像の順に（段階的に）検出処理が行われるようにしてもよい。そして、検出処理によって特定被写体画像が検出された場合に、特定被写体画像の検出処理が行われた撮像素子によって撮像されることで得られた画像（例えば、特定被写体画像を含む画像）と、検出処理が行われた撮像素子よりも解像度の低い画像が得られる撮像素子によって撮像されることで得られた画像とが合成されることによって得られた合成画像データが後段回路（例えば、信号処理回路３４）に出力されるようにしてもよい。また、合成画像データではなく、特定被写体画像を含む画像を示す画像データが出力されるようにしてもよい。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

以上の実施形態に関し、更に以下の付記を開示する。

（付記）
被写体を撮像することで得た第１画像データを後段の撮像素子に出力する第１撮像素子と、
後段の撮像素子として設けられた第２撮像素子であって、第１撮像素子から出力された第１画像データを記憶するメモリと、第２撮像素子によって被写体が撮像されることで得られた第２画像データを処理する制御回路と、を有する第２撮像素子と、を含み、
第２画像データにより示される第２画像は、第１画像データより示される第１画像よりも解像度が高く、
制御回路は、第２画像から特定の被写体を示す特定被写体画像を検出する検出処理を行い、
第２撮像素子は、検出処理により特定被写体画像が検出されなかった場合に、メモリに記憶されている第１画像データを特定の出力先に出力し、検出処理により特定被写体画像が検出された場合に、第１画像データと第２画像データとが制御回路によって合成されることで得られた合成画像データ、又は、第２画像データを出力先に出力する
撮像装置。

Claims (14)

1. 被写体を撮像することで得た第１画像データを後段の撮像素子に出力する第１撮像素子と、
   前記後段の撮像素子として設けられた第２撮像素子であって、前記第１撮像素子から出力された前記第１画像データを記憶するメモリと、前記第２撮像素子によって前記被写体が撮像されることで得られた第２画像データを処理する制御回路と、を有する第２撮像素子と、を備え、
   前記第２画像データにより示される第２画像は、前記第１画像データより示される第１画像よりも解像度が高く、
   前記制御回路は、前記第２画像から特定の被写体を示す特定被写体画像を検出する検出処理を行い、
   前記第２撮像素子は、前記検出処理により前記特定被写体画像が検出されなかった場合に、前記メモリに記憶されている前記第１画像データを特定の出力先に出力し、前記検出処理により前記特定被写体画像が検出された場合に、前記第１画像データと前記第２画像データとが前記制御回路によって合成されることで得られた合成画像データ、又は、前記第２画像データを前記出力先に出力する
   撮像装置。
2. 前記第１撮像素子及び前記第２撮像素子の互いの撮像範囲は重複している請求項１に記載の撮像装置。
3. 前記第１画像データは、第１焦点距離及び前記第１焦点距離よりも長い第２焦点距離のうちの前記第１焦点距離で前記第１撮像素子によって撮像されることで得られた第１焦点距離画像データであり、
   前記第２画像データは、前記第２焦点距離で前記第２撮像素子によって撮像されることで得られた第２焦点距離画像データである請求項１又は請求項２に記載の撮像装置。
4. 前記第２焦点距離は、光学ズーム機構によって変更される請求項３に記載の撮像装置。
5. 前記第２撮像素子は、フレームに応じて露出量が変更可能な撮像を行う請求項１から請求項４の何れか一項に記載の撮像装置。
6. 前記第１撮像素子は、第１被写体光が結像される第１光電変換素子を有し、
   前記第２撮像素子は、第２被写体光が結像される第２光電変換素子を有し、
   前記第１画像データは、前記第１光電変換素子のうちの指定された第１領域から得られた画像データであり、
   前記第２画像データは、前記第２光電変換素子のうちの指定された第２領域から得られた画像データであり、
   前記第２領域は、前記第１領域よりも広い領域である請求項１から請求項５の何れか一項に記載の撮像装置。
7. 前記第２画像データの出力の要求を受け付ける通信インタフェースを更に含み、
   前記第２撮像素子は、前記通信インタフェースによって前記要求が受け付けられた場合に、前記検出処理による検出結果に関わらず、前記第２画像データを前記出力先に出力する請求項１から請求項６の何れか一項に記載の撮像装置。
8. 前記第２撮像素子でのフレームレートは、前記第１撮像素子でのフレームレートよりも高い請求項１から請求項７の何れか一項に記載の撮像装置。
9. 前記第２撮像素子は、少なくとも光電変換素子と前記メモリとが１チップ化された撮像素子である請求項１から請求項８の何れか一項に記載の撮像装置。
10. 前記第２撮像素子は、前記光電変換素子に前記メモリが積層された積層型撮像素子である請求項９に記載の撮像装置。
11. 前記第１撮像素子、前記第２撮像素子、及び前記出力先を直列に接続しており、
    前記第１撮像素子は、前記第１画像データを前記第２撮像素子に出力する請求項１から請求項１０の何れか一項に記載の撮像装置。
12. 前記第２撮像素子により出力された前記第１画像データに基づく画像、及び、前記第２撮像素子により出力された前記合成画像データ又は前記第２画像データに基づく画像のうちの少なくとも一方をディスプレイに対して表示させる制御と、前記第２撮像素子により出力された前記第１画像データ、及び、前記第２撮像素子により出力された前記合成画像データ又は前記第２画像データのうちの少なくとも一方を記憶装置に対して記憶させる制御とのうちの少なくとも一方を行うプロセッサを更に備える請求項１から請求項１１の何れか一項に記載の撮像装置。
13. 撮像装置の動作方法であって、
    前記撮像装置に含まれる第１撮像素子によって被写体が撮像されることで得られた第１画像データを前記第１撮像素子が後段の撮像素子に出力すること、
    前記後段の撮像素子として前記撮像装置に設けられた第２撮像素子が有するメモリが、前記第１撮像素子から出力された前記第１画像データを記憶すること、
    前記第２撮像素子が前記被写体を撮像することで得た第２画像データを処理すること、
    前記第２撮像素子が、前記第２画像データにより示される第２画像から特定の被写体を示す特定被写体画像を検出する検出処理を行うこと、
    前記第２撮像素子が、前記検出処理により前記特定被写体画像が検出されなかった場合に、前記メモリに記憶されている前記第１画像データを特定の出力先に出力すること、並びに、
    前記第２撮像素子が、前記検出処理により前記特定被写体画像が検出された場合に、前記第１画像データと前記第２画像データとが合成されることで得られた合成画像データ、又は、前記第２画像データを前記出力先に出力することを含み、
    前記第２画像は、前記第１画像データより示される第１画像よりも解像度が高い
    撮像装置の動作方法。
14. 撮像装置に対して適用されるコンピュータに処理を実行させるためのプログラムであって、
    前記処理は、
    前記撮像装置に含まれる第１撮像素子によって被写体が撮像されることで得られた第１画像データを前記第１撮像素子が後段の撮像素子に出力すること、
    前記後段の撮像素子として前記撮像装置に設けられた第２撮像素子が有するメモリが、前記第１撮像素子から出力された前記第１画像データを記憶すること、
    前記第２撮像素子が前記被写体を撮像することで得た第２画像データを処理すること、
    前記第２撮像素子が、前記第２画像データにより示される第２画像から特定の被写体を示す特定被写体画像を検出する検出処理を行うこと、
    前記第２撮像素子が、前記検出処理により前記特定被写体画像が検出されなかった場合に、前記メモリに記憶されている前記第１画像データを特定の出力先に出力すること、並びに、
    前記第２撮像素子が、前記検出処理により前記特定被写体画像が検出された場合に、前記第１画像データと前記第２画像データとが合成されることで得られた合成画像データ、又は、前記第２画像データを前記出力先に出力することを含み、
    前記第２画像は、前記第１画像データより示される第１画像よりも解像度が高い
    プログラム。

Images