JP2019128517A

JP2019128517A - 撮像装置、及び、電子機器

Info

Publication number: JP2019128517A
Application number: JP2018011302A
Authority: JP
Inventors: 典宏田部; Norihiro Tanabe; 宜邦野村; Nobukuni Nomura
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2018-01-26
Filing date: 2018-01-26
Publication date: 2019-08-01
Also published as: CN111630452A; CN111630452B; US20200358933A1; WO2019146275A1

Abstract

【課題】被写体までの距離に応じて画像間に生ずるズレを低減することができる複眼構成の撮像装置を提供する。【解決手段】撮像装置は、被写体からの光が入射する光入射面を有するビームスプリッタ、ビームスプリッタを透過した光をビームスプリッタ側に戻すための反射ミラー、光入射面側からの光が反射して出射するビームスプリッタの第１出射面側に配された、第１レンズを含む第１撮像部、及び、反射ミラー側からの光が反射して出射するビームスプリッタの第２出射面側に配された、第２レンズを含む第２撮像部、を備えており、光が光入射面から第１レンズに至るまでの光学的距離は、光が光入射面から第２レンズに至るまでの光学的距離と実質的に同じになるように設定されている。【選択図】図１

Description

本開示は、撮像装置、及び、電子機器に関する。

近年、所謂複眼構成の撮像装置を用いて、各撮像部が撮像する画像に基づいて画像処理を行なうといったことが提案されている。各撮像部からの画像を合成してＳ／Ｎ比の改善や高解像度化を図るといった処理を行なう場合、各撮像部からの画像には空間的なズレがないことが望ましい。しかしながら、一対の撮像部が並置して配置されるといった構成では、各撮像部からの画像には空間的なズレが生ずる。

図１３は、第１撮像素子ＳＡ及びレンズＬＡから成る第１撮像部と、第２撮像素子ＳＢ及びレンズＬＢから成る第２撮像部とが、距離Ｄ離間した状態で並置して配置されている撮像装置の結像状態を説明するための模式図である。レンズＬＢの光軸上にある遠方側の被写体ＯＢＪ₁と近傍側の被写体ＯＢＪ₂とを撮像する場合、第２撮像素子ＳＢにあっては、いずれの被写体も第２撮像素子ＳＢの中心に被写体の像が結像する。即ち、結像位置は被写体の距離には無関係である。これに対し、第１撮像素子ＳＡにあっては、遠方側の被写体ＯＢＪ₁までの距離と近傍側の被写体ＯＢＪ₂までの距離とに応じて入射画角が変化するため、結果として、結像位置にズレが生じる。このように、一対の撮像部が並置して配置されるといった構成では、画像間において視差が生じ、また、手前の被写体が背後の被写体を隠す状態（所謂オクルージョン）にも差が生ずる。これらの影響によって、画像間には空間的なズレが生ずる。

上述した視差やオクルージョンにより生ずる画像間のズレを軽減することができる複眼構成の撮像装置が、例えば特許文献１に開示されている。この撮像装置の基本的な構造を、図１４を参照して説明する。この撮像装置は、ビームスプリッタＢＳ、反射ミラーＭＬ、撮像素子ＳＡ及びレンズＬＡ、並びに、撮像素子ＳＢ及びレンズＬＢとを備えている。撮像素子ＳＡ及びレンズＬＡには、ビームスプリッタＢＳへの入射光の一部が反射面ＲＳで反射することによって光が入射する。一方、撮像素子ＳＢ及びレンズＬＢには、ビームスプリッタＢＳを透過した光が反射ミラーＭＬによって再度ビームスプリッタＢＳに入射しその反射面ＲＳで反射することによって光が入射する。この構成において、光学的には、撮像素子ＳＡと撮像素子ＳＢの光軸は一致する。従って、画像間において視差が生ずるといったことはない。

特開２０１７−１８７７７１号公報

上述したように、ビームスプリッタを用いた複眼構成の撮像装置にあっては、第１撮像部と第２撮像部との光軸が一致するように設定することができるので、画像間に視差が生ずるといってことはない。しかしながら、ビームスプリッタに対する各撮像部の位置関係によっては、被写体までの距離に応じて画像間にズレを生ずるといった現象が生じ得る。

そこで、本開示は、被写体までの距離に応じて画像間に生ずるズレを低減することができる複眼構成の撮像装置、及び、係る撮像装置を備えた電子機器を提供することを目的とする。

上記の目的を達成するための本開示に係る撮像装置は、
被写体からの光が入射する光入射面を有するビームスプリッタ、
ビームスプリッタを透過した光をビームスプリッタ側に戻すための反射ミラー、
光入射面側からの光が反射して出射するビームスプリッタの第１出射面側に配された、第１レンズを含む第１撮像部、及び、
反射ミラー側からの光が反射して出射するビームスプリッタの第２出射面側に配された、第２レンズを含む第２撮像部、
を備えており、
光が光入射面から第１レンズに至るまでの光学的距離は、光が光入射面から第２レンズに至るまでの光学的距離と実質的に同じになるように設定されている、
撮像装置である。

上記の目的を達成するための本開示に係る電子機器は、
撮像装置を備えた電子機器であって、
撮像装置は、
被写体からの光が入射する光入射面を有するビームスプリッタ、
ビームスプリッタを透過した光をビームスプリッタ側に戻すための反射ミラー、
光入射面側からの光が反射して出射するビームスプリッタの第１出射面側に配された、第１レンズを含む第１撮像部、及び、
反射ミラー側からの光が反射して出射するビームスプリッタの第２出射面側に配された、第２レンズを含む第２撮像部、
を備えており、
光が光入射面から第１レンズに至るまでの光学的距離は、光が光入射面から第２レンズに至るまでの光学的距離と実質的に同じになるように設定されている、
電子機器である。

本開示によれば、光が光入射面から第１レンズに至るまでの光学的距離は、光が光入射面から第２レンズに至るまでの光学的距離と実質的に同じになるように設定されている。これによって、被写体までの距離に応じて画像間にズレを生ずるといったことが低減されるので、各撮像部が撮像した画像の合成処理などを好適に行うことができる。

尚、ここに記載された効果に必ずしも限定されるものではなく、本明細書中に記載されたいずれかの効果であってもよい。また、本明細書に記載された効果はあくまで例示であって、これに限定されるものではなく、また付加的な効果があってもよい。

図１は、本開示の第１の実施形態に係る撮像装置の構成を説明するための模式図である。図２は、参考例の撮像装置の構成を説明するための模式図である。図３は、参考例の撮像装置における結像状態を説明するための図である。図３Ａは、参考例の撮像装置における第１撮像部の結像状態を説明するための模式図である。図３Ｂは、参考例の撮像装置における第２撮像部の結像状態を説明するための模式図である。図４は、第１の実施形態に係る撮像装置における結像状態を説明するための図である。図４Ａは、第１撮像部の結像状態を説明するための模式図である。図４Ｂは、第２撮像部の結像状態を説明するための模式図である。図５は、第１の実施形態に係る撮像装置における画像処理を説明するための図である。図５Ａは、画像処理部の構成を説明するための模式図である。図５Ｂは、画像処理部の動作を説明するための模式図である。図６は、本開示の第２の実施形態に係る撮像装置の構成を説明するための模式図である。図７は、第２の実施形態に係る撮像装置における結像状態を説明するための図である。図７Ａは、第１撮像部の結像状態を説明するための模式図である。図７Ｂは、第２撮像部の結像状態を説明するための模式図である。図８は、第２の実施形態に係る撮像装置における、撮像可能である最接写距離時の結像状態を説明するための図である。図８Ａは、第１撮像部の結像状態を説明するための模式図である。図８Ｂは、第２撮像部の結像状態を説明するための模式図である。図９は、本開示の第３の実施形態に係る撮像装置の構成を説明するための模式図である。図１０は、本開示の第４の実施形態に係る撮像装置の構成を説明するための模式図である。図１１は、車両制御システムの概略的な構成の一例を示すブロック図である。図１２は、車外情報検出部及び撮像部の設置位置の一例を示す説明図である。図１３は、一対の撮像部が並置して配置される撮像装置の結像状態を説明するための模式図である。図１４は、ビームスプリッタを用いた撮像装置の構造を説明するための模式図である。

以下、図面を参照して、実施形態に基づいて本開示を説明する。本開示は実施形態に限定されるものではなく、実施形態における種々の数値や材料などは例示である。以下の説明において、同一要素または同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は、以下の順序で行う。
１．本開示に係る、撮像装置、及び、電子機器、全般に関する説明
２．第１の実施形態
３．第２の実施形態
４．第３の実施形態
５．第４の実施形態
６．第５の実施形態
７．第６の実施形態：応用例
８．その他

［本開示に係る、撮像装置、及び、電子機器、全般に関する説明］
本開示に係る撮像装置、あるいは又、本開示に係る電子機器に用いられる撮像装置（以下、これらを単に、本開示の撮像装置と呼ぶ場合がある）において、
ビームスプリッタは、断面が正方形状であるキューブ型であり、
ビームスプリッタの断面の一辺の長さを符号Ｌ、
ビームスプリッタを構成する材料の屈折率を符号ｎ、
ビームスプリッタと反射ミラーとの間の距離を符号ａ、
第２出射面と第２レンズの入射瞳と間の距離を符号ｂ、
を用いて表すとき、
第１出射面と第１レンズの入射瞳との間の光学的距離は、実質的に、２ａ＋ｎＬ＋ｂとなるように設定されている、
構成とすることができる。

この場合において、
最接写距離となる被写体距離を符号ＯＤ’
第２撮像部のＸ方向及びＹ方向の画素数を符号２Ｐｘ及び符号２Ｐｙ、
第１レンズの焦点距離を符号ｆ₁、
第２レンズの焦点距離を符号ｆ₂、
を用いて表すとき、
ｆ₁≦ｆ₂であって、第１出射面と第１レンズの入射瞳との間の光学的距離が２ａ＋ｎＬ＋Δｚ＋ｂである場合に、
符号Δｚは以下の式、

を満たす構成とすることができる。

あるいは又、この場合において、
最接写距離となる被写体距離を符号ＯＤ’
第２撮像部のＸ方向及びＹ方向の画素数を符号２Ｐｘ及び符号２Ｐｙ、
第２撮像部の画素ピッチを符号ｄ、
第１レンズの焦点距離を符号ｆ₁、
第２レンズの焦点距離を符号ｆ₂、
第２レンズの開口数を符号ＮＡ、
検出する光の波長を符号λ、
を用いて表すとき、
ｆ₁≦ｆ₂であって、第１出射面と第１レンズの入射瞳との間の光学的距離が２ａ＋ｎＬ＋Δｚ＋ｂである場合に、
符号Δｚは以下の式、

を満たす構成とすることができる。

上述した各種の好ましい構成の本開示に係る撮像装置にあっては、
第１出射面と第１レンズの入射瞳との間には硝材が配置されており、
硝材の屈折率を符号ｎ’を用いて表すとき、硝材の軸方向の長さは（２ａ＋ｎＬ＋ｂ）／ｎ’に設定されている、
構成とすることができる。

上述した各種の好ましい構成の本開示に係る撮像装置おいて、
反射ミラーは、ビームスプリッタの面上に接して配置されている、
構成とすることができる。

上述した各種の好ましい構成の本開示に係る撮像装置にあっては、
第１撮像部により取得された第１画像と第２撮像部により取得された第２画像とに基づいて画像を処理する画像処理部を更に備えている、
構成とすることができる。

この場合において、画像処理部は、
第１撮像部により取得された第１画像と第２撮像部により取得された第２画像とを同じサイズに合わせるサイズ合わせ部、及び、
同じサイズの第１画像と第２画像との画像信号に基づいて信号処理を行なう画像信号処理部、
を備えている、
構成とすることができる。

上述した好ましい構成を含む本開示の撮像装置や電子機器（以下、これらを単に、本開示と呼ぶ場合がある）に用いられるビームスプリッタは、光線を２つに分離する機能を有する。ビームスプリッタは、ガラスなどの光学材料から成るプリズムなどから構成されている。キューブ型の場合、２個の直角プリズムの斜面同士が接合されており、一方のプリズムの斜面には、光を略半分ずつに分岐するための光学薄膜が形成されている。ビームスプリッタは、無偏光タイプであってもよいし、偏光タイプであってもよい。尚、ビームスプリッタの面には、構成に応じて、λ／４波長板などの光学部材が配置されていてもよい。

反射ミラーの構成は特に限定するものではない。例えば、平面状の基材上に銀（Ａｇ）層などの金属膜などが形成されて構成されていてもよい。場合によっては、ビームスプリッタを構成する基材の上に金属膜などが形成されて構成されていてもよい。

第１撮像部および第２撮像部は、レンズや撮像素子などを適宜組み合わせて構成することができる。第１レンズや第２レンズは、単一のレンズから構成されていてもよいし、レンズ群から構成されていてもよい。

第１撮像部および第２撮像部に用いられる撮像素子は、特に限定するものではない。例えば、光電変換素子や種々の画素トランジスタを含む画素が、行方向及び列方向に２次元マトリクス状に配列されて成るＣＭＯＳセンサやＣＣＤセンサといった撮像素子を用いることができる。

第１撮像部と第２撮像部が撮像する画像の種類は特に限定するものではない。例えば、第１撮像部と第２撮像部は共にモノクロ画像あるいは共にカラー画像を撮像する構成、あるいは又、第１撮像部と第２撮像部のうちいずれか一方はモノクロ画像を撮像し他方はカラー画像を撮像するといった構成であってもよい。第１撮像部と第２撮像部に用いられる撮像素子の画素数やサイズは、同一であってもよいし異なっていてもよい。

第１出射面と第１レンズの入射瞳との間に配置される硝材として、透明なガラス材料やプラスチック材料を例示することができる。表示装置の小型化といった観点からは、屈折率の大きい材料を使うことが好ましい。

本開示の撮像装置に用いられる画像処理部はハードウェアとして実装されていてもよいし、ソフトウェアとして実装されていてもよい。更には、ハードウェアとソフトウェアとが協同するように実装されていてもよい。撮像装置全般の動作を制御する制御部などについても同様である。これらは、例えば、論理回路や記憶回路などから構成することができ、周知の回路素子を用いて作成することができる。画像処理部などは、撮像装置と一体として構成されていてもよいし、別体として構成されていてもよい。

本開示の撮像装置を備えた電子機器として、デジタルスチルカメラやデジタルビデオカメラなどの撮像システム、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器を例示することができる。

本明細書における各種の式に示す条件は、式が数学的に厳密に成立する場合の他、式が実質的に成立する場合にも満たされる。式の成立に関し、ビームスプリッタ、反射ミラー、第１撮像部、第２撮像部などの設計上あるいは製造上生ずる種々のばらつきの存在は許容される。例えば、光学的距離は光の波長によって左右されることがあるが、このような場合には、撮像対象とする光の波長範囲の例えば平均値付近における値を用いるなど、適宜、実施条件などを勘案して値を選択すればよい。

また、以下の説明で用いる図は模式的なものである。例えば、後述する図１は撮像装置の構造を示すが、幅、高さ、厚さなどの割合を示すものではない。

［第１の実施形態］
第１の実施形態は、本開示に係る撮像装置に関する。

図１は、本開示の第１の実施形態に係る撮像装置の構成を説明するための模式図である。

撮像装置１は、
被写体からの光が入射する光入射面３３を有するビームスプリッタ３０、
ビームスプリッタ３０を透過した光をビームスプリッタ３０側に戻すための反射ミラー４０、
光入射面３３側からの光が反射して出射するビームスプリッタ３０の第１出射面３１側に配された、第１レンズ１１を含む第１撮像部１０、及び、
反射ミラー４０側からの光が反射して出射するビームスプリッタ３０の第２出射面３２側に配された、第２レンズ２１を含む第２撮像部２０、
を備えている。

図１４を参照して説明したように、撮像装置１においても、第１撮像部１０には、ビームスプリッタ３０への入射光の一部が反射面３５で反射して第１出射面３１から出射することによって光が入射する。一方、第２撮像部２０には、ビームスプリッタ３０を透過した面３４からの光が反射ミラー４０によって再度ビームスプリッタ３０の面３４に入射し、反射面３５で反射することによって光が入射する。

後述する図４を参照して後で詳しく説明するが、撮像装置１にあっては、光が光入射面３３から第１レンズ１１に至るまでの光学的距離は、光が光入射面３３から第２レンズ２１に至るまでの光学的距離と実質的に同じになるように設定されている。

以下の説明において、
第１レンズ１１の焦点距離を符号ｆ₁、
第２レンズ２１の焦点距離を符号ｆ₂、
を用いて表す。

第１撮像部１０は、第１レンズ１１によって結像される像を撮像する第１撮像素子１２を更に備えている。また、第２撮像部２０は、第２レンズ２１によって結像される像を撮像する第２撮像素子２２を更に備えている。第１撮像素子１２と第２撮像素子２２は、例えば、画素が行方向および列方向に２次元マトリクス状に配列されて成るＣＭＯＳセンサから構成されている。以下の説明において、第１撮像素子１２と第２撮像素子２２は共にモノクロ画像の撮像用であるとするが、これは例示に過ぎない。また、特に限定がない限り、空間の屈折率は「１」であるとして説明する。

ビームスプリッタ３０は、断面が正方形状であるキューブ型であって、２個の直角プリズムの斜面同士が接合されており、一方のプリズムの斜面には、光を略半分ずつに分岐するための光学薄膜が形成されている。
以下の説明において、
被写体とビームスプリッタ３０の光入射面３３との距離を符号ＯＤ、
ビームスプリッタ３０の断面の一辺の長さを符号Ｌ、
ビームスプリッタ３０を構成する材料の屈折率を符号ｎ、
ビームスプリッタ３０と反射ミラー４０との間の距離を符号ａ、
第２出射面３２と第２レンズ２１の入射瞳との間の距離を符号ｂ、
を用いて表す。撮像装置１にあっては、第１出射面３１と第１レンズ１１の入射瞳との間の光学的距離が、実質的に、２ａ＋ｎＬ＋ｂとなるように設定されている。

以上、撮像装置１の概要について説明した。次いで、第１の実施形態の理解を助けるために、参考例の撮像装置の構成と、その問題点について説明する。

図２は、参考例の撮像装置の構成を説明するための模式図である。

参考例の撮像装置９は、例えば、占有面積を減らすために、ビームスプリッタ３０の出射面とレンズとの間の距離を小さくしたといった構成である。具体的には、図２に示す撮像システム９は、図１に示す撮像システム１に対して、第１出射面３１と第１レンズ１１の入射瞳との間の光学的距離が、第２出射面３２と第２レンズ２１の入射瞳との間の距離と同じく、共に符号ｂと設定されている点が相違する。

図３は、参考例の撮像装置における結像状態を説明するための図である。図３Ａは、参考例の撮像装置における第１撮像部の結像状態を説明するための模式図である。図３Ｂは、参考例の撮像装置における第２撮像部の結像状態を説明するための模式図である。

第１撮像部１０には、ビームスプリッタ３０への入射光の一部が反射面で反射することによって光が入射する。従って、被写体から第１レンズ１１の入射瞳までの光学的距離は、図２に示す位置関係から、
・被写体からビームスプリッタ３０の光入射面３３までの距離
＝ＯＤ
・ビームスプリッタ３０の屈折率×（光入射面３３から反射面３５までの距離＋反射面３５から第１出射面３１までの距離）
＝ｎ×（Ｌ／２＋Ｌ／２）
＝ｎＬ
・第１出射面３１から第１レンズ１１の入射瞳までの距離
＝ｂ
の総和、即ち、［ＯＤ＋ｎＬ＋ｂ］となる。

従って、光軸から像高方向に符号Ｙずれた被写体を観察する際、第１撮像部１０の結像状態は、図３Ａに示すとおりである。第１撮像素子１２は、距離［ＯＤ＋ｎＬ＋ｂ］にある被写体を、焦点距離が符号ｆ₁の第１レンズ１１を介して撮像する。第１撮像素子１２における結像位置を符号ｙ₁で表せば、以下の式（１）で表すことができる。

第２撮像部２０には、ビームスプリッタ３０を透過した面３４からの光が反射ミラー４０によって再度ビームスプリッタ３０の面３４に入射し、反射面３５で反射することによって光が入射する。従って、被写体から第２レンズ２１の入射瞳までの光学的距離は、図２に示す位置関係から、
・被写体からビームスプリッタ３０の光入射面３３までの距離
＝ＯＤ
・ビームスプリッタ３０の屈折率×（光入射面３３から面３４までの距離）
＝ｎＬ
・面３４と反射ミラー４０との間を往復する距離
＝２ａ
・ビームスプリッタ３０の屈折率×（面３４から反射面３５までの距離＋反射面３５から第２出射面３２までの距離）
＝ｎ×（Ｌ／２＋Ｌ／２）
＝ｎＬ
・第２出射面３２から第２レンズ２１の入射瞳までの距離
＝ｂ
の総和、即ち、［ＯＤ＋２ａ＋２ｎＬ＋ｂ］となる。

従って、光軸から像高方向に符号Ｙずれた被写体を観察する際、第２撮像部２０の結像状態は、図３Ｂに示すとおりである。第２撮像素子２２は、距離［ＯＤ＋２ａ＋２ｎＬ＋ｂ］にある被写体を、焦点距離が符号ｆ₂の第２レンズ２１を介して撮像する。第２撮像素子２２における結像位置を符号ｙ₂で表せば、以下の式（２）で表すことができる。

例えばｆ₁≦ｆ₂である場合、第２撮像部２０は第１撮像部１０よりも画角が狭くなり写る範囲も狭くなる。換言すれば、より望遠側の画像が撮像される。従って、第２撮像部２０が撮像した画像に第１撮像部１０が撮像した画像を合わせるためには、第１撮像部１０が撮像した画像に信号処理を施し、適宜拡大する必要がある。以下の式（３）で表す倍率ｋで拡大するとすれば、結像位置ｙ₁と結像位置ｙ₂とは仮想的に一致する。

ここで、被写体までの距離が符号ΔＯＤ変化した場合を考える。その際の、第１レンズ１１の結像位置に上述した倍率ｋを乗じた位置を符号ｙ₁’で表し、第２レンズ２１の結像位置を符号ｙ₂’で表す。これらは、それぞれ、以下の式（４）と式（５）で表すことができる。

ここで、式（４）と式（５）とは同値にならない。従って、式（３）に示す倍率ｋで拡大処理を施す場合、被写体距離がＯＤであれば、第１撮像部１０と第２撮像部２０の結像位置は仮想的に一致するが、それ以外では一致しない。このため、距離が異なる被写体が含まれるシーンを撮像するといった場合に、被写体の距離に応じて画像にズレが生ずる。

以上、参考例の撮像装置の構成と、その問題点について説明した。

図１に示すように、第１の実施形態に係る撮像装置１にあっては、第１出射面３１と第１レンズ１１の入射瞳との間の光学的距離が、実質的に、２ａ＋ｎＬ＋ｂとなるように設定されている。これによって、参考例における、被写体の距離に応じて画像にズレが生ずるといった問題を解消することができる。

撮像装置１において、被写体から第２レンズ２１の入射瞳までの光学的距離は、参考例と同様である。即ち、［ＯＤ＋２ａ＋２ｎＬ＋ｂ］となる。

一方、被写体から第１レンズ１１の入射瞳までの光学的距離は、図１に示す位置関係から、
・被写体からビームスプリッタ３０の光入射面３３までの距離
＝ＯＤ
・ビームスプリッタ３０の屈折率×（光入射面３３から反射面３５までの距離＋反射面３５から第１出射面３１までの距離）
＝ｎ×（Ｌ／２＋Ｌ／２）
＝ｎＬ
・第１出射面３１から第１レンズ１１の入射瞳までの距離
＝２ａ＋ｎＬ＋ｂ
の総和、即ち、［ＯＤ＋２ａ＋２ｎＬ＋ｂ］となる。

図４は、第１の実施形態に係る撮像装置における結像状態を説明するための図である。図４Ａは、第１撮像部の結像状態を説明するための模式図である。図４Ｂは、第２撮像部の結像状態を説明するための模式図である。

光軸から像高方向に符号Ｙずれた被写体を観察する際、第１撮像部１０の結像状態は、図４Ａに示すとおりである。第１撮像素子１２は、距離［ＯＤ＋２ａ＋２ｎＬ＋ｂ］にある被写体を、焦点距離が符号ｆ₁の第１レンズ１１を介して撮像する。第１撮像素子１２における結像位置を符号ｙ₁で表せば、以下の式（６）で表すことができる。

また、光軸から像高方向に符号Ｙずれた被写体を観察する際、第２撮像部２０の結像状態は、図４Ｂに示すとおりである。第２撮像素子２２は、距離［ＯＤ＋２ａ＋２ｎＬ＋ｂ］にある被写体を、焦点距離が符号ｆ₂の第２レンズ２１を介して撮像する。第２撮像素子２２における結像位置を符号ｙ₂で表せば、以下の式（７）で表すことができる。

例えばｆ₁≦ｆ₂である場合、第２撮像部２０は第１撮像部１０よりも画角が狭くなり写る範囲も狭くなる。参考例において説明したと同様に、以下の式（８）で表す倍率ｋで拡大するとすれば、結像位置ｙ₁と結像位置ｙ₂とは仮想的に一致する。

ここで、被写体までの距離が符号ΔＯＤ変化した場合を考える。その際の、第１レンズ１１の結像位置に上述した倍率ｋを乗じた位置を符号ｙ₁’で表し、第２レンズ２１の結像位置を符号ｙ₂’で表す。これらは、それぞれ、以下の式（９）と式（１０）で表すことができる。

式（９）と式（１０）とは同値である。従って、式（８）で表す倍率ｋで拡大処理を施せば、被写体距離に関わらず、第１撮像部１０と第２撮像部２０の結像位置は仮想的に一致する。このため、距離が異なる被写体が含まれるシーンを撮像するといった場合であっても、被写体の距離に応じて画像にズレが生ずるといったことがない。

上述したように撮像装置１にあっては、画像合わせを良好に行なうことができる。そして、撮像装置１は、第１撮像部１０により取得された第１画像と第２撮像部２０により取得された第２画像とに基づいて画像を処理する画像処理部を更に備えているといった構成とすることもできる。後述する他の実施形態においても同様である。

図５は、第１の実施形態に係る撮像装置における画像処理を説明するための図である。図５Ａは、画像処理部の構成を説明するための模式図である。図５Ｂは、画像処理部の動作を説明するための模式図である。

図５Ａに示すように、画像処理部５０は、
第１撮像部１０により取得された第１画像と第２撮像部２０により取得された第２画像とを同じサイズに合わせるサイズ合わせ部５１、及び、
同じサイズの第１画像と第２画像との画像信号に基づいて信号処理を行なう画像信号処理部５２、
を備えている。

図５Ｂを参照して、画像処理部５０の動作を説明する。サイズ合わせ部５１は、例えば、上述した式（８）で表す倍率ｋに基づいて、第１撮像部１０により取得された第１画像１２Ｐについて拡大処理を行なう。

画像信号処理部５２は、拡大処理が施された第１画像１２Ｐ’の画像信号と、第２撮像部２０により取得された第２画像２２Ｐの画像信号とに基づいて、適宜、信号処理を行なう。例えば、例えば、複数の画像を合成してＳ／Ｎを向上させるといった処理や、白黒画像に色情報を加えてカラー画像を合成するといった処理を行ない、処理後の画像１２２２Ｐ’を出力する。

以上、第１の実施形態に係る撮像装置について説明した。第１の実施形態に係る撮像装置にあっては、拡大処理をする際の倍率が被写体の距離とは無関係に一定となる。これによって、各撮像部が撮像した画像の合成処理などを好適に行うことができる。

［第２の実施形態］
第２の実施形態も、本開示に係る撮像装置に関する。

第１の実施形態において、第１出射面と第１レンズの入射瞳との間の光学的距離が２ａ＋ｎＬ＋ｂである場合を説明した。第２の実施形態は、第１の実施形態の変形例であって、光学的距離にΔｚといったズレがある場合に、Δｚの範囲を規定する点が相違する。

撮像素子の画素の寸法や光学的な結像限界を考慮すると、光学的距離に多少のズレが生じても取得される画像に何ら影響を与えないといったことが生じ得る。第２の実施形態にあっては、撮像素子の画素の寸法を考慮した上で、Δｚの範囲を規定した。

図６は、本開示の第２の実施形態に係る撮像装置の構成を説明するための模式図である。

図１に示す撮像装置１にあっては、第１出射面３１と第１レンズ１１の入射瞳との間の光学的距離が２ａ＋ｎＬ＋ｂであった。これに対し、図６に示す撮像装置２にあっては、第１出射面３１と第１レンズ１１の入射瞳との間の光学的距離が２ａ＋ｎＬ＋Δｚ＋ｂである点が相違する。他の要素は、第１の実施形態において説明した要素と同様であるので、説明を省略する。

第２の実施形態に係る撮像装置２にあっては、
最接写距離となる被写体距離を符号ＯＤ’、
第２撮像部２０のＸ方向及びＹ方向の画素数を符号２Ｐｘ及び符号２Ｐｙ、
第１レンズ１１の焦点距離を符号ｆ₁、
第２レンズ２１の焦点距離を符号ｆ₂、
を用いて表すとき、
ｆ₁≦ｆ₂であって、第１出射面３１と第１レンズ１１の入射瞳との間の光学的距離が２ａ＋ｎＬ＋Δｚ＋ｂである場合に、
符号Δｚは以下の式、

を満たすことを特徴とする。

以下、図を参照して、第２の実施形態について詳しく説明する。

図７は、第２の実施形態に係る撮像装置における結像状態を説明するための図である。図７Ａは、第１撮像部の結像状態を説明するための模式図である。図７Ｂは、第２撮像部の結像状態を説明するための模式図である。

図７Ａから明らかなように、光軸から像高方向に符号Ｙずれた被写体を観察する際、第１撮像部１０の結像状態は、図７Ａに示すとおりである。第１撮像素子１２における結像位置を符号ｙ₁で表せば、以下の式（１１）で表すことができる。

また、図７Ｂから明らかなように、光軸から像高方向に符号Ｙずれた被写体を観察する際、第２撮像部２０の結像状態は、図７Ｂに示すとおりである。第２撮像素子２２における結像位置を符号ｙ₁で表せば、以下の式（１２）で表すことができる。

ここで、無限遠撮影時を基準として、画像の倍率を設定することを考える。無限遠においては、ＯＤ＞＞Δｚである。従って、上述した式（１１）は、以下の式（１３）のように近似することができる。

上述した式（１２）、式（１３）から、拡大処理を行なう際の係数ｋは、以下の式（１４）のように表すことができる。

一般的に、撮像装置の光学系には、レンズの性能などの制約により、撮像可能である最接写距離が設定される。

図８は、第２の実施形態に係る撮像装置における、撮像可能である最接写距離時の結像状態を説明するための図である。図８Ａは、第１撮像部の結像状態を説明するための模式図である。図８Ｂは、第２撮像部の結像状態を説明するための模式図である。

最接写状態となる被写体の距離を符号ＯＤ’、第１撮像素子１２の像高を符号ｙ₁’、第２撮像素子２２の像高を符号ｙ₂’と表す。このとき、像高ｙ₁’と像高ｙ₂’とは、それぞれ、以下の式（１５）と式（１６）とで表すことができる。

ここで、上述した式（１４）を式（１５）に乗ずることにより得られる仮想的な結像位置は、以下の式（１７）のように表される。

以上の式（１６）と式（１７）との差分が、画像を合わせる際の位置ズレ量となる。位置ズレ量を符号Δｙで表せば、以下の式（１８）のように表される。

第２撮像部２０、より詳しくは、第２撮像部２０の第２撮像素子２２におけるＸ方向及びＹ方向の画素数を符号２Ｐｘ及び符号２Ｐｙで表し、その画素ピッチを符号ｄで表すとき、上述したΔｙが最大となるのは、最大像高となる場合である。例えば、画素数が１０００×１０００で、画素ピッチが１マイクロメートルである場合、最大像高は（５００²＋５００²）^1/2マイクロメートルである。符号Ｙは以下の式（１９）で表される。

以上の式（１８）と式（１９）とから、Δｙは以下の式（２０）のように表される。

ここで、Δｙが画素ピッチより小さければ、それに基づく誤差は検出不能である。従って、以下の式（２１）を満たすことによって、良好な位置合わせを行なうことができる。

そして、式（２１）の両辺を符号ｄで除算することによって、以下の式（２２）が得られる。

符号Δｚがこの式を満たす範囲であれば、それに基づく誤差は検出不能であって、良好な位置合わせを行なうことができる。

［第３の実施形態］
第３の実施形態も、本開示に係る撮像装置に関する。

第３の実施形態も、第１の実施形態の変形例であって、光学的距離にΔｚといったズレがある点が相違する。

上述したように、撮像素子の画素の寸法や光学的な結像限界を考慮すると、光学的距離に多少のズレが生じても取得される画像に何ら影響を与えないといったことが生じ得る。第３の実施形態にあっては、光学的な性能を考慮した上で、Δｚの範囲を規定した。

第３の実施形態に係る撮像装置３の模式的な構成図は、図６において撮像装置２を撮像装置３と読み替えればよい。構成要素は、第２の実施形態において説明した要素と同様であるので、説明を省略する。

第３の実施形態に係る撮像装置３にあっては、
最接写距離となる被写体距離を符号ＯＤ’、
第２撮像部２０のＸ方向及びＹ方向の画素数を符号２Ｐｘ及び符号２Ｐｙ、
第２撮像部２０の画素ピッチを符号ｄ、
第１レンズ１１の焦点距離を符号ｆ₁、
第２レンズ２１の焦点距離を符号ｆ₂、
第２レンズ２１の開口数を符号ＮＡ、
検出する光の波長を符号λ、
を用いて表すとき、
ｆ₁≦ｆ₂であって、第１出射面３１と第１レンズ１１の入射瞳までの光学的距離が２ａ＋ｎＬ＋Δｚ＋ｂである場合に、
符号Δｚは以下の式、

を満たすことを特徴とする。

以下、第３の実施形態について詳しく説明する。

第２の実施形態における式（２２）は、Δｙが画素ピッチｄより小さければ、それに基づく誤差は検出不能であるといったことに注目して導出された。これに対し、第３の実施形態では、Δｙが光学的な回折限界性能よりも小さければ、誤差としては充分小さいと扱える点に注目した。具体的には、第２の実施形態において導出した式（２１）が、エアリーディスク径を与える１．２２λ／ＮＡより小さいことを表す式として、以下の式（２３）を導出した。

符号Δｚがこの式を満たす範囲であれば、それに基づく誤差は充分小さいと扱うことができ、良好な位置合わせを行なうことができる。

［第４の実施形態］
第４の実施形態も、本開示に係る撮像装置に関する。第１の実施形態に対して、第１出射面と第１レンズの入射瞳との間には硝材が配置されていることが主に相違する。

図９は、本開示の第４の実施形態に係る撮像装置の構成を説明するための模式図である。

図１に示す撮像装置１にあっては、第１出射面３１と第１レンズ１１の入射瞳との間は屈折率が「１」の空間であった。これに対し、図９に示す撮像装置４にあっては、
第１出射面３１と第１レンズ１１の入射瞳との間には硝材が配置されており、
硝材の屈折率を符号ｎ’を用いて表すとき、硝材の軸方向の長さは（２ａ＋ｎＬ＋ｂ）／ｎ’に設定されている、
といった点が相違する。他の要素は、第１の実施形態において説明した要素と同様であるので、説明を省略する。

撮像装置４にあっては、第１出射面３１と第１レンズ１１の物理的長さを、第１の実施形態よりも短くすることができる。また、光学的距離の関係は、第１の実施形態と同様である。従って、第１の実施形態と同様に位置合わせを良好に行なうことができ、さらに、撮像装置の全長をより短くすることができる。

尚、図９においては、硝材１３とビームスプリッタ３０とは別部材であるとして示したが、場合によっては、硝材１３と、ビームスプリッタ３０を構成する三角プリズムとが一体として構成されていてもよい。また、第１レンズ１１と硝材１３との間に幅が無視できる程度の間隙があってもよい。
。

［第５の実施形態］
第５の実施形態も、本開示に係る撮像装置に関する。第１の実施形態に対して、反射ミラーがビームスプリッタの面上に接して配置されていることが主に相違する。

図１０は、本開示の第５の実施形態に係る撮像装置の構成を説明するための模式図である。

第１の実施形態において、第１出射面と第１レンズの入射瞳との間の光学的距離は、実質的に、２ａ＋ｎＬ＋ｂとなるように設定されている。従って、符号ａを小さくすれば、第１出射面と第１レンズの間は狭まるので、撮像装置全体の小型化に有利である。

図１０に示す撮像装置５において、反射ミラー４０は、ビームスプリッタ３０の面上に接して配置されている。従って、符号ａ＝０として扱うことができ、撮像装置全体の小型化を図ることができる。

反射ミラー４０とビームスプリッタ３０は別体であってもよいし、一体であってもよい。例えば、ビームスプリッタ３０の面３４上にコーティングを施して反射ミラー４０とすることも可能である。また、ビームスプリッタ３０と反射ミラー４０との間にλ／4波長板はＱＷＰフィルムなどの光学材料が配される構成であってもよい。

［第６の実施形態：応用例］
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１１に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１１では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図１２は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１２には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図１１に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１１の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図１１に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

本開示に係る技術は、以上説明した構成のうち、例えば、車外情報検出ユニットの撮像部に適用され得る。即ち、本開示によれば、複数の撮像部を有する撮像装置によって、画像間の位置的なズレが軽減された状態で画像処理を行なうことができるので、より詳細な情報を得ることが可能になる。

［本開示の構成］
尚、本開示は、以下のような構成をとることもできる。

［Ａ１］
被写体からの光が入射する光入射面を有するビームスプリッタ、
ビームスプリッタを透過した光をビームスプリッタ側に戻すための反射ミラー、
光入射面側からの光が反射して出射するビームスプリッタの第１出射面側に配された、第１レンズを含む第１撮像部、及び、
反射ミラー側からの光が反射して出射するビームスプリッタの第２出射面側に配された、第２レンズを含む第２撮像部、
を備えており、
光が光入射面から第１レンズに至るまでの光学的距離は、光が光入射面から第２レンズに至るまでの光学的距離と実質的に同じになるように設定されている、
撮像装置。
［Ａ２］
ビームスプリッタは、断面が正方形状であるキューブ型であり、
ビームスプリッタの断面の一辺の長さを符号Ｌ、
ビームスプリッタを構成する材料の屈折率を符号ｎ、
ビームスプリッタと反射ミラーとの間の距離を符号ａ、
第２出射面と第２レンズの入射瞳までの距離を符号ｂ、
を用いて表すとき、
第１出射面と第１レンズの入射瞳までの光学的距離は、実質的に、２ａ＋ｎＬ＋ｂとなるように設定されている、
上記［Ａ１］に記載の撮像装置。
［Ａ３］
最接写距離となる被写体距離を符号ＯＤ’、
第２撮像部のＸ方向及びＹ方向の画素数を符号２Ｐｘ及び符号２Ｐｙ、
第１レンズの焦点距離を符号ｆ₁、
第２レンズの焦点距離を符号ｆ₂、
を用いて表すとき、
ｆ₁≦ｆ₂であって、第１出射面と第１レンズの入射瞳までの光学的距離が２ａ＋ｎＬ＋Δｚ＋ｂである場合に、
符号Δｚは以下の式、

を満たす、
上記［Ａ２］に記載の撮像装置。
［Ａ４］
最接写距離となる被写体距離を符号ＯＤ’、
第２撮像部のＸ方向及びＹ方向の画素数を符号２Ｐｘ及び符号２Ｐｙ、
第２撮像部の画素ピッチを符号ｄ、
第１レンズの焦点距離を符号ｆ₁、
第２レンズの焦点距離を符号ｆ₂、
第２レンズの開口数を符号ＮＡ、
検出する光の波長を符号λ、
を用いて表すとき、
ｆ₁≦ｆ₂であって、第１出射面と第１レンズの入射瞳までの光学的距離が２ａ＋ｎＬ＋Δｚ＋ｂである場合に、
符号Δｚは以下の式、

を満たす、
上記［Ａ２］に記載の撮像装置。
［Ａ５］
第１出射面と第１レンズの入射瞳との間には硝材が配置されており、
硝材の屈折率を符号ｎ’を用いて表すとき、硝材の軸方向の長さは（２ａ＋ｎＬ＋ｂ）／ｎ’に設定されている、
上記［Ａ２］ないし［Ａ４］のいずれかに記載の撮像装置。
［Ａ６］
反射ミラーは、ビームスプリッタの面上に接して配置されている、
上記［Ａ１］ないし［Ａ５］のいずれかに記載の撮像装置。
［Ａ７］
第１撮像部により取得された第１画像と第２撮像部により取得された第２画像とに基づいて画像を処理する画像処理部を更に備えている、
上記［Ａ１］ないし［Ａ６］のいずれかに記載の撮像装置。
［Ａ８］
画像処理部は、
第１撮像部により取得された第１画像と第２撮像部により取得された第２画像とを同じサイズに合わせるサイズ合わせ部、及び、
同じサイズの第１画像と第２画像との画像信号に基づいて信号処理を行なう画像信号処理部、
を備えている、
上記［Ａ７］に記載の撮像装置。

［Ｂ１］
撮像装置を備えた電子機器であって、
撮像装置は、
被写体からの光が入射する光入射面を有するビームスプリッタ、
ビームスプリッタを透過した光をビームスプリッタ側に戻すための反射ミラー、
光入射面側からの光が反射して出射するビームスプリッタの第１出射面側に配された、第１レンズを含む第１撮像部、及び、
反射ミラー側からの光が反射して出射するビームスプリッタの第２出射面側に配された、第２レンズを含む第２撮像部、
を備えており、
光が光入射面から第１レンズに至るまでの光学的距離は、光が光入射面から第２レンズに至るまでの光学的距離と実質的に同じになるように設定されている、
電子機器。
［Ｂ２］
ビームスプリッタは、断面が正方形状であるキューブ型であり、
ビームスプリッタの断面の一辺の長さを符号Ｌ、
ビームスプリッタを構成する材料の屈折率を符号ｎ、
ビームスプリッタと反射ミラーとの間の距離を符号ａ、
第２出射面と第２レンズの入射瞳までの距離を符号ｂ、
を用いて表すとき、
第１出射面と第１レンズの入射瞳までの光学的距離は、実質的に、２ａ＋ｎＬ＋ｂとなるように設定されている、
上記［Ｂ１］に記載の電子機器。
［Ｂ３］
最接写距離となる被写体距離を符号ＯＤ’、
第２撮像部のＸ方向及びＹ方向の画素数を符号２Ｐｘ及び符号２Ｐｙ、
第１レンズの焦点距離を符号ｆ₁、
第２レンズの焦点距離を符号ｆ₂、
を用いて表すとき、
ｆ₁≦ｆ₂であって、第１出射面と第１レンズの入射瞳までの光学的距離が２ａ＋ｎＬ＋Δｚ＋ｂである場合に、
符号Δｚは以下の式、

を満たす、
上記［Ｂ２］に記載の電子機器。
［Ｂ４］
最接写距離となる被写体距離を符号ＯＤ’、
第２撮像部のＸ方向及びＹ方向の画素数を符号２Ｐｘ及び符号２Ｐｙ、
第２撮像部の画素ピッチを符号ｄ、
第１レンズの焦点距離を符号ｆ₁、
第２レンズの焦点距離を符号ｆ₂、
第２レンズの開口数を符号ＮＢ、
検出する光の波長を符号λ、
を用いて表すとき、
ｆ₁≦ｆ₂であって、第１出射面と第１レンズの入射瞳までの光学的距離が２ａ＋ｎＬ＋Δｚ＋ｂである場合に、
符号Δｚは以下の式、

を満たす、
上記［Ｂ２］に記載の電子機器。
［Ｂ５］
第１出射面と第１レンズの入射瞳との間には硝材が配置されており、
硝材の屈折率を符号ｎ’を用いて表すとき、硝材の軸方向の長さは（２ａ＋ｎＬ＋ｂ）／ｎ’に設定されている、
上記［Ｂ２］ないし［Ｂ４］のいずれかに記載の電子機器。
［Ｂ６］
反射ミラーは、ビームスプリッタの面上に接して配置されている、
上記［Ｂ１］ないし［Ｂ５］のいずれかに記載の電子機器。
［Ｂ７］
第１撮像部により取得された第１画像と第２撮像部により取得された第２画像とに基づいて画像を処理する画像処理部を更に備えている、
上記［Ｂ１］ないし［Ｂ６］のいずれかに記載の電子機器。
［Ｂ８］
画像処理部は、
第１撮像部により取得された第１画像と第２撮像部により取得された第２画像とを同じサイズに合わせるサイズ合わせ部、及び、
同じサイズの第１画像と第２画像との画像信号に基づいて信号処理を行なう画像信号処理部、
を備えている、
上記［Ｂ７］に記載の電子機器。

１，２，３，４，５，９・・・撮像装置、１０・・・第１撮像部、１１・・・第１レンズ、１２・・・第１撮像素子、１３・・・硝材、２０・・・第２撮像部、２１・・・第２レンズ、２２・・・第２撮像素子、３０・・・ビームスプリッタ、３１・・・第１出射面、３２・・・第２出射面、３３・・・光入射面、３４・・・反射ミラー側の面、３５・・・反射面、４０・・・反射ミラー、５０・・・画像処理部、５１・・・サイズ合わせ部、５２・・・画像信号処理部

Claims

被写体からの光が入射する光入射面を有するビームスプリッタ、
ビームスプリッタを透過した光をビームスプリッタ側に戻すための反射ミラー、
光入射面側からの光が反射して出射するビームスプリッタの第１出射面側に配された、第１レンズを含む第１撮像部、及び、
反射ミラー側からの光が反射して出射するビームスプリッタの第２出射面側に配された、第２レンズを含む第２撮像部、
を備えており、
光が光入射面から第１レンズに至るまでの光学的距離は、光が光入射面から第２レンズに至るまでの光学的距離と実質的に同じになるように設定されている、
撮像装置。
ビームスプリッタは、断面が正方形状であるキューブ型であり、
ビームスプリッタの断面の一辺の長さを符号Ｌ、
ビームスプリッタを構成する材料の屈折率を符号ｎ、
ビームスプリッタと反射ミラーとの間の距離を符号ａ、
第２出射面と第２レンズの入射瞳までの距離を符号ｂ、
を用いて表すとき、
第１出射面と第１レンズの入射瞳までの光学的距離は、実質的に、２ａ＋ｎＬ＋ｂとなるように設定されている、
請求項１に記載の撮像装置。
最接写距離となる被写体距離を符号ＯＤ’、
第２撮像部のＸ方向及びＹ方向の画素数を符号２Ｐｘ及び符号２Ｐｙ、
第１レンズの焦点距離を符号ｆ₁、
第２レンズの焦点距離を符号ｆ₂、
を用いて表すとき、
ｆ₁≦ｆ₂であって、第１出射面と第１レンズの入射瞳までの光学的距離が２ａ＋ｎＬ＋Δｚ＋ｂである場合に、
符号Δｚは以下の式、

を満たす、
請求項２に記載の撮像装置。
最接写距離となる被写体距離を符号ＯＤ’、
第２撮像部のＸ方向及びＹ方向の画素数を符号２Ｐｘ及び符号２Ｐｙ、
第２撮像部の画素ピッチを符号ｄ、
第１レンズの焦点距離を符号ｆ₁、
第２レンズの焦点距離を符号ｆ₂、
第２レンズの開口数を符号ＮＡ、
検出する光の波長を符号λ、
を用いて表すとき、
ｆ₁≦ｆ₂であって、第１出射面と第１レンズの入射瞳までの光学的距離が２ａ＋ｎＬ＋Δｚ＋ｂである場合に、
符号Δｚは以下の式、

を満たす、
請求項２に記載の撮像装置。
第１出射面と第１レンズの入射瞳との間には硝材が配置されており、
硝材の屈折率を符号ｎ’を用いて表すとき、硝材の軸方向の長さは（２ａ＋ｎＬ＋ｂ）／ｎ’に設定されている、
請求項２に記載の撮像装置。
反射ミラーは、ビームスプリッタの面上に接して配置されている、
請求項１に記載の撮像装置。
第１撮像部により取得された第１画像と第２撮像部により取得された第２画像とに基づいて画像を処理する画像処理部を更に備えている、
請求項１に記載の撮像装置。
画像処理部は、
第１撮像部により取得された第１画像と第２撮像部により取得された第２画像とを同じサイズに合わせるサイズ合わせ部、及び、
同じサイズの第１画像と第２画像との画像信号に基づいて信号処理を行なう画像信号処理部、
を備えている、
請求項１に記載の撮像装置。
撮像装置を備えた電子機器であって、
撮像装置は、
被写体からの光が入射する光入射面を有するビームスプリッタ、
ビームスプリッタを透過した光をビームスプリッタ側に戻すための反射ミラー、
光入射面側からの光が反射して出射するビームスプリッタの第１出射面側に配された、第１レンズを含む第１撮像部、及び、
反射ミラー側からの光が反射して出射するビームスプリッタの第２出射面側に配された、第２レンズを含む第２撮像部、
を備えており、
光が光入射面から第１レンズに至るまでの光学的距離は、光が光入射面から第２レンズに至るまでの光学的距離と実質的に同じになるように設定されている、
電子機器。