JP2020136813A - 撮像装置 - Google Patents

Abstract

【課題】ノイズを抑制しつつ撮影ダイナミックレンジの拡大を行うことを可能にする。【解決手段】本開示の撮像装置は、第１の部分画素、第２の部分画素、および第３の部分画素を含む画素が複数、配列された画素アレイと、各画素について、画素アレイの温度に基づいて、第１の部分画素から生成される第１の部分画素信号と、第２の部分画素から生成される第２の部分画素信号とのいずれか一方に、第３の部分画素から生成される第３の部分画素信号を加算する加算処理部とを備える。【選択図】図８

Description

本開示は、複数の撮像画素を有する撮像装置に関する。

撮像装置において、複数の撮像画素からの画素信号を合成することで撮影ダイナミックレンジの拡大を行う技術がある（特許文献１〜３参照）。例えば、明るさに応じて、複数の撮像画素からの画素信号を加算処理することで、撮影ダイナミックレンジの拡大を行う技術がある。

特開２００８−２９４６８９号公報 特開２０１０−２８４２３号公報 特開２０１５−８９０３６号公報

複数の撮像画素からの画素信号を合成する際に、温度上昇によりノイズが増幅される。

ノイズを抑制しつつ撮影ダイナミックレンジの拡大を行うことが可能な撮像装置を提供することが望ましい。

本開示の一実施の形態に係る撮像装置は、第１の部分画素、第２の部分画素、および第３の部分画素を含む画素が複数、配列された画素アレイと、各画素について、画素アレイの温度に基づいて、第１の部分画素から生成される第１の部分画素信号と、第２の部分画素から生成される第２の部分画素信号とのいずれか一方に、第３の部分画素から生成される第３の部分画素信号を加算する加算処理部とを備える。

本開示の一実施の形態に係る撮像装置では、各画素について、画素アレイの温度に基づいて、第１の部分画素から生成される第１の部分画素信号と、第２の部分画素から生成される第２の部分画素信号とのいずれか一方に、第３の部分画素から生成される第３の部分画素信号が加算される。

比較例に係る撮像装置における画素構造の一例を概略的に示す平面図である。 比較例に係る撮像装置における画素アレイの一構成例を概略的に示す平面図である。 比較例に係る撮像装置における画素構造の一例を概略的に示す断面図である。 比較例に係る撮像装置における撮像画素への入射光量と信号電荷量との関係の一例を概略的に示す説明図である。 比較例に係る撮像装置における画素構造を用いて撮像ダイナミックレンジの拡大を行った場合の問題点を概略的に示す説明図である。 本開示の第１の実施の形態に係る撮像装置の一例を概略的に示す構成図である。 第１の実施の形態に係る撮像装置における画素構造の一例を概略的に示す平面図である。 第１の実施の形態に係る撮像装置における画素アレイの一構成例を概略的に示す平面図である。 第１の実施の形態に係る撮像装置における画素構造および画素信号の加算処理の手法の第１の例を概略的に示す構成図である。 第１の実施の形態に係る撮像装置における画素構造および画素信号の加算処理の手法の第２の例を概略的に示す構成図である。 第１の実施の形態に係る撮像装置における撮像画素への入射光量と信号電荷量との関係の一例を概略的に示す説明図である。 比較例に係る撮像装置と第１の実施の形態に係る撮像装置とにおける撮影ダイナミックレンジの違いを模式的に示す説明図である。 第１の実施の形態に係る撮像装置における、温度による画素加算制御の概要を示す説明図である。 第１の実施の形態に係る撮像装置における、温度による画素加算制御の第１の例を概略的に示す説明図である。 第１の実施の形態に係る撮像装置における、温度による画素加算制御の第２の例を概略的に示す説明図である。 第１の実施の形態に係る撮像装置における、温度による画素加算制御の第３の例を概略的に示す説明図である。 第１の実施の形態に係る撮像装置における、温度による画素加算制御の第４の例を概略的に示す説明図である。 第２の実施の形態に係る撮像装置における画素構造、および温度による画素加算制御の一例を概略的に示す説明図である。 車両制御システムの概略的な構成例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
０．比較例（図１〜図５）
１．第１の実施の形態（図６〜図１７）
１．１ 第１の実施の形態に係る撮像装置の構成および動作
１．２ 効果
２．第２の実施の形態（図１８）
３．移動体への応用例（図１９〜図２０）
４．その他の実施の形態

＜０．比較例＞
（比較例に係る撮像装置の概要と課題）
図１は、比較例に係る撮像装置における画素構造の平面構成例を概略的に示している。図２は、比較例に係る撮像装置における画素アレイ１００の平面構成例を概略的に示している。図３は、比較例に係る撮像装置における画素構造の断面構成例を概略的に示している。

図１に示した比較例に係る撮像装置における画素構造は、１つの撮像画素Ｐ１００が、画素面積（受光面積）の大きい大画素Ｐ１０１と画素面積の小さい小画素Ｐ１０２とを含む構成とされている。

比較例に係る撮像装置では、このような撮像画素Ｐ１００が、図２に示したようにマトリクス状に複数、配列された画素アレイ１００を備えている。撮像画素Ｐ１００の上には、大画素Ｐ１０１に相当する位置にオンチップレンズ５１１が配置され、小画素Ｐ１０２に相当する位置にオンチップレンズ５１２が配置されている。

また、図３に示したように、大画素Ｐ１０１に相当する位置にフォトダイオードＰＤ１１が配置され、小画素Ｐ１０２に相当する位置にフォトダイオードＰＤ１２が配置されている。フォトダイオードＰＤ１１，ＰＤ１２は、受光量に応じた量の電荷を生成して内部に蓄積する光電変換素子である。撮像装置では、フォトダイオードＰＤ１１，ＰＤ１２によって生成された信号電荷量に応じた画素信号が生成される。フォトダイオードＰＤ１１には、オンチップレンズ５１１によって集光された光が大画素Ｐ１０１を介して入射する。フォトダイオードＰＤ１２には、オンチップレンズ５１２によって集光された光が小画素Ｐ１０２を介して入射する。フォトダイオードＰＤ１２の受光感度は、フォトダイオードＰＤ１１の受光感度よりも小さくなっている。

図４は、比較例に係る撮像装置における撮像画素Ｐ１００への入射光量（横軸）と信号電荷量（縦軸）との関係の一例を概略的に示している。

図４に示したように、比較例に係る撮像装置における撮像画素Ｐ１００では、画素面積の違いとフォトダイオードＰＤ１１，ＰＤ１２の受光感度の違いとによって、小画素Ｐ１０２の画素感度は、大画素Ｐ１０１の画素感度よりも小さくなっている。大画素Ｐ１０１に相当するフォトダイオードＰＤ１１によって生成される信号電荷量は、所定の入射光量で飽和する。

図５は、比較例に係る撮像装置における画素構造を用いて撮像ダイナミックレンジの拡大を行った場合の問題点を概略的に示している。図５において、横軸は露光時間、縦軸は画素信号のレベルを示す。

図４に示した特性により、大画素Ｐ１０１によって生成される画素信号のレベルは、所定の露光時間で飽和する。そこで、図５に示したように、比較例に係る撮像装置では、露光時間が所定の露光時間未満の場合には、大画素Ｐ１０１によって生成される画素信号を撮像画素Ｐ１００の画素信号とする。露光時間が所定の露光時間に達する場合には、大画素Ｐ１０１によって生成される画素信号に小画素Ｐ１０２によって生成される画素信号を加算した合成の画素信号を撮像画素Ｐ１００の画素信号とする。これにより、撮影ダイナミックレンジの拡大を行うことが可能となる。

ここで、小画素Ｐ１０２では、図５に示したように、所定の露光時間よりも短い露光時間ではノイズが多く、生成される画素信号はＳＮ比（signal-to-noise ratio）が悪くなる。大画素Ｐ１０１によって生成される画素信号と小画素Ｐ１０２によって生成される画素信号とを合成する場合、合成の境界領域では小画素Ｐ１０２によるノイズが見えやすい。このノイズは、撮像画素Ｐ１００の周囲の温度が上昇すると大きくなる。比較例に係る撮像装置の場合、画素面積の違いにより画素感度を決めているため、大画素Ｐ１０１の画素感度と小画素Ｐ１０２の画素感度はそれぞれ、固定となる。このため、撮像画素Ｐ１００の周囲の温度が上昇し、合成の境界領域においてノイズが大きくなった場合に、小画素Ｐ１０２の画素感度を大画素Ｐ１０１の画素感度に近付けてノイズを抑制することはできない。この場合、大画素Ｐ１０１と小画素Ｐ１０２とのシャッタ比を調整して合成の境界領域におけるノイズを抑制することができる。例えば大画素Ｐ１０１に対して小画素Ｐ１０２の露光時間が長くなるようにシャッタ比を調整する。しかしながら、シャッタ比の調整で合成の境界領域におけるノイズを抑制した場合、異なる時間でシャッタを切るため、被写体が移動する場合、色付きが発生してしまう。

そこで、温度上昇時のノイズを抑制しつつ撮影ダイナミックレンジの拡大を行うことを可能にする技術の開発が望まれる。

＜１．第１の実施の形態＞
［１．１ 第１の実施の形態に係る撮像装置の構成および動作］
（撮像装置の概要）
図６は、本開示の第１の実施の形態に係る撮像装置１の一構成例を概略的に示している。

第１の実施の形態に係る撮像装置１は、画素アレイ２と、走査部１０と、読出部２０と、撮像制御部３０と、信号処理部４０とを備えている。走査部１０は、アドレスデコーダ１１と、ロジック部１２と、ドライバ部１３とを有している。撮像制御部３０は、温度センサ３１を有している。信号処理部４０は、画像処理部４１を有している。

画素アレイ２には、複数の撮像画素Ｐ１がマトリクス状に配列されている。

走査部１０は、撮像制御部３０からの指示に基づいて、画素ライン単位で、画素アレイ２における撮像画素Ｐ１を順次駆動する。

アドレスデコーダ１１は、撮像制御部３０から供給されたアドレス信号に基づいて、画素アレイ２における、そのアドレス信号が示すアドレスに応じた画素ラインを選択する。ロジック部１２およびドライバ部１３は、各画素ラインに対応する信号を生成する。

読出部２０は、複数のＡＤ（Analog to Digital）変換部を有している。ＡＤ変換部は、画素アレイ２の撮像画素Ｐ１によって生成されたアナログの画素信号をＡＤ変換してデジタルの画素信号を生成する。読出部２０は、デジタルの画素信号に基づいて画像信号ＤＡＴＡ０を生成して出力する。

撮像制御部３０は、走査部１０、読出部２０、および信号処理部４０に制御信号を供給し、これらの回路の動作を制御することにより、撮像装置１の動作を制御する。具体的には、撮像制御部３０は、例えば、走査部１０に対してアドレス信号を供給することにより、走査部１０が、画素ライン単位で、画素アレイ２における撮像画素Ｐ１を順次駆動するように制御する。また、撮像制御部３０は、読出部２０に対して、制御信号を供給することにより、読出部２０が、撮像画素Ｐ１からの画素信号に基づいて画像信号ＤＡＴＡ０を生成するように制御する。また、撮像制御部３０は、信号処理部４０に対して制御信号を供給することにより、信号処理部４０の動作を制御する。

温度センサ３１は、画素アレイ２の温度を検出する温度検出部である。温度センサ３１は、画素アレイ２の温度に応じた検出信号を生成する。

信号処理部４０において、画像処理部４１は、読出部２０からの画像信号ＤＡＴＡ０に対して所定の画像処理を行って、画像信号ＤＡＴＡとして出力する。

（撮像装置１における画素構造および画素信号の加算処理の概要）
図７は、第１の実施の形態に係る撮像装置１における撮像画素Ｐ１の画素構造の平面構成例を概略的に示している。図８は、第１の実施の形態に係る撮像装置１における画素アレイ２の平面構成例を概略的に示している。

撮像画素Ｐ１は、複数の部分画素を含んでいる。複数の部分画素は、第１の部分画素Ｐ１１、第２の部分画素Ｐ１２、および第３の部分画素Ｐ１３を含む。第１の部分画素Ｐ１１、第２の部分画素Ｐ１２、および第３の部分画素Ｐ１３のそれぞれの画素面積は同一となっている。１つの撮像画素Ｐ１につき、第１の部分画素Ｐ１１は複数、配置されている。また、１つの撮像画素Ｐ１につき、第２の部分画素Ｐ１２は少なくとも１つ配置されている。また、１つの撮像画素Ｐ１につき、第３の部分画素Ｐ１３は少なくとも１つ配置されている。

撮像画素Ｐ１の上には、オンチップレンズ５１が配置されている。オンチップレンズ５１は、第１の部分画素Ｐ１１、第２の部分画素Ｐ１２、および第３の部分画素Ｐ１３のそれぞれに相当する位置に個々に配置されていてもよい。

１つの撮像画素Ｐ１内において、複数の第１の部分画素Ｐ１１が占める画素面積は、少なくとも１つの第２の部分画素Ｐ１２および第３の部分画素Ｐ１３が占める画素面積に比べて大きい。第１の部分画素Ｐ１１と第３の部分画素Ｐ１３とを合わせた第１の合成画素面積は、第２の部分画素Ｐ１２と第３の部分画素Ｐ１３とを合わせた第２の合成画素面積よりも大きい。これにより、第１の部分画素Ｐ１１は、比較例に係る撮像装置における大画素Ｐ１０１（図１）に相当する役割を持つ。第２の部分画素Ｐ１２は、比較例に係る撮像装置における小画素Ｐ１０２（図１）に相当する役割を持つ。第３の部分画素Ｐ１３は、役割が可変となる部分画素であり、温度センサ３１によって検出された画素アレイ２の温度に応じて、大画素Ｐ１０１に相当する役割と小画素Ｐ１０２に相当する役割とのいずれか一方の役割を持つ。第３の部分画素Ｐ１３から生成される第３の部分画素信号は、温度センサ３１によって検出された画素アレイ２の温度に応じて、第１の部分画素Ｐ１１から生成される第１の部分画素信号と、第２の部分画素Ｐ１２から生成される第２の部分画素信号とのいずれか一方に加算される。

なお、図７および図８には、１つの撮像画素Ｐ１内で、第２の部分画素Ｐ１２が中心部に１つのみ配置されている例を示す。ただし、第２の部分画素Ｐ１２の配置位置は中心部に限定されるものではない。また、第２の部分画素Ｐ１２の数は１つに限定されるものではない。

また、図７および図８には、通常動作時における画素の状態を示す。ここで、通常動作時とは、温度センサ３１によって検出された画素アレイ２の温度が、所定の温度未満の場合に相当する。通常動作時には、図７および図８に示したように、例えば、第３の部分画素Ｐ１３がすべて大画素Ｐ１０１に相当する役割を持ち、第１の部分画素Ｐ１１に加算される。図７および図８において、第３の部分画素Ｐ１３はＮ（＝１以上の整数）個配置されているが、便宜上、図７および図８には、第１の部分画素Ｐ１１と第３の部分画素Ｐ１３とを区別なく図示している。

図９は、第１の実施の形態に係る撮像装置１における画素構造および画素信号の加算処理の手法の第１の例を概略的に示している。なお、図９では、説明の便宜上、画素構造を簡略化し、第１の部分画素Ｐ１１、第２の部分画素Ｐ１２、および第３の部分画素Ｐ１３をそれぞれ１つずつのみ図示している。

図９に示したように、撮像装置１は、複数のフォトダイオードＰＤ１，ＰＤ２，ＰＤ３と、複数のアナログ回路ＡＮ１，ＡＮ２，ＡＮ３と、ＡＤ変換部ＡＤＣ１，ＡＤＣ２，ＡＤＣ３と、加算処理部２１とを有している。

フォトダイオードＰＤ１は、第１の部分画素Ｐ１１に相当する位置に配置されている。フォトダイオードＰＤ２は、第２の部分画素Ｐ１２に相当する位置に配置されている。フォトダイオードＰＤ３は、第３の部分画素Ｐ１３に相当する位置に配置されている。

フォトダイオードＰＤ１，ＰＤ２，ＰＤ３は、受光量に応じた量の電荷を生成して内部に蓄積する光電変換素子である。撮像装置１では、フォトダイオードＰＤ１，ＰＤ２，ＰＤ３によって生成された信号電荷量に応じた画素信号が生成される。フォトダイオードＰＤ１には、オンチップレンズ５１によって集光された光が第１の部分画素Ｐ１１を介して入射する。フォトダイオードＰＤ２には、オンチップレンズ５１によって集光された光が第２の部分画素Ｐ１２を介して入射する。フォトダイオードＰＤ３には、オンチップレンズ５１によって集光された光が第３の部分画素Ｐ１３を介して入射する。フォトダイオードＰＤ１，ＰＤ２，ＰＤ３のそれぞれの受光感度は同一となっている。

アナログ回路ＡＮ１，ＡＮ２，ＡＮ３はそれぞれ、トランジスタ、容量素子、およびフローティングディフュージョン等の回路素子を含む。

アナログ回路ＡＮ１はフォトダイオードＰＤ１に接続され、フォトダイオードＰＤ１に蓄積された電荷に応じたアナログの画素信号（第１の部分画素信号）を生成する。アナログ回路ＡＮ２はフォトダイオードＰＤ２に接続され、フォトダイオードＰＤ２に蓄積された電荷に応じたアナログの画素信号（第２の部分画素信号）を生成する。アナログ回路ＡＮ３はフォトダイオードＰＤ３に接続され、フォトダイオードＰＤ３に蓄積された電荷に応じたアナログの画素信号（第３の部分画素信号）を生成する。

ＡＤ変換部ＡＤＣ１，ＡＤＣ２，ＡＤＣ３は、読出部２０に設けられている。ＡＤ変換部ＡＤＣ１は、アナログ回路ＡＮ１に接続され、デジタルの第１の部分画素信号を生成する。ＡＤ変換部ＡＤＣ２は、アナログ回路ＡＮ２に接続され、デジタルの第２の部分画素信号を生成する。ＡＤ変換部ＡＤＣ３は、アナログ回路ＡＮ３に接続され、デジタルの第３の部分画素信号を生成する。

加算処理部２１は、読出部２０に設けられている。加算処理部２１は、複数の撮像画素Ｐ１のそれぞれについて、温度センサ３１によって検出された画素アレイ２の温度に基づいて、第１の部分画素Ｐ１１から生成される第１の部分画素信号と、第２の部分画素Ｐ１２から生成される第２の部分画素信号とのいずれか一方に、第３の部分画素Ｐ１３から生成される第３の部分画素信号を加算する。

加算処理部２１は、例えば、画素アレイ２の温度が、所定の温度未満の場合には、第３の部分画素信号を第１の部分画素信号に加算し、所定の温度以上の場合は、第３の部分画素信号を第２の部分画素信号に加算する。加算処理部２１は、ＡＤ変換部ＡＤＣ１，ＡＤＣ２，ＡＤＣ３によってデジタル信号に変換された後に、第３の部分画素信号を、第１の部分画素信号と第２の部分画素信号とのいずれか一方に加算する。

図１０は、第１の実施の形態に係る撮像装置１における画素構造および画素信号の加算処理の手法の第２の例を概略的に示している。なお、図１０では、説明の便宜上、画素構造を簡略化し、第１の部分画素Ｐ１１、第２の部分画素Ｐ１２、および第３の部分画素Ｐ１３をそれぞれ１つずつのみ図示している。

図９には、加算処理部２１を読出部２０に設け、第３の部分画素Ｐ１３から生成される第３の部分画素信号の加算をデジタル処理により行う例を示したが、図１０には第３の部分画素信号をデジタル信号に変換される前に加算する例を示す。

図１０に示したように、アナログ回路ＡＮ１，ＡＮ２，ＡＮ３のそれぞれを加算処理部２１に接続し、加算処理部２１において、アナログの画素信号の状態で、第３の部分画素信号を加算する処理を行ってもよい。図１０の例では、読出部２０には、加算処理部２１による加算処理後のアナログの第１の部分画素信号をデジタル信号に変換するＡＤ変換部ＡＤＣ１と、加算処理部２１による加算処理後のアナログの第２の部分画素信号をデジタル信号に変換するＡＤ変換部ＡＤＣ２とが設けられている。

図１１は、第１の実施の形態に係る撮像装置１における撮像画素Ｐ１への入射光量（横軸）と信号電荷量（縦軸）との関係の一例を概略的に示している。図１２は、比較例に係る撮像装置と第１の実施の形態に係る撮像装置１とにおける撮影ダイナミックレンジの違いを模式的に示している。

図１１および図１２には、１つの撮像画素Ｐ１における部分画素（第１の部分画素Ｐ１１、第２の部分画素Ｐ１２、または第３の部分画素Ｐ１３）の数の違いによる特性を示す。部分画素を加算する数が増えるにつれて、全体の画素面積が大きくなるので、図１１に示したように、入射光量に対する信号電荷量は増加する。部分画素を加算する数が増えるにつれて、全体の画素面積が大きくなるので、画素感度は大きくなる。従って、図１２に示したように、部分画素を加算する数が増えるにつれて、撮影ダイナミックレンジは、比較例に係る撮像装置における大画素Ｐ１０１の画素感度に近くなる。

（温度による画素加算制御の具体例）
図１３は、第１の実施の形態に係る撮像装置１における、温度による画素加算制御の概要を示している。

撮像装置１は、温度センサ３１によって検出された画素アレイ２の温度に応じて、複数の画素加算モードのいずれかで動作する。撮像装置１では、温度が上昇するにつれて、比較例に係る撮像装置における小画素Ｐ１０２（図１）に相当する役割を持つ第２の部分画素Ｐ１２に、第３の部分画素Ｐ１３を第２の部分画素Ｐ１２として加算していく。これにより、温度上昇時において、小画素Ｐ１０２に相当する第２の部分画素Ｐ１２に発生するノイズを抑制する。例えば図１３に示したように、温度が上昇して高温になった場合、順次、モードＡ、モードＢで動作する。モードＢはモードＡよりも温度が高い場合の動作モードである。以下、図１４ないし図１７に、図１３に示した各動作モードにおける画素の加算状態の具体例を示す。

図１４は、撮像装置１における、温度による画素加算制御の第１の例を概略的に示している。図１５は、撮像装置１における、温度による画素加算制御の第２の例を概略的に示している。図１６は、撮像装置１における、温度による画素加算制御の第３の例を概略的に示している。図１７は、撮像装置１における、温度による画素加算制御の第４の例を概略的に示している。

図１４ないし図１７において（Ａ）には通常動作時の動作モードにおける画素の加算状態、（Ｂ）には図１３に示したモードＡにおける画素の加算状態、（Ｃ）には図１３に示したモードＢにおける画素の加算状態を示す。

図１４ないし図１６には、１つの撮像画素Ｐ１内で、第２の部分画素Ｐ１２が中心部に１つのみ配置されている例を示す。図１７には、１つの撮像画素Ｐ１内で、第２の部分画素Ｐ１２が周辺領域に１つのみ配置されている例を示す。

図１４ないし図１７の各例において、通常動作時には、第３の部分画素Ｐ１３がすべて比較例に係る撮像装置における大画素Ｐ１０１（図１）に相当する役割を持ち、第１の部分画素Ｐ１１に加算される。便宜上、図１４ないし図１７には、第１の部分画素Ｐ１１と第３の部分画素Ｐ１３とを区別なく図示している。

図１４の例では、通常動作時の画素の状態に対して、モードＡ、モードＢでは、第２の部分画素Ｐ１２の周囲に配置された第３の部分画素Ｐ１３を順次、第２の部分画素Ｐ１２として加算している。

図１５の例では、通常動作時の画素の状態に対して、モードＡ、モードＢでは、対角方向に配置された第３の部分画素Ｐ１３を第２の部分画素Ｐ１２に順次、加算している。

図１６の例では、通常動作時の画素の状態に対して、モードＡ、モードＢでは、対角方向の一部および十字方向の一部に配置された第３の部分画素Ｐ１３を第２の部分画素Ｐ１２に順次、加算している。

図１７の例では、通常動作時の画素の状態に対して、モードＡ、モードＢでは、撮像画素Ｐ１内の周辺領域において、第２の部分画素Ｐ１２の周囲に配置された第３の部分画素Ｐ１３を順次、第２の部分画素Ｐ１２として加算している。

なお、図１７に示した例は、図１０のように画素信号をアナログ的に加算処理する場合に適している。図１０のように画素信号をアナログ的に加算処理する場合、図９のように画素信号をデジタル的に加算処理する場合に比べて低消費電力で実施可能である。第１の部分画素Ｐ１１、第２の部分画素Ｐ１２、および第３の部分画素Ｐ１３のそれぞれにおいて、電荷を加算するフローティングディフュージョンをフォトダイオードＰＤ１，ＰＤ２，ＰＤ３の近傍に配置することが好ましい。このため、第１の部分画素Ｐ１１または第２の部分画素Ｐ１２に加算される第３の部分画素Ｐ１３は、まとまって配置されていることが好ましく、画素配置に制約が発生しやすい。これに対し、図９のように画素信号をデジタル的に加算処理する場合には、画素信号をアナログ的に加算処理する場合に比べて、読出部２０における画素信号の読み出しおよび加算処理が複雑になる可能性があるが、画素配置に制約はなく、図１４ないし図１７の例のいずれの配置であってもよい。

図１４ないし図１６の例では、比較例に係る撮像装置における大画素Ｐ１０１（図１）に相当する画素部分と、小画素Ｐ１０２（図１）に相当する画素部分とで画素の空間位相ずれが少ない。

（変形例）
第１の部分画素Ｐ１１、第２の部分画素Ｐ１２、および第３の部分画素Ｐ１３の形状は円形に限らず、矩形状や多角形状等、他の形状であってもよい。また、図１３ないし図１７には、高温時の動作モードがモードＡおよびモードＢの２つの場合である例を示したが、高温時の動作モードが１または３以上であってもよい。また、モードＡおよびモードＢにおいて加算する第３の部分画素Ｐ１３の数および位置は図１４ないし図１７に示した例に限定されるものではない。

［１．２ 効果］
以上説明したように、第１の実施の形態に係る撮像装置１によれば、画素アレイ２の温度に基づいて、第１の部分画素Ｐ１１から生成される第１の部分画素信号と、第２の部分画素Ｐ１２から生成される第２の部分画素信号とのいずれか一方に、第３の部分画素Ｐ１３から生成される第３の部分画素信号を加算するようにしたので、温度上昇時のノイズを抑制しつつ撮影ダイナミックレンジの拡大を行うことが可能となる。

第１の実施の形態に係る撮像装置１によれば、通常動作時には、比較例に係る撮像装置（図１〜図５）と同様の撮影ダイナミックレンジの性能が得られる。また、温度上昇により合成の境界領域においてノイズが大きくなる場合には、大画素Ｐ１０１に相当する第１の部分画素Ｐ１１と小画素Ｐ１０２に相当する第２の部分画素Ｐ１２との画素感度比が小さくなるように第３の部分画素Ｐ１３を加算制御することで、第１の部分画素Ｐ１１と第２の部分画素Ｐ１２とのシャッタ比を変えずに、合成の境界領域におけるノイズを抑制することができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。

＜２．第２の実施の形態＞
次に、本開示の第２の実施の形態に係る撮像装置について説明する。なお、以下では、上記第１の実施の形態に係る撮像装置の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。

図１８は、第２の実施の形態に係る撮像装置における画素構造、および温度による画素加算制御の一例を概略的に示している。

第１の実施の形態では、１つの撮像画素Ｐ１において、第１の部分画素Ｐ１１、第２の部分画素Ｐ１２、および第３の部分画素Ｐ１３のそれぞれの画素面積が同一である場合を例に説明したが、複数の部分画素の面積の一部またはすべてが互いに異なる画素面積となっていてもよい。

図１８に示した例では、１つの撮像画素Ｐ１において、第１の部分画素Ｐ１１、第２の部分画素Ｐ１２、および第３の部分画素Ｐ１３が１つずつ配置されている。そして、第１の部分画素Ｐ１１の画素面積が、第２の部分画素Ｐ１２および第３の部分画素Ｐ１３の画素面積に対して大きくなっている。第１の部分画素Ｐ１１は１つの撮像画素Ｐ１内において中央部に配置され、第２の部分画素Ｐ１２および第３の部分画素Ｐ１３は第１の部分画素Ｐ１１の周辺領域に配置されている。

図１８において（Ａ）には通常動作時の動作モードにおける画素の加算状態、（Ｂ）には高温時の動作モードにおける画素の加算状態を示す。通常動作時には、第３の部分画素Ｐ１３が第１の部分画素Ｐ１１として加算される。高温時には、第３の部分画素Ｐ１３が第２の部分画素Ｐ１２として加算される。

（変形例）
図１８には第１の部分画素Ｐ１１、第２の部分画素Ｐ１２、および第３の部分画素Ｐ１３の形状が円形である場合を示したが、各部分画素の形状は矩形状や多角形状等、他の形状であってもよい。また、図１８には、動作モードが通常動作時と高温時との２つの場合である例を示したが、第３の部分画素Ｐ１３の数を２以上に増やし、高温時の動作モードを３以上に増やしてもよい。また、各部分画素の数および位置は図１８に示した例に限定されるものではない。

その他の構成、動作および効果は、上記第１の実施の形態に係る撮像装置１と略同様であってもよい。

＜３．移動体への応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１９に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１９の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図２０は、撮像部１２０３１の設置位置の例を示す図である。

図２０では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。

撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図２０には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上説明した車両制御システム１２０００において、本開示の撮像装置は、例えば、撮像部１２０３１、および運転者状態検出部１２０４１に適用することができる。撮像部１２０３１、および運転者状態検出部１２０４１に本開示に係る技術を適用することにより、ノイズを抑制しつつ撮影ダイナミックレンジの拡大された画像データを得ることが可能となり、車外および車内の情報取得の精度を向上させることが可能となる。

＜４．その他の実施の形態＞
本開示による技術は、上記各実施の形態の説明に限定されず種々の変形実施が可能である。

例えば、本技術は以下のような構成を取ることもできる。
以下の構成の本技術によれば、ノイズを抑制しつつ撮影ダイナミックレンジの拡大を行うことが可能となる。

（１）
第１の部分画素、第２の部分画素、および第３の部分画素Ｐ１３を含む画素が複数、配列された画素アレイと、
前記各画素について、前記画素アレイの温度に基づいて、前記第１の部分画素から生成される第１の部分画素信号と、前記第２の部分画素から生成される第２の部分画素信号とのいずれか一方に、前記第３の部分画素から生成される第３の部分画素信号を加算する加算処理部と
を備える
撮像装置。
（２）
前記画素アレイの温度を検出する温度検出部、をさらに備える
上記（１）に記載の撮像装置。
（３）
前記加算処理部は、前記画素アレイの温度が、所定の温度未満の場合は、前記第３の部分画素信号を前記第１の部分画素信号に加算し、前記所定の温度以上の場合は、前記第３の部分画素信号を前記第２の部分画素信号に加算する
上記（１）または（２）に記載の撮像装置。
（４）
前記第１の部分画素と前記第３の部分画素とを合わせた第１の合成画素面積は、前記第２の部分画素と前記第３の部分画素とを合わせた第２の合成画素面積よりも大きい
上記（１）ないし（３）のいずれか１つに記載の撮像装置。
（５）
前記第１の部分画素、前記第２の部分画素、および前記第３の部分画素のそれぞれの画素面積は同一であり、
前記各画素は、前記第１の部分画素を複数含む
上記（１）ないし（４）のいずれか１つに記載の撮像装置。
（６）
前記第１の部分画素の画素面積は、前記第２の部分画素の画素面積および前記第３の部分画素の画素面積よりも大きい
上記（１）ないし（４）のいずれか１つに記載の撮像装置。
（７）
前記第１の部分画素信号、前記第２の部分画素信号、および前記第３の部分画素信号をそれぞれデジタル信号に変換するＡＤ変換部、をさらに備え、
前記加算処理部は、前記ＡＤ変換部によってデジタル信号に変換された後に、前記第３の部分画素信号を、前記第１の部分画素信号と前記第２の部分画素信号とのいずれか一方に加算する
上記（１）ないし（６）のいずれか１つに記載の撮像装置。
（８）
前記第１の部分画素信号、および前記第２の部分画素信号をそれぞれデジタル信号に変換するＡＤ変換部、をさらに備え、
前記加算処理部は、前記ＡＤ変換部によってデジタル信号に変換される前に、前記第３の部分画素信号を、前記第１の部分画素信号と前記第２の部分画素信号とのいずれか一方に加算する
上記（１）ないし（６）のいずれか１つに記載の撮像装置。
（９）
前記各画素において、前記第２の部分画素は中心部に配置されている
上記（１）ないし（５）、（７）、および（８）のいずれか１つに記載の撮像装置。
（１０）
前記各画素において、前記第３の部分画素は前記第２の部分画素の周囲に配置されている
上記（９）に記載の撮像装置。
（１１）
前記各画素において、前記第２の部分画素、および前記第３の部分画素は周辺領域に配置されている
上記（１）ないし（８）のいずれか１つに記載の撮像装置。

１…撮像装置、２…画素アレイ、１０…走査部、１１…アドレスデコーダ、１２…ロジック部、１３…ドライバ部、２０…読出部、２１…加算処理部、３０…撮像制御部、３１…温度センサ、４０…信号処理部、４１…画像処理部、５１…オンチップレンズ、１００…画素アレイ、５１１…オンチップレンズ、５１２…オンチップレンズ、２０００…車両制御システム、１２０３０…車外情報検出ユニット、１２０３１…撮像部、１２１０１，１２１０２，１２１０３，１２１０４，１２１０５…撮像部、ＡＤＣ１，ＡＤＣ２，ＡＤＣ３…ＡＤ変換部、ＡＮ１，ＡＮ２，ＡＮ３…アナログ回路、ＤＡＴＡ０，ＤＡＴＡ…画像信号、ＰＤ１，ＰＤ２，ＰＤ３…フォトダイオード、ＰＤ１１，ＰＤ１２…フォトダイオード、Ｐ１…撮像画素（１画素）、Ｐ１１…第１の部分画素、Ｐ１２…第２の部分画素）、Ｐ１３…第３の部分画素、Ｐ１００…撮像画素（１画素）、Ｐ１０１…大画素、Ｐ１０２…小画素。

Claims (11)

1. 第１の部分画素、第２の部分画素、および第３の部分画素を含む画素が複数、配列された画素アレイと、
   前記各画素について、前記画素アレイの温度に基づいて、前記第１の部分画素から生成される第１の部分画素信号と、前記第２の部分画素から生成される第２の部分画素信号とのいずれか一方に、前記第３の部分画素から生成される第３の部分画素信号を加算する加算処理部と
   を備える
   撮像装置。
2. 前記画素アレイの温度を検出する温度検出部、をさらに備える
   請求項１に記載の撮像装置。
3. 前記加算処理部は、前記画素アレイの温度が、所定の温度未満の場合は、前記第３の部分画素信号を前記第１の部分画素信号に加算し、前記所定の温度以上の場合は、前記第３の部分画素信号を前記第２の部分画素信号に加算する
   請求項１に記載の撮像装置。
4. 前記第１の部分画素と前記第３の部分画素とを合わせた第１の合成画素面積は、前記第２の部分画素と前記第３の部分画素とを合わせた第２の合成画素面積よりも大きい
   請求項１に記載の撮像装置。
5. 前記第１の部分画素、前記第２の部分画素、および前記第３の部分画素のそれぞれの画素面積は同一であり、
   前記各画素は、前記第１の部分画素を複数含む
   請求項１に記載の撮像装置。
6. 前記第１の部分画素の画素面積は、前記第２の部分画素の画素面積および前記第３の部分画素の画素面積よりも大きい
   請求項１に記載の撮像装置。
7. 前記第１の部分画素信号、前記第２の部分画素信号、および前記第３の部分画素信号をそれぞれデジタル信号に変換するＡＤ変換部、をさらに備え、
   前記加算処理部は、前記ＡＤ変換部によってデジタル信号に変換された後に、前記第３の部分画素信号を、前記第１の部分画素信号と前記第２の部分画素信号とのいずれか一方に加算する
   請求項１に記載の撮像装置。
8. 前記第１の部分画素信号、および前記第２の部分画素信号をそれぞれデジタル信号に変換するＡＤ変換部、をさらに備え、
   前記加算処理部は、前記ＡＤ変換部によってデジタル信号に変換される前に、前記第３の部分画素信号を、前記第１の部分画素信号と前記第２の部分画素信号とのいずれか一方に加算する
   請求項１に記載の撮像装置。
9. 前記各画素において、前記第２の部分画素は中心部に配置されている
   請求項１に記載の撮像装置。
10. 前記各画素において、前記第３の部分画素は前記第２の部分画素の周囲に配置されている
    請求項９に記載の撮像装置。
11. 前記各画素において、前記第２の部分画素、および前記第３の部分画素は周辺領域に配置されている
    請求項１に記載の撮像装置。

Images