JP2018029221A - 固体撮像素子、信号処理装置、および、固体撮像素子の制御方法 - Google Patents

Abstract

【課題】複数の画像データを撮像する撮像装置において、一定期間内に生成する画像データの枚数を増加する。
【解決手段】撮像装置の固体撮像素子２００は、画素アレイ部と、統計処理部とを具備する。この固体撮像素子において画素アレイ部には、それぞれが画素信号を生成する複数の画素が二次元格子状に配列される。また、この固体撮像素子において、統計処理部は、画素アレイ部内の複数の画素それぞれの画素信号のばらつきの度合いを示す統計量を複数の画素それぞれの信号値として取得する。
【選択図】図２

Description

本技術は、固体撮像素子、信号処理装置、および、固体撮像素子の制御方法に関する。詳しくは、複数の画像データを撮像する固体撮像素子、信号処理装置、および、固体撮像素子の制御方法に関する。

従来より、撮像装置においては、通常より広いダイナミックレンジを実現するために、ＨＤＲ（High Dynamic Range）合成と呼ばれる画像合成技術が用いられている。例えば、露光時間の異なる複数の画像を撮像し、それらの画像をＨＤＲ合成する撮像装置が提案されている（例えば、特許文献１参照。）。

特開２０１６−１１５９５３号公報

上述のような従来技術では、一般に、ＡＤ（Analog to Digital）変換器で信号レベルをより正確にＡＤ変換するために、ＣＤＳ(Correlated Double Sampling)処理やダーク補正などの様々な信号処理が実行される。ここで、ＣＤＳ処理は、リセット時のリセットレベルと、露光終了時の信号レベルとの差分を求める処理である。また、ダーク補正は、遮光された画素の信号レベルを「０」として、遮光されていない画素の信号レベルを調整する処理である。これらのＣＤＳ処理やダーク補正は、ライン毎や画素毎に実行されるため、画像の解像度が高くなるほど、ＣＤＳ処理等の回数が増大して信号処理の速度が低下してしまう。このため、１枚のＨＤＲ画像の露光のための一定期間内において、画像データを繰り返し読み出す回数（言い換えれば、合成対象の画像データの枚数）を増加させることが困難であるという問題がある。

本技術はこのような状況に鑑みて生み出されたものであり、複数の画像データを撮像する撮像装置において、一定期間内に生成する画像データの枚数を増加することを目的とする。

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、それぞれが画素信号を生成する複数の画素が二次元格子状に配列された画素アレイ部と、上記複数の画素それぞれの上記画素信号のばらつきの度合いを示す統計量を上記複数の画素それぞれの信号値として取得する統計処理部とを具備する固体撮像素子、および、その制御方法である。これにより、画素信号のばらつきの度合いを示す統計量が信号値として取得されるという作用をもたらす。

また、この第１の側面において、上記画素アレイ部を駆動して上記画素信号からなる画像信号を生成させる制御を複数回に亘って行うドライバをさらに具備してもよい。これにより、複数の画像信号が生成されるという作用をもたらす。

また、この第１の側面において、上記統計処理部は、上記画素信号の標準偏差を上記統計量として取得してもよい。これにより、標準偏差が取得されるという作用をもたらす。

また、この第１の側面において、上記統計処理部は、上記複数の画素のそれぞれについて上記画素信号の総和を保持する総和保持部と、上記複数の画素のそれぞれについて上記総和を演算して上記総和保持部に保持させる総和加算器と、上記複数の画素のそれぞれについて上記画素信号の二乗和を保持する二乗和保持部と、上記複数の画素のそれぞれについて上記画素信号の二乗を演算する乗算器と、上記複数の画素のそれぞれについて上記二乗の和を演算して上記二乗和として上記二乗和保持部に保持させる二乗和加算器と、上記総和と上記二乗和と上記生成された画像信号の枚数とから上記統計量を演算する演算部とを備えてもよい。これにより、総和と二乗和と生成された画像信号の枚数とから統計量が演算されるという作用をもたらす。

また、この第１の側面において、上記複数の画素のそれぞれについて上記画素信号の総和および二乗和を演算する回路ブロックをさらに具備し、上記統計処理部は、上記総和と上記二乗和と上記生成された画像信号の枚数とから上記統計量を演算してもよい。これにより、回路ブロックからの総和と二乗和と生成された画像信号の枚数とから統計量が演算されるという作用をもたらす。

また、この第１の側面において、上記統計処理部は、上記画像信号が生成された枚数を計数して当該計数値が所定の設定枚数であるときの上記画素信号の総和および二乗和と上記設定枚数とから上記統計量を演算してもよい。これにより、計数値が所定の設定枚数であるときの画素信号の総和および二乗和と設定枚数とから統計量が演算されるという作用をもたらす。

また、この第１の側面において、測光量に基づいて上記設定枚数を演算する露光制御部をさらに具備してもよい。これにより、測光量に基づいて設定枚数が演算されるという作用をもたらす。

また、この第１の側面において、上記画素アレイ部および上記ドライバは、所定の半導体基板に配置され、上記統計処理部は、上記所定の半導体基板に積層された半導体基板に配置されてもよい。これにより、積層構造の固体撮像素子において統計量が取得されるという作用をもたらす。

また、この第１の側面において、上記画素信号に対してアナログデジタル変換を行うアナログデジタル変換部をさらに具備してもよい。これにより、画素信号に対してアナログデジタル変換が行われるという作用をもたらす。

また、この第１の側面において、上記アナログデジタル変換部は、上記複数の画素のそれぞれについてアナログデジタル変換器を備えてもよい。これにより、画素ごとのアナログデジタル変換器によってアナログデジタル変換が行われるという作用をもたらす。

また、この第１の側面において、上記アナログデジタル変換部は、所定の方向に配列された画素からなるラインのそれぞれについてアナログデジタル変換器を備えてもよい。これにより、ラインごとのアナログデジタル変換器によってアナログデジタル変換が行われるという作用をもたらす。

また、この第１の側面において、上記複数の画素のそれぞれは、光を光電変換して電荷を生成する光電変換素子と、上記電荷を蓄積する浮遊拡散層と、転送信号に従って上記光電変換素子から上記浮遊拡散層へ上記電荷を転送する転送トランジスタと、上記浮遊拡散層の電圧を増幅して画素信号を出力する増幅トランジスタと、選択信号に従って上記画素信号を上記アナログデジタル変換器に出力する選択トランジスタとを備えてもよい。これにより、リセットトランジスタが設けられない画素により画素信号が生成されるという作用をもたらす。

また、本技術の第２の側面は、それぞれが画素信号を生成する複数の画素が二次元格子状に配列された画素アレイ部と、上記複数の画素それぞれの上記画素信号のばらつきの度合いを示す統計量を上記複数の画素それぞれの信号値として取得する統計処理部と、上記信号値からなる画像データに対して所定の信号処理を実行する信号処理部とを具備する信号処理装置である。これにより、画素信号のばらつきの度合いを示す統計量が信号値として取得され、その信号値からなる画像データに対して所定の信号処理が実行されるという作用をもたらす。

本技術によれば、複数の画像データを撮像する撮像装置において、一定期間内に生成する画像データの枚数を増加することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第１の実施の形態における信号レベルの分布の一例を示すグラフである。 本技術の第１の実施の形態における出力平均と標準偏差との間の関係の一例を示すグラフである。 本技術の第１の実施の形態における画素の一構成例を示す回路図である。 本技術の第１の実施の形態におけるカラムＡＤＣ（Analog to Digital Converter）の一構成例を示すブロック図である。 本技術の第１の実施の形態における統計処理部の一構成例を示すブロック図である。 本技術の第１の実施の形態における撮像装置の動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。 本技術の第１の実施の形態の変形例における固体撮像素子の一構成例を示すブロック図である。 本技術の第１の実施の形態の変形例における設定枚数の設定例の一例を示す図である。 本技術の第２の実施の形態における固体撮像素子の階層構造の一例を示す図である。 本技術の第２の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第２の実施の形態における回路ブロックの一構成例を示すブロック図である。 本技術の第２の実施の形態における統計処理部の一構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（画素毎に標準偏差を演算する例）
２．第２の実施の形態（積層構造の固体撮像素子において画素毎に標準偏差を演算する例）

＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像データ（フレーム）を撮像するものであり、撮像レンズ１１０、固体撮像素子２００、ＤＳＰ（Digital Signal Processing）回路１２０、撮像制御部１３０および記録部１４０を備える。なお、撮像装置１００は、特許請求の範囲に記載の信号処理装置の一例である。

撮像レンズ１１０は、光を集光して固体撮像素子２００に導くものである。固体撮像素子２００は、入射光を光電変換してフレームを撮像するものである。固体撮像素子２００として、例えば、ＣＭＯＳ（Complementary MOS）イメージセンサーが用いられる。この固体撮像素子２００は、ダイナミックレンジを拡張したＨＤＲ画像データを複数のフレームから生成する。そして、固体撮像素子２００は、生成したＨＤＲ画像データをＤＳＰ回路１２０に信号線２０９を介して供給する。なお、ＣＭＯＳイメージセンサーの代わりに、ＣＣＤ（Charge Coupled Device）イメージセンサーを用いてもよい。

ＤＳＰ回路１２０は、ＨＤＲ画像データに対して所定の信号処理を実行するものである。信号処理として、画素データのデータサイズを調整する処理や画素データを正規化する処理が実行される。この他、ホワイトバランス処理やデモザイク処理なども実行される。ＤＳＰ回路１２０は、信号処理後のＨＤＲ画像データを記録部１４０に記憶させる。なお、ＤＳＰ回路１２０は、特許請求の範囲に記載の信号処理部の一例である。

撮像制御部１３０は、固体撮像素子２００を制御してフレームを撮像させるものである。この撮像制御部１３０は、露光時間を設定するための情報や垂直同期信号ＶＳＹＮＣなどを含む制御信号を固体撮像素子２００に信号線１３９を介して供給する。この垂直同期信号ＶＳＹＮＣは、フレームを撮像するタイミングを示す同期信号である。

ここで、固体撮像素子２００およびＤＳＰ回路１２０において、ＣＤＳ処理およびダーク補正の両方は、いずれも不要であるため実行されない。これらを実行する必要がない理由については後述する。

［固体撮像素子の構成例］
図２は、本技術の第１の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この固体撮像素子２００は、ドライバ２１０、画素アレイ部２２０、タイミング制御部２５０、ＤＡＣ（Digital to Analog Converter）２６０、カラムＡＤＣ２７０、ラインバッファ２８０および統計処理部３００を備える。これらの回路は、同一の半導体基板に配置される。

画素アレイ部２２０には、複数の画素２３０が二次元格子状に配列される。これらの画素２３０は、光を光電変換してアナログの画素信号を生成するものである。

以下、所定の方向（水平方向など）に配列された画素２３０の集合を「行」と称し、行に垂直な方向に配列された画素２３０の集合を「列」と称する。

ドライバ２１０は、行を順に駆動して画素信号を出力させるものである。ＤＡＣ２６０は、デジタルアナログ変換により、のこぎり刃状のランプ信号を生成するものである。このＤＡＣ２６０は、生成したランプ信号をカラムＡＤＣ２７０に供給する。

カラムＡＤＣ２７０は、行ごとに、その行内の画素２３０の画素信号をＡＤ変換して画素データを生成するものである。このカラムＡＤＣ２７０は、画素データのそれぞれをラインバッファ２８０に供給する。なお、カラムＡＤＣ２７０は、特許請求の範囲に記載のアナログデジタル変換部の一例である。

タイミング制御部２５０は、垂直同期信号ＶＳＹＮＣに同期して、ドライバ２１０およびカラムＡＤＣ２７０のそれぞれの動作タイミングを制御するものである。また、タイミング制御部２５０は、ＤＡＣ２６０を制御してランプ信号を生成させる。

ラインバッファ２８０は、行内の画素２３０のそれぞれの画素データを保持するものである。ラインバッファ２８０は、保持した画素データを統計処理部３００に順に供給する。

統計処理部３００は、画素に順に着目して、その着目した画素の画素データのばらつきを示す統計量を演算するものである。例えば、統計量として標準偏差が演算される。この統計処理部３００は、演算した標準偏差を信号値として、それらの信号値を二次元格子状に配列したデータをＨＤＲ画像データとしてＤＳＰ回路１２０に供給する。

なお、統計処理部３００を固体撮像素子２００内部に配置しているが、統計処理部３００を固体撮像素子２００の外部（ＤＳＰ回路１２０など）に配置してもよい。

図３は、本技術の第１の実施の形態における信号レベルの分布の一例を示すグラフである。同図における横軸は、ある着目画素の信号レベルを示す。また、縦軸は、その着目画素について、信号レベルをサンプリングした回数であるサンプル数を示す。また、細い実線の曲線は、輝度が比較的低い環境下でサンプリングした信号レベルの分布の一例を示し、太い実線の曲線は、輝度が比較的高い環境下でサンプリングした信号レベルの分布の一例を示す。

これらの信号レベルの分布の標準偏差は、光雑音の影響を受けて、環境光の輝度が高くなるほど大きくなる。例えば、輝度が高いときの標準偏差ｕｂは、輝度が低いときの標準偏差ｕａよりも大きい。光雑音は、光子数に依存するため、その光雑音により変動する標準偏差を、画素の受光量を示す信号値として扱うことができる。

ここで、ＡＤ変換されたデジタル信号の値が不正確となる原因としては、「０」基点がずれる場合と信号の読み取りがずれる場合との二通りが考えられる。前述のＣＤＳ処理やダーク補正は「０」基点をより正確にするための調整である。「０」基点がずれる理由は、回路の直流成分（電圧変動）や暗電流ノイズにより電圧が浮き上がる現象が生じるためである。「０」基点のずれによる影響を軽減するために、標準偏差を演算しない一般的な固体撮像素子においては、ＣＤＳ補正やダーク補正が必要とされる。

一方、標準偏差は、変動量であるため、その元となるデータが正確に「０」基準からの絶対値である必要がなく、例えば、信号値に一律一定値が付加されるような直流成分があっても、変動量(変動幅)は変わらない。したがって、直流成分があっても標準偏差の計算には影響がない。このように「０」基準の正確性が求められないので、固体撮像素子２００では、ＣＤＳ補正やダーク補正が必要なく、そのためにかかっていた時間を節約することができる。

次に、信号の読み取りズレを低減するための方法として、ＡＤ変換後のデジタル信号のビット数を増大する方法が考えられる。ただし、ＡＤ変換器の分解能の向上によりビット数を増加させると、ＡＤ変換器内のコンパレータの比較回数が増加じて処理時間の増加につながるデメリットが生じてしまう。これに対して、固体撮像素子２００では、ＡＤ変換器の分解能自体は変えずに、標準偏差計算に用いるサンプル数(フレーム数)の増加によって、最終的に得られるデジタル信号のビット数を増大している。したがって、ＡＤ変換器の分解能向上によるデメリットを生じさせずに、信号の読み取りズレを低減することができる。

なお、撮像装置１００は、ＣＤＳ処理およびダーク補正のいずれも実行していないが、それらの一方のみを実行する構成としてもよい。例えば、固体撮像素子２００がＣＣＤイメージセンサーである場合には、ＣＤＳ処理は不要である。ＣＤＳ処理およびダーク補正の一方のみを実行する場合も、両方とも実行する構成と比較して、信号処理の速度が向上する。

図４は、本技術の第１の実施の形態における出力平均と標準偏差との間の関係の一例を示すグラフである。同図における縦軸は、信号レベルの平均値を出力平均として示す。また、同図における横軸は、標準偏差を示す。同図に例示するように、出力平均が大きいほど（すなわち、環境光が明るいほど）、標準偏差が大きくなる。例えば、出力平均ＡＶａより出力平均ＡＶｂの方が大きい場合、出力平均ＡＶｂに対応する標準偏差ｕｂは、出力平均ＡＶａに対応する標準偏差ｕａよりも大きくなる。

［画素回路の構成例］
図５は、本技術の第１の実施の形態における画素２３０の一構成例を示す回路図である。この画素２３０は、光電変換素子２３１、転送トランジスタ２３２、浮遊拡散層２３３、増幅トランジスタ２３４および選択トランジスタ２３５を備える。

光電変換素子２３１は、入射光を光電変換して電荷を生成するものである。転送トランジスタ２３２は、転送信号ＴＲＧｍに従って、光電変換素子２３１から浮遊拡散層２３３へ電荷を転送するものである。ここで、ｍは整数であり、ドライバ２１０が駆動する行を示す。

浮遊拡散層２３３は、電荷を蓄積して蓄積した電荷量に応じた電圧を生成するものである。増幅トランジスタ２３４は、浮遊拡散層２３３の電圧を増幅してアナログの画素信号を生成するものである。選択トランジスタ２３５は、選択信号ＳＥＬｍに従って、画素信号をカラムＡＤＣ２７０に出力するものである。

ドライバ２１０は、選択した行に選択信号ＳＥＬｍを送信する。また、ドライバ２１０は、選択した行の露光開始時または露光終了時に、その行に転送信号ＴＲＧｍを送信する。

ここで、一般的な画素回路では、浮遊拡散層２３３を初期化するためにリセットトランジスがさらに必要とされる。これは、ＣＤＳ処理を行う際に、リセットレベルを読み出す必要が生じるためである。しかし、画素２３０では、後段の回路でＣＤＳ処理を実行しないため、リセットトランジスタが不要となり、画素回路を比較的簡易な構成にすることができる。

［ＡＤ変換部の構成例］
図６は、本技術の第１の実施の形態におけるカラムＡＤＣ２７０の一構成例を示すブロック図である。このカラムＡＤＣ２７０は、列ごとにＡＤ変換器２７１を備える。

ＡＤ変換器２７１は、対応する列からの画素信号に対してＡＤ変換を行って画素データを生成するものである。このＡＤ変換器２７１は、のこぎり刃状のランプ信号と、画素信号とを比較し、比較結果が反転するまで計数値を計数する。そして、ＡＤ変換器２７１は、その計数値のデータを画素データとしてラインバッファ２８０に供給する。

また、ＡＤ変換器２７１のコンバージョンゲインは、最も光量が大きい際でも電荷が溢れない値（例えば、１ＬＳＢ／ｅ^-）に固定される。ここで、コンバージョンゲインは、ＬＳＢ（Least Significant Bit）と、電荷量との比を示す。例えば、最短露光時間を１／８０００秒とすると、１ＬＳＢ／ｅ^-であれば、その最短露光時間で露光を行った場合でも、電荷量は１０２４ｅ⁻であり、飽和することは無いと考えられる。なお、ＡＤ変換器２７１は、特許請求の範囲に記載のアナログデジタル変換器の一例である。

［統計処理部の構成例］
図７は、本技術の第１の実施の形態における統計処理部３００の一構成例を示すブロック図である。この統計処理部３００は、加算器３１１、フレームメモリ３１２、標準偏差演算部３１３、乗算器３１４、加算器３１５、フレームメモリ３１６およびフレーム数カウンタ３１７を備える。

フレームメモリ３１２は、画素ごとに、画素データｘ_ｉ（ｉは１乃至ｎの整数）の総和ＳＵＭを保持するものである。添字のｉは、ｘ_ｉが、ｎフレームのうちｉ番目のフレーム内の画素データであることを示す。加算器３１１は、画素ごとに、その画素の総和ＳＵＭをフレームメモリ３１２から読み出して、その画素の画素データｘ_ｉに加算するものである。そして、加算器３１１は、加算後のデータを新たな総和ＳＵＭとしてフレームメモリ３１２に保持させる。

例えば、座標（１，１）の画素データｘ_ｉが加算器３１１に入力されると、加算器３１１は、その座標（１，１）の総和ＳＵＭ_{（１，１）}をフレームメモリ３１２から読み出して、ｘ_ｉに加算する。そして、加算器３１１は、その加算値によりフレームメモリ３１２のＳＵＭ_{（１，１）}を更新する。このように、ｎ枚のフレームのそれぞれの同じ座標の画素データの総和が算出される。

なお、加算器３１１は、特許請求の範囲に記載の総和加算器の一例であり、フレームメモリ３１２は、特許請求の範囲に記載の総和保持部の一例である。

乗算器３１４は、画素ごとに、画素データｘ_ｉの二乗を演算するものである。この乗算器３１４は、演算結果ｘ_ｉ ²を加算器３１５に供給する。

フレームメモリ３１６は、画素毎に、その画素の二乗和ＳＵＭＳを保持するものである。加算器３１５は、画素毎に、その画素の二乗和ＳＵＭＳをフレームメモリ３１２から読み出して、その画素のｘ_ｉ ²に加算するものである。そして、加算器３１５は、加算後のデータを新たな二乗和ＳＵＭＳとしてフレームメモリ３１６に保持させる。

なお、加算器３１５は、特許請求の範囲に記載の二乗和加算器の一例であり、フレームメモリ３１６は、特許請求の範囲に記載の二乗和保持部の一例である。

フレーム数カウンタ３１７は、画像データが生成された枚数を計数するものである。例えば、フレーム数カウンタ３１７は、垂直同期信号ＶＳＹＮＣに同期して計数値ｉを計数し、標準偏差演算部３１３に供給する。

標準偏差演算部３１３は、画素に順に着目して、その着目した画素の画素データの標準偏差を演算するものである。この標準偏差演算部３１３は、計数値ｉを監視し、計数値ｉが所定の設定枚数ｎに達すると、全画素について標準偏差の演算を開始する。また、標準偏差演算部３１３は、リセット信号ＲＳＴをフレーム数カウンタ３１７に供給して計数値ｉを初期化させる。

ここで、設定枚数ｎは、ユーザの操作に従って設定される。例えば、明るい場所で撮像する際には、ユーザにより、ｎに大きな値が設定され、暗い場所で撮像する際には、ｎに小さな値が設定される。なお、設定枚数ｎは、後述するように、ユーザの代わりに撮像装置１００が自動露光制御により設定する構成としてもよい。

また、一般に、ｘ_ｉの標準偏差ｕは次の式により与えられる。

上式において、バーを付したｘは、ｎ個のｘ_ｉの平均値を示す。この平均値は、一般に、次の式により表される。

また、式１の平均値を式２の右辺に置き換えて次の式に変形することができる。

標準偏差演算部３１３は、画素毎に、その画素の総和ＳＵＭおよび二乗和ＳＵＭＳと、設定枚数ｎとを式３に代入して、標準偏差ｕを演算する。この標準偏差ｕは、１回のサンプリングにより得られたｘ_ｉよりも情報量が多く、より多くの階調を表現することができる。このため、標準偏差ｕを画素の信号値として用いることにより、画像データのダイナミックレンジが拡大される。標準偏差演算部３１３は、画素の標準偏差ｕを信号値として二次元格子状に配列したデータをＨＤＲ画像データとしてＤＳＰ回路１２０に出力する。

ここで、仮に式１を用いて演算を行うと、標準偏差の演算に先立って式２により平均値を求める必要がある。この平均値を演算するには、少なくとも（ｎ−１）フレームを保持するメモリが必要となり、ｎに大きな値が設定される構成では、メモリ容量が増大してしまう。特に、環境光が暗い場合には、数十フレームから数百フレームも保持する必要があり、コストや計算量が膨大となる。

これに対して、式３を用いれば、標準偏差演算部３１３は、画素データの平均値を演算せずに、総和ＳＵＭおよび二乗和ＳＵＭＳから標準編纂を演算することができる。これらの総和ＳＵＭおよび二乗和ＳＵＭＳを演算するには、上述のように２フレーム分のメモリがあればよいため、式１を用いる場合と比較してメモリ容量を削減することができる。

また、露光時間の異なる複数の画像データを合成する一般的なＨＤＲ合成では、飽和する領域が生じないように（すなわち、白つぶれが生じないように）、露光時間を制限する露光制御がよく行われる。このように白つぶれが生じないように露光時間を制限する露光制御では、逆に暗い領域で黒つぶれが発生することが多い。

これに対して、標準偏差を演算する撮像装置１００では、合計の露光時間を長くすることで、情報量が多くなり、明るいところから暗いところまでの階調分解能が得られるため、白つぶれを抑制するために露光時間を制限する必要が無い。したがって、露光時間を長くする制御と親和性が高い。

また、露光時間の異なる複数の画像データを合成する一般的なＨＤＲ合成では、露光時間が長いフレームと、露光時間の短いフレームとで、ＡＤ変換で参照するランプ信号の振幅を変更する必要がある。

これに対して、標準偏差を演算する撮像装置１００では、ｎ枚のフレームのそれぞれの露光時間は同一である。このため、ランプ信号の波形をフレームごとに大きく変更する必要がなくなり、微調整程度でよくなる。また、ランプ信号の波形を大きく変更する必要がないため、波形変更のための回路を設ける必要が無くなる。このため、コンバージョンゲインは、例えば、最適値である１ＬＳＢ／ｅ^-に固定される。

なお、統計処理部３００は、標準偏差を演算しているが、画素データのばらつきを示すものであれば、標準偏差以外の統計量を演算することもできる。統計処理部３００は、例えば、標準偏差の代わりに分散を演算してもよい。

［撮像装置の動作例］
図８は、本技術の第１の実施の形態における撮像装置１００の動作の一例を示すタイミングチャートである。タイミングＴ０において、ＨＤＲ画像を撮像させるための操作（シャッターボタンの押下など）が行われたものとする。

撮像装置１００内のドライバ２１０は、タイミングＴ０において０行目に転送信号ＴＲＧ０を送信する。また、ドライバ２１０は、タイミングＴ０から一定の期間に亘ってハイレベルの選択信号ＳＥＬ０を送信する。これらの制御により、０行目の画素２３０が初期化され、０行目の露光が開始される。

そして、タイミングＴ０の後のタイミングＴ０１において、ドライバ２１０は、１行目に転送信号ＴＲＧ１を送信する。また、ドライバ２１０は、タイミングＴ０１から一定の期間に亘ってハイレベルの選択信号ＳＥＬ１を送信する。これらの制御により、１行目の露光が開始される。タイミングＴ０１以降は、２行目以降の露光が順に開始される。

そして、タイミングＴ０から一定の露光時間が経過したタイミングＴ１において、ドライバ２１０は、０行目に転送信号ＴＲＧ０を送信する。また、ドライバ２１０は、タイミングＴ０から一定の期間に亘ってハイレベルの選択信号ＳＥＬ０を送信する。これらの制御により、０行目の最初の露光が終了すると同時に２回目の露光が開始される。

そして、タイミングＴ１の後のタイミングＴ１１において、ドライバ２１０は、１行目に転送信号ＴＲＧ１を送信する。また、ドライバ２１０は、タイミングＴ１１から一定の期間に亘ってハイレベルの選択信号ＳＥＬ１を送信する。これらの制御により、１行目の最初の露光が終了すると同時に２回目の露光が開始される。タイミングＴ１１以降は、２行目以降の露光が順に開始される。全行の露光により、最初の画像データが読み出される。２枚目以降の画像データも同様の制御により読み出される。それぞれの画像データの露光時間は、同一（１／１６０００秒など）に設定される。そして、２枚目以降の画像データのそれぞれにおいて、画素毎に、総和ＳＵＭおよび二乗和ＳＵＭＳが演算される。

そして、ｎ枚目の画像データが読み出されると、画素毎に標準偏差ｕが演算され、最初のＨＤＲ画像データが生成される。２枚目以降のＨＤＲ画像データも同様に、ｎ枚の画像データが読み出されるたびに生成される。１枚の画像データの露光時間をｔ_０とすると、１枚のＨＤＲ画像を生成するためのＨＤＲ画像撮像期間の長さは、ｎ×ｔ_０である。

また、１枚当たりの露光時間ｔ_０は、設定可能な最小値（１／１６０００秒など）に設定される。このように露光時間ｔ_０が非常に短いため、電荷を蓄積する浮遊拡散層２３３の容量は比較的小さくてよく、電荷の抜けの影響は少ない。また、非常に高速に読み出すため、ローリングシャッター歪みは発生しにくい。

図９は、本技術の第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、ＨＤＲ画像を撮像させるための操作が行われたときに開始される。

撮像装置１００は、変数ｉを「０」に初期化する（ステップＳ９０１）。撮像装置１００は、画素毎に画素データｘ_ｉを生成し（ステップＳ９０２）、そのｘ_ｉを総和ＳＵＭに加算する（ステップＳ９０３）。また、撮像装置１００は、画素毎に、ｘ_ｉ ^２を二乗和ＳＵＭＳに加算する（ステップＳ９０４）。撮像装置１００は、変数ｉをインクリメントし（ステップＳ９０５）、そのｉが設定枚数ｎであるか否かを判断する（ステップＳ９０６）。

変数ｉが設定枚数ｎに達していない場合に（ステップＳ９０６：Ｎｏ）撮像装置１００は、ステップＳ９０２以降を繰り返し実行する。一方、変数ｉが設定枚数ｎである場合に（ステップＳ９０６：Ｙｅｓ）、撮像装置１００は、画素毎に、標準偏差ｕを演算してＨＤＲ画像データを生成する（ステップＳ９０７）。そして、撮像装置１００は、ＨＤＲ画像データに対して信号処理を実行し（ステップＳ９０８）、ＨＤＲ画像の撮像のための動作を終了する。複数のＨＤＲ画像データを連続して撮像する際には、ステップＳ９０８の後に、撮像装置１００は、ステップＳ９０１以降を繰り返し実行する。

このように、本技術の第１の実施の形態によれば、撮像装置１００は、信号値に付加される直流成分があっても値の変わらない標準偏差を画素毎に求めるため、その直流成分を低減するためのＣＤＳ処理等を行わずに信号処理の速度を向上させることができる。これにより、一定のＨＤＲ画像撮像期間内に生成する画像データの枚数を増加することができる。

［変形例］
上述の第１の実施の形態では、１枚のＨＤＲ画像に必要なフレーム数（設定枚数ｎ）をユーザが設定する構成としていたが、ユーザが操作を誤った場合には不適切な数値がｎに設定され、ＨＤＲ画像データの画質が低下するおそれがある。撮像装置１００自身が、自動露光制御により設定枚数ｎを設定する構成とすれば、適切な値のｎによりＨＤＲ画像データの画質を向上させることができる。この第１の実施の形態の変形例の撮像装置１００は、自動露光制御により設定枚数ｎを設定する点において第１の実施の形態と異なる。

図１０は、本技術の第１の実施の形態の変形例における固体撮像素子２００の一構成例を示すブロック図である。この第１の実施の形態の変形例の固体撮像素子２００は、測光部３２０および露光制御部３３０をさらに備える点において第１の実施の形態と異なる。

測光部３２０は、画像データの明るさを測定するものである。この測光部３２０は、測光量を示す露出値ＥＶを露光制御部３３０に供給する。

露光制御部３３０は、露出値ＥＶに基づいて、設定枚数ｎを設定するものである。この露光制御部３３０は、撮像装置１００のＦ値やＩＳＯ感度を取得し、次の式を用いてｎ枚の露光時間ｔ_０の合計である総露光時間ｔを算出する。ｔの単位は、例えば、秒（ｓ）である。
ＥＶ＝ｌｏｇ_２（Ｆ^２／ｔ）＋ｌｏｇ_２（ＩＳＯ／１００） ・・・式４

そして、露光制御部３３０は、総露光時間ｔを、１枚当たりの露光時間ｔ_０（１／１６００秒など）により除算し、除算した商をｎとする。露光制御部３３０は、設定枚数ｎを統計処理部３００に供給する。

図１１は、本技術の第１の実施の形態の変形例における設定枚数ｎの設定例の一例を示す図である。撮像装置１００は、環境光の光量が小さいほど、総露光時間ｔを長くし、設定枚数ｎを多くする。

例えば、快晴の環境下では、光量は「８１９２０」ルクス（ｌｘ）であり、「１５」の露出値ＥＶが測定される。Ｆ値を５．６、ＩＳＯ感度を４００とすると、式４より、総露光時間ｔとして、「１／４０００」秒（ｓ）が算出される。１枚当たりの露光時間ｔ_０を「１／１６００」秒（ｓ）とすると、算出された「１／４０００」秒（ｓ）を、その「１／１６００」で除算することにより、設定枚数ｎとして「４」が算出される。

このように、本技術の第１の実施の形態の変形例によれば、撮像装置１００が測光量から設定枚数ｎを演算するため、環境光の光量に応じた適切な設定枚数ｎを設定することができる。

＜２．第２の実施の形態＞
上述の第１の実施の形態では、１つの半導体基板に固体撮像素子２００内の回路（画素アレイ部２２０など）の全てを配置していた。しかし、一定の光学サイズ（画素アレイ部２２０）の下で、解像度を向上させるには画素を微細化する必要が生じる。この微細化により、ＡＤ変換器２７１の数が増え、ＡＤ変換器２７１の面積など、画素以外の回路面積が増加する。つまり半導体基板の面積が増大する。そこで、固体撮像素子２００を複数の半導体基板に積層化し、いずれかの基板に画素アレイ部２２０を配置して、それ以外を別の基板に配置すれば、積層しない場合よりも半導体基板の面積を小さくすることができる。この第２の実施の形態の固体撮像素子２００は、半導体基板の面積を小さくするために、固体撮像素子２００を積層構造にした点において第１の実施の形態と異なる。

図１２は、第２の実施の形態における固体撮像素子２００の一構成例を示す全体図である。この第４の固体撮像素子２００は、下側半導体基板２０２と、その基板に積層された上側半導体基板２０１とを備える。

図１３は、本技術の第２の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。上側半導体基板２０１には、ドライバ２１１および画素アレイ部２２０が配置される。また、下側半導体基板２０２には、タイミング制御部２５０、ＤＡＣ２６０、回路アレイ部３５０、メモリ読出し部３８５および統計処理部３０１が配置される。この回路アレイ部３５０には、画素２３０ごとに、回路ブロック３６０が配置される。

回路ブロック３６０は、対応する画素２３０について、画素信号をＡＤ変換して総和ＳＵＭおよび二乗和ＳＵＭＳを演算するものである。メモリ読出し部３８５は、回路ブロック３６０のそれぞれから、総和ＳＵＭおよび二乗和ＳＵＭＳを読み出して統計処理部３０１に供給するものである。

上述のように、画素２３０ごとに、ＡＤ変換を行う回路ブロック３６０が設けられているため、ドライバ２１１は、画素２３０を同時に駆動させることができる。なお、ドライバ２１１は、画素２３０を第１の実施の形態と同様に、行ごとに順に駆動してもよい。なお、画素２３０ごとに、回路ブロック３６０を設けているが、複数の画素２３０からなる領域ごとに、回路ブロック３６０を設けてもよい。

図１４は、本技術の第２の実施の形態における回路ブロック３６０の一構成例を示すブロック図である。この回路ブロック３６０は、ＡＤ変換器３６１、加算器３６２、メモリ３６３、乗算器３６４、加算器３６５およびメモリ３６６を備える。

ＡＤ変換器３６１は、対応する画素２３０の画素信号をＡＤ変換するものである。加算器３６２、メモリ３６３、乗算器３６４、加算器３６５およびメモリ３６６の構成は、第１の実施の形態の加算器３１１、フレームメモリ３１２、乗算器３１４、加算器３１５およびフレームメモリ３１６と同様の構成である。

図１５は、本技術の第２の実施の形態における統計処理部３０１の一構成例を示すブロック図である。この統計処理部３０１は、フレームメモリ３１２、乗算器３１４、加算器３１５およびフレームメモリ３１６を備えない点以外は、第１の実施の形態の統計処理部３００と同様の構成である。

このように、本技術の第２の実施の形態によれば、積層された２つの半導体基板に固体撮像素子２００内の回路を分散して配置したため、積層しない場合よりも半導体基板の面積を小さくすることができる。

＜＜応用例＞＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１６に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１６では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図１７は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１７には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図１６に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１６の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図１６に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

以上説明した車両制御システム７０００において、図２を用いて説明した本実施形態に係る固体撮像素子２００は、図１６に示した応用例の統合制御ユニット７６００に適用することができる。例えば、固体撮像素子２００が、統合制御ユニット７６００の撮像部７４１０に相当する。例えば、統合制御ユニット７６００が画素毎に標準偏差を演算することにより、ダイナミックレンジを拡大し、信号処理の速度を向上させることができる。

図２を用いて説明した固体撮像素子２００の少なくとも一部の構成要素は、図１６に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図２を用いて説明した固体撮像素子２００が、図１６に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。

なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。

なお、本技術は以下のような構成もとることができる。
（１）それぞれが画素信号を生成する複数の画素が二次元格子状に配列された画素アレイ部と、
前記複数の画素それぞれの前記画素信号のばらつきの度合いを示す統計量を前記複数の画素それぞれの信号値として取得する統計処理部と
を具備する固体撮像素子。
（２）前記画素アレイ部を駆動して前記画素信号からなる画像信号を生成させる制御を複数回に亘って行うドライバをさらに具備する
前記（１）記載の固体撮像素子。
（３）前記統計処理部は、前記画素信号の標準偏差を前記統計量として取得する
前記（２）記載の固体撮像素子。
（４）前記統計処理部は、
前記複数の画素のそれぞれについて前記画素信号の総和を保持する総和保持部と、
前記複数の画素のそれぞれについて前記総和を演算して前記総和保持部に保持させる総和加算器と、
前記複数の画素のそれぞれについて前記画素信号の二乗和を保持する二乗和保持部と、
前記複数の画素のそれぞれについて前記画素信号の二乗を演算する乗算器と、
前記複数の画素のそれぞれについて前記二乗の和を演算して前記二乗和として前記二乗和保持部に保持させる二乗和加算器と、
前記総和と前記二乗和と前記生成された画像信号の枚数とから前記統計量を演算する演算部とを備える
前記（２）記載の固体撮像素子。
（５）前記複数の画素のそれぞれについて前記画素信号の総和および二乗和を演算する回路ブロックをさらに具備し、
前記統計処理部は、前記総和と前記二乗和と前記生成された画像信号の枚数とから前記統計量を演算する
前記（２）記載の固体撮像素子。
（６）前記統計処理部は、前記画像信号が生成された枚数を計数して当該計数値が所定の設定枚数であるときの前記画素信号の総和および二乗和と前記設定枚数とから前記統計量を演算する
前記（２）から（５）のいずれかに記載の固体撮像素子。
（７）測光量に基づいて前記設定枚数を演算する露光制御部をさらに具備する
前記（６）記載の固体撮像素子。
（８）前記画素アレイ部および前記ドライバは、所定の半導体基板に配置され、
前記統計処理部は、前記所定の半導体基板に積層された半導体基板に配置される
前記（１）から（７）のいずれかに記載の固体撮像素子。
（９）前記画素信号に対してアナログデジタル変換を行うアナログデジタル変換部をさらに具備する前記（１）から（８）のいずれかに記載の固体撮像素子。
（１０）前記アナログデジタル変換部は、前記複数の画素のそれぞれについてアナログデジタル変換器を備える
前記（９）記載の固体撮像素子。
（１１）前記アナログデジタル変換部は、所定の方向に配列された画素からなるラインのそれぞれについてアナログデジタル変換器を備える
前記（９）記載の固体撮像素子。
（１２）前記複数の画素のそれぞれは、
光を光電変換して電荷を生成する光電変換素子と、
前記電荷を蓄積する浮遊拡散層と、
転送信号に従って前記光電変換素子から前記浮遊拡散層へ前記電荷を転送する転送トランジスタと、
前記浮遊拡散層の電圧を増幅して画素信号を出力する増幅トランジスタと、
選択信号に従って前記画素信号を前記アナログデジタル変換器に出力する選択トランジスタとを備える
前記（１）から（１１）のいずれかに記載の固体撮像素子。
（１３）それぞれが画素信号を生成する複数の画素が二次元格子状に配列された画素アレイ部と、
前記複数の画素それぞれの前記画素信号のばらつきの度合いを示す統計量を前記複数の画素それぞれの信号値として取得する統計処理部と、
前記信号値からなる画像データに対して所定の信号処理を実行する信号処理部と
を具備する信号処理装置。
（１４）複数の画素のそれぞれが画素信号を生成する生成手順と、
前記複数の画素それぞれの前記画素信号のばらつきの度合いを示す統計量を前記複数の画素それぞれの信号値として取得する統計処理手順と
を具備する固体撮像素子の制御方法。

１００ 撮像装置
１１０ 撮像レンズ
１２０ ＤＳＰ回路
１３０ 撮像制御部
１４０ 記録部
２００ 固体撮像素子
２０１ 上側半導体基板
２０２ 下側半導体基板
２１０、２１１ ドライバ
２２０ 画素アレイ部
２３０ 画素
２３１ 光電変換素子
２３２ 転送トランジスタ
２３３ 浮遊拡散層
２３４ 増幅トランジスタ
２３５ 選択トランジスタ
２５０ タイミング制御部
２６０ ＤＡＣ
２７０ カラムＡＤＣ
２７１、３６１ ＡＤ変換器
２８０ ラインバッファ
３００、３０１ 統計処理部
３１１、３１５、３６２、３６５ 加算器
３１２、３１６ フレームメモリ
３１３ 標準偏差演算部
３１４、３６４ 乗算器
３１７ フレーム数カウンタ
３２０ 測光部
３３０ 露光制御部
３５０ 回路アレイ部
３６０ 回路ブロック
３６３、３６６ メモリ
３８５ メモリ読出し部
７４１０ 撮像部

Claims (14)

1. それぞれが画素信号を生成する複数の画素が二次元格子状に配列された画素アレイ部と、
   前記複数の画素それぞれの前記画素信号のばらつきの度合いを示す統計量を前記複数の画素それぞれの信号値として取得する統計処理部と
   を具備する固体撮像素子。
2. 前記画素アレイ部を駆動して前記画素信号からなる画像信号を生成させる制御を複数回に亘って行うドライバをさらに具備する
   請求項１記載の固体撮像素子。
3. 前記統計処理部は、前記画素信号の標準偏差を前記統計量として取得する
   請求項２記載の固体撮像素子。
4. 前記統計処理部は、
   前記複数の画素のそれぞれについて前記画素信号の総和を保持する総和保持部と、
   前記複数の画素のそれぞれについて前記総和を演算して前記総和保持部に保持させる総和加算器と、
   前記複数の画素のそれぞれについて前記画素信号の二乗和を保持する二乗和保持部と、
   前記複数の画素のそれぞれについて前記画素信号の二乗を演算する乗算器と、
   前記複数の画素のそれぞれについて前記二乗の和を演算して前記二乗和として前記二乗和保持部に保持させる二乗和加算器と、
   前記総和と前記二乗和と前記生成された画像信号の枚数とから前記統計量を演算する演算部とを備える
   請求項２記載の固体撮像素子。
5. 前記複数の画素のそれぞれについて前記画素信号の総和および二乗和を演算する回路ブロックをさらに具備し、
   前記統計処理部は、前記総和と前記二乗和と前記生成された画像信号の枚数とから前記統計量を演算する
   請求項２記載の固体撮像素子。
6. 前記統計処理部は、前記画像信号が生成された枚数を計数して当該計数値が所定の設定枚数であるときの前記画素信号の総和および二乗和と前記設定枚数とから前記統計量を演算する
   請求項２記載の固体撮像素子。
7. 測光量に基づいて前記設定枚数を演算する露光制御部をさらに具備する
   請求項６記載の固体撮像素子。
8. 前記画素アレイ部および前記ドライバは、所定の半導体基板に配置され、
   前記統計処理部は、前記所定の半導体基板に積層された半導体基板に配置される
   請求項１記載の固体撮像素子。
9. 前記画素信号に対してアナログデジタル変換を行うアナログデジタル変換部をさらに具備する請求項１記載の固体撮像素子。
10. 前記アナログデジタル変換部は、前記複数の画素のそれぞれについてアナログデジタル変換器を備える
    請求項９記載の固体撮像素子。
11. 前記アナログデジタル変換部は、所定の方向に配列された画素からなるラインのそれぞれについてアナログデジタル変換器を備える
    請求項９記載の固体撮像素子。
12. 前記複数の画素のそれぞれは、
    光を光電変換して電荷を生成する光電変換素子と、
    前記電荷を蓄積する浮遊拡散層と、
    転送信号に従って前記光電変換素子から前記浮遊拡散層へ前記電荷を転送する転送トランジスタと、
    前記浮遊拡散層の電圧を増幅して画素信号を出力する増幅トランジスタと、
    選択信号に従って前記画素信号を前記アナログデジタル変換器に出力する選択トランジスタとを備える
    請求項１記載の固体撮像素子。
13. それぞれが画素信号を生成する複数の画素が二次元格子状に配列された画素アレイ部と、
    前記複数の画素それぞれの前記画素信号のばらつきの度合いを示す統計量を前記複数の画素それぞれの信号値として取得する統計処理部と、
    前記信号値からなる画像データに対して所定の信号処理を実行する信号処理部と
    を具備する信号処理装置。
14. 複数の画素のそれぞれが画素信号を生成する生成手順と、
    前記複数の画素それぞれの前記画素信号のばらつきの度合いを示す統計量を前記複数の画素それぞれの信号値として取得する統計処理手順と
    を具備する固体撮像素子の制御方法。

Images