JP7299845B2 - 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 - Google Patents

Description

本技術は、固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。詳しくは、光子数を計数するフォトンカウンタを備える固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。

従来より、撮像装置などにおいて、画像データを撮像するために固体撮像素子が用いられている。例えば、ＳＰＡＤ（Single-Photon Avalanche Diode）、フォトンカウンタ、閾値マルチプレクサ回路およびタイマを設けた固体撮像素子が提案されている（例えば、特許文献１参照。）。ここで、ＳＰＡＤは、１光子の入射の有無を検出することができるほど感度の高いアバランシェフォトダイオードである。この固体撮像素子において、フォトンカウンタは、露光期間に亘って光子数を計数して計数値を生成する。タイマは、露光期間終了まで、タイマ値を示す時刻情報をメモリに伝送し続ける。また、閾値マルチプレクサ回路は、計数値を監視し、露光期間終了前に計数値が所定の閾値に達した際に、その時点の時刻情報をメモリに保持させる。この時刻情報を画素値として出力し、画素アレイ外部で露光時間における計測数に換算することで、画素内の閾値以上のカウント値情報を得ることができる。

米国特許出願公開第２０１２／０５７０５９号明細書

上述の固体撮像素子において、タイマは、露光期間内にタイマ値を更新するたびに時刻情報を各画素内のメモリへ伝送している。このため、露光期間内に所定の閾値に達しない、もしくは閾値に達するまでの時間が長い低照度において、タイマからメモリへの時刻情報の伝送回数が多くなり、それらの間の伝送路の消費電力が増大してしまう、という問題がある。

本技術はこのような状況に鑑みて生み出されたものであり、時刻を計時する固体撮像素子において、消費電力を低減することを目的とする。

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、所定の露光期間内に光子が入射された回数を計数して計数値を出力する計数部と、上記所定の露光期間が経過する前に上記計数値が所定値に達した場合には上記計数部を停止させる制御と時刻情報の要求とを行う計数制御部と、時刻を計時して上記要求に応じて上記時刻情報を出力する計時部と、上記出力された時刻情報に基づいて上記所定の露光期間内の光子の入射回数を推定する推定部とを具備する固体撮像素子、および、その制御方法である。これにより、要求に応じて計時部から時刻情報が出力されるという作用をもたらす。

また、この第１の側面において、上記時刻情報の要求において上記計数制御部は、上記時刻情報を要求するリクエストを上記計時部に出力し、上記計数部、上記計数制御部およびは、二次元格子状に配列された複数の画素回路のそれぞれに配置されてもよい。これにより、画素回路毎のリクエストの出力に応じて時刻情報が出力されるという作用をもたらす。

また、この第１の側面において、上記計時部は、上記複数の画素回路のいずれかにより前記リクエストが入力された時刻または露光開始から前記リクエストが入力されるまでの時間を示す情報を上記時刻情報として出力してもよい。

また、この第１の側面において、上記所定値は、上記計数値を制限する制限値と当該制限値に達する前の上記計数値を示す直前値とを含み、上記計数制御部は、上記直前値に上記計数値が達したときから上記制限値に上記計数値が達したときまでの間に亘って上記リクエストを継続して上記計時部に出力する制御と上記制限値に上記計数値が達したときに上記計数部を停止させる制御とを行い、上記計時部は、上記リクエストが入力されている期間内の時刻のそれぞれについて上記時刻を示す情報を上記時刻情報として出力し、上記推定部は、上記制限値に上記計数値が達したときの上記時刻情報に基づいて上記入射回数を推定してもよい。これにより、計数値が直前値に達したときから制限値に達するまでの間に亘って時刻情報が継続して出力されるという作用をもたらす。

また、この第１の側面において、上記計時部は、それぞれが上記時刻を計時して上記時刻情報を生成する複数の時刻情報生成部を含み、上記複数の画素回路のそれぞれは、互いに異なる上記時刻情報生成部に接続されてもよい。これにより、画素回路ごとに配置された時刻情報生成部により時刻が計時されるという作用をもたらす。

また、この第１の側面において、上記計時部は、それぞれが上記時刻を計時して上記時刻情報を生成する複数の時刻情報生成部を含み、各々が所定方向に配列された所定数の上記画素回路からなる複数のラインのそれぞれは、互いに異なる上記時刻情報生成部に接続されてもよい。これにより、ラインごとに配置された時刻情報生成部により時刻が計時されるという作用をもたらす。

また、この第１の側面において、上記計時部は、上記時刻を計時して上記時刻情報を生成する時刻情報生成部を含み、上記複数の画素回路は、上記時刻情報生成部に共通に接続されてもよい。これにより、全画素回路により共有された時刻情報生成部により時刻が計時されるという作用をもたらす。

また、この第１の側面において、１つの光子の入射の有無を検出するフォトダイオードと、上記光子の入射が検出されるたびに上記フォトダイオードの一端の電位を初期状態へ戻すための抵抗とをさらに具備し、上記計数部は、上記一端の電位が前記光子の入射の有無の検出により変動した回数を計数してもよい。これにより、フォトダイオードの一端の電位が変動した回数が計数されるという作用をもたらす。

また、この第１の側面において、上記フォトダイオードは、受光チップに配置され、上記抵抗、上記計数部、上記計数制御部、上記推定部は、上記受光チップに積層されたロジックチップに配置されてもよい。これにより、抵抗、計数制御部および推定部とともにロジックチップに配置された計数部により光子数が計数されるという作用をもたらす。

また、この第１の側面において、上記フォトダイオードおよび上記抵抗は、受光チップに配置され、上記計数部、上記計数制御部および上記推定部は、上記受光チップに積層されたロジックチップに配置されてもよい。これにより、計数制御部および推定部とともにロジックチップに配置された計数部により光子数が計数されるという作用をもたらす。

また、この第１の側面において、上記フォトダイオードは、受光チップに配置され、上記計数部、上記計数制御部および上記推定部は、上記受光チップに積層されたロジックチップに配置され、上記計時部は、上記ロジックチップに積層された計時チップに配置されてもよい。これにより、計時チップに積層された計時部により時刻情報が出力されるという作用をもたらす。

また、本技術の第２の側面は、所定の露光期間内に光子が入射された回数を計数して計数値を出力する計数部と、上記所定の露光期間が経過する前に上記計数値が所定値に達した場合には上記計数部を停止させる制御と時刻情報の要求とを行う計数制御部と、時刻を計時して上記要求に応じて上記時刻情報を出力する計時部と、上記出力された時刻情報に基づいて上記所定の露光期間内の光子の入射回数を推定して推定値を出力する推定部と、上記推定値から生成された画像データを記録する記録部とを具備する撮像装置である。これにより、要求に応じて計時部から時刻情報が出力され、その時刻情報から推定値が推定されるという作用をもたらす。

本技術によれば、時刻を計時する固体撮像素子において、消費電力を低減することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第１の実施の形態における固体撮像素子の積層構造の一例を示す図である。 本技術の第１の実施の形態における受光チップの一構成例を示す平面図である。 本技術の第１の実施の形態におけるロジックチップの一構成例を示すブロック図である。 本技術の第１の実施の形態におけるロジックアレイ部および計時部の一構成例を示すブロック図である。 本技術の第１の実施の形態における時刻情報生成部の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素回路の一構成例を示す回路図である。 本技術の第１の実施の形態におけるアノード、カソードを逆にした際の画素回路の一構成例を示す回路図である。 本技術の第１の実施の形態におけるフォトンカウンタの動作の一例を示す図である。 本技術の第１の実施の形態における計数制御部の動作の一例を示す図である。 本技術の第１の実施の形態における信号処理部の動作の一例を示す図である。 本技術の第１の実施の形態における撮像装置の動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における画素回路および計時部の動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における計数値の変動の一例を示す図である。 本技術の第１の実施の形態における画素回路および計時部を簡易化した図である。 本技術の第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。 本技術の第１の実施の形態における計数処理の一例を示すフローチャートである。 本技術の第１の実施の形態の変形例における画素回路の一構成例を示す回路図である。 本技術の第２の実施の形態における時刻情報生成部の一構成例を示すブロック図である。 本技術の第２の実施の形態における画素回路および計時部の動作の一例を示すタイミングチャートである。 本技術の第３の実施の形態における計数制御部の動作の一例を示す図である。 本技術の第３の実施の形態における画素回路および計時部の動作の一例を示すタイミングチャートである。 本技術の第４の実施の形態におけるロジックアレイ部および計時部の一構成例を示すブロック図である。 本技術の第５の実施の形態における固体撮像素子の積層構造の一例を示す図である。 本技術の第５の実施の形態におけるロジックチップの一構成例を示すブロック図である。 本技術の第５の実施の形態における計時チップの一構成例を示す平面図である。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（要求に応じて計時部が時刻情報を出力する例）
２．第２の実施の形態（要求に応じて計時部が時刻情報を継続して出力する例）
３．第３の実施の形態（直前値から制限値までの要求に応じて計時部が時刻情報を出力する例）
４．第４の実施の形態（全行で時刻情報生成部を共有し、要求に応じて計時部が時刻情報を出力する例）
５．第５の実施の形態（３つのチップに分散して回路を配置し、要求に応じて計時部が時刻情報を出力する例）
６．移動体への応用例

＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像データを撮像するものであり、撮像レンズ１１０、固体撮像素子２００、記録部１２０および撮像制御部１３０を備える。撮像装置１００としては、例えば、スマートフォン、デジタルカメラ、パーソナルコンピュータ、車載カメラやＩｏＴ（Internet of Things）カメラが想定される。

撮像レンズ１１０は、入射光を集光して固体撮像素子２００に導くものである。固体撮像素子２００は、撮像制御部１３０の制御に従って画像データを撮像するものである。この固体撮像素子２００は、撮像した画像データを記録部１２０に信号線２０９を介して供給する。記録部１２０は、画像データを記録するものである。

撮像制御部１３０は、固体撮像素子２００を制御して画像データを撮像させるものである。この撮像制御部１３０は、例えば、垂直同期信号などの同期信号と、露光期間を制御する露光制御信号と、露光時間とを固体撮像素子２００に信号線１３９を介して供給する。

なお、撮像装置１００は、インターフェースをさらに備え、そのインターフェースにより画像データを外部に送信してもよいし、表示部をさらに備え、表示部に画像データを表示してもよい。

［固体撮像素子の構成例］
図２は、本技術の実施の形態における固体撮像素子２００の積層構造の一例を示す図である。この固体撮像素子２００は、受光チップ２０１と、その受光チップ２０１に積層されたロジックチップ２０２とを備える。これらのチップ間には、信号を伝送するための信号線が設けられる。

［受光チップの構成例］
図３は、本技術の実施の形態における受光チップ２０１の一構成例を示す平面図である。この受光チップ２０１には、受光部２１０が設けられ、受光部２１０には、二次元格子状に複数の受光回路２２０が設けられる。受光回路２２０の詳細については後述する。

［ロジックチップの構成例］
図４は、本技術の実施の形態におけるロジックチップ２０２の一構成例を示すブロック図である。このロジックチップ２０２には、垂直制御部２３０、ロジックアレイ部２６０、水平制御部２４０、信号処理部２５０および計時部２９０が配置される。また、ロジックアレイ部２６０には、受光回路２２０ごとに、論理回路２７０が配列される。これらの論理回路２７０のそれぞれは、対応する受光回路２２０と信号線を介して接続されている。受光回路２２０と、その回路に対応する論理回路２７０とからなる回路は、画像データにおける１画素の画素信号を生成する画素回路として機能する。

そして、垂直制御部２３０には、垂直同期信号が入力され、水平制御部２４０には水平同期信号が入力される。ロジックアレイ部２６０には、撮像制御部１３０からの露光制御信号が入力される。計時部２９０には、露光制御信号が入力される。

以下、所定方向（水平方向など）に配列された画素回路（受光回路２２０および論理回路２７０）の集合を「行」または「ライン」と称し、行に垂直な方向に配列された画素回路の集合を「列」と称する。

垂直制御部２３０は、垂直同期信号に同期して行を順に選択するものである。論理回路２７０は、露光期間内に光子が入射された回数を計数して、その計数値を示す信号を画素信号として信号処理部２５０に出力するものである。水平制御部２４０は、水平同期信号に同期して列を順に選択して画素信号を出力させるものである。

信号処理部２５０は、画素信号からなる画像データに対して、フィルタ処理などの所定の信号処理を実行するものである。この信号処理部２５０は、処理後の画像データを記録部１２０に出力する。また、信号処理部２５０には、撮像制御部１３０からの露光時間が入力される。また、信号処理部２５０は、露光期間内の光子の入射回数の推定も行う。推定方法の詳細については後述する。

計時部２９０は、露光制御信号に従って、露光期間内の相対時刻を計時するものである。この計時部２９０は、計時した時刻を示す時刻情報を論理回路２７０のそれぞれに出力する。

［計時部の構成例］
図５は、本技術の第１の実施の形態におけるロジックアレイ部２６０および計時部２９０の一構成例を示すブロック図である。ロジックアレイ部２６０には、論理回路２７０が二次元格子状に配列される。そして、水平方向に配列された論理回路２７０からなる行ごとに水平信号線２９８および２９９が配線される。また、計時部２９０には、行ごとに時刻情報生成部２９１が配置される。時刻情報生成部２９１は、対応する行（言い換えれば、ライン）のそれぞれの論理回路２７０（画素回路）と水平信号線２９８および２９９を介して接続されている。

論理回路２７０の行数をＮとすると、水平信号線２９８、水平信号線２９９および時刻情報生成部２９１のそれぞれは、Ｎ個ずつ設けられる。

論理回路２７０は、所定のタイミングにおいて、時刻情報Ｔｃを要求するリクエストＲｅｑを生成し、対応する水平信号線２９８を介して時刻情報生成部２９１に出力する。

時刻情報生成部２９１は、時刻を計時し、リクエストＲｅｑに応じて時刻情報Ｔｃを生成して出力するものである。この時刻情報生成部２９１は、露光制御信号の示す露光期間内の相対時刻を計時する。そして、リクエストＲｅｑが入力されると時刻情報生成部２９１は、そのときの時刻を示す情報を時刻情報Ｔｃとして生成し、水平信号線２９９を介して対応する行の論理回路２７０（画素回路）のそれぞれに出力する。

［時刻情報生成部の構成例］
図６は、本技術の第１の実施の形態における時刻情報生成部２９１の一構成例を示すブロック図である。この時刻情報生成部２９１は、計時回路２９２および伝送部２９３を備える。

計時回路２９２は、露光制御信号の示す露光期間内に亘って、その期間内の相対時刻を計時するものである。計時回路２９２は、例えば、カウンタにより構成される。この計時回路２９２は、時刻を計時するたびに、その時刻を示すタイマ値を伝送部２９３に供給する。

伝送部２９３は、リクエストＲｅｑに応じて時刻情報を出力するものである。この伝送部２９３は、例えば、スイッチ２９４を備える。スイッチ２９４は、計時回路２９２と対応する論理回路２７０との間の経路を、リクエストＲｅｑに従って開閉するものである。論理回路２７０からのリクエストＲｅｑが入力されていない場合、スイッチ２９４は開状態であり、時刻情報は出力されない。一方、リクエストＲｅｑが入力された場合に、スイッチ２９４は閉状態に移行し、計時回路２９２のタイマ値を示す情報を時刻情報Ｔｃとして、対応する論理回路２７０のそれぞれに出力する。

［画素回路の構成例］
図７は、本技術の第１の実施の形態における画素回路３００の一構成例を示す回路図である。この画素回路３００は、受光回路２２０と論理回路２７０とを備える。受光回路２２０は、抵抗２２１およびフォトダイオード２２２を備える。また、論理回路２７０は、インバータ２７１、フォトンカウンタ２７３、計数制御部２７４、スイッチ２７５、時刻情報保持部２７７およびスイッチ２７８を備える。

フォトダイオード２２２は、入射光を光電変換して光電流を出力するものである。このフォトダイオード２２２のカソードは、抵抗２２１を介して電源電位の端子に接続され、アノードは、その電源電位よりも低い電位ＧＮＤ１の端子（接地端子など）に接続される。これにより、フォトダイオード２２２には、逆バイアスが印加される。また、光電流は、フォトダイオード２２２のカソードからアノードへの方向に流れる。

フォトダイオード２２２としては、例えば、光電流を増幅することにより１光子の入射の有無を検出することができるアバランシェフォトダイオードが用いられる。また、アバランシェダイオードの中でも特に、ＳＰＡＤを用いることが望ましい。

抵抗２２１の一端は、電源電位の端子に接続され、他端は、フォトダイオード２２２のカソードに接続される。光子の入射が検出されるたびに、抵抗２２１に光電流が流れ、フォトダイオード２２２のカソード電位が、電源電位より低い初期状態の値に降下する。

インバータ２７１は、フォトダイオード２２２のカソード電位の信号を反転してパルス信号として、フォトンカウンタ２７３に出力するものである。このインバータ２７１は、カソード電位が所定値より高い場合にローレベルのパルス信号を出力し、その所定値以下の場合にハイレベルのパルス信号を出力する。また、インバータ２７１が接続される接地側の電位ＧＮＤ２は、受光回路２２０内の電位ＧＮＤ２と異なる。

フォトンカウンタ２７３は、露光期間内においてハイレベルのパルス信号が出力された回数を計数するものである。この計数値は、光子の入射の有無の検出によりフォトダイオード２２２の一端の電位（カソード電位など）が変動した回数を示す。光子の実際の入射数に対するパルス数の比率を１／１０とすると、１０個の光子が入射されるたびに１回の計数が行われる。

フォトンカウンタ２７３は、露光開始時に計数値ＣＮＴを初期値（例えば、「０」）にし、露光期間に亘って計数を行う。計数値は、例えば、パルス信号が出力されるたびに増分される。すなわち、アップカウントが行われる。そして、フォトンカウンタ２７３は、露光終了時、または、計数制御部２７４の制御に従って計数を停止し、その計数値ＣＮＴを計数制御部２７４およびスイッチ２７５に出力する。

なお、フォトンカウンタ２７３は、特許請求の範囲に記載の計数部の一例である。また、フォトンカウンタ２７３は、アップカウントを行っているが、アップカウントの代わりにダウンカウントを行ってもよい。

計数制御部２７４は、計数値ＣＮＴが所定の制限値に達した場合において、フォトンカウンタ２７３を停止させる制御と時刻情報Ｔｃを要求するリクエストＲｅｑの出力とを行うものである。アップカウントの場合には制限値として上限値Ｌｉｍが用いられる。上限値Ｌｉｍは、フォトンカウンタ２７３が計数することができる最大値以下の値であり、予めレジスタなどに設定される。例えば、８ビットカウンタをフォトンカウンタ２７３として用いる場合、「２５５」以下の値（「２５４」や「２５５」など）が上限値Ｌｉｍとして設定される。

計数制御部２７４は、露光期間内に計数値ＣＮＴが上限値Ｌｉｍに達しているか否かを判定し、その判定結果ＤＥＣをフォトンカウンタ２７３、スイッチ２７５および信号処理部２５０に出力する。また、露光期間内に計数値ＣＮＴが上限値Ｌｉｍに達した場合に計数制御部２７４は、リクエストＲｅｑを生成して時刻情報保持部２７７と計時部２９０とに出力する。なお、ダウンカウントが行われる場合には、上限値の代わりに下限値が用いられる。

時刻情報保持部２７７は、リクエストＲｅｑが生成されたときに、そのリクエストに応じて計時部２９０により出力された時刻情報Ｔｃを取り込んで保持するものである。時刻情報保持部２７７としてレジスタやメモリが用いられる。

また、信号処理部２５０は、計数値ＣＮＴが所定の制限値に達した場合に、露光期間内の光子の入射回数を示す計数値を推定し、推定値ＥＳＴとして出力する。この信号処理部２５０は、撮像制御部１３０からの露光時間Ｔｅと、時刻情報保持部２７７に保持された時刻情報Ｔｃと、上限値Ｌｉｍとを用いて次の式により、推定値ＥＳＴを求める。そして、信号処理部２５０は、推定値ＥＳＴをスイッチ２７５に出力する。なお、信号処理部２５０は、特許請求の範囲に記載の推定部の一例である。
ＥＳＴ＝Ｌｉｍ×（Ｔｅ／Ｔｃ） ・・・式１

スイッチ２７５は、判定結果ＤＥＣに従って、計数値ＣＮＴおよび推定値ＥＳＴのいずれかを選択するものである。このスイッチ２７５は、計数値ＣＮＴが所定の制限値に達した場合に推定値ＥＳＴを選択し、出力値ＯＵＴとしてスイッチ２７８に出力する。一方、計数値ＣＮＴが所定の制限値に達していない場合にスイッチ２７５は、計数値ＣＮＴを選択し、出力値ＯＵＴとしてスイッチ２７８に供給する。

スイッチ２７８は、水平制御部２４０の制御に従って、出力値ＯＵＴの信号を画素信号として信号処理部２５０に出力するものである。

なお、フォトダイオード２２２のカソードを抵抗２２１に接続しているが、図８に例示するように、アノードを抵抗２２１に接続することもできる。

図９は、本技術の第１の実施の形態におけるフォトンカウンタの動作の一例を示す図である。フォトンカウンタ２７３には、露光制御信号と判定結果ＤＥＣとが入力される。ここで、露光制御信号には、例えば、露光期間内において「１」が設定され、露光期間外において「０」が設定される。また、判定結果ＤＥＣには、例えば、計数値ＣＮＴが上限値Ｌｉｍに達した場合に「１」が設定され、計数値ＣＮＴが上限値Ｌｉｍ未満の場合に「０」が設定される。

露光制御信号が「０」（すなわち、露光期間外）である場合にフォトンカウンタ２７３は、判定結果ＤＥＣの値に関わらず、計数動作を停止する。一方、露光制御信号が「１」（すなわち、露光期間内）である場合にフォトンカウンタ２７３は、判定結果ＤＥＣが「０」（すなわち、計数値ＣＮＴが上限値Ｌｉｍ未満）であれば、計数動作を継続して行う。しかし、判定結果ＤＥＣが「１」（すなわち、計数値ＣＮＴが上限値Ｌｉｍ）であれば、フォトンカウンタ２７３は、計数動作を停止する。

図１０は、本技術の第１の実施の形態における計数制御部２７４の動作の一例を示す図である。計数値ＣＮＴが上限値Ｌｉｍ未満である場合に計数制御部２７４は、「０」の判定結果ＤＥＣを出力してフォトンカウンタ２７３に計数動作を継続させ、リクエストＲｅｑを「０」にする。

一方、計数値ＣＮＴが上限値Ｌｉｍである場合に計数制御部２７４は、「１」の判定結果ＤＥＣを出力してフォトンカウンタ２７３に計数動作を停止させ、「１」のリクエストＲｅｑを出力して時刻情報Ｔｃを要求する。

図１１は、本技術の第１の実施の形態における信号処理部２５０の動作の一例を示す図である。判定結果ＤＥＣが「０」（すなわち、計数値ＣＮＴが上限値Ｌｉｍ未満）である場合に信号処理部２５０は、推定値の演算を実行せずに停止する。一方、判定結果ＤＥＣが「１」（すなわち、計数値ＣＮＴが上限値Ｌｉｍ）である場合に信号処理部２５０は、式１を用いて推定値ＥＳＴを演算する。

図１２は、本技術の第１の実施の形態における撮像装置１００の動作の一例を示すタイミングチャートである。垂直同期信号ＶＳＹＮＣの立ち上がりのタイミングＴ０から、その次の立上りのタイミングＴ４までの期間は、垂直同期信号ＶＳＹＮＣの周期に該当する。この周期内において露光期間が設定される。

例えば、撮像制御部１３０は、周期内のタイミングＴ１からタイミングＴ３までの期間を露光期間として設定し、その露光期間内に亘って露光制御信号をハイレベルにする。そして、フォトンカウンタ２７３は、露光期間内において動作して計数値ＣＮＴを計数する。そして、露光期間内のタイミングＴ２において、計数値ＣＮＴが上限値Ｌｉｍに達すると、計数制御部２７４は、フォトンカウンタ２７３に計数を停止させる。動作停止時に、フォトンカウンタ２７３は、計数値を初期値にする。

また、次の垂直同期信号ＶＳＹＮＣの立ち上がりのタイミングＴ４の後において、撮像制御部１３０は、周期内のタイミングＴ５からタイミングＴ６までの期間を露光期間として設定する。フォトンカウンタ２７３は、その露光期間内において動作して計数値ＣＮＴを計数する。この露光期間内においては、計数値ＣＮＴが上限値Ｌｉｍに達しなかったため、フォトンカウンタ２７３は露光期間終了時に計数動作を停止する。

上述したように、フォトンカウンタ２７３は、露光期間内に計数値ＣＮＴが上限値Ｌｉｍに達すると計数を停止する。ここで、一般に、カウント回数が増大するほど、カウンタの消費電力は大きくなる。このため、フォトンカウンタ２７３が、露光期間の途中で計数を停止することにより、停止せずに計数を継続した場合と比較して消費電力を低減することができる。ただし、露光期間の途中で計数を停止した場合、そのときの計数値ＣＮＴ（すなわち、上限値Ｌｉｍ）は、停止せずに露光期間終了時まで計数した際の値と異なるものとなり、露光期間内の露光量に応じた値ではなくなってしまう。そこで、信号処理部２５０が、露光期間終了時の計数値の推定を行っている。

図１３は、本技術の第１の実施の形態における画素回路３００および計時部２９０の動作の一例を示すタイミングチャートである。タイミングＴ１からタイミングＴ３までの露光期間に亘って計時部２９０内の計時回路２９２は、計時を行って時刻を示すタイマ値をクロック信号などに同期して更新する。

露光期間内のタイミングＴ２において、計数値ＣＮＴが上限値Ｌｉｍに達すると画素回路３００内の計数制御部２７４は、ハイレベルのリクエストＲｅｑを所定のパルス期間に亘って出力する。

そして、リクエストＲｅｑが入力されると計時部２９０内の伝送部２９３は、タイミングＴ２から遅延時間ｄｔが経過したタイミングＴ２１において時刻情報Ｔｃを出力する。ここで、遅延時間ｄｔは、画素回路３００から計時部２９０まで水平信号線２９８を介してリクエストＲｅｑが伝送される伝送遅延や、伝送部２９３内の回路の動作時間などにより生じる。

上述したように、計時部２９０は、リクエストＲｅｑが入力されたときにのみ時刻情報Ｔｃを出力するため、露光期間に亘って時刻情報Ｔｃの出力を継続する場合と比較して、時刻情報Ｔｃの伝送回数を低減して計時部２９０の消費電力を低減することができる。

図１４は、本技術の第１の実施の形態における計数値の変動の一例を示す図である。同図における縦軸は、計数値ＣＮＴを示し、横軸は、計数した時間を示す。タイミングＴ１は、露光開始時刻であり、タイミングＴ３は露光終了時刻である。タイミングＴ１からＴ３までの時間が露光時間Ｔｅに該当する。

タイミングＴ１においてフォトンカウンタ２７３は計数を開始し、時間の経過とともに計数値ＣＮＴは増加する。露光期間において照度の変化が殆ど無い場合、計数値ＣＮＴの増加速度は略一定となり、照度が高いほど、増加速度が速くなる。そして、タイミングＴ２において計数値ＣＮＴが上限値Ｌｉｍに達したものとする。このタイミングＴ２において、フォトンカウンタ２７３は計数を停止する。

そして、信号処理部２５０は、タイミングＴ１からＴ２までの時間Ｔｃと、露光時間Ｔｅおよび上限値Ｌｉｍを式１に代入して、露光終了時の計数値を推定値ＥＳＴとして算出する。前述の時刻情報は、リクエストが入力された時刻（タイミングＴ２など）を示す情報であってもよいし、露光開始からリクエストが入力されるまでの時間（Ｔｃなど）を示す情報であってもよい。

フォトンカウンタ２７３が計数することができる最大値を上限値Ｌｉｍとした場合、上限値Ｌｉｍに対応する光量を超える量の光を受光した際であっても、固体撮像素子２００は、露光量に応じた計数値を推定することができる。

これに対して、露光期間中に計数を停止しない比較例を想定すると、比較例では、露光量が大きいと、正確な計数値を得られないおそれがある。例えば、８ビットカウンタを用いる場合、「２５５」に対応する光量を超える量の光を受光すると、比較例では、計数値がオーバーフローしてしまい、不正確な値となってしまう。オーバーフローしないようにするには、桁数が十分に多いカウンタを用いればよいが、桁数が多くなるほど、カウンタの消費電力、回路規模やコストが増大するため、望ましくない。

一方、固体撮像素子２００では、式１を用いて信号処理部２５０が露光終了時の計数値を推定するため、ダイナミックレンジを拡大することができる。また、桁数が多いカウンタを用いなくてよいため、消費電力等を削減することができる。

また、上限値Ｌｉｍを小さくするほど、消費電力を低減することができるが、その代わりに推定値ＥＳＴの誤差が大きくなってしまう。上限値Ｌｉｍの値は、消費電力の低減のメリットと、推定値ＥＳＴの精度低下のデメリットとを比較考量して決定される。

図１５は、本技術の第１の実施の形態における画素回路３００および計時部２９０を簡易化した図である。

フォトンカウンタ２７３は、露光期間内において光子が入射された回数を計数して計数値ＣＮＴとして出力する。計数制御部２７４は、露光期間が経過する前に計数値ＣＮＴが上限値Ｌｉｍに達した場合には判定結果ＤＥＣによりフォトンカウンタ２７３を停止させ、時刻情報Ｔｃを要求するリクエストＲｅｑを出力する。

そして、計時部２９０は、リクエストＲｅｑに応じて時刻情報Ｔｃを出力する。時刻情報保持部２７７は、その時刻情報Ｔｃを取り込んで保持し、信号処理部２５０は、時刻情報Ｔｃなどから、式１を用いて推定値ＥＳＴを求める。

［画素回路の動作例］
図１６は、本技術の第１の実施の形態における画素回路３００の動作の一例を示すフローチャートである。この動作は、例えば、画像データを撮像するための所定のアプリケーションが実行されたときに開始される。

画素回路３００は、露光開始時刻を経過したか否かを判断する（ステップＳ９０１）。
露光開始時刻を経過した場合に（ステップＳ９０１：Ｙｅｓ）、画素回路３００は、計数値ＣＮＴを計数（すなわち、フォトンカウント）する計数処理を実行する（ステップＳ９１０）。露光開始時刻前の場合（ステップＳ９０１：Ｎｏ）、または、ステップＳ９１０の後に画素回路３００は、ステップＳ９０１以降を繰り返す。

図１７は、本技術の第１の実施の形態における計数処理の一例を示すフローチャートである。画素回路３００内のフォトンカウンタ２７３は、光子数の計数を行い（ステップＳ９１１）、計数制御部２７４は、計数値ＣＮＴが上限値Ｌｉｍに達したか否かを判断する（ステップＳ９１２）。

計数値ＣＮＴが上限値Ｌｉｍに達した場合に（ステップＳ９１２：Ｙｅｓ）、フォトンカウンタ２７３は、計数を停止し、計数制御部２７４は、リクエストＲｅｑにより時刻情報を取得する（ステップＳ９１３）。また、信号処理部２５０は、露光終了時の計数値の推定を行う（ステップＳ９１４）。

一方、計数値ＣＮＴが上限値Ｌｉｍ未満の場合に（ステップＳ９１２：Ｎｏ）、フォトンカウンタ２７３は露光終了時刻であるか否かを判断する（ステップＳ９１５）。露光終了時刻前の場合に（ステップＳ９１５：Ｎｏ）、フォトンカウンタ２７３はステップＳ９１１以降を繰り返し実行する。

露光終了時刻である場合（ステップＳ９１５：Ｙｅｓ）、または、ステップＳ９１４の後に画素回路３００は、計数処理を終了する。

このように、本技術の第１の実施の形態によれば、画素回路３００からのリクエストに応じて計時部２９０が時刻情報を出力するため、露光期間に亘って時刻情報を出力し続ける場合と比較して計時部２９０の消費電力を低減することができる。

［変形例］
上述の第１の実施の形態では、受光チップ２０１において画素毎に抵抗２２１およびフォトダイオード２２２を配置していたが、画素数が増大するほど、受光チップ２０１の回路規模が大きくなるという問題がある。この第１の実施の形態の変形例の固体撮像素子２００は、受光チップ２０１内に、フォトダイオード２２２のみを配置する点において第１の実施の形態と異なる。

図１８は、本技術の第１の実施の形態の変形例における画素回路３００の一構成例を示す回路図である。この第１の実施の形態の変形例の画素回路３００は、受光チップ２０１側の受光回路２２０内にフォトダイオード２２２のみが配置される点において第１の実施の形態と異なる。フォトダイオード２２２以外の回路や素子は、ロジックチップ２０２側に配置される。

このように、本技術の第１の実施の形態の変形例によれば、受光チップ２０１内にフォトダイオード２２２のみを配置したため、抵抗２２１およびフォトダイオード２２２の両方を配置する場合と比較して受光チップ２０１の回路規模を小さくすることができる。

＜２．第２の実施の形態＞
上述の第１の実施の形態では、リクエストＲｅｑの伝送遅延等により、リクエストＲｅｑ出力時の時刻と、画素回路３００が保持する時刻との間にずれが生じてしまう。この第２の実施の形態の計時部２９０は、最初のリクエストＲｅｑの出力時から露光終了時まで時刻情報Ｔｃの出力を継続して、遅延を抑制する点において第１の実施の形態と異なる。

図１９は、本技術の第２の実施の形態における時刻情報生成部２９１の一構成例を示すブロック図である。この第２の実施の形態の時刻情報生成部２９１は、伝送部２９３の代わりに伝送部２９５を備える点において第１の実施の形態と異なる。伝送部２９５には、リクエストＲｅｑの他、露光制御信号が入力される。

伝送部２９５は、露光期間内に、行内のいずれかの画素によりリクエストが入力されると、時刻情報Ｔｃの出力を開始し、露光終了時まで、その出力を継続する。

図２０は、本技術の第２の実施の形態における画素回路３００および計時部２９０の動作の一例を示すタイミングチャートである。ある行内に画素Ａが、露光期間内のタイミングＴ２においてリクエストＲｅｑを出力したものとする。その行の伝送部２９３は、遅延時間ｄｔが経過したタイミングＴ２１において時刻情報Ｔｃの出力を開始する。このタイミングＴ２１の時刻情報Ｔｃを画素Ａが取り込んで保持する。そして、計時部２９０は、タイミングＴ２１から露光終了時のタイミングＴ３までのそれぞれの時刻について、その時刻の時刻情報Ｔｃを出力する。

次いでタイミングＴ２１の後のタイミングＴ２２において、画素Ａと同じ行内の画素Ｂが、リクエストＲｅｑを出力したものとする。このタイミングＴ２２のときの時刻情報Ｔｃを画素Ｂが取り込んで保持する。

最初にリクエストＲｅｑを出力した画素Ａが保持する時刻は、リクエストＲｅｑの出力時から遅延時間ｄｔだけ遅れたものとなってしまう。しかしながら、その後は時刻情報がリクエストＲｅｑの有無に関わらず継続して出力される。このため、その間にリクエストＲｅｑを出力した画素Ｂが保持する時刻は、リクエストＲｅｑの出力時の時刻に対して遅延が殆ど生じないものとなる。

このように、本技術の第２の実施の形態によれば、計時部２９０は、いずれかの画素からのリクエストの入力時から時刻情報を継続して出力するため、その後に画素がリクエストを出力した時刻と、その画素が保持する時刻との間のずれを抑制することができる。

＜３．第３の実施の形態＞
上述の第１の実施の形態では、リクエストＲｅｑの伝送遅延等により、リクエストＲｅｑ出力時（すなわち、計数値が上限値に達した時刻）の時刻と、画素回路３００が保持する時刻との間にずれが生じてしまう。この第３の実施の形態の画素回路３００は、計数値ＣＮＴが上限値Ｌｉｍに達する前に時刻情報の出力を開始させて、時刻のずれを抑制する点において第１の実施の形態と異なる。

図２１は、本技術の第３の実施の形態における計数制御部２７４の動作の一例を示す図である。この第３の実施の形態の計数制御部２７４には、上限値Ｌｉｍに加えて、直前値Ｐｒｅがさらに設定される。この直前値Ｐｒｅは、上限値Ｌｉｍに達する前の計数値ＣＮＴを示す値である。例えば、アップカウントを行う場合、上限値Ｌｉｍより小さい値が直前値Ｐｒｅに設定される。具体的には、上限値Ｌｉｍが「２５５」であれば、直前値Ｐｒｅとして「２５０」などが設定される。なお、ダウンカウントを行う場合、下限値より大きな値が直前値Ｐｒｅに設定される。

計数制御部２７４は、計数値ＣＮＴが直前値Ｐｒｅ未満の場合に、「０」の判定結果ＤＥＣと「０」のリクエストＲｅｑとを出力する。また、計数値ＣＮＴが直前値Ｐｒｅ以上、上限値Ｌｉｍ未満の場合に計数制御部２７４は、「０」の判定結果ＤＥＣと「１」のリクエストＲｅｑとを出力する。そして、計数値ＣＮＴが上限値Ｌｉｍに達した場合に計数制御部２７４は、「１」の判定結果ＤＥＣと「０」のリクエストＲｅｑとを出力する。

図２２は、本技術の第３の実施の形態における画素回路３００および計時部２９０の動作の一例を示すタイミングチャートである。露光期間内のタイミングＴ１８において計数値ＣＮＴが直前値Ｐｒｅに達すると、計数制御部２７４は、ハイレベルのリクエストＲｅｑを出力する。そして、タイミングＴ２において計数値ＣＮＴが上限値Ｌｉｍに達すると計数制御部２７４はリクエストＲｅｑをローレベルにして出力を停止する。すなわち、タイミングＴ１８からタイミングＴ２までに亘って継続してリクエストＲｅｑが出力される。

計時部２９０内の伝送部２９３は、タイミングＴ１８から遅延時間ｄｔが経過したタイミングＴ１９において時刻情報の出力を開始する。そして、タイミングＴ２から遅延時間ｄｔが経過したタイミングＴ２１において時刻情報の出力を停止する。すなわち、リクエストＲｅｑが計時部２９０に入力されている期間内の時刻のそれぞれについて時刻情報が出力される。

また、時刻情報保持部２７７は、リクエストＲｅｑが立ち下がったタイミングＴ２において時刻情報を保持する。このタイミングＴ２の前のタイミングＴ１９から、タイミングＴ２の後のタイミングＴ２１までに亘って時刻情報は継続して出力されている。このため、時刻情報保持部２７７が保持する時刻は、計数値ＣＮＴが上限値Ｌｉｍに達した時刻に対して殆ど遅延が生じない。

このように、本技術の第３の実施の形態によれば、計数制御部２７４は、計数値が直前値に達したときから上限値に達するまでに亘ってリクエストを継続して出力するため、計時部２９０は、その間に時刻情報を継続して出力することができる。これにより、時刻情報保持部２７７は、時刻情報の出力中に、上限値に達した時刻を取り込んで保持することができる。したがって、時刻情報保持部２７７が保持する時刻と、計数値が上限値に達した時刻との間のずれを抑制することができる。

＜４．第４の実施の形態＞
上述の第１の実施の形態では、計時部２９０において、行ごとに時刻情報生成部２９１を配置していたが、行数が多くなるほど、時刻情報生成部２９１の個数が多くなり、回路規模やコストが増大するおそれがある。この第４の実施の形態の固体撮像素子２００は、全行が１つの時刻情報生成部２９１を共有する点において第１の実施の形態と異なる。

図２３は、本技術の第４の実施の形態におけるロジックアレイ部２６０および計時部２９０の一構成例を示すブロック図である。この第４の実施の形態の計時部２９０は、時刻情報生成部２９１を１つのみ保持する点において第１の実施の形態と異なる。この時刻情報生成部２９１は、全行（すなわち、全画素）に接続され、共有される。

このように、本技術の第４の実施の形態によれば、全行が１つの時刻情報生成部２９１を共有するため、行ごとに時刻情報生成部２９１を配置する場合と比較して、計時部２９０の回路規模やコストを低減することができる。

＜５．第５の実施の形態＞
上述の第１の実施の形態では、固体撮像素子２００は、回路や素子を２つのチップ（受光チップ２０１およびロジックチップ２０２）に分散して配置していた。しかし、画素数が多くなるほど、それぞれのチップの回路規模や面積が増大するおそれがある。この第５の実施の形態の固体撮像素子２００は、３つのチップに回路等を分散して配置する点において第１の実施の形態と異なる。

図２４は、本技術の第５の実施の形態における固体撮像素子２００の積層構造の一例を示す図である。この第５の実施の形態の固体撮像素子２００は、ロジックチップ２０２に積層される計時チップ２０３をさらに備える点において第１の実施の形態と異なる。

図２５は、本技術の第５の実施の形態におけるロジックチップ２０２の一構成例を示すブロック図である。この第５の実施の形態のロジックチップ２０２は、計時部２９０が配置されない点において第１の実施の形態と異なる。

図２６は、本技術の第５の実施の形態における計時チップ２０３の一構成例を示す平面図である。この計時部２０３には、計時部２９０が配置される。計時部２９０には、画素回路３００ごとに時刻情報生成部２９１が配列される。これらの時刻情報生成部２９１は、対応する画素回路３００と１対１で接続される。

なお、固体撮像素子２００内の回路を３つのチップに分散して配置しているが、４つ以上のチップを設け、それらのチップに回路を分散して配置することもできる。

このように、本技術の第５の実施の形態によれば、固体撮像素子２００内の回路を３つのチップに分散して配置したため、２つのチップに分散して配置する場合と比較して、それぞれのチップの回路規模や面積を削減することができる。

＜６．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図２７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ(interface)１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２７の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図２８は、撮像部１２０３１の設置位置の例を示す図である。

図２８では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図２８には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、図１の撮像装置１００は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、撮像部１２０３１を含むシステムの消費電力を低減することができる。

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。

なお、本技術は以下のような構成もとることができる。
（１）所定の露光期間内に光子が入射された回数を計数して計数値を出力する計数部と、
前記所定の露光期間が経過する前に前記計数値が所定値に達した場合には前記計数部を停止させる制御と時刻情報の要求とを行う計数制御部と、
時刻を計時して前記要求に応じて前記時刻情報を出力する計時部と、
前記出力された時刻情報に基づいて前記所定の露光期間内の光子の入射回数を推定する推定部と
を具備する固体撮像素子。
（２）前記時刻情報の要求において前記計数制御部は、前記時刻情報を要求するリクエストを前記計時部に出力し、
前記計数部、前記計数制御部は、二次元格子状に配列された複数の画素回路のそれぞれに配置される
前記（１）記載の固体撮像素子。
（３）前記計時部は、前記複数の画素回路のいずれかにより前記リクエストが入力された時刻または露光開始から前記リクエストが入力されるまでの時間を示す情報を前記時刻情報として出力する
前記（２）記載の固体撮像素子。
（４）前記所定値は、前記計数値を制限する制限値と当該制限値に達する前の前記計数値を示す直前値とを含み、
前記計数制御部は、前記直前値に前記計数値が達したときから前記制限値に前記計数値が達したときまでの間に亘って前記リクエストを継続して前記計時部に出力する制御と前記制限値に前記計数値が達したときに前記計数部を停止させる制御とを行い、
前記計時部は、前記リクエストが入力されている期間内の時刻のそれぞれについて前記時刻を示す情報を前記時刻情報として出力し、
前記推定部は、前記制限値に前記計数値が達したときの前記時刻情報に基づいて前記入射回数を推定する
前記（２）記載の固体撮像素子。
（５）前記計時部は、それぞれが前記時刻を計時して前記時刻情報を生成する複数の時刻情報生成部を含み、
前記複数の画素回路のそれぞれは、互いに異なる前記時刻情報生成部に接続される
前記（１）から（４）のいずれかに記載の固体撮像素子。
（６）前記計時部は、それぞれが前記時刻を計時して前記時刻情報を生成する複数の時刻情報生成部を含み、
各々が所定方向に配列された所定数の前記画素回路からなる複数のラインのそれぞれは、互いに異なる前記時刻情報生成部に接続される
前記（１）から（４）のいずれかに記載の固体撮像素子。
（７）前記計時部は、前記時刻を計時して前記時刻情報を生成する時刻情報生成部を含み、
前記複数の画素回路は、前記時刻情報生成部に共通に接続される
前記（１）から（４）のいずれかに記載の固体撮像素子。
（８）１つの光子の入射の有無を検出するフォトダイオードと、
前記光子の入射が検出されるたびに前記フォトダイオードの一端の電位を初期状態へ戻すための抵抗と
をさらに具備し、
前記計数部は、前記一端の電位が前記光子の入射の有無の検出により変動した回数を計数する
前記（１）から（６）のいずれかに記載の固体撮像素子。
（９）前記フォトダイオードは、アバランシェフォトダイオードである
前記（８）記載の固体撮像素子。
（１０）前記フォトダイオードは、受光チップに配置され、
前記抵抗、前記計数部、前記計数制御部、前記推定部は、前記受光チップに積層されたロジックチップに配置される
前記（８）記載の固体撮像素子。
（１１）前記フォトダイオードおよび前記抵抗は、受光チップに配置され、
前記計数部、前記計数制御部および前記推定部は、前記受光チップに積層されたロジックチップに配置される
前記（８）記載の固体撮像素子。
（１２）前記フォトダイオードは、受光チップに配置され、
前記計数部、前記計数制御部および前記推定部は、前記受光チップに積層されたロジックチップに配置され、
前記計時部は、前記ロジックチップに積層された計時チップに配置される
前記（８）から（１１）のいずれかに記載の固体撮像素子。
（１３）所定の露光期間内に光子が入射された回数を計数して計数値を出力する計数部と、
前記所定の露光期間が経過する前に前記計数値が所定値に達した場合には前記計数部を停止させる制御と時刻情報の要求とを行う計数制御部と、
時刻を計時して前記要求に応じて前記時刻情報を出力する計時部と、
前記出力された時刻情報に基づいて前記所定の露光期間内の光子の入射回数を推定して推定値を出力する推定部と、
前記推定値から生成された画像データを記録する記録部と
を具備する撮像装置。
（１４）所定の露光期間内に光子が入射された回数を計数して計数値を出力する計数手順と、
前記所定の露光期間が経過する前に前記計数値が所定値に達した場合には前記計数部を停止させる制御と時刻情報の要求とを行う計数制御手順と、
時刻を計時して前記要求に応じて前記時刻情報を出力する計時手順と、
前記出力された時刻情報に基づいて前記所定の露光期間内の光子の入射回数を推定する推定手順と
を具備する固体撮像素子の制御方法。

１００ 撮像装置
１１０ 撮像レンズ
１２０ 記録部
１３０ 撮像制御部
２００ 固体撮像素子
２０１ 受光チップ
２０２ ロジックチップ
２０３ 計時チップ
２１０ 受光部
２２０ 受光回路
２２１ 抵抗
２２２ フォトダイオード
２３０ 垂直制御部
２４０ 水平制御部
２５０ 信号処理部
２６０ ロジックアレイ部
２７０ 論理回路
２７１ インバータ
２７２ トランジスタ
２７３ フォトンカウンタ
２７４ 計数制御部
２７５、２７８、２９４ スイッチ
２７６ 推定部
２７７ 時刻情報保持部
２９０ 計時部
２９１ 時刻情報生成部
２９２ 計時回路
２９３、２９５ 伝送部
３００ 画素回路
１２０３１ 撮像部

Claims (14)

1. 所定の露光期間内に光子が入射された回数を計数して計数値を出力する計数部と、
   前記所定の露光期間が経過する前に前記計数値が所定値に達した場合には、前記計数部を停止させるとともに時刻情報の要求を行う計数制御部と、
   時刻を計時して前記要求に応じて前記時刻情報を出力する計時部と、
   前記出力された時刻情報に基づいて前記所定の露光期間内の光子の入射回数を推定する推定部と
   を具備する固体撮像素子。
2. 前記時刻情報の要求において前記計数制御部は、前記時刻情報を要求するリクエストを前記計時部に出力し、
   前記計数部、前記計数制御部は、二次元格子状に配列された複数の画素回路のそれぞれに配置される
   請求項１記載の固体撮像素子。
3. 前記計時部は、前記複数の画素回路のいずれかにより前記リクエストが入力された時刻または露光開始から前記リクエストが入力されるまでの時間を示す情報を前記時刻情報として出力する
   請求項２記載の固体撮像素子。
4. 前記所定値は、前記計数値を制限する制限値と当該制限値に達する前の前記計数値を示す直前値とを含み、
   前記計数制御部は、前記直前値に前記計数値が達したときから前記制限値に前記計数値が達したときまでの間に亘って前記リクエストを継続して前記計時部に出力する制御と前記制限値に前記計数値が達したときに前記計数部を停止させる制御とを行い、
   前記計時部は、前記リクエストが入力されている期間内の時刻のそれぞれについて前記時刻を示す情報を前記時刻情報として出力し、
   前記推定部は、前記制限値に前記計数値が達したときの前記時刻情報に基づいて前記入射回数を推定する
   請求項２記載の固体撮像素子。
5. 前記計時部は、それぞれが前記時刻を計時して前記時刻情報を生成する複数の時刻情報生成部を含み、
   前記複数の画素回路のそれぞれは、互いに異なる前記時刻情報生成部に接続される
   請求項２記載の固体撮像素子。
6. 前記計時部は、それぞれが前記時刻を計時して前記時刻情報を生成する複数の時刻情報生成部を含み、
   各々が所定方向に配列された所定数の前記画素回路からなる複数のラインのそれぞれは、互いに異なる前記時刻情報生成部に接続される
   請求項２記載の固体撮像素子。
7. 前記計時部は、前記時刻を計時して前記時刻情報を生成する時刻情報生成部を含み、
   前記複数の画素回路は、前記時刻情報生成部に共通に接続される
   請求項２記載の固体撮像素子。
8. １つの光子の入射の有無を検出するフォトダイオードと、
   前記光子の入射が検出されるたびに前記フォトダイオードの一端の電位を初期状態へ戻すための抵抗と
   をさらに具備し、
   前記計数部は、前記一端の電位が前記光子の入射の有無の検出により変動した回数を計数する
   請求項１記載の固体撮像素子。
9. 前記フォトダイオードは、アバランシェフォトダイオードであり、
   前記推定部は、前記露光期間をＴｅとし、前記時刻情報をＴｃとし、前記所定値をＬｉｍとし、前記入射回数の推定値をＥＳＴとして、
   ＥＳＴ＝Ｌｉｍ×（Ｔｅ／Ｔｃ）
   の式により前記推定値を求める
   請求項８記載の固体撮像素子。
10. 前記フォトダイオードは、受光チップに配置され、
    前記抵抗、前記計数部、前記計数制御部、前記推定部は、前記受光チップに積層されたロジックチップに配置される
    請求項８記載の固体撮像素子。
11. 前記フォトダイオードおよび前記抵抗は、受光チップに配置され、
    前記計数部、前記計数制御部および前記推定部は、前記受光チップに積層されたロジックチップに配置される
    請求項８記載の固体撮像素子。
12. 前記フォトダイオードは、受光チップに配置され、
    前記計数部、前記計数制御部および前記推定部は、前記受光チップに積層されたロジックチップに配置され、
    前記計時部は、前記ロジックチップに積層された計時チップに配置される
    請求項８記載の固体撮像素子。
13. 所定の露光期間内に光子が入射された回数を計数して計数値を出力する計数部と、
    前記所定の露光期間が経過する前に前記計数値が所定値に達した場合には、前記計数部を停止させるとともに時刻情報の要求を行う計数制御部と、
    時刻を計時して前記要求に応じて前記時刻情報を出力する計時部と、
    前記出力された時刻情報に基づいて前記所定の露光期間内の光子の入射回数を推定して推定値を出力する推定部と、
    前記推定値から生成された画像データを記録する記録部と
    を具備する撮像装置。
14. 計数部が、所定の露光期間内に光子が入射された回数を計数して計数値を出力する計数手順と、
    前記所定の露光期間が経過する前に前記計数値が所定値に達した場合には、前記計数部を停止させるとともに時刻情報の要求を行う計数制御手順と、
    時刻を計時して前記要求に応じて前記時刻情報を出力する計時手順と、
    前記出力された時刻情報に基づいて前記所定の露光期間内の光子の入射回数を推定する推定手順と
    を具備する固体撮像素子の制御方法。

Images