JP2022028982A - 固体撮像装置、信号処理チップ、および、電子機器 - Google Patents

固体撮像装置、信号処理チップ、および、電子機器 Download PDF

Info

Publication number
JP2022028982A
JP2022028982A JP2018227821A JP2018227821A JP2022028982A JP 2022028982 A JP2022028982 A JP 2022028982A JP 2018227821 A JP2018227821 A JP 2018227821A JP 2018227821 A JP2018227821 A JP 2018227821A JP 2022028982 A JP2022028982 A JP 2022028982A
Authority
JP
Japan
Prior art keywords
unit
pixel
event
image pickup
solid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018227821A
Other languages
English (en)
Inventor
準人 若林
Norito Wakabayashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2018227821A priority Critical patent/JP2022028982A/ja
Priority to TW108141889A priority patent/TWI846754B/zh
Priority to PCT/JP2019/045614 priority patent/WO2020116185A1/ja
Priority to CN201980054386.5A priority patent/CN112640428B/zh
Priority to US17/047,564 priority patent/US11509840B2/en
Publication of JP2022028982A publication Critical patent/JP2022028982A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】イベントの発生を検出した結果を、撮像に活用する。【解決手段】固体撮像装置は、画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出するイベント検出部と、イベントの検出結果から、画素アレイ部の注目領域を検出する注目領域検出部と、注目領域に対応する領域の画像を構成する画素信号を生成する画素信号生成部とを備える。本技術は、例えば、画素の電気信号の変化であるイベントを検出するセンサ等に適用できる。【選択図】図２３

Description

本技術は、固体撮像装置、信号処理チップ、および、電子機器に関し、特に、イベントの発生を検出した結果を、撮像に活用することができるようにした固体撮像装置、信号処理チップ、および、電子機器に関する。
画素の輝度変化をイベントとして、イベントが発生した場合に、イベントの発生を表すイベントデータを出力するイメージセンサが提案されている（例えば、特許文献１を参照）。
ここで、垂直同期信号に同期して撮像を行い、ラスタスキャン形式でフレームデータを出力するイメージセンサは、同期型のイメージセンサということができる。これに対して、イベントデータを出力するイメージセンサは、イベントデータが発生した画素の随時読み出しを行うため、非同期型のイメージセンサということができる。非同期型のイメージセンサは、例えば、DVS(Dynamic Vision Sensor)と呼ばれる。
特表2017-535999号公報
非同期型のイメージセンサによりイベントの発生を検出した結果を、撮像に活用する方法が望まれている。
本技術は、このような状況に鑑みてなされたものであり、イベントの発生を検出した結果を、撮像に活用することができるようにするものである。
本技術の第１の側面の固体撮像装置は、画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出するイベント検出部と、前記イベントの検出結果から、前記画素アレイ部の注目領域を検出する注目領域検出部と、前記注目領域に対応する領域の画像を構成する画素信号を生成する画素信号生成部とを備える。
本技術の第２の側面の信号処理チップは、画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出した検出結果から、前記画素アレイ部の注目領域を検出するとともに、前記注目領域を特定するROI情報を出力する注目領域検出部と、前記注目領域の画素信号を取得し、画像を生成する画像処理部とを備える。
本技術の第３の側面の電子機器は、画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出するイベント検出部と、前記イベントの検出結果から、前記画素アレイ部の注目領域を検出する注目領域検出部と、前記注目領域に対応する領域の画像を構成する画素信号を生成する画素信号生成部とを備える固体撮像装置を備える。
本技術の第１および第３の側面においては、画素アレイ部の各画素で発生する電気信号の変化がイベントとして検出され、前記イベントの検出結果から、前記画素アレイ部の注目領域が検出され、前記注目領域に対応する領域の画像を構成する画素信号が生成される。
本技術の第２の側面においては、画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出した検出結果から、前記画素アレイ部の注目領域が検出されるとともに、前記注目領域を特定するROI情報が出力され、前記注目領域の画素信号が取得され、画像が生成される。
固体撮像装置、信号処理チップ、及び、電子機器は、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
本技術を適用した固体撮像装置の第１実施の形態の構成例を示す図である。 図１のDVSチップの構成例を示すブロック図である。 図２の画素アレイ部の構成例を示すブロック図である。 図３の画素ブロックの構成例を示す回路図である。 イベント検出部の構成例を示すブロック図である。 電流電圧変換部の構成例を示す回路図である。 減算部及び量子化部の構成例を示す回路図である。 量子化部の他の構成例を示すブロック図である。 画像処理部の構成例を示すブロック図である。 イベントデータに応じて、フレームデータを生成する方法の例を説明する図である。 図１のCISチップの構成例を示すブロック図である。 図１１の画素アレイ部の構成例を示すブロック図である。 図１２の画素ブロックの構成例を示す回路図である。 固体撮像装置の動作を説明するフローチャートである。 本技術を適用した固体撮像装置の第２実施の形態の構成例を示す図である。 DVSチップ、CISチップ、および、DSPチップの構成例を示すブロック図である。 本技術を適用した固体撮像装置の第３実施の形態の構成例を示すブロック図である。 第３実施の形態に係る固体撮像装置の処理を説明するフローチャートである。 本技術を適用した固体撮像装置の第４実施の形態の構成例を示す図である。 本技術を適用した固体撮像装置の第４実施の形態のその他の構成例を示す図である。 図１９のセンサ部の構成例を示すブロック図である。 図２１の画素アレイ部の構成例を示すブロック図である。 図２２の画素ブロックの構成例を示す回路図である。 図２１のセンサ部の動作の例を説明するタイミングチャートである。 画素アレイ部の全画素で撮像を行う場合の駆動を示すタイミングチャートである。 画素アレイ部において注目領域の撮像を行う場合の駆動を示すタイミングチャートである。 図２１の画素アレイ部のその他の構成例を示すブロック図である。 本技術を適用した電子機器としての、撮像装置の構成例を示すブロック図である。 イメージセンサの使用例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態（２チップ構成の固体撮像装置）
２．第２実施の形態（３チップ構成の固体撮像装置）
３．第３実施の形態（３チップ構成の固体撮像装置）
４．第４実施の形態（１チップ構成の固体撮像装置）
５．電子機器への適用例
６．移動体への応用例
＜１．第１実施の形態＞
図１は、本技術を適用した固体撮像装置の第１実施の形態の構成例を示す図である。
図１の固体撮像装置１０は、第１のチップ１１および第２のチップ１２と、それらが搭載された中継基板（インターポーザ基板）１３とで構成されている。
第１のチップ１１は、画素の輝度変化をイベントとして、イベントが発生した場合に、イベントの発生を表すイベントデータを出力するイメージセンサチップである。第１のチップ１１は、入射光の光電変換を行って電気信号を生成する撮像を行うが、垂直同期信号に同期して撮像を行い、フレーム形式の画像データ（フレームデータ）を生成するのではなく、画素の電気信号の変化であるイベントの発生を表すイベントデータを生成する。
これに対して、第２のチップ１２は、垂直同期信号に同期して撮像を行い、フレーム形式の画像データであるフレームデータを出力するイメージセンサである。
第１のチップ１１は、イベントデータを、垂直同期信号に同期して出力するわけではないので、非同期型のイメージセンサということができる。非同期型のイメージセンサは、例えば、DVS(Dynamic Vision Sensor)とも呼ばれる。以下では、区別を容易にするために、第１のチップ１１を、DVSチップ１１と称し、第２のチップ１２を、CISチップ１２と称することとする。
中継基板１３は、DVSチップ１１とCISチップ１２との間の信号を中継する信号配線と、固体撮像装置１０の出力信号を外部に出力する出力端子を備える。出力端子は、例えば、DVSチップ１１およびCISチップ１２の搭載面と反対側に形成されるはんだボール等で構成される。
DVSチップ１１は、所定の検出対象範囲内で発生するイベント、すなわち、画素の輝度変化を検出し、検出されたイベントに基づいて、検出対象範囲内の特に注目する領域である注目領域を決定し、CISチップ１２に出力する。
CISチップ１２は、所定の撮像対象範囲のうち、DVSチップ１１で決定された注目領域に対する撮像を行い、その結果得られる撮像画像を外部に出力する。
ここで、DVSチップ１１の検出対象範囲と、CISチップ１２の撮像対象範囲とは、予めキャリブレーションを行うことにより、一致されている。換言すれば、DVSチップ１１の検出対象範囲は、全てCISチップ１２で撮像が可能である。また、本実施の形態では、簡単のため、DVSチップ１１の画素と、CISチップ１２の画素とが１対１に対応していることとするが、必ずしも１対１である必要はない。例えば、一方の１画素に対して、他方のN画素（N＞１）が対応しているような関係であってもよい。
＜DVSチップ１１の構成例＞
図２は、図１のDVSチップ１１の構成例を示すブロック図である。
DVSチップ１１は、画素アレイ部３１、アービタ３３、メモリ３４、画像処理部３５、出力部３６、及び、クロック信号生成部３７を備える。
画素アレイ部３１は、複数の画素５１（図３）が２次元格子状に配列されて構成される。また、画素アレイ部３１は、それぞれが所定数の画素５１からなる複数の画素ブロック４１（図３）に分割される。画素アレイ部３１は、画素５１の光電変換によって生成される電気信号としての光電流（に対応する電圧）に所定の閾値を超える変化（閾値以上の変化を必要に応じて含む）が発生した場合に、その光電流の変化をイベントとして検出する。画素アレイ部３１は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ３３に出力する。そして、画素アレイ部３１は、アービタ３３からイベントデータの出力の許可を表す応答を受け取った場合、イベントデータを、メモリ３４に出力する。
ここで、画素５１で生成される光電流の変化は、画素５１に入射する光の光量変化とも捉えることができるので、イベントは、画素５１の光量変化（閾値を超える光量変化）であるとも言うことができる。
アービタ３３は、画素アレイ部３１を構成する画素ブロック４１からのリクエストを調停し、イベントデータの出力の許可又は不許可を表す応答を画素アレイ部３１に返す。また、アービタ３３は、イベントデータ出力の許可を表す応答を出力した後に、イベント検出をリセットするリセット信号を、画素アレイ部３１に出力する。
メモリ３４は、画素アレイ部３１からのイベントデータを、所定のフレーム単位（後述するフレームボリューム）で蓄積する。メモリ３４が画素アレイ部３１からのイベントデータを蓄積するフレーム単位は、画像処理部３５によって制御される。メモリ３４は、クロック信号生成部３７から供給されるクロック信号に基づいて、イベントが発生した（相対的な）時刻を表す時刻情報としてのカウント値をイベントデータに付加して蓄積する。すなわち、メモリ３４は、イベントが発生した画素ブロック４１または画素５１の位置を表す位置座標（座標等）と、イベントが発生した時刻を表す時刻情報とを少なくとも含むイベントデータを記憶する。その他、イベントデータには、光量変化の極性（正負）を含ませることができる。
画像処理部３５は、メモリ３４に蓄積したフレーム単位のイベントデータ（フレームデータ）に応じてデータ処理（画像処理）を行い、そのデータ処理の結果であるデータ処理結果を出力する。例えば、画像処理部３５は、フレーム単位のイベントデータから、物体の輪郭情報を抽出し、検出対象である物体を特定する。画像処理部３５は、特定した物体を含む注目領域を決定し、出力部３６に出力する。
出力部３６は、画像処理部３５からの注目領域を特定する情報を、ROI情報（Region Of Interest）として、中継基板１３を介して、CISチップ１２に出力する。
クロック信号生成部３７は、マスタクロックとなるクロック信号を生成し、メモリ３４、画像処理部３５などに供給する。
＜画素アレイ部３１の構成例＞
図３は、図２の画素アレイ部３１の構成例を示すブロック図である。
画素アレイ部３１は、複数の画素ブロック４１を有する。画素ブロック４１は、I行×J列（I及びJは整数）に配列された１以上としてのI×J個の画素５１、及び、イベント検出部５２を備える。画素ブロック４１内の１以上の画素５１は、イベント検出部５２を共有している。
画素５１は、被写体からの入射光を受光し、光電変換して電気信号としての光電流を生成する。画素５１は、生成した光電流を、イベント検出部５２に供給する。
イベント検出部５２は、アービタ３３からのリセット信号によるリセット後に、画素５１のそれぞれからの光電流の所定の閾値を超える変化を、イベントとして検出する。イベント検出部５２は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ３３（図２）に供給する。そして、イベント検出部５２は、リクエストに対して、イベントデータの出力を許可する旨の応答を、アービタ３３から受け取ると、イベントデータを、メモリ３４に出力する。
ここで、光電流の所定の閾値を超える変化をイベントとして検出することは、同時に、光電流の所定の閾値を超える変化がなかったことをイベントとして検出していると捉えることができる。
＜画素ブロック４１の構成例＞
図４は、図３の画素ブロック４１の構成例を示す回路図である。
画素ブロック４１は、図３で説明したように、１以上の画素５１と、イベント検出部５２とを備える。
画素５１は、光電変換素子６１を備える。光電変換素子６１は、例えば、PD(Photodiode)で構成され、入射光を受光し、光電変換して電荷を生成する。
画素ブロック４１を構成するI×J個の画素５１は、ノード６０を介して、その画素ブロック４１を構成するイベント検出部５２に接続されている。したがって、画素５１（の光電変換素子６１）で生成された光電流は、ノード６０を介して、イベント検出部５２に供給される。その結果、イベント検出部５２には、画素ブロック４１内のすべての画素５１の光電流の和が供給される。したがって、イベント検出部５２では、画素ブロック４１を構成するI×J個の画素５１から供給される光電流の和の変化がイベントとして検出される。
図３の画素アレイ部３１では、画素ブロック４１が１以上の画素５１で構成され、その１以上の画素５１で、イベント検出部５２が共有される。したがって、画素ブロック４１が、複数の画素５１で構成される場合には、１個の画素５１に対して、１個のイベント検出部５２を設ける場合に比較して、イベント検出部５２の数を少なくすることができ、画素アレイ部３１の規模を抑制することができる。
なお、画素ブロック４１が、複数の画素５１で構成される場合、画素５１ごとに、イベント検出部５２を設けることができる。画素ブロック４１の複数の画素５１で、イベント検出部５２を共有する場合には、画素ブロック４１の単位でイベントが検出されるが、画素５１ごとに、イベント検出部５２を設ける場合には、画素５１の単位で、イベントを検出することができる。
＜イベント検出部５２の構成例＞
図５は、図３のイベント検出部５２の構成例を示すブロック図である。
イベント検出部５２は、電流電圧変換部８１、バッファ８２、減算部８３、量子化部８４、及び、転送部８５を備える。
電流電圧変換部８１は、画素５１からの光電流（の和）を、その光電流の対数に対応する電圧（以下、光電圧ともいう）に変換し、バッファ８２に供給する。
バッファ８２は、電流電圧変換部８１からの光電圧をバッファリングし、減算部８３に供給する。
減算部８３は、アービタ３３からのリセット信号に従ったタイミングで、現在の光電圧と、現在と微小時間だけ異なるタイミングの光電圧との差を演算し、その差に対応する差信号を、量子化部８４に供給する。
量子化部８４は、減算部８３からの差信号をディジタル信号に量子化し、差信号の量子化値を、イベントデータとして、転送部８５に供給する。
転送部８５は、量子化部８４からのイベントデータに応じて、そのイベントデータを、メモリ３４に転送（出力）する。すなわち、転送部８５は、イベントデータの出力を要求するリクエストを、アービタ３３に供給する。そして、転送部８５は、リクエストに対して、イベントデータの出力を許可する旨の応答をアービタ３３から受け取ると、イベントデータを、メモリ３４に出力する。
＜電流電圧変換部８１の構成例＞
図６は、図５の電流電圧変換部８１の構成例を示す回路図である。
電流電圧変換部８１は、トランジスタ９１ないし９３で構成される。トランジスタ９１及び９３としては、例えば、N型のMOS FETを採用することができ、トランジスタ９２としては、例えば、P型のMOS FETを採用することができる。
トランジスタ９１のソースは、トランジスタ９３のゲートと接続され、トランジスタ９１のソースとトランジスタ９３のゲートとの接続点には、画素５１からの光電流が供給される。トランジスタ９１のドレインは、電源VDDに接続され、そのゲートは、トランジスタ９３のドレインに接続される。
トランジスタ９２のソースは、電源VDDに接続され、そのドレインは、トランジスタ９１のゲートとトランジスタ９３のドレインとの接続点に接続される。トランジスタ９２のゲートには、所定のバイアス電圧Vbiasが印加される。バイアス電圧Vbiasによって、トランジスタ９２はオン／オフし、このトランジスタ９２のオン／オフにより、電流電圧変換部８１の動作もオン／オフする。
トランジスタ９３のソースは接地される。
電流電圧変換部８１において、トランジスタ９１のドレインは電源VDD側に接続されており、ソースフォロアになっている。ソースフォロアになっているトランジスタ９１のソースには、画素５１（図４）が接続され、これにより、トランジスタ９１（のドレインからソース）には、画素５１の光電変換素子６１で生成された電荷による光電流が流れる。
トランジスタ９１は、サブスレッショルド領域で動作し、トランジスタ９１のゲートには、そのトランジスタ９１に流れる光電流の対数に対応する光電圧が現れる。以上のように、電流電圧変換部８１では、トランジスタ９１により、画素５１からの光電流が、その光電流の対数に対応する光電圧に変換される。
電流電圧変換部８１において、トランジスタ９１のゲートは、トランジスタ９２のドレインとトランジスタ９３のドレインとの接続点に接続されており、その接続点から、光電圧が出力される。
＜減算部８３及び量子化部８４の構成例＞
図７は、図５の減算部８３及び量子化部８４の構成例を示す回路図である。
減算部８３は、コンデンサ１０１、オペアンプ１０２、コンデンサ１０３、及び、スイッチ１０４を備える。量子化部８４は、コンパレータ１１１を備える。
コンデンサ１０１の一端は、バッファ８２（図５）の出力端子に接続され、他端は、オペアンプ１０２の入力端子（反転入力端子）に接続される。したがって、オペアンプ１０２の入力端子には、コンデンサ１０１を介して光電圧が入力される。
オペアンプ１０２の出力端子は、コンパレータ１１１の非反転入力端子(+)に接続される。
コンデンサ１０３の一端は、オペアンプ１０２の入力端子に接続され、他端は、オペアンプ１０２の出力端子に接続される。
スイッチ１０４は、コンデンサ１０３の両端の接続をオン／オフするように、コンデンサ１０３に接続される。スイッチ１０４は、リセット信号に従ってオン／オフすることにより、コンデンサ１０３の両端の接続をオン／オフする。
スイッチ１０４をオンにした際のコンデンサ１０１のバッファ８２（図５）側の光電圧をVinitと表すとともに、コンデンサ１０１の容量（静電容量）をC1と表すこととする。
オペアンプ１０２の入力端子は、仮想接地になっており、スイッチ１０４がオンである場合にコンデンサ１０１に蓄積される電荷Qinitは、式（１）により表される。
Qinit = C1 ×Vinit
・・・（１）
また、スイッチ１０４がオンである場合には、コンデンサ１０３の両端の接続はオフにされる（短絡される）ため、コンデンサ１０３に蓄積される電荷はゼロとなる。
その後、スイッチ１０４がオフになった場合の、コンデンサ１０１のバッファ８２（図５）側の光電圧を、Vafterと表すこととすると、スイッチ１０４がオフになった場合にコンデンサ１０１に蓄積される電荷Qafterは、式（２）により表される。
Qafter = C1×Vafter
・・・（２）
コンデンサ１０３の容量をC2と表すとともに、オペアンプ１０２の出力電圧をVoutと表すこととすると、コンデンサ１０３に蓄積される電荷Q2は、式（３）により表される。
Q2 = -C2×Vout
・・・（３）
スイッチ１０４がオフする前後で、コンデンサ１０１の電荷とコンデンサ１０３の電荷とを合わせた総電荷量は変化しないため、式（４）が成立する。
Qinit = Qafter + Q2
・・・（４）
式（４）に式（１）ないし式（３）を代入すると、式（５）が得られる。
Vout = -(C1/C2)×(Vafter - Vinit)
・・・（５）
式（５）によれば、減算部８３では、光電圧Vafter及びVinitの減算、すなわち、光電圧VafterとVinitとの差Vafter - Vinitに対応する差信号(Vout)の算出が行われる。式（５）によれば、減算部８３の減算のゲインはC1/C2となる。通常、ゲインを最大化することが望まれるため、C1を大きく、C2を小さく設計することが好ましい。一方、C2が小さすぎると、kTCノイズが増大し、ノイズ特性が悪化するおそれがあるため、C2の容量削減は、ノイズを許容することができる範囲に制限される。また、画素ブロック４１ごとに減算部８３を含むイベント検出部５２が搭載されるため、容量C1やC2には、面積上の制約がある。これらを考慮して、容量C1及びC2の値が決定される。
コンパレータ１１１は、減算部８３からの差信号と、反転入力端子(-)に印加された所定の閾値（電圧）Vth(>0)とを比較することにより、差信号を量子化し、その量子化により得られる量子化値を、イベントデータとして、転送部８５に出力する。
例えば、コンパレータ１１１は、差信号が閾値Vthを超えている場合、1を表すH(High)レベルを、イベントの発生を表すイベントデータとして出力し、差信号が閾値Vthを超えていない場合、0を表すL(Low)レベルを、イベントが発生していないことを表すイベントデータとして出力する。
転送部８５は、量子化部８４からのイベントデータに応じて、イベントとしての光量変化が発生したと認められる場合、すなわち、差信号(Vout)が閾値Vthより大である場合に、リクエストをアービタ３３に供給し、イベントデータの出力の許可を表す応答を受け取った後に、イベントの発生を表すイベントデータ（例えば、Hレベル）を、メモリ３４に出力する。
メモリ３４は、転送部８５からのイベントデータに、そのイベントデータが表すイベントが発生した画素５１（を有する画素ブロック４１）の位置情報、及び、イベントが発生した時刻を表す時刻情報、さらには、必要に応じて、イベントとしての光量変化の極性を含めて記憶する。
イベントが発生した画素５１の位置情報、イベントが発生した時刻を表す時刻情報、イベントとしての光量変化の極性を含むイベントデータのデータ形式としては、例えば、AER(Address Event Representation)と呼ばれるデータ形式を採用することができる。
なお、イベント検出部５２全体のゲインAは、電流電圧変換部８１のゲインをCGlogとし、バッファ８２のゲインを1とし、量子化部８４のゲインをGとすると、次の式により表される。
A = CGlog・C1/C2・G（Σiphoto_n）
・・・（６）
iphoto_nは、画素ブロック４１を構成するI×J個の画素５１のうちのn番目の画素５１の光電流を表す。式（６）のΣは、nを、１からI×Jまでの整数に変えてとるサメーションを表す。
なお、画素５１では、カラーフィルタ等の所定の光を透過する光学フィルタを設けること等によって、入射光として、任意の光を受光することができる。例えば、画素５１において、入射光として、可視光を受光する場合、イベントデータは、視認することができる被写体が映る画像における画素値の変化の発生を表す。また、例えば、画素５１において、入射光として、測距のための赤外線やミリ波等を受光する場合、イベントデータは、被写体までの距離の変化の発生を表す。さらに、例えば、画素５１において、入射光として、温度の測定のための赤外線を受光する場合、イベントデータは、被写体の温度の変化の発生を表す。本実施の形態では、画素５１において、入射光として、可視光を受光することとする。
＜量子化部８４の他の構成例＞
図８は、図５の量子化部８４の他の構成例を示すブロック図である。
なお、図中、図７の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図８において、量子化部８４は、コンパレータ１１１及び１１２、並びに、出力部１１３を有する。
したがって、図８の量子化部８４は、コンパレータ１１１を有する点で、図７の場合と共通する。但し、図８の量子化部８４は、コンパレータ１１２及び出力部１１３を新たに有する点で、図７の場合と相違する。
図８の量子化部８４を有するイベント検出部５２（図５）では、イベントの他、イベントとしての光量変化の極性も検出される。
図８の量子化部８４では、コンパレータ１１１は、差信号が閾値Vthを超えている場合、1を表すHレベルを、正極性のイベントの発生を表すイベントデータとして出力し、差信号が閾値Vthを超えていない場合、0を表すLレベルを、正極性のイベントが発生していないことを表すイベントデータとして出力する。
また、図８の量子化部８４では、コンパレータ１１２の非反転入力端子(+)には、閾値Vth'(<Vth)が供給され、コンパレータ１１２の反転入力端子(-)には、減算部８３からの差信号が供給される。いま、説明を簡単にするため、閾値Vth'が、例えば、-Vthに等しいこととする。
コンパレータ１１２は、減算部８３からの差信号と、反転入力端子(-)に印加された閾値Vth'とを比較することにより、差信号を量子化し、その量子化により得られる量子化値を、イベントデータとして出力する。
例えば、コンパレータ１１２は、差信号が閾値Vth'より小さい場合（負の値の差信号の絶対値が閾値Vthを超えている場合）、1を表すHレベルを、負極性のイベントの発生を表すイベントデータとして出力する。また、コンパレータ１１２は、差信号が閾値Vth'より小さくない場合（負の値の差信号の絶対値が閾値Vthを超えていない場合）、0を表すLレベルを、負極性のイベントが発生していないことを表すイベントデータとして出力する。
出力部１１３は、コンパレータ１１１及び１１２が出力するイベントデータに応じて、正極性のイベントの発生を表すイベントデータ、負極性のイベントの発生を表すイベントデータ、又は、イベントが発生していないことを表すイベントデータを、転送部８５に出力する。
例えば、出力部１１３は、コンパレータ１１１からのイベントデータが1を表すHレベルである場合、+1を表すHパルスを、正極性のイベントの発生を表すイベントデータとして、転送部８５に出力する。また、出力部１１３は、コンパレータ１１２からのイベントデータが1を表すHレベルである場合、-1を表すLパルスを、負極性のイベントの発生を表すイベントデータとして、転送部８５に出力する。さらに、出力部１１３は、コンパレータ１１１及び１１２からのイベントデータがいずれも0を表すLレベルである場合、0を表す0ボルト（GNDレベル）を、イベントが発生していないことを表すイベントデータとして、転送部８５に出力する。
転送部８５は、量子化部８４の出力部１１３からのイベントデータに応じて、正極性又は負極性のイベントとしての光量変化が発生したと認められる場合、リクエストをアービタ３３に供給し、イベントデータの出力の許可を表す応答を受け取った後に、正極性又は負極性のイベントの発生を表すイベントデータ（1を表すHパルス、又は、-1を表すLパルス）を、メモリ３４に出力する。
量子化部８４を図７の構成とした場合には、イベントの発生が正極性のみの１ビット（０または１）で出力され、図８の構成とした場合には、イベントの発生が１．５ビット（１、０、または、－１）で出力される。以下では、量子化部８４は、図７及び図８のうちの、例えば、図８に示したように構成されることとする。
＜画像処理部３５の構成例＞
図９は、図２の画像処理部３５の構成例を示すブロック図である。
図９において、画像処理部３５は、フレーム間隔設定部１３１、フレーム幅設定部１３２、及び、検出部（注目領域検出部）１３３を有する。
フレーム間隔設定部１３１は、例えば、ユーザの操作等に応じて、フレーム間隔を設定し、メモリ３４に供給する。フレーム間隔とは、イベントデータに応じて生成されるフレームデータのフレームの間隔を表し、フレーム間隔は、時間、又は、イベントデータの数により指定して設定することができる。ここで、フレーム間隔設定部１３１で設定されたフレーム間隔を、設定フレーム間隔ともいう。
フレーム幅設定部１３２は、例えば、ユーザの操作等に応じて、フレーム幅を設定し、メモリ３４に供給する。フレーム幅とは、１フレームのフレームデータの生成に用いるイベントデータの時間幅を表し、フレーム幅は、フレーム間隔と同様に、時間、又は、イベントデータの数により指定して設定することができる。ここで、フレーム幅設定部１３２で設定されたフレーム幅を、設定フレーム幅ともいう。
メモリ３４は、画素アレイ部３１からのイベントデータを、フレーム間隔設定部１３１およびフレーム幅設定部１３２で設定された設定フレーム間隔および設定フレーム幅で、フレーム形式の画像データであるフレームデータを生成することにより、イベントデータをフレーム単位のフレームデータに変換して記憶する。
検出部１３３は、メモリ３４に記憶されているフレームデータを用いた画像処理、例えば、パターンマッチングやニューラルネットワークを用いた画像認識により、検出対象としての物体を特定し、物体の輪郭情報を抽出する。画像処理部３５は、特定した物体を含む領域を注目領域として、注目領域を特定する情報を、ROI情報として、出力部３６に出力する。すなわち、検出部１３３は、メモリ３４に記憶されているフレームデータを用いて、注目領域を検出する。
なお、フレーム幅としては、あらかじめ決められた値を採用することができる。この場合、画像処理部３５は、フレーム幅設定部１３２を設けずに構成することができる。
＜イベントデータに応じたフレームデータの生成＞
図１０は、イベントデータに応じて、フレームデータを生成する方法の例を説明する図である。
いま、イベントデータが、イベントが発生した時刻を表す時刻情報（以下、イベントの時刻ともいう）ti、及び、イベントが発生した画素５１（を有する画素ブロック４１）の位置情報（以下、イベントの位置ともいう）としての座標(x, y)を含むこととする。
図１０では、x軸、y軸、及び、時間軸tで構成される３次元（時）空間において、イベントデータとしての点が、そのイベントデータに含まれるイベントの時刻t、及び、イベントの位置（としての座標）(x, y)にプロットされている。
すなわち、イベントデータに含まれるイベントの時刻t、及び、イベントの位置(x, y)で表される３次元空間上の位置(x, y, t)を、イベントの時空間位置ということとすると、図１０では、イベントデータが、イベントの時空間位置(x, y, t)に、点としてプロットされている。
メモリ３４は、例えば、外部からフレームデータの生成が指示された時刻や、DVSチップ１１の電源がオンにされた時刻等の所定の時刻を、フレームデータの生成を開始する生成開始時刻として、イベントデータに応じたフレームデータの生成を開始する。
いま、生成開始時刻から、設定フレーム間隔ごとの、時間軸t方向に、設定フレーム幅の直方体をフレームボリュームまたはフレーム単位ということとする。フレームボリュームのx軸方向及びy軸方向のサイズは、例えば、画素ブロック４１又は画素５１のx軸方向及びy軸方向の個数に等しい。
メモリ３４は、設定フレーム間隔ごとに、設定フレーム間隔の先頭から設定フレーム幅のフレームボリューム内のイベントデータに応じて、１フレームのフレームデータを生成して記憶する。
フレーム幅及びフレーム間隔は、時間による指定とすることもできるし、イベントデータの数による指定とすることもできる。フレーム幅及びフレーム間隔の一方が、時間による指定であり、他方が、イベントデータの数による指定でもよい。
フレームデータの生成は、例えば、イベントデータに含まれるイベントの位置(x, y)のフレームの画素（の画素値）に白色を、フレームの他の位置の画素（の画素値）にグレー等の所定の色をセットすることで行うことができる。
その他、フレームデータの生成は、イベントデータがイベントとしての光量変化の極性を含む場合には、イベントデータに含まれる極性を考慮して行うことができる。例えば、極性が正である場合には、画素に白色をセットし、極性が負である場合には、画素に黒色をセットすることができる。
なお、フレームボリューム内には、イベントの時刻tが異なるが、イベントの位置(x, y)が同一のイベントデータが複数存在する場合がある。この場合、例えば、イベントの時刻tが最も新しい又は古いイベントデータを優先させることができる。また、イベントデータが極性を含む場合には、イベントの時刻tが異なるが、イベントの位置(x, y)が同一の複数のイベントデータの極性を加算し、その加算により得られる加算値に応じた画素値を、イベントの位置(x, y)の画素にセットすることができる。
ここで、フレーム幅及びフレーム間隔が、時間による指定であって、フレーム幅とフレーム間隔とが同一である場合、フレームボリュームは、隙間なく接した状態となる。また、フレーム間隔がフレーム幅より大である場合、フレームボリュームは、隙間を空けて並んだ状態となる。フレーム幅がフレーム間隔より大である場合、フレームボリュームは、一部が重複する形で並んだ状態となる。本実施の形態では、説明を簡単にするため、フレーム幅をフレーム間隔と同一とし、所定の設定フレーム間隔で、イベントデータがメモリ３４に蓄積されることとする。設定フレーム間隔でメモリ３４に蓄積されるフレームデータが更新され、物体の検出が順次行われるので、フレームデータの更新周期は物体の検出を行う周期（物体検出周期）に等しい。
なお、本実施の形態では、所定の設定フレーム間隔および設定フレーム幅でメモリ３４に蓄積されたイベントデータを用いた画像認識により、検出対象としての物体を特定するようにしたが、例えば、時間経過に応じて取得されるイベントデータの位置変位を捉えることにより、物体を特定するような場合には、メモリ３４は省略することができる。
＜CISチップ１２の構成例＞
図１１は、図１のCISチップ１２の構成例を示すブロック図である。
CISチップ１２は、画素アレイ部２１１、駆動部２１２、AD(Analog to Digital)変換部２１３、入力部２１４、制御部２１５、信号処理部２１６、及び、出力部２１７を備える。
画素アレイ部２１１は、複数の画素２５１（図１２）が２次元格子状に配列されて構成される。画素アレイ部２１１は、それぞれが所定数の画素２５１からなる複数の画素ブロック２４１（図１２）に分割される。画素アレイ部２１１は、画素２５１の光電変換によって生成される画素信号を、AD変換部２１３に出力する。
駆動部２１２は、画素アレイ部２１１に制御信号を供給することにより、画素アレイ部２１１を駆動する。例えば、駆動部２１２は、DVSチップ１１から供給されたROI情報に基づく注目領域の画素２５１を駆動し、その画素２５１の画素信号を、AD変換部２１３に供給（出力）させる。なお、勿論、駆動部２１２は、画素アレイ部２１１の一部の領域だけでなく、画素アレイ部２１１の全領域を駆動し、全領域の画素２５１の画素信号をAD変換部２１３に供給（出力）させることも可能である。
AD変換部２１３は、例えば、後述する画素ブロック２４１（図１２）の列ごとに、例えば、シングルスロープ型のADC(AD Converter)（図示せず）を有する。AD変換部２１３は、各列のADCにおいて、その列の画素ブロック２４１の画素２５１の画素信号をAD変換し、信号処理部２１６に供給する。なお、AD変換部２１３では、画素信号のAD変換とともに、CDS(Correlated Double Sampling)を行うことができる。
入力部２１４は、中継基板１３を介してDVSチップ１１から供給されたROI情報を取得し、制御部２１５に供給する。また、入力部２１４は、動作モードなどを指令するデータなども、外部から取得することができる。
制御部２１５は、ROI情報や、動作モードなどを指令するデータなどを入力部２１４から受け取る。制御部２１５は、駆動部２１２、AD変換部２１３などの動作の基準となるクロック信号や制御信号を生成する。そして、制御部２１５は、生成したクロック信号や制御信号を、駆動部２１２、AD変換部２１３等に出力する。例えば、制御部２１５は、入力部２１４から取得したROI情報に基づいて、画素アレイ部２１１の駆動領域を特定する制御信号を駆動部２１２に供給する。
信号処理部２１６は、AD変換部２１３から順次供給される画素信号に対して、所定の信号処理を行う。例えば、信号処理部２１６は、黒レベル調整処理、列ばらつき補正処理、ゲイン調整処理などの各種のデジタル信号処理を行う。信号処理部２１６は、デジタル信号処理後の画素信号を出力部２１７に供給する。
出力部２１７は、信号処理部２１６からの画素信号を外部に出力する。
＜画素アレイ部２１１の構成例＞
図１２は、図１１の画素アレイ部２１１の構成例を示すブロック図である。
画素アレイ部２１１は、複数の画素ブロック２４１を有する。画素ブロック２４１は、I行×J列（I及びJは整数）に配列された１以上としてのI×J個の画素２５１、及び、画素信号生成部２５２を備える。上述したように、各画素ブロック２４１の画素２５１は、DVSチップ１１の画素アレイ部３１の各画素ブロック４１の画素５１と、画素位置が対応している。
画素ブロック２４１内の１以上の画素２５１は、画素信号生成部２５２を共有している。また、画素ブロック２４１の列ごとには、画素ブロック２４１とAD変換部２１３のADCとを接続するVSL(Vertical Signal Line)が配線される。
画素２５１は、被写体からの入射光を受光し、光電変換して電気信号としての光電流を生成する。画素信号生成部２５２は、画素２５１の光電流に対応する電圧を画素信号として生成し、VSLを介して、AD変換部２１３に供給する。
＜画素ブロック４１の構成例＞
図１３は、図１２の画素ブロック２４１の構成例を示す回路図である。
画素ブロック２４１は、図１２で説明したように、１以上の画素２５１、及び、画素信号生成部２５２を備える。
画素２５１は、光電変換素子２６１、及び、転送トランジスタ２６２を備える。
光電変換素子２６１は、例えば、PD(Photodiode)で構成され、入射光を受光し、光電変換して電荷を生成する。
転送トランジスタ２６２は、例えば、N(Negative)型のMOS(Metal-Oxide-Semiconductor) FET(Field Effect Transistor)で構成される。画素ブロック２４１を構成するI×J個の画素２５１のうちのn番目の画素２５１を構成する転送トランジスタ２６２は、駆動部２１２から供給される制御信号TRGnに従ってオン／オフする。転送トランジスタ２６２がオンすることにより、光電変換素子２６１で生成された電荷は、画素信号生成部２５２のFD２７４に転送される。
画素信号生成部２５２は、リセットトランジスタ２７１、増幅トランジスタ２７２、選択トランジスタ２７３、及び、FD(Floating Diffusion)２７４を備える。
リセットトランジスタ２７１、増幅トランジスタ２７２、及び、選択トランジスタ２７３は、例えば、N型のMOS FETで構成される。
リセットトランジスタ２７１は、駆動部２１２（図１１）から供給される制御信号RSTに従ってオン／オフする。リセットトランジスタ２７１がオンすることにより、FD２７４が電源VDDに接続され、FD２７４に蓄積された電荷が電源VDDに排出される。これにより、FD２７４は、リセットされる。
増幅トランジスタ２７２のゲートは、FD２７４に、ドレインは、電源VDDに、ソースは、選択トランジスタ２７３を介してVSLに、それぞれ接続される。増幅トランジスタ２７２は、ソースフォロアになっており、ゲートに供給されるFD２７４の電圧に対応する電圧（電気信号）を、選択トランジスタ２７３を介してVSLに出力する。
選択トランジスタ２７３は、駆動部２１２から供給される制御信号SELに従ってオン／オフする。リセットトランジスタ２７１がオンすることにより、増幅トランジスタ２７２からのFD２７４の電圧に対応する電圧が、VSLに出力される。
FD２７４は、画素２５１の光電変換素子２６１から転送トランジスタ２６３を介して転送されてくる電荷を蓄積し、電圧に変換する。
以上のように構成される画素２５１及び画素信号生成部２５２については、駆動部２１２は、制御信号TRGnにより、画素ブロック２４１内の画素２５１の転送トランジスタ２６２を順にオンにして、光電変換素子２６１で生成された電荷をFD２７４に転送させる。FD２７４では、画素２５１（の光電変換素子２６１）から転送される電荷が蓄積される。FD２７４に蓄積された電荷に対応する電圧は、画素２５１の画素信号として、増幅トランジスタ２７２及び選択トランジスタ２７３を介して、VSLに出力される。
以上のように、CISチップ１２（図１１）では、駆動部２１２の制御にしたがって、注目領域に対応する画素ブロック２４１の画素２５１の画素信号が、順に、VSLに出力される。VSLに出力された画素信号は、AD変換部２１３に供給され、AD変換される。
ここで、画素ブロック２４１内の各画素２５１については、転送トランジスタ２６３を順にオンにするのではなく、同時にオンにすることができる。この場合、画素ブロック２４１内のすべての画素２５１の画素信号の和を出力することができる。
図１２の画素アレイ部２１１では、画素ブロック２４１が１以上の画素２５１で構成され、その１以上の画素２５１で、画素信号生成部２５２が共有される。したがって、画素ブロック２４１が、複数の画素２５１で構成される場合には、１個の画素２５１に対して、１個の画素信号生成部２５２を設ける場合に比較して、画素信号生成部２５２の数を少なくすることができ、画素アレイ部２１１の規模を抑制することができる。
なお、画素ブロック２４１が、複数の画素２５１で構成される場合においても、画素２５１ごとに画素信号生成部２５２を設けることができる。画素２５１ごとに画素信号生成部２５２を設ける場合には、画素ブロック２４１を構成する複数の画素２５１の転送トランジスタ２６３を順にオンする必要がなく、同時にオンし、画素２５１の単位で、画素信号を検出することができる。
但し、以下では、説明を簡単にするため、特に断らない限り、DVSチップ１１の画素アレイ部３１、および、CISチップ１２の画素アレイ部２１１のいずれにおいても、画素ブロックが１個の画素を有する場合を前提に説明を行う。すなわち、DVSチップ１１の画素アレイ部３１の画素ブロック４１は、１個の画素５１とイベント検出部５２とを有し、CISチップ１２の画素アレイ部２１１の画素ブロック２４１は、１個の画素２５１と画素信号生成部２５２とを有する場合を前提に説明を行う。
＜固体撮像装置１０の処理＞
図１４のフローチャートを参照して、固体撮像装置１０の動作を説明する。例えば、図１４の処理は、固体撮像装置１０の電源がオンされたときに開始される。
なお、図１４の処理では、フレーム間隔設定部１３１およびフレーム幅設定部１３２が設定する設定フレーム間隔および設定フレーム幅は、調整された上で、予め所定値に設定されている。
初めに、ステップＳ１において、DVSチップ１１の画素アレイ部３１は、画素アレイ部３１を構成する複数の画素５１のいずれかに、イベントとしての電気信号の変化が発生すると、イベントデータを生成し、メモリ３４に供給する。より詳しくは、画素アレイ部３１は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ３３に出力する。そして、画素アレイ部３１は、アービタ３３からイベントデータの出力の許可を表す応答を受け取った場合、イベントデータを、メモリ３４に出力する。
ステップＳ２において、メモリ３４は、画素アレイ部３１からのイベントデータを、所定のフレーム単位で蓄積することにより、フレームデータに変換する。
ステップＳ３において、画像処理部３５は、メモリ３４に蓄積されたフレーム単位のイベントデータに応じてデータ処理を行い、そのデータ処理の結果であるデータ処理結果を、出力部３６に出力する。より詳しくは、検出部１３３が、フレームデータから、物体の輪郭情報を抽出し、検出対象となる物体を特定する。そして、検出部１３３は、特定した物体を含む注目領域を決定し、出力部３６に出力する。
ステップＳ４において、出力部３６は、画像処理部３５から供給された注目領域を特定する情報をROI情報（Region Of Interest）として、中継基板１３を介して、CISチップ１２に出力する。
ステップＳ５において、入力部２１４は、中継基板１３を介してDVSチップ１１から供給されたROI情報を取得し、制御部２１５に供給する。制御部２１５は、入力部２１４から取得したROI情報に基づいて、画素アレイ部２１１の駆動領域を特定する制御信号を駆動部２１２に供給する。
ステップＳ６において、画素アレイ部２１１は、駆動部２１２の制御にしたがい、注目領域の撮像を行う。すなわち、駆動部２１２は、制御部２１５から供給された、画素アレイ部２１１の駆動領域を特定する制御信号に基づいて、注目領域の画素２５１を駆動する。画素アレイ部２１１は、駆動部２１２の制御にしたがい、注目領域の画素信号を、AD変換部２１３に供給する。
ステップＳ７において、AD変換部２１３は、画素アレイ部２１１の行単位に順次入力されるアナログの画素信号をデジタル信号に変換（AD変換）するとともにCDSを行い、その結果を、信号処理部２１６に供給する。
ステップＳ８において、信号処理部２１６は、AD変換部２１３から順次供給されるデジタルの画素信号に対して、必要に応じて所定の信号処理を行い、出力部２１７に供給する。出力部２１７は、信号処理部２１６からのデジタルの画素信号を外部に出力する。
ステップＳ１乃至Ｓ４の処理は、固体撮像装置１０のDVSチップ１１によって実行され、ステップＳ５乃至Ｓ８の処理は、固体撮像装置１０のCISチップ１２によって実行される。
DVSチップ１１では、イベントの発生が検出された場合に、検出対象としての物体を特定して注目領域が決定され、その注目領域を特定する情報が、ROI情報として、CISチップ１２に供給される。CISチップ１２では、DVSチップ１１で決定された注目領域（に対応する領域）の撮像が行われ、注目領域の各画素の画素信号が出力される。
例えば、固体撮像装置を、一般的なCMOSイメージセンサと同様にCISチップ１２のみで構成した場合であっても、CISチップ１２で画素アレイ部２１１の全領域で撮像を行い、その撮像画像からパターンマッチング等の画像認識により検出対象となる物体を特定して注目領域を決定した後、注目領域の各画素の画素信号を取得することが可能である。
しかしながら、注目領域を決定するために、画素アレイ部２１１の全領域で撮像を行うと、画像認識の処理負荷も大きくなり、消費電力も大きくなる。消費電力や画像認識の処理負荷を減らすために、画素アレイ部２１１の撮像画素を間引くなどして低解像度で実行する方法も考えられるが、低解像度で検出対象を検出できない場合には、さらに解像度を上げて、撮像および画像認識を再度実行する必要がある。
これに対して、図１の固体撮像装置１０によれば、DVSチップ１１の検出対象範囲が、間引かれることなく、CISチップ１２の画素アレイ部２１１の撮像範囲と同じであり、イベントの発生を１ビットまたは１．５ビット（３値）の低ビットで出力するので、CISチップ１２の画素アレイ部２１１と同じ撮像範囲のイベントの発生を、空間情報の欠落なく、低消費電力で検出することができる。そして、CISチップ１２では、DVSチップ１１で決定された注目領域についての撮像を行うことで、注目領域の撮像を高速に行うことができる。画素アレイ部２１１の一部分の領域のみの駆動とすることで、CISチップ１２の消費電力も低減することができる。
＜２．第２実施の形態＞
図１５は、本技術を適用した固体撮像装置の第２実施の形態の構成例を示す図である。
図１の第１実施の形態では、イベントの発生を検出して、注目領域を特定するROI情報を出力するDVSチップ１１と、注目領域の画像を撮像するCISチップ１２との２個のチップで構成されていたが、第２実施の形態では、３個のチップで構成されている。
第２実施の形態に係る固体撮像装置１０は、第１のチップ３１１、第２のチップ３１２、および、第３のチップ３１３と、それらが搭載された中継基板（インターポーザ基板）３１４とで構成されている。
第２実施の形態に係る固体撮像装置１０は、第１実施の形態のDVSチップ１１およびCISチップ１２のそれぞれのデジタル信号処理の少なくとも一部を、別のDSP（digital signal processor）チップで実行するようにした構成である。
具体的には、第１のチップ３１１は、第１実施の形態のDVSチップ１１のデジタル信号処理回路の一部を除いた回路で構成され、第２のチップ３１２は、第１実施の形態のCISチップ１２のデジタル信号処理回路の一部を除いた回路で構成される。第３のチップ３１３には、第１のチップ３１１と第２のチップ３１２とで除かれた回路が形成される。以下では、区別を容易にするために、第１のチップ３１１を、DVSチップ３１１と称し、第２のチップ３１２を、CISチップ３１２と称し、第３のチップ３１３を、DSPチップ３１３と称することとする。
中継基板３１４は、DVSチップ３１１、CISチップ３１２、および、DSPチップ３１３間の信号を中継する信号配線と、固体撮像装置１０の出力信号を外部に出力する出力端子を備える。出力端子は、例えば、DVSチップ３１１やCISチップ３１２の搭載面と反対側に形成されるはんだボール等で構成される。
＜各チップの構成例＞
図１６は、DVSチップ３１１、CISチップ３１２、および、DSPチップ３１３の構成例を示すブロック図である。
図１６において、図２、図９、および、図１１で示した第１実施の形態の各構成と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
第１実施の形態の図２のDVSチップ１１と、第２実施の形態のDVSチップ３１１とを比較すると、第１実施の形態のDVSチップ１１に含まれていた、メモリ３４、画像処理部３５、および、クロック信号生成部３７が、第２実施の形態では、DSPチップ３１３に移動されている。これにより、画素アレイ部３１から出力されたイベントデータは、出力部３６に供給され、出力部３６が、イベントデータをDSPチップ３１３のメモリ３４に出力する。
第２実施の形態のCISチップ３１２は、第１実施の形態の図１１のCISチップ１２と同様に構成されている。
DSPチップ３１３は、メモリ３４、画像処理部３５、および、クロック信号生成部３７の他、画像処理部３２１を有する。
DSPチップ３１３の画像処理部３２１は、CISチップ３１２の出力部２１７から入力されるデジタルの画素信号を取得する。画像処理部３２１は、CISチップ３１２から入力された注目領域の画素信号に対する所定の画像処理、例えば、デモザイク処理などを行い、その結果得られる画像（の信号）を外部に出力する。また、画像処理部３２１は、第１実施の形態ではCISチップ３１２の信号処理部２１６で行っていた信号処理の一部を実行するようにしてもよい。画像処理部３２１は、必要に応じて、画素信号を一時的に保持するメモリ（フレームメモリ）を有する。
第２実施の形態に係る固体撮像装置１０の処理は、第１実施の形態で説明した図１４の処理と同様に実行することができるので、その説明は省略する。また、第２実施の形態に係る固体撮像装置１０の処理では、図１４で説明した処理の最後に、DSPチップ３１３の画像処理部３２１による画像処理を追加して行うことができる。
したがって、３チップ構成とした第２実施の形態に係る固体撮像装置１０においても、撮像範囲と同じ、間引きなしの検出対象範囲で、イベントの発生を、空間情報の欠落なく、低消費電力で検出することができ、注目領域の撮像を高速に行うことができる。注目領域のみの駆動とすることで消費電力も低減することができる。
＜３．第３実施の形態＞
図１７は、本技術を適用した固体撮像装置の第３実施の形態の構成例を示すブロック図である。
第３実施の形態に係る固体撮像装置１０は、第２実施の形態と同様に、DVSチップ３１１、CISチップ３１２、および、DSPチップ３１３の３チップで構成される。第３実施の形態に係る固体撮像装置１０の概略斜視図は、図１５と同様であるので、図示は省略する。
図１７のブロック図において、第２実施の形態の図１６と対応する部分については、同一の符号を付してあり、その部分の説明は適宜省略する。
図１７のDSPチップ３１３の検出部３４１、信頼度判定部３４２、および、撮像同期信号生成部３４３が第２実施の形態と相違し、その他の部分が第２実施の形態と共通する。
第２実施の形態の画像処理部３５の検出部１３３が、第３実施の形態では、検出部３４１に置き換えられている。
第１および第２実施の形態では、フレームデータを生成する際の設定フレーム間隔および設定フレーム幅が予め決定された固定値とされていたが、第３の実施の形態では、検出部３４１の検出結果に応じて、設定フレーム間隔および設定フレーム幅が変更される。
具体的には、検出部３４１は、第２実施の形態の検出部１３３と同様に、メモリ３４に記憶されているフレームデータを用いた画像認識により、検出対象としての物体を特定し、物体の輪郭情報を抽出する。そして、画像処理部３５は、特定した物体を含む領域を注目領域として、注目領域を特定する情報を、ROI情報として、CISチップ３１２の入力部２１４に出力する。
また、検出部３４１は、画像認識の認識結果、換言すれば、物体の検出結果を、信頼度判定部３４２に供給する。例えば、検出部３４１は、フレーム単位で物体検出の有無を１および０に割り当て、最新フレームから過去に遡った所定数フレームまでの１の割合を検出率として算出し、信頼度判定部３４２に出力する。
信頼度判定部３４２は、検出部３４１から供給される検出率により物体検出の信頼度を判定し、メモリ３４がイベントデータを蓄積するフレーム単位（フレームボリューム）を制御する。ここで、第３の実施の形態においても、フレーム幅とフレーム間隔とが同一とし、フレーム間隔の設定のみによってフレーム単位が設定されるとすると、信頼度判定部３４２は、検出率に応じて、メモリ３４がイベントデータを蓄積するフレーム間隔を制御する。具体的には、信頼度判定部３４２は、検出部３４１から供給される検出率が、内部に記憶された閾値よりも小さい場合、すなわち、物体を十分に検出できていない場合、フレーム間隔を大きくするフレーム制御信号を、画像処理部３５に供給する。一方、検出率が、内部に記憶された閾値以上である場合、信頼度判定部３４２は、フレーム間隔を小さくするフレーム制御信号を、画像処理部３５に供給する。なお、検出率が第１の閾値より小さい場合、フレーム間隔を大きく変更し、検出率が第１の閾値以上第２の閾値未満（第１の閾値＜第２の閾値）である場合、現在のフレーム間隔を維持し、検出率が第２の閾値以上である場合、フレーム間隔を小さく変更するようにしてもよい。
また、信頼度判定部３４２は、メモリ３４がイベントデータを蓄積するフレーム単位に応じて、撮像周期を制御する撮像周期制御信号を生成し、撮像同期信号生成部３４３に供給する。すなわち、フレーム間隔が短く、物体を検出する周期（物体検出周期）ほど、CISチップ３１２を高速に駆動することができない場合、信頼度判定部３４２は、撮像周期を大きく設定する撮像周期制御信号を生成し、撮像同期信号生成部３４３に供給する。一方、物体検出周期が低速であり、CISチップ３１２の撮像周期を、物体検出周期と一致させることが可能である場合には、信頼度判定部３４２は、撮像周期が物体検出周期と同一となる撮像周期制御信号を生成し、撮像同期信号生成部３４３に供給する。CISチップ３１２が駆動可能な撮像周期は、注目領域の領域サイズによっても変わり得る。したがって、注目領域の領域サイズが小さいことにより、CISチップ３１２の撮像を、物体検出周期に合わせて高速に駆動できる場合にも、物体検出周期に合わせる撮像周期制御信号が、撮像同期信号生成部３４３に供給される。
撮像同期信号生成部３４３は、信頼度判定部３４２からの撮像周期制御信号に応じて、撮像同期信号を生成し、CISチップ３１２の入力部２１４に出力する。
より詳しくは、撮像同期信号生成部３４３には、クロック信号生成部３７から、クロック信号（マスタクロック）が供給される。クロック信号生成部３７は、生成したクロック信号を、DVSチップ３１１の出力部３６の他、撮像同期信号生成部３４３にも供給する。
撮像同期信号生成部３４３は、例えば、分周回路で構成され、クロック信号生成部３７からのクロック信号を分周することで、撮像同期信号を生成する。生成された撮像同期信号は、CISチップ３１２の入力部２１４に出力される。撮像同期信号生成部３４３は、撮像周期を大きく設定する撮像周期制御信号が信頼度判定部３４２から供給された場合、クロック信号を所定の分周比で分周した撮像同期信号を生成する。撮像周期を物体検出周期に合わせる撮像周期制御信号が信頼度判定部３４２から供給された場合、撮像同期信号生成部３４３は、クロック信号を分周せずに、そのまま、撮像同期信号として、CISチップ３１２の入力部２１４に出力する。
なお、撮像同期信号生成部３４３は、クロック信号生成部３７からのクロック信号の周期を、単に1／ｎ（ｎ＞１）に分周した撮像同期信号を生成するのではなく、クロック信号の周期を1／ｎに分周し、かつ、３０fps、６０fps、または１２０fpsのビデオレートとなるような撮像同期信号を生成するようにしてもよい。３０fps、６０fps、または１２０fpsのいずれに設定するかは、例えば、ユーザ設定等で決めることができる。
＜固体撮像装置１０の処理＞
図１８は、第３実施の形態に係る固体撮像装置１０の処理を説明するフローチャートである。例えば、図１８の処理は、固体撮像装置１０の電源がオンされたときに開始される。
なお、図１８の処理では、初期値としての設定フレーム間隔および設定フレーム幅は、予め所定値に設定されている。
初めに、ステップＳ２１において、DVSチップ１１の画素アレイ部３１は、画素アレイ部３１を構成する複数の画素５１のいずれかに、イベントとしての電気信号の変化が発生すると、イベントデータを生成し、出力部３６に供給する。より詳しくは、画素アレイ部３１は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ３３に出力する。そして、画素アレイ部３１は、アービタ３３からイベントデータの出力の許可を表す応答を受け取った場合、イベントデータを、出力部３６に出力する。出力部３６は、画素アレイ部３１からのイベントデータを、DSPチップ３１３のメモリ３４に出力する。
ステップＳ２２において、DSPチップ３１３のメモリ３４は、DVSチップ１１の出力部３６からのイベントデータを、所定のフレーム単位で蓄積することにより、フレームデータに変換する。
ステップＳ２３において、画像処理部３５の検出部３４１は、メモリ３４に蓄積されたフレーム単位のイベントデータに応じてデータ処理を行い、そのデータ処理の結果であるROI情報を、中継基板３１４を介して、CISチップ３１２の入力部２１４に出力する。より詳しくは、検出部３４１が、フレームデータから、物体の輪郭情報を抽出し、検出対象となる物体を特定する。そして、検出部３４１は、特定した物体を含む注目領域を決定し、注目領域を特定するROI情報を、CISチップ３１２の入力部２１４に出力する。
ステップＳ２４において、検出部３４１は、画像認識の認識結果として、物体の検出率を算出し、信頼度判定部３４２に供給する。物体の検出率は、例えば、フレーム単位に信頼度判定部３４２に供給される。
ステップＳ２５において、信頼度判定部３４２は、検出部３４１から供給された検出率に応じて、メモリ３４がイベントデータを蓄積するフレーム間隔を制御する。検出率が閾値よりも小さく、物体を十分に検出できていない場合、信頼度判定部３４２は、フレーム間隔を大きくするフレーム制御信号を、画像処理部３５に供給する。一方、検出率が、内部に記憶された閾値以上である場合、信頼度判定部３４２は、フレーム間隔を小さくするフレーム制御信号を、画像処理部３５に供給する。なお、検出率が、内部に記憶された閾値以上である場合には、フレーム間隔は変更せずに、維持するようにしてもよい。
ステップＳ２６において、信頼度判定部３４２は、フレーム間隔に応じて、撮像周期を制御する撮像周期制御信号を生成し、撮像同期信号生成部３４３に供給する。具体的には、フレーム間隔が短く、物体検出周期ほどCISチップ３１２を高速に駆動することができない場合、信頼度判定部３４２は、現在の設定より撮像周期を大きく設定する撮像周期制御信号を生成し、撮像同期信号生成部３４３に供給する。一方、物体検出周期が低速であり、CISチップ３１２の撮像周期を、物体検出周期と一致させることが可能である場合には、信頼度判定部３４２は、撮像周期が物体検出周期と同一となる撮像周期制御信号を生成し、撮像同期信号生成部３４３に供給する。
ステップＳ２７において、撮像同期信号生成部３４３は、信頼度判定部３４２からの撮像周期制御信号に応じて撮像同期信号を生成し、CISチップ３１２の入力部２１４に出力する。
ステップＳ２８において、CISチップ３１２の入力部２１４は、中継基板３１４を介してDSPチップ３１３から供給されたROI情報と撮像同期信号を取得し、制御部２１５に供給する。ROI情報は、DSPチップ３１３の検出部１３３から供給され、撮像同期信号は、DSPチップ３１３の撮像同期信号生成部３４３から供給される。制御部２１５は、入力部２１４から取得したROI情報に基づいて、画素アレイ部２１１の駆動領域を特定する制御信号を駆動部２１２に供給する。また、制御部２１５は、入力部２１４から取得した撮像同期信号を、駆動部２１２やAD変換部２１３などに供給する。
ステップＳ２９において、画素アレイ部２１１は、駆動部２１２の制御にしたがい、注目領域の撮像を行う。すなわち、駆動部２１２は、入力部２１４から、画素アレイ部２１１の駆動領域を特定する制御信号に基づいて、注目領域の画素２５１を駆動する。画素アレイ部２１１は、駆動部２１２の制御にしたがい、注目領域の画素信号を、AD変換部２１３に供給する。
ステップＳ３０において、AD変換部２１３は、画素アレイ部２１１の行単位に順次入力されるアナログの画素信号をデジタル信号に変換（AD変換）するとともにCDSを行い、その結果を、信号処理部２１６に供給する。
ステップＳ３１において、信号処理部２１６は、AD変換部２１３から順次供給されるデジタルの画素信号に対して、必要に応じて所定の信号処理を行い、出力部２１７に供給する。出力部２１７は、信号処理部２１６からのデジタルの画素信号をDSPチップ３１３に出力する。
ステップＳ３２において、DSPチップ３１３の画像処理部３２１は、CISチップ３１２からの画素信号に対して所定の画像処理、例えば、画素信号のデモザイク処理などを実行して、外部に出力する。画素信号のデモザイク処理により生成された注目領域の画像が、外部に出力される。
ステップＳ２１の処理は、DVSチップ３１１によって実行され、ステップＳ２２乃至Ｓ２７およびステップＳ３２の処理は、DSPチップ３１３によって実行され、ステップＳ２８乃至Ｓ３１の処理は、CISチップ３１２によって実行される。
第３実施の形態によれば、DVSチップ３１１においてイベントの発生が検出され、DSPチップ３１３に出力される。DSPチップ３１３において、イベントデータが所定のフレーム期間で蓄積され、検出対象となる物体が特定されて注目領域が決定される。その注目領域を特定する情報が、ROI情報として、CISチップ３１２に供給される。CISチップ３１２では、DVSチップ３１１で決定された注目領域（に対応する領域）の撮像が行われ、注目領域の各画素の画素信号が出力される。
DSPチップ３１３では、物体の検出率が算出され、検出率に応じてフレームボリュームが制御される。例えば、検出率が所定の閾値より小さい場合には、フレーム間隔を大きくするように物体検出周期が制御され、検出率が所定の閾値以上である場合には、フレーム間隔を小さくするように物体検出周期が制御される。
さらに、検出率に応じて調整された物体検出周期に応じて、CISチップ３１２の撮像周期も制御される。すなわち、物体検出周期が高速で、物体検出周期ほどCISチップ３１２を高速に駆動することができない場合には、物体検出周期よりも大きい撮像周期となるように撮像周期制御信号が生成される。一方、物体検出周期と同じ周期でCISチップ３１２の撮像を行うことができる場合には、撮像周期を物体検出周期に合わせる撮像周期制御信号が生成される。撮像同期信号生成部３４３は、撮像周期制御信号にしたがい、撮像同期信号を生成し、CISチップ１２に供給する。物体検出周期よりも小さい撮像周期に制御する場合には、クロック信号の周期を、単に1／ｎに分周した撮像同期信号を生成するのではなく、クロック信号の周期を1／ｎに分周し、かつ、３０fps、６０fps、または１２０fpsのビデオレートとなるような撮像周期信号を生成することもできる。
したがって、第３実施の形態に係る固体撮像装置１０においても、撮像範囲と同じ、間引きなしの検出対象範囲で、イベントの発生を、空間情報の欠落なく、低消費電力で検出することができ、注目領域の撮像を高速に行うことができる。注目領域のみの駆動とすることで消費電力も低減することができる。
また、物体を検出したときの検出率に応じて、フレーム間隔（フレームボリューム）を制御することができ、さらに、フレーム間隔に応じて、撮像周期も制御することができる。
＜４．第４実施の形態＞
図１９は、本技術を適用した固体撮像装置の第４実施の形態の構成例を示す図である。
上述した第１乃至第３実施の形態では、イベント検出のための受光を行う画素と、注目領域の画像を生成するための受光を行う画素とが、別々のチップ（半導体チップ）に形成された。これに対して、第４実施の形態に係る固体撮像装置１０は、イベント検出のための受光を行う画素と、注目領域の画像を生成するための受光を行う画素とが同一のチップに形成される。
図１９の固体撮像装置１０は、複数のダイ（基板）としてのセンサダイ（基板）４１１とロジックダイ４１２とが積層された１つのチップで構成される。
センサダイ４１１には、センサ部４２１（としての回路）が構成され、ロジックダイ４１２には、ロジック部４２２が構成されている。
センサ部４２１は、上述したDVSチップ１１の画素アレイ部３１（図２）と同様に、イベントデータを生成する。すなわち、センサ部４２１は、入射光の光電変換を行って電気信号を生成する画素を有し、画素の電気信号の変化であるイベントの発生を表すイベントデータを生成する。
また、センサ部４２１は、上述したCISチップ１２の画素アレイ部２１１（図１１）と同様に、画素信号を生成する。すなわち、センサ部４２１は、入射光の光電変換を行って電気信号を生成する画素を有し、垂直同期信号に同期して撮像を行い、フレーム形式の画像データであるフレームデータを出力する。
センサ部４２１は、イベントデータまたは画素信号を独立して出力することができる他、生成したイベントデータに基づいてロジック部４２２から入力されるROI情報に基づいて注目領域の画素信号を出力することができる。
ロジック部４２２は、必要に応じて、センサ部４２１の制御を行う。また、ロジック部４２２は、センサ部４２１からのイベントデータに応じて、フレームデータを生成するデータ処理や、センサ部４２１からのフレームデータ、又は、センサ部４２１からのイベントデータに応じて生成されたフレームデータを対象とする画像処理等の各種のデータ処理を行い、イベントデータや、フレームデータ、各種のデータ処理を行うことにより得られるデータ処理結果を出力する。
ロジック部４２２は、例えば、図１７に示した構成のうち、DSPチップ３１３に形成された、メモリ３４、画像処理部３５、クロック信号生成部３７、信頼度判定部３４２、画像処理部３２１、および、撮像同期信号生成部３４３などを有する。
なお、センサ部４２１については、その一部を、ロジックダイ４１２に構成することができる。また、ロジック部４２２については、その一部を、センサダイ４１１に構成することができる。
また例えば、メモリ３４や、画像処理部３２１に含まれるメモリとして、大容量のメモリを備える場合などでは、図２０に示されるように、固体撮像装置１０は、センサダイ４１１とロジックダイ４１２とに加えて、もう１つのロジックダイ４１３を積層した３層で構成することができる。勿論、４層以上のダイ（基板）の積層で構成してもよい。
＜センサ部４２１の構成例＞
図２１は、図１９のセンサ部４２１の構成例を示すブロック図である。
センサ部４２１は、画素アレイ部４３１、駆動部４３２、アービタ４３３、AD変換部４３４、信号処理部４３５、及び、出力部４３６を備える。
画素アレイ部４３１は、複数の画素４５１（図２２）が２次元格子状に配列されて構成される。画素アレイ部４３１は、画素４５１の光電変換によって生成される電気信号としての光電流（に対応する電圧）に所定の閾値を超える変化（閾値以上の変化を必要に応じて含む）が発生した場合に、その光電流の変化をイベントとして検出する。画素アレイ部４３１は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ４３３に出力する。そして、画素アレイ部４３１は、アービタ４３３からイベントデータの出力の許可を表す応答を受け取った場合、イベントデータを、駆動部４３２及び出力部４３６に出力する。さらに、画素アレイ部４３１は、イベントが検出された画素４５１の電気信号を、画素信号として、AD変換部４３４に出力する。
駆動部４３２は、画素アレイ部４３１に制御信号を供給することにより、画素アレイ部４３１を駆動する。例えば、駆動部４３２は、画素アレイ部４３１からイベントデータが出力された画素４５１を駆動し、その画素４５１の画素信号を、AD変換部４３４に供給（出力）させる。
アービタ４３３は、第３実施の形態のアービタ３３と同様に構成される。すなわち、アービタ４３３は、画素アレイ部４３１からのイベントデータの出力を要求するリクエストを調停し、イベントデータの出力の許可又は不許可を表す応答を、画素アレイ部４３１に返す。また、アービタ４３３は、イベントデータ出力の許可を表す応答を出力した後に、イベント検出をリセットするリセット信号を、画素アレイ部４３１に出力する。
AD変換部４３４は、第３実施の形態のAD変換部２１３と同様に構成される。すなわち、AD変換部４３４は、各列のADCにおいて、その列の画素ブロック４４１の画素４５１の画素信号をAD変換し、信号処理部４３５に供給する。なお、AD変換部４３４では、画素信号のAD変換とともに、CDSを行うことができる。
信号処理部４３５は、第３実施の形態の信号処理部２１６と同様に構成される。すなわち、AD変換部４３４から順次供給される画素信号に対して、例えば、黒レベル調整処理、ゲイン調整処理などの所定の信号処理を行って、出力部４３６に供給する。
出力部４３６は、第３実施の形態の出力部３６および出力部２１７と同様の処理を行う。すなわち、出力部４３６は、画素信号やイベントデータに必要な処理を施し、ロジック部４２２（図１９）に供給する。
＜画素アレイ部４３１の構成例＞
図２２は、図２１の画素アレイ部４３１の構成例を示すブロック図である。
図２２および図２３において、上述した第１乃至第３実施の形態と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
画素アレイ部４３１は、複数の画素ブロック４４１を有する。画素ブロック４４１は、I行×J列（I及びJは整数）に配列された１以上としてのI×J個の画素４５１、イベント検出部５２、及び、画素信号生成部２５２を備える。
すなわち、画素アレイ部４３１は、第１乃至第３実施の形態と異なる画素４５１と、第１乃至第３実施の形態と同じ、イベント検出部５２、及び、画素信号生成部２５２を備える。
画素４５１は、被写体からの入射光を受光し、光電変換して電気信号としての光電流を生成する。画素４５１は、駆動部４３２の制御に従って、光電流を、イベント検出部５２に供給する。
イベント検出部５２は、駆動部４３２の制御に従って、画素４５１のそれぞれからの光電流の所定の閾値を超える変化を、イベントとして検出する。イベント検出部５２は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ４３３（図２１）に供給する。そして、イベント検出部５２は、リクエストに対して、イベントデータの出力を許可する旨の応答を、アービタ４３３から受け取ると、イベントデータを、駆動部４３２及び出力部４３６に出力する。
画素信号生成部２５２は、イベント検出部５２においてイベントが検出された場合に、駆動部４３２の制御に従って、画素４５１の光電流に対応する電圧を画素信号として生成し、VSLを介して、AD変換部４３４（図２１）に供給する。
ここで、光電流の所定の閾値を超える変化をイベントとして検出することは、同時に、光電流の所定の閾値を超える変化がなかったことをイベントとして検出していると捉えることができる。画素信号生成部２５２では、画素信号の生成を、イベントとしての光電流の所定の閾値を超える変化が検出された場合の他、イベントとしての光電流の所定の閾値を超える変化がなかったことが検出された場合に行うことができる。
＜画素ブロック４４１の構成例＞
図２３は、図２２の画素ブロック４４１の構成例を示す回路図である。
画素ブロック４４１は、図２２で説明したように、画素４５１、イベント検出部５２、及び、画素信号生成部２５２を備える。
画素４５１は、光電変換素子４６１、転送トランジスタ４６２、及び、転送トランジスタ４６３を備える。
光電変換素子４６１は、例えば、PDで構成され、被写体からの入射光を受光し、光電変換して電気信号としての光電流を生成する。
転送トランジスタ４６２は、例えば、N型のMOS FETで構成される。画素ブロック４４１を構成するI×J個の画素４５１のうちのn番目の画素４５１を構成する転送トランジスタ４６２は、駆動部４３２（図２１）から供給される制御信号OFGnに従ってオン／オフする。転送トランジスタ４６２がオンすることにより、光電変換素子４６１で生成された電荷は、光電流として、イベント検出部５２に転送（供給）される。
転送トランジスタ４６３は、例えば、N型のMOS FETで構成される。画素ブロック４４１を構成するI×J個の画素４５１のうちのn番目の画素４５１を構成する転送トランジスタ４６３は、駆動部４３２から供給される制御信号TRGnに従ってオン／オフする。転送トランジスタ４６３がオンすることにより、光電変換素子４６１で生成された電荷は、画素信号生成部２５２のFD２７４に転送される。
画素ブロック４４１を構成するI×J個の画素４５１は、ノード４６４を介して、その画素ブロック４４１を構成するイベント検出部５２に接続されている。したがって、画素４５１（の光電変換素子４６１）で生成された光電流は、ノード４６４を介して、イベント検出部５２に供給される。その結果、イベント検出部５２には、画素ブロック４４１内のすべての画素４５１の光電流の和が供給される。したがって、イベント検出部５２では、画素ブロック４４１を構成するI×J個の画素４５１から供給される光電流の和の変化がイベントとして検出される。
画素信号生成部２５２は、図１３と同様に、リセットトランジスタ２７１、増幅トランジスタ２７２、選択トランジスタ２７３、及び、FD２７４を備える。
以上のように構成される画素４５１及び画素信号生成部２５２については、駆動部４３２は、転送トランジスタ４６２を、制御信号OFGnによりオンにして、画素４５１の光電変換素子４６１で生成された電荷による光電流を、イベント検出部５２に供給させる。これにより、イベント検出部５２には、画素ブロック４４１内のすべての画素４５１の光電流の和の電流が供給される。
画素ブロック４４１において、イベント検出部５２が、イベントとしての光電流（の和）の変化を検出すると、駆動部４３２は、その画素ブロック４４１のすべての画素４５１の転送トランジスタ４６２をオフにして、イベント検出部５２への光電流の供給を停止させる。そして、イベント検出後に、センサ部４２１からのイベントデータに応じてロジック部４２２からROI情報が供給されると、駆動部４３２は、注目領域の画素２５１を駆動する。すなわち、駆動部４３２は、制御信号SELと制御信号RSTをHレベルにして注目領域の画素行を順次選択して光電変換素子４６１をリセットした後、露光を開始させる。露光終了後に、駆動部４３２は、制御信号TRGnにより、注目領域の画素ブロック４４１内の画素４５１の転送トランジスタ４６３を順にオンにして、光電変換素子４６１で生成された電荷をFD２７４に転送させる。FD２７４では、画素４５１（の光電変換素子４６１）から転送される電荷が蓄積される。FD２７４に蓄積された電荷に対応する電圧は、画素４５１の画素信号として、増幅トランジスタ２７２及び選択トランジスタ２７３を介して、VSLに出力される。
以上のように、センサ部４２１（図１９）では、１以上の画素４５１とイベント検出部５２とによって、イベントが検出され、イベントデータが生成される。生成されたイベントデータは、ロジック部４２２に供給され、注目領域が決定される。そして、注目領域のROI情報が、ロジック部４２２からセンサ部４２１に供給され、注目領域に対応する画素ブロック４４１の画素４５１の画素信号が生成され、順に、VSLに出力される。VSLに出力された画素信号は、AD変換部４３４に供給され、AD変換される。第４実施の形態に係る固体撮像装置１０の処理は、図１８の処理と同様に実行することができる。
ここで、画素ブロック４４１内の各画素４５１については、転送トランジスタ４６３を順にオンにするのではなく、同時にオンにすることができる。この場合、画素ブロック４４１内のすべての画素４５１の画素信号の和を出力することができる。
図２２の画素アレイ部４３１では、画素ブロック４４１が１以上の画素４５１で構成され、その１以上の画素４５１で、イベント検出部５２及び画素信号生成部２５２が共有される。より詳しくは、画素ブロック４４１を構成する各画素４５１の光電変換素子４６１、転送トランジスタ４６２、及び、転送トランジスタ４６３が、イベント検出部５２及び画素信号生成部２５２が共有される。したがって、画素ブロック４４１が、複数の画素４５１で構成される場合には、１個の画素４５１に対して、１個のイベント検出部５２及び１個の画素信号生成部２５２を設ける場合に比較して、イベント検出部５２及び画素信号生成部２５２の数を少なくすることができ、画素アレイ部４３１の規模を抑制することができる。
なお、画素ブロック４４１が、複数の画素４５１で構成される場合、画素４５１ごとに、イベント検出部５２を設けることができる。画素ブロック４４１の複数の画素４５１で、イベント検出部５２を共有する場合には、画素ブロック４４１の単位でイベントが検出されるが、画素４５１ごとに、イベント検出部５２を設ける場合には、画素４５１の単位で、イベントを検出することができる。
但し、画素ブロック４４１の複数の画素４５１で、１個のイベント検出部５２を共有する場合でも、複数の画素４５１それぞれの転送トランジスタ４６２を時分割で一時的にオンにすることにより、画素４５１の単位で、イベントを検出することができる。
＜イベント検出と撮像の動作＞
図２４は、図２１のセンサ部４２１の動作の例を説明するタイミングチャートである。
タイミングT0において、駆動部４３２は、制御信号OFGnを全てLレベルからHレベルにして、画素ブロック４４１内の全画素４５１の転送トランジスタ４６２をオンにする。これにより、画素ブロック４４１内の全画素４５１の光電流の和が、イベント検出部５２に供給される。このとき、制御信号TRGnはすべてLレベルであり、全画素４５１の転送トランジスタ４６３はオフである。
例えば、タイミングT1において、イベント検出部５２は、イベントを検出すると、そのイベントの検出に応じて、Hレベルのイベントデータを出力する。
駆動部４３２は、Hレベルのイベントデータに応じて、タイミングT2において制御信号OFGnをすべてLレベルにして、画素４５１からイベント検出部５２への光電流の供給を停止させる。その後、駆動部４３２は、注目領域の画素４５１を駆動し、画素信号を生成させる。すなわち、駆動部４３２は、注目領域の画素４５１の制御信号SELをHレベルにし、制御信号RSTと制御信号TRGを一定期間だけHレベルにして、光電変換素子４６１の電荷を電源VDDに排出させることで、露光開始前のリセットを行う。露光終了後に、駆動部４３２は、タイミングT3において制御信号RSTをHレベルにして、FD２７４をリセットする。画素信号生成部２５２は、FD２７４のリセット時のFD２７４の電圧に対応する画素信号を、リセットレベルとして出力し、AD変換部４３４は、そのリセットレベルをAD変換する。
リセットレベルのAD変換後のタイミングT4において、駆動部４３２は、制御信号TRG1を一定期間だけHレベルにして、注目領域の画素ブロック４４１内の１つ目の画素４５１（の光電変換素子４６１）の光電変換により生成された電荷を、FD２７４に転送させる。画素信号生成部２５２は、画素４５１から電荷が転送されたFD２７４の電圧に対応する画素信号を、信号レベルとして出力し、AD変換部４３４は、その信号レベルをAD変換する。
AD変換部４３４は、AD変換後の信号レベルとリセットレベルとの差分を、画像（フレームデータ）の画素値となる画素信号として、信号処理部４３５に出力する。
注目領域の画素ブロック４４１内の１つ目の画素４５１の画素信号のAD変換後、駆動部４３２は、タイミングT3およびT4と同様に、制御信号RSTと制御信号TRG2を一定期間だけ順にHレベルにすることで、注目領域の画素ブロック４４１内の２つ目の画素４５１の画素信号を出力させる。
センサ部４２１では、以下、同様の動作が行われ、注目領域の画素ブロック４４１内のそれぞれの画素４５１の画素信号が順に出力される。
画素ブロック４４１内のすべて画素４５１の画素信号が出力されると、駆動部４３２は、制御信号OFGnをすべてHレベルにして、画素アレイ部４３１の全画素ブロック４４１内の全画素４５１の転送トランジスタ４６２をオンにする。
以上のように、センサ部４２１では、１個の画素４５１において、イベントの検出と、撮像用の露光（受光）とが、時分割で行われる。
図２５は、画素アレイ部４３１の全画素で撮像を行う場合の画素アレイ部４３１の駆動を示すタイミングチャートである。
画素アレイ部４３１の全画素で撮像を行う場合には、データ量は、イベント検出と撮像とでは撮像の方が大きくなるため、撮像にかかる時間は、イベント検出にかかる時間よりも長くなる。
例えば、クロック信号生成部３７が生成するクロック信号をイベント検出同期信号として、イベント検出およびメモリ３４へのバッファリングと、画像処理部３５による画像処理（物体検出処理）とが、それぞれV期間で行われることとし、露光および画素読み出しが、それぞれ、イベント検出同期信号を１／２に分周した撮像同期信号にしたがい、2V期間で行われるとする。イベント検出およびメモリ３４へのバッファリングは、パイプライン処理により、１つのV期間で実行可能である。
この場合、イベントの検出と、撮像用の露光とは、共有の光電変換素子４６１を用いるため、撮像用の露光と画素読み出しを行っている期間、具体的には、図２５のタイミングT13からタイミングT17までの4V期間は、少なくともイベント検出ができないイベント検出不可期間となる。
図２６は、画素アレイ部４３１において注目領域の撮像を行う場合の画素アレイ部４３１の駆動を示すタイミングチャートである。
これに対して、ROI情報により注目領域を指定して、注目領域の撮像を行う場合、領域が限定されるため、データ量を削減することができるので、撮像周期を、例えば、イベント検出周期と同じにすることができる。すなわち、図２６に示されるように、露光および画素読み出しを、それぞれ、V期間で行うことができるようになる。これにより、イベント検出不可期間は、タイミングT13からタイミングT15までの2V期間となり、イベント検出不可期間を短くすることが可能となる。図２６の例は、撮像周期を、例えば、イベント検出周期と同じにした場合の例であるが、イベント検出周期と同じにならない場合であっても、注目領域に限定して撮像を行うことにより、全画素の撮像を行う場合と比較して、イベント検出不可期間を短くすることが可能となる。
＜画素アレイ部４３１のその他の構成例＞
図２７は、図２１の画素アレイ部４３１のその他の構成例を示すブロック図である。
図２７の画素アレイ部４３１は、１個の画素ブロック４４１が、画素４８１Aまたは画素４８１Bの２種類の画素４８１をI行×J列（I及びJは整数）に配列している点で、図２２の画素アレイ部４３１と相違し、その他の点で、図２２の画素アレイ部４３１と共通する。
図２２の画素アレイ部４３１では、イベント検出と撮像の両方が（時分割で）可能な画素４５１がI行×J列（I及びJは整数）に配列されていた。
これに対して、図２７の画素アレイ部４３１では、画素４８１Aと画素４８１Bとが行方向および列方向に交互に配列され、混在して構成されている。画素４８１Aは、図１３の画素２５１と同様に、光電変換素子に画素信号生成部２５２が接続されて構成され、撮像用の画素信号を生成するための画素である。画素４８１Bは、図４の画素５１と同様に、光電変換素子にイベント検出部５２が接続されて構成され、イベント検出を行うための画素である。撮像用の画素信号を生成するための画素４８１Aと、イベント検出を行うための画素４８１Bとは、光電変換素子４６１を個別に有し、共有していないので、撮像とイベント検出を同時に行うことができる。
このように、固体撮像装置１０を１つのチップで構成した場合においても、１個の画素ブロック４４１に、撮像を行う画素４８１Aと、イベント検出を行う画素４８１Bとを混在させた構成とすることで、撮像とイベント検出を同時に行うことができる。
なお、図２７は、１個の画素ブロック４４１を構成する複数の画素４８１を、撮像用の画素信号を生成するための画素４８１Aと、イベント検出を行うための画素４８１Bとに分けた構成であるが、画素ブロック４４１単位で、撮像用の画素信号を生成するための画素ブロック４４１と、イベント検出を行うための画素ブロック４４１とに分ける構成も可能である。この場合も、撮像とイベント検出を同時に行うことができる。
以上の固体撮像装置１０によれば、イベント検出を行うチップと、注目領域の撮像を行うチップが異なるチップである場合、および、同一チップである場合のいずれにおいても、イベントの発生が検出された場合に、検出対象となる物体を特定して注目領域が決定され、その注目領域の各画素の画素信号が生成され、注目領域の画像が生成される。したがって、非同期型のイメージセンサによりイベントの発生を検出した結果を、同期型のイメージセンサによる撮像に活用することができる。
＜５．電子機器への適用例＞
本技術は、固体撮像装置への適用に限られるものではない。即ち、本技術は、デジタルスチルカメラやビデオカメラ等の撮像装置や、撮像機能を有する携帯端末装置や、画像読取部に固体撮像装置を用いる複写機など、画像取込部（光電変換部）に固体撮像装置を用いる電子機器全般に対して適用可能である。固体撮像装置は、ワンチップとして形成された形態であってもよいし、撮像部と信号処理部または光学系とがまとめてパッケージングされた撮像機能を有するモジュール状の形態であってもよい。
図２８は、本技術を適用した電子機器としての、撮像装置の構成例を示すブロック図である。
図２８の撮像装置６００は、レンズ群などからなる光学部６０１、固体撮像装置１０の構成が採用される固体撮像装置（撮像デバイス）６０２、およびカメラ信号処理回路であるDSP(Digital Signal Processor)回路６０３を備える。また、撮像装置６００は、フレームメモリ６０４、表示部６０５、記録部６０６、操作部６０７、および電源部６０８も備える。DSP回路６０３、フレームメモリ６０４、表示部６０５、記録部６０６、操作部６０７および電源部６０８は、バスライン６０９を介して相互に接続されている。
光学部６０１は、被写体からの入射光（像光）を取り込んで固体撮像装置６０２の撮像面上に結像する。固体撮像装置６０２は、光学部６０１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。この固体撮像装置６０２として、上述した固体撮像装置１０、即ち、イベントの発生を検出して注目領域を決定し、その注目領域の撮像を行う固体撮像装置を用いることができる。
表示部６０５は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイ等の薄型ディスプレイで構成され、固体撮像装置６０２で撮像された動画または静止画を表示する。記録部６０６は、固体撮像装置６０２で撮像された動画または静止画を、ハードディスクや半導体メモリ等の記録媒体に記録する。
操作部６０７は、ユーザによる操作の下に、撮像装置６００が持つ様々な機能について操作指令を発する。電源部６０８は、DSP回路６０３、フレームメモリ６０４、表示部６０５、記録部６０６および操作部６０７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
上述したように、固体撮像装置６０２として、上述した各実施の形態を適用した固体撮像装置１０を用いることで、撮像範囲に対して空間情報の欠落なく、低消費電力でイベントの発生を検出することができ、検出したイベントに基づいて決定した注目領域の撮像を高速に行うことができる。従って、ビデオカメラやデジタルスチルカメラ、さらには携帯電話機等のモバイル機器向けカメラモジュールなどの撮像装置６００においても、所望の注目領域の撮像を低消費電力かつ高速に行うことができる。
＜イメージセンサの使用例＞
図２９は、上述の固体撮像装置１０を用いたイメージセンサの使用例を示す図である。
上述の固体撮像装置１０を用いたイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
＜６．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図３０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３０に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３０の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図３１は、撮像部１２０３１の設置位置の例を示す図である。
図３１では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図３１には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、撮像部１２０３１として、上述の固体撮像装置１０を適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、撮像範囲に対して空間情報の欠落なく、低消費電力でイベントの発生を検出して決定した注目領域の撮像を高速に行うことにより、適切な運転支援を行うことができる。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
なお、本技術は、以下の構成を取ることができる。
（１）
画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出するイベント検出部と、
前記イベントの検出結果から、前記画素アレイ部の注目領域を検出する注目領域検出部と、
前記注目領域に対応する領域の画像を構成する画素信号を生成する画素信号生成部と
を備える固体撮像装置。
（２）
前記画素アレイ部の各画素で発生した前記イベントをフレーム単位で蓄積するメモリをさらに備え、
前記注目領域検出部は、前記フレーム単位のイベントデータから、前記画素アレイ部の注目領域を検出する
前記（１）に記載の固体撮像装置。
（３）
前記注目領域検出部は、前記フレーム単位のイベントデータから、検出対象としての物体を特定し、前記物体を含む領域を、前記注目領域として検出する
前記（２）に記載の固体撮像装置。
（４）
前記物体の検出率により物体検出の信頼度を判定し、前記フレーム単位を制御する信頼度判定部をさらに備える
前記（３）に記載の固体撮像装置。
（５）
前記信頼度判定部は、さらに、前記フレーム単位に応じて、前記画素信号生成部の撮像周期を制御する
前記（４）に記載の固体撮像装置。
（６）
前記画素信号生成部の撮像周期が前記物体の検出周期と同一となる撮像同期信号を生成する撮像同期信号生成部をさらに備える
前記（３）乃至（５）のいずれかに記載の固体撮像装置。
（７）
前記画素信号生成部の撮像周期がビデオレートとなる撮像同期信号を生成する撮像同期信号生成部をさらに備える
前記（１）乃至（６）のいずれかに記載の固体撮像装置。
（８）
前記イベント検出部と、前記画素信号生成部とが、異なるチップに形成されている
前記（１）乃至（７）のいずれかに記載の固体撮像装置。
（９）
前記イベント検出部、前記注目領域検出部、および、前記画素信号生成部のそれぞれが、異なるチップに形成されている
前記（１）乃至（７）のいずれかに記載の固体撮像装置。
（１０）
前記画素信号生成部は、前記イベント検出部のチップの前記注目領域に対応する、前記画素信号生成部のチップの画素アレイ部の領域の前記画素信号を生成する
前記（８）に記載の固体撮像装置。
（１１）
前記イベント検出部と前記画素信号生成部とは、同一チップに形成されている
前記（１）乃至（７）のいずれかに記載の固体撮像装置。
（１２）
前記画素アレイ部の各画素の光電変換素子は、前記イベント検出部と前記画素信号生成部とで共有される
前記（１１）に記載の固体撮像装置。
（１３）
前記画素アレイ部は、光電変換素子の電気信号を、前記イベント検出部に出力する画素と、前記画素信号生成部に出力する画素とを混在させた構成である
前記（１１）に記載の固体撮像装置。
（１４）
画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出した検出結果から、前記画素アレイ部の注目領域を検出するとともに、前記注目領域を特定するROI情報を出力する注目領域検出部と、
前記注目領域の画素信号を取得し、画像を生成する画像処理部と
を備える信号処理チップ。
（１５）
画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出するイベント検出部と、
前記イベントの検出結果から、前記画素アレイ部の注目領域を検出する注目領域検出部と、
前記注目領域に対応する領域の画像を構成する画素信号を生成する画素信号生成部と
を備える固体撮像装置
を備える電子機器。
１０ 固体撮像装置， １１ 第１のチップ（DVSチップ）， １２ 第２のチップ（CISチップ）， ３１ 画素アレイ部， ３４ メモリ， ３５ 画像処理部， ３７ クロック信号生成部， ４１ 画素ブロック， ５１ 画素， ５２ イベント検出部， ６１ 光電変換素子， １３１ フレーム間隔設定部， １３２ フレーム幅設定部， １３３ 検出部， ２１１ 画素アレイ部， ２１６ 信号処理部， ２４１ 画素ブロック， ２５１ 画素， ２５２ 画素信号生成部， ２６１ 光電変換素子， ３１１ 第１のチップ（DVSチップ）， ３１２ 第２のチップ（CISチップ）， ３１３ 第３のチップ（DSPチップ）， ３２１ 画像処理部， ３４１ 検出部， ３４２ 信頼度判定部， ３４３ 撮像同期信号生成部， ４１１ センサダイ， ４１２，４１３ ロジックダイ， ４３１ 画素アレイ部， ４３５ 信号処理部， ４４１ 画素ブロック， ４５１ 画素， ４６１ 光電変換素子， ４８１（４８１A，４８１B） 画素， ６００ 撮像装置， ６０２ 固体撮像装置

Claims (15)

  1. 画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出するイベント検出部と、
    前記イベントの検出結果から、前記画素アレイ部の注目領域を検出する注目領域検出部と、
    前記注目領域に対応する領域の画像を構成する画素信号を生成する画素信号生成部と
    を備える固体撮像装置。
  2. 前記画素アレイ部の各画素で発生した前記イベントをフレーム単位で蓄積するメモリをさらに備え、
    前記注目領域検出部は、前記フレーム単位のイベントデータから、前記画素アレイ部の注目領域を検出する
    請求項１に記載の固体撮像装置。
  3. 前記注目領域検出部は、前記フレーム単位のイベントデータから、検出対象としての物体を特定し、前記物体を含む領域を、前記注目領域として検出する
    請求項２に記載の固体撮像装置。
  4. 前記物体の検出率により物体検出の信頼度を判定し、前記フレーム単位を制御する信頼度判定部をさらに備える
    請求項３に記載の固体撮像装置。
  5. 前記信頼度判定部は、さらに、前記フレーム単位に応じて、前記画素信号生成部の撮像周期を制御する
    請求項４に記載の固体撮像装置。
  6. 前記画素信号生成部の撮像周期が前記物体の検出周期と同一となる撮像同期信号を生成する撮像同期信号生成部をさらに備える
    請求項３に記載の固体撮像装置。
  7. 前記画素信号生成部の撮像周期がビデオレートとなる撮像同期信号を生成する撮像同期信号生成部をさらに備える
    請求項１に記載の固体撮像装置。
  8. 前記イベント検出部と、前記画素信号生成部とが、異なるチップに形成されている
    請求項１に記載の固体撮像装置。
  9. 前記イベント検出部、前記注目領域検出部、および、前記画素信号生成部のそれぞれが、異なるチップに形成されている
    請求項１に記載の固体撮像装置。
  10. 前記画素信号生成部は、前記イベント検出部のチップの前記注目領域に対応する、前記画素信号生成部のチップの画素アレイ部の領域の前記画素信号を生成する
    請求項８に記載の固体撮像装置。
  11. 前記イベント検出部と前記画素信号生成部とは、同一チップに形成されている
    請求項１に記載の固体撮像装置。
  12. 前記画素アレイ部の各画素の光電変換素子は、前記イベント検出部と前記画素信号生成部とで共有される
    請求項１１に記載の固体撮像装置。
  13. 前記画素アレイ部の各画素が、前記イベントを検出するための画素か、または、前記画素信号を生成するための画素のどちらかで構成される
    請求項１１に記載の固体撮像装置。
  14. 画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出した検出結果から、前記画素アレイ部の注目領域を検出するとともに、前記注目領域を特定するROI情報を出力する注目領域検出部と、
    前記注目領域の画素信号を取得し、画像を生成する画像処理部と
    を備える信号処理チップ。
  15. 画素アレイ部の各画素で発生する電気信号の変化をイベントとして検出するイベント検出部と、
    前記イベントの検出結果から、前記画素アレイ部の注目領域を検出する注目領域検出部と、
    前記注目領域に対応する領域の画像を構成する画素信号を生成する画素信号生成部と
    を備える固体撮像装置
    を備える電子機器。
JP2018227821A 2018-12-05 2018-12-05 固体撮像装置、信号処理チップ、および、電子機器 Pending JP2022028982A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018227821A JP2022028982A (ja) 2018-12-05 2018-12-05 固体撮像装置、信号処理チップ、および、電子機器
TW108141889A TWI846754B (zh) 2018-12-05 2019-11-19 固體攝像裝置、信號處理晶片、及電子機器
PCT/JP2019/045614 WO2020116185A1 (ja) 2018-12-05 2019-11-21 固体撮像装置、信号処理チップ、および、電子機器
CN201980054386.5A CN112640428B (zh) 2018-12-05 2019-11-21 固态成像装置、信号处理芯片和电子设备
US17/047,564 US11509840B2 (en) 2018-12-05 2019-11-21 Solid-state imaging device, signal processing chip, and electronic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018227821A JP2022028982A (ja) 2018-12-05 2018-12-05 固体撮像装置、信号処理チップ、および、電子機器

Publications (1)

Publication Number Publication Date
JP2022028982A true JP2022028982A (ja) 2022-02-17

Family

ID=70975319

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018227821A Pending JP2022028982A (ja) 2018-12-05 2018-12-05 固体撮像装置、信号処理チップ、および、電子機器

Country Status (4)

Country Link
US (1) US11509840B2 (ja)
JP (1) JP2022028982A (ja)
CN (1) CN112640428B (ja)
WO (1) WO2020116185A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020162000A (ja) * 2019-03-27 2020-10-01 ソニー株式会社 データ処理装置、データ処理方法、及び、プログラム
CN113632453A (zh) * 2019-03-27 2021-11-09 苹果公司 具有多个功率状态的传感器架构的硬件实现方式
EP3949381A1 (en) * 2019-03-27 2022-02-09 Apple Inc. Sensor system architecture with feedback loop and multiple power states
KR20210000985A (ko) 2019-06-26 2021-01-06 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
JP2022063000A (ja) * 2020-10-09 2022-04-21 ソニーセミコンダクタソリューションズ株式会社 撮像制御装置及び撮像装置
WO2022085421A1 (ja) * 2020-10-19 2022-04-28 ソニーグループ株式会社 データ処理装置および方法、並びに、データ処理システム
TW202236843A (zh) * 2020-10-30 2022-09-16 日商索尼半導體解決方案公司 固態攝像裝置及電子機器
KR20220076944A (ko) * 2020-12-01 2022-06-08 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
JPWO2022172733A1 (ja) * 2021-02-12 2022-08-18
US20220272285A1 (en) * 2021-02-23 2022-08-25 Fris, Inc. Sensing and processing unit generating a trigger signal upon occurrence of specified conditions
KR20230162789A (ko) * 2021-03-30 2023-11-28 소니 세미컨덕터 솔루션즈 가부시키가이샤 고상 촬상 디바이스 및 고상 촬상 디바이스의 동작 방법
WO2023058669A1 (ja) * 2021-10-08 2023-04-13 ソニーセミコンダクタソリューションズ株式会社 画像センサ、データ処理装置、および画像センサシステム
CN114095673B (zh) * 2021-11-09 2024-06-28 深圳锐视智芯科技有限公司 一种图像输出方法、装置及计算机可读存储介质
WO2023186469A1 (en) * 2022-03-31 2023-10-05 Sony Semiconductor Solutions Corporation Solid-state imaging device with differencing circuit for frame differencing
EP4398595A1 (en) * 2023-01-09 2024-07-10 Samsung Electronics Co., Ltd. Vision sensor and image processing device including the same

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT504582B1 (de) * 2006-11-23 2008-12-15 Arc Austrian Res Centers Gmbh Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor
KR101023339B1 (ko) * 2009-07-16 2011-03-18 삼성전기주식회사 이동 피사체의 자동 추적 시스템 및 그 방법
US8897602B2 (en) * 2009-07-22 2014-11-25 Aptina Imaging Corporation Imaging system with multiframe scaler
JP2011087257A (ja) * 2009-10-19 2011-04-28 Panasonic Corp 半導体集積回路及び撮像装置
KR101792866B1 (ko) * 2011-04-06 2017-11-20 삼성전자주식회사 이벤트 센서와 칼라 센서를 이용한 동작 인식 장치 및 그 방법
KR101887988B1 (ko) * 2012-07-03 2018-08-14 삼성전자 주식회사 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
EP2760198B1 (en) * 2013-01-25 2020-12-30 Teledyne Innovaciones Microelectrónicas, SLU Advanced region of interest function for image sensors
EP2760199B1 (en) * 2013-01-25 2019-03-27 Teledyne Innovaciones Microelectrónicas, SLU Automatic region of interest function for image sensors
KR102081087B1 (ko) * 2013-06-17 2020-02-25 삼성전자주식회사 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서
US9986179B2 (en) 2014-09-30 2018-05-29 Qualcomm Incorporated Sensor architecture using frame-based and event-based hybrid scheme
US10007996B2 (en) * 2015-03-02 2018-06-26 Lawrence Livermore National Security, Llc System for detecting objects in streaming 3D images formed from data acquired with a medium penetrating sensor
JP2016206310A (ja) * 2015-04-17 2016-12-08 ソニー株式会社 撮像装置およびその制御方法
WO2017013806A1 (ja) * 2015-07-23 2017-01-26 オリンパス株式会社 固体撮像装置
KR102457724B1 (ko) * 2015-09-22 2022-10-24 삼성전자주식회사 영상 처리를 수행하기 위한 방법 및 그 전자 장치
DE102016224095A1 (de) * 2016-12-05 2018-06-07 Robert Bosch Gmbh Verfahren zum Kalibrieren einer Kamera und Kalibriersystem
CN108574793B (zh) * 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
JP2018186478A (ja) * 2017-04-25 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP7064322B2 (ja) * 2017-12-06 2022-05-10 キヤノン株式会社 電子機器およびその制御方法、ならびに撮像素子
US10345447B1 (en) * 2018-06-27 2019-07-09 Luminar Technologies, Inc. Dynamic vision sensor to direct lidar scanning
US11140349B2 (en) * 2018-09-07 2021-10-05 Samsung Electronics Co., Ltd. Image sensor incuding CMOS image sensor pixel and dynamic vision sensor pixel
KR102584501B1 (ko) * 2018-10-05 2023-10-04 삼성전자주식회사 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치

Also Published As

Publication number Publication date
CN112640428A (zh) 2021-04-09
US11509840B2 (en) 2022-11-22
CN112640428B (zh) 2023-10-17
US20210152757A1 (en) 2021-05-20
TW202110166A (zh) 2021-03-01
WO2020116185A1 (ja) 2020-06-11

Similar Documents

Publication Publication Date Title
CN112640428B (zh) 固态成像装置、信号处理芯片和电子设备
US11425318B2 (en) Sensor and control method
WO2020170861A1 (ja) イベント信号検出センサ及び制御方法
KR20200112839A (ko) 고체 촬상 소자, 촬상 장치 및 고체 촬상 소자의 제어 방법
CN112913224B (zh) 固态成像元件和成像装置
JP2018148541A (ja) 撮像素子、撮像素子の制御方法、及び、電子機器
JP7307725B2 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2017163890A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
WO2020129657A1 (ja) センサ及び制御方法
TW202103486A (zh) 固態攝像裝置、電子機器及固態攝像裝置之控制方法
WO2019239887A1 (ja) 撮像素子、制御方法、および電子機器
WO2019193801A1 (ja) 固体撮像素子、電子機器および固体撮像素子の制御方法
WO2018139187A1 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
WO2020183809A1 (ja) 固体撮像装置、電子機器、および、固体撮像装置の制御方法
WO2022004289A1 (ja) 光検出装置、および電子機器
WO2021095560A1 (ja) イベント検出装置
JP7309713B2 (ja) コンパレータ及び撮像装置
TWI846754B (zh) 固體攝像裝置、信號處理晶片、及電子機器
WO2024135307A1 (ja) 固体撮像装置
WO2022158246A1 (ja) 撮像装置
WO2023166848A1 (ja) 撮像装置、画像処理装置および撮像装置の制御方法
WO2022009720A1 (ja) 固体撮像装置、撮像方法および電子機器
WO2024042946A1 (ja) 光検出素子
WO2024004377A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
TW202320535A (zh) 攝像裝置