JP2022137595A - センサ装置 - Google Patents

センサ装置 Download PDF

Info

Publication number
JP2022137595A
JP2022137595A JP2021037142A JP2021037142A JP2022137595A JP 2022137595 A JP2022137595 A JP 2022137595A JP 2021037142 A JP2021037142 A JP 2021037142A JP 2021037142 A JP2021037142 A JP 2021037142A JP 2022137595 A JP2022137595 A JP 2022137595A
Authority
JP
Japan
Prior art keywords
output
pixel
sensor device
pulse
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021037142A
Other languages
English (en)
Inventor
雅樹 榊原
Masaki Sakakibara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2021037142A priority Critical patent/JP2022137595A/ja
Priority to US18/548,591 priority patent/US20240147099A1/en
Priority to CN202280018770.1A priority patent/CN116918344A/zh
Priority to PCT/JP2022/005985 priority patent/WO2022190788A1/ja
Publication of JP2022137595A publication Critical patent/JP2022137595A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H04N25/773—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

【課題】人の目の感光特性を模したスパイクカメラを実現する。【解決手段】本技術に係るセンサ装置は、ＳＰＡＤ素子と、ＳＰＡＤ素子によるフォトン受光反応を検出してフォトン受光反応を示すパルスを出力すると共に、パルスの出力に応じて自身の状態をフォトン受光反応の検出可能状態にリセットする検出部と、検出部が出力するパルスの数をカウントするパルス計数部とを備えるものである。【選択図】図２

Description

本技術は、センサ装置に関するものであり、特には、人の目の感光特性を模したスパイクカメラを実現するためのセンシング技術に関する。
例えば、下記非特許文献１，２には、人の目の感光特性を模したスパイク列の信号を演算することで画像を構成する技術が開示されている。人の目においては、受光に応じてスパイクトレイン（スパイク列）と呼ばれる信号が得られる。このスパイクトレインは、受光の強度によってスパイクの間隔が変化する信号として得られるもので、具体的に、受光強度が高い場合はスパイクの間隔が狭まるものとなる。
Lin Zhu,et.al,"Retina-like Visual Image Reconstruction via Spiking Neural Model",CVPR2020 Lin Zhu,et.al,"A retina-inspired sampling method for visual texture reconstruction"In 2019 IEEE International Conference on Multimedia and Expo (ICME),pages 1432?1437,2019.1,2,7
ここで、人の目の感光特性を模したカメラ装置、換言すれば、人の目と同様に受光強度に応じたスパイク列を発生させることで輝度を検出するカメラ装置（以下「スパイクカメラ」と表記する）を実現することを考える。
上記非特許文献１，２では、受光に応じたスパイク列の信号を演算する手法については開示されているものの、それを実現する具体的なハードウエア構成については開示がない。
本技術は上記事情に鑑み為されたものであり、人の目の感光特性を模したスパイクカメラを実現することを目的とする。
本技術に係るセンサ装置は、ＳＰＡＤ素子と、前記ＳＰＡＤ素子によるフォトン受光反応を検出して前記フォトン受光反応を示すパルスを出力すると共に、前記パルスの出力に応じて自身の状態を前記フォトン受光反応の検出可能状態にリセットする検出部と、前記検出部が出力する前記パルスの数をカウントするパルス計数部と、を備えたものである。
検出部が上記のリセットを行う構成とされることで、高照度状態においてもスパイク列を適正に得ることが可能となり、また、上記のパルス計数部により、スパイク列におけるスパイクの数（パルス数）を適切にカウントすることが可能となる。
上記した本技術に係るセンサ装置においては、前記ＳＰＡＤ素子、前記検出部、及び前記パルス計数部を有する画素が二次元に複数配列された構成とすることが可能である。
これにより、二次元の撮像画像を取得可能なスパイクカメラを実現することが可能となる。
上記した本技術に係るセンサ装置においては、前記画素は、自画素における前記検出部による前記フォトン受光反応の検出結果と、少なくとも自画素に隣接する他画素を含む所定数の他画素における前記検出部による前記フォトン受光反応の検出結果とに基づき自画素の出力値を得るための演算を行う演算部を有する構成とすることが可能である。
自画素のみでなく少なくとも隣接する他画素のフォトン受光反応も考慮して自画素の出力値を得るようにすることで、人の目における水平細胞の役割を再現することが可能となる。
上記した本技術に係るセンサ装置においては、前記演算部は、前記自画素における前記検出部と、前記所定数の他画素の前記検出部とが前記フォトン受光反応を検出したことを条件に前記パルス計数部に前記パルスのカウントを実行させる構成とすることが可能である。
上記のように自画素のみでなく隣接他画素を含む近傍所定数の他画素がフォトン受光反応を検出したことを条件に自画素のパルスカウントを実行することで、人の目における水平細胞の役割を再現することが可能となる。
上記した本技術に係るセンサ装置においては、前記演算部は、ＡＮＤゲート回路を用いて前記条件の成立有無を判定する構成とすることが可能である。
これにより、デジタル論理回路を用いて適切に条件判定を行うことが可能となる。
上記した本技術に係るセンサ装置においては、前記演算部は、自画素における前記検出部が出力する前記パルスのカウント値に対し、前記所定数の他画素それぞれにおける前記検出部が出力する前記パルスのカウント値を反映させる構成とすることが可能である。
上記のように自画素のパルスカウント値に対し隣接他画素を含む近傍所定数の他画素のパルスカウント値を反映させることで、人の目における水平細胞の役割を再現することが可能となる。
上記した本技術に係るセンサ装置においては、前記所定数の他画素がカーネルにより選択される構成とすることが可能である。
これにより、自画素の出力値に影響させる他画素として何れの画素を用いるかをカーネルにより可変設定することが可能となる。
上記した本技術に係るセンサ装置においては、前記パルス計数部は、前記パルスのカウント数が閾値以上となった場合に信号出力を行う構成とすることが可能である。
これにより、画素の出力値として輝度が一定以上であるか否かを表す値を出力することが可能となる。
上記した本技術に係るセンサ装置においては、前記パルス計数部はデジタルカウンタにより前記パルスの数をカウントする構成とすることが可能である。
これにより、デジタル論理回路を用いてパルスカウントを適切に行うことが可能となる。
上記した本技術に係るセンサ装置においては、前記パルス計数部はアナログカウンタにより前記パルスの数をカウントする構成とすることが可能である。
アナログのカウンタを用いることでパルスの数を簡易な構成によりカウントすることが可能となる。
上記した本技術に係るセンサ装置においては、前記アナログカウンタは、前記検出部による前記パルスの出力に応じて充電量が変化する容量を用いたカウンタとされた構成とすることが可能である。
上記のような容量を用いたカウンタとすることで、簡易な構成によりパルスカウントを実現することが可能となる。
上記した本技術に係るセンサ装置においては、前記画素の出力値の読み出しを画素行ごとに実行させる行制御回路を備えた構成とすることが可能である。
これにより、画素の出力値はスキャン方式により読み出される。
上記した本技術に係るセンサ装置においては、アービタ方式により前記画素の出力値の読み出しを行う構成とすることが可能である。
アービタ方式を採用することで、所定態様によるフォトン受光反応のあった画素の値を迅速に読み出すことが可能となる。
本技術に係る第一実施形態としてのセンサ装置の内部構成例を示したブロック図である。 第一実施形態としてのセンサ装置が有する画素の内部構成の概要を説明するための図である。 スパイクトレインの特性を例示した図である。 第一実施形態としてのセンサ装置が有するスパイク出力部の回路構成を例示した図である。 第一実施形態としてのセンサ装置が有する演算部、計数部、及び出力部の内部構成例を説明するための図である。 第二実施形態の第一例としての画素の構成を説明するための図である。 第二実施形態の第二例としての画素の構成を説明するための図である。 第三実施形態としてのセンサ装置の内部構成例を示したブロック図である。 第三実施形態としてのセンサ装置が有する画素の構成を説明するための図である。 図９に示すＡＥＲロジック回路の内部構成例を示した図である。 変形例としてのスパイク出力部の回路構成を例示した図である。 カーネルの例の説明図である。 図１１に示すカーネルの係数に基づく演算の例の説明図である。 カーネルによる画素選択をアナログ方式で実現する場合の構成例の説明図である。 アナログカウンタの別例についての説明図である。
以下、実施の形態を次の順序で説明する。

<１．第一実施形態>
（1-1．センサ装置の全体構成）
（1-2．画素の構成概要）
（1-3．スパイク出力部の構成）
（1-4．演算部、計数部、及び出力部の構成）
<２．第二実施形態>
<３．第三実施形態>
<４．変形例>
<５．実施形態のまとめ>
<６．本技術>
<１．第一実施形態>
（1-1．センサ装置の全体構成）
図１は、本技術に係る第一実施形態としてのセンサ装置１の内部構成例を示したブロック図である。
図示のようにセンサ装置１は、画素アレイ部２、行制御回路３、信号処理・出力回路４を備えている。
画素アレイ部２は、複数の画素２０が行方向及び列方向の行列状に二次元に配列された構成となっている。ここで、行方向とは、水平方向の画素配列方向を言い、列方向とは、垂直方向の画素配列方向を言う。図中では、行方向を横方向、列方向を縦方向としている。
各画素２０は、光電変換を行う光電変換素子（光検出器）を有している。具体的に、本例のセンサ装置１において、各画素２０は、光検出器としてＳＰＡＤ（Single Photon Avalanche Diode）素子（後述するＳＰＡＤ素子２１）を有している。
画素アレイ部２においては、行列状の画素配列に対して、画素行ごとに行制御線ＷＯＲＤが行方向に沿って配線されると共に、各画素列に垂直信号線Ｌｉがそれぞれ列方向に沿って配線されている。
行制御線ＷＯＲＤは、画素２０から信号を読み出す際の駆動を行うためのワード信号を伝送する。各行制御線ＷＯＲＤの一端は、行制御回路３の各行に対応した出力端に接続されている。
行制御回路３は、例えば各種のタイミング信号を生成するタイミングジェネレータやシフトレジスタ、アドレスデコーダ等を有して構成され、行制御線ＷＯＲＤを通じたワード信号の出力を行うことで画素２０を駆動し、画素２０からの信号読み出しについての制御を行う。具体的に、本例における行制御回路３は、画素２０からの信号読み出しを行順次に実行させる。
垂直信号線Ｌｉは、画素２０から読み出された信号を信号処理・出力回路４に対して伝送するための配線とされ、各垂直信号線Ｌｉの一端は信号処理・出力回路４の各列に対応した出力端に接続されている。
信号処理・出力回路４は、画素２０から垂直信号線Ｌｉを通じて読み出された信号を取得し、所定の信号処理を施して出力する。
（1-2．画素の構成概要）
図２は、画素２０の内部構成の概要を説明するための図である。
図２に示すように画素２０は、スパイク出力部２０ａ、演算部２４、計数部２５、及び出力部２６を有している。
スパイク出力部２０ａは、ＳＰＡＤ素子２１を有し、受光強度に応じた間隔でスパイクを出力するように構成されている。
ここで、本実施形態は、人の目の感光特性を模したスパイクカメラの実現を目的とするものである。前述もしたように、人の目においては、受光に応じてスパイクトレイン（スパイク列）と呼ばれる信号が得られる。このスパイクトレインは、受光の強度によってスパイクの間隔が変化する信号として得られるものである。
図３は、スパイクトレインの特性を例示している。
図示のようにスパイクトレインにおいては、受光の強度が高いほどスパイクの間隔が狭まるものとなる。
説明を図２に戻す。
スパイク出力部２０ａは、ＳＰＡＤ素子２１と共に、クエンチ部２２と検出部２３とを有している。
スパイク出力部２０ａにおいて、ＳＰＡＤ素子２１にフォトンが入射されると、アバランシェ現象が発生し、信号線Ｖｉ１における電圧が変化する。クエンチ部２２では、電流に応じた電圧降下が発生するため、ＳＰＡＤ素子２１の端子間電圧は、降伏電圧まで低下し、アバランシェ現象が停止する。
検出部２３は、切替部２３ａ、増幅部２３ｂ、及び初期化部２３ｃを有しており、上記のアバランシェ現象としての、ＳＰＡＤ素子２１によるフォトン受光反応を検出してフォトン受光反応を示すパルスを出力すると共に、該パルスの出力に応じて自身の状態をフォトン受光反応の検出可能状態にリセットするように構成されている。
切替部２３ａは、ＳＰＡＤ素子２１におけるフォトン受光反応の検出を行う検出動作と、自身の内部状態をリセットするリセット動作との切り替えを行う。
増幅部２３ｂは、ＳＰＡＤ素子２１におけるフォトン受光反応が検出された際に切替部２３ａで得られる検出信号を増幅して、出力電圧Ｖｏｕｔとして出力する。この出力電圧Ｖｏｕｔは、パルス電圧として出力される。
初期化部２３ｃは、上記のリセット動作時に検出部２３内の電圧レベルを変更し、検出部２３が再度フォトン受光反応を検出できるようにする。
演算部２４は、自画素における検出部２３によるフォトン受光反応の検出結果と、少なくとも自画素に隣接する他画素を含む所定数の他画素における検出部２３によるフォトン受光反応の検出結果とに基づき自画素の出力値を得るための演算を行う。
具体的に、本例における演算部２４は、自画素における検出部２３と、上記所定数の他画素の検出部２３とがフォトン受光反応を検出したことを条件に計数部２５にパルスのカウントを実行させるように構成される。
ここで、自画素のみでなく少なくとも隣接する他画素のフォトン受光反応も考慮して自画素の出力値を得るようにすることで、人の目における水平細胞の役割を再現することが可能となる。
計数部２５は、検出部２３が出力するパルスの数をカウントする。本例では、上記の演算部２４が設けられることで、計数部２５は、自画素における検出部２３と上記所定数の他画素の検出部２３とがフォトン受光反応を検出したことを条件に、自画素における検出部２３が出力するパルスをカウントすることになる。
出力部２６は、計数部２５の出力値を画素２０の出力値として出力する。
（1-3．スパイク出力部の構成）
図４は、スパイク出力部２０ａの回路構成を例示した回路図である。
図中、Ｐ－ＭＯＳトランジスタによるトランジスタ１０は、図２に示したクエンチ部２２の一例である。なお、クエンチ部２２の構成素子としては、ＳＰＡＤ素子２１に対する負荷素子に相当するものが用いられればよく、トランジスタ１０の代わりに抵抗器を配置することもできる。
また、スパイク出力部２０ａにおいて、図示のように検出部２３は、トランジスタ１１、トランジスタ１２、トランジスタ１３、及びトランジスタ１４と、インバータ１５とパルス生成器１６とを有する。トランジスタ１１とトランジスタ１３は、Ｐ－ＭＯＳトランジスタとされ、トランジスタ１２とトランジスタ１４はＮ－ＭＯＳトランジスタとされる。
トランジスタ１０、トランジスタ１１、及びトランジスタ１３のソースは、電源電圧Ｖｄｄに接続されている。一方、トランジスタ１０のドレインは、ＳＰＡＤ素子２１のカソードに接続されている。また、ＳＰＡＤ素子２１のカソードは、信号線Ｖｉ１を介してトランジスタ１２のソースに接続されている。ＳＰＡＤ素子２１のアノードには、電圧Ｖａｎが印加されている。ＳＰＡＤ素子２１のカソード／アノード間（端子間）に、降伏電圧以上の逆電圧が印加されるよう、電圧Ｖａｎの値を決めることができる。トランジスタ１２のドレインは、トランジスタ１１のドレインとトランジスタ１３のゲートに接続されている。信号線Ｖｉ２は、トランジスタ１１とトランジスタ１２のドレイン同士の接続点と、トランジスタ１３のゲートとを接続する。
トランジスタ１３のドレインは、信号線Ｖｉ３を介してインバータ１５の入力端子とトランジスタ１４のドレインに接続されている。インバータ１５の出力端子には、出力電圧Ｖｏｕｔの出力ラインが接続されている。また、インバータ１５の出力端子は、パルス生成器１６の入力端子にも接続されている。さらに、インバータ１５の出力端子は、信号線ＦＢを介してトランジスタ１１のゲートとトランジスタ１２のゲートにも接続されている。一方、トランジスタ１４のゲートは、信号線ＩＮＩを介してパルス生成器１６の出力端子に接続されている。トランジスタ１４のソースは、グランド（ＧＮＤ）電位に接続されている。グランド電位として、例えば、スパイク出力部２０ａの基準電位、信号線の基準電位、接地電位を用いることができる。ただし、グランド電位として使われる電位の種類については問わない。なお、図中では、信号線Ｖｉ３とグランド電位との間の寄生容量Ｃｐが示されている。
ここで、トランジスタ１０、トランジスタ１１、及びトランジスタ１３のソースは、何れも共通の電源電圧Ｖｄｄに接続されていてもよい。また、トランジスタ１０、トランジスタ１１、及びトランジスタ１３のうち、少なくとも何れかのソースは、異なる電源電圧に接続されていてもよい。
上記構成によるスパイク出力部２０ａの動作を説明する。
ＳＰＡＤ素子２１がフォトンと反応し、ＳＰＡＤ素子２１のカソード／アノード間の電流が増えると、トランジスタ１０のソース／ドレイン間における電圧降下に応じて、信号線Ｖｉ１の電圧が低下する。このため、信号線Ｖｉ１に対しトランジスタ１２を介して接続された信号線Ｖｉ２の電圧がＨＩＧＨからＬＯＷに変化する。トランジスタ１３のゲートにＬＯＷの電圧が印加されると、トランジスタ１３のソース／ドレイン間がオンとなり、信号線Ｖｉ３の電圧が電源電圧ＶｄｄによってＨＩＧＨに引き上げられる。信号線Ｖｉ３よりＨＩＧＨの信号を入力されたインバータ１５は、ＬＯＷの信号を出力する。このように本例のスパイク出力部２０ａでは、フォトン受光反応の検出時に出力電圧ＶｏｕｔとしてＬＯＷレベル（負極性）のパルスが出力される。
このとき、トランジスタ１１のゲートとトランジスタ１２のゲートにはＬＯＷの電圧が印加される。これに応じ、Ｐ－ＭＯＳトランジスタによるトランジスタ１１のソース／ドレイン間はオンとなり、Ｎ－ＭＯＳトランジスタによるトランジスタ１２のドレイン／ソース間はオフになる。このため、信号線Ｖｉ２は、信号線Ｖｉ１より電気的に切り離され、電源電圧Ｖｄｄによって電圧がＨＩＧＨに引き上げられる。ＨＩＧＨの電圧がトランジスタ１３のゲートに印加されるため、トランジスタ１３のソース／ドレイン間はオフになる。
パルス生成器１６は、インバータ１５の出力電圧がＬＯＷになると、所定の時間遅れをもって、信号線ＩＮＩにＨＩＧＨレベル（正極性）のパルスを出力する。これにより、トランジスタ１４のゲートにＨＩＧＨレベルの電圧が印加され、トランジスタ１４のドレイン／ソース間がオンになる。このため、信号線Ｖｉ３は、グランド電位によって初期化され、ＬＯＷの電圧になる。信号線Ｖｉ３の電圧がＬＯＷになると、インバータ１５の出力電圧はＨＩＧＨになる。このため、出力電圧ＶｏｕｔのＬＯＷレベル期間が終了する。すなわち、１回分のパルス出力が終了する。
パルス生成器１６にインバータ１５よりＬＯＷレベルのパルスが入力されてから、パルス生成器１６がＨＩＧＨレベルのパルスを生成するまでの時間遅れを調整することによって、出力電圧ＶｏｕｔのＬＯＷレベル期間、すなわちフォトン受光反応を示すパルスの長さを変えることができる。
インバータ１５の出力電圧がＨＩＧＨになると、トランジスタ１１のゲートとトランジスタ１２のゲートに、それぞれＨＩＧＨの電圧が印加される。このため、トランジスタ１１のソース／ドレイン間はオフになり、また、トランジスタ１２のドレイン／ソース間はオンになる。信号線Ｖｉ１／Ｖｉ２間が導通するため、再びフォトン受光反応の検出を行うことが可能となる。
上記の動作説明から理解されるように、スパイク出力部２０ａでは、フォトン受光反応に応じてパルスが出力されるごとに、回路内の電圧がリセットされる。このため、ＳＰＡＤ素子２１に高照度の光が入射される場合、すなわち単位時間あたりのフォトン受光反応回数が増大する場合であっても、検出部２３がそれぞれのフォトン受光反応を適切に検出することができる。
上記構成によるスパイク出力部２０ａによれば、ＳＰＡＤ素子２１に入射する光の照度（換言すれば強度）が高くなるほど検出部２３が出力するパルスの間隔が狭くなる。すなわち、スパイク出力部２０ａは、図３に示したスパイクトレインと同様の特性による信号出力を行うことができるように構成されている。
（1-4．演算部、計数部、及び出力部の構成）
図５は、演算部２４、計数部２５、及び出力部２６の内部構成例を説明するための図である。
演算部２４は、自画素におけるスパイク出力部２０ａ（検出部２３）と、少なくとも自画素に隣接する他画素を含む所定数の他画素におけるスパイク出力部２０ａ（検出部２３）とがフォトン受光反応を検出したことを条件に計数部２５にパルスのカウントを実行させるための論理回路を有する。
図５では説明上の例として、上記所定数の他画素が三つであり、演算部２４にはこれら三つの他画素と自画素の計四つの画素２０のスパイク出力部２０ａによる出力パルスのＡＮＤをとるための論理回路として、二つのＮＯＲゲート回路２４ａと一つのＡＮＤゲート回路２４ｂとが設けられた場合を示している。この場合、一方のＮＯＲゲート回路２４ａには自画素と何れか一つの他画素のスパイク出力部２０ａの出力が入力され、他方のＮＯＲゲート回路２４ａには残余の二つの他画素のスパイク出力部２０ａの出力が入力される。そして、ＡＮＤゲート回路２４ｂには、それぞれのＮＯＲゲート回路２４ａの出力が入力される。
上記構成による演算部２４では、自画素と上記所定数の他画素の全てでほぼ同時にフォトン受光反応が検出されて、二つのＮＯＲゲート回路２４ａの各入力端子にそれぞれ前述したＬＯＷレベルのパルスが入力された場合に、ＡＮＤゲート回路２４ｂの出力がＨＩＧＨとなる。
計数部２５は、デジタルカウンタ２５ａと、出力選択部２５ｂとを有する。デジタルカウンタ２５ａは、本例では少なくとも３以上のＤフリップフロップを縦列接続した構成とされる。具体的に、最後段のＤフリップフロップを除く各Ｄフリップフロップは、自身のＤ端子とＱバー端子とが接続され、それらＤ端子とＱバー端子の接続点が次段のＤフリップフロップのクロック端子に接続されている。最前段のＤフリップフロップのクロック端子には、演算部２４におけるＡＮＤゲート回路２４ｂの出力が入力される。
これにより、デジタルカウンタ２５ａは、ＡＮＤゲート回路２４ｂの出力がＨＩＧＨとなった回数をカウントすることが可能とされる。すなわち、自画素のみでなく上記所定数の他画素が同時にフォトン受光反応を検出した回数をカウント可能なものである。これは、自画素のみでなく上記所定数の他画素が同時にフォトン受光反応を検出したことを条件に、自画素のフォトン受光反応の回数がカウントされると換言できる。
デジタルカウンタ２５ａによるカウント値は、外部からのリセット信号（図中のReset）によりリセット可能とされる。
なお、デジタルカウンタ２５ａの構成は、上記で例示したものに限定されず、公知の他の構成を採用することができる。
出力選択部２５ｂは、デジタルカウンタ２５ａによるカウント値が予め定められた値以上となったか否かを判定し、カウント値が予め定められた値以上となったと判定した場合にその旨を示す信号を出力部２６に対して出力する。
出力選択部２５ｂには、デジタルカウンタ２５ａにおける２段目以降の各Ｄフリップフロップの出力が入力される。出力選択部２５ｂにおいては、何れの段のＤフリップフロップの出力を判定基準とするかが定められ、該判定基準とされた段のＤフリップフロップの出力がＨＩＧＨとなったことに応じて、出力部２６に対する信号出力を行う。これは、カウント値が予め定められた閾値（２以上の自然数）以上となったら、その旨を示す信号を出力部２６に出力するものと換言できる。
出力部２６は、出力選択部２５ｂの出力信号を行制御線ＷＯＲＤを介したワード信号の入力に応じて垂直信号線Ｌｉに出力する。具体的に、本例の出力部２６は、出力選択部２５ｂによる出力信号がゲートに供給されるＮ－ＭＯＳトランジスタによるトランジスタ２６ａと、ゲートが行制御線ＷＯＲＤに接続されたＮ－ＭＯＳトランジスタによるトランジスタ２６ｂとを有し、これらトランジスタ２６ａとトランジスタ２６ｂの直列接続回路が垂直信号線Ｌｉとグランド電位間に挿入されている。
行制御線ＷＯＲＤを介してトランジスタ２６ｂのゲートにワード信号が入力されることで、出力選択部２５ｂによる出力信号がトランジスタ２６ａ及び２６ｂを介して垂直信号線Ｌｉに出力される。
これにより、１フレーム期間内でデジタルカウンタ２５ａのカウント値が所定閾値以上となれば、その旨を示す信号が画素２０の出力信号として垂直信号線Ｌｉを介して読み出される。
なお、デジタルカウンタ２５ａにおけるカウント値のリセットタイミングは、上記ワード信号の供給に応じて自画素の出力値が読み出されたタイミングとすることが考えられる。或いは、出力選択部２５ｂの出力がＨＩＧＨとなったタイミング（つまりカウント値が所定閾値以上となったタイミング）とすることも考えられる。
ここで、上記では出力選択部２５ｂを設けてデジタルカウンタ２５ａのカウント値が所定閾値以上となったことを示す信号を画素２０の出力信号とする例としたが、出力選択部２５ｂを設けずにデジタルカウンタ２５ａのカウント値を示す信号を画素２０の出力信号とする構成を採ることもできる。
<２．第二実施形態>
続いて、第二実施形態について説明する。第二実施形態は、フォトン受光反応が検出されたことを示すパルスのカウントにアナログカウンタを用いるものである。
なお、以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
図６は、第二実施形態の第一例としての画素２０Ａの構成を説明するための図である。
画素２０Ａは、画素２０と比較して、計数部２５に代えて計数部２５Ａが設けられた点が異なる。計数部２５Ａは、デジタルカウンタ２５ａに代えてアナログカウンタ２５ａＡが、出力選択部２５ｂに代えてコンパレータ２５ｂＡが設けられた点が異なる。
アナログカウンタ２５ａＡは、第一キャパシタＣ１、第一スイッチＳＷ１、及び第二スイッチＳＷ２を備えて構成されるディスチャージ部ＤＳと、リセットトランジスタＴｒｓ、第二キャパシタＣ２、及びオペアンプＯＰとを有している。
ディスチャージ部ＤＳにおいて、第一スイッチＳＷ１は、第一キャパシタＣ１の一端を電源電圧Ｖｄｄに接続する状態と接地させる状態とを切り替え可能に構成されている。第二スイッチＳＷ２は、第一キャパシタＣ１の他端を接地させる状態と第二キャパシタＣ２の一端に接続する状態とを切り替え可能に構成されている。
第一スイッチＳＷ１、及び第二スイッチＳＷ２に対しては、演算部２４の出力信号が切り替え制御信号として供給される。具体的に、第一スイッチＳＷ１は、演算部２４の出力信号がＨＩＧＨであれば第一キャパシタＣ１の一端を電源電圧Ｖｄｄに接続し、該出力信号がＬＯＷであれば第一キャパシタＣ１の一端を接地させるように動作する。また、第二スイッチＳＷ２は、演算部２４の出力信号がＨＩＧＨであれば第一キャパシタＣ１の他端を接地させ、該出力信号がＬＯＷであれば第一キャパシタＣ１の他端を第二キャパシタＣ２の一端に接続させるように動作する。
第二キャパシタＣ２の一端は、オペアンプＯＰの反転入力端子と接続され、第二キャパシタＣ２の他端はオペアンプＯＰの出力端子と接続されている。オペアンプＯＰの非反転入力端子には基準電圧ＶＲＥＦが入力されている。
リセットトランジスタＴｒｓは、本例ではＰ－ＭＯＳトランジスタが用いられており、第二キャパシタＣ２に対して並列接続されている。リセットトランジスタＴｒｓのゲートはリセット信号ｘＲＳＴの供給ラインに接続されている。リセット信号ｘＲＳＴは、例えば前述したワード信号のように行単位でＯＮ／ＯＦＦされる信号である。或いは、リセット信号ｘＲＳＴは、全画素同時にグローバルに制御される信号の場合もある。
上記構成によるアナログカウンタ２５ａＡにおいては、第二キャパシタＣ２の他端とオペアンプＯＰの出力端子との接続点にカウント結果を示す出力電圧が得られる。
アナログカウンタ２５ａＡでは、リセット信号ｘＲＳＴがＯＮとされると、リセットトランジスタＴｒｓのリセット動作により第二キャパシタＣ２が満充電状態とされる。その後、演算部２４の出力がＨＩＧＨとなると、上述した第一スイッチＳＷ１、第二スイッチＳＷ２の動作により、第一キャパシタＣ１に電源電圧Ｖｄｄに応じた電荷がチャージされる。つまり、第一キャパシタＣ１には、演算部２４からの出力パルス一つ分の電荷がチャージされる。そして、演算部２４の出力がＨＩＧＨからＬＯＷに転じると、第一キャパシタＣ１は一端が接地され、他端が第二キャパシタＣ２の一端と接続された状態となる。
上記の動作により、演算部２４からのパルス出力に応じては、第一キャパシタＣ１に出力パルス一つ分の電荷がチャージされた後、該第一キャパシタＣ１にチャージされた分の電荷が第二キャパシタＣ２から引き抜かれる。
この結果、第二キャパシタＣ２の充電電荷は、演算部２４からのパルス出力回数に応じた分だけディスチャージされる。すなわち、第二キャパシタＣ２の端子間電圧が、パルスの発生回数を示すものとなる。
コンパレータ２５ｂＡは、アナログカウンタ２５ａＡの出力電圧が非反転入力端子に、所定の閾値電圧Ｖｔｈが反転入力端子にそれぞれ入力され、アナログカウンタ２５ａＡの出力電圧が閾値電圧Ｖｔｈ以上となったことに応じて出力電圧がＨＩＧＨとなる。これにより、前述した出力選択部２５ｂと同様に、パルスの発生回数が所定閾値以上となったことに応じて、その旨を示す信号を出力するように動作する。
図７は、第二実施形態の第二例としての画素２０Ｂの構成を説明するための図である。この第二例は、第一例と同様にパルス数のカウントにアナログカウンタを用いるが、自画素におけるスパイク出力部２０ａが出力するパルスのカウント値に対し、少なくとも自画素に隣接する他画素を含む所定数の他画素それぞれにおけるスパイク出力部２０ａが出力するパルスのカウント値を反映させる点が異なる。
画素２０Ｂは、画素２０Ａと比較して、演算部２４と計数部２５Ａとが省略された代わりに演算・計数部３０が設けられた点が異なる。
演算・計数部３０は、計数部２５Ａと同様に第二キャパシタＣ２、オペアンプＯＰ、第二キャパシタＣ２、及びコンパレータ２５ｂＡを備えると共に、ディスチャージ部ＤＳを複数備えている。
演算・計数部３０において、ディスチャージ部ＤＳは、上記した所定数をｎ（ｎは２以上の自然数）とすると、自画素用の一つを含め、合計でｎ＋１個が設けられる。各ディスチャージ部ＤＳには、それぞれ対応する一つの画素２０Ｂにおけるスパイク出力部２０ａの出力電圧Ｖｏｕｔが第一スイッチＳＷ１及び第二スイッチＳＷ２の切り替え制御信号として入力される。
この場合、各ディスチャージ部ＤＳの第一スイッチＳＷ１、第二スイッチＳＷ２は、それぞれ対応する出力電圧ＶｏｕｔのＨＩＧＨ／ＬＯＷの変化に対して次のように動作する。すなわち、各第一スイッチＳＷ１は、対応する出力電圧ＶｏｕｔがＬＯＷ（つまりフォトン受光反応検出）であれば、第一キャパシタＣ１の一端を電源電圧Ｖｄｄに接続し、出力電圧ＶｏｕｔがＨＩＧＨであれば第一キャパシタＣ１の一端を接地させるように動作する。また、各第二スイッチＳＷ２は、対応する出力電圧ＶｏｕｔがＬＯＷであれば第一キャパシタＣ１の他端を接地させ、出力電圧ＶｏｕｔがＨＩＧＨであれば第一キャパシタＣ１の他端を第二キャパシタＣ２の一端に接続させるように動作する。
上記のような構成により、この場合の第二キャパシタＣ２の充電電荷は、フォトン受光反応が検出された画素２０Ｂのディスチャージ部ＤＳによりそれぞれディスチャージされていく。すなわち、演算・計数部３０では、自画素におけるスパイク出力部２０ａが出力するパルスのカウント値に対し、ｎ個の他画素それぞれにおけるスパイク出力部２０ａが出力するパルスのカウント値が反映されるものとなる。
このように自画素のパルスカウント値に対し隣接他画素を含む近傍所定数の他画素のパルスカウント値を反映させることで、人の目における水平細胞の役割を再現することが可能となる。
なお、上記ではアナログカウンタの後段にコンパレータ２５ｂＡを設ける例を挙げたが、コンパレータ２５ｂＡを設けずにアナログカウンタによるカウント値を示す信号を出力部２６に対して出力する構成とすることもできる。
<３．第三実施形態>
第三実施形態は、アービタ方式により画素の出力値の読み出しを行うものである。
図８は、第三実施形態としてのセンサ装置１Ｃの内部構成例を示したブロック図である。
図示のようにセンサ装置１Ｃは、画素アレイ部２Ｃと、アービタを構成するｘアービタ５ｘ及びｙアービタ５ｙと、出力部６とを備えている。画素アレイ部２Ｃは、画素２０に代えて画素２０Ｃを備える点が画素アレイ部２と異なる。各画素２０Ｃは、ｘアービタ５ｘに対する読み出しリクエストとしてのｘ方向（行方向）のリクエストＲｅｑｘを出力可能とされると共に、ｘアービタ５ｘからの肯定応答としての肯定応答Ａｃｋｘを受信可能に構成されている。さらに各画素２０Ｃは、ｙアービタ５ｙに対する読み出しリクエストとしてのｙ方向（列方向）のリクエストＲｅｑｙを出力可能とされると共に、ｙアービタ５ｙからの肯定応答としてのｙ方向の肯定応答Ａｃｋｙを受信可能に構成されている。
ｘアービタ５ｘ、ｙアービタ５ｙの少なくとも何れかには、読み出しリクエストを行った画素２０Ｃを特定するためのアドレス情報（ADDRESS）を生成するためのアドレスデコーダが設けられる。図中では、ｘアービタ５ｘがアドレスデコーダを有する場合を例示しているが、ｙアービタ５ｙにアドレスデコーダが設けられてもよい。
出力部６は、ｘアービタ５ｘが画素２０ＣからのリクエストＲｅｑｘに応じて行うリクエストであるリクエストＡＲｅｑｘ、及びｙアービタ５ｙが画素２０ＣからのリクエストＲｅｑｙに応じて行うリクエストＡＲｅｑｙを受信可能とされると共に、ｘアービタ５ｘに対する肯定応答ＡＡｃｋｘとｙアービタ５ｙに対する肯定応答ＡＡｃｋｙとを送信可能とされている。
出力部６は、ｘアービタ５ｘ、ｙアービタ５ｙとの間でそれぞれ上記のリクエストＡＲｅｑｘや肯定応答ＡＡｃｋｘ、リクエストＡＲｅｑｙや肯定応答ＡＡｃｋｙのやりとりを行って、センサ装置１Ｃの外部装置（外部チップ）に対し、読み出しリクエストを行った画素２０Ｃのアドレス情報（ADDRESS）を出力する。このアドレス情報の出力において、出力部６は、上記外部装置に対するリクエストＣＨＩＰＲｅｑの送信や、上記外部装置からの肯定応答ＣＨＩＰＡｃｋの受信を行う。
なお、本例の場合、上記のｘアービタ５ｘ、ｙアービタ５ｙ、及び出力部６が行う具体的な処理は、下記参考文献１に記載のものと同様である。
但し、これらｘアービタ５ｘ、ｙアービタ５ｙ、及び出力部６の具体的な処理は参考文献１に記載のものに限らず、少なくとも画素２０Ｃからの読み出しリクエストを調停し、読み出しリクエストを行った画素２０Ｃのアドレス情報を出力するものであればよい。
なお、アービタ方式において、読み出しリクエストを行った画素２０Ｃのアドレス情報のみでなく該リクエストが行われた時刻（換言すれば、イベントの発生時刻）を示すタイムスタンプを扱う構成を採ることもできる。
・参考文献１：Event-Based Neuromorphic Systems, Shih-Chi Liu et,al., ISBN-13 : 978-0470018491
図９は、画素２０Ｃの構成を説明するための図である。
画素２０Ｃは、図６に示した画素２０Ａと比較して、出力部２６に代えてＡＥＲ（Address Event Representation）ロジック回路２７が設けられる点が異なる。
ＡＥＲロジック回路２７は、計数部２５Ａにおけるコンパレータ２５ｂＡの出力信号を入力し、該出力信号がＨＩＧＨとなったことに応じてリクエストＲｅｑｘ、リクエストＲｅｑｙをそれぞれｘアービタ５ｘ、ｙアービタ５ｙに対して出力する。これは、自画素及び所定数の他画素におけるフォトン受光反応検出回数が所定閾値以上となったことを示す信号をイベント信号として入力し、該イベント信号の入力に応じてｘアービタ５ｘ、ｙアービタ５ｙにリクエストを行うものであると換言できる。
また、ＡＥＲロジック回路２７は、リクエストＲｅｑｘ及びＲｅｑｙに応じてｘアービタ５ｘ、ｙアービタ５ｙから肯定応答Ａｃｋｘ及びＡｃｋｙを受信したことに応じて、リセット信号ｘｒｓｔを計数部２５ＡのリセットトランジスタＴｒｓのゲートに出力する。これにより、この場合の計数部２５Ａでは、イベントの読み出しごとにアナログカウンタ２５ａＡのカウント値がリセットされ、新たなイベントを検出可能な状態となる。
ここで、図９では、コンパレータ２５ｂＡの出力信号（出力電圧）を「Ｖｃｏ」と表記している。
図１０は、ＡＥＲロジック回路２７の内部構成例を示した図である。
図示のように本例では、ＡＥＲロジック回路２７として一般的なＡＥＲロジックの構成を採用している。本例では、図１０の左側に示す構成により、イベントの発生（出力電圧ＶｃｏがＨＩＧＨ）に応じて、ｙアービタ５ｙに対するリクエストＲｅｑｙが出力され、その後、ｙアービタ５ｙからの肯定応答Ａｃｋｙに応じてｘアービタ５ｘに対するリクエストＲｅｑｘが行われるものとなる。また、図１０の右側の構成により、ｙアービタ５ｙからの肯定応答Ａｃｋｙとｘアービタ５ｘからの肯定応答Ａｃｋｘとを受信したことに応じて、リセット信号ｘｒｓｔが出力される。
なお、図９では計数部２５Ａを用いる場合に対応した構成例を示したが、アービタ方式は演算・計数部３０（図７）を用いる場合やデジタルカウンタ２５ａを有する計数部２５（図５）を用いる場合にも適用できる。例えば、演算・計数部３０を用いる場合には、出力部２６に代えてＡＥＲロジック回路２７を設け、ＡＥＲロジック回路２７からのリセット信号ｘｒｓｔがリセットトランジスタＴｒｓのゲートに出力されるように構成すればよい。また、計数部２５を用いる場合には、出力部２６に代えてＡＥＲロジック回路２７を設ける。この場合のＡＥＲロジック回路２７は、計数部２５における出力選択部２５ｂによる出力信号がＨＩＧＨとなったことに応じてリクエストＲｅｑｘ、Ｒｅｑｙをｘアービタ５ｘ、ｙアービタ５ｙにそれぞれ出力するように構成する。
<４．変形例>
ここで、実施形態としては上記に例示した具体例に限定されるものではなく、多様な変形例としての構成を採り得る。
例えば、スパイク出力部２０ａについては、図１１に例示するようなスパイク出力部２０ａＤに置き換えることも可能である。このスパイク出力部２０ａＤは、スパイク出力部２０ａと比較してトランジスタの数が削減されたものとなる。
スパイク出力部２０ａＤは、ＳＰＡＤ素子２１と、抵抗器Ｒ１と、トランジスタ１０と、トランジスタ４０と、トランジスタ４１と、トランジスタ４２と、トランジスタ４３と、インバータ１５と、パルス生成器１６Ｄとを備えている。パルス生成器１６Ｄは、内部の構成要素として、遅延器Ｄ３と、ＮＡＮＤゲート回路ＮＰとを備えている。トランジスタ１０、トランジスタ４０、トランジスタ４１、及びトランジスタ４２は、Ｐ－ＭＯＳトランジスタとされる。一方、トランジスタ４３はＮ－ＭＯＳトランジスタとされる。
トランジスタ１０は、スパイク出力部２０ａの場合と同様、ＳＰＡＤ素子２１の負荷素子に相当するものである。
トランジスタ１０及びトランジスタ４１のソースは、電源電圧Ｖｄｄに接続されている。トランジスタ１０のドレインは、信号線Ｖｉ１を介してトランジスタ４２のゲートに接続されている。また、トランジスタ１０のドレインは、トランジスタ４０のソースにも接続されている。トランジスタ４０のドレインとＳＰＡＤ素子２１のカソードとの間には抵抗器Ｒ１が接続されている。ＳＰＡＤ素子２１のアノードには、電圧Ｖａｎが印加されている。
トランジスタ４２のソースは、トランジスタ４１のドレインに接続されている。一方、トランジスタ４２のドレインは、信号線Ｖｉ３を介してインバータ１５に接続されている。また、トランジスタ４２のドレインは、トランジスタ４３のドレインにも接続されている。トランジスタ４３のソースはグランド電位に接続されている。トランジスタ４３のゲートは、ＮＡＮＤゲート回路ＮＰの出力端子及びトランジスタ４１のゲートに接続されている。インバータ１５の出力端子は、出力電圧Ｖｏｕｔの出力ラインに接続されている。遅延器Ｄ３は、出力電圧Ｖｏｕｔの出力ラインと、ＮＡＮＤゲート回路ＮＰの一方の入力端子との間に接続されている。ＮＡＮＤゲート回路ＮＰの他方の入力端子は、端子ｘＲＳＴに接続されている。
上記構成によるスパイク出力部２０ａＤの動作を説明する。
ＳＰＡＤ素子２１がフォトンと反応すると、カソード／アノード間の電流が増加し、トランジスタ１０のソース／ドレイン間の電圧降下により信号線Ｖｉ１の電圧がＬＯＷになる。このため、トランジスタ４２のゲートにＬＯＷの電圧が印加され、トランジスタ４２のソース／ドレイン間はオンとなる。これに伴い、トランジスタ４１のソース／ドレイン間に流れる電流が増加する。このため、Ｉｄ－Ｖｇｓ特性によってトランジスタ４１のゲート／ソース間電圧が大きくなる。
すなわち、トランジスタ４２のソース／ドレイン間がオンになるのとほぼ同時に、トランジスタ４１のゲート／ソース間もオンとなる。トランジスタ４１と、トランジスタ４２の双方がオンになるため、信号線Ｖｉ３の電圧が電源電圧ＶｄｄによりＨＩＧＨに引き上げられる。インバータ１５は、ＨＩＧＨの電圧を入力されると、出力電圧ＶｏｕｔとしてＬＯＷの電圧を出力する。このように、スパイク出力部２０ａＤでは、フォトン受光反応の検出時に出力電圧ＶｏｕｔとしてＬＯＷレベル（負極性）のパルスを出力する。なお、フォトン受光反応の検出時に出力するパルスの極性については特に限定されるものではない。
出力電圧ＶｏｕｔがＬＯＷになると、これに遅れてＮＡＮＤゲート回路ＮＰの一方の入力端子の電圧もＬＯＷになる。このため、ＮＡＮＤゲート回路ＮＰは、信号線ＩＮＩにＨＩＧＨの電圧を出力する。トランジスタ４３のゲートにＨＩＧＨの電圧が印加され、トランジスタ４３のドレイン／ソース間がオンになる。また、トランジスタ４１もドレイン／ソース間がオフとなり、電源からグランドへの貫通電流が抑制される。従って、信号線Ｖｉ３の電圧は、グランド電位によって初期化され、ＬＯＷになる。信号線Ｖｉ３の電圧がＬＯＷになると、インバータ１５は出力電圧ＶｏｕｔとしてＨＩＧＨの電圧を出力する。このため、スパイク出力部２０ａＤはＬＯＷレベルのパルスの出力を終了する。
なお、スパイク出力部２０ａＤにおいて、トランジスタ４０又は抵抗器Ｒ１の少なくとも何れかを省略する構成とすることも可能である。
ここで、これまでの説明では、自画素の出力値として、自画素におけるフォトン受光反応の検出結果と、少なくとも自画素に隣接する他画素を含む所定数の他画素におけるフォトン受光反応の検出結果とに基づく値を得る場合において、上記所定数の他画素が固定とされる前提としたが、これら所定数の他画素を可変とすることもできる。例えば、上記所定数の他画素がカーネルＫｎにより選択されるようにすることが可能である。
例えば、カーネルＫｎとして、図１２の左側に示すような３×３＝９画素のカーネルＫｎを想定する。ここで、カーネルＫｎについて、各画素の位置を（ｉ，ｊ）座標で定義する。例えば、最も左側に位置する画素列のｉの値を「０」とし、そこから右方向にずれるに従ってｉの値が大きくなるものとする。また、ｊの値については、最も上側に位置する画素行のｊの値を「０」としそこから下方向にずれるに従ってｊの値が大きくなるものとする。
このカーネルＫｎについて、例えば図中の右側に示すように画素位置ごとの係数が設定されたとする。カーネルＫｎにおいて、処理対象の画素は、中心に位置する（ｉ，ｊ）＝（１，１）の画素である。図１２に例示する係数の設定によれば、処理対象の画素のフォトン受光反応検出結果と、処理対象の画素の左上、右下にそれぞれ隣接する画素のフォトン受光反応検出結果とを用いて処理対象の画素の出力値を得ることを意味する。この場合、係数＝０は、該当する位置の画素のフォトン受光反応検出結果を使用しないことを意味する。
図１３に示すように、図１２で例示したカーネルＫｎの係数に従って該当する画素の論理積（ＡＮＤ）をとるとすると、それら該当する画素で時間的にほぼ同時に反応（発火、イベントの発生）があった場合にのみ、対象の画素の出力が得られるようになる。
なお、上記のようなカーネルＫｎの設定はハードワイヤではなくプログラマブルに実現することが望ましい。例えば、各画素の検出結果について有効／無効を切り替えるイネーブル回路を設けることで容易に実現可能である。
また、他の実現方式として、アナログ方式を挙げることができる。このアナログ方式について、図１４を参照して説明する。
図１４に示すように、アナログ方式の場合、（ｉ，ｊ）＝（０，０）から（２，２）までの各画素の出力を受け電流源を共通のノードへ接続するＮ－ＭＯＳ、Ｐ－ＭＯＳのトランジスタと、電流の絶対値により決まる電流源と電流を蓄積する容量と、初期電圧（電荷）やリーク電流としてオフセットを規定する電流源と比較器とを設ける。カーネルＫｎの係数は電流源の絶対値で規定される。カーネルＫｎの係数が正であれば、Ｐ－ＭＯＳ側のトランジスタがオンして、その電流源（｜Ａij|）からの電流を共通ノードへと流す。
カーネルＫｎの係数がゼロであれば、Ｐ－ＭＯＳ、Ｎ－ＭＯＳの何れのトランジスタもオンせず、電流はゼロである。カーネルＫｎの係数が負であった場合は、Ｎ－ＭＯＳ側のトランジスタがオンして共通ノードからある係数（｜Ａij|）で電流を引き抜く。最終的な電流値は、所定の閾値電圧Ｖｔｈと比較され、閾値を超えたか否かで対象の画素の出力を行う。
なお、アナログカウンタの構成は、先の図６や図７で例示した構成に限定されない。
図１５は、アナログカウンタの別例についての説明図である。
ここでは、スパイク列を出力するための構成としてスパイク出力部２０ａＤを用いる場合を例示しているが、スパイク出力部２０ａ等の他の構成を用いるようにしてもよい。
インバータ１５からの出力電圧Ｖｏｕｔを入力する第一ＮＯＲゲート回路と、出力電圧Ｖｏｕｔを遅延器Ｄ３で遅延して得られる遅延後出力電圧Ｖｏｕｔｄを入力する第二ＮＯＲゲート回路とを設け、図示のように第一ＮＯＲゲート回路の出力を第二ＮＯＲゲート回路に入力すると共に、第二ＮＯＲゲート回路の出力を第一ＮＯＲゲート回路に入力する。
スパイク出力部２０ａＤがパルスを出力した際には、第一ＮＯＲゲート回路の出力電圧Ｖｉ５にパルスが発生し、後段のキャパシタCdeltaの電荷をディスチャージする。パルスの発生後は、第二ＮＯＲゲート回路の出力電圧Ｖｉ５’で制御されるトランジスタが接続されたオペアンプの出力へ接続され、電圧VdeltaでキャパシタCdeltaがチャージされる。この動作を繰り返すことで、図中のＲＳＴにより初期化されたキャパシタCoutの電荷から何回引き抜いたかによってアナログ電圧が変動し、例えばＮ回の引き抜き動作によって「Vdd-N*Cdelta*Vdelta」の電圧に出力電圧Ｖｏｕｔ’が制御される。
なお、図１５で例示した構成の他にも、演算の有効無効の制御や、容量の比率を可変にしたりするなどの機構も考えられる。後段のアナログ演算は、図７等の構成を用いてもよいし、一旦外部へアナログ信号を出力し、Ａ／Ｄ変換器で変換した後に演算を行ってもよい。
<５．実施形態のまとめ>
上記のように実施形態のセンサ装置（同１、１Ｃ）は、ＳＰＡＤ素子（同２１）と、ＳＰＡＤ素子によるフォトン受光反応を検出してフォトン受光反応を示すパルスを出力すると共に、パルスの出力に応じて自身の状態をフォトン受光反応の検出可能状態にリセットする検出部（同２３）と、検出部が出力するパルスの数をカウントするパルス計数部（計数部２５、２５Ａ、演算・計数部３０）と、を備えたものである。
検出部が上記のリセットを行う構成とされることで、高照度状態においてもスパイク列を適正に得ることが可能となり、また、上記のパルス計数部により、スパイク列におけるスパイクの数（パルス数）を適切にカウントすることが可能となる。
従って、人の目の感光特性を模したスパイクカメラを実現することができる。
また、実施形態のセンサ装置においては、ＳＰＡＤ素子、検出部、及びパルス計数部を有する画素が二次元に複数配列されている。
これにより、二次元の撮像画像を取得可能なスパイクカメラを実現することができる。
さらに、実施形態のセンサ装置においては、画素は、自画素における検出部によるフォトン受光反応の検出結果と、少なくとも自画素に隣接する他画素を含む所定数の他画素における検出部によるフォトン受光反応の検出結果とに基づき自画素の出力値を得るための演算を行う演算部（同２４、演算・計数部３０）を有している（図５，６，７，１４参照）。
自画素のみでなく少なくとも隣接する他画素のフォトン受光反応も考慮して自画素の出力値を得るようにすることで、人の目における水平細胞の役割を再現することが可能となる。
従って、人の目の感光特性について再現性の向上を図ることができる。
さらにまた、実施形態のセンサ装置においては、演算部（同２４）は、自画素における検出部と、所定数の他画素の検出部とがフォトン受光反応を検出したことを条件にパルス計数部にパルスのカウントを実行させている（図５，６等参照）。
上記のように自画素のみでなく隣接他画素を含む近傍所定数の他画素がフォトン受光反応を検出したことを条件に自画素のパルスカウントを実行することで、人の目における水平細胞の役割を再現することが可能となる。
従って、人の目の感光特性について再現性の向上を図ることができる。
また、実施形態のセンサ装置においては、演算部は、ＡＮＤゲート回路を用いて条件の成立有無を判定している。
これにより、デジタル論理回路を用いて適切に条件判定を行うことができる。
さらに、実施形態のセンサ装置においては、演算部（演算・計数部３０）は、自画素における検出部が出力するパルスのカウント値に対し、所定数の他画素それぞれにおける検出部が出力するパルスのカウント値を反映させている（図７，１４等参照）。
上記のように自画素のパルスカウント値に対し隣接他画素を含む近傍所定数の他画素のパルスカウント値を反映させることで、人の目における水平細胞の役割を再現することが可能となる。
従って、人の目の感光特性について再現性の向上を図ることができる。
さらにまた、実施形態のセンサ装置においては、所定数の他画素がカーネルにより選択される（図１２から図１４参照）。
これにより、自画素の出力値に影響させる他画素として何れの画素を用いるかをカーネルにより可変設定することができる。
また、実施形態のセンサ装置においては、パルス計数部（計数部２５、２５Ａ、演算・計数部３０）は、パルスのカウント数が閾値以上となった場合に信号出力を行っている（図５，６，７，１４，１５等参照）。
これにより、画素の出力値として輝度が一定以上であるか否かを表す値を出力することができる。
さらに、実施形態のセンサ装置においては、パルス計数部はデジタルカウンタによりパルスの数をカウントしている。
これにより、デジタル論理回路を用いてパルスカウントを適切に行うことができる。
さらにまた、実施形態のセンサ装置においては、パルス計数部はアナログカウンタによりパルスの数をカウントしている。
アナログのカウンタを用いることでパルスの数を簡易な構成によりカウントすることができる。
また、実施形態のセンサ装置においては、アナログカウンタは、検出部によるパルスの出力に応じて充電量が変化する容量（第二キャパシタＣ２）を用いたカウンタとされている。
上記のような容量を用いたカウンタとすることで、簡易な構成によりパルスカウントを実現することができる。
さらに、実施形態のセンサ装置（同１）においては、画素の出力値の読み出しを画素行ごとに実行させる行制御回路（同３）を備えている。
これにより、画素の出力値はスキャン方式により読み出される。
スキャン方式により画素値を読み出すための既存の回路構成を流用することができるため、センサ装置のコスト削減を図ることができる。
さらにまた、実施形態のセンサ装置（同１Ｃ）においては、アービタ方式により画素の出力値の読み出しを行っている。
アービタ方式を採用することで、所定態様によるフォトン受光反応のあった画素の値を迅速に読み出すことができる。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
<６．本技術>
なお本技術は以下のような構成も採ることができる。
（１）
ＳＰＡＤ素子と、
前記ＳＰＡＤ素子によるフォトン受光反応を検出して前記フォトン受光反応を示すパルスを出力すると共に、前記パルスの出力に応じて自身の状態を前記フォトン受光反応の検出可能状態にリセットする検出部と、
前記検出部が出力する前記パルスの数をカウントするパルス計数部と、を備えた
センサ装置。
（２）
前記ＳＰＡＤ素子、前記検出部、及び前記パルス計数部を有する画素が二次元に複数配列された
前記（１）に記載のセンサ装置。
（３）
前記画素は、自画素における前記検出部による前記フォトン受光反応の検出結果と、少なくとも自画素に隣接する他画素を含む所定数の他画素における前記検出部による前記フォトン受光反応の検出結果とに基づき自画素の出力値を得るための演算を行う演算部を有する
前記（２）に記載のセンサ装置。
（４）
前記演算部は、前記自画素における前記検出部と、前記所定数の他画素の前記検出部とが前記フォトン受光反応を検出したことを条件に前記パルス計数部に前記パルスのカウントを実行させる
前記（３）に記載のセンサ装置。
（５）
前記演算部は、ＡＮＤゲート回路を用いて前記条件の成立有無を判定する
前記（４）に記載のセンサ装置。
（６）
前記演算部は、自画素における前記検出部が出力する前記パルスのカウント値に対し、前記所定数の他画素それぞれにおける前記検出部が出力する前記パルスのカウント値を反映させる
前記（３）に記載のセンサ装置。
（７）
前記所定数の他画素がカーネルにより選択される
前記（３）から（６）の何れかに記載のセンサ装置。
（８）
前記パルス計数部は、前記パルスのカウント数が閾値以上となった場合に信号出力を行う
前記（１）から（７）の何れかに記載のセンサ装置。
（９）
前記パルス計数部はデジタルカウンタにより前記パルスの数をカウントする
前記（１）から（８）の何れかに記載のセンサ装置。
（１０）
前記パルス計数部はアナログカウンタにより前記パルスの数をカウントする
請求項１に記載のセンサ装置。
（１１）
前記アナログカウンタは、前記検出部による前記パルスの出力に応じて充電量が変化する容量を用いたカウンタとされた
前記（１０）に記載のセンサ装置。
（１２）
前記画素の出力値の読み出しを画素行ごとに実行させる行制御回路を備えた
前記（２）から（１１）の何れかに記載のセンサ装置。
（１３）
アービタ方式により前記画素の出力値の読み出しを行う
前記（２）から（１１）の何れかに記載のセンサ装置。
１，１Ｃ センサ装置
２、２Ｃ 画素アレイ部
３ 行制御回路
４ 信号処理・出力回路
５ｘ ｘアービタ
５ｙ ｙアービタ
６ 出力部
２０，２０Ａ，２０Ｂ，２０Ｃ 画素
２０ａ，２０ａＤ スパイク出力部
２１ ＳＰＡＤ素子
２２ クエンチ部
２３ 検出部
２４ 演算部
２４ａ ＮＯＲゲート回路
２４ｂ ＡＮＤゲート回路
２５，２５Ａ 計数部
２５ａ デジタルカウンタ
２５ａＡ アナログカウンタ
２５ｂ 出力選択部
２５ｂＡ コンパレータ
２６ 出力部
２６ａ，２６ｂ トランジスタ
２７ ＡＥＲロジック回路
３０ 演算・計数部
Ｃ１ 第一キャパシタ
ＳＷ１ 第一スイッチ
ＳＷ２ 第二スイッチ
ＤＳ ディスチャージ部
Ｃ２ 第二キャパシタ
ＯＰ オペアンプ
Ｋｎ カーネル

Claims (13)

  1. ＳＰＡＤ素子と、
    前記ＳＰＡＤ素子によるフォトン受光反応を検出して前記フォトン受光反応を示すパルスを出力すると共に、前記パルスの出力に応じて自身の状態を前記フォトン受光反応の検出可能状態にリセットする検出部と、
    前記検出部が出力する前記パルスの数をカウントするパルス計数部と、を備えた
    センサ装置。
  2. 前記ＳＰＡＤ素子、前記検出部、及び前記パルス計数部を有する画素が二次元に複数配列された
    請求項１に記載のセンサ装置。
  3. 前記画素は、自画素における前記検出部による前記フォトン受光反応の検出結果と、少なくとも自画素に隣接する他画素を含む所定数の他画素における前記検出部による前記フォトン受光反応の検出結果とに基づき自画素の出力値を得るための演算を行う演算部を有する
    請求項２に記載のセンサ装置。
  4. 前記演算部は、前記自画素における前記検出部と、前記所定数の他画素の前記検出部とが前記フォトン受光反応を検出したことを条件に前記パルス計数部に前記パルスのカウントを実行させる
    請求項３に記載のセンサ装置。
  5. 前記演算部は、ＡＮＤゲート回路を用いて前記条件の成立有無を判定する
    請求項４に記載のセンサ装置。
  6. 前記演算部は、自画素における前記検出部が出力する前記パルスのカウント値に対し、前記所定数の他画素それぞれにおける前記検出部が出力する前記パルスのカウント値を反映させる
    請求項３に記載のセンサ装置。
  7. 前記所定数の他画素がカーネルにより選択される
    請求項３に記載のセンサ装置。
  8. 前記パルス計数部は、前記パルスのカウント数が閾値以上となった場合に信号出力を行う
    請求項１に記載のセンサ装置。
  9. 前記パルス計数部はデジタルカウンタにより前記パルスの数をカウントする
    請求項１に記載のセンサ装置。
  10. 前記パルス計数部はアナログカウンタにより前記パルスの数をカウントする
    請求項１に記載のセンサ装置。
  11. 前記アナログカウンタは、前記検出部による前記パルスの出力に応じて充電量が変化する容量を用いたカウンタとされた
    請求項１０に記載のセンサ装置。
  12. 前記画素の出力値の読み出しを画素行ごとに実行させる行制御回路を備えた
    請求項２に記載のセンサ装置。
  13. アービタ方式により前記画素の出力値の読み出しを行う
    請求項２に記載のセンサ装置。
JP2021037142A 2021-03-09 2021-03-09 センサ装置 Pending JP2022137595A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021037142A JP2022137595A (ja) 2021-03-09 2021-03-09 センサ装置
US18/548,591 US20240147099A1 (en) 2021-03-09 2022-02-15 Sensor device
CN202280018770.1A CN116918344A (zh) 2021-03-09 2022-02-15 传感器装置
PCT/JP2022/005985 WO2022190788A1 (ja) 2021-03-09 2022-02-15 センサ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021037142A JP2022137595A (ja) 2021-03-09 2021-03-09 センサ装置

Publications (1)

Publication Number Publication Date
JP2022137595A true JP2022137595A (ja) 2022-09-22

Family

ID=83227654

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021037142A Pending JP2022137595A (ja) 2021-03-09 2021-03-09 センサ装置

Country Status (4)

Country Link
US (1) US20240147099A1 (ja)
JP (1) JP2022137595A (ja)
CN (1) CN116918344A (ja)
WO (1) WO2022190788A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024062842A1 (ja) * 2022-09-21 2024-03-28 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195866B2 (en) * 2017-06-08 2021-12-07 Semiconductor Energy Laboratory Co., Ltd. Imaging device including photoelectic conversion element and transistor
CN107091688B (zh) * 2017-06-26 2018-06-26 北方电子研究院安徽有限公司 一种宽电流输入范围的门控淬灭电路
JP2019047383A (ja) * 2017-09-04 2019-03-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置、および、固体撮像素子の制御方法
JP2019075440A (ja) * 2017-10-13 2019-05-16 キヤノン株式会社 光検出装置、撮像装置、及び撮像システム
JP2020096347A (ja) * 2018-11-29 2020-06-18 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020250494A1 (ja) * 2019-06-10 2020-12-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
CN114616443A (zh) * 2019-11-05 2022-06-10 索尼半导体解决方案公司 感测装置和测距设备

Also Published As

Publication number Publication date
WO2022190788A1 (ja) 2022-09-15
CN116918344A (zh) 2023-10-20
US20240147099A1 (en) 2024-05-02

Similar Documents

Publication Publication Date Title
US10257452B2 (en) Solid-state image pickup apparatus, signal processing method for a solid-state image pickup apparatus, and electronic apparatus
CN111033193B (zh) 检测光电传感器中的高强度光
US9197233B2 (en) Low power ADC for high dynamic range integrating pixel arrays
US7489354B2 (en) CMOS active pixel with hard and soft reset
JP2020505855A (ja) 拡張されたダイナミックレンジを備えたイメージングアレイ
KR101509433B1 (ko) 데이터 출력 회로 및 이를 포함하는 씨아이에스
US20140319325A1 (en) Lamp signal generation circuit and cmos image sensor
JP2007281540A (ja) 物理量分布検出装置および撮像装置
US8450673B2 (en) Pixel circuit, imaging integrated circuit, and method for image information acquisition
US9961282B2 (en) Image pickup apparatus and image pickup system
US20170339358A1 (en) Phase delay counting analog-to-digital converter circuitry
JP2011513702A (ja) Ｘ線検出器における直接検出現象の抑制
US20090295453A1 (en) Signal reading method, signal reading circuit, and image sensor
WO2022190788A1 (ja) センサ装置
US8779342B2 (en) Compact digital pixel for a focal plane array
JP6108878B2 (ja) 撮像装置、撮像装置の駆動方法、撮像システム、撮像システムの駆動方法
JP2003219278A (ja) 固体撮像装置
JP3578648B2 (ja) 増幅型固体撮像装置およびその駆動方法
JP2006295833A (ja) 固体撮像装置
CN112492237B (zh) 影像传感器及其中的转移电路与转移方法
CN113920915B (zh) 一种光感驱动电路、驱动方法及显示面板
KR20200113817A (ko) 이미지 센서
JP2015115743A (ja) 光電変換装置及び光電変換アレイ
Bharathi et al. PERFORMANCE ANALYSIS OF AN EFFICIENT TIME-TO-THRESHOLD PWM ARCHIECTURE USING CMOS TECHNOLOGY
JP2003289249A (ja) 相関演算回路、ａ／ｄ変換器、ｄ／ａ変換器、及び信号処理システム