JP2022069202A - Apdセンサおよび測距システム - Google Patents

Apdセンサおよび測距システム Download PDF

Info

Publication number
JP2022069202A
JP2022069202A JP2020178256A JP2020178256A JP2022069202A JP 2022069202 A JP2022069202 A JP 2022069202A JP 2020178256 A JP2020178256 A JP 2020178256A JP 2020178256 A JP2020178256 A JP 2020178256A JP 2022069202 A JP2022069202 A JP 2022069202A
Authority
JP
Japan
Prior art keywords
signal
circuit
signals
state detection
apd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020178256A
Other languages
English (en)
Inventor
恭範 佃
Yasunori Tsukuda
有輝 森川
Yuki Morikawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2020178256A priority Critical patent/JP2022069202A/ja
Priority to CN202180070819.3A priority patent/CN116368815A/zh
Priority to US18/248,693 priority patent/US20230396898A1/en
Priority to PCT/JP2021/036933 priority patent/WO2022085448A1/ja
Publication of JP2022069202A publication Critical patent/JP2022069202A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H04N25/773Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】複数の画素からの信号に関する値を1つのカウンタで高精度にカウント可能なAPDセンサおよび測距システムを提供する。【解決手段】本開示のAPDセンサは、APD(Avalanche Photodiode)を含む複数の画素と、前記複数の画素から出力された複数の第1信号の状態を検知し、前記複数の第1信号の状態の検知結果を含む複数の第2信号を生成する複数の状態検知回路と、前記複数の第2信号または前記複数の第2信号に応じて変化する複数の第3信号の論理演算を行い、前記論理演算の結果を含む第4信号を生成する論理演算回路と、前記第4信号に基づいて、前記複数の第1信号に関する値をカウントするカウンタとを備え、前記状態検知回路の各々は、前記第4信号を入力する入力端子を有し、前記入力端子に入力された前記第4信号に基づいて、前記状態検知回路の各々への前記第1信号の入力を無効にする。【選択図】図4

Description

本開示は、APD(Avalanche Photodiode)センサおよび測距システムに関する。
近年、ToF(Time of Flight)方式により距離測定を行う測距システムが注目されている。このような測距システムの各画素は、光電変換部として、例えばSPAD(Single Photon Avalanche Diode)などのAPDを含んでいる。SPADは、降伏電圧よりも高い電圧が印加された状態(ガイガーモード)でPN接合部に1個の光子を受光すると、アバランシェ増幅を発生させる。これにより、SPADに瞬間的に電流が流れる。この電流が流れたタイミングを検出することで、高精度に距離を測定することができる。
特開2019-192903号公報
測距システム内の受光装置を小型化するため、複数の画素からの信号に関する値を1つのカウンタでカウントすることが望ましい。カウンタは例えば、これらの画素からの信号に含まれるパルスの個数や発生時間をカウントすることで、これらの画素が受光した光子の個数や受光時間をカウントすることができる。この場合、複数の画素からの信号がカウンタに同時に入力されると、カウンタが値を正しくカウントできないことが問題となる。
そこで、本開示は、複数の画素からの信号に関する値を1つのカウンタで高精度にカウント可能なAPDセンサおよび測距システムを提供する。
本開示の第1の側面のAPDセンサは、APD(Avalanche Photodiode)を含む複数の画素と、前記複数の画素から出力された複数の第1信号の状態を検知し、前記複数の第1信号の状態の検知結果を含む複数の第2信号を生成する複数の状態検知回路と、前記複数の第2信号または前記複数の第2信号に応じて変化する複数の第3信号の論理演算を行い、前記論理演算の結果を含む第4信号を生成する論理演算回路と、前記第4信号に基づいて、前記複数の第1信号に関する値をカウントするカウンタとを備え、前記状態検知回路の各々は、前記第4信号を入力する入力端子を有し、前記入力端子に入力された前記第4信号に基づいて、前記状態検知回路の各々への前記第1信号の入力を無効にする。これにより例えば、状態検知回路の動作を第4信号により制御することで、複数の画素からの信号に関する値を1つのカウンタで高精度にカウントすることが可能となる。
また、この第1の側面のAPDセンサは、前記複数の画素を有する画素アレイ領域を含む第1基板と、前記第1基板と貼り合わされており、前記状態検知回路、前記論理演算回路、および前記カウンタを含む第2基板と、をさらに備えていてもよい。これにより例えば、第1基板と第2基板とを貼り合わせることで、APDセンサを製造することが可能となる。
また、この第1の側面において、前記状態検知回路と、前記論理演算回路の少なくとも一部は、前記画素アレイ領域と対向する位置に配置されていてもよく、前記カウンタは、前記画素アレイ領域と対向しない位置または前記画素アレイ領域内に配置されていてもよい。これにより例えば、状態検知回路を画素と対応付けて配置することや、論理演算回路の上記一部を画素と対応付けて配置することが可能となる。
また、この第1の側面において、前記状態検知回路は、前記画素アレイ領域と対向する位置に配置されていてもよく、前記論理演算回路の少なくとも一部と、前記カウンタは、前記画素アレイ領域と対向しない位置に配置されていてもよい。これにより例えば、状態検知回路を画素と対応付けて配置することや、論理演算回路の上記一部を画素と対応付けずに配置することが可能となる。
また、この第1の側面において、前記APDは、SPAD(Single Photon Avalanche Diode)でもよい。これにより例えば、複数の画素が受光した光子に関する値をカウントすることが可能となる。
また、この第1の側面において、前記APDのカソードは、前記状態検知回路に電気的に接続されていてもよい。これにより例えば、APDのカソードを、電流源やバッファの側に配置することが可能となる。
また、この第1の側面において、前記APDのアノードは、前記状態検知回路に電気的に接続されていてもよい。これにより例えば、APDのアノードを、電流源やバッファの側に配置することが可能となる。
また、この第1の側面において、前記入力端子は、前記状態検知回路をリセットするリセット端子でもよい。これにより例えば、状態検知回路を第4信号によりリセットすることで、複数の画素からの信号に関する値を1つのカウンタで高精度にカウントすることが可能となる。
また、この第1の側面において、前記状態検知回路は、前記第1信号のエッジを検知してもよい。これにより例えば、複数の画素からの信号に関する値を1つのカウンタで高精度にカウントすることが容易となる。
また、この第1の側面において、前記状態検知回路は、フリップフロップ回路を含んでいてもよい。これにより例えば、複数の画素からの信号に関する値を1つのカウンタで高精度にカウントすることが容易となる。
また、この第1の側面において、前記第1信号は、前記フリップフロップ回路のクロック端子に入力されてもよい。これにより例えば、状態検知回路としてフリップフロップ回路を好適に使用することが可能となる。
また、この第1の側面において、前記状態検知回路は、前記第1信号のレベルを検知してもよい。これにより例えば、複数の画素からの信号の状態を容易に検知することが可能となる。
また、この第1の側面において、前記状態検知回路は、ラッチ回路を含んでいてもよい。これにより例えば、複数の画素からの信号の状態を容易に検知することが可能となる。
また、この第1の側面において、前記状態検知回路はさらに、前記第1信号から得られた2つの信号のAND演算またはNAND演算を行うAND回路またはNAND回路を含み、前記AND演算または前記NAND演算の結果を示す信号を前記ラッチ回路に入力してもよい。これにより例えば、状態検知回路としてラッチ回路を好適に使用することが可能となる。
また、この第1の側面において、前記論理演算回路は、前記複数の第2信号に基づいて前記複数の第3信号を生成する複数のトランジスタを含んでいてもよい。これにより、第2信号に応じて変化する第3信号を生成することが可能となる。
また、この第1の側面において、前記第2信号は、前記トランジスタの制御端子に入力され、前記第3信号は、前記トランジスタの主端子(例:MOSトランジスタのドレイン端子またはソース端子)から出力されてもよい。これにより、第2信号に応じて変化する第3信号を容易に生成することが可能となる。
また、この第1の側面において、前記第4信号は、前記複数の第2信号または前記複数の第3信号のAND演算、OR演算、NAND演算、またはNOR演算の結果を含んでいてもよい。これにより例えば、複数の画素からの信号を1つの信号に集約することが可能となる。
また、この第1の側面において、前記論理演算回路は、ワイヤードAND回路、ワイヤードOR回路、ワイヤードNAND回路、またはワイヤードNOR回路を含んでいてもよい。これにより例えば、複数の画素からの信号を、簡単な回路構成で1つの信号に集約することが可能となる。
また、この第1の側面において、前記論理演算回路は、ANDゲート、ORゲート、NANDゲート、およびNORゲートの少なくともいずれかを含んでいてもよい。これにより例えば、複数の画素からの信号を、論理ゲートにより1つの信号に集約することが可能となる。
本開示の第2の側面の測距システムは、光を被写体に照射する発光装置と、前記被写体から反射した光を受光する受光装置と、前記受光装置により受光された光に基づいて、前記被写体との距離を測定する測距装置とを備え、前記受光装置は、前記被写体から反射した前記光を受光するAPD(Avalanche Photodiode)を含む複数の画素と、前記複数の画素から出力された複数の第1信号の状態を検知し、前記複数の第1信号の状態の検知結果を含む複数の第2信号を生成する複数の状態検知回路と、前記複数の第2信号または前記複数の第2信号に応じて変化する複数の第3信号の論理演算を行い、前記論理演算の結果を含む第4信号を生成する論理演算回路と、前記第4信号に基づいて、前記複数の第1信号に関する値をカウントするカウンタとを備え、前記状態検知回路の各々は、前記第4信号を入力する入力端子を有し、前記入力端子に入力された前記第4信号に基づいて、前記状態検知回路の各々への前記第1信号の入力を無効にする。これにより例えば、状態検知回路の動作を第4信号により制御することで、複数の画素からの信号に関する値を1つのカウンタで高精度にカウントすることが可能となる。
第1実施形態の測距システムの構成を示すブロック図である。 第1実施形態の撮像部の構成を示すブロック図である。 第1実施形態の撮像部の構成を示す斜視図である。 第1実施形態のAPDセンサの構成を示す回路図である。 第1実施形態のAPDセンサの動作例を示すタイミングチャートである。 第1実施形態の比較例のAPDセンサの構成を示す回路図である。 上記の比較例のAPDセンサの動作例を示すタイミングチャートである。 第1実施形態のAPDセンサと上記の比較例のAPDセンサとを比較するためのグラフである。 第2実施形態のAPDセンサの構成を示す回路図である。 第3実施形態のAPDセンサの構成を示す回路図である。 第4実施形態のAPDセンサの構成を示す回路図である。 第4実施形態の状態検知回路の構成例を示す回路図である。 第4実施形態の状態検知回路の別の構成例を示す回路図である。 第5実施形態のAPDセンサの構成を示す回路図である。 第6実施形態のAPDセンサの構成を示す回路図である。 第7実施形態のAPDセンサの構成を示す回路図である。 電子機器の構成例を示すブロック図である。 移動体制御システムの構成例を示すブロック図である。 図18の撮像部の設定位置の具体例を示す平面図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びCCUの機能構成の一例を示すブロック図である。
以下、本開示の実施形態を、図面を参照して説明する。
(第1実施形態)
図1は、第1実施形態の測距システムの構成を示すブロック図である。図1の測距システムは、発光装置1と、受光装置2と、制御装置3とを備えている。制御装置3は、本開示の測距装置の例である。
発光装置1は、光を発生させる複数の発光素子を備えており、これらの発光素子からの光を被写体Pに照射する。受光装置2は、被写体Pから反射した光を受光する。制御装置3は、図1の測距システムの種々の動作を制御し、例えば、受光装置2により受光された光に基づいて、被写体Pとの距離を測定する。図1の測距システムは、例えば人間が手を用いて行うジェスチャーを認識するために使用されるが、それ以外の用途(例えば人間の顔の認証)に使用されてもよい。
発光装置1は、光源駆動部11と、光源12と、コリメートレンズ13とを備えており、受光装置2の要求によってさらに回折光学素子14を備えていることもある。受光装置2は、レンズユニット21と、撮像部22と、撮像信号処理部23とを備えている。制御装置3は、測距部31を備えている。
光源駆動部11は、光源12を駆動して、光源12から光を発生させる。光源12は、上述の複数の発光素子を備えている。本実施形態の光源駆動部11は、これらの発光素子を駆動して、これらの発光素子から光を発生させる。本実施形態の各発光素子は例えば、VCSEL(Vertical Cavity Surface Emitting Laser)構造を有しており、レーザー光を発生させる。光源12から発生する光は、例えば可視光または赤外線である。
コリメートレンズ13は、光源12からの光をコリメートする。これにより、光源12からの光が、平行光に成形されて、回折光学素子14へと出射される。回折光学素子14は、コリメートレンズ13からの平行光を回折させる。これにより、コリメートレンズ13からの平行光が、所望のパターン形状を有する光に成形されて、発光装置1から出射される。発光装置1は、この所望のパターン形状を有する光(照射光)を、被写体Pに照射する。被写体Pに投影されたパターンは、投影像とも呼ばれる。被写体Pに照射された光は、被写体Pで反射して受光装置2により受光される。
レンズユニット21は、複数のレンズを備えており、被写体Pから反射した光をこれらのレンズにより集光する。これらのレンズの各々は、光の反射を防止するための反射防止膜により被覆されている。この反射防止膜は、発光装置1から出射される光と同じ波長の光を透過するBPF(Band Pass Filter)として機能してもよい。
撮像部22は、レンズユニット21により集光された光を撮像し、撮像により得られた撮像信号を出力する。撮像部22は例えば、CCD(Charge Coupled Device)イメージセンサや、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの、固体撮像装置である。
撮像信号処理部23は、撮像部22から出力された撮像信号に対して、所定の信号処理を施す。例えば、撮像信号処理部23は、撮像部22により撮像された画像に対する種々の画像処理を行う。撮像信号処理部23は、上記の信号処理が施された撮像信号を、制御装置3に出力する。
制御装置3は、測距システムの種々の動作を制御するためのプロセッサ、メモリ、ストレージなどを備えており、例えば、測距システムにより行われる距離測定を測距部31により制御する。測距部31は例えば、光源駆動部11の動作を制御したり、撮像信号処理部23からの撮像信号に基づいて、測距システムと被写体Pとの間の距離を測定(算出)したりする。本実施形態の距離測定は、例えばToF方式により行われるが、その他の方式により行われてもよい。
図2は、第1実施形態の撮像部22の構成を示すブロック図である。
本実施形態の撮像部22は、複数の画素41を有する画素アレイ領域42と、制御回路43と、垂直選択回路44と、複数の画素アレイ外信号処理回路45と、水平選択回路46と、出力回路47と、複数の垂直信号線48と、水平信号線49とを備えている。本実施形態の撮像部22は、例えばSPADセンサである。
各画素41は、光電変換部として機能するフォトダイオードを備えている。フォトダイオードの例は、SPADなどのAPDである。
画素アレイ領域42は、2次元アレイ状に配置された複数の画素41を有している。画素アレイ領域42は、光を受光して光電変換を行い、光電変換により生成された信号電荷を出力する有効画素領域を含んでいる。
制御回路43は、垂直同期信号、水平同期信号、マスタクロックなどに基づいて、垂直選択回路44、画素アレイ外信号処理回路45、水平選択回路46などの動作の基準となる種々の信号を生成する。これらの信号は、例えばクロック信号や制御信号であり、垂直選択回路44、画素アレイ外信号処理回路45、水平選択回路46などに入力される。
垂直選択回路44および水平選択回路46は、画素アレイ領域42の各画素41から有効画素を設定する。垂直選択回路44および水平選択回路46はさらに、各画素41によって読み出された反応時間情報を、信号読み出し線48を通して画素アレイ外信号処理回路45に供給する。
画素アレイ外信号処理回路45は、画素41で得られた反応タイミング情報から距離算出を行う。
図3は、第1実施形態の撮像部22の構成を示す斜視図である。
本実施形態の撮像部22は、受光基板51とロジック基板52とを貼り合わせることで製造される。具体的には、本実施形態の撮像部22は、受光基板51用の半導体基板上に種々の層を形成し、ロジック基板52用の半導体基板上に種々の層を形成し、これらの半導体基板をこれらの層を介して貼り合わせ、貼り合わせ後にこれらの半導体基板を複数のチップに分割することで製造される。なお、これらの半導体基板のうちの少なくとも一方は、例えばチップの厚さを薄くするために、貼り合わせ後に除去または薄化されてもよい。また、これらの半導体基板のうちの少なくとも一方は、半導体基板以外の基板でもよい。図3では、受光基板51がロジック基板52上に配置されている。受光基板51とロジック基板52はそれぞれ、本開示の第1基板と第2基板の例である。
受光基板51は、上述の画素アレイ領域42を含んでいる。上述のように、画素アレイ領域42は、2次元アレイ状に配置された複数の画素41を有している。画素アレイ領域42は、レンズユニット21(図1を参照)により集光された光を受光する。撮像部22は、この光を撮像し、撮像により得られた撮像信号を撮像信号処理部23(図1を参照)に出力する。
ロジック基板52は、ロジックアレイ部53と、信号処理部54と、撮像制御部55とを含んでいる。ロジックアレイ部53は、上記複数の画素41に対応する複数のロジック回路を備えており、これらのロジック回路の各々は、対応する画素41から出力された信号を処理する。信号処理部54は、これらのロジック回路から出力された複数の信号を処理する。信号処理部54は例えば、これらの信号の論理演算を行ったり、これらの信号に含まれるパルスの個数をカウントしたりする。撮像制御部55は、撮像部22の種々の動作を制御する。撮像制御部55は例えば、図1に示す制御回路43、垂直選択回路44、画素アレイ外信号処理回路45、および水平選択回路46を備えている。
本実施形態では、ロジックアレイ部53が、おおむね画素アレイ領域42と対向する位置に配置されており、信号処理部54と撮像制御部55が、おおむね画素アレイ領域42と対向しない位置に配置されている。よって、ロジックアレイ部53の大部分は、図3において画素アレイ領域42と上下方向に重なる位置に配置されており、信号処理部54と撮像制御部55の大部分は、図3において画素アレイ領域42と上下方向に重ならない位置に配置されている。
本実施形態の撮像部22は、後述するように、複数の状態検知回路61と、論理演算回路62と、TDC(Time to Digital Counter)63とを備えている(図4を参照)。これらの状態検知回路61は例えば、ロジックアレイ部53内に配置されており、画素アレイ領域42と対向する位置に配置されている。一方、TDC63は例えば、信号処理部54内に配置されており、画素アレイ領域42と対向しない位置に配置されている。論理演算回路62は、ロジックアレイ部53内と信号処理部54内のいずれに配置されていてもよいし、画素アレイ領域42と対向する位置と画素アレイ領域42と対向しない位置のいずれに配置されていてもよい。また、論理演算回路62は、ロジックアレイ部53と信号処理部54とにまたがって配置されていてもよいし、画素アレイ領域42と対向する位置と画素アレイ領域42と対向しない位置とにまたがって配置されていてもよい。なお、TDC63は、信号処理部54内の代わりに画素アレイ領域42内に配置されていてもよい。状態検知回路61、論理演算回路62、およびTDC63のさらなる詳細については、後述する。
なお、図1に示す撮像信号処理部23は、ロジック基板52に含まれていてもよく、例えば、信号処理部54または撮像制御部55に含まれていてもよい。
図4は、第1実施形態のAPDセンサの構成を示す回路図である。
本実施形態の撮像部22は、図4に示す構成のAPDセンサを備えている。本実施形態のAPDセンサは、図4に示すように、複数の画素41と、複数の状態検知回路61と、論理演算回路62と、TDC63とを備えている。各画素41は、APD41aと、電流源41bと、インバータ41cとを含んでいる。各状態検知回路61は、DFF(Dフリップフロップ)回路61aを含んでいる。図4は、DFF回路61aのCLK(クロック)端子、D端子、Q端子、QB(/Q)端子、S(セット)端子、およびR(リセット)端子を示している。論理演算回路62は、複数のトランジスタ62aと、ワイヤードNOR回路62bと、NOTゲート62cとを含んでおり、ワイヤードNOR回路62bは、トランジスタ62dを含んでいる。TDC63は、本開示のカウンタの例である。
図4は、本実施形態のAPDセンサに含まれる複数の画素41の例として、2つの画素41を示している。各画素41では、APD41aのカソードが、電流源41bおよびインバータ41cと電気的に接続されており、インバータ41cを介して、対応する状態検知回路61と電気的に接続されている。なお、本実施形態のAPDセンサに含まれる画素41の個数は、2つ以外でもよい。
APD41aは、レンズユニット21(図1)により集光された光を受光して光電変換を行い、光電変換により生成された信号電荷を出力する。本実施形態のAPD41aは、例えばSPADであり、降伏電圧よりも高い電圧が印加された状態(ガイガーモード)でPN接合部に1個の光子を受光すると、アバランシェ増幅を発生させる。これにより、APD41aに瞬間的に電流が流れる。その結果、パルスを含む信号が、各画素41から、対応する状態検知回路61に出力される。図4は、2つの画素41の一方から出力された信号S1Aと、2つの画素41の他方から出力された信号S1Bとを示している。これらの信号S1A、S1Bは、第1信号の例である。なお、APD41aは、SPAD以外のフォトダイオードでもよい。
電流源41bとインバータ41cは、各画素41の読出回路として機能する。電流源41bは、APD41aに一定の電流を供給して、APD41aを充電する。インバータ41cは、APD41aからの信号を反転および増幅して、対応する状態検知回路61に信号S1A(またはS1B)を出力する。
本実施形態のAPDセンサは、画素41の個数と同じ個数の状態検知回路61を含んでいる。よって、図4は、本実施形態のAPDセンサに含まれる複数の状態検知回路61の例として、2つの状態検知回路61を示している。各状態検知回路61では、DFF回路61aのCLK端子が、対応する画素41と電気的に接続されており、DFF回路61aのQ端子やR端子が、論理演算回路62と電気的に接続されている。DFF回路61aは、本開示のフリップフロップ回路の例であり、R端子は、本開示の入力端子の例である。
各状態検知回路61は、対応する画素41から出力された信号S1A(またはS1B)の状態を検知し、信号S1A(またはS1B)の状態の検知結果を含む信号S2A(またはS2B)を生成する。図4は、2つの状態検知回路61の一方から出力された信号S2Aと、2つの状態検知回路61の他方から出力された信号S2Bとを示している。これらの信号S2A、S2Bは、第2信号の例である。
信号S1Aは、一方のDFF回路61aのCLK端子に入力される。このDFF回路61aは、信号S1Aのエッジを検知し、信号S1Aのエッジの検知結果を含む信号S2Aを生成する。例えば、信号S1Aの値が論理0から論理1に立ち上がると、信号2Aの値が論理0および論理1の一方から他方に変化する。信号2Aは、このDFF回路61aのQ端子から出力される。これは、信号S1Bについても同様である。具体的には、他方のDFF回路61aは、信号S1Bのエッジを検知し、信号S1Bのエッジの検知結果を含む信号S2Bを生成する。
本実施形態の論理演算回路62は、画素41の個数と同じ個数のトランジスタ62aを含んでいる。よって、図4は、本実施形態の論理演算回路62に含まれる複数のトランジスタ62aの例として、2つのトランジスタ62aを示している。各トランジスタ62aは、例えばMOSトランジスタであり、各トランジスタ62aのゲート端子が、対応する状態検知回路61のQ端子に電気的に接続されている。また、各トランジスタ62aのソース端子およびドレイン端子の一方は、ワイヤードNOR回路62bに電気的に接続されており、各トランジスタ62aのソース端子およびドレイン端子の他方は、グランド配線に電気的に接続されている。ゲート端子は、本開示の制御端子の例であり、ソース端子またはドレイン端子は、本開示の主端子の例である。本実施形態の各トランジスタ62aは、nMOSであるが、pMOSとしてもよい。
信号S2Aは、一方のトランジスタ62aのゲート端子に入力される。このトランジスタ62aは、所定の値を有する信号S2Aがゲート端子に入力されると、ドレイン端子からドレイン電流を出力する。その結果、信号S2Aに応じて変化する信号S3Aが、このトランジスタ62aのソース端子またはドレイン端子から、ワイヤードNOR回路62bに出力される。これは、信号S2Bについても同様である。具体的には、信号S2Bに応じて変化する信号S3Bが、他方のトランジスタ62aのソース端子またはドレイン端子から、ワイヤードNOR回路62bに出力される。これらの信号S3A、S3Bは、第3信号の例である。
ワイヤードNOR回路62bは、これらのトランジスタ62aとNOTゲート62cとを電気的に接続する配線と、この配線と電源配線との間に配置されたトランジスタ62dとを含んでいる。トランジスタ62dは、例えばMOSトランジスタであり、トランジスタ62dのゲート端子が、グランド配線に電気的に接続されている。また、トランジスタ62dのソース端子およびドレイン端子の一方は、電源配線に電気的に接続されており、トランジスタ62dのソース端子およびドレイン端子の他方は、各トランジスタ62aやNOTゲート62cに電気的に接続されている。本実施形態のトランジスタ62dは、ゲート端子がグランド配線に電気的に接続されたpMOSであるが、ゲート端子が電源配線に電気的に接続されたnMOSとしてもよい。
ワイヤードNOR回路62bは、信号S3Aと信号S3Bとの論理演算を行い、この論理演算の結果を含む信号S4を生成する。ワイヤードNOR回路62bは、信号S3Aと信号S3BとのNOR演算を行うことから、信号S4は、このNOR演算の結果を含んでいる。信号S4は、ワイヤードNOR回路62bからNOTゲート62cに出力される。信号S4は、本開示の第4信号の例である。
本実施形態によれば、ワイヤードNOR回路62bを用いることで、信号S3Aと信号S3Bとを信号S4に集約することが可能となる。一般に、ワイヤードNOR回路62bは、NORゲートに比べて、簡単な回路構成で実現することができる。よって、本実施形態によれば、ワイヤードNOR回路62bを用いることで、信号S3Aと信号S3Bとを簡単な回路構成で信号S4に集約することが可能となる。なお、本実施形態の論理演算回路62は、ワイヤードNOR回路62bの代わりに、ワイヤードAND回路、ワイヤードOR回路、またはワイヤードNAND回路を含んでいてもよい。
上述のように、本実施形態のトランジスタ62aはnMOSであり、本実施形態のトランジスタ62dはpMOSである。一般に、nMOSの駆動力はpMOSの駆動力よりも高い。よって、本実施形態によれば、ワイヤードNOR回路62bの上流にあるトランジスタ62aをnMOSとし、ワイヤードNOR回路62bの負荷となるトランジスタ62dをpMOSとすることで、ワイヤードNOR回路62bの面積を小さくしつつ、ワイヤードNOR回路62bの動作を高速化することが可能となる。一般に、ワイヤードNOR回路62bは、負荷容量が大きいことが多く、動作が遅いことが多い。しかしながら、本実施形態によれば、上記のように、ワイヤードNOR回路62bの動作を高速化することが可能となる。これにより、信号S3A、S3Bの遅延時間のばらつきを小さくすることが可能となり、距離測定の誤差を小さくすることが可能となる。
NOTゲート62cは、信号S4のNOT演算を行い、このNOT演算の結果を含む信号S5を生成する。よって、ワイヤードNOR回路62bとNOTゲート62cは、信号S3Aと信号S3BとのOR演算を行い、このOR演算の結果を含む信号S5を生成するOR回路として機能する。NOTゲート62cは、インバータとも呼ばれる。信号S5は、NOTゲート62cからTDC63に出力される。信号S5も、本開示の第4信号の例である。
本実施形態のAPDセンサは、複数の画素41に対応する1つのTDC63を含んでいる。よって、図4は、2つの画素41に対応する1つのTDC63を示している。TDC63は、NOTゲート62cに電気的に接続されている。
TDC63は、信号S5に関する値をカウントすることにより、信号S1Aおよび信号S1Bに関する値をカウントすることができる。具体的には、TDC63は、所定のタイミングから、信号S5の値が論理0から論理1に変化するタイミングまでの時間をカウントし、カウントした時間をデジタル値として出力する。これにより、TDC63は、信号S1Aの値が論理0から論理1に変化する時間と、信号S1Bの値が論理0から論理1に変化する時間とをカウントすることができる。よって、TDC63は、本実施形態のAPDセンサの各画素41が1個の光子を受光した時間をカウントすることができる。本実施形態の測距システムは、TDC63から出力されたデジタル値に基づいて、被写体P(図1)との距離を測定する。なお、TDC63は、TDC63以外のカウンタに置き換えてもよい。
本実施形態のTDC63は、信号S5を取り扱うことで、信号S1Aが示す光子の受光時間と、信号S1Bが示す光子の受光時間とをカウントすることができる。これにより、複数の画素41からの信号S1A、S1Bを、1つのTDC63で取り扱うことが可能となり、図1に示す撮像部22や受光装置2を小型化することが可能となる。
しかしながら、信号S1A、S1Bを1つのTDC63で取り扱う場合には、信号S1Aの変化と信号S1Bの変化とによるパルス幅が、TDC63の正常動作を担保可能な最小パルス幅を満たせない可能性がある。例えば、信号S1Aの値と信号S1Bの値が、同じタイミングまたは近いタイミングで論理0から論理1に変化すると、TDC63は、これらの変化によるパルスが連続した信号が入力されることにより、本来と異なるタイミング値を取得する誤動作を生じる可能性がある。
そこで、本実施形態のAPDセンサは、このようなエラーの発生を抑制するために、信号S4を各状態検知回路61にフィードバックする。フィードバックされた信号S4は、各DFF回路61aのR端子に入力される。これにより、各DFF回路61aの非同期リセットが行われる。
以下、引き続き図4を参照し、各DFF回路61aのR端子のさらなる詳細について説明する。
各DFF回路61aは、R端子に入力された信号S4の値が論理1から論理0に変化すると、リセットされる。具体的には、あるDFF回路61aがリセットされると、そのDFF回路61aのQ端子から出力される信号S2A(またはS2B)の値が、論理0にリセットされる。例えば、リセット前の当該値が論理1の場合には、リセット後の当該値は論理1から論理0に変化する。一方、リセット前の当該値が論理0の場合には、リセット後の当該値は論理0に維持される。
信号S2A、S2Bの値が共に論理0の場合には、信号S3A、S3Bの値は共に論理0となり、信号S4の値は、信号S3Aと信号S3BとのNOR演算の結果である論理1となる。この場合、図4に示すいずれかの画素41が光子を受光すると、信号S1Aまたは信号S1Bの値が論理1に変化し、信号S2Aまたは信号S2Bの値が論理1に変化する。その結果、信号S3Aまたは信号S3Bの値が論理1に変化し、信号S4の値が論理0に変化する。
このように、図4に示すいずれかの画素41が光子を受光すると、信号S4の値が論理0に変化する。その結果、各DFF回路61aがリセットされ、信号S2A、S2Bの値が共に論理0となる。そのため、本実施形態のAPDセンサでは、図4に示すいずれかの画素41が光子を受光すると、各DFF回路61aが信号S4の伝搬遅延時間および各DFF回路61aのリセット伝搬遅延時間の間でリセットされる。これにより、本実施形態のAPDセンサは、図4に示すいずれかの画素41が光子を受光すると、次の光子を検知可能な状態に所定時間のリセット期間後に復帰することができる。
本実施形態では、各DFF回路61aがリセットされると、所定期間に信号S1Aまたは信号S1Bの値が新たに論理0から論理1に変化しても、信号S2A、S2Bの値が共に論理0に維持される。これにより、TDC63がある光子の受光時間をデジタル値に変換している間に発生した受光によるTDC63の誤動作を防ぐことができる。よって、本実施形態によれば、信号S1Aの値と信号S1Bの値が、近いタイミングで論理0から論理1に変化しても、上述のようなエラーが発生することを抑制することが可能となる。
このように、本実施形態のAPDセンサは、各DFF回路61aを信号S4によりリセットすることで、各DFF回路61aへの信号S1A(またはS1B)の入力を無効にすることができる。すなわち、信号S1A、S1Bの値にかかわらず、信号S2A、S2Bの値を共に論理0にすることができる。
仮に各DFF回路61aのR端子に信号S4を入力しない場合には、信号S1Aの値と信号S1Bの値が近いタイミングで論理0から論理1に変化すると、信号S2Aの値が論理1から論理0に遷移した直後に、信号S2Bの値が論理0が論理1に遷移する可能性が高くなる。この場合、信号S3A、S3Bのそれぞれの値が変化する時間間隔が短くなり、信号S4に短時間に論理値がトグルし、信号S5にTDC63の最小許容パルス幅未満の幅のグリッチを持つ信号が現れる。TDC63がこのような信号S5を受信すると、正常動作が担保されないため誤った受光時間情報を得るというエラーが発生してしまう。一方、本実施形態によれば、各DFF回路61aのR端子に信号S4を入力することで、このようなエラーの発生を抑制することが可能となる。
なお、本実施形態の各DFF回路61aは、信号S4が論理1から論理0に変化した場合にリセットされる負論理ではなく、信号S4が論理0から論理1に変化した場合にリセットされる正論理を採用していてもよい。また、本実施形態のAPDセンサは、信号S4を、各DFF回路61aのR端子の代わりに、各DFF回路61のS端子に入力してもよい。これらの場合にも、上述のようなエラーの発生を抑制可能なAPDセンサを実現することができる。
図5は、第1実施形態のAPDセンサの動作例を示すタイミングチャートである。図5は、図4に示す信号S1A、S1B、S4、S5の時間変化を示している。
矢印E1で示すように、一方の画素41が光子を受光すると、信号S1Aの値が論理0から論理1に変化し、信号S4の値が論理1から論理0に変化する。さらには、信号S5の値が論理0から論理1に変化する(矢印E3)。信号S4の値が論理1から論理0に変化すると、上述のように各DFF回路61aがリセットされる。その結果、所定期間に信号S1Aおよび/または信号S1Bの値が新たに論理0から論理1に変化しても、信号S2A、S2Bの値が共に論理0に維持される。矢印E1の変化から時間W1後に、信号S4の値は論理0から論理1へと戻る。さらには、矢印E3の変化から時間W3後に、信号S5の値は論理1から論理0へと戻る。これにより、TDC63がある光子の受光時間をデジタル値に変換している間に発生した受光によるTDC63の誤動作を防ぐことができる。
矢印E2で示すように、その後に他方の画素41が光子を受光すると、信号S1Bの値が論理0から論理1に変化し、信号S4の値が論理1から論理0に変化する。さらには、信号S5の値が論理0から論理1に変化する(矢印E4)。信号S4の値が論理1から論理0に変化すると、上述のように各DFF回路61aがリセットされる。その結果、所定期間に信号S1Aおよび/または信号S1Bの値が新たに論理0から論理1に変化しても、信号S2A、S2Bの値が共に論理0に維持される。矢印E2の変化から時間W2後に、信号S4の値は論理0から論理1へと戻る。さらには、矢印E4の変化から時間W4後に、信号S5の値は論理1から論理0へと戻る。これにより、TDC63がある光子の受光時間をデジタル値に変換している間に発生した受光によるTDC63の誤動作を防ぐことができる。
なお、図5に示す信号S1Bは、2つのパルスを含んでいる。信号S1Bの1つ目のパルスは、信号S4が論理0の間に生じていることから、TDC63が検知することができない。一方、信号S1Bの2つ目のパルスは、信号S4が論理1に戻った後に生じていることから、TDC63が検知することができる。このように、本実施形態のAPDセンサは、リセット開始から時間W1(またはW2)を経過する前に受光された光子は検知することができないが、リセット開始から時間W1(またはW2)を経過した後に受光された光子は検知することができる。本実施形態によれば、時間W1や時間W2を短くすることで、上述のようなエラーが発生する可能性を低減することができる。時間W1や時間W2は、各DFF回路61aへの信号S1A(またはS1B)の入力が無効になる入力無効期間に相当する。
図6は、第1実施形態の比較例のAPDセンサの構成を示す回路図である。
本比較例のAPDセンサは、図6に示すように、複数の画素41と、複数の状態検知回路61’と、論理演算回路62’と、TDC63とを備えている。本比較例の画素41およびTDC63はそれぞれ、第1実施形態の画素41およびTDC63と同じ構成を有している。一方、本比較例の状態検知回路61’および論理演算回路62’はそれぞれ、第1実施形態の状態検知回路61および論理演算回路62とは異なる構成を有している。本比較例の画素41と、状態検知回路61’と、論理演算回路62’はそれぞれ、信号S1A、S1Bと、信号S6A、S6Bと、信号S7とを出力する。
本比較例の各状態検知回路61’は例えば、第1実施形態の各状態検知回路61と同じDFF回路61aを含んでいるが、各状態検知回路61のR端子に信号S4が入力されない。また、本比較例の論理演算回路62’は例えば、第1実施形態の論理演算回路62と同じトランジスタ62a、ワイヤードNOR回路62b、およびNOTゲート62cを含んでいるが、信号S4の代わりに信号S6A、S6Bをそれぞれ一方および他方の状態検知回路61のR端子に入力する。この場合、本比較例の信号S6A、S6B、S7はそれぞれ、第1実施形態の信号S2A、S2B、S5に対応している。以下、この場合のタイミングチャートを、図7を参照して説明する。
図7は、上記の比較例のAPDセンサの動作例を示すタイミングチャートである。図7は、図6に示す信号S1A、S1B、S6A、S6B、S7の時間変化を示している。
矢印P1で示すように、一方および他方の画素41が近いタイミングで光子を受光すると、信号S1A、S1Bの値が論理0から論理1に変化し、信号S6A、S6Bの値が論理0から論理1に変化し、信号S7に2つのパルスが発生する。信号S6A、S6Bの値はそれぞれ信号S6A、S6Bのフィードバックによりリセットされることから、信号S6A、S6Bのパルスは、短いパルス幅を有している。矢印P1で示す信号S7の2つのパルスは、1つに結合していないものの、互いに近接している。そのため、これらのパルスのパルス幅が、TDC63の正常動作に必要な最短パルス幅未満になり、TDC63が誤った時間を計測する誤動作が発生するおそれがある。
矢印P2で示すように、その後に一方および他方の画素41が近いタイミングで光子を受光すると、信号S1A、S1Bの値が論理0から論理1に変化し、信号S6A、S6Bの値が論理0から論理1に変化し、信号S7に再び2つのパルスが発生する。矢印P2で示す信号S7の2つのパルスは、1つに結合している。そのため、TDC63がこれらのパルスを区別できないが、誤った時間の誤検出は発生しない。
本比較例では、矢印P1で示すような2つのパルスの近接や、矢印P2で示すような2つのパルスの結合を、防ぐことができない。よって、本比較例のAPDセンサが短期間に複数の光子を受光すると、上述のような誤作動が頻発するおそれがある。一方、第1実施形態によれば、各DFF回路61aを信号S4によりリセットすることで、上述のような誤作動が発生する可能性を低減することが可能となる。
図8は、第1実施形態のAPDセンサと上記の比較例のAPDセンサとを比較するためのグラフである。
図8の横軸は、すべての光子が正しくカウントされる場合のカウントレート(理想カウントレート)を示している。図8の縦軸は、一部の光子が正しくカウントされない可能性がある現実のカウントレート(出力カウントレート)を示している。図8は、これらのカウントレートが常に一致する理想的なAPDセンサと、第1実施形態のAPDセンサと、比較例のAPDセンサとについて、理想カウントレートと出力カウントレートとの関係を示している。
図8によれば、理想カウントレートの値が高くなると連続してTDC63が検出できるパルス間隔が広くなる場合、比較例にあるように出力カウント値の減少量が大きくなる。一方、第1実施形態によれば、比較例では発生しうる誤検出を抑制しつつ、理想カウントレートの値が高くなっても、理想カウントレートの値との乖離を小さくすることができる。よって、本実施形態によれば、理想カウントレートの値が高くなっても、多くの光子を正しくカウントすることができる。
以上のように、本実施形態のAPDセンサは、論理演算回路62から状態検知回路61に信号S4をフィードバックすることで、状態検知回路61への信号S1A、S1Bの入力を無効にする。よって、本実施形態によれば、複数の画素41からの信号S1A、S1Bに関する値を、1つのTDC63で高精度にカウントすることが可能となる。
なお、本実施形態の状態検知回路61は、画素41と1対1で対応しているため、図3を参照して説明したように、画素アレイ領域42と対向する位置に配置することが望ましい。一方、本実施形態のTDC63は、画素41と1対1で対応していないため、画素アレイ領域42と対向しない位置に配置することが望ましい。論理演算回路62は、画素アレイ領域42と対向する位置と画素アレイ領域42と対向しない位置のいずれに配置してもよい。例えば、論理演算回路62は、画素アレイ領域42と対向する位置と画素アレイ領域42と対向しない位置とにまたがって配置してもよい。この場合、論理演算回路62のトランジスタ62aは、画素41と1対1で対応しているため、画素アレイ領域42と対向する位置に配置してもよい。なお、TDC63は、信号処理部54内の代わりに画素アレイ領域42内に配置されていてもよい。
以下、第2から第7実施形態のAPDセンサについて説明する。これらのAPDセンサは、第1実施形態のAPDセンサと同様に、図1の撮像部22に含まれている。第2から第7実施形態のAPDセンサについては、第1実施形態のAPDセンサとの相違点を中心に説明し、第1実施形態のAPDセンサとの共通点の説明は適宜省略する。
(第2実施形態)
図9は、第2実施形態のAPDセンサの構成を示す回路図である。
本実施形態のAPDセンサは、4つの画素41と、4つの状態検知回路61と、論理演算回路62と、TDC63とを備えている。本実施形態の画素41、状態検知回路61、およびTDC63の構成はそれぞれ、第1実施形態の画素41、状態検知回路61、およびTDC63の構成と同じである。図9は、画素41から信号S1A、S1Bと同様に出力される信号S1C、S1Dと、状態検知回路61から信号S2A、S2Bと同様に出力される信号S2C、S2Dとを示している。
本実施形態の論理演算回路62は、4つのトランジスタ62aと、ワイヤードNOR回路62bと、NOTゲート62cとを含んでおり、このワイヤードNOR回路62bは、トランジスタ62dを含んでいる。本実施形態のトランジスタ62a、NOTゲート62c、およびトランジスタ62dの構成はそれぞれ、第1実施形態のトランジスタ62a、NOTゲート62c、およびトランジスタ62dの構成と同じである。図9は、トランジスタ62aから信号S3A、S3Bと同様に出力される信号S3C、S3Dと、NOTゲート62cから出力される信号S5とを示している。
本実施形態のワイヤードNOR回路62bは、4つのトランジスタ62aとNOTゲート62cとを電気的に接続する配線と、この配線と電源配線との間に配置されたトランジスタ62dとを含んでいる。このワイヤードNOR回路62bは、信号S3A、信号S3B、信号S3C、および信号S3Dの論理演算を行い、この論理演算の結果を含む信号S4を生成する。このワイヤードNOR回路62bは、信号S3A~S3DのNOR演算を行うため、信号S4は、このNOR演算の結果を含んでいる。信号S4は、ワイヤードNOR回路62bからNOTゲート62cや各DFF回路61aのR端子に出力される。
本実施形態によれば、ワイヤードNOR回路62bを用いることで、信号S3A~S3Dを信号S4に集約することが可能となる。一般に、ワイヤードNOR回路62bは、NORゲートに比べて、簡単な回路構成で実現することができる。よって、本実施形態によれば、ワイヤードNOR回路62bを用いることで、信号S3A~S3Dを簡単な回路構成で信号S4に集約することが可能となる。なお、本実施形態のワイヤードNOR回路62bは、4つの信号S3A~S3Dを信号S4に集約しているが、3つの信号または5つ以上の信号を信号S4に集約してもよい。また、本実施形態の論理演算回路62は、ワイヤードNOR回路62bの代わりに、ワイヤードAND回路、ワイヤードOR回路、またはワイヤードNAND回路を含んでいてもよい。
(第3実施形態)
図10は、第3実施形態のAPDセンサの構成を示す回路図である。
本実施形態の各APD41aは、インバータ41cの代わりにバッファ41dを備えている。また、本実施形態の各画素41では、APD41aのカソードの代わりに、APD41aのアノードが、電流源41bおよびバッファ41dと電気的に接続されており、バッファ41dを介して、対応する状態検知回路61と電気的に接続されている。バッファ41dは、APD41aからの信号を増幅して、対応する状態検知回路61に信号S1A(またはS1B)を出力する。
第1実施形態のようなAPD41aの配置と、本実施形態のようなAPD41aの配置は、種々の事情を考慮して、いずれを採用してもよい。例えば、本実施形態のようにAPD41aを配置すれば、撮像部22を容易に製造できる場合には、本実施形態のようなAPD41aの配置を採用してもよい。一方、第1実施形態のようにAPD41aを配置すれば、撮像部22の性能が向上する場合には、第1実施形態のようなAPD41aの配置を採用してもよい。
(第4実施形態)
図11は、第4実施形態のAPDセンサの構成を示す回路図である。
第1実施形態の各状態検知回路61は、信号S1A(またはS1B)のエッジを検知するDFF回路61aを含んでいるのに対し、本実施形態の各状態検知回路61は、信号S1A(またはS1B)のレベルを検知するラッチ回路を含んでいる。このようなラッチ回路の例を、図12および図13を参照して説明する。
図12は、第4実施形態の状態検知回路61の構成例を示す回路図である。
図12に示す状態検知回路61は、バッファ61b、61c、61dと、NOTゲート61e、ANDゲート61fと、Dラッチ回路61gとを含んでいる。信号S1A(またはS1B。以下同様)は、バッファ61bを介してANDゲート61fの一方の入力端子に入力されると共に、バッファ61b、61c、61dおよびNOTゲート61eを介してANDゲート61fの他方の入力端子に入力される。後者の入力端子に入力される信号は、前者の入力端子に入力される信号を遅延および反転させた信号となる。ANDゲート61fは、これらの信号のAND演算を行い、このAND演算の結果を含む信号を、ANDゲート61fの出力端子から出力する。ANDゲート61fは、信号S1A中のパルスよりもパルス幅の短いパルスを含む信号を出力端子から出力する。
Dラッチ回路61gは、ANDゲート61fからの信号を入力するE(イネーブル)端子と、状態検知回路61の出力信号である信号S2A(またはS2B。以下同様)を出力するQ端子と、Q端子の反転端子であるQB端子と、信号S4を入力するR端子とを有している。Dラッチ回路61gは、E端子に入力された信号のレベルを検知し、このレベルの検知結果を示す信号S2Aを出力する。例えば、ANDゲート61fからの信号の値(レベル)が論理1の場合には、信号S2Aの値は論理1となる。
上述のように、ANDゲート61fからDラッチ回路61gに入力される信号は、パルス幅の短いパルスを含んでいる。そのため、本実施形態のDラッチ回路61gによるレベルの検知結果は、第1実施形態のDFF回路61aによるエッジの検知結果と似た内容となる。よって、本実施形態によれば、第1実施形態のDFF回路61aから出力される信号S2Aと似た性質を有する信号2Aを、Dラッチ回路61gから出力することが可能となる。
図13は、第4実施形態の状態検知回路61の別の構成例を示す回路図である。
図13に示す状態検知回路61は、バッファ61b、61c、61dと、NOTゲート61eと、NANDゲート61iと、SRラッチ回路61hとを含んでいる。よって、図13に示す状態検知回路61は、図12に示す状態検知回路61のANDゲート62fおよびDラッチ回路61gをNANDゲート62iおよびSRラッチ回路61hに置き換えた構成を有している。信号S1Aは、バッファ61bを介してNANDゲート61iの一方の入力端子に入力されると共に、バッファ61b、61c、61dおよびNOTゲート61eを介してNANDゲート61iの他方の入力端子に入力される。後者の入力端子に入力される信号は、前者の入力端子に入力される信号を遅延および反転させた信号となる。NANDゲート61iは、これらの信号のNAND演算を行い、このNAND演算の結果を含む信号を、NANDゲート61iの出力端子から出力する。NANDゲート61iは、信号S1A中のパルスよりもパルス幅の短いパルスを含む信号を出力端子から出力する。
SRラッチ回路61hは、NANDゲート61iからの信号を入力するS端子と、状態検知回路61の出力信号である信号S2Aを出力するQ端子と、Q端子の反転端子であるQB端子と、信号S4を入力するR端子とを有している。SRラッチ回路61hは、S端子に入力された信号のレベルを検知し、このレベルの検知結果を示す信号S2Aを出力する。例えば、NANDゲート61iからの信号の値(レベル)が論理0の場合には、信号S2Aの値は論理1となる。
上述のように、NANDゲート61iからSRラッチ回路61hに入力される信号は、パルス幅の短いパルスを含んでいる。そのため、本実施形態のSRラッチ回路61hによるレベルの検知結果は、第1実施形態のDFF回路61aによるエッジの検知結果と似た内容となる。よって、本実施形態によれば、第1実施形態のDFF回路61aから出力される信号S2Aと似た性質を有する信号2Aを、SRラッチ回路61hから出力することが可能となる。
以上のように、本実施形態によれば、第1実施形態の状態検知回路61と同様の機能を有する状態検知回路61を、フロップフロップ回路の代わりにラッチ回路を使用して実現することが可能となる。
なお、本実施形態の信号S4は、Dラッチ回路61gのR端子の代わりに、Dラッチ回路61gのS端子に入力してもよい。また、本実施形態のSRラッチ回路61hは、NANDゲート61iからの信号をR端子で受信し、信号S4をS端子で受信してもよい。これらの場合にも、図13または図14に示す状態検知回路61と同様の機能を実現することが可能となる。
(第5実施形態)
図14は、第5実施形態のAPDセンサの構成を示す回路図である。
本実施形態のAPDセンサは、複数の画素41と、複数の状態検知回路61と、論理演算回路62と、TDC63とを備えている。本実施形態の画素41およびTDC63はそれぞれ、第1実施形態の画素41およびTDC63と同じ構成を有している。また、本実施形態の状態検知回路61は、第1または第4実施形態の状態検知回路61と同じ構成を有している。
本実施形態の論理演算回路62は、NORゲート62eと、NOTゲート62cとを含んでいる。NORゲート62eは、信号S2Aを入力する一方の入力端子と、信号S2Bを入力する他方の入力端子と、信号S2Aと信号S2BとのNOR演算の結果を含む信号S11を出力する出力端子とを有している。信号S11は、NOTゲート62cと、各状態検知回路61のR端子に入力される。NOTゲート62cは、信号S11のNOT演算の結果を含む信号S12を出力する。信号S12は、論理演算回路62からTDC63に出力される。信号S11と信号S12は、本開示の第4信号の例である。
本実施形態によれば、第1実施形態の論理演算回路62と同様の機能を有する論理演算回路62を、ワイヤードNOR回路62aの代わりにNORゲート62eを使用して実現することが可能となる。NORゲート62eを使用することには、ワイヤードNOR回路62aを使用する場合に比べて、例えば入力無効期間(時間W1、W2)を短くすることができるという利点がある。この効果は一般に、APDセンサの状態検知回路61の個数が多くなるほど大きくなる。
なお、本実施形態の論理演算回路62は、NORゲート62eの代わりに、ANDゲート、ORゲート、またはNANDゲートを含んでいてもよい。
(第6実施形態)
図15は、第6実施形態のAPDセンサの構成を示す回路図である。
本実施形態のAPDセンサは、4つの画素41と、4つの状態検知回路61と、論理演算回路62と、TDC63とを備えている。本実施形態の画素41およびTDC63はそれぞれ、第1または第2実施形態の画素41およびTDC63と同じ構成を有している。また、本実施形態の状態検知回路61は、第1、第2、または第4実施形態の状態検知回路61と同じ構成を有している。
本実施形態の論理演算回路62は、2つのNORゲート62fと、NANDゲート62gと、1つのNOTゲート62hとを含んでいる。一方のNORゲート62fは、信号S2Aを入力する一方の入力端子と、信号S2Bを入力する他方の入力端子と、信号S2Aと信号S2BとのNOR演算の結果を含む信号S13Aを出力する出力端子とを有している。他方のNORゲート62fは、信号S2Cを入力する一方の入力端子と、信号S2Dを入力する他方の入力端子と、信号S2Cと信号S2DとのNOR演算の結果を含む信号S13Bを出力する出力端子とを有している。NANDゲート62gは、信号S13Aを入力する一方の入力端子と、信号S13Bを入力する他方の入力端子と、信号S13Aと信号S13BとのNAND演算の結果を含む信号S14を出力する出力端子とを有している。NOTゲート62hは、信号S14を入力する入力端子と、信号S14のNOT演算の結果を含む信号S15を出力する出力端子とを有している。信号S14は、論理演算回路62からTDC63に出力され、信号S15は、各状態検知回路61のR端子に入力される。信号S13A、S13B、S14、S15は、本開示の第4信号の例である。
本実施形態によれば、第1実施形態の論理演算回路62と同様の機能を有する論理演算回路62を、論理ゲートの組合せを使用して実現することが可能となる。これにより、例えば第5実施形態の論理演算回路62と同様の効果を得ることが可能となる。
なお、本実施形態の一方のNORゲート62fと他方のNORゲート62fの少なくともいずれかは、ワイヤードNOR回路に置き換えてもよい。また、本実施形態のNANDゲート62gは、ワイヤードNAND回路に置き換えてもよい。このように、本実施形態の論理演算回路62は、ワイヤードAND回路、ワイヤードOR回路、ワイヤードNAND回路、およびワイヤードNOR回路の少なくともいずれかと、ANDゲート、ORゲート、NANDゲート、およびNORゲートの少なくともいずれかとを含んでいてもよい。
(第7実施形態)
図16は、第7実施形態のAPDセンサの構成を示す回路図である。
本実施形態のAPDセンサは、複数の画素41と、複数の状態検知回路61と、論理演算回路62と、TDC63とを備えている。本実施形態の画素41およびTDC63はそれぞれ、第1実施形態の画素41およびTDC63と同じ構成を有している。また、本実施形態の状態検知回路61は、第1または第4実施形態の状態検知回路61と同じ構成を有している。
本実施形態の論理演算回路62は、NANDゲート62iと、NOTゲート62cとを含んでいる。NANDゲート62iは、信号S2Aを入力する一方の入力端子と、信号S2Bを入力する他方の入力端子と、信号S2Aと信号S2BとのNAND演算の結果を含む信号S16を出力する出力端子とを有している。信号S16は、NOTゲート62cと、各状態検知回路61のR端子に入力される。NOTゲート62cは、信号S16のNOT演算の結果を含む信号S17を出力する。信号S17は、論理演算回路62からTDC63に出力される。信号S16と信号S17は、本開示の第4信号の例である。
本実施形態によれば、第1実施形態の論理演算回路62と同様の機能を有する論理演算回路62を、NORゲート以外の論理ゲートを使用して実現することが可能となる。これにより、例えば第5実施形態の論理演算回路62と同様の効果を得ることが可能となる。
なお、第1から第7実施形態の撮像部22は、測距システム内に設けられているが、測距システム以外のシステム内または装置内に設けられていてもよい。第1から第7実施形態の撮像部22は、例えば後述する応用例のような態様で使用されてもよい。
(応用例)
図17は、電子機器の構成例を示すブロック図である。図17に示す電気機器は、カメラ100である。
カメラ100は、レンズ群などを含む光学部101と、第1から第7実施形態のいずれかの撮像部22である撮像装置102と、カメラ信号処理回路であるDSP(Digital Signal Processor)回路103と、フレームメモリ104と、表示部105と、記録部106と、操作部107と、電源部108とを備えている。また、DSP回路103、フレームメモリ104、表示部105、記録部106、操作部107、および電源部108は、バスライン109を介して相互に接続されている。
光学部101は、被写体からの入射光(像光)を取り込んで、撮像装置102の撮像面上に結像する。撮像装置102は、光学部101により撮像面上に結像された入射光の光量を画素単位で電気信号に変換して、画素信号として出力する。
DSP回路103は、撮像装置102により出力された画素信号について信号処理を行う。フレームメモリ104は、撮像装置102で撮像された動画または静止画の1画面を記憶しておくためのメモリである。
表示部105は、例えば液晶パネルや有機ELパネルなどのパネル型表示装置を含んでおり、撮像装置102で撮像された動画または静止画を表示する。記録部106は、撮像装置102で撮像された動画または静止画を、ハードディスクや半導体メモリなどの記録媒体に記録する。
操作部107は、ユーザによる操作の下に、カメラ100が持つ様々な機能について操作指令を発する。電源部108は、DSP回路103、フレームメモリ104、表示部105、記録部106、および操作部107の動作電源となる各種の電源を、これらの供給対象に対して適宜供給する。
撮像装置102として、第1から第7実施形態のいずれかの撮像部22を使用することで、良好な画像の取得が期待できる。
当該固体撮像装置は、その他の様々な製品に応用することができる。例えば、当該固体撮像装置は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボットなどの種々の移動体に搭載されてもよい。
図18は、移動体制御システムの構成例を示すブロック図である。図18に示す移動体制御システムは、車両制御システム200である。
車両制御システム200は、通信ネットワーク201を介して接続された複数の電子制御ユニットを備える。図18に示した例では、車両制御システム200は、駆動系制御ユニット210と、ボディ系制御ユニット220と、車外情報検出ユニット230と、車内情報検出ユニット240と、統合制御ユニット250とを備えている。図18はさらに、統合制御ユニット250の構成部として、マイクロコンピュータ251と、音声画像出力部252と、車載ネットワークI/F(Interface)253とを示している。
駆動系制御ユニット210は、各種プログラムに従って、車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット210は、内燃機関や駆動用モータなどの車両の駆動力を発生させるための駆動力発生装置や、駆動力を車輪に伝達するための駆動力伝達機構や、車両の舵角を調節するステアリング機構や、車両の制動力を発生させる制動装置などの制御装置として機能する。
ボディ系制御ユニット220は、各種プログラムに従って、車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット220は、スマートキーシステム、キーレスエントリシステム、パワーウィンドウ装置、各種ランプ(例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー、フォグランプ)などの制御装置として機能する。この場合、ボディ系制御ユニット220には、鍵を代替する携帯機から発信される電波または各種スイッチの信号が入力され得る。ボディ系制御ユニット220は、このような電波または信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプなどを制御する。
車外情報検出ユニット230は、車両制御システム200を搭載した車両の外部の情報を検出する。車外情報検出ユニット230には、例えば撮像部231が接続される。車外情報検出ユニット230は、撮像部231に車外の画像を撮像させると共に、撮像された画像を撮像部231から受信する。車外情報検出ユニット230は、受信した画像に基づいて、人、車、障害物、標識、路面上の文字などの物体検出処理または距離検出処理を行ってもよい。
撮像部231は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部231は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。撮像部231が受光する光は、可視光であってもよいし、赤外線などの非可視光であってもよい。撮像部231は、第1から第7実施形態のいずれかの撮像部22を含んでいる。
車内情報検出ユニット240は、車両制御システム200を搭載した車両の内部の情報を検出する。車内情報検出ユニット240には例えば、運転者の状態を検出する運転者状態検出部241が接続される。例えば、運転者状態検出部241は、運転者を撮像するカメラを含み、車内情報検出ユニット240は、運転者状態検出部241から入力される検出情報に基づいて、運転者の疲労度合いまたは集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。このカメラは、第1から第7実施形態のいずれかの撮像部22を含んでいてもよく、例えば、図17に示すカメラ100でもよい。
マイクロコンピュータ251は、車外情報検出ユニット230または車内情報検出ユニット240で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構、または制動装置の制御目標値を演算し、駆動系制御ユニット210に対して制御指令を出力することができる。例えば、マイクロコンピュータ251は、車両の衝突回避、衝撃緩和、車間距離に基づく追従走行、車速維持走行、衝突警告、レーン逸脱警告などのADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ251は、車外情報検出ユニット230または車内情報検出ユニット240で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構、または制動装置を制御することにより、運転者の操作によらずに自律的に走行する自動運転などを目的とした協調制御を行うことができる。
また、マイクロコンピュータ251は、車外情報検出ユニット230で取得される車外の情報に基づいて、ボディ系制御ユニット220に対して制御指令を出力することができる。例えば、マイクロコンピュータ251は、車外情報検出ユニット230で検知した先行車または対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替えるなどの防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部252は、車両の搭乗者または車外に対して視覚的または聴覚的に情報を通知することが可能な出力装置に、音声および画像のうちの少なくとも一方の出力信号を送信する。図18の例では、このような出力装置として、オーディオスピーカ261、表示部262、およびインストルメントパネル263が示されている。表示部262は例えば、オンボードディスプレイまたはヘッドアップディスプレイを含んでいてもよい。
図19は、図18の撮像部231の設定位置の具体例を示す平面図である。
図19に示す車両300は、撮像部231として、撮像部301、302、303、304、305を備えている。撮像部301、302、303、304、305は例えば、車両300のフロントノーズ、サイドミラー、リアバンパ、バックドア、車室内のフロントガラスの上部などの位置に設けられる。
フロントノーズに備えられる撮像部301は、主として車両300の前方の画像を取得する。左のサイドミラーに備えられる撮像部302と、右のサイドミラーに備えられる撮像部303は、主として車両300の側方の画像を取得する。リアバンパまたはバックドアに備えられる撮像部304は、主として車両300の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部305は、主として車両300の前方の画像を取得する。撮像部305は例えば、先行車両、歩行者、障害物、信号機、交通標識、車線などの検出に用いられる。
図19は、撮像部301、302、303、304(以下「撮像部301~304」と表記する)の撮像範囲の例を示している。撮像範囲311は、フロントノーズに設けられた撮像部301の撮像範囲を示す。撮像範囲312は、左のサイドミラーに設けられた撮像部302の撮像範囲を示す。撮像範囲313は、右のサイドミラーに設けられた撮像部303の撮像範囲を示す。撮像範囲314は、リアバンパまたはバックドアに設けられた撮像部304の撮像範囲を示す。例えば、撮像部301~304で撮像された画像データが重ね合わせられることにより、車両300を上方から見た俯瞰画像が得られる。以下、撮像範囲311、312、313、314を「撮像範囲311~314」と表記する。
撮像部301~304の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部301~304の少なくとも1つは、複数の撮像装置を含むステレオカメラであってもよいし、位相差検出用の画素を有する撮像装置であってもよい。
例えば、マイクロコンピュータ251(図18)は、撮像部301~304から得られた距離情報を基に、撮像範囲311~314内における各立体物までの距離と、この距離の時間的変化(車両300に対する相対速度)を算出する。マイクロコンピュータ251は、これらの算出結果に基づいて、車両300の進行路上にある最も近い立体物で、車両300とほぼ同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を、先行車として抽出することができる。さらに、マイクロコンピュータ251は、先行車の手前にあらかじめ確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように、この例によれば、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ251は、撮像部301~304から得られた距離情報を基に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ251は、車両300の周辺の障害物を、車両300のドライバが視認可能な障害物と、視認困難な障害物とに識別する。そして、マイクロコンピュータ251は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ261や表示部262を介してドライバに警報を出力することや、駆動系制御ユニット210を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部301~304の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ251は、撮像部301~304の撮像画像中に歩行者が存在するか否かを判定することで、歩行者を認識することができる。かかる歩行者の認識は例えば、赤外線カメラとしての撮像部301~304の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順により行われる。マイクロコンピュータ251が、撮像部301~304の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部252は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部262を制御する。また、音声画像出力部252は、歩行者を示すアイコン等を所望の位置に表示するように表示部262を制御してもよい。
図20は、本開示に係る技術(本技術)が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
図20では、術者(医師)531が、内視鏡手術システム400を用いて、患者ベッド533上の患者532に手術を行っている様子が図示されている。図示するように、内視鏡手術システム400は、内視鏡500と、気腹チューブ511やエネルギー処置具512等の、その他の術具510と、内視鏡500を支持する支持アーム装置520と、内視鏡下手術のための各種の装置が搭載されたカート600と、から構成される。
内視鏡500は、先端から所定の長さの領域が患者532の体腔内に挿入される鏡筒501と、鏡筒501の基端に接続されるカメラヘッド502と、から構成される。図示する例では、硬性の鏡筒501を有するいわゆる硬性鏡として構成される内視鏡500を図示しているが、内視鏡500は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
鏡筒501の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡500には光源装置603が接続されており、当該光源装置603によって生成された光が、鏡筒501の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者532の体腔内の観察対象に向かって照射される。なお、内視鏡500は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド502の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU: Camera Control Unit)601に送信される。
CCU601は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡500及び表示装置602の動作を統括的に制御する。さらに、CCU601は、カメラヘッド502から画像信号を受け取り、その画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
表示装置602は、CCU601からの制御により、当該CCU601によって画像処理が施された画像信号に基づく画像を表示する。
光源装置603は、例えばLED(Light Emitting Diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡500に供給する。
入力装置604は、内視鏡手術システム11000に対する入力インタフェースである。ユーザは、入力装置604を介して、内視鏡手術システム400に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡500による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示等を入力する。
処置具制御装置605は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具512の駆動を制御する。気腹装置606は、内視鏡500による視野の確保及び術者の作業空間の確保の目的で、患者532の体腔を膨らめるために、気腹チューブ511を介して当該体腔内にガスを送り込む。レコーダ607は、手術に関する各種の情報を記録可能な装置である。プリンタ608は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
なお、内視鏡500に術部を撮影する際の照射光を供給する光源装置603は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置603において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド502の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置603は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド502の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置603は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置603は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
図21は、図20に示すカメラヘッド502及びCCU601の機能構成の一例を示すブロック図である。
カメラヘッド502は、レンズユニット701と、撮像部702と、駆動部703と、通信部704と、カメラヘッド制御部705と、を有する。CCU601は、通信部711と、画像処理部712と、制御部713と、を有する。カメラヘッド502とCCU601とは、伝送ケーブル700によって互いに通信可能に接続されている。
レンズユニット701は、鏡筒501との接続部に設けられる光学系である。鏡筒501の先端から取り込まれた観察光は、カメラヘッド502まで導光され、当該レンズユニット701に入射する。レンズユニット701は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
撮像部702は、撮像素子で構成される。撮像部702を構成する撮像素子は、1つ(いわゆる単板式)であってもよいし、複数(いわゆる多板式)であってもよい。撮像部702が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部702は、3D(Dimensional)表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者531は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部702が多板式で構成される場合には、各撮像素子に対応して、レンズユニット701も複数系統設けられ得る。撮像部702は、例えば第1から第7実施形態のいずれかの撮像部22である。
また、撮像部702は、必ずしもカメラヘッド502に設けられなくてもよい。例えば、撮像部702は、鏡筒501の内部に、対物レンズの直後に設けられてもよい。
駆動部703は、アクチュエータによって構成され、カメラヘッド制御部705からの制御により、レンズユニット701のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部702による撮像画像の倍率及び焦点が適宜調整され得る。
通信部704は、CCU601との間で各種の情報を送受信するための通信装置によって構成される。通信部704は、撮像部702から得た画像信号をRAWデータとして伝送ケーブル700を介してCCU601に送信する。
また、通信部704は、CCU601から、カメラヘッド502の駆動を制御するための制御信号を受信し、カメラヘッド制御部705に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてCCU601の制御部713によって自動的に設定されてもよい。後者の場合には、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡500に搭載されていることになる。
カメラヘッド制御部705は、通信部704を介して受信したCCU601からの制御信号に基づいて、カメラヘッド502の駆動を制御する。
通信部711は、カメラヘッド502との間で各種の情報を送受信するための通信装置によって構成される。通信部711は、カメラヘッド502から、伝送ケーブル700を介して送信される画像信号を受信する。
また、通信部711は、カメラヘッド502に対して、カメラヘッド502の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
画像処理部712は、カメラヘッド502から送信されたRAWデータである画像信号に対して各種の画像処理を施す。
制御部713は、内視鏡500による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部713は、カメラヘッド502の駆動を制御するための制御信号を生成する。
また、制御部713は、画像処理部712によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置602に表示させる。この際、制御部713は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部713は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具512の使用時のミスト等を認識することができる。制御部713は、表示装置602に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者531に提示されることにより、術者531の負担を軽減することや、術者531が確実に手術を進めることが可能になる。
カメラヘッド502及びCCU601を接続する伝送ケーブル700は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル700を用いて有線で通信が行われていたが、カメラヘッド502とCCU601との間の通信は無線で行われてもよい。
以上、本開示の実施形態について説明したが、これらの実施形態は、本開示の要旨を逸脱しない範囲内で、種々の変更を加えて実施してもよい。例えば、2つ以上の実施形態を組み合わせて実施してもよい。
なお、本開示は、以下のような構成を取ることもできる。
(1)
APD(Avalanche Photodiode)を含む複数の画素と、
前記複数の画素から出力された複数の第1信号の状態を検知し、前記複数の第1信号の状態の検知結果を含む複数の第2信号を生成する複数の状態検知回路と、
前記複数の第2信号または前記複数の第2信号に応じて変化する複数の第3信号の論理演算を行い、前記論理演算の結果を含む第4信号を生成する論理演算回路と、
前記第4信号に基づいて、前記複数の第1信号に関する値をカウントするカウンタとを備え、
前記状態検知回路の各々は、前記第4信号を入力する入力端子を有し、前記入力端子に入力された前記第4信号に基づいて、前記状態検知回路の各々への前記第1信号の入力を無効にする、APDセンサ。
(2)
前記複数の画素を有する画素アレイ領域を含む第1基板と、
前記第1基板と貼り合わされており、前記状態検知回路、前記論理演算回路、および前記カウンタを含む第2基板と、
をさらに備える(1)に記載のAPDセンサ。
(3)
前記状態検知回路と、前記論理演算回路の少なくとも一部は、前記画素アレイ領域と対向する位置に配置されており、前記カウンタは、前記画素アレイ領域と対向しない位置または前記画素アレイ領域内に配置されている、(2)に記載のAPDセンサ。
(4)
前記状態検知回路は、前記画素アレイ領域と対向する位置に配置されており、前記論理演算回路の少なくとも一部と、前記カウンタは、前記画素アレイ領域と対向しない位置に配置されている、(2)に記載のAPDセンサ。
(4)
前記状態検知回路は、前記画素アレイ領域と対向する位置に配置されており、前記論理演算回路と前記カウンタは、前記画素アレイ領域と対向しない位置に配置されている、(2)に記載のAPDセンサ。
(5)
前記APDは、SPAD(Single Photon Avalanche Diode)である、(1)に記載のAPDセンサ。
(6)
前記APDのカソードは、前記状態検知回路に電気的に接続されている、(1)に記載のAPDセンサ。
(7)
前記APDのアノードは、前記状態検知回路に電気的に接続されている、(1)に記載のAPDセンサ。
(8)
前記入力端子は、前記状態検知回路をリセットするリセット端子である、(1)に記載のAPDセンサ。
(9)
前記状態検知回路は、前記第1信号のエッジを検知する、(1)に記載のAPDセンサ。
(10)
前記状態検知回路は、フリップフロップ回路を含む、(1)に記載のAPDセンサ。
(11)
前記第1信号は、前記フリップフロップ回路のクロック端子に入力される、(10)に記載のAPDセンサ。
(12)
前記状態検知回路は、前記第1信号のレベルを検知する、(1)に記載のAPDセンサ。
(13)
前記状態検知回路は、ラッチ回路を含む、(1)に記載のAPDセンサ。
(14)
前記状態検知回路はさらに、前記第1信号から得られた2つの信号のAND演算またはNAND演算を行うAND回路またはNAND回路を含み、前記AND演算または前記NAND演算の結果を示す信号を前記ラッチ回路に入力する、(13)に記載のAPDセンサ。
(15)
前記論理演算回路は、前記複数の第2信号に基づいて前記複数の第3信号を生成する複数のトランジスタを含む、(1)に記載のAPDセンサ。
(16)
前記第2信号は、前記トランジスタの制御端子に入力され、前記第3信号は、前記トランジスタの主端子(例:MOSトランジスタのドレイン端子またはソース端子)から出力される、(15)に記載のAPDセンサ。
(17)
前記第4信号は、前記複数の第2信号または前記複数の第3信号のAND演算、OR演算、NAND演算、またはNOR演算の結果を含む、(1)に記載のAPDセンサ。
(18)
前記論理演算回路は、ワイヤードAND回路、ワイヤードOR回路、ワイヤードNAND回路、またはワイヤードNOR回路を含む、(1)に記載のAPDセンサ。
(19)
前記論理演算回路は、ANDゲート、ORゲート、NANDゲート、およびNORゲートの少なくともいずれかを含む、(1)に記載のAPDセンサ。
(20)
光を被写体に照射する発光装置と、
前記被写体から反射した光を受光する受光装置と、
前記受光装置により受光された光に基づいて、前記被写体との距離を測定する測距装置とを備え、
前記受光装置は、
前記被写体から反射した前記光を受光するAPD(Avalanche Photodiode)を含む複数の画素と、
前記複数の画素から出力された複数の第1信号の状態を検知し、前記複数の第1信号の状態の検知結果を含む複数の第2信号を生成する複数の状態検知回路と、
前記複数の第2信号または前記複数の第2信号に応じて変化する複数の第3信号の論理演算を行い、前記論理演算の結果を含む第4信号を生成する論理演算回路と、
前記第4信号に基づいて、前記複数の第1信号に関する値をカウントするカウンタとを備え、
前記状態検知回路の各々は、前記第4信号を入力する入力端子を有し、前記入力端子に入力された前記第4信号に基づいて、前記状態検知回路の各々への前記第1信号の入力を無効にする、測距システム。
1:発光装置、2:受光装置、3:制御装置、
11:光源駆動部、12:光源、13:コリメートレンズ、14:回折光学素子、
21:レンズユニット、22:撮像部、23:撮像信号処理部、31:測距部、
41:画素、41a:APD、41b:電流源、41c:インバータ、
41d:バッファ、42:画素アレイ領域、43:制御回路、
44:垂直選択回路、45:画素アレイ外信号処理回路、46:水平選択回路、
51:受光基板、52:ロジック基板、
53:ロジックアレイ部、54:信号処理部、55:撮像制御部、
61:状態検知回路、61’:状態検知回路、61a:DFF回路、
61b:バッファ、61c:バッファ、61d:バッファ、
61e:NOTゲート、61f:ANDゲート、61g:Dラッチ回路、
61h:SRラッチ回路、61i:NANDゲート、
62:論理演算回路、62’:論理演算回路、62a:トランジスタ、
62b:ワイヤードNOR回路、62c:NOTゲート、62d:トランジスタ、
62e:NORゲート、62f:NORゲート、62g:NANDゲート、
62h:NOTゲート、62i:NANDゲート、63:TDC

Claims (20)

  1. APD(Avalanche Photodiode)を含む複数の画素と、
    前記複数の画素から出力された複数の第1信号の状態を検知し、前記複数の第1信号の状態の検知結果を含む複数の第2信号を生成する複数の状態検知回路と、
    前記複数の第2信号または前記複数の第2信号に応じて変化する複数の第3信号の論理演算を行い、前記論理演算の結果を含む第4信号を生成する論理演算回路と、
    前記第4信号に基づいて、前記複数の第1信号に関する値をカウントするカウンタとを備え、
    前記状態検知回路の各々は、前記第4信号を入力する入力端子を有し、前記入力端子に入力された前記第4信号に基づいて、前記状態検知回路の各々への前記第1信号の入力を無効にする、APDセンサ。
  2. 前記複数の画素を有する画素アレイ領域を含む第1基板と、
    前記第1基板と貼り合わされており、前記状態検知回路、前記論理演算回路、および前記カウンタを含む第2基板と、
    をさらに備える、請求項1に記載のAPDセンサ。
  3. 前記状態検知回路と、前記論理演算回路の少なくとも一部は、前記画素アレイ領域と対向する位置に配置されており、前記カウンタは、前記画素アレイ領域と対向しない位置または前記画素アレイ領域内に配置されている、請求項2に記載のAPDセンサ。
  4. 前記状態検知回路は、前記画素アレイ領域と対向する位置に配置されており、前記論理演算回路の少なくとも一部と、前記カウンタは、前記画素アレイ領域と対向しない位置に配置されている、請求項2に記載のAPDセンサ。
  5. 前記APDは、SPAD(Single Photon Avalanche Diode)である、請求項1に記載のAPDセンサ。
  6. 前記APDのカソードは、前記状態検知回路に電気的に接続されている、請求項1に記載のAPDセンサ。
  7. 前記APDのアノードは、前記状態検知回路に電気的に接続されている、請求項1に記載のAPDセンサ。
  8. 前記入力端子は、前記状態検知回路をリセットするリセット端子である、請求項1に記載のAPDセンサ。
  9. 前記状態検知回路は、前記第1信号のエッジを検知する、請求項1に記載のAPDセンサ。
  10. 前記状態検知回路は、フリップフロップ回路を含む、請求項1に記載のAPDセンサ。
  11. 前記第1信号は、前記フリップフロップ回路のクロック端子に入力される、請求項10に記載のAPDセンサ。
  12. 前記状態検知回路は、前記第1信号のレベルを検知する、請求項1に記載のAPDセンサ。
  13. 前記状態検知回路は、ラッチ回路を含む、請求項1に記載のAPDセンサ。
  14. 前記状態検知回路はさらに、前記第1信号から得られた2つの信号のAND演算またはNAND演算を行うAND回路またはNAND回路を含み、前記AND演算または前記NAND演算の結果を示す信号を前記ラッチ回路に入力する、請求項13に記載のAPDセンサ。
  15. 前記論理演算回路は、前記複数の第2信号に基づいて前記複数の第3信号を生成する複数のトランジスタを含む、請求項1に記載のAPDセンサ。
  16. 前記第2信号は、前記トランジスタの制御端子に入力され、前記第3信号は、前記トランジスタの主端子から出力される、請求項15に記載のAPDセンサ。
  17. 前記第4信号は、前記複数の第2信号または前記複数の第3信号のAND演算、OR演算、NAND演算、またはNOR演算の結果を含む、請求項1に記載のAPDセンサ。
  18. 前記論理演算回路は、ワイヤードAND回路、ワイヤードOR回路、ワイヤードNAND回路、またはワイヤードNOR回路を含む、請求項1に記載のAPDセンサ。
  19. 前記論理演算回路は、ANDゲート、ORゲート、NANDゲート、およびNORゲートの少なくともいずれかを含む、請求項1に記載のAPDセンサ。
  20. 光を被写体に照射する発光装置と、
    前記被写体から反射した光を受光する受光装置と、
    前記受光装置により受光された光に基づいて、前記被写体との距離を測定する測距装置とを備え、
    前記受光装置は、
    前記被写体から反射した前記光を受光するAPD(Avalanche Photodiode)を含む複数の画素と、
    前記複数の画素から出力された複数の第1信号の状態を検知し、前記複数の第1信号の状態の検知結果を含む複数の第2信号を生成する複数の状態検知回路と、
    前記複数の第2信号または前記複数の第2信号に応じて変化する複数の第3信号の論理演算を行い、前記論理演算の結果を含む第4信号を生成する論理演算回路と、
    前記第4信号に基づいて、前記複数の第1信号に関する値をカウントするカウンタとを備え、
    前記状態検知回路の各々は、前記第4信号を入力する入力端子を有し、前記入力端子に入力された前記第4信号に基づいて、前記状態検知回路の各々への前記第1信号の入力を無効にする、測距システム。
JP2020178256A 2020-10-23 2020-10-23 Apdセンサおよび測距システム Pending JP2022069202A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020178256A JP2022069202A (ja) 2020-10-23 2020-10-23 Apdセンサおよび測距システム
CN202180070819.3A CN116368815A (zh) 2020-10-23 2021-10-06 Apd传感器和测距***
US18/248,693 US20230396898A1 (en) 2020-10-23 2021-10-06 Apd sensor and ranging system
PCT/JP2021/036933 WO2022085448A1 (ja) 2020-10-23 2021-10-06 Apdセンサおよび測距システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020178256A JP2022069202A (ja) 2020-10-23 2020-10-23 Apdセンサおよび測距システム

Publications (1)

Publication Number Publication Date
JP2022069202A true JP2022069202A (ja) 2022-05-11

Family

ID=81289764

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020178256A Pending JP2022069202A (ja) 2020-10-23 2020-10-23 Apdセンサおよび測距システム

Country Status (4)

Country Link
US (1) US20230396898A1 (ja)
JP (1) JP2022069202A (ja)
CN (1) CN116368815A (ja)
WO (1) WO2022085448A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11330202B2 (en) * 2018-02-02 2022-05-10 Sony Semiconductor Solutions Corporation Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
JP2020120175A (ja) * 2019-01-21 2020-08-06 キヤノン株式会社 撮像装置およびその制御方法
JP7227777B2 (ja) * 2019-02-04 2023-02-22 キヤノン株式会社 撮像装置

Also Published As

Publication number Publication date
US20230396898A1 (en) 2023-12-07
WO2022085448A1 (ja) 2022-04-28
CN116368815A (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
JP7177066B2 (ja) センサチップ、電子機器、及び装置
JP7449317B2 (ja) 撮像装置
JP6951866B2 (ja) 撮像素子
WO2020179696A1 (ja) 受光装置および測距装置
JPWO2019049662A1 (ja) センサチップおよび電子機器
WO2019207978A1 (ja) 撮像素子および撮像素子の製造方法
US11128827B2 (en) Imaging device drive circuit and imaging device
JP2018113637A (ja) 固体撮像素子および電子機器
WO2022085448A1 (ja) Apdセンサおよび測距システム
WO2021075116A1 (ja) 固体撮像装置及び電子機器
WO2020100697A1 (ja) 固体撮像素子、固体撮像装置及び電子機器
WO2023171146A1 (ja) 光検出装置
WO2024062813A1 (ja) 撮像装置および電子機器
WO2023013121A1 (ja) THz検出装置
WO2023243381A1 (en) Photodetector and photodetection system
WO2024029408A1 (ja) 撮像装置
WO2023080011A1 (ja) 撮像装置及び電子機器
WO2024024515A1 (ja) 光検出素子および測距システム
WO2022130987A1 (ja) 固体撮像装置およびその製造方法
WO2021145214A1 (ja) 観測装置、観測方法、測距システム
WO2023021787A1 (ja) 光検出装置およびその製造方法
JP2023183169A (ja) 光検出素子
JP2023152522A (ja) 光検出装置
JP2023152523A (ja) 光検出装置
KR20230123941A (ko) 고체 촬상 장치 및 그 제조 방법