JP7426339B2 - 撮像装置、それに用いられる固体撮像素子及び撮像方法 - Google Patents

撮像装置、それに用いられる固体撮像素子及び撮像方法 Download PDF

Info

Publication number
JP7426339B2
JP7426339B2 JP2020534719A JP2020534719A JP7426339B2 JP 7426339 B2 JP7426339 B2 JP 7426339B2 JP 2020534719 A JP2020534719 A JP 2020534719A JP 2020534719 A JP2020534719 A JP 2020534719A JP 7426339 B2 JP7426339 B2 JP 7426339B2
Authority
JP
Japan
Prior art keywords
exposure
pulse
signal
exposure process
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020534719A
Other languages
English (en)
Other versions
JPWO2020027221A1 (ja
Inventor
充彦 大谷
純一 松尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuvoton Technology Corp Japan
Original Assignee
Nuvoton Technology Corp Japan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nuvoton Technology Corp Japan filed Critical Nuvoton Technology Corp Japan
Publication of JPWO2020027221A1 publication Critical patent/JPWO2020027221A1/ja
Application granted granted Critical
Publication of JP7426339B2 publication Critical patent/JP7426339B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/73Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

本開示は、撮像装置、それに用いられる固体撮像素子及び撮像方法に関する。
物体を検知する複数の方式の中で、測定対象物まで光が往復する飛行時間を利用して測距を行うTOF(timeof flight)方式が知られている。
特許文献1には、距離情報と反射率情報との比に応じて照射光の繰り返し回数を調整する技術が開示されている。
特開2001-148867号公報
しかしながら、特許文献1に開示された従来技術では、例えば、撮像装置と対象物との距離が短い、または、対象物の反射率が高い場合には、反射光による信号電荷が飽和することがあり測距できないことがあるという問題がある。また、撮像装置と対象物との距離が長く、対象物の反射率が低い場合には、反射光による信号電荷が少なすぎて測距精度が劣化するという問題がある。
上記課題に鑑み、本開示は、反射率の高い対象物が近くにある場合であっても信号電荷の飽和を抑制し、反射率の低い対象物が遠くにある場合であっても測距精度の劣化を抑制する撮像装置、固体撮像素子及び撮像方法を提供することを目的とする。
上記課題を解決するために、本開示の一態様に係る撮像装置は、発光を指示する第1パルスと露光を指示する第2パルスとを発生する制御部と、前記第1パルスに従って発光する光源部と、前記第2パルスに従って露光を行う固体撮像素子を備える撮像部と、信号処理部と、を備える撮像装置であって、前記固体撮像素子は、露光した光を信号電荷に変換する光電変換部と、前記信号電荷を蓄積する複数の電荷蓄積部と、を含む画素部を有し、前記画素部は、前記第1パルスから第1の遅延時間だけ遅れる前記第2パルスを用いる第1露光処理及び第3露光処理と、前記第1パルスから第2の遅延時間だけ遅れる前記第2パルスを用いる第2露光処理と、により得られるそれぞれの前記信号電荷を、前記複数の電荷蓄積部のうちの異なる電荷蓄積部に蓄積し、前記第1、第2および第3露光処理は同順で処理され、前記信号処理部は、前記第1から第3露光処理により得られるそれぞれの信号電荷を用いて画素毎の距離信号を算出し、前記第2の遅延時間は、前記第1の遅延時間よりも、時間が長く、近くで高い反射率の対象物でも飽和せず、遠くの対象物及び反射率の低い対象物でも露光量低下に起因するS/N劣化が起きないように、前記第1露光処理による露光時間と前記第3露光処理による露光時間との合計が、前記第2露光処理による露光時間と等しい
本開示に係る撮像装置によれば、反射率の高い対象物が近くにある場合であっても信号電荷の飽和を抑制し、反射率の低い対象物が遠くにある場合であっても測距精度の劣化を抑制することができる。
図1は、実施の形態1に係る撮像装置の構成例を示す機能ブロック図である。 図2Aは、実施の形態1に係る固体撮像素子の構成例を示すブロック図である。 図2Bは、実施の形態1に係る固体撮像素子における画素部の構成例を示す図である。 図3は、実施の形態1に係る撮像装置の撮像動作の一例を説明するタイミングチャートである。 図4は、実施の形態1に係る固体撮像素子の画素部における第1~第4の単位露光処理の動作例を示す説明図である。 図5は、実施の形態1に係る第1~第4の単位露光処理の動作例を説明するタイミングチャートである。 図6Aは、実施の形態2に係る固体撮像素子の構成例を示すブロック図である。 図6Bは、実施の形態2に係る固体撮像素子における画素部の構成例を示す図である。 図7は、実施の形態2に係る固体撮像素子の画素部における第1~第4の単位露光処理の動作例を示す図である。 図8Aは、実施の形態3に係る固体撮像素子の構成例を示すブロック図である。 図8Bは、実施の形態3に係る固体撮像素子における画素部の構成例を示す図である。
以下、本開示の実施の形態に係る撮像装置、及びそれに用いられる固体撮像素子について、図面を参照しながら説明する。なお、以下の実施の形態は、いずれも本開示の一具体例を示すものであり、数値、形状、材料、構成要素、構成要素の配置位置及び接続形態などは一例であり、本開示を限定するものではない。
また、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
(実施の形態1)
図1は、実施の形態に係る撮像装置(測距撮像装置)10の概略構成の一例を示す機能ブロック図である。同図に示すように、撮像装置10は、光源部1と、撮像部2と、制御部(駆動制御部)3と、信号処理部4とを備える。この構成により、撮像装置10は、静止画だけでなく動画も撮影することが可能である。
光源部1は、発光素子を有し、照射光を発する。発光素子は、例えばレーザダイオード、垂直共振器面発光レーザー(VCSEL:Vertical Cavity Surface Emitting LASER)や発光ダイオード(LED:Light emitting diode)等であり、その他の発光素子を用いてもよい。照射光は、一例として赤外光(近赤外光、遠赤外光を含む)である。
制御部3は、被写体(物体、測定対象物)への光照射を指示する発光信号と、当該被写体からの反射光及び後述する背景光の露光を指示する露光信号とを発生する。発光信号は、光源部1に発光を指示する第1パルスを含む。露光信号は、撮像部2に露光を指示する第2パルスを含む。
光源部1は、制御部3で発生する発光信号の第1パルスのタイミングに従ってパルス光を、被写体を含む撮像領域に対して照射する。
撮像部2は、固体撮像素子20を有する。固体撮像素子20は、光源部1の照射光に起因する反射光(パルス光)を受光する。また、固体撮像素子20は、太陽光などに起因する背景光信号、または暗電流信号などのオフセット成分も生成する
また、固体撮像素子20は、被写体を含む撮像領域に対して、制御部3で発生する露光信号の第2パルスが示すタイミングに従って露光する。具体的には、固体撮像素子20は、光源部1によるパルス状の照射光の繰り返し発光に伴って、制御部3からの露光信号に従って第1、第2、第3および第4の露光処理を行う。第1、第2、第3および第4の露光処理は、光源部1の発光と撮像部2の露光とを組み合わせた処理であって、発光を指示する第1パルスと露光を指示する第2パルスとに遅延時間を持たせている。ただし、第4の露光処理では発光信号に第1パルスを持たせない(つまり光源部1を発光させない)。
撮像部2は、さらに、カメラレンズ、光源部1から照射される光の波長近傍のみを通過させる光学的バンドパスフィルタ(帯域通過フィルタ)、及びA/Dコンバータ等の回路を適宜有する。
信号処理部4は、撮像部2から受けた撮像信号における露光量に基づいて、演算により距離画像(距離信号、距離情報)を出力する。
次に、本実施の形態に係る撮像装置10の撮像部2における固体撮像素子20の一例について説明する。
図2Aは、実施の形態1に係る固体撮像素子20の構成例を示すブロック図である。同図に示すように、固体撮像素子20は、二次元上に配置された複数の画素部100と、画素部100の列毎に設けられた垂直転送部102と、上記の列毎に設けられた垂直信号線107と、列処理部108と、水平走査部109と、出力バッファ110とを備える。この固体撮像素子20は、一般的なCCDイメージセンサが有する垂直転送部102と、一般的なCMOSイメージセンサが備える読み出し部106および垂直信号線107とを併せ持つハイブリッド構成の例となっている。なお、ここでCMOS型とCCD型のハイブリッド構成とは、CMOS型の特徴である垂直信号線に選択的に電圧信号出力する構成と、CCD型の特徴である画素毎の信号蓄積領域として電荷転送路を形成する構成とを併せ持つ構造をいう。
複数の画素部100のそれぞれは、2つの光電変換部101と、複数の電荷蓄積部と、読み出し部106とを有する。図2Aの各画素部100は、いわゆる2画素1セル構造であり、2つの画素つまり2つの光電変換部101を有している。
各光電変換部101は、例えばフォトダイオードであって、受光した光を信号電荷に変換する。
複数の電荷蓄積部のそれぞれは、光電変換部101で変換された信号電荷を保持する領域であって、図2Aでは垂直転送部102内にポテンシャルの井戸として形成される。複数の電荷蓄積部は、1つの画素部100に対応する4つの第1から第4の電荷蓄積部を含む。つまり、垂直転送部102には、1つの画素部100に対応して少なくとも4つのポテンシャルの井戸が形成される。第1から第4の電荷蓄積部は、第1から第4の露光処理に対応する信号電荷をそれぞれ蓄積する。
読み出し部106は、垂直転送部102の特定の電荷蓄積部の信号電荷を読み出して、電圧に変換して垂直信号線107に出力する。
垂直転送部102は、垂直転送チャネルと複数の垂直転送ゲートとを備える。複数の垂直転送ゲートは、垂直転送チャネルを覆う複数種類の垂直転送電極である。複数の垂直転送ゲートに印加される電圧の組み合わせによって垂直転送チャネル内に、複数の電荷蓄積部として複数のポテンシャルの井戸が形成される。以下、ポテンシャルの井戸をパケットとも呼ぶ。
列処理部108は、画素部100の列毎に設けられた垂直信号線107からの信号を受信し、相関二重サンプリング(CDS:correlated double sampling)をして画素信号として出力する。
水平走査部109は、列処理部108から出力される画素信号を走査する、つまり、1つずつ順に選択して出力する。
列処理部108はさらに、列毎にデジタル信号に変換するA/Dコンバータを有する場合もある。
出力バッファ110は、水平走査部109から受けた画素信号を出力する。
次に、画素部100のより具体的な構成例について説明する。
図2Bは、実施の形態1に係る固体撮像素子における画素部100の構成例を示す図である。同図の画素部100は、図2Aに示した2画素1セル構造の一例を示す。この画素部100は、第1~第4の電荷蓄積部P1~P4、2つの光電変換部101、浮遊拡散層(フローティング・ディフュージョン)34、読み出し回路35、および、出力制御ゲート40を備える。光電変換部101には、読み出しゲート32、露光制御ゲート36、オーバーフロードレイン37が設けられる。
第1~第4の電荷蓄積部P1~P4は、垂直転送部102のうち画素部100に対応する部分に4つのパケットとして形成される。垂直転送部102は、1つの光電変換部101あたり6種類の垂直転送ゲート33を有する。6種類の垂直転送ゲート33は、VG1~VG6とする。ただし、出力制御ゲート40に対応する垂直転送ゲートVG6は、VHと表記する。より具体的には、第1~第4の電荷蓄積部P1~P4は、複数の垂直転送ゲート33に印加される電圧の組み合わせに従って垂直転送チャネル38内に4つのパケットとして形成される。同図では、第1の電荷蓄積部P1は、垂直転送ゲーVHに対応する。第2の電荷蓄積部P2は、垂直転送ゲートVG3に対応する。第3の電荷蓄積部P3は、垂直転送ゲートVG6に対応する。第4の電荷蓄積部P4は、垂直転送ゲートVG3に対応する。ただし、図2Bの例では、第1~第4の電荷蓄積部P1~P4のそれぞれ位置は、固定的ではなく、信号電荷の順方向または逆方向への垂直転送に伴って上下に移動する。
読み出しゲート32は、読み出しゲート32に印加される電圧に応じて、光電変換部101で変換された信号電荷を垂直転送部102に転送するゲート電極である。図2Bの画素部100の破線枠内の2つの読み出しゲート32のうち、上側読み出しゲート32は、上側の光電変換部101の信号電荷を垂直転送部102の垂直転送ゲートVG5に転送する。また、下側の読み出しゲート32は、下側の光電変換部101の信号電荷を垂直転送ゲートVG1に転送する。
露光制御ゲート36は、露光制御ゲート36に印加される電圧に応じて、光電変換部101の露光を制御する。露光制御ゲート36には例えば、アクティブローの(つまり負論理の)第2パルスを含む露光信号が入力される。例えば、露光信号がハイレベルのときは、光電変換部101の信号電荷をオーバーフロードレイン37に放出し、光電変換を無効にする。つまり、光電変換部101をクリアした状態にして露光していない状態と同じにする。また、露光信号がローレベルのときは、光電変換部101を受光量に応じて信号電荷を発生する露光状態にする。第2パルスがローレベルの期間は光電変換部101が露光状態にあり、かつ、読み出しゲート32開いていれば(読み出しゲート32がハイレベルであれば)、光電変換部101で変換された信号電荷は、読み出しゲート32を介して垂直転送部102に転送および蓄積される。
オーバーフロードレイン37は、光電変換部101の信号電荷を放出するための領域である。
出力制御ゲート40、浮遊拡散層34、および読み出し回路35からなる回路は、図2Aの読み出し部106に該当する。
出力制御ゲート40は、垂直転送ゲートVHに形成さるパケットの信号電荷を浮遊拡散層34に転送するためのゲート電極である。
浮遊拡散層34は、垂直転送部102から出力制御ゲート40を介して転送された信号電荷を電圧に変換する。
読み出し回路35は、浮遊拡散層34で電圧に変換された信号を垂直信号線107に出力する。読み出し回路35は、例えば、選択トランジスタおよび増幅トランジスタを有する。増幅トランジスタは、垂直信号線107に接続された負荷回路と共にソースフォロワ回路を構成する。
次に、実施の形態1に係る撮像部2の撮像動作について説明する。
図3は、実施の形態1に係る撮像装置10の撮像動作の一例を説明するタイミングチャートである。また、図4は、実施の形態1に係る固体撮像素子20の画素部100における第1~第4の単位露光処理の動作例を示す説明図である。また、図5は、実施の形態1に係る第1~第4の単位露光処理の動作の一例を説明するタイミングチャートである。
図3の上段は、1画面の撮像動作における発光信号および露光信号のタイムチャートの一例を示す。同図の上段の横軸は時間軸を示す。縦軸には発光信号および露光信号を示す。発光信号は、発光を指示する第1パルスを有するデジタル信号である。同図の第1パルスは論理であり、ハイレベルで光源部1に発光を指示し、ローレベルで光源部1に非発光を指示する。露光信号は、露光を指示する第2パルスを有するデジタル信号である。同図の第2パルスは負論理であり、ローレベルで固体撮像素子20に露光することを指示し、ハイレベルで固体撮像素子20に露光しないことを指示する。
1画面の撮像動作は、Nセットの発光露光処理と、出力処理とからなる。Nは2以上の整数である。
1セットの発光露光処理は、第1、第2、第3および第4の露光処理を含む。
第1の露光処理は、m1回の第1の単位露光処理を含む。m1は、1以上の整数である。第1の単位露光処理では、制御部3は、第2パルスを第1パルスよりも第1の遅延時間だけ遅らせるように発光信号および露光信号を発生する。第1の露光処理によって光電変換部101で生成される信号電荷は、第1の電荷蓄積部P1に蓄積される。
第2の露光処理は、m2回の第2の単位露光処理を含む。m2は2以上の整数である。第2の単位露光処理では、制御部3は、第2パルスを第1パルスよりも第2の遅延時間だけ遅らせるように発光信号および露光信号を発生する。第2の露光処理によって光電変換部101で生成される信号電荷は、第2の電荷蓄積部P2に蓄積される。
第3の露光処理は、m3回の第3の単位露光処理を含む。m3は1以上の整数である。第3の単位露光処理は、第1の単位露光処理と同じである。つまり、第3の単位露光処理では、制御部3は、第2パルスを第1パルスよりも第1の遅延時間だけ遅らせるように発光信号および露光信号を発生する。第3の露光処理によって光電変換部101で生成される信号電荷は、第3の電荷蓄積部P3に蓄積される。
第4の露光処理は、m4回の第4の単位露光処理を含む。第4の単位露光処理では、制御部3は、第1パルスを発生させずに第2パルスを発生させるように発光信号および露光信号を発生する第4の露光処理によって光電変換部101で生成される信号電荷は、第4の電荷蓄積部P4に蓄積される。
図3の(a)および図4の(a)は、第1の単位露光処理における露光量a1の検出タイミングを表す。図3の(b)および図4の(b)は、第2の単位露光処理における露光量a2の検出タイミングを表す。図3の(c)および図4の(c)は、第3の単位露光処理における露光量a3の検出タイミングを表す。図3の(d)および図4の(d)は、第4の単位露光処理における露光量a4の検出タイミングを表す。1セットの発光露光処理は、複数種類の露光処理(第1~第4の露光処理)に分割される。
ここで、第1~第4の単位露光処理の繰り返し回数m1~m4について説明する。図3の上段の例ではmを2以上の偶数として、m1=m/2、m2=m、m3=m/2、m4=mであるものとする。第1の単位露光処理は、第3の単位露光処理と同じである。言い換えれば、第1の露光処理および第3の露光処理は、m回の連続する第1(または第3の)単位露光処理をm/2回の連続する単位露光処理の2つに分割した結果となっている。単に連続する回数を分割しただけでなく、第1の露光処理および第3の露光処理で生成される信号電荷も分割され、第1の電荷蓄積部P1および第3の電荷蓄積部P3にそれぞれ蓄積される。第1の電荷蓄積部P1および第3の電荷蓄積部P3に信号電荷を分割することにより、電荷蓄積部が1つである場合と比べて容量を倍増することができ、飽和を抑制することができる。
図3の上段の出力処理は、Nセットの発光露光処理によって第1~第4の電荷蓄積部P1~P4に蓄積された信号電荷を画素部100毎に固体撮像素子20から信号処理部4へ撮像信号として出力する処理である。
次に、第1から第4の単位露光処理について、より具体的に説明する。
図3の(a)は、図3上段の第1の単位露光処理の期間u1を拡大したタイムチャート例を示す。具体的には、縦軸に示すように第1の単位露光処理における「発光信号(照射光)」、「反射光」、「露光信号」、「露光量」を示す。
図3の(a)において「発光信号」は期間Toの正論理パルスである第1パルスを有する。第1パルスの期間Toでは、光源部1からパルス状の照射光が発せられる。「反射光」は、第1パルスのタイミングで光源部1が発した光が対象物で反射して固体撮像素子20に到達した反射光の例を示している。ここでは反射光は、発光信号の第1パルスによる照射光から遅延時間Tdだけ遅れて固体撮像素子20に到達する場合を示している。「露光信号」は、期間Toの負論理パルスである第2パルスを有する。第2パルスのパルス幅は第1パルスのパルス幅と同じToに設定されている。第1パルスの前縁から第2パルスの前縁までは第1の遅延時間を有する。ただし図3の(a)では第1の遅延時間は0に設定されている。「露光量」は、露光信号が示す露光期間(つまり第2パルスのローレベル期間To)における固体撮像素子20の露光量(つまり光電変換部101で発生した信号電荷の量)を示す。露光量a1は、光源部1の照射光が対象物で反射されたことによる反射光r1と、太陽光などの外光である背景光b1とを含む。反射光r1は、パルス状の反射光のうちの先頭から第2パルスの末尾までの部分が露光される。背景光b1は、露光期間Toの間に常に存在する。図3の上段に示す(m/2×N)回の第1の単位露光処理の露光によって光電変換部101で生成される露光量a1の信号電荷は、第1の電荷蓄積部P1に蓄積される。
言い換えると、図3の上段及び(a)に示すように、第1の単位露光処理では、露光信号の第2パルスがLowの期間で光電変換部101を露光し、当該露光により発生した信号電荷a1を垂直転送部102の第1の電荷蓄積部P1に蓄積する。制御部3は、この動作を本実施の形態ではm/2回繰り返すように制御する。図4に示すようにm/2回の第1の単位露光処理が終了した時点で、固体撮像素子20は、垂直転送部102の垂直転送ゲート33を制御し、読み出しゲート32が存在しないパケットに上記信号電荷a1を転送する。つまり、第1~第4の電荷蓄積部P1~P4を順方向に1段階シフトする。これにより、図4の点線に示すように、第1の電荷蓄積部P1は読出しゲート32が存在する位置から離れ、第2の電荷蓄積部P2が読出しゲート32が存在する位置に移動する。
ここで、第1の単位露光処理は、光源部1が発光信号の第1パルスを受信して発光するタイミングに対して、固体撮像素子20が第1の遅延時間を有する露光信号の第2パルスを受信し露光を行う処理である。本実施の形態の場合、第2パルスのパルス幅は第1パルスのパルス幅と同じToに設定され、第1の遅延時間は0(ゼロ)に設定されている。すなわち、第1の単位露光処理における露光期間は、発光信号が有効な(第1パルスがハイレベルである)期間に設定されている。
図3の(b)は、図3上段の第2の単位露光処理の期間u2を拡大したタイムチャート例を示す。図3の(b)は、同図の(a)と比べて、露光信号のタイミングと、露光量とが異なっている。以下、異なっている点を中心に説明する。「露光信号」において、第1パルスの前縁から第2パルスの前縁までは上記の第1の遅延時間よりも大きい第2の遅延時間を有する。図3の(b)では第2の遅延時間は、第1パルスおよび第2パルスのパルス幅と同じToに設定されている。「露光量」は、露光信号が示す露光期間(つまり第2パルスのローレベル期間To)における固体撮像素子20の露光量a2を示す。露光量a2は、光源部1の照射光が対象物で反射されたことによる反射光r2と、太陽光などの外光である背景光b1とを含む。反射光r2は、パルス状の反射光のうちの、第2パルスの対応する部分が露光される。例えば、反射光r2は、第2パルスの前縁から反射光の末尾までの部分が露光される。背景光b1は、第2の単位露光処理でも第1の単位露光処理の背景光b1とほぼ同じである。図3の上段に示す(m×N)回の第2の単位露光処理の露光によって光電変換部101で生成される露光量a2の信号電荷は、第2の電荷蓄積部P2に蓄積される。
言い換えると、図3の上段及び(b)に示すように、第2の単位露光処理では、露光信号の第2パルスがLowの期間で光電変換部101を露光し、当該露光により発生した信号電荷a2を垂直転送部102の第2の電荷蓄積部P2に蓄積する。制御部3は、この動作を本実施の形態ではm回繰り返す。固体撮像素子20は、m回の第2の単位露光処理が終了した時点で、垂直転送部102の垂直転送ゲート33を制御し、読み出しゲート32が存在しないパケットに上記信号電荷a2を転送する。つまり、第1~第4の電荷蓄積部P1~P4を順方向に1段階シフトする。これにより、図4の点線に示すように、第2の電荷蓄積部P2は読出しゲート32が存在する位置から離れ、第3の電荷蓄積部P3が読出しゲート32が存在する位置に移動する。
ここで、第2の単位露光処理は、光源部1が発光信号の第1パルスを受信して発光するタイミングに対して、固体撮像素子20が第1の遅延時間と異なる第2の遅延時間を有する露光信号の第2パルスを受信し露光を行う処理である。本実施の形態の場合、第2パルスのパルス幅は第1パルスのパルス幅と同じToに設定され、第2の遅延時間は第1の遅延時間(図3ではゼロ)と第1パルスのパルス幅Toとが加算されたToに設定されている。
図3の(c)は、図3上段の第3の単位露光処理の期間u3を拡大したタイムチャート例を示す。図3の(c)は、同図の(a)と比べて、露光信号のタイミングと、露光量とは全く同じであり、反射光r3は反射光r1と同じになり、露光量a3は露光量a1と同じになる。図3の上段に示す(m/2×N)回の第3の単位露光処理の露光によって光電変換部101で生成される露光量a3の信号電荷は、第3の電荷蓄積部P3に蓄積される。
言い換えると、図3の上段及び(c)に示すように、第3の単位露光処理では、露光信号の第2パルスがLowの期間で光電変換部101を露光し、当該露光により発生した信号電荷a3を垂直転送部102の第3の電荷蓄積部P3に蓄積する。制御部3は、この動作を本実施の形態ではm/2回繰り返す。固体撮像素子20は、m/2回の第3の単位露光処理が終了した時点で、垂直転送部102の垂直転送ゲート33を制御し、読み出しゲート32が存在しないパケットに上記信号電荷a3を転送する。つまり、第1~第4の電荷蓄積部P1~P4を順方向に1段階シフトする。これにより、図4の点線に示すように、第3の電荷蓄積部P3は読出しゲート32が存在する位置から離れ、第4の電荷蓄積部P4が読出しゲート32が存在する位置に移動する。
ここで、第3の単位露光処理は、光源部1が発光信号の第1パルスを受信して発光するタイミングに対して、固体撮像素子20が第1の遅延時間と同じ遅延時間を有する露光信号の第2パルスを受信し露光を行う処理である。本実施の形態の場合、露光信号第2パルスのパルス幅は第1及び第2の単位露光処理における第1パルスのパルス幅と同じToに設定され、遅延時間は0(ゼロ)に設定されている。すなわち、第3の単位露光処理は、第1の単位露光処理と同じで、発光信号が送信されている(ハイレベルである)期間と同じ期間が露光期間として設定されている。
また、本実地の形態では、第1パルスの前縁から第2パルスの前縁までの遅延時間が最も短く設定される露光処理は、第1の露光処理と第3の露光処理に分割されており、言い換えれば、複数種類の露光処理のうちの少なくとも1つの露光処理は、複数に分割されている。
図3の(d)は、図3上段の第4の単位露光処理の期間u4を拡大したタイムチャート例を示す。図3の(d)は、同図の(a)と比べて、発光信号が第1パルスを有しない点が異なっている。以下、異なっている点を中心に説明する。「発光信号」は、第1パルスを有していない。つまり、制御部3は、第1パルスを発生させずに第2パルスを発生させるように発光信号および露光信号を発生する。「露光量」は、反射光が存在しないので背景光のみを示すことなる。背景光b4は、背景光b1とほぼ同じである。図3の上段に示す(m×N)回の第4の単位露光処理の露光によって光電変換部101で生成される露光量a4の信号電荷は、第4の電荷蓄積部P4に蓄積される。
言い換えると、図3の上段及び(d)に示すように、第4の単位露光処理では、光源部1は発光せずに、露光信号の第2パルスがLowの期間で光電変換部101を露光し、当該露光により発生した信号電荷a4を垂直転送部102の第4の電荷蓄積部P4に蓄積する。制御部3は、この動作を本実施の形態ではm回繰り返す。固体撮像素子20は、m回の第4の単位露光処理が終了した時点で、垂直転送部102の垂直転送ゲート33を制御し、信号電荷a4が、読み出しゲート32が存在しないパケットに来るように逆転送する。つまり、第1~第4の電荷蓄積部P1~P4を逆方向に3段階シフトする。これにより、図4の点線に示すように、第4の電荷蓄積部P4は読出しゲート32が存在する位置から離れ、第1の電荷蓄積部P1が読出しゲート32が存在する位置に移動する。
本実施の形態の場合、第4の単位露光処理の第2パルスのパルス幅は発光信号の第1パルスのパルス幅や第1及び第2及び第3の単位露光処理における第2パルスのパルス幅と同じToに設定されている。
その後、この一連の動作を本実施の形態ではN回繰り返した後、第1~第4電荷蓄積部P1~P4の信号電荷は、垂直信号線107、列処理部108、水平走査部109を介して信号処理部4に出力する。
また、図2Aおよび図2Bの構成によれば、第1~第4の電荷蓄積部P1~P4として、垂直転送部102に構成される複数パケットを利用することができる。よって、追加で電荷蓄積部を形成することが不要となり、同じ面積であれば光電変換部101の開口率(単位面積当たりに光を受光できる面積の比率)を高くすることができ、ノイズの少ない高精度な測距を実現する撮像信号の発生、及び固体撮像素子20及び撮像装置10の小型化を実現することが出来る。
図5は、実施の形態1に係る第1~第4の単位露光処理の動作の一例を説明するタイミングチャートである。図5の(a)は、第1の単位露光処理における露光量a1の検出タイミングを表す。図5の(b)は、第2の単位露光処理における露光量a2の検出タイミングを表す。図5の(c)は、第3の単位露光処理における露光量a3の検出タイミングを表す。図5の(d)は、第4の単位露光処理における露光量a4の検出タイミングを表す。
まず、図3、図4および図5の(a)に示すように、第1の単位露光処理では、露光信号の第2パルスがLowの期間で光電変換部101を露光し、当該露光により発生した信号電荷a1を第1の電荷蓄積部P1に蓄積する。このとき、第1の電荷蓄積部P1は垂直転送ゲート33のうちVG5、VG6、VG1の位置にパケットとして形成されている。制御部3は、この動作を本実施の形態ではm/2回繰り返す。固体撮像素子20は、m/2回の第1の単位露光処理が終了した時点で、垂直転送ゲート33を制御し、読み出しゲート32が存在しないパケットである垂直転送ゲート33のうちVG3の位置に上記信号電荷a1を順方向に垂直転送する。
続いて、図3、図4および図5の(b)に示すように、第2の単位露光処理では、露光信号の第2パルスがLowの期間で光電変換部101を露光し、当該露光により発生した信号電荷a2を第2の電荷蓄積部P2に蓄積する。このとき、第2の電荷蓄積部P2は、垂直転送ゲート33のうちVG5、VG6、VG1の位置にパケットとして形成されている。制御部3は、この動作を本実施の形態ではm回繰り返す。固体撮像素子20は、m回の第2の単位露光処理が終了した時点で、垂直転送ゲート33を制御し、読み出しゲート32が存在しないパケットである垂直転送ゲート33のうちVG3に上記信号電荷a2を転送する。それに伴い、第1の露光処理で露光した信号電荷a1は、他のパケットである垂直転送ゲート33のうちVHの位置に転送する。
続いて、図3、図4および図5の(c)に示すように、第3の単位露光期間では、露光信号の第2パルスがLowの期間で光電変換部101を露光し、当該露光により発生した信号電荷a3を第3の電荷蓄積部P3に蓄積する。このとき、第3の電荷蓄積部P3は、垂直転送ゲート33のうちVG5、VG6、VG1の位置にパケットとして形成されている。制御部3は、この動作を本実施の形態ではm/2回繰り返す。固体撮像素子20は、m/2回の第3の単位露光処理が終了した時点で、垂直転送ゲート33を制御し、読み出しゲート32が存在しないパケットである垂直転送ゲート33のうちVG3に上記信号電荷を転送する。それに伴い、第1の露光処理で露光した信号電荷a1は、他のパケットである垂直転送ゲート33のうちVG3の位置に転送し、第2の露光処理で露光した信号電荷a2は、他のパケットである垂直転送ゲート33のうち隣のVHの位置に転送する。
続いて、図3、図4および図5の(d)に示すように、第4の単位露光処理では、光源部1は発光せずに、第4の露光信号がLowの期間で光電変換部101を露光し、当該露光により発生した信号電荷a4を第4の電荷蓄積部P4に蓄積する。このとき、第4の電荷蓄積部P4は、垂直転送ゲート33のうちVG5、VG6、VG1の位置にパケットとして形成されている。制御部3は、この動作を本実施の形態ではm回繰り返す。固体撮像素子20は、m回の第4の露光処理が終了した時点で、垂直転送ゲート33を制御し、第1の露光処理で露光した信号電荷a1が、読み出しゲート32が存在するパケットに来るように逆方向に垂直転送する。それに伴い、図4の(a)に示すように、第2の露光処理で露光した信号電荷a2は、他のパケットである垂直転送ゲート33のうちVG3に逆転送される。第3の露光処理で露光した信号電荷a3は、他のパケットである垂直転送ゲート33のうちVHに逆転送される。第4の露光処理で露光した信号電荷a4は、他のパケットである垂直転送ゲート33のうち隣のVG3に逆転送される。従って、第1の露光処理で露光した信号電荷a1と、第2の露光処理で露光した信号電荷a2と、第3の露光処理で露光した信号電荷a3と、第4の露光処理で露光した信号電荷a4との4種類が混合することなく、独立して垂直転送チャネル38内のパケットに格納される。言い換えれば、信号電荷a1、a2、a3およびa4は、第1、第2、第3および第4の電荷蓄積部P1~P4にそれぞれ独立して蓄積および保持される。
その後、この1セットの発光露光処理を本実施の形態ではN回繰り返した後、垂直転送ゲート33の制御と出力制御ゲート40の制御により、フローティング・ディフュージョン34で信号電荷を電圧信号に変換し、読み出し回路35の制御により、垂直信号線107へ順次出力する。
これにより、発光信号の第1パルスに対して被写体からの反射光の露光を指示する露光信号の第2パルスのタイミングが一部異なる複数の露光処理で得られる信号電荷を蓄積する複数の電荷蓄積部として、垂直転送チャネル38に既に構成されている複数パケットを利用することができる。よって、追加で電荷蓄積部を形成することが不要となり、同じ面積であれば光電変換部101の開口率(単位面積当たりに光を受光できる面積の比率)を高くすることができ、ノイズの少ない高精度な測距を実現する撮像信号の発生、及び固体撮像素子20及び撮像装置10の小型化を実現することが出来る。
続いて、図3を用いて、本実施の形態に係る撮像装置の測距動作の詳細を説明する。
まず、制御部3は、発光信号に対して固体撮像素子20が被写体からの反射光を受光するタイミングが異なる第1~第4の露光処理において発光信号および露光信号を出力する。本実施の形態の場合、第1、第2、第3及び第4の露光処理における露光信号の第2パルスのパルス幅は、前述の通り発光信号期間のパルス幅と同じToに設定されている。従って、背景光の露光量b1は、第1、第2、第3及び第4の露光処理で等しくなる。また、第1の露光処理及び第3の露光処理の第1パルスに対する第2パルスの第1の遅延時間は、0(ゼロ)に設定されている。すなわち、第1の露光処理及び第3の露光処理の第2パルスが有効な期間は、第1パルスのハイレベルである期間と同じに設定されている。また、第2の露光処理における第2の遅延時間は、第1及び第3の遅延時間0(ゼロ)と第1及び第3の露光信号期間Toとが加算されたToに設定されている。
本実施の形態の場合、第1及び第3の単位露光処理の繰り返しがm/2回、第2及び第4の単位露光処理の繰り返しがm回としている。固体撮像素子20は、第1~第4の露光処理を1セットとし、これをN回セット繰り返し出力した後、蓄積された露光信号を出力する。そこで、第1の露光処理による露光量a1の総和をA1、第2の露光処理による露光量a2の総和をA2、第3の露光処理による露光量a3の総和をA3、第4の露光処理による露光量a4の総和をA4とする。
この場合、第1の露光処理あるいは第3の露光処理と第2の露光処理とが加算された期間で被写体からの反射光の全てを含むように露光される。また、第2の露光処理の露光量は、被写体からの反射光の発光信号タイミングに対する遅延時間Tdが大きい程、増加する。また、第4の露光信号期間では、光源部1は発光せずに露光するので、背景光b1のみ露光される。
ここで、光速(299,792,458m/s)をCとすると、信号処理部4では、以下の式1の演算を行うことにより、距離Lを算出できる。
Figure 0007426339000001
ここで、光源部1が発光信号を受信して発光するタイミングに対する遅延時間が最小である(本実施の形態の場合は0(ゼロ)に設定)である第1の露光処理及び第3の露光処理は、発光信号タイミング(照射光)に対する対象物からの反射光の光路による遅延が小さい、すなわち光の強度が強い近くの対象物からの反射光を多く露光することになり、発光露光の繰り返し回数が多いと飽和しやすくなる。
しかし、本実施の形態では第1の露光処理及び第3の露光処理の繰り返し回数を他の露光処理の1/2にしているために、飽和が抑制され、近くで高い反射率の対象物も飽和せずに高い精度で測距できる効果を有する。一方、第1の露光処理及び第3の露光処理の繰り返し回数の合計は他の露光処理と同じ回数を維持しているので、遠くの対象物や反射率の低い対象物も、露光量低下に起因するS/N(信号雑音比)劣化が起こらず、高い精度で測距できる効果を有する。更にCMOS型とCCD型のハイブリッド構造の場合は、垂直信号線(カラム)間で並列信号出力する構造のために高いフレームレートが実現でき、動きの速い対象物もブレが起こらず、高い精度で測距できる効果を有する。
以上説明してきたように実施の形態1に係る撮像装置10は、発光を指示する第1パルスと、露光を指示する第2パルスと、を発生する制御部3と、第1パルスに従って発光する光源部1と、第2パルスに従って露光を行う固体撮像素子20を備える撮像部2と、を備える撮像装置であって、固体撮像素子20は、露光した光を信号電荷に変換する光電変換部101と、信号電荷を蓄積する複数の電荷蓄積部と、を含む画素部100を有し、画素部100は、第1パルスから第1の遅延時間が遅れる第2パルスを用いる第1露光処理及び第3露光処理と、第1パルスから第2の遅延時間が遅れる第2パルスを用いる第2露光処理と、により得られるそれぞれの信号電荷を、複数の電荷蓄積部のうちの異なる電荷蓄積部に蓄積する。
ここで、画素部100は、第1パルスを発生させずに第2パルスを発生させる第4露光処理により得られる信号電荷を、第1、第2および第3露光処理により得られる信号電荷を蓄積する電荷蓄積部とは異なる電荷蓄積部に蓄積してもよい。
ここで、第1露光処理による露光時間と第3露光処理による露光時間との合計は、第2露光処理による露光時間と等しくてもよい。
ここで、第1露光処理による露光時間と第3露光処理による露光時間との合計は、第2露光処理による露光時間と等しく、第4露光処理による露光時間は、第2露光処理による露光時間と等しくてもよい。
ここで、第1パルスのパルス幅は、第2パルスのパルス幅と同じであり、第1露光処理での第1パルスの数および第2パルスの数はそれぞれm1であり、m1は整数であり、第2露光処理での第1パルスの数および第2パルスの数はそれぞれm2であり、m2はm1より大きい整数であり、第3露光処理での第1パルスの数および第2パルスの数はそれぞれm3であり、m3はm2より小さい整数であってもよい。
ここで、m1とm3との和はm2と等しくてもよい。
ここで、第1露光処理での第1パルスの数および第2パルスの数は、それぞれm1であり、m1は整数であり、第2露光処理での第1パルスの数および第2パルスの数は、それぞれm2であり、m2はm1より大きい整数であり、第3露光処理での第1パルスの数および第2パルスの数は、それぞれm3であり、m3はm2より小さい整数であり、第4露光処理での第2パルスの数は、m4であり、m4はm2以下であってもよい。
ここで、m1とm3との和はm2と等しく、m4はm2と等しくてもよい。
ここで、第1の遅延時間は、0以上第1パルスの時間幅より小さくてもよい。
ここで、制御部3は、時系列的な第1露光処理~第4露光処理を1セットとする処理をN(Nは整数)回繰り返してもよい。
ここで、固体撮像素子20は、複数の画素部の列毎に設けられた垂直転送部102を有するCCD型であり、電荷蓄積部は、それぞれ、垂直転送部102に形成される電位の井戸として形成されてもよい。
ここで、固体撮像素子20は、さらに、複数の画素部100の列毎に設けられた垂直信号線107と、複数の画素部100毎に設けられ、電荷蓄積部から選択的に信号電荷を電圧に変換し垂直信号線107に読み出す読出し回路35と、を備えてもよい。
また、実施の形態1に係る固体撮像素子20は、発光を指示する第1パルスと、露光を指示する第2パルスと、を発生する制御部3と、第1パルスに従って発光する光源部1と、第2パルスに従って露光を行う固体撮像素子20を備える撮像部2と、を備える撮像装置に用いられる固体撮像素子であって、固体撮像素子20は、露光した光を信号電荷に変換する光電変換部101と、信号電荷を蓄積する複数の電荷蓄積部と、を含む画素部を有し、画素部100は、第1パルスから第1の遅延時間が遅れる第2パルスを用いる第1露光処理及び第3露光処理と、第1パルスから第2の遅延時間が遅れる第2パルスを用いる第2露光処理と、により得られるそれぞれの信号電荷を、複数の電荷蓄積部のうちの異なる電荷蓄積部に蓄積する。
(実施の形態2)
実施の形態1では、固体撮像素子20として2画素1セル構造をもつハイブリッド構成のイメージセンサの例を説明したが、実施の形態2では、固体撮像素子20として1画素1セル構造をもつハイブリッド構成のイメージセンサの例について説明する。
実施の形態2における撮像装置10の構成は、図1と同じである。ただし、固体撮像素子20が2画素1セル構造ではなく1画素1セル構造である点が異なっている。以下、異なる点を中心に説明する。
まず、固体撮像素子20の構成例について説明する。
図6Aは、実施の形態2に係る固体撮像素子20の構成例を示すブロック図である。また、同図は、図2Aと比べて、画素部100が備える光電変換部101の個数が2つではなく1つである点が異なっている。これ以外は、図2Aと同様である。
次に、画素部100の構成例について説明する。
図6Bは、実施の形態2に係る固体撮像素子20における画素部100の構成例を示す図である。同図は、図2Bと比べて、画素部100あたり、1つの光電変換部101と1つの読み出しゲート32と1つの露光制御ゲート36と1つオーバーフロードレイン37とからなる組み合わせが2つではなく、1つである点が異なっている。また、垂直転送部102は、1つの画素部100あたり8種類の垂直転送ゲート33を備える。8種類の垂直転送ゲート33は、VG1~VG7、VHである。これにより、垂直転送部102は、1つの光電変換部101あたり、第1~第4の電荷蓄積部P1~P4としての4つのパケットを形成する。4つのパケットは、垂直転送ゲートVG2、VG4、VG6、VHによりそれぞれ形成可能である。
次に、実施の形態2に係る撮像装置10の撮像動作例について説明する。本実施の形態における撮像動作例は、図3で説明した動作例と同じである。ただし、垂直転送部102における第1~第4の電荷蓄積部P1~P4の位置が少し異なっている。
図7は、実施の形態2に係る固体撮像素子の画素部における第1~第4の単位露光処理の動作例を示す図である。同図は、図4と比べて、各単位露光処理で2つではなく1つの光電変換部101から信号電荷が垂直転送部102に転送される点と、パケットが形成される垂直転送ゲート33の位置が異なっている。これ以外は、図4と同じである。
このような実施の形態2に係る撮像装置10によれば、実施の形態1と同じ効果を奏することができる。
なお、図6Aおよび図6Bに示した固体撮像素子20の代わりCCD型のイメージセンサを用いてもよい。
(実施の形態3)
実施の形態1および実施の形態2では、固体撮像素子としてCMOS型とCCD型のハイブリッド構造をもつイメージセンサを用いて説明したが、固体撮像素子20は、それに限定されるものではなく、その他のイメージセンサ(一例として、CCD型イメージセンサ)であってもよい。実施の形態3では、固体撮像素子20としてCMOS型のイメージセンサの例について説明する。
まず、固体撮像素子20の構成例について説明する。
図8Aは、実施の形態3に係る固体撮像素子20の構成例を示すブロック図である。この固体撮像素子20は、二次元上に配置された複数の画素部100と、複数の画素部100の列毎に配置された垂直信号線107と、垂直走査部120と、列処理部108と、水平走査部109、出力バッファ110とを備える。
複数の画素部100は、オーバーフロードレイン構造の光電変換部101を備え、グローバルシャッター動作が可能になっている。
列処理部108、水平走査部109および出力バッファ110は、図2Aと同様である。
垂直走査部120は、画素部100を行単位で走査する。走査により選択された行の画素部100は、垂直信号線107から画素信号を出力する。
次に、画素部100の構成例について説明する。
図8Bは、実施の形態3に係る固体撮像素子における画素部の構成例を示す図である。同図のように画素部100は、光電変換部101、2つの露光制御ゲート56、2つのオーバーフロードレイン57、読み出しゲート52a~52d、保持ゲート53a~53d、出力制御ゲート58a~58d、浮遊拡散層54L、54R、読み出し回路55L、55Rを備える。
光電変換部101は、受光量に応じた信号電荷を発生する。
2つの露光制御ゲート56および2つのオーバーフロードレイン57は、光電変換部101の信号電荷を排出する。これにより、全画素部100が同時刻に露光を開始するグローバルシャッター動作を可能にする。
読み出しゲート52a~52dおよび保持ゲート53a~53dは、第1~第4の電荷蓄積部を構成する。図8Bの第1~第4の電荷蓄積部P1~P4は、固定的な領域である点で、図2Bおよび図6Bに示した第1~第4の電荷蓄積部P1~P4とは異なっている。
出力制御ゲート58a、58cは、保持ゲート53a、53c(つまり第1、第3の電荷蓄積部)に蓄積された信号電荷を浮遊拡散層54Lに転送するためのゲート電極である。
出力制御ゲート58b、58dは、保持ゲート53b、53d(つまり第2、第4の電荷蓄積部)に蓄積された信号電荷を浮遊拡散層54Rに転送するためのゲート電極である。
浮遊拡散層54L、読み出し回路55Lは、浮遊拡散層54Lの信号電荷を電圧信号に変換して垂直信号線107Lに出力する。
浮遊拡散層54R、読み出し回路55Rは、浮遊拡散層54R信号電荷を電圧信号に変換して垂直信号線107Rに出力する。
垂直信号線107Lおよび107Rは、電気的に接続された実質的に同じ信号線でもよいし、独立した信号線でもよい。
次に、実施の形態3に係る撮像装置10の撮像動作例について説明する。本実施の形態における撮像動作例は、図3で説明した動作例と同じである。ただし、第1~第4の電荷蓄積部P1~P4が固定的な領域である点が異なっている
実施の形態1では、固体撮像素子としてCCD型イメージセンサならびにCMOS型とCCD型のハイブリッド構造をもつイメージセンサを用いて説明したが、本開示に用いられる固体撮像素子20は、それに限定されるものではなく、その他のイメージセンサ(一例として、CMOS型イメージセンサ、または、光電変換膜を備えるイメージセンサ)を用いることができる。
以上説明してきたように実施の形態3に係る撮像装置10において、固体撮像素子20は、CMOS型である。
(その他の実施の形態)
以上、本開示の撮像装置及び固体撮像素子について、上記実施の形態及びその変形例に基づいて説明してきたが、本開示の撮像装置及び固体撮像素子は、上記実施の形態及びその変形例に限定されるものではない。上記実施の形態及びその変形例における任意の構成要素を組み合わせて実現される別の実施の形態や、上記実施の形態及びその変形例に対して本開示の主旨を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例や、本開示の撮像装置及び固体撮像素子を内蔵した各種機器も本開示に含まれる。
本開示に係る撮像装置は、同一画面内の近くで反射率の高い被写体から遠くで反射率の低い被写体まで幅広い反射率の被写体を精度よく3次元の検知、測定が実現できるため、例えば、ポイントクラウドなど、人物、建物、人体や動植物の器官・組織などの形態を立体検出、表示、描写や、視線方向検出、ジェスチャー認識、顔認証、障害物検知、路面検知などに有用である。
1 光源部
2 撮像部
3 制御部
4 信号処理部
10 撮像装置
20 固体撮像素子
32 読み出しゲート
33 垂直転送ゲート
34 浮遊拡散層(フローティング・ディフュージョン)
35 読み出し回路
36 露光制御ゲート
37 オーバーフロードレイン
38 垂直転送チャネル
40 出力制御ゲート
52、52a~52d 読み出しゲート
53、53a~53d 保持ゲート
54、54L、54R 浮遊拡散層
55、55L、55R 読み出し回路
56 露光制御ゲート
57 オーバーフロードレイン
58、58a~58d 出力制御ゲート
100 画素部
101 光電変換部(フォトダイオード)
102 垂直転送部
106 読み出し部
107、107L、107R 垂直信号線
108 列処理部
109 水平走査部
110 出力バッファ

Claims (12)

  1. 発光を指示する第1パルスと、露光を指示する第2パルスと、を発生する制御部と、
    前記第1パルスに従って発光する光源部と、
    前記第2パルスに従って露光を行う固体撮像素子を備える撮像部と、
    信号処理部と、
    を備える撮像装置であって、
    前記固体撮像素子は、露光した光を信号電荷に変換する光電変換部と、前記信号電荷を蓄積する複数の電荷蓄積部と、を含む画素部を有し、
    前記画素部は、
    前記第1パルスから第1の遅延時間だけ遅れる前記第2パルスを用いる第1露光処理及び第3露光処理と、前記第1パルスから第2の遅延時間だけ遅れる前記第2パルスを用いる第2露光処理と、により得られるそれぞれの前記信号電荷を、前記複数の電荷蓄積部のうちの異なる電荷蓄積部に蓄積し、
    前記第1、第2および第3露光処理は同順で処理され
    前記信号処理部は、前記第1から第3露光処理により得られるそれぞれの信号電荷を用いて画素毎の距離信号を算出し、
    前記第2の遅延時間は、前記第1の遅延時間よりも、時間が長く、
    近くで高い反射率の対象物でも飽和せず、遠くの対象物及び反射率の低い対象物でも露光量低下に起因するS/N劣化が起きないように、前記第1露光処理による露光時間と前記第3露光処理による露光時間との合計が、前記第2露光処理による露光時間と等しい
    撮像装置。
  2. 前記画素部は、前記第1パルスを発生させずに前記第2パルスを発生させる第4露光処理により得られる前記信号電荷を、前記第1、第2および第3露光処理により得られる信号電荷を蓄積する前記電荷蓄積部とは異なる電荷蓄積部に蓄積する
    請求項1に記載の撮像装置。
  3. 前記第4露光処理による露光時間は、前記第2露光処理による露光時間と等しい
    請求項2に記載の撮像装置。
  4. 前記第1パルスのパルス幅は、前記第2パルスのパルス幅と同じであり、
    前記第1露光処理での前記第1パルスの数および前記第2パルスの数はそれぞれm1であり、前記m1は整数であり、
    前記第2露光処理での前記第1パルスの数および前記第2パルスの数はそれぞれm2であり、前記m2は前記m1より大きい整数であり、
    前記第3露光処理での前記第1パルスの数および前記第2パルスの数はそれぞれm3であり、前記m3は前記m2より小さい整数であり、
    前記m1と前記m3との和は前記m2と等しい
    請求項1または2に記載の撮像装置。
  5. 前記第1露光処理での前記第1パルスの数および前記第2パルスの数は、それぞれm1個であり、前記m1は整数であり、
    前記第2露光処理での前記第1パルスの数および前記第2パルスの数は、それぞれm2であり、前記m2は前記m1より大きい整数であり、
    前記第3露光処理での前記第1パルスの数および前記第2パルスの数は、それぞれm3であり、前記m3は前記m2より小さい整数であり、
    前記第4露光処理での前記第2パルスの数は、m4であり、前記m4は前記m2と等しく、
    前記m1と前記m3との和は前記m2と等しい
    請求項2に記載の撮像装置。
  6. 前記第1の遅延時間は、0以上前記第1パルスの時間幅より小さい
    請求項1~5のいずれか1項に記載の撮像装置。
  7. 前記制御部は、時系列的な前記第1露光処理~第4露光処理を1セットとする処理をN(Nは整数)回繰り返す
    請求項5に記載の撮像装置。
  8. 前記固体撮像素子は、前記画素部を含む複数の画素部の列毎に設けられた垂直転送部を有するCCD型であり、
    前記電荷蓄積部は、それぞれ、前記垂直転送部に形成される電位の井戸として形成される
    請求項2または5に記載の撮像装置。
  9. 前記固体撮像素子は、さらに、
    前記複数の画素部の列毎に設けられた垂直信号線と、
    前記複数の画素部毎に設けられ、前記電荷蓄積部から選択的に信号電荷を電圧に変換し前記垂直信号線に読み出す読出し回路と、
    を備える
    請求項8に記載の撮像装置。
  10. 前記固体撮像素子は、CMOS型である
    請求項2または5に記載の撮像装置。
  11. 発光を指示する第1パルスと、露光を指示する第2パルスと、を発生する制御部と、前記第1パルスに従って発光する光源部と、前記第2パルスに従って露光を行う固体撮像素子を備える撮像部と、を備える撮像装置に用いられる固体撮像素子であって、
    前記固体撮像素子は、露光した光を信号電荷に変換する光電変換部と、前記信号電荷を蓄積する複数の電荷蓄積部と、を含む画素部を有し、
    前記画素部は、
    前記第1パルスから第1の遅延時間だけ遅れる前記第2パルスを用いる第1露光処理及び第3露光処理と、前記第1パルスから第2の遅延時間だけ遅れる前記第2パルスを用いる第2露光処理と、により得られるそれぞれの前記信号電荷を、前記複数の電荷蓄積部のうちの異なる電荷蓄積部に蓄積し、
    前記第1、第2および第3露光処理は同順で処理され
    画素毎の距離信号が前記第1から第3露光処理により得られるそれぞれの信号電荷を用いて算出され、
    前記第2の遅延時間は、前記第1の遅延時間よりも、時間が長く、
    近くで高い反射率の対象物でも飽和せず、遠くの対象物及び反射率の低い対象物でも露光量低下に起因するS/N劣化が起きないように、前記第1露光処理による露光時間と前記第3露光処理による露光時間との合計が、前記第2露光処理による露光時間と等しい
    固体撮像素子。
  12. 撮像装置における撮像方法であって、
    前記撮像装置は、発光を指示する第1パルスと、露光を指示する第2パルスと、を発生する制御部と、前記第1パルスに従って発光する光源部と、前記第2パルスに従って露光を行う固体撮像素子を備える撮像部と、を備え、
    前記固体撮像素子は、露光した光を信号電荷に変換する光電変換部と、前記信号電荷を蓄積する複数の電荷蓄積部と、を含む画素部を有し、
    前記撮像方法は、
    前記画素部において前記第1パルスから第1の遅延時間だけ遅れる前記第2パルスを用いる第1露光処理により得られる信号電荷を前記複数の電荷蓄積部のうちの第1の電荷蓄積部に蓄積し、
    前記画素部において前記第1パルスから第2の遅延時間だけ遅れる前記第2パルスを用いる第2露光処理により得られる信号電荷を前記複数の電荷蓄積部のうちの第2の電荷蓄積部に蓄積し、
    前記画素部において前記第1パルスから前記第1の遅延時間だけ遅れる前記第2パルスを用いる第3露光処理により得られる信号電荷を前記複数の電荷蓄積部のうちの第3の電荷蓄積部に蓄積し、
    前記第1、第2および第3の電荷蓄積部のそれぞれの信号電荷を用いて画素毎の距離信号を算出し、
    前記第1、第2および第3露光処理は同順で処理され
    前記第2の遅延時間は、前記第1の遅延時間よりも、時間が長く、
    近くで高い反射率の対象物でも飽和せず、遠くの対象物及び反射率の低い対象物でも露光量低下に起因するS/N劣化が起きないように、前記第1露光処理による露光時間と前記第3露光処理による露光時間との合計が、前記第2露光処理による露光時間と等しい
    撮像方法。
JP2020534719A 2018-08-02 2019-07-31 撮像装置、それに用いられる固体撮像素子及び撮像方法 Active JP7426339B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018145926 2018-08-02
JP2018145926 2018-08-02
PCT/JP2019/030069 WO2020027221A1 (ja) 2018-08-02 2019-07-31 撮像装置、及びそれに用いられる固体撮像素子

Publications (2)

Publication Number Publication Date
JPWO2020027221A1 JPWO2020027221A1 (ja) 2021-08-02
JP7426339B2 true JP7426339B2 (ja) 2024-02-01

Family

ID=69231102

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020534719A Active JP7426339B2 (ja) 2018-08-02 2019-07-31 撮像装置、それに用いられる固体撮像素子及び撮像方法

Country Status (4)

Country Link
US (1) US11184567B2 (ja)
JP (1) JP7426339B2 (ja)
CN (1) CN112513671A (ja)
WO (1) WO2020027221A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018101049A1 (ja) * 2016-11-29 2018-06-07 パナソニックIpマネジメント株式会社 固体撮像装置及び測距撮像装置
JP2022067801A (ja) * 2020-10-21 2022-05-09 キヤノン株式会社 光電変換装置、光電変換システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015190015A1 (ja) 2014-06-09 2015-12-17 パナソニックIpマネジメント株式会社 測距装置
US20170195589A1 (en) 2014-03-03 2017-07-06 Photoneo S.R.O. Methods and Apparatus for Superpixel Modulation
WO2017150246A1 (ja) 2016-02-29 2017-09-08 パナソニックIpマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4369574B2 (ja) 1999-11-19 2009-11-25 Hoya株式会社 3次元画像検出装置
JP4989825B2 (ja) * 2001-07-19 2012-08-01 オリンパス株式会社 撮像装置
EP2402783B1 (en) * 2009-02-27 2013-10-02 Panasonic Corporation Distance measuring apparatus
US9723233B2 (en) * 2012-04-18 2017-08-01 Brightway Vision Ltd. Controllable gated sensor
WO2014002415A1 (ja) * 2012-06-28 2014-01-03 パナソニック株式会社 撮像装置
WO2014207992A1 (ja) * 2013-06-26 2014-12-31 パナソニックIpマネジメント株式会社 測距撮像装置及びその測距方法
JP6160971B2 (ja) * 2013-06-27 2017-07-12 パナソニックIpマネジメント株式会社 固体撮像素子及び測距撮像装置
JPWO2015033497A1 (ja) * 2013-09-06 2017-03-02 パナソニックIpマネジメント株式会社 固体撮像装置、撮像装置及びその駆動方法
US10063844B2 (en) * 2013-10-17 2018-08-28 Microsoft Technology Licensing, Llc. Determining distances by probabilistic time of flight imaging
CN105723239B (zh) * 2013-11-20 2020-12-18 松下半导体解决方案株式会社 测距摄像***以及固体摄像元件
DE112015005163T5 (de) * 2014-11-14 2017-07-27 Denso Corporation Flugzeitabstandsmessvorrichtung
JP6340477B2 (ja) * 2015-03-26 2018-06-06 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
CN107615093B (zh) * 2015-05-28 2021-07-06 新唐科技日本株式会社 测距摄像装置、其测距方法以及固体摄像装置
EP3330739A4 (en) * 2015-07-31 2018-08-15 Panasonic Intellectual Property Management Co., Ltd. Range imaging device and solid-state imaging device
WO2017022219A1 (ja) * 2015-08-04 2017-02-09 パナソニックIpマネジメント株式会社 固体撮像装置の駆動方法
JP6739066B2 (ja) * 2016-09-30 2020-08-12 パナソニックIpマネジメント株式会社 撮像制御装置、撮像制御方法、プログラムおよびそれを記録した記録媒体
CN108886585B (zh) * 2017-01-25 2022-01-11 松下知识产权经营株式会社 驾驶控制***以及驾驶控制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170195589A1 (en) 2014-03-03 2017-07-06 Photoneo S.R.O. Methods and Apparatus for Superpixel Modulation
WO2015190015A1 (ja) 2014-06-09 2015-12-17 パナソニックIpマネジメント株式会社 測距装置
WO2017150246A1 (ja) 2016-02-29 2017-09-08 パナソニックIpマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子

Also Published As

Publication number Publication date
WO2020027221A1 (ja) 2020-02-06
US20210160446A1 (en) 2021-05-27
JPWO2020027221A1 (ja) 2021-08-02
CN112513671A (zh) 2021-03-16
US11184567B2 (en) 2021-11-23

Similar Documents

Publication Publication Date Title
JP5635937B2 (ja) 固体撮像装置
US10277850B2 (en) Solid-state imaging device for a distance sensor transferring charges from one pixel while resetting another pixel in a same period
WO2017150246A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
JP6485674B1 (ja) 固体撮像装置、及びそれを備える撮像装置
JP6374690B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6755799B2 (ja) 撮像装置、及びそれに用いられる固体撮像装置
WO2014122714A1 (ja) 撮像装置及びその駆動方法
CN107925733B (zh) 固体摄像装置
CN110024375B (zh) 固态摄像装置和测距摄像装置
JPWO2017022220A1 (ja) 固体撮像装置
US9838611B2 (en) Image capturing apparatus for obtaining normal image and range image and control method thereof
US9794497B2 (en) Solid-state imaging device controlling read-out of signals from pixels in first and second areas
JP6160971B2 (ja) 固体撮像素子及び測距撮像装置
JP5675469B2 (ja) 測距システム
JP7426339B2 (ja) 撮像装置、それに用いられる固体撮像素子及び撮像方法
JP2008177738A (ja) 撮像装置及び撮像素子
JP6735515B2 (ja) 固体撮像装置
CN113544544A (zh) 距离图像拍摄装置以及由距离图像拍摄装置实施的距离图像拍摄方法
JP6362511B2 (ja) 撮像装置及びその制御方法
KR20230088423A (ko) 광전변환장치, 광전변환 시스템
WO2020196378A1 (ja) 距離画像の取得方法、及び、距離検出装置
WO2021172364A1 (ja) 固体撮像装置および撮像装置
JP6485725B1 (ja) 固体撮像装置、及びそれを備える撮像装置
JP7218193B2 (ja) 撮像装置
JP2023171067A (ja) 測距システム、測距装置および測距方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210122

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230612

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231019

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240122

R150 Certificate of patent or registration of utility model

Ref document number: 7426339

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150