CN114096886A - 距离图像测量装置 - Google Patents

距离图像测量装置 Download PDF

Info

Publication number
CN114096886A
CN114096886A CN202080045714.8A CN202080045714A CN114096886A CN 114096886 A CN114096886 A CN 114096886A CN 202080045714 A CN202080045714 A CN 202080045714A CN 114096886 A CN114096886 A CN 114096886A
Authority
CN
China
Prior art keywords
distance
mth
timing
control
charge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080045714.8A
Other languages
English (en)
Inventor
川人祥二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shizuoka University NUC
Original Assignee
Shizuoka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shizuoka University NUC filed Critical Shizuoka University NUC
Publication of CN114096886A publication Critical patent/CN114096886A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876—Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

距离图像传感器(10)具有：光源(11)，产生脉冲光(LP)；光源控制单元(31)，控制光源(11)；像素电路(13)，其具有：光电转换区域(21)、电荷读出区域(221～224)、电荷排出区域(23)、以及控制电极(241～244、25)；电荷转发控制单元(32)，向控制电极(241～244)输出控制脉冲(G1～G3、GD)；以及距离计算单元，读出电荷读出区域(221～224)的电压作为检测信号(S1～S4)，并基于检测信号(S1～S4)反复计算距离。电荷转发控制单元(32)将输出控制脉冲(G1)的定时设定在脉冲光(LP)产生的定时之前。

Description

距离图像测量装置
技术领域
本发明涉及针对每个像素生成包含距离信息的距离图像的距离图像测量装置。
背景技术
专利文献1公开了一种使用光的飞行时间来生成包含距离信息的距离图像的传感器装置。该传感器装置在排列在时间轴上的第一至第五帧中，将第一至第五的脉冲的列作为照射脉冲向对象物照射。该传感器装置使用来自由照射的光为起因的对象物的反射光来生成距离图像。距离图像包含与像素阵列中到对象物为止的距离相关的信息。
现有技术文献
专利文献
专利文献1：日本特开2010-32425号公报。
发明内容
发明要解决的技术问题
当对象物存在于测量装置的附近时，有时强反射光从对象物入射到测量装置中。该反射光在测量装置的内部反射后，在光检测器中入射到与对象物的像位置不同的位置。这样的入射会产生所谓的光斑(flare)。在测量装置中，光斑可能成为噪声。
本发明提供一种能够抑制光斑的影响的距离图像测量装置。
用于解决技术问题的手段
本发明的一个方式的距离图像测量装置具备：光源，产生脉冲光；光源控制单元，以定期性地反复产生脉冲光的方式控制光源；像素电路部，其具有：光电转换区域，将光转换为电荷；第一至第M(M是3以上的整数)的电荷读出区域，其与光电转换区域接近并互相分离地设置；电荷排出区域，用于排出电荷；第一至第M控制电极，其与光电转换区域和第一至第M电荷读出区域对应地设置，并接受用于在光电转换区域与第一至第M电荷读出区域之间的电荷转发的第一至第M控制脉冲；以及第M+1控制电极，其与光电转换区域和电荷排出区域对应地设置，并接受用于在光电转换区域与电荷排出区域之间的电荷转发的第M+1的控制脉冲；电荷转发控制单元，其与光源控制单元的脉冲光的产生对应地向第一至第M控制电极输出第一至第M控制脉冲，在第一至第M控制脉冲的输出期间以外的期间向第M+1控制电极输出第M+1控制脉冲；电压检测单元，在电荷转发控制单元输出第一至第M控制脉冲之后，读出像素电路部的第一至第M电荷读出区域的电压作为第一至第M检测信号；以及距离计算单元，基于第一至第M检测信号反复计算距离。电荷转发控制单元将输出第一控制脉冲的定时设定在脉冲光产生的定时之前以及输出第二至第M控制脉冲之后的至少一方。
上述的距离图像测量装置将第二至第M控制脉冲向第二至第M控制电极输出。其结果，起因于来自对象物的光而在光电转换区域中产生的电荷被转发至第二至第M电荷读出区域。由电压检测单元读出第二至第M电荷读出区域的电荷作为第二至第M检测信号。在距离计算单元中，读出的电荷用于距离的计算。另一方面，上述的距离图像测量装置将第一控制脉冲向第一控制电极输出。其中，输出第一控制脉冲的定时被设定为在脉冲光产生的定时之前以及输出了第二至第M控制脉冲之后的至少一方。根据第一控制脉冲的输出而转发至第一电荷读出区域的电荷是由背景光而引起的。也就是说，在这些定时中，由脉冲光引起的光不会入射到光电转换区域中。或者，入射到光电转换区域中的光极弱。因此，转发至第一电荷读出区域的电荷能够视为不包含光斑的影响。其结果，根据使用了表示背景光的成分的第一检测信号的校正，校正后的信号能抑制光斑的影响。因此，距离图像测量装置能够抑制光斑的影响。
在上述的方式中，电荷转发控制单元针对1帧期间内中所包含的每个第一至第N(N是2以上的整数)子帧期间，也可以以第二至第M控制脉冲相对于脉冲光产生的定时的延迟时间向不同的时间偏移的方式设定第二至第M控制脉冲的定时。根据该设定，能够进行使用了占空比小的多个时间窗口的电荷的检测。其结果，即使以各种距离测量范围的对象物为对象的情况下，也能降低检测信号中的背景光的影响。其结果，能实现距离分辨率高的距离计算。而且，也能防止由强背景光为起因的检测信号的饱和而导致的距离计算的精度的降低。
在上述的方式中，电荷转发控制单元也可以设定为，在第二至第N的子帧期间之间，第二至第M控制脉冲相对于脉冲光产生的定时的延迟时间越短，则越是降低第二至第M控制脉冲中的至少第二控制脉冲的输出次数的比率。根据该设定，在以近距离测量范围的对象物为对象的情况下能够防止检测信号的饱和。其结果，能够提高距离测量的动态范围。
在上述的方式中，电荷转发控制单元也可以进行以下动作：第一动作，设定在输出第二至第M控制脉冲之后输出第一控制脉冲的定时；以及第二动作，设定在输出第二至第M控制脉冲之后输出第一控制脉冲的定时，并且，设定在与脉冲光产生的定时同时或之后且输出第二至第M控制脉冲之前输出第一控制脉冲的定时。根据该设定，通过第一动作，能够获得包含背景光的成分的第一检测信号。通过第二动作，也能够获得包含背景光的成分并且包含来自对象物的反射光的成分的第一检测信号。因此，由于能够用于距离的计算的信号成分增加，因此能够改善距离计算的精度。
在上述的方式中，电荷转发控制单元也可以将输出第二控制脉冲的定时设定为从脉冲光产生的定时开始经过比脉冲光所持续的持续时间短的待机时间之后。根据该设定，第二控制脉冲从脉冲光产生的定时开始延迟了对应的待机时间。因此，在待机时间期间入射到光电转换区域的光斑的成分不会作为信号成分转发至第二电荷读出区域。因此，能够降低第二检测信号所受到的光斑的影响。
本发明的其他方式的距离图像测量装置，具备：光源，产生脉冲光；光源控制单元，以定期性地反复产生脉冲光的方式控制光源；像素电路部，其具有：光电转换区域，将光转换为电荷；第一至第M(M是3以上的整数)的电荷读出区域，其与光电转换区域接近且互相分离地设置；电荷排出区域，用于排出电荷；第一至第M控制电极，其与光电转换区域和第一至第M电荷读出区域对应地设置，并接受用于在光电转换区域与第一至第M电荷读出区域之间的电荷转发的第一至第M控制脉冲；以及第M+1控制电极，其与光电转换区域和电荷排出区域对应地设置，并接受用于在光电转换区域与电荷排出区域之间的电荷转发的第M+1控制脉冲；电荷转发控制单元，其与光源控制单元的脉冲光的产生对应地向第一至第M控制电极输出第一至第M控制脉冲，在第一至第M控制脉冲的输出期间以外的期间向第M+1控制电极输出第M+1控制脉冲；电压检测单元，在电荷转发控制单元输出第一至第M控制脉冲之后，读出像素电路部的第一至第M电荷读出区域的电压作为第一至第M检测信号；以及距离计算单元，基于第一至第M检测信号反复计算距离。电荷转发控制单元进行如下动作：第三动作，将输出第一控制脉冲的定时设定在脉冲光产生的定时之前以及输出第二至第M控制脉冲之后的至少一方；以及第四动作，将输出第一控制脉冲的定时设定为与脉冲光产生的定时同时或之后且输出第二至第M控制脉冲之前。
作为其他方式的距离图像测量装置与作为一个方式的距离图像测量装置同样地，在进行了使用了表示背景光的成分的第一检测信号的校正的情况下，能够抑制校正后的信号中的光斑的影响。因此，距离图像测量装置能够抑制光斑的影响。
在上述的其它方式中，电荷转发控制单元也可以将在1帧中进行的第三动作的次数设定为与第四动作的次数不同。根据该设定，能够进行降低光斑的影响的动作。
在上述的其它方式中，电荷转发控制单元也可以进行设定，使得第三动作中的第二至第M控制脉冲相对于脉冲光产生的定时的延迟时间与第四动作中的延迟时间彼此相同，并且，在1帧中进行的第三动作的次数比第四动作的次数多。根据第三动作，能够获得能够忽略光斑的影响的第一检测信号。根据第四动作，能够获得能够用于距离的计算的第一检测信号。通过进行比第四动作更多的第三动作，能够获得较多的由第三动作为起因的第一检测信号。其结果，能够获得降低了光斑的影响的计算结果。
在上述的其他方式中，电荷转发控制单元也可以进行设定，使得第三动作中的第二至第M控制脉冲相对于脉冲光产生的定时的延迟时间与第四动作中的延迟时间彼此不同，并且，在1帧中进行的第三动作的次数比第四动作的次数少。根据第三动作，能够得到能够忽略光斑的影响的第一检测信号。根据第四动作，能够得到能够用于距离的计算的第一检测信号。并且，通过进行比第三动作更多的第四动作，能够获得较多的由第四动作为起因的第一检测信号。其结果，由于用于距离的计算的信号成分增加，因此能够改善距离计算的精度。
在上述的其他方式中，电荷转发控制单元也可以进行设定，使得在1帧中进行的第三动作的次数与第四动作的次数相等。通过该设定，也能够抑制光斑的影响。
发明效果
根据本发明，提供一种能够减少光斑的影响的距离图像测量装置。
附图说明
图1是表示第一实施方式的距离图像传感器的概略结构的框图。
图2是用于说明图1的距离图像传感器的距离计算的原理的时序图。
图3是表示通过图1的距离图像传感器进行处理的各种信号的时序图，以及通过距离图像传感器计算的各种值相对于延迟时间的变化的曲线图。
图4是用于说明第一实施方式的距离图像传感器以及第二实施方式的距离图像传感器的动作的图。
图5是表示通过第二实施方式的距离图像传感器进行处理的各种信号的时序图，以及通过距离图像传感器计算的各种值相对于延迟时间的变化的曲线图。
图6是表示通过第二实施方式的距离图像传感器进行处理的各种信号的时序图，以及通过距离图像传感器计算的各种值相对于延迟时间的变化的曲线图。
图7是表示第三实施方式的距离图像传感器的概略结构的框图。
图8是通过第三实施方式的距离图像传感器进行处理的各种信号的时序图。
图9是表示图8所示的各种信号的时序图的一部分，以及通过距离图像传感器计算的各种值相对于延迟时间的变化的曲线图。
图10是通过第四实施方式的距离图像传感器进行处理的各种信号的时序图。
图11是用于说明第四实施方式的距离图像传感器的动作的图。
图12是通过第五实施方式的距离图像传感器进行处理的各种信号的时序图。
图13是表示通过第五实施方式的距离图像传感器进行处理的各种信号的时序图的一部分，以及通过距离图像传感器计算的各种值相对于延迟时间的变化的曲线图。
图14是通过第六实施方式的距离图像传感器进行处理的各种信号的时序图。
图15是通过第七实施方式的距离图像传感器进行处理的各种信号的时序图。
图16是表示通过第七实施方式的距离图像传感器进行处理的各种信号的时序图的一部分，以及通过距离图像传感器计算的各种值相对于延迟时间的变化的曲线图。
图17是表示通过第八实施方式的距离图像传感器进行处理的各种信号的时序图，以及通过距离图像传感器计算的各种值相对于延迟时间的变化的曲线图。
具体实施方式
以下，参照附图对用于实施本发明的方式详细地进行说明。在附图的说明中，对相同的要素赋予相同的符号，并省略反复的说明。
[第一实施方式]
参照图1，对本发明的距离图像测量装置的第一实施方式的距离图像传感器10的功能以及结构进行说明。距离图像传感器10利用飞行时间法针对每个像素生成包含距离信息的距离图像。距离图像传感器10具备：光源11、运算电路12、以及多个像素电路13(像素电路部)。距离图像传感器10进行基于飞行时间(TOF：Time Of Flight)方式的距离测量。光源11产生向对象物S照射的脉冲光LP。光源11具有：例如发光二极管或者激光二极管等的半导体发光元件，以及驱动该半导体发光元件的驱动电路。作为光源11，能够使用产生近红外区域、可见光区域等的波长区域的光的元件。距离图像传感器10具备多个像素电路13。多个像素电路13在二维方向(例如，列方向和行方向)上呈二维阵列状地排列。多个像素电路13构成影像传感器。多个像素电路13通过被对象物S反射脉冲光LP而生成的入射脉冲光LR进行光电转换，从而生成检测信号。距离图像传感器10还具备运算电路12。运算电路12使用由多个像素电路13生成的检测信号，针对每个像素运算与对象物S相关的距离信息。运算电路12生成并输出包含反映了每个像素的距离信息的二维图像信息的距离图像。运算电路12也可以由包括CPU、RAM、ROM、以及输入输出装置等的单片机等的专用集成电路构成。另外，运算电路12也可以由个人计算机等的通用计算机构成。
以下，对像素电路13以及运算电路12的结构详细地进行说明。
对像素电路13的结构进行说明。像素电路13由半导体元件构成。像素电路13包括：光电转换区域21、电荷读出区域221～223，电荷排出区域23、控制电极241～243、控制电极25、以及电压检测单元261～263。光电转换区域21将入射脉冲光LR转换为电荷。电荷读出区域221～223以及电荷排出区域23接近光电转换区域21。而且，电荷读出区域221～223以及电荷排出区域23彼此分离。控制电极241～243以及控制电极25分别与电荷读出区域221～223以及电荷排出区域23对应地设置。控制电极241～243以及控制电极25接受用于在光电转换区域21与各自区域之间的电荷转发的控制脉冲。电压检测单元261～263分别从电荷读出区域221～223读出检测信号。电压检测单元261～263例如是包含源跟随放大器的放大器。电压检测单元261～263通过来自运算电路12的控制，选择性地检测并放大以各个电荷读出区域221～223的基准电位为基准的电压。电压检测单元261～263将放大后的电压作为检测信号输出至运算电路12。
像素电路13例如形成于硅基板等的p型半导体基板上。光电转换区域21设置在像素形成区域的中央部。像素形成区域形成于p型半导体基板上。像素形成区域具有：由p型的半导体构成的活性区域形成层、n型的表面嵌入区域、p型的固定层以及绝缘膜。以接近光电转换区域21的方式在相互分离的位置形成有杂质浓度高于n型的表面嵌入区域的n型的电荷读出区域221～223以及电荷排出区域23。从绝缘膜上的光电转换区域21至电荷读出区域221～223以及电荷排出区域23的每一个的电荷移动路径上分别设置有控制电极241～243、25。控制电极241～243、25可以分别设置于电荷移动路径上。控制电极241～243、25也可以以从两侧夹持电荷移动路径的方式分离地设置于多个电极部。
运算电路12向控制电极241～243、25输出相位彼此不同的控制脉冲。由此，使表面嵌入区域的耗尽电位依次变化。因此，依次形成向电荷移动路径的任一个输送电荷的电位梯度。其结果，使在光电转换区域21的表面嵌入区域产生的多数载体(电荷)向电荷读出区域221～223以及电荷排出区域23中的任一个移动。
接下来，对运算电路12的结构进行说明。运算电路12作为功能性的结构元件，其包括：光源控制单元31、电荷转发控制单元32、距离数据有效性判定信号生成单元33、距离数据有效性判定单元34、无效像素识别值生成单元35、距离计算参照信号生成单元36、距离计算参照信号选择单元37、以及距离图像生成单元38。距离数据有效性判定信号生成单元33、距离数据有效性判定单元34、无效像素识别值生成单元35、距离计算参照信号生成单元36、距离计算参照信号选择单元37、以及距离图像生成单元38构成本实施方式的距离计算单元。
运算电路12的光源控制单元31用于控制基于光源11的脉冲光LP的定时、脉冲光LP的强度、以及脉冲光LP的脉冲宽度。具体而言，光源控制单元31在预先设定的距离计算的反复期间即1帧期间内定期地反复产生持续时间T0(第一持续时间)的脉冲光LP。电荷转发控制单元32向控制电极241～243、25分别输出控制脉冲G1～G3以及控制脉冲GD。即，电荷转发控制单元32在与持续时间T0对应的持续时间T1(第二持续时间)期间向控制电极241～243输出控制脉冲G1～G3。输出控制脉冲G1～G3的定时与1帧期间内的脉冲光LP的各自的产生的定时对应。在本实施方式中，持续时间T1也可以与持续时间T0相等。电荷转发控制单元32在去除输出控制脉冲G1～G3的定时以外的期间，将控制脉冲GD输出至控制电极25。控制脉冲GD使蓄积于光电转换区域21的电荷向电荷排出区域23排出。
在将使用了脉冲光LP的飞行时间的距离计算的分辨率设为15cm的情况下，如果将该分辨率换算为飞行时间则相当于1纳秒。为了实现该分辨率，需要具有皮秒的量级的时间精度的控制单元作为基准。因此，电荷转发控制单元32和光源控制单元31需要考虑与像素电路13一体形成的布线电容等的设计。因此，优选电荷转发控制单元32以及光源控制单元31形成于与像素电路13一体的半导体上。此外，“一体的半导体”也包括使用SOI(SiliconOn Insulator)技术或TSV(Through Silicon Via)技术而层叠的多个半导体层中的不同的半导体。具体而言，电荷转发控制单元32、电荷转发控制单元32与控制电极241～243、25之间的电路、以及电荷转发控制单元32与光源控制单元31之间的电路的一部分也可以形成于与像素电路13相同的半导体上。另外，这些也可以形成于与像素电路13一起层叠的半导体层上。
运算电路12的距离计算单元针对作为预先设定的距离计算的反复期间的每1帧反复执行每个像素电路13的距离的计算。距离计算单元反复生成包含距离信息的距离图像。距离数据有效性判定信号生成单元33基于与脉冲光LP的定时对应地从像素电路13输出的检测信号S1～S3，生成距离数据有效性判定信号SA12。距离数据有效性判定信号SA12是从去除了检测信号S2、S3中的背景光的信号成分的入射脉冲光LR产生的电荷的信号成分的合计值。距离数据有效性判定信号SA12表示检测信号S2、S3是否为较强地反映了入射脉冲光LR的信号。距离数据有效性判定信号SA12是用于判定基于检测信号S2、S3的距离的计算是否有效的信号。距离数据有效性判定单元34基于距离数据有效性判定信号SA12，来判定基于检测信号S2、S3的距离的计算是否有效。具体而言，距离数据有效性判定单元34将距离数据有效性判定信号SA12与规定的阈值(第一阈值)Th1进行比较。距离数据有效性判定单元34在比较的结果为距离数据有效性判定信号SA12超过阈值Th1的情况下，判定距离的计算有效。另一方面，距离数据有效性判定单元34在比较的结果为距离数据有效性判定信号SA为阈值Th1以下的情况下，判定距离的计算无效。无效像素识别值生成单元35基于距离数据有效性判定单元34的判定结果，生成识别值。识别值表示针对与像素电路13对应的每个像素的距离的计算是否无效。
距离计算参照信号生成单元36基于与脉冲光LP的定时对应地从像素电路13输出的检测信号S2、S3，生成作为距离的计算的基础的距离计算参照信号DA12。具体而言，距离计算参照信号生成单元36利用两个检测信号S2、S3的差与距离数据有效性判定信号SA12之比，生成距离计算参照信号DA12。距离计算参照信号选择单元37基于距离计算参照信号DA12来判定对象物S的位置是否包含在可测量的范围中。距离计算参照信号选择单元37在判定的结果为包含在可测量的范围中的情况下，将距离计算参照信号DA12作为有效的值向距离图像生成单元38输出。例如，距离计算参照信号选择单元37将距离计算参照信号DA12的值与规定的阈值(第二、第三阈值)Th2、Th3进行比较。距离计算参照信号选择单元37根据该比较结果来判定距离计算参照信号DA12是有效或者无效。距离图像生成单元38在判定为距离计算有效的情况下，参照距离计算参照信号DA12来计算距离信息。然后，距离图像生成单元38生成包含与各像素电路13对应的距离信息的距离图像。距离图像被输出至外部装置。作为输出目的地的外部装置，可举例：例如，显示装置、通信界面装置等的输出设备。距离图像生成单元38能够在表示距离信息为无效的识别值所生成的像素中埋入无效值。另外，距离图像生成单元38对于判定为距离计算参照信号DA12未包含在可测量的范围中的像素，可以在距离图像中埋入无效值。
图2是用于说明距离图像传感器10的距离计算的原理的时序图。在图2中，示出了通过距离图像传感器10控制的各种信号的定时。而且，在图2中，示出了像素电路13的各区域内电荷蓄积的定时。在图2中从上依次表示脉冲光LP的定时、控制脉冲G1～G3的定时、控制脉冲GD的定时以及电荷读出区域221～223中的电荷蓄积的定时。这样，与脉冲光LP的持续时间T0的定时对应地以控制脉冲G2～G3互相不重叠的方式在持续时间T0输出。此外，在未输出控制脉冲G1、G2、G3的定时输出控制脉冲GD。根据这样的控制，通过对入射脉冲光LR进行光电转换从而蓄积于光电转换区域21的电荷以与入射脉冲光LR相对于脉冲光LP的延迟时间TD对应的比率分配到两个电荷读出区域222、223。另一方面，控制脉冲G1的定时比脉冲光LP的定时更早。其结果，在电荷读出区域221中，在由控制脉冲G1规定的时间窗口下仅输送由背景光以及暗电流等的噪声为起因的电荷量NB的电荷。对此，在电荷读出区域222中，在由控制脉冲G2规定的时间窗口下，被输送对电荷量NB加上与延迟时间TD对应地分配的电荷量Nsm1的电荷。另一方面，在电荷读出区域223中，在由控制脉冲G3规定的时间窗口下，被输送对电荷量NB加上与延迟时间TD对应地分配的电荷量Nsm2的电荷。利用这样的现象，在距离图像传感器10的运算电路12中，根据脉冲光LP的各自的定时，计算去除了电荷量NB的电荷量Nsm1与去除了电荷量NB的电荷量Nsm2之间的比率。其结果，距离图像传感器10的运算电路12能够计算与延迟时间TD对应的对象物S的距离。
接下来，对基于距离图像传感器10的距离计算的步骤进行详细地说明。以下说明的距离图像测量方法也称为“3抽头1区方式”。
图3是表示通过距离图像传感器10进行处理的各种信号的时序图，以及计算出的各种值相对于延迟时间TD的变化的曲线图。图3(a)至图3(f)以实际时间(t)为基准。另一方面，图3(g)至图3(n)以延迟时间TD为基准。延迟时间TD是以脉冲光LP的持续时间T0标准化的值。延迟时间TD是脉冲光LP被对象物S反射而入射到光电转换区域21，电荷从光电转换区域21进入到电荷读出区域221～223的时间。换言之，图3(g)至图3(n)以将到对象物S为止的往返距离除以光速后得到的时间为基准。也就是说，延迟时间TD的轴是与到对象物S为止的距离成比例的时间的轴。在图3(a)至图3(d)中示出了控制脉冲G1～G3、GD的定时。在图3(e)中，示出了脉冲光LP射出的定时。将该定时称为“脉冲光LP的定时”。另外，在图3(e)中，示出了入射脉冲光LR入射到光电转换区域21中的定时。将该定时称为“入射脉冲光LR的定时”。在图3(f)中，示出了杂散光LF入射到光电转换区域21中的定时。将该定时称为“杂散光LF的定时”。在图3(g)至图3(i)中，示出了检测信号S1～S3的值。图3(j)中，示出了差分值S3-2的值。在图3(k)中，示出了距离数据有效性判定信号SA12的值。在图3(l)中，示出了距离计算参照信号DA12的值。在图3(m)中，示出了数据有效范围。在图3(n)中，示出了可测量范围。
距离图像传感器10开始距离图像的生成处理。光源控制单元31在1帧的期间内控制脉冲光LP的定时(光源控制步骤)。另外，电荷转发控制单元32在1帧的期间内控制输出控制脉冲G1～G3、GD的定时(电荷转发控制步骤)。详细而言，首先，电荷转发控制单元32将控制脉冲G1～G3、GD的持续时间设定为T1＝T0。接下来，电荷转发控制单元32在t＝-2～-1的期间输出控制脉冲G1。此外，电荷转发控制单元32可以使开始控制脉冲G1的输出的定时与t＝-2严格一致，也可以从t＝-2稍微延迟。接下来，电荷转发控制单元32在t＝-1～0的期间输出控制脉冲GD。接下来，电荷转发控制单元32在t＝0～1的期间输出控制脉冲G2。而且，光源控制单元31在大致t＝0～+1的期间，使脉冲光LP从光源11射出。更严格地说，光源控制单元31将开始脉冲光LP的射出的定时设定为稍微早于t＝0。这样，在从开始脉冲光LP的射出的定时到开始控制脉冲G2的输出的定时为止的期间，存在待机时间TSB。接下来，电荷转发控制单元32在t＝+1～+2的期间输出控制脉冲G3。而且，电荷转发控制单元32在t＝+2以后的期间输出控制脉冲GD。之后，各像素电路13的电压检测单元261～263读出检测信号S1～S3。将这些检测信号S1～S3向运算电路12输出(电压检测步骤)。
此外，电荷转发控制单元32将输出控制脉冲G2的定时设定在从脉冲光LP产生的定时起经过待机时间TSB之后。待机时间TSB比脉冲光LP所持续的持续时间T0短。根据该设定，控制脉冲G2从脉冲光LP产生的定时起延迟待机时间TSB。因此，在待机时间TSB期间入射到光电转换区域21的杂散光LF不会作为检测信号S2的一部分转发至电荷读出区域222。因此，能够降低检测信号S2所受到的杂散光LF的影响。
接下来，运算电路12基于从像素电路13输出的检测信号S1～S3，计算每个像素的距离信息(距离计算步骤)。即，距离数据有效性判定信号生成单元33基于检测信号S1～S3，使用下述式(1)、(2)，来计算距离数据有效性判定信号SA12的值。
S3-2＝S3-S2…(1)
SA12＝S3+S2-2S1…(2)
在上述式(1)、(2)中，检测信号S1～S3所示的信号的值(电压值)用符号“S1”、“S2”、“S3”表示。在以下的说明中也是同样的。距离数据有效性判定信号SA12的值是从检测信号S2、S3的值的合计值中去除了电荷量NB的成分后的值。电荷量NB的成分是由背景光以及暗电流等的噪声而引起的。电荷量NB的成分与检测信号S1对应。距离数据有效性判定信号SA12的值是检测信号S2、S3中反映了入射脉冲光LR的成分的合计值。距离数据有效性判定单元34将距离数据有效性判定信号SA12的值与阈值Th1进行比较。距离数据有效性判定单元34判定使用了检测信号S2、S3的距离的计算是有效或者无效。具体而言，距离数据有效性判定单元34判定具有大于阈值Th1的值的距离数据有效性判定信号SA12的期间。由此，图3(m)所示的范围被判定为距离的计算是有效的范围。换言之，判定为这些范围是“数据有效范围”。
接下来，距离计算参照信号生成单元36使用下述式(3)，来计算距离计算参照信号DA12的值。
DA12＝0.5+S3-2/(2SA12)…(3)
接下来，距离计算参照信号选择单元37判定距离计算参照信号DA12的值是否处于规定范围中。换言之，距离计算参照信号选择单元37判定对象物S是否处于可测量的范围中。距离计算参照信号选择单元37设定用于判定距离计算参照信号DA12的阈值Th2、Th3。例如，阈值Th2是0.01。另外，阈值Th3是0.99。然后，距离计算参照信号选择单元37获取距离计算参照信号DA12是阈值Th2以上且阈值Th3以下的时间的范围作为可测量范围(Th2≤DA12≤Th3)。其结果，获取t＝0.31～1.29作为可测量范围。通过这样的判定，能够从距离计算中去除对象物S过近而入射脉冲光LR从检测信号S2的时间窗口偏离而导致距离计算参照信号DA12的值未反映距离的情况。而且，也能够从距离计算中去除对象物S过远而入射脉冲光LR从检测信号S3的时间窗口偏离而导致距离计算参照信号DA12的值未反映距离的情况。
最后，距离图像生成单元38基于判定为位于“数据有效范围”并且位于“可测量范围”的距离计算参照信号DA12，来计算对象物S的距离。其结果，生成并输出包含各像素的距离信息的距离图像。
上述的距离图像传感器10将控制脉冲G2、G3向控制电极242、243输出。其结果，由来自对象物S的入射脉冲光LR为起因而在光电转换区域21产生的电荷被转发至电荷读出区域222、223。电荷读出区域222、223的电荷由电压检测单元262、263读出作为检测信号S2、S3。读出的检测信号S2、S3在运算电路12中用于距离的计算。
其中，在由脉冲光LP为起因的光中，存在脉冲光LP在对象物S中反射而入射到距离图像传感器10中的入射脉冲光LR。入射脉冲光LR从对象物S直接入射到成像该像的位置处的像素所具备的光电转换区域21。换言之，入射脉冲光LR从对象物S到光电转换区域21为止不会再进一步反射。因此，入射脉冲光LR能够作为计算从对象物S到距离图像传感器10为止的距离的依据。
在由脉冲光LP为起因的光中，还存在杂散光LF。杂散光LF是指，在对象物S中反射的光进一步在与对象物S不同的物体中反射的光。杂散光LF例如有时通过配置在对象物S与距离图像传感器10之间的透镜的反射而产生。另外，杂散光LF有时也通过容纳该透镜以及距离图像传感器10等的壳体51的反射而产生。在本实施方式中，由于杂散光LF是脉冲光LP在存在于距离图像传感器10的极近距离的物体反射而成的光，因此影响特别大。其影响特别大。这种杂散光LF入射的位置不与对象物S的位置对应。因此，杂散光LF不能作为计算从对象物S到距离图像传感器10为止的距离的依据。若杂散光LF入射到位于与成像对象物S的位置不同的位置的像素所具备的光电转换区域21，则产生光斑。也就是说，本实施方式中所说的杂散光LF是指，不能作为距离计算的依据而在距离计算中可能成为噪声的噪声光。
因此，第一实施方式的距离图像传感器10将多抽头中的一个抽头的时间窗口(控制脉冲G1)设定为从脉冲光LP的产生定时起以时间方式偏移的位置。在该时间窗口(控制脉冲G1)中获得的检测信号S1用于校正背景光。在其他时间窗口(控制脉冲G2、G3)中获得的检测信号S2、S3用于测量距离。
更详细而言，距离图像传感器10将控制脉冲G1向控制电极241输出。输出控制脉冲G1的定时早于脉冲光LP产生的定时。根据该定时，由脉冲光LP为起因的入射脉冲光LR不会入射到光电转换区域21。另外，杂散光LF也不会入射到光电转换区域21中。也就是说，根据控制脉冲G1的输出而转发至电荷读出区域221的电荷是由背景光而引起的。因此，转发至电荷读出区域221的电荷可以视为不包含光斑的影响。其结果，根据使用了表示背景光的成分的检测信号S1的校正，能够视为校正后的信号不受到光斑的影响。因此，距离图像传感器10能够抑制光斑的影响。
[第二实施方式]
使第一实施方式的距离图像传感器10基于图3所示的定时进行动作。如图4(a)所示，第一实施方式的距离图像传感器10在基于运算电路12的距离计算的反复期间即1帧期间(Tf)中，反复执行图3所示的动作。根据该动作，距离图像传感器10的测量范围仅是一个范围。第二实施方式的距离图像传感器10将测量范围扩大为2个以上。测量范围的扩大能够通过导入子帧的方法来实现。
也就是说，第二实施方式的距离图像传感器10采用近距离用的子帧以及长距离用的子帧。第二实施方式的距离图像传感器10通过合成针对每个子帧获得的结果，来进行距离测量。
如图4(b)以及图4(c)所示，1帧期间(Tf)也可以包含2个以上的子帧期间SZ1、SZ2、SZ3以及与它们分别对应的读出期间R。子帧期间SZ1将与距离图像传感器10相距的距离相对较近的对象物S作为测量对象。子帧期间SZ3将与距离图像传感器10相距的距离相对较远的对象物S作为测量对象。通过以脉冲光LP的产生定时为基准的控制脉冲G2、G3的定时来控制测量范围。
例如，在子帧期间SZ1中，距离图像传感器10按照图3所示的定时进行动作。在以位于比子帧期间SZ1更远的位置的对象物S为对象的子帧期间SZ2中，距离图像传感器10按照图5所示的定时进行动作。在以位于比子帧期间SZ2更远的位置的对象物S为对象的子帧期间SZ3中，距离图像传感器10按照图6所示的定时进行动作。
图5以及图6是表示通过距离图像传感器10进行处理的各种信号的时序图，以及计算的各种值相对于延迟时间TD的变化的曲线图。在图5(a)至图5(d)以及图6(a)至图6(d)中，示出了控制脉冲G1～G3、GD的定时。在图5(e)以及图6(e)中，示出了脉冲光LP的定时和入射脉冲光LR的定时。在图5(f)以及图6(f)中，示出了杂散光LF的定时。在图5(g)至图5(i)以及图6(g)至图6(i)中，示出了检测信号S1～S 3的值。在图5(j)以及图6(j)中，示出了差分值S3-2的值。在图5(k)以及图6(k)中，示出了距离数据有效性判定信号SA12的值。在图5(l)以及图6(l)中，示出了距离计算参照信号DA12的值。在图5(m)以及图6(m)中，示出了数据有效范围。在图5(n)以及图6(n)中，示出了可测量范围。
在图5中，在从t＝+1到+3的期间，入射脉冲光LR入射到光电转换区域21中。也就是说，入射脉冲光LR的定时晚于图3所示的入射脉冲光LR的定时。换言之，图5的延迟时间TD比图3的延迟时间TD长。因此，为了捕捉该入射脉冲光LR，控制脉冲G2的定时被设定在t＝+1～+2的期间中。控制脉冲G3的定时被设定在t＝+2～+3的期间中。然后，利用检测信号S1～S3，获得距离数据有效性判定信号SA12以及距离计算参照信号DA12。计算的内容与第一实施方式相同。然后，距离计算参照信号选择单元37判定距离计算参照信号DA12的值是否处于由阈值Th2、Th3规定的规定范围中。在该实施方式中，阈值Th2是1.01。另外，阈值Th3是1.99。也就是说，规定范围是1.01以上且1.99以下。因此，距离计算参照信号选择单元37判定距离计算参照信号DA12的值是否为1.01以上且1.99以下(Th2≤DA12≤Th3)。其结果，获得t＝1.21～2.19作为可测量范围。
在图6中，捕捉由位于更远的距离的对象物S为起因的入射脉冲光LR。若对象物S与距离图像传感器10之间的距离变大，则从脉冲光LP射出开始到入射脉冲光LR入射到光电转换区域21为止的时间变长。例如，在图6的例子中，在从t＝+2到+4的期间，入射脉冲光LR入射到电转换区域21。也就是说，入射脉冲光LR的定时晚于图3以及图5所示的入射脉冲光LR的定时。换言之，图6的延迟时间TD比图3以及图5的延迟时间TD长。因此，为了捕捉入射脉冲光LR，控制脉冲G2的定时被设定在t＝+2～+3的期间。控制脉冲G3的定时被设定在t＝+3～+4的期间。利用检测信号S1～S3，获得距离数据有效性判定信号SA12以及距离计算参照信号DA12。距离计算参照信号选择单元37判定距离计算参照信号DA12的值是否处于由阈值Th2、Th3规定的规定范围中。在该实施方式中，阈值Th2是2.01。阈值Th3是2.99。规定范围为2.01以上且2.99以下。因此，距离计算参照信号选择单元37判定距离计算参照信号DA12的值是否为2.01以上且2.99以下(Th2≤DA12≤Th3)。其结果，获得t＝2.11～3.09作为可测量范围。
最后，距离图像生成单元38在判定为距离计算参照信号DA12处于“数据有效范围”中且判定为处于“可测量范围”的情况下，基于距离计算参照信号DA12，来计算对象物S的距离。
根据第二实施方式的动作，能够将由入射脉冲光LR产生的电荷量分配给多个时间窗口。多个时间窗口与三种子帧期间SZ1、SZ2、SZ3的检测信号S2、S3对应。其结果，能够扩大与延迟时间TD对应的可计算的范围。而且，也能够减小时间窗口的时间宽度。在这基础上，能够与对象物S所处的范围对应地，利用适当的距离数据参照信号的值来计算距离。因此，无论对象物S的位置如何，都能够生成精度较高的图像信号。
根据第二实施方式的动作，能够进行使用了占空比小的多个时间窗口的电荷的检测。其结果，即使在以各种距离测量范围的对象物S为对象的情况下，也能够通过检测信号S1降低检测信号S2、S3中的背景光的影响。其结果，实现距离分辨率高的距离计算。而且，还能够防止由强背景光为起因的检测信号S2、S3的饱和而导致的距离计算的误差。
[第三实施方式]
第一实施方式的距离图像传感器10采用了3抽头1区1子帧方式。第三实施方式的距离图像传感器10A还采用4抽头2时间窗口方式作为另一方式。如图7所示，距离图像传感器10A作为物理性的结构，其具有四个电荷读出区域221～224、四个控制电极241～244以及四个电压检测单元261～264。而且，距离图像传感器10A也可以使用2个以上的子帧。也就是说，距离图像传感器10A采用4个抽头以上的多抽头。而且，距离图像传感器10A对通过抽头的组合而进行了范围偏移的每个距离范围进行处理。然后，距离图像传感器10A通过合成针对每个距离范围获得的结果，来进行距离测量。
图8是通过距离图像传感器10A进行处理的各种信号的时序图。在图8(a)至图8(f)中，示出了将近距离作为测量对象范围的动作。在图8(g)至图8(l)中，示出了将中距离作为测量对象范围的动作。在图8(m)至图8(r)中，示出了将远距离作为测量对象范围的动作。
在图8(a)中，示出了脉冲光LP的定时以及由近距离的对象物S为起因的入射脉冲光LR的定时。在图8(b)至图8(f)中，示出了控制脉冲G1～G4、GD的定时。电荷转发控制单元32在t＝-2～-1的期间中输出控制脉冲G1。如图8的(c)部至(e)部所示，电荷转发控制单元32为了捕捉由近距离的对象物S为起因的入射脉冲光LR，在t＝0～+1的期间中输出控制脉冲G2，在t＝+1～+2的期间中输出控制脉冲G3，在t＝+2～+3的期间中输出控制脉冲G4。电荷转发控制单元32在未输出控制脉冲G1～G4的期间中，输出控制脉冲GD。如图8(a)所示，根据该动作，能够捕捉在t＝0～+3的期间入射的入射脉冲光LR。
在图8(g)中，示出了脉冲光LP的定时和由中距离的对象物S为起因的入射脉冲光LR的定时。图8(h)至图8(l)中，示出了控制脉冲G1～G4、GD的定时。电荷转发控制单元32在t＝-2～-1的期间输出控制脉冲G1。如图8的(i)部分至(k)部分所示，电荷转发控制单元32为了捕捉由中距离的对象物S为起因的入射脉冲光LR，在t＝+2～+3的期间输出控制脉冲G2，在t＝+3～+4的期间输出控制脉冲G3，在t＝+4～+5的期间输出控制脉冲G4。电荷转发控制单元32在未输出控制脉冲G1～G4的期间输出控制脉冲GD。如图8(g)所示，根据该动作，能够捕捉在t＝+2～+5的期间入射的入射脉冲光LR。
在图8(m)中，示出了脉冲光LP的定时和由远距离的对象物S为起因的入射脉冲光LR入射的定时。图8(n)至图8(r)中，示出了输出控制脉冲G1～G4、GD的定时。电荷转发控制单元32在t＝-2～-1的期间输出控制脉冲G1。如图8(o)至图8(q)所示，电荷转发控制单元32为了捕捉由远距离的对象物S为起因的入射脉冲光LR，在t＝+4～+5的期间输出控制脉冲G2，在t＝+5～+6的期间输出控制脉冲G3，在t＝+6～+7的期间输出控制脉冲G4。电荷转发控制单元32在未输出控制脉冲G1～G4的期间输出控制脉冲GD。如图8(g)所示，根据该动作，能够捕捉在t＝+4～+7的期间入射的入射脉冲光LR。
图9是表示通过距离图像传感器10A进行处理的各种信号的时序图，以及计算的各种值相对于延迟时间TD的变化的曲线图。图9是详细地表示图8中的近距离用的子帧的动作的图。图9(a)至图9(g)以实际时间(t)为基准。图9(h)至图9(p)以延迟时间TD为基准。在图9(a)至图9(e)中，示出了输出控制脉冲G1～G4、GD的定时。在图9(f)中，示出了脉冲光LP的定时和入射脉冲光LR的定时。在图9(g)中，示出了杂散光LF的定时。在图9(h)至图9(k)中，示出了检测信号S1～S4的值。在图9(l)中，示出了距离数据有效性判定信号SA的值。在图9(m)中，示出了差分值S24。在图9(n)中，示出了距离计算参照信号D的值。在图9(o)中，示出了数据有效范围。在图9(p)中，示出了可测量范围。
距离图像传感器10A开始距离图像的生成处理。运算电路12的光源控制单元31以及电荷转发控制单元32在1帧的期间控制输出控制脉冲G1～G4、GD的定时和脉冲光LP的定时(光源控制步骤、电荷转发控制步骤)。详细而言，首先，电荷转发控制单元32将控制脉冲G1～G4、GD的持续时间设定为T1＝T0。接下来，电荷转发控制单元32在t＝-2～-1的期间输出控制脉冲G1。接下来，电荷转发控制单元32在t＝-1～0的期间输出控制脉冲GD。接下来，电荷转发控制单元32在t＝0～+1的期间输出控制脉冲G2。接下来，电荷转发控制单元32在t＝+1～+2的期间输出控制脉冲G3。然后，电荷转发控制单元32在t＝+2～+3的期间输出控制脉冲G4。然后，电荷转发控制单元32在t＝+3以后的期间输出控制脉冲GD。然后，各像素电路13的电压检测单元261～264读出检测信号S1～S4。检测信号S1～S4被输出至运算电路12(电压检测步骤)。
接下来，运算电路12基于从各像素电路13输出的检测信号S1～S4，来计算每个像素的距离信息(距离计算步骤)。获得距离信息的计算的步骤包括：获得距离数据有效性判定信号SA的步骤；获得差分值S24的步骤；获得距离计算参照信号D的步骤；确定数据有效范围的步骤；确定可测量范围的步骤；以及获得对象物S的距离的步骤。
首先，获得距离数据有效性判定信号SA。距离数据有效性判定信号生成单元33基于检测信号S1～S4，使用下述式(4)获得距离数据有效性判定信号SA。
SA＝S4+S3+S2-3S1…(4)
接下来，使用下述式(5)获得差分值S24。
S24＝S2-S4…(5)
接下来，距离数据有效性判定单元34通过将距离数据有效性判定信号SA的值与阈值Th1进行比较，获得数据有效范围。例如阈值Th1可以是0.5。距离数据有效性判定单元34获取采用大于阈值Th1的值的距离数据有效性判定信号SA的范围作为数据有效范围。根据图9(l)以及图9(o)，数据有效范围的下限是t＝-1～0的期间。数据有效范围的上限是t＝2～3的期间。
接下来，距离计算参照信号生成单元36基于下述式(6)，获得距离计算参照信号D。
D＝1-S24/SA…(6)
距离计算参照信号选择单元37判定距离计算参照信号D的值是否处于由阈值Th2、Th3规定的规定范围中。在该实施方式中，阈值Th2是0.01。阈值Th3是1.99。规定范围是0.01以上且1.99以下。因此，距离计算参照信号选择单元37判定距离计算参照信号D的值是否在0.01以上且1.99以下(Th2≤D≤Th3)。其结果，获得t＝0.21～2.19作为可测量范围。
距离图像传感器10A也与距离图像传感器10同样地，将输出控制脉冲G1的定时设定为早于脉冲光LP的定时。其结果，距离图像传感器10A能够抑制光斑的影响。
[第四实施方式]
第四实施方式的距离图像传感器10A与第三实施方式的距离图像传感器10A同样地，采用4抽头2时间窗口方式。第三实施方式的距离图像传感器10A始终提供用于测量距离的控制脉冲G2～G4。但是，控制脉冲G2～G4也不一定总是有必要提供。例如，当反复执行图8所示的动作时，在一部分的动作中，也可以省略控制脉冲G2～G4的一部分。这样，将省略控制脉冲G2～G4的动作称为“间隔剔除动作”。以下，参照图10以及图11，对第四实施方式的距离图像传感器10A所进行的间隔剔除动作进行详细地说明。
在图10(a)至图10(g)中，示出了波形P1的控制定时。在图10(h)至图10(n)中，示出了波形P2的控制定时。在图10(o)至图10(u)中，示出了波形P3的控制定时。在图10(a)至图10(e)，图10(h)至图10(l)以及图10(o)至图10(s)中，示出了控制脉冲G1～G4、GD的定时。在图10(f)、图10(m)以及图10(t)中，示出了脉冲光LP的定时和入射脉冲光LR的定时。在图10(g)、图10(n)以及图10(u)中，示出了杂散光LF的定时。
如图10(a)至图10(d)所示，电荷转发控制单元32输出所有的控制脉冲G1～G4作为波形P1。另一方面，如图10(h)至图10(k)所示，电荷转发控制单元32输出控制脉冲G1、G3、G4作为波形P2。电荷转发控制单元32在波形P2中不输出控制脉冲G2。电荷转发控制单元32在输出了控制脉冲G2的期间(t＝0～+1)输出控制脉冲GD。如图10(o)至图10(r)所示，电荷转发控制单元32输出控制脉冲G1、G4作为波形P3。电荷转发控制单元32在波形P3中不输出控制脉冲G2、G3。电荷转发控制单元32在输出了控制脉冲G2的期间(t＝0～+1)输出控制脉冲GD。而且，电荷转发控制单元32还在输出了控制脉冲G3的期间(t＝+1～+2)输出控制脉冲GD。
例如，如图11(a)所示，距离图像传感器10A也可以进行包含波形P1和波形P2的动作。在图11(a)所示的例子中，在8个子帧中，将1个子帧设为波形P1，将剩下的7个子帧设为波形P2。在该情况下，距离计算参照信号生成单元36基于下述的式(7)、(8)，获得距离计算参照信号D1、D2。
D1＝(S3-S1)/(S3+8S2-2S1)…(7)
D2＝(S4-S1)/(S4+S3-2S1)…(8)
另外，作为其他的例子，如图11(b)部所示，距离图像传感器10A也可以进行包含波形P1、波形P2和波形P3的动作。在图11(b)所示的例子中，在8个子帧中，将1个子帧设为波形P1，将1个子帧设为波形P2，将剩下的6个子帧设为波形P3。在该情况下，距离计算参照信号生成单元36基于下述的式(9)、(10)，获得距离计算参照信号D1、D2。
D1＝(4S3-S1)/(4S3+8S2-2S1)…(9)
D2＝(S4-S1)/(S4+4S3-2S1)…(10)
根据第四实施方式的动作，在以近距离测量范围的对象物S为对象的情况下，能够防止检测信号S1～S4的饱和。其结果，能够提高距离测量的动态范围。
更详细而言，根据第四实施方式的动作，在以近距离测量范围的对象物S为对象的情况下能够防止检测信号S1～S4的饱和。其结果，能够提高距离测量的动态范围。即，在以近距离区域的对象物S为对象的情况下，由于强入射脉冲光LR而导致产生的电子数变多，因此有可能超过像素电路13中的饱和电子数。在第四实施方式的动作中，在设定了用于近距离区域的测量的时间窗口的子帧期间中，减少基于时间窗口的电荷的间隔剔除次数。因此，能抑制产生的电子数。其结果，能够将像素电路13中产生的电子数收敛于饱和电子数的范围。因此，能够充分提高在以远距离区域的对象物S对象的情况的距离分辨率。而且，以近距离区域的对象物S为对象的情况的距离分辨率也能够维持在充分的值。
[第五实施方式]
第五实施方式的距离图像传感器10A采用4抽头4时间窗口方式。距离图像传感器10A的物理性的结构与第三实施方式的距离图像传感器10A相同。而且，第五实施方式的距离图像传感器10A也可以使用2个以上的子帧。
第五实施方式的距离图像传感器10A的控制脉冲G1的方式与第三实施方式的距离图像传感器10A等不同。例如，在第三实施方式中，控制脉冲G1在t＝-2～-1的期间始终被输出。也就是说，控制脉冲G1的定时为1个。
另一方面，如图12所示，在第五实施方式中，控制脉冲G1的定时包含2个波形P4、P5。具体而言，控制脉冲G1在t＝0～+1的期间被输出(波形P4：第四动作)。而且，控制脉冲G1在t＝+4～+5的期间(波形P5：第三动作)被输出。在第五实施方式的动作中，能选择性地执行这些波形P4、P5。然后，输出控制脉冲G1的定时由预先设定的输出比例确定。现在，采用变量K作为表示输出比例的值。变量K表示子帧的次数。
例如，如波形P4那样，在t＝0～+1的期间输出控制脉冲G1的比率是1/K。也就是说，在变量K是8的情况下，在t＝0～+1的期间，8次中仅1次输出控制脉冲G1。另一方面，如波形P5那样，在t＝+4～+5的期间输出控制脉冲G1的比率为1-1/K。也就是说，在变量K是8的情况下，在t＝+4～+5的期间，8次中仅7次输出控制脉冲G1。因此，如上所述，在第五实施方式中，在1个子帧中，控制脉冲G1不会在t＝0～+1的期间以及t＝+4～+5的期间的两者输出。该动作方式也可以说是在t＝0～+1的期间输出控制脉冲G1的比率(1/K)与在t＝+4～+5的期间输出控制脉冲G1的比率(1-1/K)之和为1的动作。
图13是表示通过距离图像传感器10A进行处理的各种信号的时序图，以及计算值相对于延迟时间TD的变化的曲线图。图13(a)至图13(g)以实际时间(t)为基准。图13(h)至图13(u)以延迟时间TD为基准。在图13(a)至图13(e)中，示出了输出控制脉冲G1～G4、GD的定时。在图13(f)中，示出了脉冲光LP的定时和入射脉冲光LR的定时。在图13(g)中，示出了杂散光LF的定时。在图13(h)至图13(k)中，示出了检测信号S1～S4的值。在图13(l)以及图13(m)中，示出了差分值S13、S24的值。在图13(n)以及图13(o)部分中，示出了距离数据有效性判定信号SA1的值以及距离计算参照信号D1的值。在图13(p)以及图13(q)中，示出了距离数据有效性判定信号SA2的值以及距离计算参照信号D2的值。在图13(r)中，示出了距离计算参照信号D3的值。在图13(s)中，示出了比较信号E1～E4的值。在图13(t)中，示出了数据有效范围。在图13(u)中，示出了可测量范围。
距离图像传感器10A开始距离图像的生成处理。运算电路12的光源控制单元31以及电荷转发控制单元32在1帧的期间内控制输出控制脉冲G1～G4、GD的定时和脉冲光LP的定时(光源控制步骤、电荷转发控制步骤)。详细而言，首先，电荷转发控制单元32将控制脉冲G1～G4、GD的持续时间设定为T1＝T0。接下来，电荷转发控制单元32在t＝0～+1的期间或者t＝+4～+5的期间的任一方中，输出控制脉冲G1。接下来，电荷转发控制单元32在t＝+1～+2的期间输出控制脉冲G2。接下来，电荷转发控制单元32在t＝+2～+3的期间输出控制脉冲G3。然后，电荷转发控制单元32在t＝+3～+4的期间输出控制脉冲G4。然后，电荷转发控制单元32在t＝+5以后的期间输出控制脉冲GD。另外，电荷转发控制单元32在未输出控制脉冲G1～G4的期间输出控制脉冲GD。然后，各像素电路13的电压检测单元261～264读出检测信号S1～S4。读出的检测信号S1～S4被输出至运算电路12(电压检测步骤)。
接下来，运算电路12基于从各像素电路13输出的检测信号S1～S4，来计算每个像素的距离信息(距离计算步骤)。获得距离信息的计算的步骤包括：获得距离数据有效性判定信号SA1、SA2的步骤；获得距离计算参照信号D1、D2、D3的步骤；选择距离计算参照信号D1、D2、D3中的任一个的步骤；以及基于选择的距离计算参照信号获得对象物S的距离的步骤。
首先，获得距离数据有效性判定信号SA1、SA2。即，距离数据有效性判定信号生成单元33基于检测信号S1～S4，使用下述式(11)至式(14)，获得距离数据有效性判定信号SA1、SA2。
S13＝S1-S3…(11)
S24＝S2-S4…(12)
SA1＝K|S13|+|S24|…(13)
SA2＝(K/(K-1))|S13|+|S24|…(14)
接下来，距离数据有效性判定单元34通过将距离数据有效性判定信号SA2的值与阈值Th1进行比较，获得数据有效范围。例如，将阈值Th1设定为0附近。其结果，获得距离数据有效性判定信号SA2与阈值Th1之间的交点作为数据有效范围的上限以及下限。也就是说，判定为图13(t)所示的范围是“数据有效范围”。
接下来，距离计算参照信号生成单元36基于下述式(15)至式(17)，来获得距离计算参照信号D1、D2、D3。
D1＝1-KS13/SA1…(15)
D2＝2-S24/SA2…(16)
D3＝3+(K/(K-1))S13/SA2…(17)
接下来，距离计算参照信号选择单元37选择距离计算参照信号D1、D2、D3中的任一个作为用于距离计算而参照的值。首先，距离计算参照信号选择单元37利用式(18)至(21)，获得比较信号E1～E4。
[数学式1]
Figure BDA0003425872050000251
[数学式2]
Figure BDA0003425872050000252
[数学式3]
Figure BDA0003425872050000253
[数学式4]
Figure BDA0003425872050000254
接下来，距离计算参照信号选择单元37使用比较信号E1～E4以及式(22)所示的判定式，选择距离计算参照信号D1、D2、D3中的任一个。
[数学式5]
Figure BDA0003425872050000255
在式(22)中，当判定结果为“100”时，距离计算参照信号选择单元37选择距离计算参照信号D1。当判定结果为“010”时，距离计算参照信号选择单元37选择距离计算参照信号D2。当判定结果为“001”时，距离计算参照信号选择单元37选择距离计算参照信号D3。
然后，距离图像生成单元38根据判定为处于选择的“数据有效范围”，并且基于根据式(22)而选择出的距离计算参照信号D1、D2、D3中的任一个，来计算对象物S的距离。
在第一实施方式中，如上所述，杂散光LF有时通过透镜或者壳体51而产生。这些物***于距光源11以及距离图像传感器10较近的距离处。因此，杂散光LF在从光源11射出脉冲光LP之后立即入射到光电转换区域21的可能性较高。因此，在第五实施方式的动作中，在杂散光LF入射的可能性较高的期间(t＝0～+1)，减少输出控制脉冲G1的频率。并且，在第五实施方式的动作中，增加在控制脉冲G4之后(t＝+4～+5)输出控制脉冲G1频率。在控制脉冲G4之后(t＝+4～+5)的期间中，由于从脉冲光LP射出开始经过了充分的时间，因此杂散光LF的强度充分衰减。因此，在控制脉冲G4之后(t＝+4～+5)的期间获得的检测信号S1抑制杂散光LF的影响。其结果，由于抑制了杂散光LF的影响的检测信号S1的比例增加，因此能够抑制计算结果受到的杂散光LF的影响。
总之，第五实施方式的动作通过减少在与近距离对应的定时输出的控制脉冲G1的数量来防止电荷的饱和。而且，第五实施方式的动作通过在与远距离对应的定时输出的控制脉冲G1而获得背景光的成分。其结果，能够使检测信号中包含的光斑的成分相对于背景光的成分相对地变小。
[第六实施方式]
如第五实施方式那样，也可以将组合输出控制脉冲G1的定时互不相同的子帧的动作设为其他方式。本来，为了抑制杂散光LF的影响，波形P5在远离脉冲光LP产生的定时的时间(t＝+4～+5)设定控制脉冲G1的定时。如在第二实施方式等中说明的那样，在将中距离以及远距离作为测量范围的情况下，输出控制脉冲G1～G4的定时晚于脉冲光LP产生的定时。也就是说，在将中距离以及远距离作为测量对象的情况下，即使按照控制脉冲G1～G4的顺序输出，杂散光LF对检测信号S1的影响也比较小。
图14中示出了第六实施方式的距离图像传感器的动作。在图14(a)～图14(f)中，示出了第一子帧的动作。在图14(h)～图14(m)中，示出了第二子帧的动作。在图14(o)～图14(t)中，示出了第三子帧的动作。另外，图14所示的“L”是整数。N1、N2、N3分别是子帧内的脉冲光LP的重复数。
第一子帧的动作包括波形P4a、P5的两种动作波形。例如，在将脉冲光LP的K次量设为1个周期而重复两种动作波形时，波形P4a进行1次，而波形P5进行(K-1)次。波形P4a在t＝0～+1的期间输出控制脉冲G1。根据波形P4a的动作，由控制脉冲G1获得的结果能够用作用于背景光的校正以及距离测量的信息。但是，t＝0～+1的期间由于与照射脉冲光LP的期间重复，因此也可能存在由控制脉冲G1得到的结果包含杂散光LF的成分的情况。另一方面，波形P5在t＝+4～+5的期间输出控制脉冲G1。该期间是在输出控制脉冲G2～G4之后。也就是说，由于充分远离了照射了脉冲光LP的定时，杂散光LF充分地衰减。因此，根据波形P5的动作，能够得到能够高精度地校正背景光的信息。另外，根据第一子帧的动作，能够捕捉在t＝0～+4的期间输入的入射脉冲光LR。
第二子帧的动作仅包含波形P4b。控制脉冲G1在t＝+3～+4的期间被输出。控制脉冲G2在t＝+4～+5的期间被输出。控制脉冲G3在t＝+5～+6的期间被输出。控制脉冲G4在t＝+6～+7的期间被输出。在未输出控制脉冲G1～G4的期间，输出控制脉冲GD。根据第二子帧的动作，能够捕捉在t＝+3～+7的期间输入的入射脉冲光LR。
第三子帧的动作仅包含波形P4c。控制脉冲G1在t＝+6～+7的期间被输出。控制脉冲G2在t＝+7～+8的期间被输出。控制脉冲G3在t＝+8～+9的期间被输出。控制脉冲G4在t＝+9～+10的期间被输出。在未输出控制脉冲G1～G4的期间，输出控制脉冲GD。根据第二子帧的动作，能够捕捉在t＝+6～+10的期间输入的入射脉冲光LR。
也就是说，在将近距离作为测量范围的情况下，在将脉冲光LP的K次量设为1个周期而重复2种动作波形时，可以将1次作为波形P4a，将剩余的(K-1)次作为波形P5。然后，在将中距离作为测量范围的情况下，反复进行波形P4b。在将远距离作为测量范围的情况下，反复进行波形P4b。
[第七实施方式]
参照图15以及图16，对第七实施方式的距离图像传感器10A的动作进行说明。距离图像传感器10A的动作也能够采用以下动作：在将在t＝0～+1的期间输出控制脉冲G1的比率与在t＝+4～+5的期间输出控制脉冲G1的比率相加的情况下，比率不为1。
具体而言，如图15所示，第七实施方式的动作包括：仅在t＝+4～+5的期间输出控制脉冲G1的情况(波形P5：第一动作)，在t＝0～+1的期间以及t＝+4～+5的期间的两者都输出控制脉冲G1的情况(波形P6：第二动作)。t＝0～+1的期间是指在与脉冲光LP产生的定时同时或之后且在输出控制脉冲G2～G4之前。根据波形P5、P6，在t＝+4～+5的期间始终输出控制脉冲G1。换言之，在t＝+4～+5的期间输出控制脉冲G1的比率是1。另一方面，在t＝0～+1的期间输出控制脉冲G1的比率是1/K。因此，在第七实施方式的动作中，在t＝0～+1的期间输出控制脉冲G1的比率(1/K)与在t＝+4～+5的期间输出控制脉冲G1的比率(1)之和是1+1/K，而不是1。
如图16所示，在第七实施方式的动作中，用于距离计算参照信号D1、D2、D3以及距离数据有效性判定信号SA1、SA2的计算的式子与第六实施方式的动作不同。第七实施方式的其他动作与第六实施方式相同。在第七实施方式中，使用下述式(23)至(27)来进行距离计算参照信号D1、D2、D3。
SA1＝K|S13|+|S24|…(23)
SA2＝|S13|+|S24|…(24)
D1＝1-KS13/SA1…(25)
D2＝2-S24/SA2…(26)
D3＝3+S13/SA2…(27)
根据第七实施方式的动作，在杂散光LF的影响小的期间(t＝+4～+5)获得检测信号S1的频率进一步增加。其结果，能够用于距离计算的检测信号S1的数量增加，因此能够进一步提高距离测量的精度。
[第八实施方式]
第三实施方式的距离图像传感器10A采用了4抽头2时间窗口方式。例如，第八实施方式的距离图像传感器也可以采用5抽头3时间窗口方式。第八实施方式的距离图像传感器作为物理性的结构，其具有5个电荷读出区域、5个控制电极以及5个电压检测单元。
图17是表示通过第八实施方式的距离图像传感器进行处理的各种信号的时序图，以及计算的各种值相对于延迟时间TD的变化的曲线图。图17(a)至图17(h)以实际时间(t)为基准。图17(i)至图17(t)以延迟时间TD为基准。在图17(a)至图17(f)中，示出了输出控制脉冲G1～G5、G D的定时。在图17(g)中，示出了脉冲光LP的定时以及入射脉冲光LR的定时。在图17(h)中，示出了杂散光LF的定时。在图17(i)至图17(m)中，示出了检测信号S1～S5的值。在图17(n)中，示出了距离数据有效性判定信号SA的值。在图17(o)中，示出了差分值S24的值。在图17(p)中，示出了差分值S35的值。在图17(q)中，示出了距离计算参照信号D2的值。在图17(r)中，示出了距离计算参照信号D3的值。在图17(s)中，示出了数据有效范围。在图17(t)中，示出了可测量范围。
距离图像传感器开始距离图像的生成处理。运算电路12的光源控制单元31以及电荷转发控制单元32在1帧的期间内控制输出控制脉冲G1～G5、GD的定时以及脉冲光LP的定时(光源控制步骤、电荷转发控制步骤)。详细而言，首先，电荷转发控制单元32将控制脉冲G1～G5、GD的持续时间设定为T1＝T0。接下来，电荷转发控制单元32在t＝-2～-1的期间，输出控制脉冲G1。接下来，电荷转发控制单元32在t＝-1～0的期间，输出控制脉冲GD。接下来，电荷转发控制单元32在t＝0～+1的期间，输出控制脉冲G2。接下来，电荷转发控制单元32在t＝+1～+2的期间，输出控制脉冲G3。接下来，电荷转发控制单元32在t＝+2～+3的期间，输出控制脉冲G4。接下来，电荷转发控制单元32在t＝+3～+4的期间，输出控制脉冲G5。然后，电荷转发控制单元32在t＝+4以后的期间，输出控制脉冲GD。然后，像素电路13的电压检测单元读出检测信号S1～S5。读出的检测信号S1～S5被输出至运算电路12(电压检测步骤)。
接下来，运算电路12基于从各像素电路13输出的检测信号S1～S5，来计算每个像素的距离信息(距离计算步骤)。获得距离信息的计算的步骤包括：获得距离数据有效性判定信号SA的步骤；获得差分值S24、S35的步骤；获得距离计算参照信号D2、D3的步骤；确定数据有效范围的步骤；确定可测量范围的步骤；以及获得对象物S的距离的步骤。
首先，获得距离数据有效性判定信号SA。距离数据有效性判定信号生成单元33基于检测信号S1～S5，使用下述式(28)获得距离数据有效性判定信号SA。
SA＝S5+S4+S3+S2-4S1…(28)
接下来，距离数据有效性判定单元34通过将距离数据有效性判定信号SA的值与阈值Th1进行比较，获得数据有效范围。例如阈值Th1可以是0.5。距离数据有效性判定单元34获得采用大于阈值Th1的值的距离数据有效性判定信号SA的范围作为数据有效范围。根据图17(l)以及图17(o)，数据有效范围的下限在t＝-1～0之间。另外，数据有效范围的上限在t＝+3～+4之间。
接下来，使用下述式(29)、(30)获得差分值S24、S35。
S24＝S2-S4…(29)
S35＝S3-S5…(30)
接下来，距离计算参照信号生成单元36基于下述式(31)、(32)，获得距离计算参照信号D2、D3。
D2＝1-S24/SA…(31)
D3＝2-S35/SA…(32)
距离计算参照信号选择单元37使用阈值Th2、Th3、Th4、Th5，选择距离计算参照信号D2、D3中的任一个。具体而言，在满足Th2≤D2≤Th3时，距离计算参照信号选择单元37选择距离计算参照信号D2。另一方面，在满足Th4≤D3≤Th5时，距离计算参照信号选择单元37选择距离计算参照信号D3。
例如，在阈值Th2、Th3、Th4、Th5是以下的数值时，获得t＝0.21～3.19作为可测量范围。
阈值Th2：0.01
阈值Th3：1.5
阈值Th4：1.5
阈值Th5：2.99
即使通过第八实施方式的距离图像传感器，也能够获得与第一以及第三实施方式的距离图像传感器10、10A相同的效果。
以上，对距离图像传感器10、10A进行说明。但是，距离图像传感器10、10A并不限定于上述实施方式，可以以各种方式实施。
总之为了降低光斑的影响，距离图像传感器10、10A采用2个动作中的至少一个。第一动作是为了校正背景光而将检测信号S1设定为在时间上远离脉冲光LP的定时的定时。第二动作是为了校正背景光而调整检测信号S1的次数。也就是说，减少在容易受到光斑的影响的定时输出控制脉冲G1的次数，增多在难以受到光斑的影响的定时输出控制脉冲G1的次数。
距离图像传感器10、10A在其动作时，只要包括第一动作以及第二动作中的一方或者双方即可。因此，距离图像传感器10、10A的物理性的结构没有特别限定，只要具有所谓的3抽头以上的结构即可。另外，根据距离图像传感器10、10A的规格，可以适当采用子帧动作、间隔剔除动作以及多区这样的方法或者它们的组合。
附图标记的说明：
10：距离图像传感器(距离图像测量装置)、11：光源、12：运算电路、13：像素电路(像素电路部)、21：光电转换区域、221～224：电荷读出区域、241～244：控制电极、261～264：电压检测单元、31：光源控制单元、32：电荷转发控制单元、33：距离数据有效性判定信号生成单元、34：距离数据有效性判定单元、35：无效像素识别值生成单元、36：距离计算参照信号生成单元、37：距离计算参照信号选择单元、38：距离图像生成单元、G1：控制脉冲(第一控制脉冲)、G2：控制脉冲(第二控制脉冲)、G3：控制脉冲(第三控制脉冲)、G4：控制脉冲(第四控制脉冲)、G5：控制脉冲(第五控制脉冲)、GD：控制脉冲(第M+1控制脉冲)、S1：检测信号(第一检测信号)、S2：检测信号(第二检测信号)、S3：检测信号(第三检测信号)、S4：检测信号(第四检测信号)、S5：检测信号(第五检测信号)

Claims (10)

1.一种距离图像测量装置，其中，具备：
光源，产生脉冲光；
光源控制单元，以定期性地反复产生所述脉冲光的方式控制所述光源；
像素电路部，其具有：光电转换区域，将光转换为电荷；第一至第M(M是3以上的整数)电荷读出区域，其与所述光电转换区域接近并互相分离地设置；电荷排出区域，用于排出所述电荷；第一至第M控制电极，与所述光电转换区域和所述第一至第M电荷读出区域对应地设置，并接受用于在所述光电转换区域与所述第一至第M电荷读出区域之间的电荷转发的第一至第M控制脉冲；以及第M+1控制电极，与所述光电转换区域和所述电荷排出区域对应地设置，并接受用于在所述光电转换区域与所述电荷排出区域之间的电荷转发的第M+1控制脉冲；
电荷转发控制单元，与所述光源控制单元的所述脉冲光的产生对应地向所述第一至第M控制电极输出所述第一至第M控制脉冲，在所述第一至第M控制脉冲的输出期间以外的期间向所述第M+1控制电极输出所述第M+1控制脉冲；
电压检测单元，在所述电荷转发控制单元输出所述第一至第M控制脉冲之后，读出所述像素电路部的所述第一至第M电荷读出区域的电压作为第一至第M检测信号；以及
距离计算单元，基于所述第一至第M检测信号反复计算距离，
所述电荷转发控制单元将输出所述第一控制脉冲的定时设定在所述脉冲光产生的定时之前以及输出所述第二至第M控制脉冲之后的至少一方。
2.根据权利要求1所述的距离图像测量装置，其中，
所述电荷转发控制单元针对1帧期间内所包含的每个第一至第N(N是2以上的整数)子帧期间，以使所述第二至第M控制脉冲相对于所述脉冲光产生的定时的延迟时间向不同的时间偏移的方式设定所述第二至第M控制脉冲的定时。
3.根据权利要求2所述的距离图像测量装置，其中，
所述电荷转发控制单元设定为，在所述第二至第N子帧期间之间，所述第二至第M控制脉冲相对于所述脉冲光产生的定时的延迟时间越短，则越是降低所述第二至第M控制脉冲中的至少所述第二控制脉冲的输出次数的比率。
4.根据权利要求1至3中任一项所述的距离图像测量装置，其中，
所述电荷转发控制单元进行以下动作：
第一动作，设定在输出所述第二至第M控制脉冲之后输出所述第一控制脉冲的定时；以及
第二动作，设定在输出所述第二至第M控制脉冲之后输出所述第一控制脉冲的定时，并且，设定在与所述脉冲光产生的定时同时或之后且输出所述第二至第M控制脉冲之前输出所述第一控制脉冲的定时。
5.根据权利要求1至4中任一项所述的距离图像测量装置，其中，
所述电荷转发控制单元将输出所述第二控制脉冲的定时设定为从所述脉冲光产生的定时开始经过比所述脉冲光持续的持续时间短的待机时间之后。
6.一种距离图像测量装置，其中，具备：
光源，产生脉冲光；
光源控制单元，以定期性地反复产生所述脉冲光的方式控制所述光源；
像素电路部，其具有：光电转换区域，将光转换为电荷；第一至第M(M是3以上的整数)电荷读出区域，其与所述光电转换区域接近并互相分离地设置；电荷排出区域，用于排出所述电荷；第一至第M控制电极，与所述光电转换区域和所述第一至第M电荷读出区域对应地设置，并接受用于在所述光电转换区域与所述第一至第M电荷读出区域之间的电荷转发的第一至第M控制脉冲；以及第M+1控制电极，与所述光电转换区域和所述电荷排出区域对应地设置，并接受用于在所述光电转换区域与所述电荷排出区域之间的电荷转发的第M+1控制脉冲；
电荷转发控制单元，与所述光源控制单元的所述脉冲光的产生对应地向所述第一至第M控制电极输出所述第一至第M控制脉冲，在所述第一至第M控制脉冲的输出期间以外的期间向所述第M+1控制电极输出所述第M+1控制脉冲；
电压检测单元，在所述电荷转发控制单元输出所述第一至第M控制脉冲之后，读出所述像素电路部的所述第一至第M电荷读出区域的电压作为第一至第M检测信号；以及
距离计算单元，基于所述第一至第M检测信号反复计算距离，
所述电荷转发控制单元进行如下的动作：第三动作，将输出所述第一控制脉冲的定时设定在所述脉冲光产生的定时之前以及输出所述第二至第M控制脉冲之后的至少一方；以及第四动作，将输出所述第一控制脉冲的定时设定为与所述脉冲光产生的定时同时或之后且输出所述第二至第M控制脉冲之前。
7.根据权利要求6所述的距离图像测量装置，其中，
所述电荷转发控制单元进行设定，使得在1帧中进行的所述第三动作的次数与所述第四动作的次数不同。
8.根据权利要求6或7所述的距离图像测量装置，其中，
所述电荷转发控制单元进行设定，使得所述第三动作中的所述第二至第M控制脉冲相对于所述脉冲光产生的定时的延迟时间与所述第四动作中的所述延迟时间彼此相同，并且，在1帧中进行的所述第三动作的次数多于所述第四动作的次数。
9.根据权利要求6或7所述的距离图像测量装置，其中，
所述电荷转发控制单元进行设定，使得所述第三动作中的所述第二至第M控制脉冲相对于所述脉冲光产生的定时的延迟时间与所述第四动作中的所述延迟时间彼此不同，并且，在1帧中进行的所述第三动作的次数少于所述第四动作的次数。
10.根据权利要求6所述的距离图像测量装置，其中，
所述电荷转发控制单元进行设定，使得在1帧中进行的所述第三动作的次数与所述第四动作的次数相等。
CN202080045714.8A 2019-06-25 2020-06-24 距离图像测量装置 Pending CN114096886A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019117468 2019-06-25
JP2019-117468 2019-06-25
PCT/JP2020/024863 WO2020262476A1 (ja) 2019-06-25 2020-06-24 距離画像測定装置

Publications (1)

Publication Number Publication Date
CN114096886A true CN114096886A (zh) 2022-02-25

Family

ID=74061247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080045714.8A Pending CN114096886A (zh) 2019-06-25 2020-06-24 距离图像测量装置

Country Status (5)

Country Link
US (1) US20220357445A1 (zh)
EP (1) EP3993407A4 (zh)
JP (1) JPWO2020262476A1 (zh)
CN (1) CN114096886A (zh)
WO (1) WO2020262476A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022109077A (ja) * 2021-01-14 2022-07-27 凸版印刷株式会社 距離画像撮像装置、及び距離画像撮像方法
WO2024100760A1 (ja) * 2022-11-08 2024-05-16 株式会社ブルックマンテクノロジ 距離画像撮像装置、及び距離画像撮像方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2402783A1 (en) * 2009-02-27 2012-01-04 Panasonic Electric Works Co., Ltd. Distance measuring apparatus
CN106067954A (zh) * 2015-04-20 2016-11-02 三星电子株式会社 成像单元和***
WO2016208214A1 (ja) * 2015-06-24 2016-12-29 株式会社村田製作所 距離センサ
CN106471391A (zh) * 2014-05-08 2017-03-01 浜松光子学株式会社 测距装置以及测距装置的驱动方法
CN106662641A (zh) * 2014-11-06 2017-05-10 株式会社电装 光飞行型测距装置及其方法
WO2017098725A1 (ja) * 2015-12-08 2017-06-15 パナソニックＩｐマネジメント株式会社 固体撮像装置、距離測定装置および距離測定方法
CN107533128A (zh) * 2015-04-28 2018-01-02 浜松光子学株式会社 距离测定装置
CN107710015A (zh) * 2015-07-03 2018-02-16 松下知识产权经营株式会社 距离测量装置以及距离图像合成方法
US10116925B1 (en) * 2017-05-16 2018-10-30 Samsung Electronics Co., Ltd. Time-resolving sensor using shared PPD + SPAD pixel and spatial-temporal correlation for range measurement
JP2018185179A (ja) * 2017-04-25 2018-11-22 株式会社リコー 測距装置、監視装置、３次元計測装置、移動体、ロボット及び測距方法
CN109085606A (zh) * 2017-06-14 2018-12-25 欧姆龙汽车电子株式会社 测距装置
CN109324318A (zh) * 2017-07-31 2019-02-12 赫克斯冈技术中心 包括用于考虑多个目标的spad结构的测距仪
WO2019078366A1 (ja) * 2017-10-20 2019-04-25 国立大学法人静岡大学 距離画像測定装置及び距離画像測定方法
CN113287037A (zh) * 2019-01-15 2021-08-20 国立大学法人静冈大学 距离图像测定装置、距离图像测定***以及距离图像测定方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5585903B2 (ja) 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102378920A (zh) * 2009-02-27 2012-03-14 松下电工株式会社 测距设备
EP2402783A1 (en) * 2009-02-27 2012-01-04 Panasonic Electric Works Co., Ltd. Distance measuring apparatus
CN106471391A (zh) * 2014-05-08 2017-03-01 浜松光子学株式会社 测距装置以及测距装置的驱动方法
CN106662641A (zh) * 2014-11-06 2017-05-10 株式会社电装 光飞行型测距装置及其方法
CN106067954A (zh) * 2015-04-20 2016-11-02 三星电子株式会社 成像单元和***
CN107533128A (zh) * 2015-04-28 2018-01-02 浜松光子学株式会社 距离测定装置
WO2016208214A1 (ja) * 2015-06-24 2016-12-29 株式会社村田製作所 距離センサ
CN107710015A (zh) * 2015-07-03 2018-02-16 松下知识产权经营株式会社 距离测量装置以及距离图像合成方法
WO2017098725A1 (ja) * 2015-12-08 2017-06-15 パナソニックＩｐマネジメント株式会社 固体撮像装置、距離測定装置および距離測定方法
JP2018185179A (ja) * 2017-04-25 2018-11-22 株式会社リコー 測距装置、監視装置、３次元計測装置、移動体、ロボット及び測距方法
US10116925B1 (en) * 2017-05-16 2018-10-30 Samsung Electronics Co., Ltd. Time-resolving sensor using shared PPD + SPAD pixel and spatial-temporal correlation for range measurement
CN109085606A (zh) * 2017-06-14 2018-12-25 欧姆龙汽车电子株式会社 测距装置
CN109324318A (zh) * 2017-07-31 2019-02-12 赫克斯冈技术中心 包括用于考虑多个目标的spad结构的测距仪
WO2019078366A1 (ja) * 2017-10-20 2019-04-25 国立大学法人静岡大学 距離画像測定装置及び距離画像測定方法
CN111226434A (zh) * 2017-10-20 2020-06-02 国立大学法人静冈大学 距离图像测定装置以及距离图像测定方法
CN113287037A (zh) * 2019-01-15 2021-08-20 国立大学法人静冈大学 距离图像测定装置、距离图像测定***以及距离图像测定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张震;程湘爱;姜宗福;: "高重频脉冲激光引起CCD视频中的动态次光斑现象研究", 应用激光, no. 01, 15 February 2010 (2010-02-15) *

Also Published As

Publication number Publication date
JPWO2020262476A1 (zh) 2020-12-30
EP3993407A4 (en) 2023-06-21
EP3993407A1 (en) 2022-05-04
US20220357445A1 (en) 2022-11-10
WO2020262476A1 (ja) 2020-12-30

Similar Documents

Publication Publication Date Title
CN111226434B (zh) 距离图像测定装置以及距离图像测定方法
KR101508410B1 (ko) 거리 화상 센서, 및 촬상 신호를 비행시간법에 의해 생성하는 방법
US11448757B2 (en) Distance measuring device
JP6501403B2 (ja) イメージセンサ
US20180246214A1 (en) Solid-state imaging device, distance measurement device, and distance measurement method
US10073164B2 (en) Distance-measuring/imaging apparatus, distance measuring method of the same, and solid imaging element
EP3334152B1 (en) Solid-state imaging device
WO2004070313A1 (ja) 距離画像センサ
JP6265346B2 (ja) 距離計測装置
CN114096886A (zh) 距离图像测量装置
JP6735515B2 (ja) 固体撮像装置
CN112114328B (zh) 飞时测距装置
US11442169B2 (en) Distance-image-measuring apparatus and distance-image-measuring method
KR102019382B1 (ko) 거리 검출 센서 및 그것의 동작 방법
EP3627567A1 (en) Light detection apparatus, photoelectric conversion system, and movable body
CN113287037B (zh) 距离图像测定装置、距离图像测定***以及距离图像测定方法
US11184567B2 (en) Imaging device and solid-state imaging element and imaging method used therein
WO2019050024A1 (ja) 距離測定方法および距離測定装置
JPWO2020262476A5 (zh)
WO2022154073A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP7434119B2 (ja) 距離計測装置
EP4235219A1 (en) Depth scanning image sensor
CN118056409A (zh) 成像元件及测距装置
JP2023147558A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2023028992A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination