CN113544544B - 距离图像拍摄装置以及由距离图像拍摄装置实施的距离图像拍摄方法 - Google Patents

Abstract

本发明提供一种距离图像拍摄装置(1)，具备：光源部(2)，其照射光脉冲；光接收部(3)，其具备呈二维的行列状配置有多个像素的距离图像传感器；以及距离图像处理部(4)，其基于以预设的固定的电荷分配次数分配的电荷量，求取存在于拍摄对象的空间的被摄体之间的距离，其中，在所述距离图像处理部中，取得以不同的电荷分配次数(H、L)累积于电荷蓄积部的至少两个电荷量作为一组，并基于将以许多电荷分配次数(H)累积的电荷量即第一电荷量(QH2、QH3)和预设的阈值(Vth)进行了比较的结果，来选择第一电荷量(QH2、QH3)、以及作为组而取得以较少的电荷分配次数(L)累积的电荷量即第二电荷量(QL2、QL3)中的任意一方的电荷量，作为求取距离时所使用的电荷量。

Description

距离图像拍摄装置以及由距离图像拍摄装置实施的距离图像 拍摄方法

技术领域

本发明涉及一种距离图像拍摄装置以及由距离图像拍摄装置实施的距离图像拍摄方法。

背景技术

一直以来，利用光的速度已知的情况，实现了基于光的飞行时间来测量与被摄体的距离的飞行时间(Time of Flight，以下称作“TOF”)方式的距离传感器。在TOF方式的距离传感器中，向拍摄对象的空间照射近红外光，基于照射了近红外光的时间与近红外光被被摄体反射而返回的时间之差、也就是说近红外光的飞行时间，来测量与被摄体的距离。

此外，在近年来的TOF方式的距离传感器的中，与拍摄装置所搭载的固体拍摄装置同样地，呈二维的行列状配置有多个检测用于测量距离的光的像素，还实现了不仅能够取得被摄体之间的二维的距离的信息，还能够取得(拍摄)被摄体的图像的、所谓的距离图像拍摄装置。

并且，在距离图像拍摄装置中，存在有如下方式：照射测量与被摄体的距离的多个方式中的、脉冲状的近红外光(以下，称作“脉冲光”)，基于照射了脉冲光的时间和检测到被被摄体反射的脉冲光的时间之差，来测量脉冲光的飞行时间的方式。在这样的方式的距离图像拍摄装置中，存在有如下构成：在用作用于取得与被摄体的距离的信息、被摄体的图像的传感器的拍摄元件中，在各个像素中设置有多个电荷蓄积部和向各个电荷蓄积部分配电荷的构成要素。在分配构成的拍摄元件中，将构成像素的光电转换元件所产生的电荷向各个电荷蓄积部分配，基于分配于各个电荷蓄积部的电荷比，计算出被被摄体反射的脉冲光的延迟时间，从而能够测量与被摄体的距离。

在此，在分配构成的拍摄元件中，向各个电荷蓄积部分配电荷的次数成为，在各个像素中测量与被摄体的距离时的灵敏度。因此，在以往的分配构成的拍摄元件中，通常向电荷蓄积部分配电荷的次数为恒定的次数，也就是说以规定的次数被固定。

再者，在距离图像拍摄装置中，需要在各种被摄体的状况、环境中测量距离。例如，测量距离的被摄体存在于较近的位置、或被摄体所存在的周围的环境变亮、或是从被摄体的背景入射较强的光(背景光)的环境、或是近红外光的反射率较高的被摄体。在这样的情况下，当向电荷蓄积部分配电荷的次数被固定时，存在有如下问题：在各个像素中向电荷蓄积部分配的电荷量变多，电荷蓄积部饱和，与被摄体的距离的测量精度下降、或无法测量与被摄体的距离。此外，反之，例如在距离图像拍摄装置中测量距离的对象的被摄体存在于较远的位置、或被摄体所存在的周围的环境为较暗的环境、或是近红外光的反射率较低的被摄体。在这样的情况下，在向电荷蓄积部分配电荷的次数被固定的分配构成的拍摄元件中，存在有如下问题：在各个像素中向电荷蓄积部分配的电荷量变少，同样地，与被摄体的距离的测量精度下降、或无法测量与被摄体的距离。因此，在距离图像拍摄装置中，理想的是扩大能够测量与被摄体的距离的距离范围、也就是说扩大距离的测量的动态范围。

与此相关地，例如，如专利文献1所公开那样，提出了与距离传感器(距离图像拍摄装置)相关的技术。在专利文献1所公开的距离传感器的技术中，控制部以如下方式进行控制：从光源部照射的光照射时间的开始到规定时间的期间对光接收部(分配构成的拍摄元件)接收到的光的受光量进行累积，根据所累积的受光量的大小，来改变光接收部累积受光量的次数。此外，在专利文献1所公开的距离传感器的技术中，控制部根据所蓄积的受光量的大小，来改变受光期间。也就是说，在专利文献1所公开的距离传感器的技术中，将由光接收部此次累积的受光量的大小，反馈给光接收部的下一次的累积次数和受光期间。由此，在专利文献1所公开的距离传感器中，在背景光较强的状况下，能够抑制测量与被摄体的距离时的测量精度的下降。

现有技术文献

专利文献

专利文献1：日本专利第6406449号公报

发明内容

然而，在专利文献1公开距离传感器的技术中，通过反馈控制来抑制与被摄体的距离的测量精度的下降。因此，在专利文献1所公开的距离传感器中，需要用于进行反馈控制的结构、控制，距离传感器自身的结构、控制变得复杂。

本发明是基于所述的课题而完成的，其目的在于，提供一种在使用了分配构成的拍摄元件的距离图像拍摄装置中，不用复杂的构成、控制，能够减少由测量距离的被摄体的状况、环境的变化而产生的影响，能够扩大测量与被摄体的距离的范围的距离图像拍摄装置以及由距离图像拍摄装置实施的距离图像拍摄方法。

用于解决问题的手段

根据本发明的第一方式，距离图像拍摄装置具备：光源部，其相对于拍摄对象的空间以规定的周期照射持续的光脉冲；光接收部，其包括呈二维的行列状配置有多个像素的距离图像传感器，所述距离图像传感器包括光电转换元件和多个电荷蓄积部，所述光电转换元件产生与入射的光对应的电荷，所述多个电荷蓄积部用于蓄积所述电荷，所述距离图像传感器与所述光脉冲的照射同步地将所述电荷分配并蓄积于各个所述电荷蓄积部；以及距离图像处理部，其基于以预设的固定的电荷分配次数分配而累积于所述电荷蓄积部的各自的所述电荷的量即电荷量，求得存在于所述拍摄对象的空间的被射体之间的距离，在所述距离图像处理部中，取得在所述距离图像传感器以不同的所述电荷分配次数累积于所述电荷蓄积部的至少两个所述电荷量作为一组，基于将以许多所述电荷分配次数累积的所述电荷量即第一电荷量和预设的阈值进行了比较的结果，来选择所述第一电荷量以及作为组而取得的以较少的所述电荷分配次数累积的所述电荷量即第二电荷量中的任意一方的电荷量，作为求取所述距离时所使用的电荷量。

根据本发明的第二方式，也可以在所述第一方式的距离图像拍摄装置中，所述第一电荷量以及所述第二电荷量为，包含根据所述光脉冲被所述被射体反射的反射光而产生的电荷的所述电荷的量。

根据本发明的第三方式，也可以在所述第二方式的距离图像拍摄装置中，在所述距离图像处理部中，在所述第一电荷量为所述阈值以下的情况下，选择所述第一电荷量作为求取所述距离时所使用的电荷量，在所述第一电荷量超过所述阈值的情况下，选择所述第二电荷量，作为求取所述距离时所使用的电荷量。

根据本发明的第四方式，也可以在所述第三方式的距离图像拍摄装置中，所述第一电荷量包含：第1-1电荷量，其为包含根据照射所述光脉冲的期间中的所述反射光而产生的电荷的所述电荷的量；以及第1-2的电荷量，其为包含根据所述光脉冲的照射停止后的期间中的所述反射光而产生的电荷的所述电荷的量，在所述距离图像处理部中，基于将所述第1-1电荷量与所述第1-2电荷量中的、任意较大的一方的电荷量和所述阈值进行了比较的结果，来选择所述第一电荷量以及所述第二电荷量中的任意一方的电荷量，作为求取所述距离时所使用的电荷量。

根据本发明的第五方式，也可以在所述第一方式至所述第四方式中的任意一方式的距离图像拍摄装置中，所述距离图像处理部输出表示为了求取所述距离时使用而选择的电荷量的标志信号。

根据本发明的第六方式，也可以在所述第一方式至所述第五方式中的任意一方式的距离图像拍摄装置中，所述距离图像处理部按照每个所述像素来选择求取所述距离时所使用的电荷量。

根据本发明的第七方式，在所述第一方式至所述第五方式中的任意一方式的距离图像拍摄装置中，所述距离图像处理部按照每个将所述距离图像传感器中配置有所述像素的区域分割为多个的块的单位，来选择求取所述距离时所使用的电荷量。

根据本发明的第八方式，在所述第一方式至所述第七方式中的任意一方式的距离图像拍摄装置中，所述阈值为相对于能够累积并蓄积于所述电荷蓄积部的电荷量饱和的电荷量而确定的值。

根据本发明的第九方式，也可以在所述第八方式的距离图像拍摄装置中，所述阈值为可变的值。

根据本发明的第十方式，也可以在所述第一方式至所述第九方式中的任意一方式的距离图像拍摄装置中，所述电荷蓄积部构成为，包含蓄积所述电荷的电荷蓄积电容。

根据本发明的第十一方式，一种距离图像拍摄方法具备：光源部，其相对于拍摄对象的空间以规定的周期照射持续的光脉冲；光接收部，其包括呈二维的行列状配置有多个像素的距离图像传感器，所述距离图像传感器包括光电转换元件和多个电荷蓄积部，所述光电转换元件产生与入射的光对应的电荷，所述多个电荷蓄积部用于蓄积所述电荷，所述距离图像传感器与所述光脉冲的照射同步地将所述电荷分配并蓄积于各个所述电荷蓄积部；以及距离图像处理部，其基于以预设的固定的电荷分配次数分配而累积于所述电荷蓄积部的各自的所述电荷的量即电荷量，求得存在于所述拍摄对象的空间的被射体之间的距离，在所述距离图像处理部中，取得在所述距离图像传感器以不同的所述电荷分配次数累积于所述电荷蓄积部的至少两个所述电荷量作为一组，基于将以许多所述电荷分配次数累积的所述电荷量即第一电荷量和预设的阈值进行了比较的结果，来选择所述第一电荷量以及作为组而取得的以较少的所述电荷分配次数累积的所述电荷量即第二电荷量中的任意一方的电荷量，作为求取所述距离时所使用的电荷量。

发明的效果

根据所述各方式，能够起到如下效果：能够提供一种在使用了分配构成的拍摄元件的距离图像拍摄装置中，不用复杂的构成、控制，能够减少由测量距离的被摄体的状况、环境的变化而产生的影响，能够扩大测量与被摄体的距离的范围的距离图像拍摄装置以及由距离图像拍摄装置实施的距离图像拍摄方法。

附图说明

图1为表示本发明的实施方式的距离图像拍摄装置的概要构成的框图。

图2为表示本发明的实施方式的距离图像拍摄装置中所使用的拍摄元件的概要构成的框图。

图3为表示本发明的实施方式的距离图像拍摄装置中所使用的拍摄元件的受光区域所配置的像素的结构的一个示例的电路图。

图4为表示对本发明的实施方式的距离图像拍摄装置中所使用的拍摄元件的受光区域所配置的像素进行驱动的时机的时序图。

图5为示意地表示在本发明的实施方式的距离图像拍摄装置中取得用于测量距离的像素信号的帧的时机的一个示例的图。

图6为示意地表示在本发明的实施方式的距离图像拍摄装置中选择距离的测量所使用的像素信号的处理的图。

图7为表示在本发明的实施方式的距离图像拍摄装置中选择距离的测量所使用的像素信号的处理的关系的一个示例的图。

图8为示意地表示在本发明的实施方式的距离图像拍摄装置中包含测量到的距离的信息的帧的结构的一个示例的图。

图9为示意地表示在本发明的实施方式的距离图像拍摄装置中取得用于测量距离的像素信号的帧的时机的其他一个示例的图。

图10为示意地表示在本发明的实施方式的距离图像拍摄装置中选择距离的测量所使用的像素信号的其他处理的图。

图11为表示在本发明的实施方式的距离图像拍摄装置中选择距离的测量所使用的像素信号的其他处理的关系的一个示例的图。

图12为示意地表示在本发明的实施方式的距离图像拍摄装置中包含测量到的距离的信息的帧的其他结构的一个示例的图。

具体实施方式

以下，在本发明的实施方式中，参照附图进行说明。图1为表示本发明的实施方式的距离图像拍摄装置的概要构成的框图。图1所示出的构成的距离图像拍摄装置1由光源部2、光接收部3、以及距离图像处理部4构成。另外，在图1中，还一并示出在距离图像拍摄装置1中作为测量距离的对象物的被摄体S。

光源部2根据来自距离图像处理部4的控制，在距离图像拍摄装置1中测量距离的对象的被摄体S所存在的空间内，以规定的周期照射持续的光脉冲PO。光源部2例如为垂直共振器面发光激光器(VCSEL:Vertical Cavity Surface Emitting Laser)等的面发光型的半导体激光模块。光源部2具备光源装置21和扩散板22。

光源装置21为发出向被摄体S照射的光脉冲PO的近红外的波长频带(例如，波长为850nm～940nm的波长频带)的激光光的光源。光源装置21例如为半导体激光发光元件。光源装置21根据来自时机控制部41的控制发出脉冲状的激光光发光。

扩散板22为将光源装置21所发出的近红外的波长频带的激光光，扩散为向被摄体S照射的面的宽度的光学部件。扩散板22所扩散的脉冲状的激光光作为光脉冲PO从光源部2射出，并向被摄体S照射。

光接收部3接收在距离图像拍摄装置1中被测量距离的对象的被摄体S反射的光脉冲PO的反射光RL，并输出与接收到的反射光RL对应的像素信号。光接收部3具备透镜31和距离图像传感器32。

透镜31为将入射的反射光RL向距离图像传感器32引导的光学透镜。透镜31将入射的反射光RL向距离图像传感器32侧射出，并使其被距离图像传感器32的受光区域所具备的像素接收(入射)。

距离图像传感器32为距离图像拍摄装置1所使用的拍摄元件。距离图像传感器32为在二维的受光区域具备多个像素并在各个像素中设置有一个光电转换元件、与该一个光电转换元件对应的多个电荷蓄积部、向各个电荷蓄积部分配电荷的构成要素的分配构成的拍摄元件。距离图像传感器32根据来自时机控制部41的控制，将构成像素的光电转换元件所产生的电荷分配给各个电荷蓄积部，并输出与分配给各个电荷蓄积部的电荷量对应的像素信号。

另外，在距离图像传感器32中，多个像素呈二维的行列状配置，并输出各个像素的对应的1帧大小的像素信号。

距离图像处理部4为对距离图像拍摄装置1的整体进行控制的控制部。此外，距离图像处理部4也是对要测量的被摄体S之间的距离进行运算的运算部。距离图像处理部4具备时机控制部41和距离运算部42。

时机控制部41对光源部2向被摄体S照射光脉冲PO的时机、或光接收部3所具备的距离图像传感器32接收反射光RL的时机等进行控制。

距离运算部42基于从距离图像传感器32输出的像素信号，输出对被摄体S之间的距离进行了运算的距离信息。

根据这样的构成，在距离图像拍摄装置1中，光接收部3接收光源部2向被摄体S照射的近红外的波长频带的光脉冲PO通过被摄体S反射的反射光RL，距离图像处理部4输出对与被摄体S的距离进行了测量的距离信息。

另外，在图1中，示出了将距离图像处理部4安装于内部的构成的距离图像拍摄装置1，但也可以是距离图像处理部4被安装于距离图像拍摄装置1的外部的构成要素。

接着，对距离图像拍摄装置1中用作拍摄元件的距离图像传感器32的结构进行说明。图2为示出了本发明的实施方式的距离图像拍摄装置1所使用的拍摄元件(距离图像传感器32)的概要构成的框图。在图2中，距离图像传感器32具备：配置有多个像素电路321的受光区域320、控制电路322、垂直扫描电路323、水平扫描电路324、以及像素信号处理电路325。另外，在图2所示的距离图像传感器32中，示出了多个像素321以8行8列呈二维的行列状配置的受光区域320的一个示例。

控制电路322对垂直扫描电路323、水平扫描电路324、以及像素信号处理电路325等的距离图像传感器32所具备的构成要素进行控制。控制电路322根据例如来自距离图像拍摄装置1所具备的距离图像处理部4(更具体而言为，时机控制部41)的控制，对距离图像传感器32所具备的构成要素的动作进行控制。另外，控制电路322对距离图像传感器32所具备的构成要素的实施控制例如也可以是，由距离图像处理部4(更具体而言为，时机控制部41)直接进行的构成。在该情况下，距离图像传感器32也可以是不具备控制电路322的构成。

垂直扫描电路323根据来自控制电路322的控制，对受光区域320内所配置的各个像素321进行控制，且是从各个像素321将与对入射的光进行了光电转换的电荷量对应的电压的信号(以下，称作“电压信号”)输出(读出)至对应的垂直信号线的驱动电路。垂直扫描电路323按照受光区域320内所配置的像素321的每每行，输出用于驱动(控制)像素321的驱动信号。此时，垂直扫描电路323将构成像素321的光电转换元件所产生的电荷分配给多个电荷蓄积部。也就是说，垂直扫描电路323构成为包含电荷分配驱动电路。由此，在像素321中分配给各个电荷蓄积部的与电荷量对应的电压信号，按照受光区域320的每行读出至对应的垂直信号线，并输出至像素信号处理电路325。

受光区域320内所配置的各个像素321接收入射的光、也就是说光源部2向被摄体S照射的光脉冲PO被被摄体S反射的反射光RL，并产生与接收到的反射光RL的光量(受光量)对应的电荷。在各个像素321中，通过从垂直扫描电路323输入的驱动信号，向所具备的多个任意的电荷蓄积部，分配与接收到的反射光RL的光量(受光量)对应的电荷。并且，各个像素321将与分配并蓄积于各个电荷蓄积部的电荷的电荷量对应的大小的电压信号，输出至对应的垂直信号线。另外，与像素321的结构和驱动(控制)方法相关的详细的说明将在下文中叙述。

像素信号处理电路325为，根据来自控制电路322的控制，对从各列的像素电路321输出至对应的垂直信号线的电压信号，进行预设的信号处理的信号处理电路。作为预设的信号处理，例如为通过相关双采样(Correlated Double Sampling:CDS)对电压信号所包含的噪声进行抑制的噪声抑制处理等。此外，作为预设的信号处理，例如为转换为表示模拟的电压信号的大小的数字值的模拟/数字转换(A/D转换)处理等。

另外，像素信号处理电路325也可以是，由与受光像素部320的各列对应的多个像素信号处理电路构成的像素信号处理电路组。在该情况下，像素信号处理电路325根据来自水平扫描电路324的控制，将进行了预设的信号处理后的电压信号，按照受光像素部320的每行输出至水平信号线。

水平扫描电路324为，根据来自控制电路322的控制，将从像素信号处理电路325输出的、进行了信号处理后的电压信号，依次输出至水平信号线的(读出)驱动电路。水平扫描电路324将用于输出与各个列的像素321对应的电压信号的控制信号，依次输出至像素信号处理电路325。由此，1帧大小的像素信号经由水平信号线而依次被输出至距离图像传感器32的外部。此时，距离图像传感器32例如从输出放大器等的未图示的输出电路，将进行了信号处理后的电压信号，作为像素信号输出至距离图像传感器32的外部。

在以下的说明中，说明距离图像传感器32所具备的像素信号处理电路325对从像素电路321输出的电压信号进行噪声抑制处理，之后，进行A/D转换处理并输出，也就是说，输出转换为数字值的电压信号。

接着，对距离图像传感器32所具备的受光区域320内所配置的像素电路321的结构进行说明。图3为示出了本发明的实施方式的距离图像拍摄装置1所使用的拍摄元件(距离图像传感器32)的受光区域320内所配置的像素电路321的结构的一个示例的电路图。在图3中，示出了受光区域320内所配置的多个像素电路321中的、一个像素电路321的结构的一个示例。像素电路321为具备三个像素信号读出部的构成的一个示例。

像素电路321具备一个光电转换元件PD、漏极栅极晶体管GD、以及从对应的输出端子O输出电压信号的三个像素信号读出部RU。像素信号读出部RU分别具备：读出栅极晶体管G、浮动扩散器FD、电荷蓄积电容C、复位栅极晶体管RT、源极跟随栅极晶体管SF、以及选择栅极晶体管SL。在各个像素信号读出部RU中，由浮动扩散器FD和电荷蓄积电容C构成电荷蓄积部CS。

另外，在图3中，在三个像素信号读出部RU的符号“RU”后面添加数字“1”、“2”或“3”，从而对各个像素信号读出部RU进行区别。此外，同样地，三个像素信号读出部RU所具备的各个结构要素也通过将表示各个像素信号读出部RU的数字示出于符号的后面，从而各个结构要素以区别对应像素信号读出部RU的方式进行表示。在图3所示的像素电路321中，从输出端子O1输出电压信号的像素信号读出部RU1具备：栅极晶体管G1、浮动扩散器FD1、电荷蓄积电容C1、复位栅极晶体管RT1、源极跟随栅极晶体管SF1、以及选择栅极晶体管SL1。在像素信号读出部RU1中，由浮动扩散器FD1和电荷蓄积电容C1构成电荷蓄积部CS1。像素信号读出部RU2以及像素信号读出部RU3也是同样的结构。

光电转换元件PD为，对入射的光进行光电转换而产生电荷并对产生的电荷进行蓄积的埋入型的光电二极管。另外，在本发明中，对于像素电路321所具备的光电转换元件PD的构造并未特别限定。因此，光电转换元件PD例如既可以是将P型半导体和N型半导体接合起来的构造的PN光电二极管，也可以是在P型半导体与N型半导体之间夹着I型半导体的构造的PIN光电二极管。此外，作为像素电路321所具备的光电转换元件，并不限定于光电二极管，例如也可以是光电栅极方式的光电转换元件。

漏极栅极晶体管GD为，用于根据从垂直扫描电路323输入的驱动信号，废弃光电转换元件PD所产生并蓄积的、未传送至各个像素信号读出部RU的电荷的晶体管。也就是说，漏极栅极晶体管GD为对光电转换元件PD所产生的、未用于被摄体S之间的距离的测量的电荷进行复位的晶体管。

读出栅极晶体管G为，用于根据从垂直扫描电路323输入的驱动信号，将光电转换元件PD所产生并蓄积的电荷，传送至对应的电荷蓄积部CS的晶体管。通过读出栅极晶体管G而传送的电荷被保持(蓄积)在对应的电荷蓄积部CS。

浮动扩散器FD为附加于与源极跟随栅极晶体管SF的栅极端子连接的节点的电容，并保持(蓄积)通过对应的读出栅极晶体管G传送的电荷。

电荷蓄积电容C为，对通过对应的读出栅极晶体管G传送的电荷进行保持(蓄积)的电容。

复位栅极晶体管RT为，用于根据从垂直扫描电路323输入的驱动信号，废弃对应的电荷蓄积部CS所保持的电荷的晶体管。也就是说，复位栅极晶体管RT为对对应的电荷蓄积部CS所保持的电荷进行复位的晶体管。

源极跟随栅极晶体管SF为，用于对与连接于栅极端子的电荷蓄积部CS所蓄积的电荷量对应的电压信号进行放大并将其输出至对应的选择栅极晶体管SL的晶体管。

选择栅极晶体管SL为，用于根据从垂直扫描电路323输入的驱动信号，将通过对应的源极跟随栅极晶体管SF放大的电压信号，从对应的输出端子O输出的晶体管。

通过上述的构成，在像素电路321中，将光电转换元件PD对入射的光进行光电转换而产生的电荷分配给三个电荷蓄积部CS的各自，并将与被分配的电荷的电荷量对应的各个电压信号输出至像素信号处理电路325。

距离图像传感器32所配置的像素的结构并不限定于如图3所示的具备三个像素信号读出部RU的构成，如果是具备一个光电转换元件PD和对光电转换元件PD所产生并蓄积的电荷进行分配的多个像素信号读出部RU的构成的像素，则也可以是任意的构成的像素。也就是说，距离图像传感器32所配置的像素所具备的像素信号读出部RU(电荷蓄积部CS)的数量既可以是两个，也可以是四个以上。

此外，在图3所示的构成的像素电路321中，示出了由浮动扩散器FD和电荷蓄积电容C构成电荷蓄积部CS的一个示例。但是，电荷蓄积部CS只要至少由浮动扩散器FD构成即可。也就是说，像素电路321也可以是不具备各个电荷蓄积电容C的构成。在该结构的情况下，具有提高电荷检测灵敏度的效果。然而，考虑到扩大距离图像拍摄装置1中距离的测量中的动态范围，优选的是能够保持(蓄积)更多的电荷的构成。因此，在像素电路321中，通过在像素信号读出部RU具备电荷蓄积电容C，由浮动扩散器FD和电荷蓄积电容C构成电荷蓄积部CS，从而与仅由浮动扩散器FD构成电荷蓄积部CS的情况相比，成为能够保持(蓄积)更多的电荷的构成。

此外，在图3所示的构成的像素电路321中，示出了具备漏极栅极晶体管GD的构成的一个示例，但是在无需废弃光电转换元件PD所蓄积(残留)的电荷的情况下，也可以是在距离图像传感器32所配置的像素中不具备漏极栅极晶体管GD的构成。

接着，对距离图像拍摄装置1中的像素电路321的驱动(控制)方法(时机)进行说明。图4为示出了对本发明的实施方式的距离图像拍摄装置1所使用的拍摄元件(距离图像传感器32)的受光区域320内所配置的像素电路321进行驱动的时机的时序图。在图4中，示出了向距离图像传感器32输出1帧大小的像素信号时的像素电路321的驱动信号的时机，并且示出了光源部2向被摄体S照射的光脉冲PO的时机。

最先，说明将根据接收到的光的光量(受光量)而光电转换元件PD所产生并蓄积的电荷，分配给各个像素信号读出部RU的电荷蓄积期间内的像素电路321的驱动(控制)。在电荷蓄积期间，通过光源部2将光脉冲PO向被摄体S照射。并且，与照射光脉冲PO的时机同步地驱动像素电路321，从而将与接收到的背景光以及反射光RL对应的电荷分配给各个电荷蓄积部CS。垂直扫描电路323通过对受光区域320内所配置的所有像素电路321同时进行驱动的、所谓的全局快门驱动，向所有像素电路321所具备的各个电荷蓄积部CS分配并蓄积电荷。另外，光源装置21发出脉冲状的激光光的时间、也就是说光脉冲PO的脉冲宽度Tw例如为10nS等预设的非常短的时间。其理由为，在脉冲变调方式的距离的测量中，能够测量的最大的距离(以下，称作“最大测量距离”)由光脉冲PO的脉冲宽度Tw来决定。在上述的光脉冲PO的脉冲宽度Tw为10nS的情况下，最大测量距离为1.5m。此外，当单纯地扩大光脉冲PO的脉冲宽度Tw、也就是说延长光源装置21中的激光光的发光时间时，光电转换元件PD能够接收更多的反射光RL，但要测量的与被摄体S的距离的分辨率会下降。另一方面，当光脉冲PO的脉冲宽度Tw较短时，光电转换元件PD通过光电转换产生的电荷的电荷量也变少。因此，在距离图像拍摄装置1中，在电荷蓄积期间为了使各个电荷蓄积部CS蓄积充分量的电荷，而多次进行光脉冲PO的照射以及电荷的分配。

在图4所示的时序图的电荷蓄积期间，示出了多次进行光脉冲PO的照射以及所有像素电路321中的电荷的分配的情况下的像素电路321的驱动时机。另外，说明图4所示的时序图的电荷蓄积期间内的光脉冲PO在“H(High)”电平时照射光脉冲PO(光源装置21发出激光光)，在“L(Low)”电平时停止光脉冲PO的照射(光源装置21熄灭)。此外，图4所示的时序图为，所有像素电路321被复位的、也就是说从在光电转换元件PD以及电荷蓄积部CS中未蓄积电荷的状态开始的说明。

电荷蓄积期间，首先，垂直扫描电路323从与光源部2照射光脉冲PO的脉冲宽度Tw相同的时间之前的时刻tA1起，将光电转换元件PD进行光电转换而产生的、与照射光脉冲PO前的背景光对应的电荷，经由读出栅极晶体管G1而传送并蓄积于电荷蓄积部CS1。

之后，垂直扫描电路323从与光源部2照射光脉冲PO的时机相同的时刻tA2起，将根据光电转换元件PD当前进行了光电转换的光而产生的电荷，经由读出栅极晶体管G2而传送并蓄积于电荷蓄积部CS2。在此，电荷蓄积部CS2所蓄积的电荷为，在照射光脉冲PO的脉冲宽度Tw的时间内与被被摄体S反射来的反射光RL对应的电荷。在该电荷中，除与背景光对应的电荷以外，还包含与以和到被摄体S的距离(绝对距离)成比例的较少延迟时间入射的反射光RL对应的电荷。更具体而言，例如，在被摄体S存在于较近的位置的情况下，照射的光脉冲PO以较短时间被被摄体S反射并作为反射光RL返回，在电荷蓄积部CS2中，包含许多与存在于较近的位置的被摄体S所反射的反射光RL对应的电荷。

之后，垂直扫描电路323从与光源部2停止光脉冲PO的照射的时机相同的时刻tA3起，将根据光电转换元件PD当前进行了光电转换的光而产生的电荷，经由读出栅极晶体管G3而传送并蓄积于电荷蓄积部CS3。在此，电荷蓄积部CS3所蓄积的电荷为，与在照射光脉冲PO的脉冲宽度Tw的时间外被被摄体S反射来的反射光RL对应的电荷。在该电荷中，除与背景光对应的电荷以外，还包含与以和到被摄体S的距离(绝对距离)成比例的较多的延迟时间入射的反射光RL对应的电荷。更具体而言，例如，在被摄体S存在于较远的位置的情况下，照射的光脉冲PO需要更长的时间被被摄体S反射并作为反射光RL返回，在电荷蓄积部CS3中，包含许多与存在于较远的位置的被摄体S所反射的反射光RL对应的电荷。

之后，垂直扫描电路323从经过了与光源部2照射光脉冲PO的脉冲宽度Tw相同的时间的时刻tA4起，将根据光电转换元件PD当前进行了光电转换的光而产生的电荷、也就是说未用于被摄体S之间的距离的测量的电荷，经由漏极栅极晶体管GD而进行废弃。换言之，使光电转换元件PD复位。

之后，垂直扫描电路323在与光源部2接着照射光脉冲PO的脉冲宽度Tw相同的时间之前的时刻tA5，解除光电转换元件PD的复位。并且，与从时刻tA1起的时机同样地，将光电转换元件PD接着进行光电转换而产生的电荷、也就是说与接着照射光脉冲PO之前的背景光对应的电荷，经由读出栅极晶体管G1而传送并蓄积于电荷蓄积部CS1。

以下，垂直扫描电路323反复与时刻tA1～时刻tA5同样的像素电路321的驱动(以下，称作“电荷分配驱动”)。由此，在电荷蓄积期间，在所有像素电路321所具备的各个电荷蓄积部CS蓄积并保持有对电荷分配驱动进行了反复的量的电荷量。另外，在电荷蓄积期间反复电荷分配驱动的最大的次数由距离图像传感器32输出(取得)1帧大小的像素信号的周期来决定。更具体而言，从距离图像传感器32取得1帧大小的像素信号的时间中减去像素信号读出期间后的时间为，光源装置21发出脉冲状的激光光的时间、也就是说除以光脉冲PO的脉冲周期时间To而得到的商的次数。另外，在距离图像传感器32中，电荷分配驱动的次数越多，各个电荷蓄积部CS所蓄积(累积)的电荷量越多，灵敏度越高。由此，在距离图像传感器32中，能够提高要测量的与被摄体S的距离的分辨率。

接下来，说明在电荷蓄积期间结束后，将与分配给各个像素信号读出部RU所具备的各个电荷蓄积部CS的电荷量对应的电压信号，依次输出至受光区域320内所配置的像素电路321的每行的像素信号读出期间内的像素电路321的驱动(控制)。在像素信号读出期间，通过按照行驱动受光区域320内所配置的像素电路321、所谓的滚动驱动，将与对应的行所配置的像素电路321所具备的电荷蓄积部CS所蓄积(累积)并保持的电荷量对应的电压信号，按照行依次输出至像素信号处理电路325。

另外，如上所述，在距离图像传感器32中，像素信号处理电路325对各个像素电路321所输出的电压信号进行噪声抑制处理或A/D转换处理等的预设的信号处理。在此，作为噪声抑制处理像素信号处理电路325所进行的相关双采样(CDS)处理为，取得与电荷蓄积部CS所蓄积(累积)并保持的电荷量对应的电压信号(以下，“距离像素电压信号PS”)、和与电荷蓄积部CS复位的状态(复位状态)的电荷量对应的电压信号(以下，称作“复位电压信号PR”)的差分的处理。因此，在像素信号读出期间，将与各个像素电路321所具备的各个电荷蓄积部CS对应的距离像素电压信号PS和复位电压信号PR的各个电压信号，按照行依次输出至像素信号处理电路325。。

在图4所示的时序图的像素信号读出期间，示出了沿受光区域320的水平方向(行方向)配置有y行(y为1以上的整数)、沿垂直方向(列方向)配置有x列(x为1以上的整数)的多个像素电路321的情况下，从受光区域320的第i行(1≤i≤y)所配置的各个像素电路321(i)，输出距离像素电压信号PS(i)与复位电压信号PR(i)的各个电压信号的情况下的像素电路321的驱动时机。另外，在图4所示的时序图中，按照各个像素电路321(i)所具备的电荷蓄积部CS1(i)、电荷蓄积部CS2(i)、电荷蓄积部CS3(i)的顺序输出各个电压信号。

在像素信号读出期间，首先在时刻tR1～时刻tR2的期间，垂直扫描电路323将距离像素电压信号PS1(i)，从输出端子O1(i)经由垂直信号线而输出至像素信号处理电路325。由此，像素信号处理电路325暂时保持经由垂直信号线而从像素信号读出部RU1(i)输出的距离像素电压信号PS1(i)。

之后，在时刻tR3～时刻tR4的期间，垂直扫描电路323将复位电压信号PR1(i)，从输出端子O1(i)经由垂直信号线而输出至像素信号处理电路325。由此，像素信号处理电路325取得暂时保持的距离像素电压信号PS1(i)、与经由垂直信号线而从像素信号读出部RU1(i)输出的复位电压信号PR1(i)的差分，即抑制与电荷蓄积部CS1(i)所蓄积(累积)并保持的电荷量对应的电压信号所包含的噪声。

之后，在时刻tR4～时刻tR7的期间，与时刻tR1～时刻tR4的期间同样地，垂直扫描电路323将距离像素电压信号PS2(i)和复位电压信号PR2(i)，从输出端子O2(i)经由垂直信号线而输出至像素信号处理电路325。而且，即使在时刻tR7～时刻tR10的期间，也与时刻tR1～时刻tR4的期间同样地，垂直扫描电路323将距离像素电压信号PS3(i)和复位电压信号PR3(i)，从输出端子O3(i)经由垂直信号线而输出至像素信号处理电路325。

以下，垂直扫描电路323对受光区域320的其他行所配置的各个像素电路321(例如，第i+1行所配置的各个像素电路321)依次进行与时刻tR1～时刻tR10同样的像素电路321的驱动(以下，称作“像素信号读出驱动”)，从而从受光区域320内所配置的所有像素电路321依次输出各个电压信号。

通过这样的驱动(控制)方法(时机)，垂直扫描电路323在受光区域320内所配置的各个像素电路321中多次进行光电转换元件PD所产生并蓄积的电荷向各个像素信号读出部RU的分配。此外，将与像素信号读出部RU所具备的电荷蓄积部CS所蓄积(累积)的电荷量对应的电压信号依次经由垂直信号线输出至像素信号处理电路325。。

另外，像素信号处理电路325相对于对噪声进行了抑制的各个电压信号按照每行进行A/D转换处理。并且，水平扫描电路324按照受光区域320的列的顺序经由水平信号线依次输出像素信号处理电路325进行了A/D转换处理后的各行的电压信号，从而距离图像传感器32将1帧大小的所有像素电路321的像素信号输出至外部。由此，在距离图像拍摄装置1中，1帧大小的像素信号按照所谓的光栅顺序输出至距离运算部42。

另外，根据图4所示的像素电路321的驱动(控制)时机可知，在1帧大小的像素信号的各自中，含有与对应的像素电路321所具备的三个像素信号读出部RU(电荷蓄积部CS)的各自对应的三个电压信号。距离运算部42基于从距离图像传感器32输出的1帧大小的像素信号，按照各个像素信号、也就是说按照各个像素电路321对被摄体S之间的距离进行运算。

在此，对距离运算部42中的被摄体S之间的距离的运算方法进行说明。在此，将与照射分配给像素信号读出部RU1的电荷蓄积部CS1的光脉冲PO之前的背景光对应的电荷的电荷量设为电荷量Q1。此外，将与分配给像素信号读出部RU2的电荷蓄积部CS2的背景光和以较少的延迟时间入射的反射光RL对应的电荷的电荷量设为电荷量Q2。此外，将与分配给像素信号读出部RU3的电荷蓄积部CS3的背景光和以较多的延迟时间入射的反射光RL对应的电荷的电荷量设为电荷量Q3。距离运算部42通过下式(1)求得各个像素电路321与被摄体S之间的距离D。

D＝(Q3-Q1)/(Q2+Q3-2Q1)×Dm…(1)

在上式(1)中，Dm为，能够通过光脉冲PO的照射进行测量的最大的距离(最大测量距离)。在此，最大测量距离Dm通过下式(2)来表示。

Dm＝(c/2)Tw…(2)

在下式(2)中，C为光速，Tw为光脉冲PO的脉冲宽度。

如上所述，距离图像拍摄装置1按照距离图像传感器32的受光像素部320内所配置的各个像素电路321，求得自身与被摄体S之间的距离D。

另外，如上所述，距离图像传感器32中呈格子状配置的像素电路的结构并不限定于图3所示那样的具备三个像素信号读出部RU的构成，只要是具备一个光电转换元件PD、和对光电转换元件PD所产生并蓄积的电荷进行分配的两个以上的像素信号读出部RU的构成的像素即可。在该情况下，也就是说，考虑到即使在配置有具备像素信号读出部RU的数量不同的构成的像素的距离图像传感器中，像素的驱动(控制)方法(时机)也与图4所示的距离图像拍摄装置1中的像素电路321的驱动(控制)方法(时机)同样，从而能够容易地被实现。更具体而言，在以向各个像素信号读出部RU所具备的读出栅极晶体管G或漏极栅极晶体管GD输入的驱动信号的相位相互不重叠的方式维持相位关系的周期，通过反复对像素的电荷分配驱动，从而与距离图像传感器32同样地，能够在各个像素信号读出部RU所具备电荷蓄积部CS蓄积(累积)与对应的光对应的电荷。并且，通过像素信号读出驱动从所有像素依次输出各个电压信号，从而与距离图像传感器32同样地，能够将1帧大小的像素信号输出至距离图像传感器的外部。由此，距离运算部42基于从配置有具备像素信号读出部RU的数量不同的构成的像素的距离图像传感器输出的1帧大小的像素信号，同样地按照各个像素信号(按照各个像素)求得与被摄体S之间的距离D。

并且，在距离图像拍摄装置1中，为了扩大测量与被摄体S之间的距离D的进深方向的动态范围，而通过光接收部3所具备的距离图像传感器32，取得电荷分配驱动的次数不同的多个帧的像素信号作为一组。换言之，在距离图像拍摄装置1中，通过将电荷分配驱动的次数设为不同的次数从而取得灵敏度不同的多个帧的像素信号作为一组。例如，距离图像拍摄装置1取得高灵敏度的像素信号的帧和低灵敏度的像素信号的帧的2帧大小的像素信号。并且，在距离图像拍摄装置1中，通过选择灵敏度不同的多个帧的像素信号所包含的与相同的位置的像素321对应的像素信号中的、任意一个像素信号，从而实现扩大距离运算部42能够按照像素321的每个位置求取与被摄体S之间的距离D的进深方向的范围、被摄体S的背景光的范围的、所谓的高动态范围化。

(第一实施方式)

接着，对在距离图像拍摄装置1中能够测量的与被摄体S之间的距离D的高动态范围化的实现方法(第一实施方式)进行说明。图5为示意地表示在本发明的实施方式的距离图像拍摄装置1中取得用于测量距离(距离D)的像素信号的帧的时机的一个示例的图。

在距离图像拍摄装置1中，作为用于测量与被摄体S之间的距离D的像素信号，而根据电荷分配驱动的次数、也就是说根据在各个像素321中对光电转换元件PD进行光电转换而产生的电荷进行分配并累积于电荷蓄积部CS的次数，取得灵敏度不同的多个帧的像素信号作为一组。在第一实施方式的高动态范围化的实现方法中，预先确定两个固定的电荷分配驱动的次数(以下，称作“电荷分配次数”)，将以预设的各个电荷分配次数进行电荷分配驱动而取得的两个像素信号的帧设为1组，从而实现扩大在距离图像拍摄装置1中能够测量与被摄体S之间的距离D的进深方向的范围、被摄体S的背景光的范围的高动态范围化。在图5中，示出了取得将电荷分配次数较多的高灵敏度的像素信号的帧(以下，称作“高灵敏度帧”)HG设为第一帧、将电荷分配次数较少的低灵敏度的像素信号的帧(以下，称作“低灵敏度帧”)LG设为第二帧的1组的像素信号的帧的情况的一个示例。在距离图像拍摄装置1中，如图5所示，连续取得高灵敏度帧HG与低灵敏度帧LG的2帧大小的像素信号的组。也就是说，距离图像拍摄装置1交替且连续地取得高灵敏度帧HG和低灵敏度帧LG。

另外，在图5中，示出了以高灵敏度帧HG、低灵敏度帧LG的顺序交替地取得2帧大小的像素信号的情况的一个示例，但是距离图像拍摄装置1取得2帧大小的像素信号的顺序，并不限定于图5所示的顺序。也就是说，距离图像拍摄装置1也可以以低灵敏度帧LG、高灵敏度帧HG的顺序，交替地取得2帧大小的像素信号。

此外，在图5中，还示意地表示取得高灵敏度帧HG和低灵敏度帧LG的各帧时所需要的电荷蓄积期间和像素信号读出期间的结构(比率)。1帧大小的像素信号的周期中的、像素信号读出期间的长度，根据从距离图像传感器32的受光区域320内所配置的所有像素321读出各个像素信号所需要的时间来决定。换言之，1帧大小的像素信号的周期中的、像素信号读出期间的长度根据距离图像传感器32的受光区域320内所配置的像素321的数量、也就是说根据像素数来决定。因此，在1帧大小的像素信号的周期内能够用作电荷蓄积期间的时间、也就是说最大的电荷蓄积期间(最大电荷蓄积期间)的长度为，从1帧大小的时间中减去像素信号读出期间的时间而得到的时间。并且，在距离图像拍摄装置1中，在未超过最大电荷蓄积期间的时间内进行用于取得1帧大小的像素信号的电荷分配驱动。因此，为了取得1帧大小的像素信号而能够重复电荷分配驱动的最大的次数、也就是说最大的电荷分配次数为，如上所述使最大电荷蓄积期间除以光脉冲PO的脉冲周期时间To而得到的商的次数。

在距离图像拍摄装置1中，根据来自控制电路322或距离图像处理部4(更具体而言为时机控制部41)的控制，垂直扫描电路323在最大电荷蓄积期间的时间内，进行用于取得1帧大小的像素信号的电荷分配驱动，在像素321所具备的像素信号读出部RU内的各个电荷蓄积部CS中，蓄积(累积)光电转换元件PD进行光电转换而产生的电荷。此时，垂直扫描电路323进行电荷分配驱动的次数为，与高灵敏度帧HG和低灵敏度帧LG中的灵敏度的比对应的次数。例如，在将高灵敏度帧HG的灵敏度设为低灵敏度帧LG的灵敏度的10倍程度的情况下，垂直扫描电路323将为了取得低灵敏度帧LG而进行的电荷分配驱动的次数设为为了取得高灵敏度帧HG而进行的电荷分配驱动的次数的1/10程度。更具体而言，在图5中，在将为了取得高灵敏度帧HG而进行的电荷分配驱动的次数(电荷分配次数)设为例如H＝10万次的情况下，垂直扫描电路323将为了取得低灵敏度帧LG而进行的电荷分配次数设为L＝1万次。

在距离图像拍摄装置1中，基于以图5所示的时机取得的各组的像素信号的帧，距离运算部42按照像素321的每个位置对与被摄体S之间的距离D进行运算。此时，距离运算部42按照每个像素321选择基于高灵敏度帧HG所包含的像素信号对与被摄体S之间的距离D进行运算、或基于低灵敏度帧LG所包含的像素信号对与被摄体S之间的距离D进行运算。更具体而言，距离运算部42按照每个像素321选择基于在高灵敏度帧HG中作为像素信号而包含的三个电压信号的各自所表示的电荷量Q对与被摄体S之间的距离D进行运算的、或基于在低灵敏度帧LG中作为像素信号而包含的三个电压信号的各自所表示的电荷量Q对与被摄体S之间的距离D进行运算的。并且，距离运算部42基于所选择的电荷量Q，按照每个像素321对与被摄体S之间的距离D进行运算。

接着，说明选择距离运算部42对与被摄体S之间的距离D进行运算时所使用的三个电荷量Q的处理。图6为示意地表示在本发明的实施方式的距离图像拍摄装置1中选择距离D的测量所使用的像素信号(电荷量Q)的处理的图。在图6中，示意地表示距离运算部42在距离图像传感器32的受光区域320内，选择对呈i行(1≤i≤y)j列(1≤j≤x)配置的一个像素321的位置处的与被摄体S之间的距离D进行运算时所使用的像素信号的处理。另外，在图6中，将在高灵敏度帧HG中作为像素信号而包含的三个电压信号的各自所表示的电荷量Q设为“电荷量QH”，将在低灵敏度帧LG中作为像素信号而包含的三个电压信号的各自所表示的电荷量Q设为“电荷量QL”。

如上所述，距离运算部42通过上式(1)求取与被摄体S之间的距离D。在此，电荷量Q1为与背景光对应的电荷量。此外，电荷量Q2为，与背景光和以较少的延迟时间、也就是说存在于较近的位置的被摄体S所反射的反射光RL对应的电荷量。此外，电荷量Q3为，与背景光和以许多延迟时间、也就是说存在于较远的位置的被摄体S所反射的反射光RL对应的电荷量。因此，各个电荷量Q的关系成为Q1<(Q2、Q3)。并且，针对电荷量Q2与电荷量Q3的关系，在接收到存在于较近的位置的被摄体S所反射的反射光RL的像素321中，成为Q2>Q3，在接收到存在于较远的位置的被摄体S所反射的反射光RL的像素321中，成为Q2<Q3。

距离运算部42在电荷量判定处理P1中，基于在高灵敏度帧HG中作为像素信号而包含的三个电压信号的各自所表示的电荷量QH1、电荷量QH2、电荷量QH3中的、包含与被摄体S所反射的反射光RL对应的电荷量的电荷量QH2和电荷量QH3，来选择高灵敏度帧HG或低灵敏度帧LG中的任意一方的像素信号，作为对与被摄体S之间的距离D进行运算时所使用的像素信号。更具体而言，距离运算部42使用高灵敏度帧HG的像素信号，通过MAX(QH2、QH3)的处理来选择任意较大的一方的电荷量QH，并将所选择的电荷量QH与用于选择像素信号的基准的阈值进行比较。在图6中，通过与电荷量Q对应的电压信号即像素信号的大小(电压值V)来表示与电荷量判定处理P1中选择的电荷量QH进行比较的基准的阈值，并设为阈值Vth。并且，距离运算部42在选择的电荷量QH为阈值Vth以下的(电荷量判定处理P1的判定结果为“NO”)情况下，将表示判定结果的标志信号Flag设为Flag＝0，将切换开关SW设为NO侧，并选择高灵敏度帧HG的像素信号作为对与被摄体S之间的距离D进行运算时所使用的像素信号。另一方面，距离运算部42在所选择的电荷量QH超过阈值Vth的(电荷量判定处理P1的判定结果为“YES”)情况下，将表示判定结果的标志信号Flag设为Flag＝1，将切换开关SW设为YES侧，并选择低灵敏度帧LG的像素信号作为对与被摄体S之间的距离D进行运算时所使用的像素信号。

在此，对距离运算部42所选择的像素信号与阈值Vth的关系进行说明。图7为表示在本发明的实施方式的距离图像拍摄装置1中选择距离D的测量所使用的像素信号的处理(电荷量判定处理P1)的关系的一个示例的图。在图7中，示出了将横轴设为入射光量，将纵轴设为像素信号，即设为与分配给电荷蓄积部CS的电荷量Q对应的电压信号的大小(电压值V)，像素321接收到相同的光量的反射光RL的情况下的像素信号的线形以及饱和特性。此外，在图7中，示出了阈值Vth。

高灵敏度帧HG以及低灵敏度帧LG中的任意帧中所包含的像素信号，也随着像素321接收到的反射光RL的光量变多，而电压信号的大小变大。然而，在像素321接收到相同的光量的反射光RL的情况下，电荷分配次数较多的高灵敏度帧HG的像素信号，与电荷分配次数较少的低灵敏度帧LG的像素信号相比，电压信号更早地饱和。在图7中，示出了高灵敏度帧HG的像素信号在SH以下饱和，低灵敏度帧LG在SL以下饱和的特性。

因此，在距离运算部42的电荷量判定处理P1中，如上所述，将高灵敏度帧HG的像素信号的大小(电压值V)与阈值Vth进行比较，根据像素信号的大小是否超过阈值Vth，来选择高灵敏度帧HG的像素信号或低灵敏度帧LG的像素信号中的任意一方的像素信号，作为对与被摄体S之间的距离D进行运算时所使用的像素信号。在图7中，高灵敏度帧HG的像素信号的大小(电压值V)在ST的时间点超过阈值Vth，因此在该时间点将标志信号Flag设为Flag＝1，并选择低灵敏度帧LG的像素信号作为对与被摄体S之间的距离D进行运算时所使用的像素信号。另外，在ST的时间点之前，将标志信号Flag设为Flag＝0，并选择高灵敏度帧HG的像素信号作为对与被摄体S之间的距离D进行运算时所使用的像素信号。

如此距离运算部42在像素信号的大小(电压值V)饱和之前，针对通过减少电荷分配次数而入射较强的光量的反射光RL的情况，将饱和耐性切换为高达SL的低灵敏度帧LG的像素信号，并能够对与被摄体S之间的距离D进行运算。

另外，距离运算部42在电荷量判定处理P1中使用的阈值Vth为，对相对于距离图像传感器32所配置的像素321所具备的电荷蓄积部CS饱和的电荷量Q而预设的比率(例如，90％)进行限定的值。阈值Vth例如基于对距离图像传感器32(更具体而言为像素321)进行制造时的制造条件等来确定，也可以将确定的值预先设定于距离运算部42。此外，阈值Vth例如基于距离图像拍摄装置1对距离D进行测量的对象的被摄体S的状态、距离图像拍摄装置1对与被摄体S之间的距离D进行测量时的测量模式等、任意的条件来确定，也可以在距离运算部42对与被摄体S之间的距离D进行运算之前，由距离图像处理部4所具备的未图示的控制部、距离图像拍摄装置1的内部或外部所具备的未图示的控制部来设定确定的值。也就是说，也可以是能够基于对被摄体S所存在的位置、被摄体S所存在的背景的环境、被摄体S的光脉冲PO的反射率等的被摄体S的状态、距离图像拍摄装置1进行测量的距离D的范围进行切换的模式(例如，近距离测量模式、远距离测量模式等)中的任意的条件进行变更的可变的值。由此，在距离图像拍摄装置1中，即使被摄体S存在于较近的位置、或存在于较远的位置、或是因被摄体S所存在的周围的环境变亮而入射较强的背景光的环境、或是因周围的环境变暗而背景光未入射的环境、或是光脉冲PO的反射率较高的被摄体S、或是反射率较低的被摄体S的情况下，也能够变更为适合各自的阈值Vth。

如此，距离运算部42选择灵敏度不同的两个帧中所包含的与相同的位置的像素321对应的像素信号中的、任意一个像素信号，作为对与被摄体S之间的距离D进行运算的像素信号。之后，距离运算部42将所选择的像素信号中所包含的三个电压信号的各自所表示的电荷量Q(电荷量Q1、电荷量Q2、电荷量Q3)应用于上式(1)，并对与被摄体S之间的距离D进行运算。

并且，距离运算部42将求得的距离D和标志信号Flag建立关联，并设为与像素321的位置对应的距离信息。由此，针对距离运算部42所输出的距离信息中所包含的距离D，能够通过参照标志信号Flag而容易地判断，是否是使用高灵敏度帧HG的像素信号或低灵敏度帧LG的像素信号中的任意像素信号而求得的数值。以下，距离运算部42同样地按照距离图像传感器32的受光区域320内所配置的各个像素321，重复由电荷量判定处理P1实施的像素信号的选择、基于所选择的像素信号的距离D的运算。由此，距离运算部42输出与所有像素321的位置对应的1帧大小的距离信息。

另外，在本发明中，用于进行电荷量判定处理P1的距离运算部42的结构并不特别限定。例如，距离运算部42也可以构成为，具备临时性地存储所取得的高灵敏度帧HG的像素信号帧存储器和临时性地存储所取得的低灵敏度帧LG的像素信号的帧存储器这两个帧存储器。在该结构的情况下，距离运算部42在读出与各帧存储器中存储的相同的像素321对应的像素信号的同时，进行由电荷量判定处理P1实施的像素信号的选择和基于所选择的像素信号的距离D的运算。此外，例如，距离运算部42也可以构成为，具备临时性地存储所取得的低灵敏度帧LG的像素信号的一个帧存储器。在该结构的情况下，距离运算部42以低灵敏度帧LG、高灵敏度帧HG的顺序，取得2帧大小的像素信号的组，将最初取得的低灵敏度帧LG的像素信号存储于帧存储器。并且，距离运算部42在取得高灵敏度帧HG的像素信号时，读出与帧存储器中存储的相同的像素321对应的低灵敏度帧LG的像素信号，并相对于当前取得的高灵敏度帧HG的像素信号和从帧存储器读出的低灵敏度帧LG的像素信号，进行电荷量判定处理P1以及距离D的运算。也就是说，距离运算部42与取得高灵敏度帧HG的像素信号的时机同步地，实时地进行电荷量判定处理P1和距离D的运算。

在此，对1帧大小的距离信息的结构进行说明。图8为示意地表示包含本发明的实施方式的距离图像拍摄装置1中测量的距离的信息(距离信息)的帧的结构的一个示例的图。在图8的(a)中示出高灵敏度帧HG的结构的一个示例，在图8的(b)中示出低灵敏度帧LG的结构的一个示例，在图8的(c)中示出距离信息的帧的一个示例。

如上所述，距离运算部42取得高灵敏度帧HG和低灵敏度帧LG这2帧大小的像素信号的组，并输出将按照各个像素321选择任意的像素信号而求得的距离D和标志信号Flag建立关联的距离信息。在图8中，示出了在各帧中，包含与距离图像传感器32的受光区域320的呈i行(1≤i≤y)j列(1≤j≤x)配置的一个像素321的位置对应的距离信息的帧的一个示例。

距离运算部42在电荷量判定处理P1中选择图8的(a)所示的高灵敏度帧HG中作为像素信号而含有的电荷量QHk(i，j)(k＝1，2，3)、和图8的(b)所示的低灵敏度帧LG中作为像素信号而含有的电荷量QLk(i，j)(k＝1，2，3)中的任意一方的电荷量Q，并将所选择的电荷量Q应用于上式(1)，对与被摄体S之间的距离D进行运算。并且，距离运算部42如图8的(c)所示，输出将运算的距离D(i，j)和标志信号Flag(i，j)建立关联的距离信息的帧。另外，如上所述，即使距离运算部42是具备一个帧存储器的构成，也能够仅使用该一个帧存储器，来进行与输出图8的(c)所示的距离信息的帧同样的处理。

另外，在上述的说明中，说明距离运算部42基于高灵敏度帧HG和低灵敏度帧LG的各1帧大小的像素信号，按照距离图像传感器32的受光区域320内所配置的各个像素321，重复由电荷量判定处理P1实施的像素信号的选择和基于所选择的像素信号的距离D的运算的情况。但是，距离运算部42中的电荷量判定处理P1和距离D的运算并不限定于按照每个像素321来进行的构成。例如，距离运算部42也可以构成为，在距离图像传感器32中的受光区域320，按照水平方向(行方向)以及垂直方向(列方向)上相邻的两个像素321(2×2像素)、按照四个像素321(4×4像素)等、按照预设的多个像素321的单位分割的块、来进行电荷量判定处理P1和距离D的运算。

之后，距离运算部42也可以生成视觉上表示1帧大小的距离信息的距离信息图像。此外，距离运算部42也可以生成以明暗在视觉上表示距离图像拍摄装置1中的距离D的测量范围、也就是说距离图像传感器32的拍摄区域的范围内所包含的被摄体S的形状的、与距离信息图像对应的明暗图像。但是，明暗图像为以明暗表示各个像素321接收到的反射光RL的光量的图像，因此依赖于像素信号的灵敏度、也就是说电荷量Q的绝对值。并且，在距离运算部42所输出的1帧大小的距离信息中混合有使用高灵敏度帧HG的像素信号而求得的距离D和使用低灵敏度帧LG的像素信号而求得的距离D。因此，当简单地生成与距离信息图像对应的明暗图像时，各个像素321中的明暗未被统一且成为存在有违和感的明暗图像。因此，距离运算部42参照在1帧大小的各个距离信息中与距离D建立关联的标志信号Flag，在高灵敏度帧HG的像素信号与低灵敏度帧LG的像素信号之间进行增益调节，以使相同的位置的明暗相同，从而生成明暗图像。另外，距离运算部42在1帧大小的距离信息中仅包含有Flag＝0的标志信号Flag的情况下，也可以基于高灵敏度帧HG的像素信号生成明暗图像，在包含有Flag＝0和Flag＝1这两个标志信号Flag的情况下，基于低灵敏度帧LG的像素信号生成明暗图像。

如上所述，在第一实施方式中，距离运算部42通过电荷量判定处理P1，选择灵敏度不同的两个帧的像素信号中所包含的与相同的位置的像素321对应的像素信号中的、任意一个像素信号，作为对与被摄体S之间的距离D进行运算的像素信号。之后，距离运算部42将所选择的像素信号中所包含的三个电压信号的各自所表示的电荷量Q(电荷量Q1、电荷量Q2、电荷量Q3)应用于上式(1)，对与被摄体S之间的距离D进行运算。由此，在第一实施方式中，距离运算部42在像素信号的大小比阈值Vth小的情况下，能够求取高灵敏度的距离D，在像素信号的大小超过阈值Vth的情况下，能够求取饱和耐性较高的距离D。由此，在第一实施方式中，能够实现距离运算部42求得的距离D的高动态范围化。换言之，在第一实施方式中，能够扩大在距离图像拍摄装置1中能够对与被摄体S之间的距离D进行测量的进深方向的范围、被摄体S的背景光的范围。

(第二实施方式)

接着，对在距离图像拍摄装置1中能够测量的与被摄体S之间的距离D的高动态范围化的其他实现方法(第二实施方式)进行说明。图9为示意地表示在本发明的实施方式的距离图像拍摄装置1中取得用于测量距离D的像素信号的帧的时机的其他一个示例的图。在第二实施方式的高动态范围化的实现方法中，预先确定三个固定的电荷分配次数，将以预设的各个电荷分配次数取得的三个像素信号的帧设为1组，从而实现扩大在距离图像拍摄装置1中能够测量与被摄体S之间的距离D的进深方向的范围、被摄体S的背景光的范围的高动态范围化。在图9中，示出了在距离图像拍摄装置1中，取得电荷分配次数不同的三个像素信号的帧作为1组的情况的一个示例。更具体而言，在图9中，示出了取得将电荷分配次数较多的高灵敏度帧HG设为第一帧、将电荷分配次数为中等程度的中灵敏度的像素信号的帧(以下，称作“中灵敏度帧”)MG设为第二帧、将电荷分配次数较少的低灵敏度帧LG设为第三帧的1组的像素信号的帧的情况的一个示例。在距离图像拍摄装置1中，如图9所示，交替且连续地取得高灵敏度帧HG、中灵敏度帧MG、低灵敏度帧LG这3帧的像素信号。

另外，在图9中，示出了以高灵敏度帧HG、中灵敏度帧MG、低灵敏度帧LG的顺序交替地取得3帧大小的像素信号的情况的一个示例，但是距离图像拍摄装置1取得3帧大小的像素信号的顺序并不限定于图9所示的顺序，如果不是按照每组来改变帧的顺序，则也可以是任意的顺序。例如，也可以是低灵敏度帧LG、中灵敏度帧MG、高灵敏度帧HG的顺序，也可以是高灵敏度帧HG、低灵敏度帧LG、中灵敏度帧MG的顺序。

此外，在图9中，还示意地表示取得高灵敏度帧HG、中灵敏度帧MG、低灵敏度帧LG的各帧时所需要的电荷蓄积期间和像素信号读出期间的结构(比率)。另外，取得各帧时所需要的电荷蓄积期间和像素信号读出期间的结构(比率)的想法，与在第一实施方式中图5所示的电荷蓄积期间和像素信号读出期间的结构(比率)的想法相同。因此，省略说明与图9所示的取得各帧时所需要的电荷蓄积期间和像素信号读出期间的结构(比率)相关的详细情况。

在第二实施方式的高动态范围化的实现方法中，例如在将高灵敏度帧HG的灵敏度设为低灵敏度帧LG的灵敏度的10倍程度、将中灵敏度帧MG的灵敏度设为低灵敏度帧LG的灵敏度的5倍程度的情况下，垂直扫描电路323将为了取得中灵敏度帧MG而进行的电荷分配驱动的次数设为，为了取得高灵敏度帧HG而进行的电荷分配驱动的次数的1/2程度，将为了取得低灵敏度帧LG而进行的电荷分配驱动的次数设为，为了取得高灵敏度帧HG而进行的电荷分配驱动的次数的1/10程度。更具体而言，在图9中，在将为了取得高灵敏度帧HG而进行的电荷分配次数设为例如H＝10万次的情况下，垂直扫描电路323将为了取得中灵敏度帧MG而进行的电荷分配次数设为M＝5万次，将为了取得低灵敏度帧LG而进行的电荷分配次数设为L＝1万次。

在第二实施方式的高动态范围化的实现方法中，在与第一实施方式的高动态范围化的实现方法同样的想法中，距离图像拍摄装置1基于以图9所示的时机取得的各组的像素信号的帧，使距离运算部42按照像素321的每个位置对与被摄体S之间的距离D进行运算。此时，距离运算部42按照每个像素321来选择基于高灵敏度帧HG中包含的像素信号对与被摄体S之间的距离D进行运算、或基于中灵敏度帧MG或低灵敏度帧LG中包含的像素信号对与被摄体S之间的距离D进行运算。在此，距离运算部42在选择了中灵敏度帧MG或低灵敏度帧LG的像素信号的情况下，进一步基于中灵敏度帧MG中包含的像素321的位置的像素信号，按照每个像素321来选择基于中灵敏度帧MG中包含的像素信号对与被摄体S之间的距离D进行运算、或基于低灵敏度帧LG中包含的像素信号对与被摄体S之间的距离D进行运算。并且，距离运算部42基于所选择的电荷量Q，按照每个像素321对与被摄体S之间的距离D进行运算。

接着，说明选择距离运算部42对与被摄体S之间的距离D进行运算时所使用的三个电荷量Q的处理。图10为示意地表示在本发明的实施方式的距离图像拍摄装置1中选择距离D的测量所使用的像素信号(电荷量Q)的其他处理的图。在图10中，示意地表示距离运算部42在距离图像传感器32的受光区域320内，选择对呈i行(1≤i≤y)j列(1≤j≤x)配置的一个像素321的位置处的与被摄体S之间的距离D进行运算时所使用的像素信号的处理。另外，在图10中，将高灵敏度帧HG中作为像素信号而含有的三个电压信号的各自所表示的电荷量Q设为“电荷量QH”，将中灵敏度帧MG中作为像素信号而含有的三个电压信号的各自所表示的电荷量Q设为“电荷量QM”，将低灵敏度帧LG中作为像素信号而含有的三个电压信号的各自所表示的电荷量Q设为“电荷量QL”。

在第二实施方式的高动态范围化的实现方法中，也与第一实施方式的高动态范围化的实现方法同样地，距离运算部42通过上式(1)求取与被摄体S之间的距离D。在此，电荷量Q1、电荷量Q2、以及电荷量Q3、各个电荷量Q的关系与第一实施方式的高动态范围化的实现方法相同。也就是说，各个电荷量Q的关系成为Q1<(Q2、Q3)，对于电荷量Q2与电荷量Q3的关系，在接收到存在于较近的位置的被摄体S所反射的反射光RL的像素321中成为Q2>Q3，在接收到存在于较远的位置的被摄体S所反射的反射光RL的像素321中成为Q2<Q3。

距离运算部42在电荷量判定处理P11中，与第一实施方式的高动态范围化的实现方法中的电荷量判定处理P1同样地，基于高灵敏度帧HG的电荷量QH2与电荷量QH3，选择高灵敏度帧HG、中灵敏度帧MG以及低灵敏度帧LG中的任意一个像素信号，作为对与被摄体S之间的距离D进行运算时所使用的像素信号。并且，距离运算部42在选择中灵敏度帧MG以及低灵敏度帧LG中的任意一方的像素信号，作为对与被摄体S之间的距离D进行运算时所使用的像素信号的情况下，在电荷量判定处理P12中，基于含有中灵敏度帧MG中作为像素信号而含有的三个电压信号的各自所表示的电荷量QM1、电荷量QM2、电荷量QM3中的、与被摄体S所反射的反射光RL对应的电荷量的电荷量QM2和电荷量QM3，选择中灵敏度帧MG或低灵敏度帧LG中的任意一方的像素信号，作为对与被摄体S之间的距离D进行运算时所使用的像素信号。

更具体而言，距离运算部42首先使用高灵敏度帧HG的像素信号，通过MAX(QH2，QH3)的处理来选择任意较大的一方的电荷量QH，将所选择的电荷量QH与用于选择像素信号的基准的阈值Vth进行比较。并且，距离运算部42在所选择的电荷量QH为阈值Vth以下的(电荷量判定处理P11的判定结果为“NO”)情况下，将表示判定结果的标志信号FlagA设为FlagA＝0，将切换开关SW1设为NO侧，选择高灵敏度帧HG的像素信号作为对与被摄体S之间的距离D进行运算时所使用的像素信号。另一方面，距离运算部42在所选择的电荷量QH超过阈值Vth的(电荷量判定处理P11的判定结果为“YES”)情况下，将表示判定结果的标志信号FlagA设为FlagA＝1，将切换开关SW1设为YES侧，来进行下一个判定处理、也就是说进行电荷量判定处理P12。在电荷量判定处理P12中，距离运算部42使用中灵敏度帧MG的像素信号，通过MAX(QM2，QM3)的处理选择任意较大的一方的电荷量QM，将所选择的电荷量QM与阈值Vth进行比较。并且，距离运算部42在所选择的电荷量QM为阈值Vth以下的(电荷量判定处理P12的判定结果为“NO”)情况下，将表示判定结果的标志信号FlagB设为FlagB＝0，将切换开关SW2设为NO侧，选择中灵敏度帧MG的像素信号作为对与被摄体S之间的距离D进行运算时所使用的像素信号。另一方面，距离运算部42在所选择的电荷量QM超过阈值Vth的(电荷量判定处理P12的判定结果为“YES”)情况下，将表示判定结果的标志信号FlagB设为FlagB＝1，将切换开关SW2设为YES侧，选择低灵敏度帧LG的像素信号作为对与被摄体S之间的距离D进行运算时所使用的像素信号。

另外，在上述的说明中，说明在电荷量判定处理P11中接下来进行电荷量判定处理P12的情况下，但是进行电荷量判定处理P11和电荷量判定处理P12时的时间顺序并不限定于上述的顺序。也就是说，也可以在先进行电荷量判定处理P12之后再进行电荷量判定处理P11。

在此，对距离运算部42所选择的像素信号与阈值Vth的关系进行说明。图11为表示在本发明的实施方式的距离图像拍摄装置1中选择距离D的测量所使用的像素信号的其他处理(电荷量判定处理P11以及电荷量判定处理P12)的关系的一个示例的图。在图11中，示出了与在第一实施方式中选择图7所示的距离的测量所使用的像素信号的处理(电荷量判定处理P1)的关系的一个示例同样地，将横轴设为入射光量，将纵轴设为像素信号，即设为与分配给电荷蓄积部CS的电荷量Q对应的电压信号的大小(电压值V)，像素321接收到相同的光量的反射光RL的情况的像素信号的线形以及饱和特性。此外，在图11中，还与在第一实施方式中选择图7所示的距离的测量所使用的像素信号的处理(电荷量判定处理P1)的关系的一个示例同样地，示出了阈值Vth。

高灵敏度帧HG、中灵敏度帧MG、以及低灵敏度帧LG的中的任意帧中所包含的像素信号也随着像素321接收到的反射光RL的光量变多，而电压信号的大小变大。并且，在像素321接收到相同的光量的反射光RL的情况下，以电荷分配次数较多的高灵敏度帧HG的像素信号、电荷分配次数为中等程度的中灵敏度帧MG的像素信号、电荷分配次数较少的低灵敏度帧LG的像素信号的顺序，电压信号饱和。在图11中，示出了高灵敏度帧HG的像素信号在SH以下饱和，中灵敏度帧MG在SM以下饱和，低灵敏度帧LG在SL以下饱和的特性。

因此，在距离运算部42的电荷量判定处理P11中，如上所述，将高灵敏度帧HG的像素信号的大小(电压值V)与阈值Vth进行比较，根据像素信号的大小是否超过阈值Vth，来选择高灵敏度帧HG的像素信号、中灵敏度帧MG以及低灵敏度帧LG中的任意一方的像素信号中的任意一个像素信号，作为对与被摄体S之间的距离D进行运算时所使用的像素信号。并且，距离运算部42在电荷量判定处理P11中，选择中灵敏度帧MG以及低灵敏度帧LG中的任意一方的像素信号，作为对与被摄体S之间的距离D进行运算时所使用的像素信号的情况下，进行电荷量判定处理P12。在距离运算部42的电荷量判定处理P12中，如上所述，将中灵敏度帧MG的像素信号的大小(电压值V)与阈值Vth进行比较，根据像素信号的大小是否超过阈值Vth，来选择中灵敏度帧MG的像素信号或低灵敏度帧LG的像素信号中的任意一方的像素信号，作为对与被摄体S之间的距离D进行运算时所使用的像素信号。

在图11中，由于高灵敏度帧HG的像素信号的大小(电压值V)在STH的时间点超过阈值Vth，因此在该时间点将标志信号FlagA设为FlagA＝1，选择中灵敏度帧MG以及低灵敏度帧LG中的任意一方的像素信号，作为对与被摄体S之间的距离D进行运算时所使用的像素信号。另外，在STH的时间点之前，将标志信号FlagA设为FlaAg＝0，选择高灵敏度帧HG的像素信号作为对与被摄体S之间的距离D进行运算时所使用的像素信号。此外，在图11中，由于中灵敏度帧MG的像素信号的大小(电压值V)在STM的时间点超过阈值Vth，因此在该时间点进一步将标志信号FlagB设为FlagB＝1，选择低灵敏度帧LG的像素信号作为对与被摄体S之间的距离D进行运算时所使用的像素信号。另外，在STH至STM的期间，仅标志信号FlagA为FlagA＝1，标志信号FlagB为FlagB＝0。因此，在STH至STM的期间，选择中灵敏度帧MG的像素信号作为对与被摄体S之间的距离D进行运算时所使用的像素信号。

如此，距离运算部42在第二实施方式的高动态范围化的实现方法中也与第一实施方式的高动态范围化的实现方法同样地，在像素信号的大小(电压值V)饱和之前，针对通过减少电荷分配次数而入射较强的光量的反射光RL的情况，将饱和耐性切换为高达SM的中灵敏度帧MG的像素信号、或将饱和耐性切换为高达SL的低灵敏度帧LG的像素信号，能够对与被摄体S之间的距离D进行运算。并且，在第二实施方式的高动态范围化的实现方法中，由于将灵敏度不同的三个像素信号的帧用于被摄体S之间的距离D的运算，因此能够实现比第一实施方式的高动态范围化的实现方法更高的动态范围化。

另外，距离运算部42在电荷量判定处理P11以及电荷量判定处理P12中所使用的阈值Vth为，基于与第一实施方式的高动态范围化的实现方法同样的想法，相对于距离图像传感器32所配置的像素321所具备的电荷蓄积部CS饱和的电荷量Q而限定、确定、或设定的固定或可变的值。因此，省略说明与第二实施方式的高动态范围化的实现方法中所使用的阈值Vth的想法相关的详细情况。另外，在上述的说明中，说明了在电荷量判定处理P11中与MAX(QH2，QH3)进行比较的阈值Vth、和在电荷量判定处理P12中与MAX(QM2，QM3)进行比较的阈值Vth为相同的值的情况。但是，电荷量判定处理P11中所使用的阈值Vth与电荷量判定处理P12中所使用的阈值Vth并不限定于相同的值，也可以是不同的值。

如此，第二实施方式的高动态范围化的实现方法中的距离运算部42，选择灵敏度不同的三个帧的像素信号中所包含的与相同的位置的像素321对应的像素信号中的、任意一个像素信号，作为对与被摄体S之间的距离D进行运算的像素信号。之后，距离运算部42将所选择的像素信号中所包含的三个电压信号的各自所表示的电荷量Q(电荷量Q1、电荷量Q2、电荷量Q3)应用于上式(1)，并对与被摄体S之间的距离D进行运算。

并且，距离运算部42与第一实施方式的高动态范围化的实现方法同样地，按照距离图像传感器32的受光区域320内所配置的各个像素321重复上述的处理，并输出将在所有像素321的位置求得的距离D和标志信号FlagA以及标志信号FlagB建立关联的1帧大小的距离信息。由此，针对距离运算部42所输出的距离信息中包含的距离D，能够通过参照标志信号FlagA以及标志信号FlagB而容易地判断是否是使用高灵敏度帧HG的像素信号、中灵敏度帧MG的像素信号、或低灵敏度帧LG的像素信号中的任意像素信号而求得数值。

另外，在本发明中，在第二实施方式的高动态范围化的实现方法中也与第一实施方式的高动态范围化的实现方法同样地，用于进行电荷量判定处理P11以及电荷量判定处理P12的距离运算部42的结构并不特别限定。因此，在第二实施方式的高动态范围化的实现方法中，例如距离运算部42也可以构成为，具备与所取得的各帧的像素信号对应的三个帧存储器。在该结构的情况下，距离运算部42与第一实施方式的高动态范围化的实现方法同样地，在读出各帧存储器中存储的与相同的像素321对应的像素信号同时，进行由电荷量判定处理P11以及电荷量判定处理P12实施的像素信号的选择、和基于选择像素信号的距离D的运算。此外，例如，距离运算部42也可以构成为，具备一个帧存储器，并与第一实施方式的高动态范围化的实现方法同样地，与取得其他帧的像素信号的时机同步地，实时进行电荷量判定处理P11以及电荷量判定处理P12和距离D的运算。在该结构的情况下，距离运算部42以低灵敏度帧LG、中灵敏度帧MG、高灵敏度帧HG的顺序，取得3帧大小的像素信号的组，将最初取得的低灵敏度帧LG的像素信号存储于帧存储器。并且，距离运算部42在取得中灵敏度帧MG的像素信号时，读出帧存储器中存储的与相同的像素321对应的低灵敏度帧LG的像素信号，并相对于当前取得的中灵敏度帧MG的像素信号和从帧存储器读出的低灵敏度帧LG的像素信号进行电荷量判定处理P12，在选择中灵敏度帧MG的像素信号的情况下，将帧存储器中存储的低灵敏度帧LG的像素信号替换为(覆盖)中灵敏度帧MG的像素信号，并追加于标志信号FlagB。之后，距离运算部42在取得高灵敏度帧HG的像素信号时，读出帧存储器中存储的与相同的像素321对应的中灵敏度帧MG或低灵敏度帧LG的像素信号，并相对于当前取得的高灵敏度帧HG的像素信号和从帧存储器读出的中灵敏度帧MG或低灵敏度帧LG的像素信号，进行电荷量判定处理P11，在选择高灵敏度帧HG的像素信号的情况下，将帧存储器中存储的中灵敏度帧MG或低灵敏度帧LG的像素信号，替换为(覆盖)高灵敏度帧HG的像素信号，并追加于标志信号FlagA。并且，距离运算部42进行各个像素321的位置处的距离D的运算。

在此，对1帧大小的距离信息的结构进行说明。图12为示意地表示包含在本发明的实施方式的距离图像拍摄装置1中测量的距离的信息(距离信息)的帧的其他结构的一个示例的图。在图12的(a)中示出高灵敏度帧HG的结构的一个示例，在图12的(b)中示出中灵敏度帧MG的结构的一个示例，在图12的(c)中示出低灵敏度帧LG的结构的一个示例，在图12的(d)中示出距离信息的帧的一个示例。

如上所述，距离运算部42取得高灵敏度帧HG、中灵敏度帧MG、低灵敏度帧LG的3帧大小的像素信号的组，并输出将按照各个像素321选择任意的像素信号而求得的距离D与标志信号FlagA以及标志信号FlagB建立关联的距离信息。在图12中，示出了与包含在第一实施方式中图8所示的测量到的距离的信息(距离信息)的帧的结构的一个示例同样地，在各帧中，包含与距离图像传感器32的受光区域320的呈i行(1≤i≤y)j列(1≤j≤x)配置的一个像素321的位置对应的距离信息的帧的一个示例。

距离运算部42在电荷量判定处理P11以及电荷量判定处理P12中选择图12的(a)所示的高灵敏度帧HG中作为像素信号而含有的电荷量QHk(i，j)(k＝1，2，3)、图12的(b)所示的中灵敏度帧MG中作为像素信号而含有的电荷量QMk(i，j)(k＝1，2，3)、图12的(c)所示的低灵敏度帧LG中作为像素信号而含有的电荷量QLk(i，j)(k＝1，2，3)中的任意一个电荷量Q。并且，距离运算部42将所选择的电荷量Q应用于上式(1)，对与被摄体S之间的距离D进行运算。之后，距离运算部42如图12的(d)所示，输出将运算的距离D(i，j)和标志信号FlagA(i，j)以及标志信号FlagB(i，j)建立关联的距离信息的帧。

另外，在第二实施方式的高动态范围化的实现方法中也与第一实施方式的高动态范围化的实现方法同样地，说明距离运算部42基于高灵敏度帧HG、中灵敏度帧MG、低灵敏度帧LG的各1帧大小的像素信号，按照距离图像传感器32的受光区域320内所配置的各个像素321，重复由电荷量判定处理P11以及电荷量判定处理P12实施的像素信号的选择、基于选择的像素信号的距离D的运算的情况。但是，在第二实施方式的高动态范围化的实现方法中也与第一实施方式的高动态范围化的实现方法同样地，距离运算部42中的电荷量判定处理P11、电荷量判定处理P12、以及距离D的运算并不限定于按照像素321进行的构成，也可以是按照以预设的多个像素321的单位分割的块，进行电荷量判定处理P11、电荷量判定处理P12、以及距离D的运算的构成。

之后，距离运算部42也可以与第一实施方式的高动态范围化的实现方法同样地，生成视觉上表示1帧大小的距离信息的距离信息图像。即使在此生成的距离信息图像中，也与第一实施方式的高动态范围化的实现方法同样地，距离运算部42所求得的距离D不依赖于使用高灵敏度帧HG、中灵敏度帧MG、或低灵敏度帧LG的像素信号中的任意像素信号来求取。

此外，距离运算部42也可以与第一实施方式的高动态范围化的实现方法同样地，生成以明暗在视觉上表示距离图像拍摄装置1中的距离D的测量范围内中所包含的被摄体S的形状的、与距离信息图像对应的明暗图像。但是，距离运算部42与第一实施方式的高动态范围化的实现方法同样地，参照在1帧大小的各个距离信息中与距离D建立关联的标志信号FlagA以及标志信号FlagB，在高灵敏度帧HG的像素信号、中灵敏度帧MG、低灵敏度帧LG的像素信号之间进行增益调节，从而生成明暗图像。另外，距离运算部42也可以以与第一实施方式的高动态范围化的实现方法同样的想法，根据1帧大小的距离信息中所包含的标志信号FlagA以及标志信号FlagB的状态，对用于明暗图像的生成的像素信号的帧整体进行切换。也就是说，距离运算部42也可以，在1帧大小的距离信息中所包含的标志信号FlagA全部为FlagA＝0的情况下，基于高灵敏度帧HG的像素信号生成明暗图像。此外，距离运算部42也可以，在1帧大小的距离信息中所包含的标志信号FlagA为FlagA＝1但标志信号FlagB全部为FlagB＝0的情况下，基于中灵敏度帧MG的像素信号生成明暗图像，在标志信号FlagB中包含FlagB＝0和FlagB＝1这两个状态的情况下，基于低灵敏度帧LG的像素信号生成明暗图像。

如上所述，即使在第二实施方式中，也基于与第一实施方式同样的想法，距离运算部42通过电荷量判定处理P11以及电荷量判定处理P12，选择灵敏度不同的三个帧的像素信号中所包含的与相同的位置的像素321对应的像素信号中的、任意一个像素信号，作为对与被摄体S之间的距离D进行运算的像素信号。之后，距离运算部42与第一实施方式的高动态范围化的实现方法同样地，将所选择的像素信号中所包含的三个电压信号的各自所表示的电荷量Q(电荷量Q1、电荷量Q2、电荷量Q3)应用于上式(1)，并对与被摄体S之间的距离D进行运算。由此，在第二实施方式中，距离运算部42在像素信号的大小比阈值Vth小的情况下，能够求取高灵敏度的距离D，在像素信号的大小超过阈值Vth的情况下，能够求取将饱和耐性提高为中等程度的距离D、或进一步提高了饱和耐性的距离D。由此，在第二实施方式中，能够实现距离运算部42所求得的距离D的进一步的高动态范围化。也就是说，在第二实施方式中，能够与第一实施方式的高动态范围化的实现方法相比进一步实现高动态范围化。

另外，在第一实施方式中，说明了通过预设两个固定的电荷分配次数，从而取得灵敏度不同的两个像素信号的帧作为1组并输出1帧大小的距离信息的情况。此外，在第二实施方式中，说明了通过预设三个固定的电荷分配次数，从而取得灵敏度不同的三个像素信号的帧作为1组并输出1帧大小的距离信息的情况。但是，在距离图像拍摄装置1中预设的固定的电荷分配次数的数量，并不限定于第一实施方式或第二实施方式中说明的数量。也就是说，距离图像拍摄装置1中为了输出1帧大小的距离信息而取得的像素信号的帧的数(帧数)，并不限定于第一实施方式或第二实施方式中说明的帧数。由此，在距离图像拍摄装置1中为了输出1帧大小的距离信息而取得的像素信号的帧数也可以是4帧以上。

如上所述，根据本发明的各实施方式，在使用了配置有多个具备一个光电转换元件和与该一个光电转换元件对应的多个电荷蓄积部的像素的分配构成的拍摄元件的距离图像拍摄装置中，预先确定多个固定的分配次数。并且，在本发明的各实施方式中，通过以预设的各个分配次数而将根据照射的光脉冲被被摄体反射的反射光而产生的电荷分配给各个电荷蓄积部的电荷分配驱动，从而取得多个灵敏度的不同的像素信号的帧。之后，在本发明的各实施方式中，在灵敏度的不同的两个像素信号的帧间，进行选择对被摄体之间的距离进行测量时所使用的像素信号的处理。在选择该像素信号的处理中，根据包含来自两个像素信号的帧中的、灵敏度更高的像素信号的帧中所包含的像素信号所表示的被摄体的反射光的电荷量，相对于电荷蓄积部饱和的电荷量是否超过预设的基准的阈值，来选择对与被摄体之间的距离进行测量时所使用的像素信号。更具体而言，在包含来自被摄体的反射光的电荷量为阈值以下的情况下，选择灵敏度更高的方的像素信号的帧中所包含的像素信号作为对被摄体之间的距离进行测量时所使用的像素信号，在包含来自被摄体的反射光的电荷量超过阈值的情况下，选择灵敏度较低的像素信号的帧中所包含的像素信号作为对被摄体之间的距离进行测量时所使用的像素信号。在本发明的各实施方式中，在所取得的各个像素信号的帧间进行选择对与被摄体之间的距离进行测量时所使用的像素信号的处理。

由此，在本发明的各实施方式中，从所取得的多个像素信号的帧中所包含的像素信号之中，选择对与被摄体之间的距离进行测量时所使用的一个像素信号，能够对与被摄体之间的距离进行测量(运算)。也就是说，在本发明的各实施方式中，即使在被摄体存在于较近的位置、或存在于较远的位置、或是因被摄体所存在的周围的环境变亮而入射较强的背景光的环境、或是因周围的环境变暗而背景光未入射的环境、或是光脉冲的反射率较高的被摄体、或是反射率较低的被摄体的各种状态下，能够对被摄体之间的距离进行测量(运算)。由此，在本发明的各实施方式中，能够减少由对距离进行测量的被摄体的状况或环境的变化产生的影响，能够扩大对与被摄体的距离进行测量的范围、也就是说能够扩大距离的测量中的动态范围。

以上，对本发明的优选的实施方式进行了说明，但本发明并不限定于这些实施方式以及其变形例。在不脱离本发明的主旨的范围内，能够进行构成的附加、省略、替换以及其他变更。

此外，本发明并不通过所述的说明来限定，仅通过所附的权利要求的范围来限定。

产业上的利用可能性

根据所述各实施方式，在使用了分配构成的拍摄元件的距离图像拍摄装置中，不需要复杂的构成或控制，能够减少由对距离进行测量的被摄体的状况或环境的变化产生的影响，能够扩大对与被摄体的距离进行测量的范围。

附图标记说明

1 距离图像拍摄装置

2 光源部

21 光源装置

22 扩散板

3 光接收部

31 透镜

32 距离图像传感器

320 受光区域

321 像素

322 控制电路

323 垂直扫描电路

324 水平扫描电路

325 像素信号处理电路

4 距离图像处理部

41 时机控制部

42 距离运算部

PD 光电转换元件

GD 漏极栅极晶体管

RU 像素信号读出部

O 输出端子

G 读出栅极晶体管

FD 浮动扩散器

C 电荷蓄积电容

RT 复位栅极晶体管

SF 源极跟随栅极晶体管

SL 选择栅极晶体管

CS 电荷蓄积部

PO 光脉冲

RL 反射光

S 被摄体

Claims (10)

1.一种距离图像拍摄装置，其特征在于，具备：

光源部，其相对于拍摄对象的空间以规定的周期照射持续的光脉冲；

光接收部，其包括配置有呈二维的行列状的多个像素的距离图像传感器，所述距离图像传感器包括光电转换元件和多个电荷蓄积部，所述光电转换元件产生与入射的光对应的电荷，所述多个电荷蓄积部用于蓄积所述电荷，所述距离图像传感器与所述光脉冲的照射同步地将所述电荷分配并蓄积于各个所述电荷蓄积部；以及

距离图像处理部，其基于以预设的固定的电荷分配次数分配而累积于所述电荷蓄积部的各自的所述电荷的量即电荷量，求得存在于所述拍摄对象的空间的被射体之间的距离，

在所述距离图像处理部中，

取得在所述距离图像传感器以不同的所述电荷分配次数累积于所述电荷蓄积部的至少两个所述电荷量作为一组，

基于将以许多所述电荷分配次数累积的所述电荷量即第一电荷量和预设的阈值进行了比较的结果，来选择所述第一电荷量以及作为组而取得的以较少的所述电荷分配次数累积的所述电荷量即第二电荷量中的任意一方的电荷量，作为求取所述距离时所使用的电荷量；

所述第一电荷量以及所述第二电荷量为，

包含根据所述光脉冲被所述被射体反射的反射光而产生的电荷的所述电荷的量。

2.根据权利要求1所述的距离图像拍摄装置，其特征在于，

在所述距离图像处理部中，

在所述第一电荷量为所述阈值以下的情况下，选择所述第一电荷量，作为求取所述距离时所使用的电荷量，

在所述第一电荷量超过所述阈值的情况下，选择所述第二电荷量，作为求取所述距离时所使用的电荷量。

3.根据权利要求2所述的距离图像拍摄装置，其特征在于，

所述第一电荷量包含：

第1-1电荷量，其为包含根据照射所述光脉冲的期间中的所述反射光而产生的电荷的所述电荷的量；以及

第1-2的电荷量，其为包含根据所述光脉冲的照射停止后的期间中的所述反射光而产生的电荷的所述电荷的量，

在所述距离图像处理部中，

基于将所述第1-1电荷量与所述第1-2电荷量中的、任意较大的一方的电荷量和所述阈值进行了比较的结果，来选择所述第一电荷量以及所述第二电荷量中的任意一方的电荷量，作为求取所述距离时所使用的电荷量。

4.根据权利要求1至3中任一项所述的距离图像拍摄装置，其特征在于，

所述距离图像处理部输出标志信号，所述标志信号表示为了求取所述距离时使用而选择的电荷量。

5.根据权利要求1至3中任一项所述的距离图像拍摄装置，其特征在于，

所述距离图像处理部按照每个所述像素来选择求取所述距离时所使用的电荷量。

6.根据权利要求1至3中任一项所述的距离图像拍摄装置，其特征在于，

所述距离图像处理部按照每个将所述距离图像传感器中配置有所述像素的区域分割为多个的块的单位，来选择求取所述距离时所使用的电荷量。

7.根据权利要求1至3中任一项所述的距离图像拍摄装置，其特征在于，

所述阈值为相对于能够累积并蓄积于所述电荷蓄积部的电荷量饱和的电荷量而确定的值。

8.根据权利要求7所述的距离图像拍摄装置，其特征在于，

所述阈值为可变的值。

9.根据权利要求1至3中任一项所述的距离图像拍摄装置，其特征在于，

所述电荷蓄积部构成为，包含蓄积所述电荷的电荷蓄积电容。

10.一种距离图像拍摄方法，通过距离图像拍摄装置来实施，所述距离图像拍摄装置具备：

光源部，其相对于拍摄对象的空间以规定的周期照射持续的光脉冲；

光接收部，其包括呈二维的行列状配置有多个像素的距离图像传感器，所述距离图像传感器包括光电转换元件和多个电荷蓄积部，所述光电转换元件产生与入射的光对应的电荷，所述多个电荷蓄积部用于蓄积所述电荷，所述距离图像传感器与所述光脉冲的照射同步地将所述电荷分配并蓄积于各个所述电荷蓄积部；以及

距离图像处理部，其基于以预设的固定的电荷分配次数分配而累积于所述电荷蓄积部的各自的所述电荷的量即电荷量，求得存在于所述拍摄对象的空间的被射体之间的距离，

所述距离图像拍摄方法的特征在于，

在所述距离图像处理部中进行如下处理：

取得在所述距离图像传感器以不同的所述电荷分配次数累积于所述电荷蓄积部的至少两个所述电荷量作为一组，

基于将以许多所述电荷分配次数累积的所述电荷量即第一电荷量和预设的阈值进行了比较的结果，来选择所述第一电荷量以及作为组而取得的以较少的所述电荷分配次数累积的所述电荷量即第二电荷量中的任意一方的电荷量，作为求取所述距离时所使用的电荷量；

所述第一电荷量以及所述第二电荷量为，

包含根据所述光脉冲被所述被射体反射的反射光而产生的电荷的所述电荷的量。