CN110612429B - 三维影像测距***及方法 - Google Patents

Abstract

一种三维影像测距***(10)，包括发光模块(12)、感光像素阵列(142)及运算单元(16)。所述发光模块于第一时间中发射第一结构光，并于第二时间中发射第二结构光，其中所述第一结构光与所述第二结构光之间的结构光相位差为(π/2)的奇数倍。所述感光像素阵列于所述第一时间产生第一影像(P1)，并于所述第二时间产生第二影像(P2)。运算单元用来根据所述第一影像及所述第二影像，产生同相影像(I)及正交影像(Q)；以及根据所述同相影像及所述正交影像，产生对应于目标物件的深度影像(DP)。

Description

三维影像测距***及方法

技术领域

本申请涉及一种三维影像测距***及方法，尤其涉及一种可计算结构光的精细位置的三维影像测距***及方法。

背景技术

随着科学与技术的飞速发展，物体三维信息的获取在很多应用领域都有着广泛的应用前景，如生产自动化、人机交互、医学诊断、逆向工程、数字化建模等。其中，结构光三维测量法作为一种非接触式的三维信息获取技术，因其实现简单、速度快和精度高等优点得到了广泛应用。

结构光三维测量法的基本思想是利用结构光投影的几何关系来获得物体的三维信息。首先通过投影设备将编码的结构光模版投射到待测物体上，并使用摄像机记录下投影图像，将所拍图像与所投影的结构光模版进行匹配，找到匹配点后，利用投影点、匹配点及物体的三角关系求解目标物体的三维信息。

然而，现有结构光三维测量***在计算物体于所拍摄图像的坐标位置不够精细，而限制其三维信息的精准度。因此，现有技术实有改进的必要。

发明内容

因此，本申请部分实施例的目的即在于提供一种可计算结构光的精细位置的三维影像测距***及方法，以改善现有技术的缺点。

为了解决上述技术问题，本申请实施例提供了一种三维影像测距***，包括发光模块，包括绕射单元；第一发光单元，用来于第一时间中发射第一光至所述绕射单元，所述绕射单元于所述第一时间中对所述第一光形成绕射作用而产生第一结构光；第二发光单元，用来于第二时间中发射第二光至所述绕射单元，所述绕射单元于所述第二时间中对所述第二光形成绕射作用而产生第二结构光，其中所述第一结构光与所述第二结构光之间的结构光相位差为(π/2)的奇数倍；感光像素阵列，用来于所述第一时间接收对应于所述第一结构光的反射光，以产生第一影像，并于所述第二时间接收对应于所述第二结构光的反射光，以产生第二影像；运算单元，耦接于所述感光像素阵列，用来执行以下步骤：根据所述第一影像及所述第二影像，产生相关于所述第一结构光的同相影像及相关于所述第二结构光的正交影像；以及根据所述同相影像及所述正交影像，产生对应于目标物件的深度影像。

例如，所述绕射单元包括第一绕射子单元及第二绕射子单元，所述第一绕射子单元于所述第一时间中对所述第一光形成绕射作用而产生所述第一结构光，所述第二绕射子单元于所述第二时间中对所述第二光形成绕射作用而产生所述第二结构光。

例如，所述第一发光单元接收第一脉冲信号并根据所述第一脉冲信号发射出所述第一光，所述第二发光单元接收第二脉冲信号并根据所述第二脉冲信号发射出所述第二光。

例如，所述第一脉冲信号及所述第二脉冲信号的占空比小于特定占空比，所述第一发光单元及所述第二发光单元的发光功率大于特定功率。

例如，所述第一发光单元所发射的所述第一光相对于所述绕射单元具有第一入射角，所述第二发光单元所发射的所述第二光相对于所述绕射单元具有第二入射角，所述第一入射角与所述第二入射角不同，而使得所述第一结构光与所述第二结构光之间的所述结构光相位差为(π/2)的奇数倍。

例如，所述感光像素阵列包括多个感光像素电路，多个感光像素电路中一第一感光像素电路包括感光元件；第一光电读取电路，耦接于所述感光元件，包括：第一传输闸，耦接于所述感光元件，其中所述第一传输闸于所述第一时间导通；第一输出晶体管，耦接于所述第一传输闸；以及第一读取晶体管，耦接于所述第一输出晶体管，用来输出第一输出信号；以及第二光电读取电路，耦接于所述感光元件，包括：第二传输闸，耦接于所述感光元件，其中所述第二传输闸于所述第二时间导通；第二输出晶体管，耦接于所述第二传输闸；以及第二读取晶体管，耦接于所述第二输出晶体管，用来输出第二输出信号；其中，所述第一影像中对应于所述第一感光像素电路的一第一像素值为所述第一输出信号，所述第二影像中对应于所述第一感光像素电路的一第二像素值为所述第二输出信号；其中，所述同相影像中对应于所述第一感光像素电路的第一同相像素值相关于所述第一输出信号，所述正交影像中对应于所述第一感光像素电路的第一正交像素值相关于所述第二输出信号。

例如，所述第一感光像素电路还包括：第三光电读取电路，耦接于所述感光元件，包括：第三传输闸，耦接于所述感光元件，其中所述第三传输闸于第三时间导通，于所述第三时间中，所述第一发光单元及所述第二发光单元皆不发光；第三输出晶体管，耦接于所述第三传输闸；以及第三读取晶体管，耦接于所述第三输出晶体管，用来输出第三输出信号；其中，所述同相影像中对应于所述第一感光像素电路的所述第一同相像素值相关于所述第一输出信号减去所述第三输出信号，所述正交影像中对应于所述第一感光像素电路的所述第一正交像素值相关于所述第二输出信号减去所述第三输出信号；其中，所述多个感光像素电路所输出的多个第三输出信号形成第三影像。

例如，所述第一感光像素电路还包括第四光电读取电路，耦接于所述感光元件，包括：第四传输闸，耦接于所述感光元件，其中所述第四传输闸于第四时间导通，所述第一时间与所述第四时间相隔时间间隔；第四输出晶体管，耦接于所述第四传输闸；以及第四读取晶体管，耦接于所述第四输出晶体管，用来输出第四输出信号；其中，所述同相影像中对应于所述第一感光像素电路的所述第一同相像素值相关于所述第一输出信号及第四输出信号；其中，所述多个感光像素电路所输出的多个第四输出信号形成第四影像；其中，所述运算单元根据所述第一影像及所述第四影像，取得对应于所述目标物件的飞时距离。

例如，所述运算单元用来执行以下步骤，以根据所述同相影像及所述正交影像，产生对应于所述目标物件的所述深度影像：根据所述同相影像及所述正交影像，产生相位影像，其中所述相位影像代表所述第一结构光所形成的所述同相影像与所述第二结构光所形成的所述正交影像之间的影像相位；根据所述相位影像，产生对应于第一相位角度的第一光条纹影像，其中所述第一光条纹影像纪录所述影像相位为所述第一相位角度的坐标位置；以及根据所述第一光条纹影像，产生对应于所述目标物件的所述深度影像。

例如，所述第一相位角度为0。

例如，所述运算单元用来执行以下步骤，以根据所述相位影像，产生对应于所述第一相位角度的所述第一光条纹影像：取得所述相位影像中位于第一像素坐标位置的第一相位影像像素值，并取得所述相位影像中位于第二像素坐标位置的第二相位影像像素值，其中所述第一像素坐标位置于第一维度直接相邻于所述第二像素坐标位置；判断所述第一相位角度是否介于所述第一相位影像像素值与所述第二相位影像像素值之间；当所述第一相位角度介于所述第一相位影像像素值与所述第二相位影像像素值之间时，根据所述第一相位角度、所述第一相位影像像素值及所述第二相位影像像素值，执行内插运算，以取得内插结果；将所述内插结果储存至所述第一光条纹影像的所述第一像素坐标位置，而所述内插结果成为所述第一光条纹影像中于所述第一像素坐标位置的光条纹影像像素值。

例如，所述运算单元用来执行以下步骤，以根据所述第一相位角度、所述第一相位影像像素值及所述第二相位影像像素值，执行所述内插运算以取得所述内插结果：计算所述内插结果为

其中，θ代表所述第一相位角度，(n,m)代表所述第一像素坐标位置，(n-1,m)代表所述第二像素坐标位置，PHI(n,m)代表所述第一相位影像像素值，PHI(n-1,m)所述第二相位影像像素值。

例如，所述运算单元另用来执行以下步骤，以根据所述相位影像，产生对应于所述第一相位角度的所述第一光条纹影像：当所述第一相位角度不介于所述相位影像中所述第一相位影像像素值与所述第二相位影像像素值之间时，所述第一光条纹影像中对应于所述第一像素坐标位置的光条纹影像像素值为0。

例如，所述运算单元用来执行以下步骤，以根据所述第一光条纹影像，产生对应于所述目标物件的所述深度影像：取得所述目标物件对应于第三像素坐标位置的第一二维图像坐标，其中所述第一二维图像坐标为(x₀,y₀)＝(m,LSP₁(n,m))，y₀代表所述第一二维图像坐标于第一维度的坐标值，x₀代表所述第一二维图像坐标于第二维度的坐标值，n代表所述第三像素坐标位置于所述第一维度的坐标值，m代表所述第三像素坐标位置于所述第二维度的坐标值，LSP₁(n,m)代表所述第一光条纹影像于第三像素坐标位置的光条纹影像像素值；根据所述第一二维图像坐标，取得所述目标物件对应于所述第三像素坐标位置的第一三维图像坐标；以及根据所述第一三维图像坐标，计算所述目标物件对应于所述第三像素坐标位置的深度影像像素值。

例如，所述运算单元另用来执行以下步骤，以根据所述同相影像及所述正交影像，产生对应于所述目标物件的所述深度影像：根据所述相位影像，产生对应于至少一第二相位角度的至少一第二光条纹影像，其中所述至少一第二相位角度不同于所述第一相位角度，所述至少一第二光条纹影像不同于所述第一光条纹影像；以及将所述第一光条纹影像及所述至少一第二光条纹影像整合成为整合影像；以及根据所述整合影像，产生对应于所述目标物件的所述深度影像。

例如，所述至少一第二相位角度为(2π/L)的整数倍，L为大于1的正整数。

例如，所述运算单元用来执行以下步骤，以将所述第一光条纹影像及所述至少一第二光条纹影像整合成为所述整合影像：产生所述整合影像为所述第一光条纹影像及所述至少一第二光条纹影像的相加结果。

例如，所述运算单元用来执行以下步骤，以根据所述整合影像，产生对应于所述目标物件的所述深度影像：取得所述目标物件于所述整合影像中对应于第四像素坐标位置的第二二维图像坐标，其中所述第二二维图像坐标为(x₀,y₀)＝(m,MG(n,m))，y₀代表所述第二二维图像坐标于第一维度的坐标值，x₀代表所述二维图像坐标于第二维度的坐标值，n代表所述第四像素坐标位置于所述第一维度的坐标值，m代表所述第四像素坐标位置于所述第二维度的坐标值，MG(n,m)代表所述整合影像于第四像素坐标位置的整合影像像素值；根据所述第二二维图像坐标，取得所述目标物件对应于所述第四像素坐标位置的第二三维图像坐标；以及根据所述第二三维图像坐标，计算所述目标物件对应于所述第四像素坐标位置的深度影像像素值。

例如，所述感光像素阵列于第三时间接收背景光以产生第三影像，所述感光像素阵列于第四时间中接收对应于所述第一结构光的反射光以产生第四影像，所述运算单元另用来执行以下步骤，以根据所述同相影像及所述正交影像，产生对应于所述目标物件的所述深度影像：根据所述第一影像及所述第四影像，产生对应于所述目标物件的飞时距离；根据所述飞时距离及所述第一光条纹影像，决定角度，其中所述角度代表所述目标物件、所述发光模块与所述感光像素阵列之间的夹角；以及根据所述整合影像以及所述角度，产生对应于所述目标物件的所述深度影像。

例如，所述运算单元另用来执行以下步骤，以根据所述整合影像以及所述角度，产生对应于所述目标物件的所述深度影像：取得所述目标物件于所述整合影像中对应于第四像素坐标位置的第二二维图像坐标，其中所述第二二维图像坐标为(x₀,y₀)＝(m,MG(n,m))，y₀代表所述第二二维图像坐标于第一维度的坐标值，x₀代表所述二维图像坐标于第二维度的坐标值，n代表所述第四像素坐标位置于所述第一维度的坐标值，m代表所述第四像素坐标位置于所述第二维度的坐标值，MG(n,m)代表所述整合影像于第四像素坐标位置的整合影像像素值；根据所述第二二维图像坐标以及所述角度，取得所述目标物件对应于所述第四像素坐标位置的第二三维图像坐标；以及根据所述第二三维图像坐标，计算所述目标物件对应于所述第四像素坐标位置的深度影像像素值。

为了解决上述技术问题，本申请实施例另提供了一种三维影像测距方法，应用于三维影像测距***，其特征在于，所述三维影像测距***包括发光模块及感光像素阵列，所述发光模块于第一时间中发射第一结构光，并于第二时间中发射第二结构光，所述感光像素阵列于所述第一时间接收对应于所述第一结构光的反射光以产生第一影像，并于所述第二时间接收对应于所述第二结构光的反射光以产生第二影像，其中所述第一结构光与所述第二结构光之间的结构光相位差为(π/2)的奇数倍，所述三维影像测距方法包括：根据所述第一影像及所述第二影像，产生相关于所述第一结构光的同相影像及相关于所述第二结构光的正交影像；以及根据所述同相影像及所述正交影像，产生对应于目标物件的深度影像。

本申请实施例利用包括结构光相位差为(π/2)或(3π/2)的第一结构光及第二结构光，计算影像相位；并根据影像相位，计算条纹状结构光在(与条纹状结构光垂直的)第一方向/维度的精细位置。相较于现有技术，本申请可精确地取得目标物件的深度信息。

附图说明

图1为本申请实施例一三维影像测距***的外观示意图；

图2为图1的三维影像测距***的功能方块示意图；

图3为本申请实施例一绕射单元的示意图；

图4为本申请实施例一第一结构光及一第二结构光的示意图；

图5为本申请实施例一流程的示意图；

图6为本申请实施例一感光像素电路的示意图；

图7为本申请实施例一感光像素电路的示意图；

图8为本申请实施例一感光像素电路的示意图；

图9为本申请实施例多个信号的时序示意图；

图10为本申请实施例一流程的示意图；

图11为本申请实施例一相位影像的示意图；

图12为本申请实施例一流程的示意图；

图13为本申请实施例一光条纹影像的示意图；

图14为本申请实施例一流程的示意图；

图15为本申请实施例一流程的示意图；

图16为本申请实施例一光条纹影像的示意图；

图17为本申请实施例一光条纹影像的示意图；

图18为本申请实施例一光条纹影像的示意图；

图19为本申请实施例一整合影像的示意图；

图20为本申请实施例一流程的示意图；

图21为本申请实施例的发光模块、感光模块的相对位置关系图；

图22为本申请实施例一流程的示意图；

图23为本申请实施例一流程的示意图；

图24为本申请实施例一发光模块的示意图；

图25为条纹状结构光投射于物件的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在本申请说明书以及权利要求中，影像A与影像B之间进行加减乘除运算代表影像A及影像B进行像素与像素之间的加减乘除运算。详细来说，假设A(n,m)、B(n,m)及C(n,m)分别代表影像A、影像B及影像C于像素坐标位置(n,m)的像素值，影像C等于影像A加影像B(记为C＝A+B)代表影像C的第(n,m)个像素值C(n,m)为C(n,m)＝A(n,m)+B(n,m)，影像C等于影像A减影像B(记为C＝A-B)代表影像C的第(n,m)个像素值C(n,m)为C(n,m)＝A(n,m)-B(n,m)，影像C等于影像A乘以影像B(记为C＝A*B)代表影像C的第(n,m)个像素值C(n,m)为C(n,m)＝A(n,m)*B(n,m)，影像C等于影像A除以影像B(记为C＝A/B)代表影像C的第(n,m)个像素值C(n,m)为C(n,m)＝A(n,m)/B(n,m)。对影像A进行函数f运算代表对影像A中每一元素进行函数f运算，例如C＝f(A)代表影像C的第(n,m)个像素值C(n,m)为C(n,m)＝f(A(n,m))。另外，n为影像中的行指针(Row Index)，m为影像中的列指针(Column Index)。另外，角度或相位的单位为弧度(又称弪度，即Radian)。

三维影像测距***可利用条纹状结构光以及三角测量法量测距离，请参考图25，图25为条纹状结构光投射于物件(手掌)的示意图。条纹状结构光垂直于第一方向D1(或第一维度D1)而平行于第二方向D2(或第二维度D2)。如图25所示，条纹状结构光投射于物件时会因物件的形状而扭曲，而对应条纹状结构光的影像在第一方向/维度D1会有较大的变化。现有技术中，计算条纹状结构光影像在第一方向/维度D1的坐标位置受限于像素本身，而无法更加精细，而影响三角测量法所计算出的距离。本申请可计算条纹状结构光在第一方向/维度D1的精细位置，进而精确地取得物件的深度信息。

具体来说，图1为本申请实施例一三维影像测距***10的外观示意图，图2为三维影像测距***10的功能方块示意图。三维影像测距***10可设置于电子装置1中，电子装置1可为智能手机、或平板计算机。三维影像测距***10包括发光模块12、感光模块14以及运算单元16，发光模块12于第一时间T₁中发射第一结构光SL1，并于第二时间T₂中发射第二结构光SL2，其中第一结构光SL1与第二结构光SL2之间具有结构光相位差，而结构光相位差为(π/2)的奇数倍，例如，结构光相位差可为(π/2)或是(3π/2)。感光模块14可包括镜头(Lens)146以及感光像素阵列142，感光像素阵列142包括排列成阵列的多个感光像素电路144，感光像素阵列142用来于第一时间T₁接收对应于第一结构光SL1的反射光，以产生第一影像P1，并于第二时间T₂接收对应于第二结构光SL2的反射光，以产生第二影像P2。运算单元16耦接于感光像素阵列142，其可包含处理器或差分运算放大器，运算单元16用来以接收第一影像P1及第二影像P2，并根据第一影像P1及第二影像P2，产生对应于目标物件的深度影像。

发光模块12包括绕射单元DE、第一发光单元LE1以及第二发光单元LE2，绕射单元DE可包括单一绕射光学元件(Diffraction Optical Element，DOE)，第一发光单元LE1以及第二发光单元LE2可为发光二极管(LED)或激光(Laser)发射单元。第一发光单元LE1用来于第一时间T₁中发射第一光L1至绕射单元DE，绕射单元DE于第一时间T₁中对第一光L1形成绕射作用而产生第一结构光SL1；第二发光单元LE2用来于第二时间T₂中发射第二光L1至绕射单元DE，绕射单元DE于第二时间T₂中对第二光L2形成绕射作用而产生第二结构光SL2。

第一发光单元LE1以及第二发光单元LE2可瞬间发出强光(类似一般照相机的闪光灯)，而第一光L1及第二光L1可为脉冲调变(Pulse Modulated)光，使得关于结构光SL1、SL2的光信号不易受到背景光干扰。换句话说，第一发光单元LE1接收第一脉冲信号pm1并根据第一脉冲信号pm1发射出第一光L1，第二发光单元LE2接收第二脉冲信号pm2并根据第二脉冲信号pm2发射出第二光L2。其中，第一脉冲信号pm1及第二脉冲信号pm2的占空比小于特定占空比，而第一发光单元LE1以及第二发光单元LE2的发光功率大于特定功率。于一实施例中，第一脉冲信号pm1及第二脉冲信号pm2的占空比可小于1/50或小于1/1000，第一发光单元LE1以及第二发光单元LE2的发光功率可大于4瓦特。其余关于发光模块12根据脉冲信号pm1、pm2产生结构光SL1、SL2的技术细节，可参考现有的文献所揭露的内容，于此不再赘述。

图3为本申请实施例第一结构光SL1及第二结构光SL2的示意图。为了方便说明，于子图3a中，第一结构光SL1及第二结构光SL2分别用黑色条纹及斜线阴影条纹来表示，第一结构光SL1的光条纹及第二结构光SL2的光条纹(Light Strip)皆垂直于第一方向/维度D1而平行于第二方向/维度D2。实际上，黑色条纹及斜线阴影条纹分别代表第一结构光SL1及第二结构光SL2最亮的光条纹，另外，子图3b中的曲线CV1及曲线CV2分别代表第一结构光SL1及第二结构光SL2沿第一方向D1的强度分布曲线(Intensity Profile)，曲线CV1、CV2皆为正弦式(Sinusoidal)曲线。于子图3b所绘示的实例中，曲线CV2可视为相较于曲线CV1延迟了(π/2)(或曲线CV1可相较于曲线CV2领先了(3π/2))，即第二结构光SL2的结构光相位相较于第一结构光SL1的结构光相位延迟(π/2)(或第一结构光SL1的结构光相位相较于第二结构光SL2的结构光相位领先(3π/2))，因此，曲线CV1可视为正弦波(Sine Wave)，曲线CV2可视为余弦波(Cosine Wave)。

另一方面，对应第一结构光SL1的光条纹(黑色条纹)彼此之间相隔一距离PD，第二结构光SL2的结构光相位相较于第一结构光SL1的结构光相位延迟(π/2)代表对应第二结构光SL2的光条纹(即斜线阴影条纹)位于对应第一结构光SL1的光条纹(即黑色条纹)下方PD/4处，其中PD可代表曲线CV1的周期。

为了达到第二结构光SL2的结构光相位相较于第一结构光SL1的结构光相位延迟(π/2)，或达到对应第二结构光SL2的光条纹(斜线阴影条纹)位于对应第一结构光SL1的光条纹(黑色条纹)下方PD/4处，可调整第一发光单元LE1及第二发光单元LE2相对于绕射单元DE的入射角。请参考图4，图4为本申请实施例第一发光单元LE1、第二发光单元LE2及绕射单元DE的示意图。如图4所示，第一发光单元LE1所发射的第一光L1通过准直器(Collimator)CM之后相对于绕射单元DE具有第一入射角μ₁，第二发光单元LE2所发射的第二光L2通过准直器CM之后相对于绕射单元DE具有第二入射角μ₂，其中第一入射角μ₁与第二入射角μ₂不同，可调整第一入射角μ₁及第二入射角μ₂，而使得第二结构光SL2的结构光相位相较于第一结构光SL1的结构光相位延迟(π/2)，即第一结构光SL1与第二结构光SL2之间的所述结构光相位差为(π/2)。

另外，由于曲线CV1为正弦波而曲线CV2为余弦波，运算单元16可根据对应于第一结构光SL1的反射光的第一影像P1及对应于第二结构光SL2的反射光的第二影像P2，产生相关于第一结构光SL1的一同相(In-Phase)影像I以及相关于第二结构光SL2的一正交(Quadrature)影像Q，并根据同相影像I及正交影像Q，计算同相影像I与正交影像Q之间的影像相位，并根据影像相位，产生对应于目标物件的深度影像。

另外，于本申请说明书以及权利要求中，影像中不同行(Row)的像素值代表感光模块14所拍摄到对应第一方向/维度D1上不同位置的像素值，影像中不同列(Column)的像素值代表感光模块14所拍摄到对应第二方向/维度D2上不同位置的像素值。

关于运算单元16的运作，可归纳成为一流程A0。图5为本申请实施例流程A0的示意图。流程A0可由运算单元16来执行，流程A0包含以下步骤：

步骤A02：根据第一影像P1及第二影像P2，产生相关于第一结构光SL1的同相影像I以及相关于第二结构光SL2的正交影像Q。

步骤A04：根据同相影像I及正交影像Q，产生对应于目标物件OBJ的深度影像DP。

于步骤A02中，运算单元16根据第一影像P1产生同相影像I并根据第二影像P2产生正交影像Q。详细来说，请参考图6、图7及图8，图6、图7及图8分别为本申请实施例一感光像素电路60、一感光像素电路70及一感光像素电路80的示意图。感光像素电路60、70、80可用来实现感光像素电路144，为了方便说明，感光像素电路60、70、80可为感光像素阵列142中位于像素坐标位置(n,m)的感光像素电路(即为第(n,m)个感光像素电路)。

感光像素电路60包括感光元件PD以及光电读取电路61、62，感光元件PD可为感光二极管(Photo Diode)。光电读取电路61包括传输闸TG1、输出晶体管DV1以及读取晶体管RD1，光电读取电路62包括传输闸TG2、输出晶体管DV2以及读取晶体管RD2。传输闸TG1、TG2耦接于感光元件PD，输出晶体管DV1、DV2分别耦接于传输闸TG1、TG2，读取晶体管RD1、RD2分别耦接于输出晶体管DV1、DV2，并分别输出第一输出信号Pout1、第二输出信号Pout2。传输闸TG1、TG2分别接收信号TX1、TX2，读取晶体管RD1、RD2接收信号ROW。光电读取电路61、62另分别包括重置晶体管RT1、RT2，重置晶体管RT1、RT2接收重置信号Rst。感光像素电路60另包括一防晕染(Anti-Blooming)晶体管AB，以将感光元件PD因接收背景光而产生的光电子汲取出来，以免影响电路的正常运作。防晕染晶体管AB接收信号TX5。

感光像素电路70与感光像素电路60类似，故相同元件沿用相同符号。与感光像素电路60不同的是，感光像素电路70另包括光电读取电路63，光电读取电路63与光电读取电路61、62的电路结构相同，其包括传输闸TG3、输出晶体管DV3以及读取晶体管RD3，其中传输闸TG3接收信号TX3。

感光像素电路80与感光像素电路70类似，故相同元件沿用相同符号。与感光像素电路70不同的是，感光像素电路80另包括光电读取电路64，光电读取电路64与光电读取电路61、62、63的电路结构相同，其包括传输闸TG4、输出晶体管DV4以及读取晶体管RD4，其中传输闸TG4接收信号TX4。感光像素电路80可用于计算发光模块12所发出光线的光线飞行时间(Time of Flight，ToF)，运算单元16可根据光线飞行时间利用飞时测距法，取得对应于目标物件的飞时距离，其细节详述于后。

请一并参考图9，图9为本申请实施例第一脉冲信号pm1、第二脉冲信号pm2、信号TX1、TX2、TX3、TX4、TX5以及重置信号Rst的时序示意图。如图9所示，第一脉冲信号pm1及第二脉冲信号pm2分别于时间T₁’及时间T₂’具有脉冲，第一发光单元LE1于时间T₁’发射第一光L1，第二发光单元LE2于时间T₂’发射第二光L2，其中时间T₁’与第一时间T₁重迭而位于第一时间T₁中，时间T₂’与第二时间T₂重迭而位于第二时间T₂中。

于第一时间T₁，感光像素阵列142中每个感光像素电路144(其可为感光像素电路60、70、80)的传输闸TG1导通，感光像素阵列142中每个感光像素电路144(其可为感光像素电路60、70、80)的读取晶体管RD1输出第一输出信号Pout1，感光像素阵列142根据每个感光像素电路144所输出的第一输出信号Pout1，输出第一影像P1。

于第二时间T₂，感光像素阵列142中每个感光像素电路144(其可为感光像素电路60、70、80)的传输闸TG2导通，感光像素阵列142中每个感光像素电路144(其可为感光像素电路60、70、80)的读取晶体管RD2输出第二输出信号Pout2，感光像素阵列142根据每个感光像素电路144所输出的第二输出信号Pout2，输出第二影像P2。

于第三时间T₃，感光像素阵列142中每个感光像素电路144(其可为感光像素电路70、80)的传输闸TG3导通，感光像素阵列142中每个感光像素电路144(其可为感光像素电路70、80)的读取晶体管RD3输出第三输出信号Pout3，感光像素阵列142根据每个感光像素电路144所输出的第三输出信号Pout3，输出第三影像P3。其中，第三时间T₃与第一时间T₁及第二时间T₂不相互重迭，即于第三时间T₃中，第一发光单元LE1以及第二发光单元LE2皆不发光。换句话说，于第三时间T₃，感光像素阵列142接收背景光而产生第三影像P3。

于第四时间T₄，感光像素阵列142中每个感光像素电路144(其可为感光像素电路80)的传输闸TG4导通，感光像素阵列142中每个感光像素电路144(其可为感光像素电路80)的读取晶体管RD4输出第四输出信号Pout4，感光像素阵列142根据每个感光像素电路144所输出的第四输出信号Pout4，输出第四影像P4。其中，第四时间T₄与第一时间T₁相隔时间间隔T_d。

于一实施例中，感光像素电路144以感光像素电路60来实现，运算单元16产生同相影像I为第一影像P1，并产生正交影像Q为第二影像P2，即I＝P1(公式1.1)，Q＝P2(公式1.2)，换句话说，同相影像I中第(n,m)个同相影像像素值I(n,m)可为Pout1，正交影像Q中第(n,m)个正交影像像素值Q(n,m)可为Pout2。当第一发光单元LE1以及第二发光单元LE2的发光功率够强以至于背景光可忽略不计时，运算单元16可根据公式1.1及1.2产生同相影像I及正交影像Q。

于一实施例中，感光像素电路144以感光像素电路70来实现，运算单元16产生同相影像I为第一影像P1减去第三影像P3，并产生正交影像Q为第二影像P2减去第三影像P3，即I＝P1-P3(公式2.1)，Q＝P2-P3(公式2.2)，换句话说，同相影像I中第(n,m)个同相影像像素值I(n,m)可为Pout1-Pout3，正交影像Q中第(n,m)个正交影像像素值Q(n,m)可为Pout2-Pout3。当运算单元16根据公式2.1及2.2产生同相影像I及正交影像Q时，可消除背景光的干扰。

于一实施例中，感光像素电路144以感光像素电路80来实现，运算单元16产生同相影像I为第一影像P1加上第四影像P4后再减去第三影像P3的2倍，并产生正交影像Q为第二影像P2减去第三影像P3，即I＝P1+P4-2*P3(公式3.1)，Q＝P2-P3(即公式2.2)，换句话说，同相影像I中第(n,m)个同相影像像素值I(n,m)可为Pout1+Pout4-2*Pout3，正交影像Q中第(n,m)个正交影像像素值Q(n,m)可为Pout2-Pout3。当感光像素电路144以感光像素电路80来实现且运算单元16根据公式3.1及2.2产生同相影像I及正交影像Q时，运算单元16可根据第四影像P4另外计算出对应于目标物件的飞时距离。其中，步骤A02中的公式2.1、2.2、3.1可通过运算单元16内的差分运算放大器来执行。

于步骤A04中，运算单元16根据同相影像I及正交影像Q，产生对应于目标物件OBJ的深度影像DP。请参考图10，图10为本申请实施例一流程B0的示意图。流程B0为步骤A04的操作细节，其包含以下步骤：

步骤B02：根据同相影像I及正交影像Q，产生相位影像PHI。

步骤B04：根据相位影像PHI，产生对应于第一相位角度θ₁的光条纹影像LSP₁。

步骤B06：根据光条纹影像LSP₁，产生对应于目标物件OBJ的深度影像DP。

于步骤B02中，运算单元16产生相位影像PHI为PHI＝tan^-1(I/Q)(公式4)，即相位影像PHI的第(n,m)个像素值PHI(n,m)为PHI(n,m)＝tan^-1(I(n,m)/Q(n,m))。由于第一结构光SL1与第二结构光SL2具有(π/2)的结构光相位差，曲线CV1可视为正弦波而曲线CV2可视为余弦波，因此，相位影像PHI可视为同相影像I与正交影像Q之间的影像相位。

请参考图11，图11为本申请实施例相位影像PHI的示意图。于图11中，相位影像PHI为20×10的影像，另外，图11绘示经过遮罩(Mask)处理过后的相位影像PHI，于遮罩处理后的相位影像PHI中，非有效区域(或非目标物件OBJ)的影像已先排除，也就是说，执行完公式4后，运算单元16可将相位影像PHI中对应于非有效区域(或非目标物件OBJ)影像的像素值设为0到2π以外的特定数值，于图11的实施例中，该特定数值为-1。换句话说，图11的相位影像PHI中像素值介于0到2π的像素即形成有效区域的影像(或对应于目标物件OBJ的目标影像)。另外，于一实施例中，运算单元16可根据感光像素电路输出信号(如Pout1、Pout2、Pout3或Pout4)的信号强度决定遮罩处理的遮罩区域，即决定有效区域或非有效区域。

于步骤B04中，运算单元16根据相位影像PHI，产生对应于第一相位角度θ₁的光条纹影像LSP₁。于一实施例中，运算单元16可根据遮罩处理后的相位影像PHI(如图11)执行步骤B04。于一实施例中，第一相位角度θ₁为0。请参考图12，图12为本申请实施例一流程C0的示意图。一般来说，流程C0用来产生对应于(一般)相位角度θ的(一般)光条纹影像LSP；然而，对步骤B04而言，运算单元16执行流程C0以产生对应于(特定)相位角度θ₁的(特定)光条纹影像LSP₁，即步骤B04为运算单元16将(特定)相位角度θ₁代入流程C0中以产生(特定)光条纹影像LSP₁。于后续关于流程C0的说明中，将对(一般)相位角度θ以及(一般)光条纹影像LSP进行说明。如图12所示流程C0包含以下步骤：

步骤C00：开始。

步骤C02：取得相位影像PHI的第(n,m)个像素值PHI(n,m)。

步骤C04：判断像素值PHI(n,m)是否介于0到2π？若是，执行步骤C06；若否，执行步骤C14。

步骤C06：取得相位影像PHI的第(n-1,m)个像素值PHI(n-1,m)。

步骤C08：判断相位角度θ是否介于像素值PHI(n,m)与像素值PHI(n-1,m)之间？若是，执行步骤C10；若否，若是，执行步骤C14。

步骤C10：执行内插运算，以取得内插结果r。

步骤C12：令LSP(n,m)＝r。

步骤C14：令LSP(n,m)＝0。

步骤C16：结束。

于步骤C00中，运算单元16可跳过行指标n为1(n＝1)而先从行指标n大于或等于2(n≥2)开始计算。另外，于一实施例中，运算单元16可预先配置光条纹影像LSP中所有的光条纹影像像素值为0。

于步骤C02中，运算单元16取得相位影像PHI的第(n,m)个像素值PHI(n,m)(可对应权利要求中的第一相位影像像素值)。于步骤C06中，运算单元16取得相位影像PHI的第(n-1,m)个像素值PHI(n-1,m)(可对应权利要求中的第二相位影像像素值)。需注意的是，相位影像PHI的第(n,m)个像素与相位影像PHI的第(n-1,m)个像素为于第一方向/维度D1上直接相邻两个像素。

于步骤C08中，运算单元16判断相位角度θ是否介于像素值PHI(n,m)与像素值PHI(n-1,m)之间，运算单元16可判断PHI(n-1,m)≤θ<PHI(n,m)(或判断PHI(n-1,m)<θ≤PHI(n,m)、PHI(n-1,m)≤θ≤PHI(n,m)、PHI(n-1,m)<θ<PHI(n,m)其中之一)是否为真(True)。另外，当相位角度θ为0(θ＝0)时，运算单元16于步骤C08等同于判断PHI(n-1,m)+π≤θ+π<PHI(n,m)+π(或判断公式5如下)是否为真。

mod(PHI(n-1,m)+π,2π)≤mod(θ+π,2π)<mod(PHI(n,m)+π,2π) (公式5)

于步骤C10中，运算单元16可根据相位角度θ、相位影像像素值PHI(n,m)及PHI(n-1,m)，计算内插结果r为公式6如下。运算单元16执行步骤C10的目的在于计算出第一结构光SL1与第二结构光SL2之间的结构光相位差为相位角度θ的精细位置，更精确的说，运算单元16可利用步骤C10执行内插运算，以结构光相位差确实为相位角度θ于第一方向D1(或第一维度D1)上的精细位置。

于步骤C12中，运算单元16将内插结果r储存至光条纹影像LSP₁的像素坐标位置(n,m)，而内插结果r成为光条纹影像LSP中于像素坐标位置(n,m)的光条纹影像像素值LSP(n,m)，即LSP(n,m)＝r。

另外，运算单元16执行流程C0后所得到非0的光条纹影像像素值LSP(n,m)会介于n-1与n之间，即n-1<LSP(n,m)<n。更进一步地，当光条纹影像像素值LSP(n,m)不为0时，代表对应于像素坐标位置(n-1,m)与像素坐标位置(n,m)之间具有(第一结构光SL1与第二结构光SL2的)结构光相位差为相位角度θ的存在事实，且LSP(n,m)代表于第一方向/维度D1上，(第一结构光SL1与第二结构光SL2的)结构光相位差为相位角度θ发生的精细位置。

请参考图13，图13为运算单元16执行步骤B04后所产生的光条纹影像LSP₁(其中相位角度θ为第一相位角度θ₁，且θ＝θ₁＝0)。为了方便说明，图13另标示有第一方向/维度D1以及第二方向/维度D2，其中第一维度D1可对应二维图像坐标中的y轴，而第二维度D2可对应二维图像坐标中的x轴。由图13可知，(第一结构光SL1与第二结构光SL2的)结构光相位差为0发生于图13/光条纹影像LSP₁的点状底纹处。在已知结构光相位差为0发生像素坐标位置(n-1,m)与像素坐标位置(n,m)之间的情况下，更进一步地，于第一方向D1(或第一维度D1)上结构光相位差为0发生的精细位置为LSP₁(n,m)。举例来说，结构光相位差为0发生像素坐标位置(8,4)与像素坐标位置(9,4)之间，即于第一方向/维度D1上结构光相位差为0发生的位置介于8与9之间，更进一步地，结构光相位差为0发生的位置于第一方向/维度D1上为8.75。

于步骤B06中，运算单元16根据光条纹影像LSP₁，产生对应于目标物件OBJ的深度影像DP。于一实施例中，运算单元16仅针对光条纹影像LSP₁中光条纹影像像素值不为0的像素坐标位置进行深度/距离计算。请参考图14，图14为本申请实施例一流程D0的示意图。流程D0为步骤B06的操作细节，其包含以下步骤：

步骤D02：取得目标物件OBJ对应于像素坐标位置(n,m)的二维图像坐标(x₀,y₀)为(x₀,y₀)＝(m,LSP₁(n,m))。

步骤D04：根据二维图像坐标(x₀,y₀)，取得目标物件OBJ对应于像素坐标位置(n,m)的三维图像坐标(X₀,Y₀,Z₀)。

步骤D06：根据三维图像坐标(X₀,Y₀,Z₀)，计算目标物件OBJ对应于像素坐标位置(n,m)的深度影像像素值DP(n,m)。

于步骤D02中，运算单元16取得目标物件OBJ对应于像素坐标位置(n,m)的二维图像坐标(x₀,y₀)为(x₀,y₀)＝(m,LSP₁(n,m))，其中x₀代表二维图像坐标(x₀,y₀)于第二维度D2的坐标值，y₀代表二维图像坐标(x₀,y₀)于第一维度D1的坐标值，n代表像素坐标位置(n,m)于第一维度D1的坐标值，m代表像素坐标位置(n,m)于第二维度D2的坐标值，条纹影像像素值LSP₁(n,m)不为0。

于步骤D04中，运算单元16根据二维图像坐标(x₀,y₀)，取得目标物件OBJ对应于像素坐标位置(n,m)的三维图像坐标(X₀,Y₀,Z₀)。于一实施例中，运算单元16可利用公式7(即三角测量法)，根据二维图像坐标(x₀,y0)计算三维图像坐标(X₀,Y₀,Z₀)，其中b为发光模块12与感光模块14之间的距离，α为目标物件OBJ相对于发光模块12的俯仰角(ElevationAngle)，ρ为目标物件OBJ相对于发光模块12的方位角(Azimuth Angle)，f为镜头的焦距。另外，公式7/三角测量法的细节为本领域技术人员所知，可参考现有文献所揭露的内容，于此不再赘述。

于步骤D06中，运算单元16根据三维图像坐标(X₀,Y₀,Z₀)，计算深度影像像素值DP(n,m)。于一实施例中，运算单元16可计算深度影像像素值DP(n,m)为

另外，当LSP₁(n,m)为0时，于一实施例中，深度影像像素值DP(n,m)可为0(即DP(n,m)＝0)。

另外，现有技术中利用三角测量法计算距离的二维图像坐标(x₀,y0)为(x₀,y₀)＝(m,n)，其中n为整数，无法精细地表达条纹状结构光的影像相位在第一方向/维度D1的坐标位置。相较之下，本申请利用三角测量法计算距离的二维图像坐标(x₀,y₀)为(x₀,y₀)＝(m,LSP₁(n,m))，其中LSP₁(n,m)介于n-1与n之间的有理数，换句话说，本申请可精细地表达条纹状结构光的影像相位在第一方向/维度D1的坐标位置，进而精确地取得物件的深度信息。

简言之，三维影像测距***10利用包括第一发光单元LE1及第二发光单元LE2的发光模块12，发射出结构光相位差为(π/2)或是(3π/2)的第一结构光SL1及第二结构光SL2；利用流程A0，产生相关于第一结构光SL1的同相影像I以及相关于第二结构光SL2的正交影像Q；利用流程B0，产生代表同相影像I与正交影像Q之间的影像相位的相位影像PHI；利用流程C0，产生对应于第一相位角度θ₁的光条纹影像LSP₁；利用流程D0，根据光条纹影像LSP₁，产生对应于目标物件OBJ的深度影像DP。相较于现有技术，本申请可在第一方向/维度D1上，取得结构光相位差为第一相位角度θ₁发生的精细位置，其可更精确地计算目标物件OBJ的深度值。更进一步地，三维影像测距***10利用步骤B04/流程C0计算条纹状结构光在第一方向/维度D1的精细位置，增加目标物件OBJ深度值的精细度。另外，三维影像测距***10利用同相影像I与正交影像Q之间的影像相位来计算深度值，影像相位与反射光强度无关，因此三维影像测距***10所计算出的深度值不会受到目标物件OBJ的光反射率的影响。

然而，由图13可知，光条纹影像LSP₁为较为稀疏(Sparse)的影像，而导致深度影像DP也较为稀疏，其中稀疏影像代表该影像中大部份的像素值为0，仅少部份的像素值不为0。为了使深度影像DP更加稠密(Dense)，除了对应于第一相位角度θ₁的光条纹影像LSP₁之外，本申请亦可产生对应于至少一相位角度θ’(可对应至权利要求中的至少一第二相位角度)的至少一光条纹影像LSP’(可对应至权利要求中的至少一第二光条纹影像)，以增加深度影像DP的稠密性。其中，至少一相位角度θ’不同于第一相位角度θ₁，至少一光条纹影像LSP’不同于光条纹影像LSP₁。

具体来说，图15为本申请实施例一流程E0的示意图，流程E0包含以下步骤：

步骤E02：根据同相影像I及正交影像Q，产生相位影像PHI。

步骤E04：根据相位影像PHI，产生对应于第一相位角度θ₁的光条纹影像LSP₁。

步骤E06：根据相位影像PHI，产生对应于至少一相位角度θ’的至少一光条纹影像LSP’，至少一相位角度θ’不同于第一相位角度θ₁，至少一光条纹影像LSP’不同于光条纹影像LSP₁。

步骤E08：将光条纹影像LSP₁及至少一光条纹影像LSP’整合成为整合影像MG。

步骤E10：根据整合影像MG，产生对应于目标物件OBJ的深度影像DP。

流程E0中的步骤E02、E04与流程B0中的步骤B02、B04，于此不再赘述。

于步骤E06中，运算单元16根据相位影像PHI，产生对应于至少一相位角度θ’的至少一光条纹影像LSP’。于后续的实施例中，将以运算单元16根据相位影像PHI产生分别对应于除了相位角度θ₁以外3个相位角度θ’的3个光条纹影像LSP’为例进行说明，换句话说，运算单元16可根据相位影像PHI，产生分别对应于相位角度θ₂、θ₃、θ₄的光条纹影像LSP₂、LSP₃、LSP₄，其中相位角度θ₂、θ₃、θ₄可分别为(π/2)、(π)、(3π/2)。步骤E06为运算单元16将(特定)相位角度θ₂、θ₃、θ₄代入流程C0中，以产生(特定)光条纹影像LSP₂、LSP₃、LSP₄。关于步骤E06的操作细节，请参考关于流程C0的段落，于此不再赘述。请参考图16～18，图16为对应于相位角度θ₂(θ₂＝π/2)的光条纹影像LSP₂，图17为对应于相位角度θ₃(θ₃＝π)的光条纹影像LSP₃，图18为对应于相位角度θ₄(θ₄＝3π/2)的光条纹影像LSP₄。光条纹影像LSP₂、LSP₃、LSP₄的特性与光条纹影像LSP₁类似，而于此不再赘述。

于步骤E08中，运算单元16将光条纹影像LSP₁及至少一光条纹影像LSP’整合(Merge)成为整合影像MG。由于第一相位角度θ₁与至少一相位角度θ’不同，光条纹影像LSP₁及至少一光条纹影像LSP’中非0的光条纹影像像素位置皆不相同，因此，运算单元16可产生整合影像MG为光条纹影像LSP₁及至少一光条纹影像LSP’的相加结果。也就是说，承上述实施例，因相位角度θ₁、θ₂、θ₃、θ₄互不相同，光条纹影像LSP₁、LSP₂、LSP₃、LSP₄中非0的光条纹影像像素位置皆不相同，因此，运算单元16可将光条纹影像LSP₁、LSP₂、LSP₃、LSP₄相加，以产生整合影像MG为光条纹影像LSP₁、LSP₂、LSP₃、LSP₄的相加结果，即MG＝LSP₁+LSP₂+LSP₃+LSP₄。

请参考图19，图19为根据绘示于图13、16、17、18的光条纹影像LSP₁、LSP₂、LSP₃、LSP₄而整合成的整合影像MG。由图19可知，整合影像MG较光条纹影像LSP₁稠密。

步骤E10中，运算单元16根据整合影像MG，产生对应于目标物件OBJ的深度影像DP。请参考图20，图20为本申请实施例一流程F0的示意图。流程F0为步骤E10的操作细节，其包含以下步骤：

步骤F02：取得目标物件OBJ对应于像素坐标位置(n,m)的二维图像坐标(x₀,y₀)为(x₀,y₀)＝(m,MG(n,m))。

步骤F04：根据二维图像坐标(x₀,y₀)，取得目标物件OBJ对应于像素坐标位置(n,m)的三维图像坐标(X₀,Y₀,Z₀)。

步骤F06：根据三维图像坐标(X₀,Y₀,Z₀)，计算目标物件OBJ对应于像素坐标位置(n,m)的深度影像像素值DP(n,m)。

流程F0与流程D0类似，不同之处在于步骤F02中，坐标值y₀为整合影像像素值MG(n,m)，MG(n,m)为整合影像MG于像素坐标位置(n,m)的像素值，整合影像像素值MG(n,m)不为0。其余关于流程F0的操作细节，请参考关于流程D0的段落，于此不再赘述。

简言之，三维影像测距***10利用流程E0，产生对应于相位角度θ₁～θ₄的光条纹影像LSP₁～LSP₄，并将光条纹影像LSP₁～LSP₄整合成为较为稠密的整合影像MG。因此，运算单元16执行流程E0、F0所产生的深度影像DP亦较为稠密，可增加深度影像DP的非0深度影像像素的个数。

需注意的是，流程D0、F0皆是单纯利用三角测量法计算目标物件OBJ的深度/距离。然而，三角测量法具有光平面模糊(Light Plane Ambiguity)的问题。请参考图21，图21为发光模块12、感光模块14以及位置OA、OB、OC的相对位置关系图。简单来说，光平面模糊的问题为三维影像测距***会无法分辨目标物件OBJ是位于位置OA或是位置OB亦或是位置OC(而位置OA、OB、OC相对于发光模块12分别具有不同的角度α_A、α_B、α_C)，反而影响测距精准度。

为了解决光平面模糊的问题，三维影像测距***10可利用飞时测距法先取得对应于目标物件的飞时距离(感光像素电路144由感光像素电路80来实现)，再根据飞时距离计算出三角测量法所需的角度α，最后根据该角度α利用三角测量法计算对应目标物件OBJ的深度/距离。其中，角度α为目标物件OBJ相对于发光模块12的俯仰角，即目标物件OBJ、发光模块12与感光像素阵列142之间的夹角。

请参考图22，图22为本申请实施例一流程G0的示意图。流程G0可由运算单元16来执行，流程G0包含以下步骤：

步骤G02：根据第一影像P1及第四影像P4，产生对应于目标物件OBJ的飞时距离D_ToF。

步骤G04：根据飞时距离D_ToF及光条纹影像LSP₁，决定角度α_opt，其中角度α_opt代表目标物件OBJ、发光模块12与感光像素阵列142之间的夹角。

步骤G06：根据整合影像MG以及角度α_opt，产生对应于目标物件OBJ的深度影像DP。

于步骤G02中，运算单元16可根据第一影像P1及第四影像P4先取得飞时影像TF(其中感光像素电路144以感光像素电路80来实现)，再根据飞时影像TF计算对应于目标物件OBJ的飞时距离D_ToF。于一实施例中，运算单元16可计算飞时影像TF为TF＝(P4-P3)/(P1+P4-2*P3)*(c*T)(公式8)，其中c代表光速，T代表传输闸的导通区间的时间长度，换句话说，运算单元16可产生飞时影像TF中第(n,m)个同相影像像素值TF(n,m)为(Pout4-Pout3)/(Pout1+Pout4-2*Pout3)*(c*T)。飞时影像TF中每一飞时影像像素值TF(n,m)代表于像素坐标位置(n,m)目标物件OBJ与三维影像测距***10之间的飞时距离。另外，运算单元16可产生飞时距离D_ToF为飞时影像TF的一统计值，如运算单元16可产生飞时距离D_ToF为飞时影像TF的平均值、最大值、中位数或众数等统计值。另外，公式8/飞时测距法的细节为本领域技术人员所知，于此不再赘述。

于步骤G04中，运算单元16可根据飞时距离D_ToF及光条纹影像LSP₁，决定角度α_opt。运算单元16可事先取得可能的多个角度α₍₁₎～α_(K)，角度α₍₁₎～α_(K)可相关于绕射单元DE的特性。运算单元16可根据事先取得的角度α₍₁₎～α_(K)，_-分别执行K次流程D0，即将角度α₍₁₎～α_(K)-分别代入步骤D04中的公式7，进而产生K个利用三角测量法产生的距离D_Δ,(1)～D_Δ,(K)。运算单元16可将利用三角测量法产生的距离D_Δ,(1)～D_Δ,(K)与步骤G02所得的飞时距离D_ToF进行比对，以取得D_{Δ,(k_opt)}为距离D_Δ,(1)～D_Δ,(K)最接近飞时距离D_ToF的距离。运算单元16决定角度α_opt为角度α₍₁₎～α_(K)中对应于D_{Δ,(k_opt)}的角度α_{(k_opt)}，即α_opt＝α_{(k_opt)}。

于步骤G06中，运算单元16可根据步骤E08所产生的整合影像MG以及步骤G04所产生的角度α_opt，产生对应于目标物件OBJ的深度影像DP。请参考图23，图23为本申请实施例一流程H0的示意图。流程H0为步骤G06的操作细节，其包含以下步骤：

步骤H02：取得目标物件OBJ对应于像素坐标位置(n,m)的二维图像坐标(x₀,y₀)为(x₀,y₀)＝(m,MG(n,m))。

步骤H04：根据二维图像坐标(x₀,y₀)以及角度α_opt，取得目标物件OBJ对应于像素坐标位置(n,m)的三维图像坐标(X₀,Y₀,Z₀)。

步骤H06：根据三维图像坐标(X₀,Y₀,Z₀)，计算目标物件OBJ对应于像素坐标位置(n,m)的深度影像像素值DP(n,m)。

流程H0与流程F0、D0类似，流程H0与流程F0不同之处在于，于步骤H04中，运算单元16将角度α_opt连同步骤H02所取得的(x₀,y₀)代入步骤D04中的公式7，以产生对应于角度α_opt的三维图像坐标(X₀,Y₀,Z₀)，于步骤H06中，运算单元16即可根据步骤H04所取得(对应于角度α_opt)的三维图像坐标(X₀,Y₀,Z₀)，计算深度影像像素值DP(n,m)。其余关于流程H0的操作细节，请参考关于流程F0及流程D0的段落，于此不再赘述。

简言之，三维影像测距***10利用流程G0取得目标物件OBJ的飞时距离D_ToF，并比对三角测量法产生的距离D_Δ,(1)～D_Δ,(K)与飞时距离D_ToF，以决定角度α_opt，并根据整合影像MG以及角度α_opt，产生深度影像DP。换句话说，本申请利用飞时距离D_ToF来排除光平面模糊的可能性，同时保有飞时测距法以及三角测量法的优点。

需注意的是，前述实施例用以说明本发明之概念，本领域具通常知识者当可据以做不同的修饰，而不限于此。举例来说，绕射单元不限于包括单一绕射光学元件，请参考图24，图24为本申请实施例一发光模块DE’的示意图。所述绕射单元DE’包括第一绕射子单元DE1及第二绕射子单元DE2，第一绕射子单元DE1可为一绕射光学元件，而第二绕射子单元DE2可为另一绕射光学元件。第一发光单元LE1可朝向第一绕射子单元DE1发光，而第二发光单元LE2可朝向第二绕射子单元DE2发光。换句话说，第一绕射子单元DE1于第一时间T₁中对第一光L1形成绕射作用而产生第一结构光SL1，第二绕射子单元DE2于第二时间T₂中对第二光L2形成绕射作用而产生第二结构光SL2，亦属于本申请的范畴。

综上所述，本申请利用包括结构光相位差为(π/2)或(3π/2)的第一结构光及第二结构光，计算影像相位；并根据影像相位，计算条纹状结构光在(与条纹状结构光垂直的)第一方向/维度的精细位置。相较于现有技术，本申请可精确地取得目标物件的深度信息。

以上所述仅为本申请的部分实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。

Claims (33)

1.一种三维影像测距***，其特征在于，包括：

发光模块，包括：

绕射单元；

第一发光单元，用来于第一时间中发射第一光至所述绕射单元，所述绕射单元于所述第一时间中对所述第一光形成绕射作用而产生第一结构光；

第二发光单元，用来于第二时间中发射第二光至所述绕射单元，所述绕射单元于所述第二时间中对所述第二光形成绕射作用而产生第二结构光，其中所述第一结构光与所述第二结构光之间的结构光相位差为(π/2)的奇数倍；

感光像素阵列，用来于所述第一时间接收对应于所述第一结构光的反射光，以产生第一影像，并于所述第二时间接收对应于所述第二结构光的反射光，以产生第二影像；

运算单元，耦接于所述感光像素阵列，用来执行以下步骤：

根据所述第一影像及所述第二影像，产生相关于所述第一结构光的同相影像及相关于所述第二结构光的正交影像；以及

根据所述同相影像及所述正交影像，产生对应于目标物件的深度影像。

2.如权利要求1所述的三维影像测距***，其特征在于，所述绕射单元包括第一绕射子单元及第二绕射子单元，所述第一绕射子单元于所述第一时间中对所述第一光形成绕射作用而产生所述第一结构光，所述第二绕射子单元于所述第二时间中对所述第二光形成绕射作用而产生所述第二结构光。

3.如权利要求1所述的三维影像测距***，其特征在于，所述第一发光单元接收第一脉冲信号并根据所述第一脉冲信号发射出所述第一光，所述第二发光单元接收第二脉冲信号并根据所述第二脉冲信号发射出所述第二光。

4.如权利要求3所述的三维影像测距***，其特征在于，所述第一脉冲信号及所述第二脉冲信号的占空比小于特定占空比，所述第一发光单元及所述第二发光单元的发光功率大于特定功率。

5.如权利要求1所述的三维影像测距***，其特征在于，所述第一发光单元所发射的所述第一光相对于所述绕射单元具有第一入射角，所述第二发光单元所发射的所述第二光相对于所述绕射单元具有第二入射角，所述第一入射角与所述第二入射角不同，而使得所述第一结构光与所述第二结构光之间的所述结构光相位差为(π/2)的奇数倍。

6.如权利要求1所述的三维影像测距***，其特征在于，所述感光像素阵列包括多个感光像素电路，多个感光像素电路中一第一感光像素电路包括：

感光元件；

第一光电读取电路，耦接于所述感光元件，包括：

第一传输闸，耦接于所述感光元件，其中所述第一传输闸于所述第一时间导通；

第一输出晶体管，耦接于所述第一传输闸；以及

第一读取晶体管，耦接于所述第一输出晶体管，用来输出第一输出信号；以及

第二光电读取电路，耦接于所述感光元件，包括：

第二传输闸，耦接于所述感光元件，其中所述第二传输闸于所述第二时间导通；

第二输出晶体管，耦接于所述第二传输闸；以及

第二读取晶体管，耦接于所述第二输出晶体管，用来输出第二输出信号；

其中，所述第一影像中对应于所述第一感光像素电路的一第一像素值为所述第一输出信号，所述第二影像中对应于所述第一感光像素电路的一第二像素值为所述第二输出信号；

其中，所述同相影像中对应于所述第一感光像素电路的第一同相像素值相关于所述第一输出信号，所述正交影像中对应于所述第一感光像素电路的第一正交像素值相关于所述第二输出信号。

7.如权利要求6所述的三维影像测距***，其特征在于，所述第一感光像素电路还包括：

第三光电读取电路，耦接于所述感光元件，包括：

第三传输闸，耦接于所述感光元件，其中所述第三传输闸于第三时间导通，于所述第三时间中，所述第一发光单元及所述第二发光单元皆不发光；

第三输出晶体管，耦接于所述第三传输闸；以及

第三读取晶体管，耦接于所述第三输出晶体管，用来输出第三输出信号；

其中，所述同相影像中对应于所述第一感光像素电路的所述第一同相像素值相关于所述第一输出信号减去所述第三输出信号，所述正交影像中对应于所述第一感光像素电路的所述第一正交像素值相关于所述第二输出信号减去所述第三输出信号；

其中，所述多个感光像素电路所输出的多个第三输出信号形成第三影像。

8.如权利要求6所述的三维影像测距***，其特征在于，所述第一感光像素电路还包括：

第四光电读取电路，耦接于所述感光元件，包括：

第四传输闸，耦接于所述感光元件，其中所述第四传输闸于第四时间导通，所述第一时间与所述第四时间相隔时间间隔；

第四输出晶体管，耦接于所述第四传输闸；以及

第四读取晶体管，耦接于所述第四输出晶体管，用来输出第四输出信号；

其中，所述同相影像中对应于所述第一感光像素电路的所述第一同相像素值相关于所述第一输出信号及第四输出信号；

其中，所述多个感光像素电路所输出的多个第四输出信号形成第四影像；

其中，所述运算单元根据所述第一影像及所述第四影像，取得对应于所述目标物件的飞时距离。

9.如权利要求1所述的三维影像测距***，其特征在于，所述运算单元用来执行以下步骤，以根据所述同相影像及所述正交影像，产生对应于所述目标物件的所述深度影像：

根据所述同相影像及所述正交影像，产生相位影像，其中所述相位影像代表所述第一结构光所形成的所述同相影像与所述第二结构光所形成的所述正交影像之间的影像相位；

根据所述相位影像，产生对应于第一相位角度的第一光条纹影像，其中所述第一光条纹影像纪录所述影像相位为所述第一相位角度的坐标位置；以及

根据所述第一光条纹影像，产生对应于所述目标物件的所述深度影像。

10.如权利要求9所述的三维影像测距***，其特征在于，所述第一相位角度为0。

11.如权利要求9所述的三维影像测距***，其特征在于，所述运算单元用来执行以下步骤，以根据所述相位影像，产生对应于所述第一相位角度的所述第一光条纹影像：

取得所述相位影像中位于第一像素坐标位置的第一相位影像像素值，并取得所述相位影像中位于第二像素坐标位置的第二相位影像像素值，其中所述第一像素坐标位置于第一维度直接相邻于所述第二像素坐标位置；

判断所述第一相位角度是否介于所述第一相位影像像素值与所述第二相位影像像素值之间；

当所述第一相位角度介于所述第一相位影像像素值与所述第二相位影像像素值之间时，根据所述第一相位角度、所述第一相位影像像素值及所述第二相位影像像素值，执行内插运算，以取得内插结果；

将所述内插结果储存至所述第一光条纹影像的所述第一像素坐标位置，而所述内插结果成为所述第一光条纹影像中于所述第一像素坐标位置的光条纹影像像素值。

12.如权利要求11所述的三维影像测距***，其特征在于，所述运算单元用来执行以下步骤，以根据所述第一相位角度、所述第一相位影像像素值及所述第二相位影像像素值，执行所述内插运算以取得所述内插结果：

计算所述内插结果为

其中，θ代表所述第一相位角度，(n,m)代表所述第一像素坐标位置，(n-1,m)代表所述第二像素坐标位置，PHI(n,m)代表所述第一相位影像像素值，PHI(n-1,m)所述第二相位影像像素值。

13.如权利要求11所述的三维影像测距***，其特征在于，所述运算单元另用来执行以下步骤，以根据所述相位影像，产生对应于所述第一相位角度的所述第一光条纹影像：

当所述第一相位角度不介于所述相位影像中所述第一相位影像像素值与所述第二相位影像像素值之间时，所述第一光条纹影像中对应于所述第一像素坐标位置的光条纹影像像素值为0。

14.如权利要求9所述的三维影像测距***，其特征在于，所述运算单元用来执行以下步骤，以根据所述第一光条纹影像，产生对应于所述目标物件的所述深度影像：

取得所述目标物件对应于第三像素坐标位置的第一二维图像坐标，其中所述第一二维图像坐标为(x₀,y₀)＝(m,LSP₁(n,m))，y₀代表所述第一二维图像坐标于第一维度的坐标值，x₀代表所述第一二维图像坐标于第二维度的坐标值，n代表所述第三像素坐标位置于所述第一维度的坐标值，m代表所述第三像素坐标位置于所述第二维度的坐标值，LSP₁(n,m)代表所述第一光条纹影像于第三像素坐标位置的光条纹影像像素值；

根据所述第一二维图像坐标，取得所述目标物件对应于所述第三像素坐标位置的第一三维图像坐标；以及

根据所述第一三维图像坐标，计算所述目标物件对应于所述第三像素坐标位置的深度影像像素值。

15.如权利要求9所述的三维影像测距***，其特征在于，所述运算单元另用来执行以下步骤，以根据所述同相影像及所述正交影像，产生对应于所述目标物件的所述深度影像：

根据所述相位影像，产生对应于至少一第二相位角度的至少一第二光条纹影像，其中所述至少一第二相位角度不同于所述第一相位角度，所述至少一第二光条纹影像不同于所述第一光条纹影像；以及

将所述第一光条纹影像及所述至少一第二光条纹影像整合成为整合影像；以及

根据所述整合影像，产生对应于所述目标物件的所述深度影像。

16.如权利要求15所述的三维影像测距***，其特征在于，所述至少一第二相位角度为(2π/L)的整数倍，L为大于1的正整数。

17.如权利要求15所述的三维影像测距***，其特征在于，所述运算单元用来执行以下步骤，以将所述第一光条纹影像及所述至少一第二光条纹影像整合成为所述整合影像：

产生所述整合影像为所述第一光条纹影像及所述至少一第二光条纹影像的相加结果。

18.如权利要求15所述的三维影像测距***，其特征在于，所述运算单元用来执行以下步骤，以根据所述整合影像，产生对应于所述目标物件的所述深度影像：

取得所述目标物件于所述整合影像中对应于第四像素坐标位置的第二二维图像坐标，其中所述第二二维图像坐标为(x₀,y₀)＝(m,MG(n,m))，y₀代表所述第二二维图像坐标于第一维度的坐标值，x₀代表所述二维图像坐标于第二维度的坐标值，n代表所述第四像素坐标位置于所述第一维度的坐标值，m代表所述第四像素坐标位置于所述第二维度的坐标值，MG(n,m)代表所述整合影像于第四像素坐标位置的整合影像像素值；

根据所述第二二维图像坐标，取得所述目标物件对应于所述第四像素坐标位置的第二三维图像坐标；以及

根据所述第二三维图像坐标，计算所述目标物件对应于所述第四像素坐标位置的深度影像像素值。

19.如权利要求15所述的三维影像测距***，其特征在于，所述感光像素阵列于第三时间接收背景光以产生第三影像，所述感光像素阵列于第四时间中接收对应于所述第一结构光的反射光以产生第四影像，所述运算单元另用来执行以下步骤，以根据所述同相影像及所述正交影像，产生对应于所述目标物件的所述深度影像：

根据所述第一影像及所述第四影像，产生对应于所述目标物件的飞时距离；

根据所述飞时距离及所述第一光条纹影像，决定角度，其中所述角度代表所述目标物件、所述发光模块与所述感光像素阵列之间的夹角；以及

根据所述整合影像以及所述角度，产生对应于所述目标物件的所述深度影像。

20.如权利要求19所述的三维影像测距***，其特征在于，所述运算单元另用来执行以下步骤，以根据所述整合影像以及所述角度，产生对应于所述目标物件的所述深度影像：

取得所述目标物件于所述整合影像中对应于第四像素坐标位置的第二二维图像坐标，其中所述第二二维图像坐标为(x₀,y₀)＝(m,MG(n,m))，y₀代表所述第二二维图像坐标于第一维度的坐标值，x₀代表所述二维图像坐标于第二维度的坐标值，n代表所述第四像素坐标位置于所述第一维度的坐标值，m代表所述第四像素坐标位置于所述第二维度的坐标值，MG(n,m)代表所述整合影像于第四像素坐标位置的整合影像像素值；

根据所述第二二维图像坐标以及所述角度，取得所述目标物件对应于所述第四像素坐标位置的第二三维图像坐标；以及

根据所述第二三维图像坐标，计算所述目标物件对应于所述第四像素坐标位置的深度影像像素值。

21.一种三维影像测距方法，应用于三维影像测距***，其特征在于，所述三维影像测距***包括发光模块及感光像素阵列，所述发光模块于第一时间中发射第一结构光，并于第二时间中发射第二结构光，所述感光像素阵列于所述第一时间接收对应于所述第一结构光的反射光以产生第一影像，并于所述第二时间接收对应于所述第二结构光的反射光以产生第二影像，其中所述第一结构光与所述第二结构光之间的结构光相位差为(π/2)的奇数倍，所述三维影像测距方法包括：

根据所述第一影像及所述第二影像，产生相关于所述第一结构光的同相影像及相关于所述第二结构光的正交影像；以及

根据所述同相影像及所述正交影像，产生对应于目标物件的深度影像。

22.如权利要求21所述的三维影像测距方法，其特征在于，根据所述同相影像及所述正交影像，产生对应于所述目标物件的所述深度影像的步骤包括：

根据所述同相影像及所述正交影像，产生相位影像，其中所述相位影像代表所述第一结构光所形成的所述同相影像与所述第二结构光所形成的所述正交影像之间的影像相位；

根据所述相位影像，产生对应于第一相位角度的第一光条纹影像，其中所述第一光条纹影像纪录所述影像相位为所述第一相位角度的坐标位置；以及

根据所述第一光条纹影像，产生对应于所述目标物件的所述深度影像。

23.如权利要求22所述的三维影像测距方法，其特征在于，所述第一相位角度为0。

24.如权利要求22所述的三维影像测距方法，其特征在于，根据所述相位影像，产生对应于所述第一相位角度的所述第一光条纹影像的步骤包括：

取得所述相位影像中位于第一像素坐标位置的第一相位影像像素值，并取得所述相位影像中位于第二像素坐标位置的第二相位影像像素值，其中所述第一像素坐标位置于第一维度直接相邻于所述第二像素坐标位置；

判断所述第一相位角度是否介于所述第一相位影像像素值与所述第二相位影像像素值之间；

当所述第一相位角度介于所述第一相位影像像素值与所述第二相位影像像素值之间时，根据所述第一相位角度、所述第一相位影像像素值及所述第二相位影像像素值，执行内插运算，以取得内插结果；

将所述内插结果储存至所述第一光条纹影像的所述第一像素坐标位置，而所述内插结果成为所述第一光条纹影像中于所述第一像素坐标位置的光条纹影像像素值。

25.如权利要求24所述的三维影像测距方法，其特征在于，根据所述第一相位角度、所述第一相位影像像素值及所述第二相位影像像素值，执行所述内插运算以取得所述内插结果的步骤包括：

计算所述内插结果为

其中，θ代表所述第一相位角度，(n,m)代表所述第一像素坐标位置，(n-1,m)代表所述第二像素坐标位置，PHI(n,m)代表所述第一相位影像像素值，PHI(n-1,m)所述第二相位影像像素值。

26.如权利要求24所述的三维影像测距方法，其特征在于，根据所述相位影像，产生对应于所述第一相位角度的所述第一光条纹影像的步骤另包括：

当所述第一相位角度不介于所述相位影像中所述第一相位影像像素值与所述第二相位影像像素值之间时，所述第一光条纹影像中对应于所述第一像素坐标位置的光条纹影像像素值为0。

27.如权利要求22所述的三维影像测距方法，其特征在于，根据所述第一光条纹影像，产生对应于所述目标物件的所述深度影像的步骤包括：

取得所述目标物件对应于第三像素坐标位置的第一二维图像坐标，其中所述第一二维图像坐标为(x₀,y₀)＝(m,LSP₁(n,m))，y₀代表所述第一二维图像坐标于第一维度的坐标值，x₀代表所述第一二维图像坐标于第二维度的坐标值，n代表所述第三像素坐标位置于所述第一维度的坐标值，m代表所述第三像素坐标位置于所述第二维度的坐标值，LSP₁(n,m)代表所述第一光条纹影像于第三像素坐标位置的光条纹影像像素值；

根据所述第一二维图像坐标，取得所述目标物件对应于所述第三像素坐标位置的第一三维图像坐标；以及

根据所述第一三维图像坐标，计算所述目标物件对应于所述第三像素坐标位置的深度影像像素值。

28.如权利要求22所述的三维影像测距方法，其特征在于，根据所述同相影像及所述正交影像，产生对应于所述目标物件的所述深度影像的步骤另包括：

根据所述相位影像，产生对应于至少一第二相位角度的至少一第二光条纹影像，其中所述至少一第二相位角度不同于所述第一相位角度，所述至少一第二光条纹影像不同于所述第一光条纹影像；以及

将所述第一光条纹影像及所述至少一第二光条纹影像整合成为整合影像；以及

根据所述整合影像，产生对应于所述目标物件的所述深度影像。

29.如权利要求28所述的三维影像测距方法，其特征在于，所述至少一第二相位角度为(2π/L)的整数倍，L为大于1的正整数。

30.如权利要求28所述的三维影像测距方法，其特征在于，将所述第一光条纹影像及所述至少一第二光条纹影像整合成为所述整合影像的步骤包括：

产生所述整合影像为所述第一光条纹影像及所述至少一第二光条纹影像的相加结果。

31.如权利要求28所述的三维影像测距方法，其特征在于，根据所述整合影像，产生对应于所述目标物件的所述深度影像的步骤包括：

取得所述目标物件于所述整合影像中对应于第四像素坐标位置的第二二维图像坐标，其中所述第二二维图像坐标为(x₀,y₀)＝(m,MG(n,m))，y₀代表所述第二二维图像坐标于第一维度的坐标值，x₀代表所述二维图像坐标于第二维度的坐标值，n代表所述第四像素坐标位置于所述第一维度的坐标值，m代表所述第四像素坐标位置于所述第二维度的坐标值，MG(n,m)代表所述整合影像于第四像素坐标位置的整合影像像素值；

根据所述第二二维图像坐标，取得所述目标物件对应于所述第四像素坐标位置的第二三维图像坐标；以及

根据所述第二三维图像坐标，计算所述目标物件对应于所述第四像素坐标位置的深度影像像素值。

32.如权利要求28所述的三维影像测距方法，其特征在于，所述感光像素阵列于第三时间接收背景光以产生第三影像，所述感光像素阵列于第四时间中接收对应于所述第一结构光的反射光以产生第四影像，根据所述同相影像及所述正交影像，产生对应于所述目标物件的所述深度影像的步骤另包括：

根据所述第一影像及所述第四影像，产生对应于所述目标物件的飞时距离；

根据所述飞时距离及所述第一光条纹影像，决定角度，其中所述角度代表所述目标物件、所述发光模块与所述感光像素阵列之间的夹角；以及

根据所述整合影像以及所述角度，产生对应于所述目标物件的所述深度影像。

33.如权利要求32所述的三维影像测距方法，其特征在于，根据所述整合影像以及所述角度，产生对应于所述目标物件的所述深度影像的步骤另包括：

取得所述目标物件于所述整合影像中对应于第四像素坐标位置的第二二维图像坐标，其中所述第二二维图像坐标为(x₀,y₀)＝(m,MG(n,m))，y₀代表所述第二二维图像坐标于第一维度的坐标值，x₀代表所述二维图像坐标于第二维度的坐标值，n代表所述第四像素坐标位置于所述第一维度的坐标值，m代表所述第四像素坐标位置于所述第二维度的坐标值，MG(n,m)代表所述整合影像于第四像素坐标位置的整合影像像素值；

根据所述第二二维图像坐标以及所述角度，取得所述目标物件对应于所述第四像素坐标位置的第二三维图像坐标；以及

根据所述第二三维图像坐标，计算所述目标物件对应于所述第四像素坐标位置的深度影像像素值。

Images