CN112070844A - 结构光***的校准方法及装置、校准工具图、设备及介质 - Google Patents
结构光***的校准方法及装置、校准工具图、设备及介质 Download PDFInfo
- Publication number
- CN112070844A CN112070844A CN202010880248.7A CN202010880248A CN112070844A CN 112070844 A CN112070844 A CN 112070844A CN 202010880248 A CN202010880248 A CN 202010880248A CN 112070844 A CN112070844 A CN 112070844A
- Authority
- CN
- China
- Prior art keywords
- projector
- reference image
- frames
- calibration tool
- current position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000010586 diagram Methods 0.000 title claims description 37
- 239000011159 matrix material Substances 0.000 claims abstract description 39
- 239000003550 marker Substances 0.000 claims abstract description 20
- 238000013519 translation Methods 0.000 claims description 32
- 230000003287 optical effect Effects 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008439 repair process Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明实施例提供结构光***的校准方法及装置、校准工具、设备及介质，该方法包括：获取不同距离下校准工具图的N帧散斑图和对应的N帧红外图；所述校准工具图具有深度标识和姿态标识，所述N大于1；基于N帧所述散斑图和N帧所述红外图中的姿态标识及深度标识，确定投影器的当前位置；基于所述投影器的当前位置和原始参考图，确定所述投影器的空间旋转矩阵；基于所述原始参考图、所述投影器的当前位置、所述空间旋转矩阵获取当前参考图，以使用当前参考图替换原始参考图实现校准，从而实现校准功能，方便、快捷，避免返厂。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种结构光***的校准方法及装置、校准工具、设备及介质。
背景技术
目前计算机视觉领域中最为活跃的技术当属三维传感测量技术，三维传感技术主要有结构光、双目立体视觉、飞行时间法，单目空间编码结构光技术则是结构光技术中最为常用的，在工业生产、医疗、电子消费等领域应用广泛。单目空间结构光***主要由投射器、光学传感器组成。该技术的工作原理是，通过投射器将事先调制好的伪随机图案投射至场景，经过光学传感器采集得到场景图，将场景图与事先存储的一张或多张参考图匹配，再根据三角测量原理，便可进行深度解算，得到场景的深度信息。相较于被动双目匹配，投射器投射的图案能够增强场景特征，使得匹配更加准确。
在单目空间编码的3d结构光方案中，一般先在设备存储器内记录一张或若干张特定场景的带有空间编码的图像，称为参考图，在任意场景的3d信息获取中，使用任意场景的空间编码图像，称之为场景图，与参考图进行匹配，寻找参考图和场景图中的同名点(即在空间编码上具有相同特征的点)像素坐标位置，从而获得参考图与场景图的视差图，再根据视差及相机内参等***参数，即可获取场景图的3d信息。
虽然单目空间编码的3d结构光的方案已经相当成熟，但生产过程中该技术对模组构件的加工组装有较高的要求。由于深度恢复对相机的结构要求很高，一旦相机结构受外力等原因发生形变，投射器与光学传感器之间的相对空间位置发生变化，光轴发生变化，深度解算很难进行。
发明内容
本发明实施例提供一种结构光***的校准方法及装置、校准工具、设备及介质，用以实时实现结构光***的校准，方便、快捷，避免返厂修理。
第一方面，本发明实施例提供一种结构光***的校准方法，包括：
获取不同距离下校准工具图的N帧散斑图和对应的N帧红外图；所述校准工具图具有深度标识和姿态标识，所述N大于1；
基于N帧所述散斑图和N帧所述红外图中的姿态标识及深度标识，确定投影器的当前位置；
基于所述投影器的当前位置和原始参考图，确定所述投影器的空间旋转矩阵；
基于所述原始参考图、所述投影器的当前位置、所述空间旋转矩阵获取当前参考图，以使用当前参考图替换原始参考图实现校准。
优选地，所述校准工具图整体呈矩形；
所述姿态标识包括：设置于所述校准工具图的四个标识二维码；所述四个标识二维码分别位于矩形的四个顶点；
所述深度标识包括：依次相连的多个黑白方格；
所述黑白方格位于所述校准工具图的四周部。
优选地，所述基于N帧所述散斑图和N帧所述红外图中的姿态标识及深度标识，确定投影器的当前位置包括：
识别N帧所述散斑图和N帧所述红外图中的姿态标识及深度标识，基于结构光***的预设参数确定所述校准工具图的N个拟合平面；
将光学传感器的位置记为坐标系原点O，以光轴OZ建立右手坐标系O-XYZ，T(Tx,Ty,Tz)为投射器的当前位置；P0(x0,y0,z0)与P1(x1,y1,z1)为不同距离下的拟合平面上的一对同名点，依据光沿直线传播原理知，
根据小孔成像模型，P0与P1在光学传感器中的像素位置为p0(u0,v0)与p1(u1,v1)，即：
其中fx为x轴方向上的焦距，fy为y轴方向上的焦距；(cx，cy)为主点坐标；
联立以上三等式(1)(2)(3)，建立p0，p1的关系；
通过同名点匹配，求得p0，p1，P0与P1的具体坐标；将Tx作为是基线长度；
获取至少两对同名点关于投影器的当前位置T(Tx,Ty,Tz)的方程，联立求得所述投影器的当前位置T(Tx,Ty,Tz)。
优选地，所述基于所述投影器的当前位置和原始参考图，确定所述投影器的空间旋转矩阵包括：
已知深度信息z0的原始参考图中的任一散斑点P为：
将P随投射器移动至P′：
P′＝P+ΔT； (5)
其中，ΔT为投射器的当前位置与初始位置之间的变化量；P′为小孔成像后在新散斑图的位置；
将原始参考图I0中的所有点进行如公式(5)的变换，计算得到平移参考图I1，所述平移参考图为现有光***结构的无旋转的参考图；
在N张所述散斑图中选择校准工具图占据面积最大的一张散斑图作为散斑对比图；
将所述散斑对比图沿所述投影器的投射方向平移至与所述平移参考图I1相同的位置；
利用SIFT特征将所述散斑对比图和所述平移参考图进行同名点匹配；
利用所述同名点之间的放射关系确定从所述平移参考图到所述散斑对比图的空间旋转矩阵，作为投射器的空间旋转矩阵。
优选地，所述基于所述原始参考图、所述投影器的当前位置、所述空间旋转矩阵获取当前参考图包括：
将原始参考图中的点P按照下述公式进行旋转和平移得到对应的点Q：
Q＝R·(P-T0)+T (6)
其中，T0为投射器的原始位置；T为投射器的当前位置；R为投射器的空间旋转矩阵；
将初始参考图中的所有点依次根据公式(6)进行变换，将得到的对应点填充到当前参考图中，得到完整的当前参考图。
第二方面，本发明实施例提供一种校准工具图，应用于上述第一方面任一种所述的结构光***的校准方法，包括：深度标识和姿态标识。
优选地，所述校准工具图整体呈矩形；
所述姿态标识包括：设置于矩形左上角的第一标识二维码、设置于矩形左下角的第二标识二维码、设置于矩形右上角的第三标识二维码、设置于矩形右下角的第四标识二维码；四个标识二维码分别位于矩形的四个顶点；
所述深度标识包括：依次相连的多个黑白方格，如图所示第一黑白格包括并列设置的两纵列黑白相间的黑白格，第二黑白格也包括并列设置的两纵列黑白相间的黑白格；第一黑白格、第二黑白格设置于标识二维码的中间位置。
第三方面，本发明实施例提供一种结构光***的校准***，包括：
图像获取模块，用于获取不同距离下校准工具图的N帧散斑图和对应的N帧红外图；所述校准工具图具有深度标识和姿态标识，所述N大于1；
位置确定模块，用于基于N帧所述散斑图和N帧所述红外图中的姿态标识及深度标识，确定投影器的当前位置；
旋转确定模块，用于基于所述投影器的当前位置和原始参考图，确定所述投影器的空间旋转矩阵；
当前获取模块，用于基于所述原始参考图、所述投影器的当前位置、所述空间旋转矩阵获取当前参考图。
第四方面，本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述结构光***的校准方法的步骤。
第五方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述结构光***的校准方法的步骤。
本发明实施例提供的一种结构光***的校准方法及装置、校准工具、设备及介质，通过校准工具图对变动后的结构光***进行校正，利用多张平面之间的同名点对应关系，确定结构变动后的投射器位置，然后与事先标定的投射器位置，计算投射器变动前后的空间旋转关系，最后利用模组结构与参考图的关系模型，将原参考图变换到现有参考图，从而实现校准功能，实时实现结构光***的校准，方便、快捷，避免返厂修理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种结构光***的校准方法的流程示意图；
图2为本发明实施例提供的一种结构光***的校准方法的位置确定流程示意图；
图3为本发明实施例提供的一种结构光***的校准方法的旋转确定流程示意图；
图4为本发明实施例提供的一种结构光***的校准方法的旋转平移流程示意图；
图5为本发明实施例提供的一种校准工具图的示意图；
图6为本发明实施例提供一种结构光***的校准***的组成示意图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图4描述本发明实施例的结构光***的校准方法进行说明。
图1为本发明实施例提供的一种结构光***的校准方法的流程示意图；图2为本发明实施例提供的一种结构光***的校准方法的位置确定流程示意图；图3为本发明实施例提供的一种结构光***的校准方法的旋转确定流程示意图；图4为本发明实施例提供的一种结构光***的校准方法的旋转平移流程示意图。
本发明实施例提供一种结构光***的校准方法，包括：
步骤S11：获取不同距离下校准工具图的N帧散斑图和对应的N帧红外图；所述校准工具图具有深度标识和姿态标识，所述N大于1；
在本发明实施例中，首先需要获取不同距离下校准工具图的散斑图和对应的红外图，在同一个距离下，散斑图和对应的红外图需要同时由光学传感器获取到。使用时，手持平面工具(可倾斜)于相机正前方，前后缓慢移动保证采集得到的红外图或彩色图距离不同，亮度适中，图案清晰可见。对于单目结构光***的投射器与光学传感器，可以通过控制投射器的工作频率，得到富含投射图案纹理的图像(如散斑图)以及不含投射图案纹理的图像(如红外图)。
这里需要对校准工具进行说明，由于需要使用校准工具图的深度信息和姿态信息，因此，可以在校准工具上设置深度标识和姿态标识，当光传感器获取到校准工具图上的深度标识后，可以根据深度标识的大小来判断该深度标识与光传感器的距离，从而知晓该校准工具图的当前位置。具体地，可以将校准工具图整体设置为呈矩形；所述姿态标识包括：设置于所述校准工具图的四个标识二维码；所述四个标识二维码分别位于矩形的四个顶点；所述深度标识包括：依次相连的多个黑白方格；所述黑白方格位于所述校准工具图的四周部。利用四个标识二维码的相对位置关系，可以方便地确定出该校准工具图的与光传感器之间的角度关系。具体可以将该校准工具图设置为平面矩形的板状本体，板状本体的一面上印有深度标识和姿态标识。
当然，在实践中，校准工具图并不要求有固定的大小，可依靠自身需求设置大小及比例。校准工具图的四角的姿态标识可以由由四个不同ArUco编码的二维码来标识，用以记录工具姿态。校准工具图的黑白方格位于左上、左下两ArUCo编码中间，当然在右上、右下的两ArUCo编码中间也可以设置黑白相间的方格，黑白方格的大小为编码方格(也就是姿态标识)的一半，只需位于两边即可。校准工具图中中间部分为了避免影响光斑的投射，可以进行留白。
步骤S12：基于N帧所述散斑图和N帧所述红外图中的姿态标识及深度标识，确定投影器的当前位置；
具体地，可以识别N帧所述散斑图和N帧所述红外图中的姿态标识及深度标识，基于结构光***的预设参数确定所述校准工具图的N个拟合平面；识别N个所述拟合平面上的同名点，并根据N个所述拟合平面上的同名点的三维坐标，确定投影器的当前位置；
更具体地，可以在获取到散斑图和红外图后，可以对图像中的姿态标识和深度标识进行识别，具体地，当姿态标识为四个标识二维码时，可以根据四个标识二维码作为四边形的顶点，而四边形的形状可以表示出该校准工具图的角度偏差。对于深度标识，可以根据越远的深度标识在图像中的大小尺寸越小来来进行距离的计算，具体在进行计算时，还需要结合光传感器的基本参数来进行距离的确定。对于散斑图，其实光投射器投射光斑到校准工具图上时，可以将各个光斑进行平面拟合，从而得到校准工具图所在的拟合平面，当然在拟合过程中需要结合光结构***的预设参数，例如焦距、主点坐标等。
在进行平面拟合后，得到了N个拟合平面，这时，可以利用拟合平面上的光斑进行同名点的识别，具体地，可以利用投射器发出的光斑的形状、尺寸来进行同名点的识别，在识别到到同名点后，可以根据同名点与投影器的位置关系进行投影器的当前位置确定。根据两点确定一条直线，而两条直线有可以通过交点来确定投影器的当前位置的原理可以知晓，N可以取2、3、4……等大于1的自然数。
步骤S13：基于所述原始参考图、所述投影器的当前位置、所述空间旋转矩阵获取当前参考图，以使用当前参考图替换原始参考图实现校准。
具体地，可以根据所述投影器的当前位置和原始参考图计算平移参考图；根据平移参考图和所述校准工具图在与所述平移参考图相同距离下的散斑图比较得到所述投影器的空间旋转矩阵；在确认了投影器的当期位置后，可以根据光结构***中的投影器的原始位置来确定投影器发生的位置移动情况，从而可以将光***结构中存储的原始结构图进行对应的平移计算，从而得到平移参考图。
在实际中，不仅需要考虑投影器的位置移动，还需要考虑投影器是否发生了空间上的旋转，因此，可以使用平移参考图与校准工具图中的散斑图进行比对，得出投影器当前已经旋转的角度，从而确定计算需要的空间旋转矩阵。
步骤S14：基于所述原始参考图、所述投影器的当前位置、所述空间旋转矩阵获取当前参考图。
在确定了投影器相对于初始位置、初始姿态进行的位置移动和空间旋转矩阵后，可以全面地对原始参考图中的所有点进行相应地变换，从而确定出当前参考图。将当前参考图作为进行光结构***进行深度比对的参考图，从而可以更精确地进行深度识别。当然，对于原始参考图，也需要继续保存，可以在下一次的校准中继续使用。
进一步地，为了识别N个所述拟合平面上的同名点，并根据N个所述拟合平面上的同名点的三维坐标，确定投影器的当前位置可以具体进行以下步骤：
步骤S21：识别N帧所述散斑图和N帧所述红外图中的姿态标识及深度标识，基于结构光***的预设参数确定所述校准工具图的N个拟合平面。
步骤S22：将光学传感器的位置记为坐标系原点O，以光轴OZ建立右手坐标系O-XYZ，T(Tx,Ty,Tz)为投射器的当前位置；P0(x0,y0,z0)与P1(x1,y1,z1)为不同距离下的拟合平面上的一对同名点，依据光沿直线传播原理知，
当然，在实践中，也可以采用其他的坐标系的建立方法，例如可以使用极坐标系、柱坐标系等，并且对同名点P0(x0,y0,z0)与P1(x1,y1,z1)，其中的z0、z1为已知数，也就是深度值根据校准工具图上的深度标识已经确定。
步骤S23：根据小孔成像模型，P0与P1在光学传感器中的像素位置为p0(u0,v0)与p1(u1,v1)，即：
其中fx为x轴方向上的焦距，fy为y轴方向上的焦距；(cx，cy)为主点坐标；
本步骤中，将同名点P0与P1映射到光传感器接收到的平面图中去，u0,v0为P0映射点p0的坐标，可以通过公式(2)、(3)进行计算确定。
步骤S24：联立以上三等式(1)(2)(3)，建立p0，p1的关系；
联系(1)(2)(3)，可以得到p0，p1的关系式，当然，这时一对同名点之间的关系式，在实践中并非只有一对同名点，因此可以确定很多对同名点之间的关系。
步骤S25：通过同名点匹配，求得p0，p1，P0与P1的具体坐标；将Tx作为是基线长度；
由于p0，p1是同名点，因此可以在经过同名点匹配后，得到这些点坐标之间进一步地关系式，从而联立方程得到p0，p1，P0与P1的具体坐标。
步骤S26：获取至少两对同名点关于投影器的当前位置T(Tx,Ty,Tz)的方程，联立求得所述投影器的当前位置T(Tx,Ty,Tz)。
由于投影器所处的位置位于一对同名点所确定的直线上，因此，可以利用多对同名点所在的直线进行相交的方式确定投影器的位置T(Tx,Ty,Tz)
具体地，如果有3、4、5……更多对的同名点所在的直线进行相交求解投影器的当前位置时，可能会确定出不止一个位置坐标，这时可以对这些位置坐标使用平均数或最小二乘法的方式来确定投影器的位置，从而使得投影器的当前位置更加精确。
更近一步地，为了根据所述投影器的当前位置和原始参考图计算平移参考图，具体可以实施以下步骤：
由参考图与散斑图之间的坐标转换关系，可以知晓已知深度信息z0的原始参考图中的任一散斑点P为：
步骤S31：将P随投射器移动至P′：
P′＝P+ΔT； (5)
其中，ΔT为投射器的当前位置与初始位置之间的变化量；P′为小孔成像后在新散斑图的位置；
在本步骤中，由于已经知晓了投射器的当前位置T，而在光结构***中存在投射器的原始位置参数T0，因此可以根据公式ΔT＝T-T0求得变化量。
步骤S32：将原始参考图I0中的所有点进行如公式(5)的变换，计算得到平移参考图I1，所述平移参考图为现有光***结构的无旋转的参考图。
对于原始参考图I0中的所有点进行如公式(5)的变换，计算得到平移参考图I1，所述平移参考图为现有光***结构的无旋转的参考图。该平移参考图的确定是为了方便后续进行空间旋转矩阵的确定。
值得说明的是，在计算得到平移参考图后，可以根据平移参考图和所述校准工具图在与所述平移参考图相同距离下的散斑图比较得到所述投影器的空间旋转矩阵，具体地，可以进行以下步骤：
步骤S33：在N张所述散斑图中选择校准工具图占据面积最大的一张散斑图作为散斑对比图；
为了减少误差，本实施例中使用校准工具图在图像中占据面基最大的三版图作为散斑对比图，当然，也可以使用其他的散斑图，但是如果散斑图的尺寸过小，可能会造成较大的尺寸误差。
步骤S34：将所述散斑对比图沿所述投影器的投射方向平移至与所述平移参考图I1相同的位置；
进一步地，利用光沿直线传播原理将该散斑对比图平移至I1相同的位置，再利用SIFT特征匹配得到多对同名点，利用放射关系便可得到投射器的空间旋转关系。SIFT，即尺度不变特征变换(Scale-invariant feature transform，SIFT)，是用于图像处理领域的一种描述。这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。
步骤S35：利用SIFT特征将所述散斑对比图和所述平移参考图进行同名点匹配；
由于SIFT特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。因此，可以在图像已经旋转扭曲的情况下进行同名点的匹配。
步骤S36：利用所述同名点之间的放射关系确定从所述平移参考图到所述散斑对比图的空间旋转矩阵，作为投射器的空间旋转矩阵。
在匹配得到同名点之后，可以利用同名点质检的放射关系得到空间旋转矩阵。
基于上述实施例，本实施例中，为了基于所述原始参考图、所述投影器的当前位置、所述空间旋转矩阵获取当前参考图可以进行以下步骤：
步骤S41：将原始参考图中的点P按照下述公式进行旋转和平移得到对应的点Q：
Q＝R·(P-T0)+T (6)
其中，T0为投射器的原始位置；T为投射器的当前位置；R为投射器的空间旋转矩阵；
步骤S42：将初始参考图中的所有点依次根据公式(6)进行变换，将得到的对应点填充到当前参考图中，得到完整的当前参考图。
其中T0,T为投射器前后位置，R为投射器空间旋转矩阵。然后利用光沿直线传播原理可以得到同一参考图的距离(相同深度)下的Q的同名点P′，P′经过小孔成像后得到像素坐标系下的坐标。对原始参考图中的所有点进行上述操作便可以生成相同距离的新参考图。
本发明实施例提供的一种结构光***的校准方法通过校准工具图对变动后的结构光***进行校正，利用多张平面之间的同名点对应关系，确定结构变动后的投射器位置，然后与事先标定的投射器位置，计算投射器变动前后的空间旋转关系，最后利用模组结构与参考图的关系模型，将原参考图变换到现有参考图，从而实现校准功能，实时实现结构光***的校准，方便、快捷，避免返厂修理。
请参考图5，图5为本发明实施例提供的一种校准工具图的示意图。
本发明实施例提供一种校准工具图，应用于上述第一方面任一种实施例所述的结构光***的校准方法，包括：深度标识和姿态标识。
具体地，该校准工具图整体设置为呈矩形；所述姿态标识包括：设置于矩形左上角的第一标识二维码501、设置于矩形左下角的第二标识二维码502、设置于矩形右上角的第三标识二维码503、设置于矩形右下角的第四标识二维码501；四个标识二维码分别位于矩形的四个顶点；所述深度标识包括：依次相连的多个黑白方格，如图所示第一黑白格505包括并列设置的两纵列黑白相间的黑白格，第二黑白格506也包括并列设置的两纵列黑白相间的黑白格；第一黑白格505、第二黑白格506设置于标识二维码的中间位置，从而将校准工具图的中间部分空出来，留白以方便散斑图的获取。利用四个标识二维码的相对位置关系，可以方便地确定出该校准工具图的与光传感器之间的角度关系。具体可以将该校准工具图设置为平面矩形的板状本体，板状本体的一面上印有深度标识和姿态标识。
下面对本发明实施例提供的结构光***的校准***进行描述，下文描述的结构光***的校准***与上文描述的结构光***的校准方法可相互对应参照。
请参考图6，图6为本发明实施例提供一种结构光***的校准***的组成示意图。
本发明实施例提供一种结构光***的校准***，包括：
图像获取模块710，用于获取不同距离下校准工具图的N帧散斑图和对应的N帧红外图；所述校准工具图具有深度标识和姿态标识，所述N大于1；
图像识别模块720，用于识别N帧所述散斑图和N帧所述红外图中的姿态标识及深度标识，基于结构光***的预设参数确定所述校准工具图的N个拟合平面；
位置确定模块730，用于识别N个所述拟合平面上的同名点，并根据N个所述拟合平面上的同名点的三维坐标，确定投影器的当前位置；
平移计算模块740，用于根据所述投影器的当前位置和原始参考图计算平移参考图；
旋转确定模块760，用于将平移参考图和所述校准工具图在与所述平移参考图相同距离下的散斑图比较，得到所述投影器的空间旋转矩阵；
当前获取模块750，用于基于所述原始参考图、所述投影器的当前位置、所述空间旋转矩阵获取当前参考图。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行结构光***的校准方法，该方法包括：获取不同距离下校准工具图的N帧散斑图和对应的N帧红外图；所述校准工具图具有深度标识和姿态标识，所述N大于1；识别N帧所述散斑图和N帧所述红外图中的姿态标识及深度标识，基于结构光***的预设参数确定所述校准工具图的N个拟合平面；识别N个所述拟合平面上的同名点，并根据N个所述拟合平面上的同名点的三维坐标，确定投影器的当前位置；根据所述投影器的当前位置和原始参考图计算平移参考图；根据平移参考图和所述校准工具图在与所述平移参考图相同距离下的散斑图比较得到所述投影器的空间旋转矩阵；基于所述原始参考图、所述投影器的当前位置、所述空间旋转矩阵获取当前参考图。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的结构光***的校准方法，该方法包括：获取不同距离下校准工具图的N帧散斑图和对应的N帧红外图；所述校准工具图具有深度标识和姿态标识，所述N大于1；识别N帧所述散斑图和N帧所述红外图中的姿态标识及深度标识，基于结构光***的预设参数确定所述校准工具图的N个拟合平面；识别N个所述拟合平面上的同名点，并根据N个所述拟合平面上的同名点的三维坐标，确定投影器的当前位置；根据所述投影器的当前位置和原始参考图计算平移参考图；根据平移参考图和所述校准工具图在与所述平移参考图相同距离下的散斑图比较得到所述投影器的空间旋转矩阵；基于所述原始参考图、所述投影器的当前位置、所述空间旋转矩阵获取当前参考图。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种结构光***的校准方法，其特征在于，包括：
获取不同距离下校准工具图的N帧散斑图和对应的N帧红外图；所述校准工具图具有深度标识和姿态标识，所述N大于1；
基于N帧所述散斑图和N帧所述红外图中的姿态标识及深度标识，确定投影器的当前位置；
基于所述投影器的当前位置和原始参考图，确定所述投影器的空间旋转矩阵；
基于所述原始参考图、所述投影器的当前位置、所述空间旋转矩阵获取当前参考图，以使用当前参考图替换原始参考图实现校准。
2.根据权利要求1所述的结构光***的校准方法，其特征在于，
所述校准工具图整体呈矩形；
所述姿态标识包括：设置于所述校准工具图的四个标识二维码；所述四个标识二维码分别位于矩形的四个顶点；
所述深度标识包括：依次相连的多个黑白方格；
所述黑白方格位于所述校准工具图的四周部。
3.根据权利要求1所述的结构光***的校准方法，其特征在于，
所述基于N帧所述散斑图和N帧所述红外图中的姿态标识及深度标识，确定投影器的当前位置包括：
识别N帧所述散斑图和N帧所述红外图中的姿态标识及深度标识，基于结构光***的预设参数确定所述校准工具图的N个拟合平面；
将光学传感器的位置记为坐标系原点O，以光轴OZ建立右手坐标系O-XYZ，T(Tx,Ty,Tz)为投射器的当前位置；P0(x0,y0,z0)与P1(x1,y1,z1)为不同距离下的拟合平面上的一对同名点，依据光沿直线传播原理知，
根据小孔成像模型，P0与P1在光学传感器中的像素位置为p0(u0,v0)与p1(u1,v1)，即：
其中fx为x轴方向上的焦距，fy为y轴方向上的焦距；(cx，cy)为主点坐标；
联立以上三等式(1)(2)(3)，建立p0，p1的关系；
通过同名点匹配，求得p0，p1，P0与P1的具体坐标；将Tx作为是基线长度；
获取至少两对同名点关于投影器的当前位置T(Tx,Ty,Tz)的方程，联立求得所述投影器的当前位置T(Tx,Ty,Tz)。
4.根据权利要求3所述的结构光***的校准方法，其特征在于，
所述基于所述投影器的当前位置和原始参考图，确定所述投影器的空间旋转矩阵包括：
已知深度信息z0的原始参考图中的任一散斑点P为：
将P随投射器移动至P′：
P′＝P+ΔT； (5)
其中，ΔT为投射器的当前位置与初始位置之间的变化量；P′为小孔成像后在新散斑图的位置；
将原始参考图I0中的所有点进行如公式(5)的变换，计算得到平移参考图I1，所述平移参考图为现有光***结构的无旋转的参考图；
在N张所述散斑图中选择校准工具图占据面积最大的一张散斑图作为散斑对比图；
将所述散斑对比图沿所述投影器的投射方向平移至与所述平移参考图I1相同的位置；
利用SIFT特征将所述散斑对比图和所述平移参考图进行同名点匹配；
利用所述同名点之间的放射关系确定从所述平移参考图到所述散斑对比图的空间旋转矩阵，作为投射器的空间旋转矩阵。
5.根据权利要求1至4任一项所述的结构光***的校准方法，其特征在于，
所述基于所述原始参考图、所述投影器的当前位置、所述空间旋转矩阵获取当前参考图包括：
将原始参考图中的点P按照下述公式进行旋转和平移得到对应的点Q：
Q＝R·(P-T0)+T (6)
其中，T0为投射器的原始位置；T为投射器的当前位置；R为投射器的空间旋转矩阵；
将初始参考图中的所有点依次根据公式(6)进行变换，将得到的对应点填充到当前参考图中，得到完整的当前参考图。
6.一种校准工具图，应用于如权利要求1至5任一项所述的结构光***的校准方法，其特征在于，包括：深度标识和姿态标识。
7.根据权利要求6所述的校准工具图，其特征在于，所述校准工具图整体呈矩形；
所述姿态标识包括：设置于矩形左上角的第一标识二维码、设置于矩形左下角的第二标识二维码、设置于矩形右上角的第三标识二维码、设置于矩形右下角的第四标识二维码；四个标识二维码分别位于矩形的四个顶点；
所述深度标识包括：依次相连的多个黑白方格，如图所示第一黑白格包括并列设置的两纵列黑白相间的黑白格，第二黑白格也包括并列设置的两纵列黑白相间的黑白格；第一黑白格、第二黑白格设置于标识二维码的中间位置。
8.一种结构光***的校准***，其特征在于，包括：
图像获取模块，用于获取不同距离下校准工具图的N帧散斑图和对应的N帧红外图；所述校准工具图具有深度标识和姿态标识，所述N大于1；
位置确定模块，用于基于N帧所述散斑图和N帧所述红外图中的姿态标识及深度标识，确定投影器的当前位置；
旋转确定模块，用于基于所述投影器的当前位置和原始参考图，确定所述投影器的空间旋转矩阵；
当前获取模块，用于基于所述原始参考图、所述投影器的当前位置、所述空间旋转矩阵获取当前参考图。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述结构光***的校准方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5任一项所述结构光***的校准方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010880248.7A CN112070844A (zh) | 2020-08-27 | 2020-08-27 | 结构光***的校准方法及装置、校准工具图、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010880248.7A CN112070844A (zh) | 2020-08-27 | 2020-08-27 | 结构光***的校准方法及装置、校准工具图、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112070844A true CN112070844A (zh) | 2020-12-11 |
Family
ID=73659568
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010880248.7A Pending CN112070844A (zh) | 2020-08-27 | 2020-08-27 | 结构光***的校准方法及装置、校准工具图、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112070844A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113034565A (zh) * | 2021-03-25 | 2021-06-25 | 奥比中光科技集团股份有限公司 | 一种单目结构光的深度计算方法及*** |
| CN114783041A (zh) * | 2022-06-23 | 2022-07-22 | 合肥的卢深视科技有限公司 | 目标对象识别方法、电子设备和计算机可读存储介质 |
| CN116147535B (zh) * | 2023-02-27 | 2023-08-04 | 北京朗视仪器股份有限公司 | 一种彩色结构光校准方法和*** |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104331896A (zh) * | 2014-11-21 | 2015-02-04 | 天津工业大学 | 一种基于深度信息的***标定方法 |
| US20150304617A1 (en) * | 2014-04-17 | 2015-10-22 | Electronics And Telecommunications Research Institute | System for performing distortion correction and calibration using pattern projection, and method using the same |
| CN105528788A (zh) * | 2015-12-08 | 2016-04-27 | 湖南拓视觉信息技术有限公司 | 相对位姿参数的标定方法、装置和确定三维形状的装置 |
| CN106651794A (zh) * | 2016-12-01 | 2017-05-10 | 北京航空航天大学 | 一种基于虚拟相机的投影散斑校正方法 |
| CN108833903A (zh) * | 2018-05-23 | 2018-11-16 | 努比亚技术有限公司 | 结构光投影模组、深度相机及终端 |
| US20190325644A1 (en) * | 2018-04-19 | 2019-10-24 | Microsoft Technology Licensing, Llc | Surface reconstruction for environments with moving objects |
| CN110853103A (zh) * | 2019-11-12 | 2020-02-28 | 佛山智能装备技术研究院 | 一种用于深度学习姿态估计的数据集制作方法 |
| CN111243002A (zh) * | 2020-01-15 | 2020-06-05 | 中国人民解放军国防科技大学 | 应用于高精度三维测量的单目激光散斑投影***标定及深度估计方法 |
-
2020
- 2020-08-27 CN CN202010880248.7A patent/CN112070844A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150304617A1 (en) * | 2014-04-17 | 2015-10-22 | Electronics And Telecommunications Research Institute | System for performing distortion correction and calibration using pattern projection, and method using the same |
| CN104331896A (zh) * | 2014-11-21 | 2015-02-04 | 天津工业大学 | 一种基于深度信息的***标定方法 |
| CN105528788A (zh) * | 2015-12-08 | 2016-04-27 | 湖南拓视觉信息技术有限公司 | 相对位姿参数的标定方法、装置和确定三维形状的装置 |
| CN106651794A (zh) * | 2016-12-01 | 2017-05-10 | 北京航空航天大学 | 一种基于虚拟相机的投影散斑校正方法 |
| US20190325644A1 (en) * | 2018-04-19 | 2019-10-24 | Microsoft Technology Licensing, Llc | Surface reconstruction for environments with moving objects |
| CN108833903A (zh) * | 2018-05-23 | 2018-11-16 | 努比亚技术有限公司 | 结构光投影模组、深度相机及终端 |
| CN110853103A (zh) * | 2019-11-12 | 2020-02-28 | 佛山智能装备技术研究院 | 一种用于深度学习姿态估计的数据集制作方法 |
| CN111243002A (zh) * | 2020-01-15 | 2020-06-05 | 中国人民解放军国防科技大学 | 应用于高精度三维测量的单目激光散斑投影***标定及深度估计方法 |
Non-Patent Citations (3)
| Title |
|---|
| WEI BAO等: "Reference image based phase unwrapping framework for a structured light system", 《OPT. EXPRESS》, vol. 26, no. 22, pages 29588 - 29599 * |
| Y. KITAJIMA等: "Simultaneous Projection and Positioning of Laser Projector Pixels", 《TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS》, vol. 23, no. 11, pages 2419 - 2429, XP011661509, DOI: 10.1109/TVCG.2017.2734478 * |
| 鄂薇: "自主交会中非合作航天器及其柔索结构视觉测量方法研究", 《中国优秀硕士学位论文全文数据库：工程科技Ⅱ辑》, no. 2, pages 1 - 166 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113034565A (zh) * | 2021-03-25 | 2021-06-25 | 奥比中光科技集团股份有限公司 | 一种单目结构光的深度计算方法及*** |
| CN114783041A (zh) * | 2022-06-23 | 2022-07-22 | 合肥的卢深视科技有限公司 | 目标对象识别方法、电子设备和计算机可读存储介质 |
| CN116147535B (zh) * | 2023-02-27 | 2023-08-04 | 北京朗视仪器股份有限公司 | 一种彩色结构光校准方法和*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
| JP6426968B2 (ja) | 情報処理装置およびその方法 | |
| JP6507730B2 (ja) | 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム | |
| CN111243002A (zh) | 应用于高精度三维测量的单目激光散斑投影***标定及深度估计方法 | |
| Takimoto et al. | 3D reconstruction and multiple point cloud registration using a low precision RGB-D sensor | |
| CN101697233A (zh) | 一种基于结构光的三维物体表面重建方法 | |
| CN112184811B (zh) | 单目空间结构光***结构校准方法及装置 | |
| CN111123242B (zh) | 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质 | |
| CN112184793B (zh) | 深度数据的处理方法、装置及可读存储介质 | |
| CN103983186A (zh) | 双目视觉***校正方法及校正设备 | |
| CN110310331A (zh) | 一种基于直线特征与点云特征结合的位姿估计方法 | |
| CA3233222A1 (en) | Method, apparatus and device for photogrammetry, and storage medium | |
| CN112070844A (zh) | 结构光***的校准方法及装置、校准工具图、设备及介质 | |
| Furferi et al. | A RGB-D based instant body-scanning solution for compact box installation | |
| CN114926538A (zh) | 单目激光散斑投影***的外参数标定方法和装置 | |
| CN116527856B (zh) | 球幕影院的播放控制方法、装置、设备及存储介质 | |
| CN112164099A (zh) | 基于单目结构光的自检自校准方法及装置 | |
| CN116485902A (zh) | 标志点匹配方法、装置、计算机设备和存储介质 | |
| CN113012238B (zh) | 一种多深度相机快速标定与数据融合的方法 | |
| CN115375773A (zh) | 单目激光散斑投影***的外参数标定方法和相关装置 | |
| JP2011022084A (ja) | 三次元姿勢測定装置および三次元姿勢測定方法 | |
| KR20160049639A (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
| Karan | Accuracy improvements of consumer-grade 3D sensors for robotic applications | |
| US20220335649A1 (en) | Camera pose determinations with depth | |
| JP2002135807A (ja) | ３次元入力のためのキャリブレーション方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |