CN114792345A - 一种基于单目结构光***的标定方法 - Google Patents

一种基于单目结构光***的标定方法 Download PDF

Info

Publication number
CN114792345A
CN114792345A CN202210733202.1A CN202210733202A CN114792345A CN 114792345 A CN114792345 A CN 114792345A CN 202210733202 A CN202210733202 A CN 202210733202A CN 114792345 A CN114792345 A CN 114792345A
Authority
CN
China
Prior art keywords
camera
projector
vector
formula
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210733202.1A
Other languages
English (en)
Other versions
CN114792345B (zh
Inventor
杨静
时岭
高勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lanxin Technology Co ltd
Original Assignee
Hangzhou Lanxin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lanxin Technology Co ltd filed Critical Hangzhou Lanxin Technology Co ltd
Priority to CN202210733202.1A priority Critical patent/CN114792345B/zh
Publication of CN114792345A publication Critical patent/CN114792345A/zh
Application granted granted Critical
Publication of CN114792345B publication Critical patent/CN114792345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种基于单目结构光***的标定方法，方法包括：在投影仪投射编码图案后，控制装置对相机采集的编码图像进行解码，获取编码图像中所有像素点的编码值；基于相机采集的标定板图像提取标定板的特征点，并根据标定板的基本参数，获取标定板范围内所有像素点的深度值，以及获取标定板范围内所有像素点的编码值；根据标定板范围内所有像素点的编码值、像素点信息和深度值的数学关系，构建相机向量、投影仪向量的畸变模型并基于像素点的深度值对构建的模型进行求解，获取相机内参、投影仪内参和***外参。上述标定方法可实现在三维重建过程中仅需要查找并进行简单的计算，获得三维重建的结果，其速度快，准确性高。

Description

一种基于单目结构光***的标定方法
技术领域
本发明涉及机器人技术领域，尤其涉及一种基于单目结构光***的标定方法、一种图像的三维重建方法。
背景技术
目前，面结构光三维成像是一种非接触式高精度三维测量技术，在测量、检测、自动化等领域有广泛应用。相对于双目结构光***，单目结构光成本更低，算法速度更快，盲区更少，且能保证足够的数据质量，得到越来越广泛的关注和应用。不像双目***有成熟可靠的标定方法，单目结构光***的标定和算法比较复杂，主要是投影仪参数的标定，目前研究比较多，要么流程复杂不好操作，要么精度较低，无法满足要求。基于此，业内人士提出了基于单目结构光***的标定和三维重建方法。
具体地，现有标定和重建方法一般有几种：用高精度平移台，采集不同距离的平面数据作为基准面，重建时对比标准数据进行恢复，标定精度依赖平移台精度，大视野远距离的标定很难实现，无法现场标定；将投影仪视为反相相机，投影横竖条纹，通过已经标定好的相机采集投影数据，再标定出投影仪内参和外参，此方法无法适用于振镜、MEMS微振镜等只能投影一维线结构光的***，相机和投影仪分步标定容易累计误差，相机和投影仪单应矩阵的计算精度不高；八参数法直接计算投影相位与相机坐标的关系，此方法操作和计算都很简单，但是对投影仪的畸变处理不好，误差较大。
为此，亟需一种操作简单、标定精度高且处理速度快的基于单目结构光***的标定方法和三维重建方法。
发明内容
（一）要解决的技术问题
鉴于现有技术的上述缺点、不足，本发明提供一种基于单目结构光***的标定方法、一种图像的三维重建方法。
（二）技术方案
为了达到上述目的，本发明采用的主要技术方案包括：
第一方面，本发明实施例提供一种基于单目结构光***的标定方法，单目结构光***包括：用于投射编码图案的投影仪，用于采集编码图案的相机、连接投影仪和相机的控制装置，所述标定方法包括：
S10、在投影仪投射编码图案后，所述控制装置对所述相机采集的编码图像进行解码，获取编码图像中所有像素点的编码值；
S20、所述控制装置基于相机采集的标定板图像提取标定板的特征点，并根据标定板的基本参数，获取标定板范围内所有像素点的深度值，以及基于编码图像中所有像素点的编码值，获取标定板范围内所有像素点的编码值；
S30、根据标定板范围内所有像素点的编码值、像素点信息和深度值的数学关系，构建具有未知量的相机向量、投影仪向量的畸变模型并基于像素点的深度值对构建的模型进行求解，获得相机内参、投影仪内参和***外参；
所述投影仪向量的畸变模型为依据三维重建结果虚拟的模型；
所述***外参为投影仪向量转换到相机坐标系时的外参旋转矩阵
Figure 100002_DEST_PATH_IMAGE001
和外参平移向量
Figure 452051DEST_PATH_IMAGE002
。
可选地，所述S30包括：
S31、获取相机向量的畸变模型，并确定作为未知量的相机内参；
S32、虚拟投影仪向量的畸变模型，并确定作为未知量的投影仪内参；
所述投影仪向量的畸变模型的第一维
Figure 100002_DEST_PATH_IMAGE003
为编码/相位维度，第二维
Figure 926894DEST_PATH_IMAGE004
为虚拟行数；
S33、将投影仪向量转换到相机坐标系，根据几何约束关系确定投影仪向量的虚拟参数；
S34、基于相机向量的畸变模型，虚拟投影仪向量的畸变模型，构建相机向量的和投影仪向量的交点的深度值的求解方程式；
S35、基于标定板范围内各像素点的深度值，求解方程式，获得相机内参、投影仪内参和***外参。
可选地，所述S30包括：
S31、针对相机向量
Figure 100002_DEST_PATH_IMAGE005
中每一相机像素点的二维坐标，采用公式（2）的标准相机模型表示：
Figure 564680DEST_PATH_IMAGE006
公式（2）；
公式（2）中，
Figure 100002_DEST_PATH_IMAGE007
表示为相机向量
Figure 11842DEST_PATH_IMAGE008
在水平方向的分量，
Figure 100002_DEST_PATH_IMAGE009
表示为相机向量
Figure 280144DEST_PATH_IMAGE010
在垂直方向的分量，
Figure 100002_DEST_PATH_IMAGE011
为当前像素点所在的行，
Figure 242283DEST_PATH_IMAGE012
为当前像素点所在的列，
Figure 100002_DEST_PATH_IMAGE013
为相机水平方向的焦距，
Figure 73973DEST_PATH_IMAGE014
为相机垂直方向的焦距，
Figure 100002_DEST_PATH_IMAGE015
Figure 451340DEST_PATH_IMAGE016
为光心坐标；
基于公式（2）的相机向量
Figure 100002_DEST_PATH_IMAGE017
中二维坐标的畸变模型表示为公式（3）：
Figure 77494DEST_PATH_IMAGE018
公式（3）；
Figure 100002_DEST_PATH_IMAGE019
均为径向畸变系数，
Figure 543241DEST_PATH_IMAGE020
均为切向畸变系数，
Figure 100002_DEST_PATH_IMAGE021
为中间变量；
Figure 178622DEST_PATH_IMAGE022
，
Figure 100002_DEST_PATH_IMAGE023
为相机向量
Figure 397114DEST_PATH_IMAGE017
的内参属于未知量；
S32、虚拟投影仪坐标系下的投影仪向量
Figure 928589DEST_PATH_IMAGE024
的畸变模型；
标准投影仪模型为：
Figure 100002_DEST_PATH_IMAGE025
公式（4）；
根据投影仪的基本参数，虚拟投影仪向量
Figure 616054DEST_PATH_IMAGE026
的畸变模型为公式（5）或公式（5a）：
Figure 100002_DEST_PATH_IMAGE027
公式（5）；
或者，公式（5a）为：
Figure 851863DEST_PATH_IMAGE028
；
公式（5）和公式（5a）中，
Figure 100002_DEST_PATH_IMAGE029
表示为投影仪向量
Figure 878856DEST_PATH_IMAGE030
在编码/相位维度的分量，
Figure 100002_DEST_PATH_IMAGE031
表示为投影仪向量
Figure 174708DEST_PATH_IMAGE032
在虚拟行数的分量，p为投影仪向量中每一像素点对应的编码值，
Figure 100002_DEST_PATH_IMAGE033
为投影仪向量中每一像素点对应的行数，
Figure 536419DEST_PATH_IMAGE034
为投影仪水平方向的焦距，
Figure 100002_DEST_PATH_IMAGE035
为投影仪垂直方向的焦距，
Figure 323722DEST_PATH_IMAGE036
为光心坐标；
Figure 100002_DEST_PATH_IMAGE037
均为投影仪畸变系数，
Figure 454489DEST_PATH_IMAGE038
，
Figure 100002_DEST_PATH_IMAGE039
为中间变量，
Figure 671975DEST_PATH_IMAGE040
为投影仪向量的内参属于未知量；
S33、将投影仪向量
Figure 100002_DEST_PATH_IMAGE041
转换到相机坐标系，坐标系转换关系公式为：
Figure 520982DEST_PATH_IMAGE042
公式（6）；
相机坐标系下的相机向量
Figure 100002_DEST_PATH_IMAGE043
、相机坐标系下的投影仪向量
Figure 833015DEST_PATH_IMAGE044
、平移向量
Figure 100002_DEST_PATH_IMAGE045
共面的关系为：
Figure 896917DEST_PATH_IMAGE046
公式（1）；
Figure 100002_DEST_PATH_IMAGE047
为外参旋转矩阵，
Figure 737834DEST_PATH_IMAGE048
为外参平移向量，
Figure 339717DEST_PATH_IMAGE047
和
Figure 675014DEST_PATH_IMAGE048
作为***外参属于未知量，
Figure 100002_DEST_PATH_IMAGE049
为将投影仪向量转换到相机坐标系下根据几何约束关系确定的投影仪向量的虚拟参数。
可选地，所述S34包括：
基于公式（1）-公式（6）获取的相机向量和投影仪向量，根据公式（7）计算深度值；
基于S20获取的深度值和公式（7）获取的深度值一致，求解未知量，获得相机内参、投影仪内参和***外参；
Figure 780374DEST_PATH_IMAGE050
公式（7）。
可选地，标定板为棋盘格标定板，标定板的基本参数包括：标定板内部的棋盘格的总数量，标定板内每一格子的尺寸信息；
编码图像为采用格雷码、相移法、多频外插中的一种或多种编码方式编码的图像。
可选地，所述S20包括：
所述控制装置根据棋盘格图像，提取作为特征点的棋盘格角点，得到角点的行和列作为二维坐标，建立世界坐标系，并根据棋盘格的基本参数，得到特征点的三维坐标；
基于特征点的二维图像坐标和三维坐标，获取标定板与相机的单应矩阵，以及根据单应矩阵计算棋盘格范围内的所有像素点的深度值。
第二方面，本发明实施例还提供一种图像的三维重建方法，包括：
采集待测目标的图像，基于预先获取的相机内参、投影仪内参和***外参获取相机坐标系下每一像素点的相机向量，投影仪向量；
基于所述相机向量，投影仪向量，获得所述图像中各像素点的三维空间坐标；
其中，预先获取的相机内参、投影仪内参和***外参为采用上述第一方面任一所述的标定方法标定的。
可选地，基于相机向量，投影仪向量，获得所述图像中各像素点的三维空间坐标包括：
根据公式（7），计算相机向量和投影仪向量交点的深度值z；
Figure 792192DEST_PATH_IMAGE050
公式（7）；
其中，
Figure 615791DEST_PATH_IMAGE051
为相机坐标系下的相机向量，
Figure 100002_DEST_PATH_IMAGE052
为相机坐标系下的投影仪向量，
Figure 548588DEST_PATH_IMAGE053
为平移向量；
基于公式（8），得到相机坐标系下图像中每一像素点的空间坐标值：
Figure 100002_DEST_PATH_IMAGE054
公式（8）；
z为深度值，
Figure 508454DEST_PATH_IMAGE055
表示为相机向量
Figure 100002_DEST_PATH_IMAGE056
在水平方向的分量，
Figure 238643DEST_PATH_IMAGE057
表示为相机向量
Figure 100002_DEST_PATH_IMAGE058
在垂直方向的分量。
可选地，采集待测目标的图像，基于预先获取的相机内参、投影仪内参和***外参获取相机坐标系下每一像素点的相机向量，投影仪向量，包括：
基于预先获取的查找表查找相机坐标系下每一像素点的相机向量，投影仪向量；
其中，在标定方法中，根据每一像素点对应的相机内参、投影仪内参和***外参，构建像素点与各参数的对应关系表，
该对应关系表为用于三维重建时快速查找的相机参数、投影仪参数、***外参与每一像素点的查找表。
第三方面，本发明实施例还提供一种控制装置，其包括：存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器中存储的计算机程序并执行上述第一方面或第二方面任一所述的方法的步骤。
（三）有益效果
本发明的标定方法的标定过程操作简单，与常规双目相机标定流程完全一样，仅需要一块标定板，可以与手眼标定的工作同步完成，非常方便。标定时仅需要投射一维线结构光，工作方式与正常工作完全一致，无需额外配置。本发明的方法很好的解决了投影仪的畸变问题，适用不同的投影仪模型，包括DMD投影仪、振镜和MEMS微振镜等一维线结构光投影。所有参数同步标定，没有累积误差，精度比常规方法高。
本发明实施例的方法可实现在三维重建过程中仅需要查找表并进行简单的计算，获得三维重建的结果，其速度快，准确性高。
附图说明
图1为本发明一实施例提供的基于单目结构光***的标定方法的流程示意图；
图2为本发明一实施例提供的一种图像的三维重建方法的流程示意图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
本实施例提供一种基于单目结构光***的标定方法，在相机和投影仪视野范围内多个位置放置标定板，投影仪投射一维线结构光，本实施例中可投射竖条纹，无需横条纹的线结构光，应了解的是线结构光即为具有编码图像的结构光。
具体地，控制器控制相机采集一个以上标定板位置的编码图像和标定板图像，接着，根据相机向量、投影仪向量、平移向量共面的原则构建模型并求解未知量参数，获得相机内参、投影仪内参和***外参。在求解未知量过程中充分考虑了投影仪的畸变的虚拟的投影仪内参，使得基于相机内参、投影仪内参和***外参进行三维重建的精度更高。
上述方法可适用不同的投影仪模型，包括DMD投影仪、振镜和MEMS微振镜等一维线结构光投影，所有参数同步标定，没有累积误差。
实施例一
如图1所示，本发明实施例提供一种基于单目结构光***的标定方法，本实施例的方法的执行主体可为任意计算设备/控制装置，本实施例的单目结构光***包括：用于投射一维编码图案的投影仪，用于采集编码图案的相机、连接投影仪和相机的控制装置，具体实现方法包括下述步骤：
S10、在投影仪投射编码图案后，所述控制装置对所述相机采集的编码图像进行解码，获取编码图像中所有像素点的编码值。
本步骤可为通过现有的方式实现，其投影仪可投射一幅或多幅编码图案。
S20、控制装置基于相机采集的标定板图像提取标定板的特征点，并根据标定板的基本参数，获取标定板范围内所有像素点的深度值，以及基于编码图像中所有像素点的编码值，获取标定板范围内所有像素点的编码值。
通常，投影仪根据控制装置的指令进行投射，如投射全亮光、编码图像等，为获取标定板图像，即投影仪根据指令投射全亮光，以使得相机采集到标定板图像。
该步骤中的特征点可为预先定义的角点。
例如，控制装置根据棋盘格图像，提取作为特征点的棋盘格角点，得到角点的行和列作为二维图像坐标，建立世界坐标系，并根据棋盘格的基本参数，得到特征点的三维坐标；
基于特征点的二维图像坐标和三维坐标，获取标定板与相机的单应矩阵，以及根据单应矩阵计算棋盘格范围内的所有像素点的深度值。
S30、根据标定板范围内所有像素点的编码值、像素点信息（如像素点所在的行、列、标识等）和深度值的数学关系，构建具有未知量的相机向量、投影仪向量的畸变模型并基于像素点的深度值对构建的模型进行求解，获取相机内参、投影仪内参和***外参；
所述投影仪向量的畸变模型为依据三维重建结果虚拟的模型；
所述***外参为投影仪向量转换到相机坐标系时的外参旋转矩阵R和外参平移向量
Figure 549539DEST_PATH_IMAGE059
。
上述的像素点信息可包括下述实施例提及的
Figure 475907DEST_PATH_IMAGE011
、
Figure 555858DEST_PATH_IMAGE012
、
Figure 191370DEST_PATH_IMAGE013
、
Figure 989562DEST_PATH_IMAGE014
以及
Figure 922883DEST_PATH_IMAGE015
Figure 857341DEST_PATH_IMAGE016
等，根据实际需要配置和调整，本实施例不对其限定。
另外，本实施例的投影仪向量的畸变模型还可为对应相机向量的畸变模型，虚拟模型的第一维为编码/相位维度，第二维为虚拟行数。本实施例主要是保证三维重建结果的精度，在保证精度的基础上虚拟投影仪向量的畸变模型。
可理解的是，为后续三维重建的便携性和提高处理速度，可在步骤S30之后，还可执行下述的步骤S40，获得相机向量和投影仪向量的参数与像素点的查找表。
S40、获取相机内参、投影仪内参和***外参，并构建像素点与各参数的对应关系表，该对应关系表为用于三维重建时快速查找的相机内参、投影仪内参、***外参与像素点的查找表。
需要说明的是，在理论上借助一幅编码图像即可完成本实施例的标定方法中的标定步骤，以获得相机向量的内参、投影仪向量的内参和***外参，进而获得所有参数与像素点的查找表。上述标定方法可实现在三维重建过程中仅需要查找表并进行简单的计算，获得三维重建的结果，其速度快，准确性高。
在具体实际应用中，为了提高获取的参数的准确性，可调整标定板的位置，获取多个不同位置的标定板对应的相机向量内参、投影仪向量内参和***外参的信息，进而求取平均值，获得最准确的相机向量内参、投影仪向量内参和***外参的信息，由此获得准确性更高且查找更快的查找表。
实施例二
本实施例中对本发明的方法进行详细说明，本实施例中3D相机（简称相机）和标定板均与控制器连接，其所有计算的过程均是在控制器中完成的。具体方案是先提供一种标定方法，该标定方法获取相机向量和投影仪向量的查找表，进而基于该查找表，本实施例还提供一种图像的三维重建方法。
在执行本实施例的方法之前，可在相机和投影仪共同视野范围内至少一指定位置放置一标定板，投影仪投射一维编码结构光图案并定义编码方向，使得相机和投影仪的摆放方向均和编码方向一致。实际应用中，本实施例中的标定板可为棋盘格标定板，且标定板的基本参数可包括：标定板的整体尺寸，标定板内部的棋盘格的总数量，标定板内每一格子的尺寸信息等。标定板的当前位置信息为基于编码图像和标定板的尺寸信息计算得到的。
本实施例的基于单目结构光***的标定方法，可包括下述的步骤：
步骤01、相机和投影仪连接控制器，控制器控制投影仪投射编码图案，相机同步采集图像，控制器对采集的编码图像进行解码。
本实施例中，控制器可借助于多幅编码图像实现解码，得到每个像素点的编码值。
举例来说，编码图像为采用格雷码、相移法、多频外插中的一种或多种编码方式编码的图像。
步骤02、控制器识别所述编码图像中的标定板的边界信息，并根据识别的边界信息获取标定板对应的各像素点的编码值。
当然，在其他实施例中，控制器可直接识别编码图像中标定板所对应的每一像素点的编码值，无需先识别边界信息再确定标定板的像素点的过程。
本步骤中编码图像可为采用格雷码的方式编码的图像，由此，控制器可直接采用现有方式获取编码值，该步骤不详述获取编码值的过程。
步骤03、本步骤中可采用张正友标定法实现获取标定板范围内每一像素点的深度值。
当然，为方便理解，这里进行简单说明。控制器根据标定板的基本参数建立世界坐标系，获取特征点的三维坐标，本实施例中特征点可以是棋盘格的角点。根据相机采集的图像，提取标定板的特征点，获取特征点的二维坐标，采用求解pnp的原理获取棋盘格与相机的单应矩阵。通过单应矩阵即可获得每个像素在相机坐标系的三维坐标即获得深度值。
也就是说，相机拍的棋盘格图像，提取特征点（棋盘格角点），得到二维坐标（角点的行和列），并建立世界坐标系，根据棋盘格参数得到特征点的三维坐标，进而通过三维坐标和二维坐标计算单应矩阵，根据单应矩阵计算棋盘格范围内的所有像素的三维坐标。这些像素点都可以用来进行后续的标定，在标定过程中若仅使用特征点则比较少，不足以获得所有待求解的参数，为此需要计算标定板范围内所有像素点的三维坐标。
可理解的是，由于每个像素的编码值与三维坐标存在指定的数学关系，为此，在步骤04中基于该数学关系建立数学模型，获取相关参数，包括相机内参和投影仪内参、***外参。
步骤04、控制器基于上述获取的三维坐标，和当前相机向量、投影仪向量和平移向量共面的原则，计算用于三维重建中使用的相机内参、投影仪内参和外参的信息。
可理解的是，标定过程就是构建等式的过程，即构建深度值z的等式的方程如下述的公式（7）。
为更好的理解该步骤04，以下结合子步骤041至子步骤044进行说明。可理解的是，每一相机向量是对应标定板范围内每一像素点，其相机向量和投影仪向量是成对的，其投影仪向量是虚拟产生的、其和相机向量共同对应一个像素点。
子步骤041、根据相机向量、投影仪向量、平移向量共面的原则计算每个像素对应的投影仪向量。
相机坐标系下相机向量
Figure DEST_PATH_IMAGE060
、相机坐标系下投影仪向量
Figure 194912DEST_PATH_IMAGE061
、平移向量
Figure DEST_PATH_IMAGE062
共面的原则为：
Figure 214821DEST_PATH_IMAGE063
公式（1）
针对相机向量
Figure 748570DEST_PATH_IMAGE060
对应像素的二维坐标，可采用标准相机模型表示，如公式（2）：
Figure DEST_PATH_IMAGE064
公式（2）。
公式（2）中，
Figure 537535DEST_PATH_IMAGE065
表示为相机向量
Figure DEST_PATH_IMAGE066
在水平方向的分量，
Figure 43078DEST_PATH_IMAGE067
表示为相机向量
Figure 550283DEST_PATH_IMAGE066
在垂直方向的分量，
Figure DEST_PATH_IMAGE068
为当前像素点所在的行，
Figure 356565DEST_PATH_IMAGE069
为当前像素点所在的列，
Figure DEST_PATH_IMAGE070
为相机水平方向的焦距，
Figure 78664DEST_PATH_IMAGE071
为相机垂直方向的焦距，
Figure DEST_PATH_IMAGE072
为光心坐标。光心即为光学中心，相机的固有结构。
基于公式（2）的相机向量
Figure 679410DEST_PATH_IMAGE073
中二维坐标的畸变模型表示为公式（3）：
Figure DEST_PATH_IMAGE074
公式（3）
Figure 486960DEST_PATH_IMAGE075
均为径向畸变系数，
Figure DEST_PATH_IMAGE076
均为切向畸变系数，r为中间变量；
Figure 831353DEST_PATH_IMAGE077
，
Figure DEST_PATH_IMAGE078
为相机向量
Figure 657227DEST_PATH_IMAGE079
的内参，作为未知量待求解即待标定。
子步骤042、定义投影仪坐标系下投影仪向量
Figure DEST_PATH_IMAGE080
的内参为虚拟模型，并定义第一维
Figure 179606DEST_PATH_IMAGE081
为编码，第二维
Figure DEST_PATH_IMAGE082
为虚拟行数。该处的第一维和第二维均为投影仪坐标系下的维度。
该虚拟模型可为没有指定行和列的模型，第一维度也可理解为相位维度，该第一维度和第二维度均根据使用者需求预先定义。
参考上述公式（2）定义投影仪向量
Figure 723720DEST_PATH_IMAGE083
的标准投影仪模型公式（4）：
Figure DEST_PATH_IMAGE084
公式（4）
根据投影仪的基本参数，虚拟投影仪向量的畸变模型为公式（5）或公式（5a）：
Figure 871805DEST_PATH_IMAGE085
公式（5）；
或者，公式（5a）为：
Figure DEST_PATH_IMAGE086
公式（5）和公式（5a）中，
Figure 565567DEST_PATH_IMAGE087
表示为投影仪向量
Figure DEST_PATH_IMAGE088
在编码/相位维度的分量，
Figure 586743DEST_PATH_IMAGE089
表示为投影仪向量
Figure DEST_PATH_IMAGE090
在虚拟行数的分量，p为投影仪向量中每一像素点对应的编码值，y为投影仪向量中每一像素点对应的行数，
Figure 290257DEST_PATH_IMAGE091
为光心坐标;
Figure DEST_PATH_IMAGE092
均为投影仪畸变系数，
Figure 38770DEST_PATH_IMAGE038
，
Figure 793231DEST_PATH_IMAGE093
Figure DEST_PATH_IMAGE094
Figure 906680DEST_PATH_IMAGE095
Figure DEST_PATH_IMAGE096
为投影仪向量的内参属于未知量，待标定。
这里的y为投影仪向量的虚拟参数，需要根据公式（1）计算获得。即，p是从相机拍的编码图像里得到的，相机向量
Figure 159807DEST_PATH_IMAGE097
是某一个像素点计算的，p是从这个像素点读到的值，然后根据公式（1）计算出y。每个像素都有明确的u、v和p，以及每个像素都对应一个可动态求解的y值。
需要说明的是，若投影仪为DMD投影仪，则可认为畸变参数的畸变模型与上述相机畸变模型类似，如公式（5a），此时的畸变量可为径向畸变参数和切向畸变参数。
若投影仪为MEMS微振镜，则此时MEMS微振镜的线结构光不存在径向畸变，主要考虑编码方向的非线性，此时虚拟的投影仪向量的畸变模型为公式（5）。
子步骤043、将投影仪坐标系下的投影仪向量
Figure DEST_PATH_IMAGE098
需要转换到相机坐标系下投影仪向量
Figure 400427DEST_PATH_IMAGE099
，坐标系转换关系为公式（6）：
Figure DEST_PATH_IMAGE100
公式（6）
R为外参旋转矩阵，未知量，待标定。
Figure 55399DEST_PATH_IMAGE101
为外参平移向量，未知量，待标定。
子步骤044、基于公式（1）-公式（6）获取的相机向量和投影仪向量，根据公式（7）计算深度值；
基于S20获取的深度值和公式（7）获取的深度值一致，求解未知量，获得相机内参、投影仪内参和***外参；
Figure DEST_PATH_IMAGE102
公式（7）。
也就是说，选择与待求解参数对应数量的像素点的深度值作为右侧的z值，将选择的像素点的二维坐标作为左侧的已知数值，进行求解，获得相机内参、投影仪内参和***外参；
进一步地，获取相机内参、投影仪内参、***外参，以构建像素点与各参数的对应关系表，获得便于查找参数与像素点的查找表。
上述方法的标定过程操作简单，与常规双目相机标定流程完全一样，仅需要一块标定板，可以与手眼标定的工作同步完成，非常方便。标定时仅需要投射一维线结构光，工作方式与正常工作完全一致，无需额外配置。很好的解决了投影仪的畸变问题，适用不同的投影仪模型，包括DMD投影仪、振镜和MEMS微振镜等一维线结构光投影。所有参数同步标定，没有累积误差，精度比常规方法高。
实施例三
本实施例还提供一种图像的三维重建方法，其执行主体可为任一计算设备/控制器，如图2所示，三维重建方法可包括下述的步骤：
步骤A01、采集待测目标的图像，基于预先获取的相机内参、投影仪内参和***外参获取相机坐标系下每一像素点的相机向量，投影仪向量。
其中，预先获取的相机向量的内参、投影仪向量的内参和***外参为采用上述实施例一和实施例二任一所述的标定方法标定的。
步骤A02、基于相机坐标系下每一像素点的相机向量，投影仪向量，获得所述图像中各像素点的三维空间坐标；
例如，根据公式（7），计算相机向量和投影仪向量交点的深度值z；
Figure 605329DEST_PATH_IMAGE102
公式（7）；
其中，
Figure 296817DEST_PATH_IMAGE103
为相机坐标系下的相机向量，
Figure DEST_PATH_IMAGE104
为相机坐标系下的投影仪向量，
Figure 387133DEST_PATH_IMAGE105
为平移向量；
基于公式（8），得到相机坐标系下图像中每一像素点的空间坐标值：
Figure DEST_PATH_IMAGE106
公式（8）；
z为深度值，
Figure 834295DEST_PATH_IMAGE107
表示为相机向量
Figure DEST_PATH_IMAGE108
在水平方向的分量，
Figure 368175DEST_PATH_IMAGE109
表示为相机向量
Figure 799157DEST_PATH_IMAGE108
在垂直方向的分量。
可理解的是，每个像素点的空间坐标就是3D相机要得到的最终结果，基于前述的标定方法，本实施例的重建过程计算简单，速度快。
本实施例还提供一种控制装置，包括：存储器和处理器；所述处理器用于执行所述存储器中存储的计算机程序，以实现执行上述实施例一和实施例二任意所述的标定方法或实施例三提供的三维重建方法的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。

Claims (10)

1.一种基于单目结构光***的标定方法，其特征在于，单目结构光***包括：用于投射编码图案的投影仪，用于采集编码图案的相机、连接投影仪和相机的控制装置，所述标定方法包括：
S10、在投影仪投射编码图案后，所述控制装置对所述相机采集的编码图像进行解码，获取编码图像中所有像素点的编码值；
S20、所述控制装置基于相机采集的标定板图像提取标定板的特征点，并根据标定板的基本参数，获取标定板范围内所有像素点的深度值，以及基于编码图像中所有像素点的编码值，获取标定板范围内所有像素点的编码值；
S30、根据标定板范围内所有像素点的编码值、像素点信息和深度值的数学关系，构建具有未知量的相机向量、投影仪向量的畸变模型并基于像素点的深度值对构建的模型进行求解，获得相机内参、投影仪内参和***外参；
所述投影仪向量的畸变模型为依据三维重建结果虚拟的模型；
所述***外参为投影仪向量转换到相机坐标系时的外参旋转矩阵
Figure DEST_PATH_IMAGE001
和外参平移向量
Figure 527706DEST_PATH_IMAGE002
。
2.根据权利要求1所述的标定方法，其特征在于，所述S30包括：
S31、获取相机向量的畸变模型，并确定作为未知量的相机内参；
S32、虚拟投影仪向量的畸变模型，并确定作为未知量的投影仪内参；
所述投影仪向量的畸变模型的第一维
Figure DEST_PATH_IMAGE003
为编码/相位维度，第二维
Figure 789055DEST_PATH_IMAGE004
为虚拟行数；
S33、将投影仪向量转换到相机坐标系，根据几何约束关系确定投影仪向量的虚拟参数；
S34、基于相机向量的畸变模型，虚拟投影仪向量的畸变模型，构建相机向量的和投影仪向量的交点的深度值的求解方程式；
S35、基于标定板范围内各像素点的深度值，求解方程式，获得相机内参、投影仪内参和***外参。
3.根据权利要求2所述的标定方法，其特征在于，所述S30包括：
S31、针对相机向量
Figure DEST_PATH_IMAGE005
中每一相机像素点的二维坐标，采用公式（2）的标准相机模型表示：
Figure 834371DEST_PATH_IMAGE006
公式（2）；
公式（2）中，
Figure DEST_PATH_IMAGE007
表示为相机向量
Figure 39700DEST_PATH_IMAGE008
在水平方向的分量，
Figure DEST_PATH_IMAGE009
表示为相机向量
Figure 181968DEST_PATH_IMAGE010
在垂直方向的分量，
Figure DEST_PATH_IMAGE011
为当前像素点所在的行，
Figure 270010DEST_PATH_IMAGE012
为当前像素点所在的列，
Figure DEST_PATH_IMAGE013
为相机水平方向的焦距，
Figure 615672DEST_PATH_IMAGE014
为相机垂直方向的焦距，
Figure DEST_PATH_IMAGE015
Figure 80151DEST_PATH_IMAGE016
为光心坐标；
基于公式（2）的相机向量
Figure DEST_PATH_IMAGE017
中二维坐标的畸变模型表示为公式（3）：
Figure 827658DEST_PATH_IMAGE018
公式（3）；
Figure DEST_PATH_IMAGE019
均为径向畸变系数，
Figure 86601DEST_PATH_IMAGE020
均为切向畸变系数，
Figure DEST_PATH_IMAGE021
为中间变量；
Figure 903248DEST_PATH_IMAGE022
，
Figure DEST_PATH_IMAGE023
为相机向量
Figure 718888DEST_PATH_IMAGE017
的内参属于未知量；
S32、虚拟投影仪坐标系下的投影仪向量
Figure 773432DEST_PATH_IMAGE024
的畸变模型；
标准投影仪模型为：
Figure DEST_PATH_IMAGE025
公式（4）；
根据投影仪的基本参数，虚拟投影仪向量
Figure 468855DEST_PATH_IMAGE026
的畸变模型为公式（5）或公式（5a）：
Figure DEST_PATH_IMAGE027
公式（5）；
或者，公式（5a）为：
Figure 786180DEST_PATH_IMAGE028
；
公式（5）和公式（5a）中，
Figure DEST_PATH_IMAGE029
表示为投影仪向量
Figure 326882DEST_PATH_IMAGE030
在编码/相位维度的分量，
Figure DEST_PATH_IMAGE031
表示为投影仪向量
Figure 48982DEST_PATH_IMAGE032
在虚拟行数的分量，p为投影仪向量中每一像素点对应的编码值，
Figure DEST_PATH_IMAGE033
为投影仪向量中每一像素点对应的行数，
Figure 649727DEST_PATH_IMAGE034
为投影仪水平方向的焦距，
Figure DEST_PATH_IMAGE035
为投影仪垂直方向的焦距，
Figure 706545DEST_PATH_IMAGE036
为光心坐标；
Figure DEST_PATH_IMAGE037
均为投影仪畸变系数，
Figure 598409DEST_PATH_IMAGE038
，
Figure DEST_PATH_IMAGE039
为中间变量，
Figure 361966DEST_PATH_IMAGE040
为投影仪向量的内参属于未知量；
S33、将投影仪向量
Figure DEST_PATH_IMAGE041
转换到相机坐标系，坐标系转换关系公式为：
Figure 212241DEST_PATH_IMAGE042
公式（6）；
相机坐标系下的相机向量
Figure DEST_PATH_IMAGE043
、相机坐标系下的投影仪向量
Figure 428459DEST_PATH_IMAGE044
、平移向量
Figure DEST_PATH_IMAGE045
共面的关系为：
Figure 638860DEST_PATH_IMAGE046
公式（1）；
Figure DEST_PATH_IMAGE047
为外参旋转矩阵，
Figure 4726DEST_PATH_IMAGE048
为外参平移向量，
Figure 478433DEST_PATH_IMAGE047
和
Figure 447526DEST_PATH_IMAGE048
作为***外参属于未知量，
Figure DEST_PATH_IMAGE049
为将投影仪向量转换到相机坐标系下根据几何约束关系确定的投影仪向量的虚拟参数。
4.根据权利要求3所述的标定方法，其特征在于，所述S34包括：
基于公式（1）-公式（6）获取的相机向量和投影仪向量，根据公式（7）计算深度值；
基于S20获取的深度值和公式（7）获取的深度值一致，求解未知量，获得相机内参、投影仪内参和***外参；
Figure 399301DEST_PATH_IMAGE050
公式（7）。
5.根据权利要求1所述的标定方法，其特征在于，
标定板为棋盘格标定板，标定板的基本参数包括：标定板内部的棋盘格的总数量，标定板内每一格子的尺寸信息；
编码图像为采用格雷码、相移法、多频外插中的一种或多种编码方式编码的图像。
6.根据权利要求5所述的标定方法，其特征在于，所述S20包括：
所述控制装置根据棋盘格图像，提取作为特征点的棋盘格角点，得到角点的行和列作为二维坐标，建立世界坐标系，并根据棋盘格的基本参数，得到特征点的三维坐标；
基于特征点的二维图像坐标和三维坐标，获取标定板与相机的单应矩阵，以及根据单应矩阵计算棋盘格范围内的所有像素点的深度值。
7.一种图像的三维重建方法，其特征在于，包括：
采集待测目标的图像，基于预先获取的相机内参、投影仪内参和***外参获取相机坐标系下每一像素点的相机向量，投影仪向量；
基于所述相机向量，投影仪向量，获得所述图像中各像素点的三维空间坐标；
其中，预先获取的相机内参、投影仪内参和***外参为采用上述权利要求1至6任一所述的标定方法标定的。
8.根据权利要求7所述的三维重建方法，其特征在于，基于相机向量，投影仪向量，获得所述图像中各像素点的三维空间坐标包括：
根据公式（7），计算相机向量和投影仪向量交点的深度值z；
Figure 153762DEST_PATH_IMAGE050
公式（7）；
其中，
Figure 63949DEST_PATH_IMAGE051
为相机坐标系下的相机向量，
Figure DEST_PATH_IMAGE052
为相机坐标系下的投影仪向量，
Figure 51497DEST_PATH_IMAGE053
为平移向量；
基于公式（8），得到相机坐标系下图像中每一像素点的空间坐标值：
Figure DEST_PATH_IMAGE054
公式（8）；
z为深度值，
Figure 292116DEST_PATH_IMAGE055
表示为相机向量
Figure DEST_PATH_IMAGE056
在水平方向的分量，
Figure 681509DEST_PATH_IMAGE057
表示为相机向量
Figure DEST_PATH_IMAGE058
在垂直方向的分量。
9.根据权利要求7所述的三维重建方法，其特征在于，采集待测目标的图像，基于预先获取的相机内参、投影仪内参和***外参获取相机坐标系下每一像素点的相机向量，投影仪向量，包括：
基于预先获取的查找表查找相机坐标系下每一像素点的相机向量，投影仪向量；
其中，在标定方法中，根据每一像素点对应的相机内参、投影仪内参和***外参，构建像素点与各参数的对应关系表，
该对应关系表为用于三维重建时快速查找的相机参数、投影仪参数、***外参与每一像素点的查找表。
10.一种控制装置，其特征在于，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器中存储的计算机程序并执行上述权利要求1至9任一所述的方法的步骤。
CN202210733202.1A 2022-06-27 2022-06-27 一种基于单目结构光***的标定方法 Active CN114792345B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210733202.1A CN114792345B (zh) 2022-06-27 2022-06-27 一种基于单目结构光***的标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210733202.1A CN114792345B (zh) 2022-06-27 2022-06-27 一种基于单目结构光***的标定方法

Publications (2)

Publication Number Publication Date
CN114792345A true CN114792345A (zh) 2022-07-26
CN114792345B CN114792345B (zh) 2022-09-27

Family

ID=82463574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210733202.1A Active CN114792345B (zh) 2022-06-27 2022-06-27 一种基于单目结构光***的标定方法

Country Status (1)

Country Link
CN (1) CN114792345B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546311A (zh) * 2022-09-28 2022-12-30 中国传媒大学 一种基于场景信息的投影仪标定方法
CN116091619A (zh) * 2022-12-27 2023-05-09 北京纳通医用机器人科技有限公司 一种标定方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945268A (zh) * 2017-12-15 2018-04-20 深圳大学 一种基于二元面结构光的高精度三维重建方法及***
US20180322648A1 (en) * 2015-11-11 2018-11-08 Zhejiang Dahua Technology Co., Ltd. Methods and systems for binocular stereo vision
CN109506589A (zh) * 2018-12-25 2019-03-22 东南大学苏州医疗器械研究院 一种基于结构光场成像的三维轮廓测量方法
CN111028297A (zh) * 2019-12-11 2020-04-17 凌云光技术集团有限责任公司 面结构光三维测量***的标定方法
CN112927340A (zh) * 2021-04-06 2021-06-08 中国科学院自动化研究所 一种不依赖于机械摆放的三维重建加速方法、***及设备
CN113008163A (zh) * 2021-03-01 2021-06-22 西北工业大学 一种结构光三维重建***中基于频移条纹的编解码方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180322648A1 (en) * 2015-11-11 2018-11-08 Zhejiang Dahua Technology Co., Ltd. Methods and systems for binocular stereo vision
CN107945268A (zh) * 2017-12-15 2018-04-20 深圳大学 一种基于二元面结构光的高精度三维重建方法及***
CN109506589A (zh) * 2018-12-25 2019-03-22 东南大学苏州医疗器械研究院 一种基于结构光场成像的三维轮廓测量方法
CN111028297A (zh) * 2019-12-11 2020-04-17 凌云光技术集团有限责任公司 面结构光三维测量***的标定方法
CN113008163A (zh) * 2021-03-01 2021-06-22 西北工业大学 一种结构光三维重建***中基于频移条纹的编解码方法
CN112927340A (zh) * 2021-04-06 2021-06-08 中国科学院自动化研究所 一种不依赖于机械摆放的三维重建加速方法、***及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANIL SINGH PARIHAR，AND ETC: "Dimensional analysis of objects in a 2D image", 《2017 8TH INTERNATIONAL CONFERENCE ON COMPUTING, COMMUNICATION AND NETWORKING TECHNOLOGIES (ICCCNT)》 *
孙茜等: "基于双目视觉的植物三维重建方法及应用", 《安徽农业科学》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546311A (zh) * 2022-09-28 2022-12-30 中国传媒大学 一种基于场景信息的投影仪标定方法
CN116091619A (zh) * 2022-12-27 2023-05-09 北京纳通医用机器人科技有限公司 一种标定方法、装置、设备及介质

Also Published As

Publication number Publication date
CN114792345B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN110276808B (zh) 一种单相机结合二维码测量玻璃板不平度的方法
US9965870B2 (en) Camera calibration method using a calibration target
CN105758426B (zh) 移动机器人的多传感器的联合标定方法
JP4245963B2 (ja) 較正物体を用いて複数のカメラを較正するための方法およびシステム
CN114792345B (zh) 一种基于单目结构光***的标定方法
CN101697233B (zh) 一种基于结构光的三维物体表面重建方法
AU2017225023A1 (en) System and method for determining a camera pose
US9183634B2 (en) Image processing apparatus and image processing method
Resch et al. On-site semi-automatic calibration and registration of a projector-camera system using arbitrary objects with known geometry
WO2020136523A1 (en) System and method for the recognition of geometric shapes
CN115187612A (zh) 一种基于机器视觉的平面面积测量方法、装置及***
Yamauchi et al. Calibration of a structured light system by observing planar object from unknown viewpoints
Cauchois et al. Calibration of the omnidirectional vision sensor: SYCLOP
Tezaur et al. A new non-central model for fisheye calibration
CN114993207B (zh) 基于双目测量***的三维重建方法
CN115082538A (zh) 基于线结构光投影的多目视觉平衡环零件表面三维重建***及方法
Su et al. An automatic calibration system for binocular stereo imaging
CN114170321A (zh) 一种基于测距的相机自标定方法及***
Lee et al. RGB-D fusion: Real-time robust tracking and dense mapping with RGB-D data fusion
CN110874820B (zh) 一种物料仿真形变数据获取方法及装置
CN113160393A (zh) 基于大景深的高精度三维重建方法、装置及其相关组件
CN112785685A (zh) 一种装配引导方法及***
JP2002135807A (ja) ３次元入力のためのキャリブレーション方法および装置
Uyanik et al. A method for determining 3D surface points of objects by a single camera and rotary stage
CN104156962A (zh) 一种基于梯形图案的相机与投影机空间位置关系的标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant