CN116801100A - 自动驾驶***中双目相机模组的标定焦距验证方法及装置 - Google Patents

自动驾驶***中双目相机模组的标定焦距验证方法及装置 Download PDF

Info

Publication number
CN116801100A
CN116801100A CN202310814566.7A CN202310814566A CN116801100A CN 116801100 A CN116801100 A CN 116801100A CN 202310814566 A CN202310814566 A CN 202310814566A CN 116801100 A CN116801100 A CN 116801100A
Authority
CN
China
Prior art keywords
camera module
binocular camera
focal length
target
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310814566.7A
Other languages
English (en)
Other versions
CN116801100B (zh
Inventor
陈轩黎
李江涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jianzhi Qiji Technology Co ltd
Original Assignee
Shanghai Jianzhi Qiji Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jianzhi Qiji Technology Co ltd filed Critical Shanghai Jianzhi Qiji Technology Co ltd
Priority to CN202310814566.7A priority Critical patent/CN116801100B/zh
Publication of CN116801100A publication Critical patent/CN116801100A/zh
Application granted granted Critical
Publication of CN116801100B publication Critical patent/CN116801100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本公开是关于一种自动驾驶***中双目相机模组的标定焦距验证方法、自动驾驶***中双目相机模组的标定焦距验证装置、标定靶、存储介质及电子设备。该标定焦距验证方法包括获取具有随机条纹特征和圆点特征的原始图像,及标靶图像;基于图像处理模型对原始图像和标靶图像中的随机条纹特征进行特征提取并匹配,确定双目相机模组的成像平面相对于标定靶的标靶平面的旋转角度;基于旋转角度对双目相机模组进行旋转,使双目相机模组达到预定状态,得到预定状态下双目相机模组的测量焦距;基于双目相机模组的测量焦距对双目相机模组的标定焦距进行参数验证,得到验证结果,提高标定焦距验证结果的可靠性。

Description

自动驾驶***中双目相机模组的标定焦距验证方法及装置
技术领域
本公开涉及图像处理技术领域,尤其涉及一种自动驾驶***中双目相机模组的标定焦距验证方法、自动驾驶***中双目相机模组的标定焦距验证装置、标定靶、存储介质及电子设备。
背景技术
相机标定是计算机视觉和机器视觉领域中非常重要的技术,它可以用于估计相机的内部参数和外部参数。相机标定是很多计算机视觉任务的基础,如立体视觉、运动估计、三维重建、图像匹配等。棋盘格或圆点格标定板是相机标定中常用的工具,通过拍摄多张不同角度和位置的棋盘格图像,使用角点检测算法和标定算法来计算相机的内部参数和外部参数。当相机标定的精度不够高时,计算机视觉任务的性能也会受到影响。因此,对于每个具体的计算机视觉应用,都需要进行相应的相机标定,并验证标定的正确性。验证标定的正确性是至关重要的,其会影响到相机性能和用户使用。
发明内容
有鉴于此,本公开实施例期望提供一种自动驾驶***中双目相机模组的标定焦距验证方法、自动驾驶***中双目相机模组的标定焦距验证装置、标定靶、存储介质及电子设备。
本公开的技术方案是这样实现的:
第一方面,本公开提供一种自动驾驶***中双目相机模组的标定焦距验证方法。
本公开实施例提供的自动驾驶***中双目相机模组的标定焦距验证方法,包括:
获取具有随机条纹特征和圆点特征的原始图像,及基于所述原始图像制作的标定靶的标靶图像;其中,所述标靶图像由所述双目相机模组对所述标定靶上的所述原始图像进行图像采集得到;
基于图像处理模型,对所述原始图像和所述标靶图像中的所述随机条纹特征进行特征提取并匹配,确定所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度;
基于所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度,对所述双目相机模组进行旋转,使所述双目相机模组达到预定状态;所述预定状态确定为所述双目相机模组的成像平面与所述标定靶的标靶平面平行;
基于所述预定状态下的所述双目相机模组与所述标定靶间的垂直距离及所述垂直距离与所述双目相机模组的焦距之间的映射关系,得到所述双目相机模组的测量焦距;其中,所述垂直距离与所述双目相机模组的焦距之间的映射关系与所述标定靶上原始图像的两个圆点特征间的第一距离及所述标靶图像的两个圆点特征间的第二距离相关联;所述标靶图像的两个圆点特征为所述原始图像的所述两个圆点特征进行成像时对应的两个特征点;
基于所述双目相机模组的测量焦距,对所述双目相机模组的标定焦距进行参数验证,得到验证结果。
在一些实施例中,所述标定靶上原始图像的两个圆点特征间的第一距离与所述标靶图像的两个圆点特征间的第二距离均为矢量;所述标定靶上原始图像的两个圆点特征间的第一距离包含有X轴方向的第一X轴距离及Y轴方向的第一Y轴距离;所述标靶图像的两个圆点特征间的第二距离包含有X轴方向的第二X轴距离及Y轴方向的第二Y轴距离;
所述垂直距离与所述双目相机模组的焦距之间的映射关系,包括:与所述原始图像的两个圆点特征间的第一X轴距离及所述标靶图像的两个圆点特征间的第二X轴距离相关联的第一映射关系、与所述原始图像的两个圆点特征间的第一Y轴距离及所述标靶图像的两个圆点特征间的第二Y轴距离相关联的第二映射关系;
所述基于所述双目相机模组与所述标定靶的垂直距离及所述垂直距离与所述双目相机模组的焦距之间的映射关系,得到所述双目相机模组的测量焦距,包括:
基于所述双目相机模组与所述标定靶的垂直距离及所述第一映射关系,得到所述双目相机模组在X轴方向的第一测量焦距;
基于所述双目相机模组与所述标定靶的垂直距离及所述第二映射关系,得到所述双目相机模组在Y轴方向的第二测量焦距。
在一些实施例中,所述基于所述双目相机模组的测量焦距,对所述双目相机模组的标定焦距进行参数验证,得到验证结果,包括:
基于所述第一测量焦距,对所述双目相机模组的标定焦距在X轴方向的焦距分量进行参数验证,得到第一验证结果;
基于所述第二测量焦距,对所述双目相机模组的标定焦距在Y轴方向的焦距分量进行参数验证,得到第二验证结果;
若所述第一验证结果和所述第二验证结果均显示验证通过,则确定所述双目相机模组的标定焦距验证通过。
在一些实施例中,所述基于所述第一测量焦距,对所述双目相机模组的标定焦距在X轴方向的焦距分量进行参数验证,得到第一验证结果,包括:
若所述第一测量焦距与所述标定焦距在X轴方向的焦距分量的差值,在第一误差阈值范围内,则确定所述第一验证结果为验证通过;
所述基于所述第二测量焦距,对所述双目相机模组的标定焦距在Y轴方向的焦距分量进行参数验证,得到第二验证结果,包括:
若所述第二测量焦距与所述标定焦距在Y轴方向的焦距分量的差值,在第二误差阈值范围内,则确定所述第二验证结果为验证通过。
在一些实施例中,所述原始图像的所述随机条纹特征具有供所述图像处理模型识别的梯度信息;
所述基于图像处理模型,对所述原始图像和所述标靶图像中的所述随机条纹特征进行特征提取并匹配,确定所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度,包括:
通过所述图像处理模型解析所述原始图像和所述标靶图像中随机条纹特征的梯度信息,在所述原始图像和所述标靶图像中提取出多个随机条纹特征;
对提取的所述原始图像和所述标靶图像之间的多个随机条纹特征进行特征匹配,确定所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度。
在一些实施例中,所述对提取的所述原始图像和所述标靶图像之间的多个随机条纹特征进行特征匹配,确定所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度,包括:
基于所述原始图像和所述标靶图像之间相匹配的多个随机条纹特征,进行所述标靶图像与所述原始图像之间的坐标变换,得到表征所述标靶图像与所述原始图像之间坐标变换关系的单应性矩阵;
基于所述单应性矩阵进行矩阵求解,得到所述标靶图像与所述原始图像之间的旋转矩阵;
对所述旋转矩阵进行矩阵分解,得到所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度。
在一些实施例中,所述垂直距离与所述双目相机模组的焦距之间的映射关系,包括:
;其中,f为所述双目相机模组的焦距,/>为所述标定靶上原始图像的两个圆点特征间的第一距离,/>为所述标靶图像的两个圆点特征间的第二距离,/>为所述双目相机模组与所述标定靶的垂直距离。
在一些实施例中,所述圆点特征为内圆特征和外环特征的组合特征;其中,所述内圆特征为黑色内圆特征;所述外环特征为白色外环特征;
多个所述圆点特征在所述原始图像中呈阵列分布;所述随机条纹特征围绕每个所述圆点特征;
其中,所述标定靶上原始图像的两个圆点特征间的第一距离及所述标靶图像的两个圆点特征间的第二距离均确定为两个内圆特征的圆心之间的距离。
第二方面,本公开提供一种用于上述第一方面所述自动驾驶***中双目相机模组的标定焦距验证方法的标定靶,包括:
本体;
所述本体上具有原始图像;
所述原始图像具有随机条纹特征和圆点特征;其中,
多个所述圆点特征在所述原始图像中呈阵列分布;所述随机条纹特征围绕每个所述圆点特征;
所述随机条纹特征具有供图像处理模型识别的梯度信息。
在一些实施例中,所述圆点特征为内圆特征和外环特征的组合特征;其中,所述内圆特征为黑色内圆特征;所述外环特征为白色外环特征。
第三方面,本公开提供一种自动驾驶***中双目相机模组的标定焦距验证装置,包括:
图像获取模块,用于获取具有随机条纹特征和圆点特征的原始图像,及基于所述原始图像制作的标定靶的标靶图像;其中,所述标靶图像由所述双目相机模组对所述标定靶上的所述原始图像进行图像采集得到;
旋转角度确定模块,用于基于图像处理模型,对所述原始图像和所述标靶图像中的所述随机条纹特征进行特征提取并匹配,确定所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度;
距离修正模块,用于基于所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度,对所述双目相机模组进行旋转,使所述双目相机模组达到预定状态;所述预定状态确定为所述双目相机模组的成像平面与所述标定靶的标靶平面平行;
测量焦距确定模块,用于基于所述预定状态下的所述双目相机模组与所述标定靶间的垂直距离及所述垂直距离与所述双目相机模组的焦距之间的映射关系,得到所述双目相机模组的测量焦距;其中,所述垂直距离与所述双目相机模组的焦距之间的映射关系与所述标定靶上原始图像的两个圆点特征间的第一距离及所述标靶图像的两个圆点特征间的第二距离相关联;所述标靶图像的两个圆点特征为所述原始图像的所述两个圆点特征进行成像时对应的两个特征点;
参数验证模块,用于基于所述双目相机模组的测量焦距,对所述双目相机模组的标定焦距进行参数验证,得到验证结果。
在一些实施例中,所述标定靶上原始图像的两个圆点特征间的第一距离与所述标靶图像的两个圆点特征间的第二距离均为矢量;所述标定靶上原始图像的两个圆点特征间的第一距离包含有X轴方向的第一X轴距离及Y轴方向的第一Y轴距离;所述标靶图像的两个圆点特征间的第二距离包含有X轴方向的第二X轴距离及Y轴方向的第二Y轴距离;
所述垂直距离与所述双目相机模组的焦距之间的映射关系,包括:与所述原始图像的两个圆点特征间的第一X轴距离及所述标靶图像的两个圆点特征间的第二X轴距离相关联的第一映射关系、与所述原始图像的两个圆点特征间的第一Y轴距离及所述标靶图像的两个圆点特征间的第二Y轴距离相关联的第二映射关系;
所述测量焦距确定模块,用于
基于所述双目相机模组与所述标定靶的垂直距离及所述第一映射关系,得到所述双目相机模组在X轴方向的第一测量焦距;
基于所述双目相机模组与所述标定靶的垂直距离及所述第二映射关系,得到所述双目相机模组在Y轴方向的第二测量焦距。
在一些实施例中,所述参数验证模块,用于
基于所述第一测量焦距,对所述双目相机模组的标定焦距在X轴方向的焦距分量进行参数验证,得到第一验证结果;
基于所述第二测量焦距,对所述双目相机模组的标定焦距在Y轴方向的焦距分量进行参数验证,得到第二验证结果;
若所述第一验证结果和所述第二验证结果均显示验证通过,则确定所述双目相机模组的标定焦距验证通过。
在一些实施例中,所述参数验证模块,用于
若所述第一测量焦距与所述标定焦距在X轴方向的焦距分量的差值,在第一误差阈值范围内,则确定所述第一验证结果为验证通过;
若所述第二测量焦距与所述标定焦距在Y轴方向的焦距分量的差值,在第二误差阈值范围内,则确定所述第二验证结果为验证通过。
在一些实施例中,所述原始图像的所述随机条纹特征具有供所述图像处理模型识别的梯度信息;
所述旋转角度确定模块,用于
通过所述图像处理模型解析所述原始图像和所述标靶图像中随机条纹特征的梯度信息,在所述原始图像和所述标靶图像中提取出多个随机条纹特征;
对提取的所述原始图像和所述标靶图像之间的多个随机条纹特征进行特征匹配,确定所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度。
在一些实施例中,所述旋转角度确定模块,用于
基于所述原始图像和所述标靶图像之间相匹配的多个随机条纹特征,进行所述标靶图像与所述原始图像之间的坐标变换,得到表征所述标靶图像与所述原始图像之间坐标变换关系的单应性矩阵;
基于所述单应性矩阵进行矩阵求解,得到所述标靶图像与所述原始图像之间的旋转矩阵;
对所述旋转矩阵进行矩阵分解,得到所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度。
在一些实施例中,所述垂直距离与所述双目相机模组的焦距之间的映射关系,包括:
;其中,f为所述双目相机模组的焦距,/>为所述标定靶上原始图像的两个圆点特征间的第一距离,/>为所述标靶图像的两个圆点特征间的第二距离,/>为所述双目相机模组与所述标定靶的垂直距离。
在一些实施例中,所述圆点特征为内圆特征和外环特征的组合特征;其中,所述内圆特征为黑色内圆特征;所述外环特征为白色外环特征;
多个所述圆点特征在所述原始图像中呈阵列分布;所述随机条纹特征围绕每个所述圆点特征;
其中,所述标定靶上原始图像的两个圆点特征间的第一距离及所述标靶图像的两个圆点特征间的第二距离均确定为两个内圆特征的圆心之间的距离。
第四方面,本公开提供一种计算机可读存储介质,其上存储有自动驾驶***中双目相机模组的标定焦距验证程序,该自动驾驶***中双目相机模组的标定焦距验证程序被处理器执行时,实现上述第一方面所述的自动驾驶***中双目相机模组的标定焦距验证方法。
第五方面,本公开提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的自动驾驶***中双目相机模组的标定焦距验证程序,所述处理器执行所述自动驾驶***中双目相机模组的标定焦距验证程序时,实现上述第一方面所述的自动驾驶***中双目相机模组的标定焦距验证方法。
根据本公开实施例的自动驾驶***中双目相机模组的标定焦距验证方法包括获取具有随机条纹特征和圆点特征的原始图像,及基于原始图像制作的标定靶的标靶图像;其中,标靶图像由双目相机模组对标定靶上的原始图像进行图像采集得到;基于图像处理模型,对原始图像和标靶图像中的随机条纹特征进行特征提取并匹配,确定双目相机模组的成像平面相对于标定靶的标靶平面的旋转角度;基于双目相机模组的成像平面相对于标定靶的标靶平面的旋转角度,对双目相机模组进行旋转,使双目相机模组达到预定状态;预定状态确定为双目相机模组与标定靶的标靶平面平行;基于预定状态下的双目相机模组与标定靶间的垂直距离及垂直距离与双目相机模组的焦距之间的映射关系,得到双目相机模组的测量焦距;其中,垂直距离与双目相机模组的焦距之间的映射关系与标定靶上原始图像的两个圆点特征间的第一距离及标靶图像的两个圆点特征间的第二距离相关联;标靶图像的两个圆点特征为原始图像的两个圆点特征进行成像时对应的两个特征点;基于双目相机模组的测量焦距,对双目相机模组的标定焦距进行参数验证,得到验证结果。本申请中采用具有随机条纹特征和圆点特征的原始图像来制作标定靶。通过图像处理模型对原始图像和标靶图像中的随机条纹特征进行特征提取并匹配,确定双目相机模组的成像平面相对于标定靶的标靶平面的旋转角度。由于随机条纹特征具有供图像处理模型识别的梯度信息,使得在光照场景下图像处理模型也可以提取大量随机条纹特征进行匹配,从而得到更为准确的双目相机模组的成像平面相对于标定靶的标靶平面的旋转角度,进行双目相机模组的角度旋转,达到预定状态,使得双目相机模组与所述标定靶间的垂直距离为标定距离,从而为得到准确的双目相机模组的测量焦距提供数据支持。通过准确的测量焦距来进行参数验证,有利于提高标定焦距验证结果的可靠性。
本公开附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本公开的实践了解到。
附图说明
图1是根据一示例性实施例示出的自动驾驶***中双目相机模组的标定焦距验证方法流程图;
图2是根据一示例性实施例示出的自动驾驶***中双目相机模组的标定焦距验证方法中原始图像示意图;
图3是根据一示例性实施例示出的自动驾驶***中双目相机模组的标定焦距验证方法中原始图像在光照下和旋转角度后的示意图;
图4是根据一示例性实施例示出的双目相机模组采集的在光照下或旋转角度后原始图像的标靶图像示意图;
图5是根据一示例性实施例示出的自动驾驶***中双目相机模组的标定焦距验证装置结构示意图。
具体实施方式
下面详细描述本公开的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本公开,而不能理解为对本公开的限制。
相机标定是计算机视觉和机器视觉领域中非常重要的技术,它可以用于估计相机的内部参数和外部参数。相机标定是很多计算机视觉任务的基础,如立体视觉、运动估计、三维重建、图像匹配等。棋盘格或圆点格标定板是相机标定中常用的工具,通过拍摄多张不同角度和位置的棋盘格图像,使用角点检测算法和标定算法来计算相机的内部参数和外部参数。当相机标定的精度不够高时,计算机视觉任务的性能也会受到影响。因此,对于每个具体的计算机视觉应用,都需要进行相应的相机标定,并验证标定的正确性。验证标定的正确性是至关重要的,其会影响到相机性能和用户使用。
针对上述情况,本公开提供一种自动驾驶***中双目相机模组的标定焦距验证方法。图1是根据一示例性实施例示出的自动驾驶***中双目相机模组的标定焦距验证方法流程图。如图1所示,该自动驾驶***中双目相机模组的标定焦距验证方法包括:
步骤10、获取具有随机条纹特征和圆点特征的原始图像,及基于所述原始图像制作的标定靶的标靶图像;其中,所述标靶图像由所述双目相机模组对所述标定靶上的所述原始图像进行图像采集得到;
步骤11、基于图像处理模型,对所述原始图像和所述标靶图像中的所述随机条纹特征进行特征提取并匹配,确定所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度;
步骤12、基于所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度,对所述双目相机模组进行旋转,使所述双目相机模组达到预定状态;所述预定状态确定为所述双目相机模组的成像平面与所述标定靶的标靶平面平行;
步骤13、基于所述预定状态下的所述双目相机模组与所述标定靶间的垂直距离及所述垂直距离与所述双目相机模组的焦距之间的映射关系,得到所述双目相机模组的测量焦距;其中,所述垂直距离与所述双目相机模组的焦距之间的映射关系与所述标定靶上原始图像的两个圆点特征间的第一距离及所述标靶图像的两个圆点特征间的第二距离相关联;所述标靶图像的两个圆点特征为所述原始图像的所述两个圆点特征进行成像时对应的两个特征点;
步骤14、基于所述双目相机模组的测量焦距,对所述双目相机模组的标定焦距进行参数验证,得到验证结果。
在本示例性实施例中,对相机的标定参数进行验证时,常用的方法是利用棋盘格或圆点格标定板计算重投影误差,以评估相机标定精度。基本流程包括拍摄棋盘格图像、检测角点、标定相机、计算重投影误差等步骤。具体来说,首先需要使用相机拍摄多张不同角度和位置的棋盘格图像,并保证棋盘格处于平面状态,并且摄像机视角可以完全看到棋盘格的所有角点。然后,对于每张棋盘格图像,使用角点检测算法来检测出棋盘格的角点。
虽然重投影误差是相机标定中常用的评估指标,它可以用来评估相机内外参数的准确性和一致性。然而,重投影误差并不能很好地评估相机的深度计算精度,因为它只考虑了图像平面上的像素坐标误差,而没有考虑相机的深度计算误差。因此,在某些需要高精度深度信息的应用中,需要使用其他的评估指标。此外,在实际应用中,通用的棋盘格往往作为标定时使用的靶标,再作为验证用的靶标的话,会将两个问题耦合在一起,不利于验证和定位问题。因此,需要选择不同的验证靶标来分离这两个问题。
对此,本申请采用具有随机条纹特征和圆点特征的原始图像,及基于原始图像制作的标定靶的标靶图像。图2是根据一示例性实施例示出的自动驾驶***中双目相机模组的标定焦距验证方法中原始图像示意图。如图2所示,原始图像具有随机条纹特征和圆点特征。图3是根据一示例性实施例示出的自动驾驶***中双目相机模组的标定焦距验证方法中原始图像在光照下和旋转角度后的示意图。图4是根据一示例性实施例示出的双目相机模组采集的在光照下或旋转角度后原始图像的标靶图像示意图。标靶图像由所述双目相机模组对所述标定靶上的所述原始图像进行图像采集得到。
在本示例性实施例中,对原始图像和标靶图像中的随机条纹特征进行特征提取并匹配,确定双目相机模组的成像平面相对于标定靶的标靶平面的旋转角度。基于双目相机模组的成像平面相对于标定靶的标靶平面的旋转角度,进行双目相机模组的角度旋转,达到预定状态,使得双目相机模组的成像平面与所述标定靶间的垂直距离为标定距离。基于双目相机模组与标定靶的垂直距离及垂直距离与双目相机模组的焦距之间的映射关系,得到双目相机模组的测量焦距,来对双目相机模组的标定焦距进行参数验证。整个过程只需要对双目相机模组与标定靶的标定距离进行距离修正即可,不需要进行计算重投影误差,更不会出现深度计算误差与重投影误差的耦合的问题。
同时,本申请中采用具有随机条纹特征和圆点特征的原始图像来制作标定靶。通过图像处理模型对原始图像和标靶图像中的随机条纹特征进行特征提取并匹配,确定双目相机模组的成像平面相对于标定靶的标靶平面的旋转角度。如图4所示,由于随机条纹特征具有供图像处理模型识别的梯度信息,使得在光照场景下图像处理模型也可以提取大量随机条纹特征进行匹配,从而得到更为准确的双目相机模组的成像平面相对于标定靶的标靶平面的旋转角度,进行双目相机模组的角度旋转,达到预定状态,使得双目相机模组与所述标定靶间的垂直距离为标定距离,从而为得到准确的双目相机模组的测量焦距提供数据支持。通过准确的测量焦距来进行参数验证,有利于提高标定焦距验证结果的可靠性。
在本示例性实施例中,可以生成具有梯度信息的原始图像。然后将原始图像根据一定比例打印出来,制作标定靶。双目相机模组距离标定靶预定距离,相机成像平面与标定靶的标靶平面相平行,来对所述标定靶上的所述原始图像进行图像采集。其中, 标定靶可以设置在墙面上。
在本示例性实施例中,图像处理模型可以为SIFT(Scale-invariant featuretransform,尺度不变特征变换)算法。通过SIFT对所述原始图像和所述标靶图像中的所述随机条纹特征进行特征提取并匹配。此处仅为示例,除了SIFT,也可以采用其他可识别梯度信息的特征提取匹配算法。
在一些实施例中,所述标定靶上原始图像的两个圆点特征间的第一距离与所述标靶图像的两个圆点特征间的第二距离均为矢量;所述标定靶上原始图像的两个圆点特征间的第一距离包含有X轴方向的第一X轴距离及Y轴方向的第一Y轴距离;所述标靶图像的两个圆点特征间的第二距离包含有X轴方向的第二X轴距离及Y轴方向的第二Y轴距离;
所述垂直距离与所述双目相机模组的焦距之间的映射关系,包括:与所述原始图像的两个圆点特征间的第一X轴距离及所述标靶图像的两个圆点特征间的第二X轴距离相关联的第一映射关系、与所述原始图像的两个圆点特征间的第一Y轴距离及所述标靶图像的两个圆点特征间的第二Y轴距离相关联的第二映射关系;
所述基于所述双目相机模组与所述标定靶的垂直距离及所述垂直距离与所述双目相机模组的焦距之间的映射关系,得到所述双目相机模组的测量焦距,包括:
基于所述双目相机模组与所述标定靶的垂直距离及所述第一映射关系,得到所述双目相机模组在X轴方向的第一测量焦距;
基于所述双目相机模组与所述标定靶的垂直距离及所述第二映射关系,得到所述双目相机模组在Y轴方向的第二测量焦距。
在本示例性实施例中,所述基于所述双目相机模组的测量焦距,对所述双目相机模组的标定焦距进行参数验证,得到验证结果,包括:
基于所述第一测量焦距,对所述双目相机模组的标定焦距在X轴方向的焦距分量进行参数验证,得到第一验证结果;
基于所述第二测量焦距,对所述双目相机模组的标定焦距在Y轴方向的焦距分量进行参数验证,得到第二验证结果;
若所述第一验证结果和所述第二验证结果均显示验证通过,则确定所述双目相机模组的标定焦距验证通过。
在本示例性实施例中,在进行特征点提取时可先建立坐标系,原始图像和标靶图像中每一个像素点均对应有坐标。可将原始图像和标靶图像建立在同一坐标系下。在对所述双目相机模组的标定焦距进行参数验证时,需要将标定焦距分为在X轴方向的焦距分量和在Y轴方向的焦距分量分别进行参数验证。
同时,用来对标定焦距进行参数验证的测量焦距也分为在X轴方向的第一测量焦距和在Y轴方向的第二测量焦距。通过第一测量焦距,对所述双目相机模组的标定焦距在X轴方向的焦距分量进行参数验证,通过所述第二测量焦距,对所述双目相机模组的标定焦距在Y轴方向的焦距分量进行参数验证。
在确定第一测量焦距和第二测量焦距时,可根据双目相机模组与所述标定靶的垂直距离及所述第一映射关系,得到所述双目相机模组在X轴方向的第一测量焦距,根据双目相机模组与所述标定靶的垂直距离及所述第二映射关系,得到所述双目相机模组在Y轴方向的第二测量焦距。其中,
所述垂直距离与所述双目相机模组的焦距之间的映射关系,包括:
;其中,f为所述双目相机模组的焦距,/>为所述标定靶上原始图像的两个圆点特征间的第一距离,/>为所述标靶图像的两个圆点特征间的第二距离,/>为所述双目相机模组与所述标定靶的垂直距离。
第一映射关系为:,其中,/>为双目相机模组在X轴方向的第一测量焦距,/>为标靶图像的两个圆点特征间的第二X轴距离,/>为原始图像的两个圆点特征间的第一X轴距离;/>为所述双目相机模组与所述标定靶的垂直距离;
第二映射关系为:,其中,/>双目相机模组在Y轴方向的第二测量焦距,/>为标靶图像的两个圆点特征间的第二Y轴距离,/>为原始图像的两个圆点特征间的第一Y轴距离。
本申请用于双目相机模组标定焦距的精度验证,如果验证不通过,说明标定焦距不合格,根据需要可对双目相机模组进行重新标定。
在一些实施例中,所述基于所述第一测量焦距,对所述双目相机模组的标定焦距在X轴方向的焦距分量进行参数验证,得到第一验证结果,包括:
若所述第一测量焦距与所述标定焦距在X轴方向的焦距分量的差值,在第一误差阈值范围内,则确定所述第一验证结果为验证通过;
所述基于所述第二测量焦距,对所述双目相机模组的标定焦距在Y轴方向的焦距分量进行参数验证,得到第二验证结果,包括:
若所述第二测量焦距与所述标定焦距在Y轴方向的焦距分量的差值,在第二误差阈值范围内,则确定所述第二验证结果为验证通过。
在本示例性实施例中,设置第一误差阈值和第二误差阈值,用来判断标定精度。若所述第一测量焦距与所述标定焦距在X轴方向的焦距分量的差值,在第一误差阈值范围内,说明标定焦距在X轴方向的焦距分量的标定精度验证通过,则确定所述第一验证结果为验证通过;
若所述第二测量焦距与所述标定焦距在Y轴方向的焦距分量的差值,在第二误差阈值范围内,说明标定焦距在Y轴方向的焦距分量的标定精度验证通过,则确定所述第二验证结果为验证通过。
在一些实施例中,所述原始图像的所述随机条纹特征具有供所述图像处理模型识别的梯度信息;
所述基于图像处理模型,对所述原始图像和所述标靶图像中的所述随机条纹特征进行特征提取并匹配,确定所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度,包括:
通过所述图像处理模型解析所述原始图像和所述标靶图像中随机条纹特征的梯度信息,在所述原始图像和所述标靶图像中提取出多个随机条纹特征;
对提取的所述原始图像和所述标靶图像之间的多个随机条纹特征进行特征匹配,确定所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度。
在本示例性实施例中,所述对提取的所述原始图像和所述标靶图像之间的多个随机条纹特征进行特征匹配,确定所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度,包括:
基于所述原始图像和所述标靶图像之间相匹配的多个随机条纹特征,进行所述标靶图像与所述原始图像之间的坐标变换,得到表征所述标靶图像与所述原始图像之间坐标变换关系的单应性矩阵;
基于所述单应性矩阵进行矩阵求解,得到所述标靶图像与所述原始图像之间的旋转矩阵;
对所述旋转矩阵进行矩阵分解,得到所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度。
在本示例性实施例中,通过SIFT等基于梯度信息的特征表述子可在标靶图像与所述原始图像中提取大量的准确的匹配点。标靶图像与所述原始图像之间的变换关系可以由一个homography单应性描述。利用匹配点求解homography可以通过OpenCV (Open SourceComputer VisionLibrary,开源的计算机视觉库)的findhomography转换矩阵查找函数实现。由于提供大量的匹配点,所以最终的结果会通过拥有所有点的超定方程解出来,这个结果相对于圆点和棋盘格只用数十个点的结果是更加稳定可靠的。其中,利用匹配点计算homography理论如下:
标靶图像与所述原始图像进行特征匹配,两个点集分别记作X和X′。用单应性变换来拟合二者的关系,可表达为:
其中,是X′中特征点的坐标,/>为X中特征点的坐标,H即是单应性矩阵,代表它们之间的变换关系。H是个3*3的矩阵,有8个自由度,所以待求未知参数有8个,其中,(u,υ)为原始图像的特征点坐标,(x,y)为标靶图像的特征点坐标。
DLT算法推导过程如下:
将(1)式展开,前2行分别被第三行相除,得到
式(2)、(3)可以整理为:
;其中,
由未知变量的个数可知,求解出H至少需要4对匹配点。通常情况下为了得到更稳定的结果,会用到多于4对的特征匹配。所以,这个方程会变成超定的,可以将最小二乘解作为最后的解。
方程的最小二乘解有一个既定的结论,即对A进行SVD奇异值分解,A的最小的奇异值对应的右奇异向量即是h的解。对h做reshape矩阵变换(reshape将指定的矩阵变换成特定维数矩阵)得到H
得到单应性矩阵H后,从Homography中提取旋转矩阵R,得到旋转角度,得到相机相对墙面的角度。
因为默认标定靶标是贴合在平整的墙面上,故可以利用下述公式计算出旋转矩阵,并且提取旋转角度:
(5);
(6);/>
(7);
其中,t为平移矢量,K为相机内参矩阵(3*3),R为旋转矩阵(3*3);由公式(6)得到(7)。对R进行分解得到欧拉角,就是双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度;其中,、/>均为旋转向量。
欧拉角Eulerian angles用来确定定点转动刚***置的3个一组独立角参量,由章动角α、旋进角β和自转角γ组成。其中,
;/>
;其中,/>、/>、/>、/>、/>R矩阵中根据行列对应的5个取值。得到欧拉角后,对双目相机模组进行旋转,使得双目相机模组预定状态,使得双目相机模组与所述标定靶间的垂直距离为标定距离。
在一些实施例中,所述圆点特征为内圆特征和外环特征的组合特征;其中,所述内圆特征为黑色内圆特征;所述外环特征为白色外环特征;
多个所述圆点特征在所述原始图像中呈阵列分布;所述随机条纹特征围绕每个所述圆点特征;
其中,所述标定靶上原始图像的两个圆点特征间的第一距离及所述标靶图像的两个圆点特征间的第二距离均确定为两个内圆特征的圆心之间的距离。
在本示例性实施例中,获取标定靶上原始图像的两个圆点特征间的第一距离及所述标靶图像的两个圆点特征间的第二距离时,可将标定靶上原始图像的两个圆点特征的内圆特征的圆心之间的距离作为标定靶上原始图像的两个圆点特征间的第一距离,将标靶图像的两个圆点特征的内圆特征的圆心之间的距离作为标靶图像的两个圆点特征间的第二距离。其中,在原始图像和标靶图像中提取圆点特征时,可通过OpenCV的圆点探测方程来进行圆点特征提取。
本公开提供一种用于上述各实施例所述自动驾驶***中双目相机模组的标定焦距验证方法的标定靶,包括:
本体;
所述本体上具有原始图像;
所述原始图像具有随机条纹特征和圆点特征;其中,
多个所述圆点特征在所述原始图像中呈阵列分布;所述随机条纹特征围绕每个所述圆点特征;
所述随机条纹特征具有供图像处理模型识别的梯度信息。
在一些实施例中,所述圆点特征为内圆特征和外环特征的组合特征;其中,所述内圆特征为黑色内圆特征;所述外环特征为白色外环特征。
本公开提供一种自动驾驶***中双目相机模组的标定焦距验证装置。图5是根据一示例性实施例示出的自动驾驶***中双目相机模组的标定焦距验证装置结构示意图。如图5所示,自动驾驶***中双目相机模组的标定焦距验证装置包括:
图像获取模块50,用于获取具有随机条纹特征和圆点特征的原始图像,及基于所述原始图像制作的标定靶的标靶图像;其中,所述标靶图像由所述双目相机模组对所述标定靶上的所述原始图像进行图像采集得到;
旋转角度确定模块51,用于基于图像处理模型,对所述原始图像和所述标靶图像中的所述随机条纹特征进行特征提取并匹配,确定所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度;
距离修正模块52,用于基于所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度,对所述双目相机模组进行旋转,使所述双目相机模组达到预定状态;所述预定状态确定为所述双目相机模组的成像平面与所述标定靶的标靶平面平行;
测量焦距确定模块53,用于基于所述预定状态下的所述双目相机模组与所述标定靶间的垂直距离及所述垂直距离与所述双目相机模组的焦距之间的映射关系,得到所述双目相机模组的测量焦距;其中,所述垂直距离与所述双目相机模组的焦距之间的映射关系与所述标定靶上原始图像的两个圆点特征间的第一距离及所述标靶图像的两个圆点特征间的第二距离相关联;所述标靶图像的两个圆点特征为所述原始图像的所述两个圆点特征进行成像时对应的两个特征点;
参数验证模块54,用于基于所述双目相机模组的测量焦距,对所述双目相机模组的标定焦距进行参数验证,得到验证结果。
在本示例性实施例中,对相机的标定参数进行验证时,常用的方法是利用棋盘格或圆点格标定板计算重投影误差,以评估相机标定精度。基本流程包括拍摄棋盘格图像、检测角点、标定相机、计算重投影误差等步骤。具体来说,首先需要使用相机拍摄多张不同角度和位置的棋盘格图像,并保证棋盘格处于平面状态,并且摄像机视角可以完全看到棋盘格的所有角点。然后,对于每张棋盘格图像,使用角点检测算法来检测出棋盘格的角点。
虽然重投影误差是相机标定中常用的评估指标,它可以用来评估相机内外参数的准确性和一致性。然而,重投影误差并不能很好地评估相机的深度计算精度,因为它只考虑了图像平面上的像素坐标误差,而没有考虑相机的深度计算误差。因此,在某些需要高精度深度信息的应用中,需要使用其他的评估指标。此外,在实际应用中,通用的棋盘格往往作为标定时使用的靶标,再作为验证用的靶标的话,会将两个问题耦合在一起,不利于验证和定位问题。因此,需要选择不同的验证靶标来分离这两个问题。
对此,本申请采用具有随机条纹特征和圆点特征的原始图像,及基于原始图像制作的标定靶的标靶图像。标靶图像由所述双目相机模组对所述标定靶上的所述原始图像进行图像采集得到。
在本示例性实施例中,对原始图像和标靶图像中的随机条纹特征进行特征提取并匹配,确定双目相机模组的成像平面相对于标定靶的标靶平面的旋转角度。基于双目相机模组的成像平面相对于标定靶的标靶平面的旋转角度,进行双目相机模组的角度旋转,达到预定状态,使得双目相机模组与所述标定靶间的垂直距离为标定距离。基于双目相机模组与标定靶的垂直距离及垂直距离与双目相机模组的焦距之间的映射关系,得到双目相机模组的测量焦距,来对双目相机模组的标定焦距进行参数验证。整个过程只需要对双目相机模组与标定靶的标定距离进行距离修正即可,不需要进行计算重投影误差,更不会出现深度计算误差与重投影误差的耦合的问题。
同时,本申请中采用具有随机条纹特征和圆点特征的原始图像来制作标定靶。通过图像处理模型对原始图像和标靶图像中的随机条纹特征进行特征提取并匹配,确定双目相机模组的成像平面相对于标定靶的标靶平面的旋转角度。如图4所示,由于随机条纹特征具有供图像处理模型识别的梯度信息,使得在光照场景下图像处理模型也可以提取大量随机条纹特征进行匹配,从而得到更为准确的双目相机模组的成像平面相对于标定靶的标靶平面的旋转角度,进行双目相机模组的角度旋转,达到预定状态,使得双目相机模组与所述标定靶间的垂直距离为标定距离,从而为得到准确的双目相机模组的测量焦距提供数据支持。通过准确的测量焦距来进行参数验证,有利于提高标定焦距验证结果的可靠性。
在本示例性实施例中,可以生成具有梯度信息的原始图像。然后将原始图像根据一定比例打印出来,制作标定靶。双目相机模组距离标定靶预定距离,相机成像平面与标定靶的标靶平面相平行,来对所述标定靶上的所述原始图像进行图像采集。
在本示例性实施例中,图像处理模型可以为SIFT(Scale-invariant featuretransform,尺度不变特征变换)算法。通过SIFT对所述原始图像和所述标靶图像中的所述随机条纹特征进行特征提取并匹配。此处仅为示例,除了SIFT,也可以采用其他可识别梯度信息的特征提取匹配算法。
在一些实施例中,所述标定靶上原始图像的两个圆点特征间的第一距离与所述标靶图像的两个圆点特征间的第二距离均为矢量;所述标定靶上原始图像的两个圆点特征间的第一距离包含有X轴方向的第一X轴距离及Y轴方向的第一Y轴距离;所述标靶图像的两个圆点特征间的第二距离包含有X轴方向的第二X轴距离及Y轴方向的第二Y轴距离;
所述垂直距离与所述双目相机模组的焦距之间的映射关系,包括:与所述原始图像的两个圆点特征间的第一X轴距离及所述标靶图像的两个圆点特征间的第二X轴距离相关联的第一映射关系、与所述原始图像的两个圆点特征间的第一Y轴距离及所述标靶图像的两个圆点特征间的第二Y轴距离相关联的第二映射关系;
所述测量焦距确定模块,用于
基于所述双目相机模组与所述标定靶的垂直距离及所述第一映射关系,得到所述双目相机模组在X轴方向的第一测量焦距;
基于所述双目相机模组与所述标定靶的垂直距离及所述第二映射关系,得到所述双目相机模组在Y轴方向的第二测量焦距。
在本示例性实施例中,所述参数验证模块,用于
基于所述第一测量焦距,对所述双目相机模组的标定焦距在X轴方向的焦距分量进行参数验证,得到第一验证结果;
基于所述第二测量焦距,对所述双目相机模组的标定焦距在Y轴方向的焦距分量进行参数验证,得到第二验证结果;
若所述第一验证结果和所述第二验证结果均显示验证通过,则确定所述双目相机模组的标定焦距验证通过。
在本示例性实施例中,在进行特征点提取时可先建立坐标系,原始图像和标靶图像中每一个像素点均对应有坐标。可将原始图像和标靶图像建立在同一坐标系下。在对所述双目相机模组的标定焦距进行参数验证时,需要将标定焦距分为在X轴方向的焦距分量和在Y轴方向的焦距分量分别进行参数验证。
同时,用来对标定焦距进行参数验证的测量焦距也分为在X轴方向的第一测量焦距和在Y轴方向的第二测量焦距。通过第一测量焦距,对所述双目相机模组的标定焦距在X轴方向的焦距分量进行参数验证,通过所述第二测量焦距,对所述双目相机模组的标定焦距在Y轴方向的焦距分量进行参数验证。
在确定第一测量焦距和第二测量焦距时,可根据双目相机模组与所述标定靶的垂直距离及所述第一映射关系,得到所述双目相机模组在X轴方向的第一测量焦距,根据双目相机模组与所述标定靶的垂直距离及所述第二映射关系,得到所述双目相机模组在Y轴方向的第二测量焦距。其中,
所述垂直距离与所述双目相机模组的焦距之间的映射关系,包括:
;其中,f为所述双目相机模组的焦距,/>为所述标定靶上原始图像的两个圆点特征间的第一距离,/>为所述标靶图像的两个圆点特征间的第二距离,/>为所述双目相机模组与所述标定靶的垂直距离。
第一映射关系为:,其中,/>为双目相机模组在X轴方向的第一测量焦距,/>为标靶图像的两个圆点特征间的第二X轴距离,/>为原始图像的两个圆点特征间的第一X轴距离;/>为所述双目相机模组与所述标定靶的垂直距离;
第二映射关系为:,其中,/>双目相机模组在Y轴方向的第二测量焦距,/>为标靶图像的两个圆点特征间的第二Y轴距离,/>为原始图像的两个圆点特征间的第一Y轴距离。
在一些实施例中,所述参数验证模块,用于
若所述第一测量焦距与所述标定焦距在X轴方向的焦距分量的差值,在第一误差阈值范围内,则确定所述第一验证结果为验证通过;
若所述第二测量焦距与所述标定焦距在Y轴方向的焦距分量的差值,在第二误差阈值范围内,则确定所述第二验证结果为验证通过。
在本示例性实施例中,设置第一误差阈值和第二误差阈值,用来判断标定精度。若所述第一测量焦距与所述标定焦距在X轴方向的焦距分量的差值,在第一误差阈值范围内,说明标定焦距在X轴方向的焦距分量的标定精度验证通过,则确定所述第一验证结果为验证通过;
若所述第二测量焦距与所述标定焦距在Y轴方向的焦距分量的差值,在第二误差阈值范围内,说明标定焦距在Y轴方向的焦距分量的标定精度验证通过,则确定所述第二验证结果为验证通过。
在本示例性实施例中所述原始图像的所述随机条纹特征具有供所述图像处理模型识别的梯度信息;
所述旋转角度确定模块,用于
通过所述图像处理模型解析所述原始图像和所述标靶图像中随机条纹特征的梯度信息,在所述原始图像和所述标靶图像中提取出多个随机条纹特征;
对提取的所述原始图像和所述标靶图像之间的多个随机条纹特征进行特征匹配,确定所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度。
在本示例性实施例中,所述旋转角度确定模块,用于
基于所述原始图像和所述标靶图像之间相匹配的多个随机条纹特征,进行所述标靶图像与所述原始图像之间的坐标变换,得到表征所述标靶图像与所述原始图像之间坐标变换关系的单应性矩阵;
基于所述单应性矩阵进行矩阵求解,得到所述标靶图像与所述原始图像之间的旋转矩阵;
对所述旋转矩阵进行矩阵分解,得到所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度。
在本示例性实施例中,通过SIFT可在标靶图像与所述原始图像中提取大量的准确的匹配点。标靶图像与所述原始图像之间的变换关系可以由一个homography描述。利用匹配点求解homography可以通过OpenCV的findhomography函数实现。由于提供大量的匹配点,所以最终的结果会通过拥有所有点的超定方程解出来,这个结果比圆点和棋盘格只用数十个点的结果是更加稳定可靠的。其中,利用匹配点计算homography理论如下:
标靶图像与所述原始图像进行特征匹配,两个点集分别记作X和X′。用单应性变换来拟合二者的关系,可表达为
其中,是X′中特征点的坐标,/>为X中特征点的坐标,H即是单应性矩阵,代表它们之间的变换关系。H是个3*3的矩阵,有8个自由度,所以待求未知参数有8个,
DLT算法推导过程如下:
将(1)式展开,前2行分别被第三行相除,得到
式(2)、(3)可以整理为:
;其中,
/>
由未知变量的个数可知,求解出HH至少需要4对匹配点。通常情况下为了得到更稳定的结果,会用到多于4对的特征匹配。所以,这个方程会变成超定的,可以将最小二乘解作为最后的解。
方程的最小二乘解有一个既定的结论,即对A进行SVD分解,A的最小的奇异值对应的右奇异向量即是h的解。对h做reshape得到H
得到单应性矩阵H后,从Homography中提取旋转矩阵R,得到旋转角度,得到相机相对墙面的角度。
因为默认标定靶标是贴合在平整的墙面上,故可以利用下述公式计算出旋转矩阵,并且提取旋转角度:
(5);
(6);
(7);
其中,t为平移矢量,K为相机内参矩阵(3*3),R为旋转矩阵(3*3);由公式(6)得到(7)。对R进行分解得到欧拉角,就是双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度。
欧拉角Eulerian angles用来确定定点转动刚***置的3个一组独立角参量,由章动角α、旋进角β和自转角γ组成。其中,
;/>
;其中,/>、/>、/>、/>、/>R矩阵中根据行列对应的5个取值。
在一些实施例中,所述圆点特征为内圆特征和外环特征的组合特征;其中,所述内圆特征为黑色内圆特征;所述外环特征为白色外环特征;
多个所述圆点特征在所述原始图像中呈阵列分布;所述随机条纹特征围绕每个所述圆点特征;
其中,所述标定靶上原始图像的两个圆点特征间的第一距离及所述标靶图像的两个圆点特征间的第二距离均确定为两个内圆特征的圆心之间的距离。
在本示例性实施例中,获取标定靶上原始图像的两个圆点特征间的第一距离及所述标靶图像的两个圆点特征间的第二距离时,可将标定靶上原始图像的两个圆点特征的内圆特征的圆心之间的距离作为标定靶上原始图像的两个圆点特征间的第一距离,将标靶图像的两个圆点特征的内圆特征的圆心之间的距离作为标靶图像的两个圆点特征间的第二距离。其中,在原始图像和标靶图像中提取圆点特征时,可通过OpenCV的圆点探测方程来进行圆点特征提取。
本公开提供一种计算机可读存储介质,其上存储有自动驾驶***中双目相机模组的标定焦距验证程序,该自动驾驶***中双目相机模组的标定焦距验证程序被处理器执行时,实现上述各实施例所述的自动驾驶***中双目相机模组的标定焦距验证方法。
本公开提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的自动驾驶***中双目相机模组的标定焦距验证程序,所述处理器执行所述自动驾驶***中双目相机模组的标定焦距验证程序时,实现上述各实施例所述的自动驾驶***中双目相机模组的标定焦距验证方法。
需要说明的是,在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序,然后将其存储在计算机存储器中。
应当理解,本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本公开的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本公开和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本公开的限制。
此外,本公开实施例中所使用的“第一”、“第二”等术语,仅用于描述目的,而不可以理解为指示或者暗示相对重要性,或者隐含指明本实施例中所指示的技术特征数量。由此,本公开实施例中限定有“第一”、“第二”等术语的特征,可以明确或者隐含地表示该实施例中包括至少一个该特征。在本公开的描述中,词语“多个”的含义是至少两个或者两个及以上,例如两个、三个、四个等,除非实施例中另有明确具体的限定。
在本公开中,除非实施例中另有明确的相关规定或者限定,否则实施例中出现的术语“安装”、“相连”、“连接”和“固定”等应做广义理解,例如,连接可以是固定连接,也可以是可拆卸连接,或成一体,可以理解的,也可以是机械连接、电连接等;当然,还可以是直接相连,或者通过中间媒介进行间接连接,或者可以是两个元件内部的连通,或者两个元件的相互作用关系。对于本领域的普通技术人员而言,能够根据具体的实施情况理解上述术语在本公开中的具体含义。
在本公开中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
尽管上面已经示出和描述了本公开的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本公开的限制,本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (20)

1.一种自动驾驶***中双目相机模组的标定焦距验证方法,其特征在于,包括:
获取具有随机条纹特征和圆点特征的原始图像,及基于所述原始图像制作的标定靶的标靶图像;其中,所述标靶图像由所述双目相机模组对所述标定靶上的所述原始图像进行图像采集得到;
基于图像处理模型,对所述原始图像和所述标靶图像中的所述随机条纹特征进行特征提取并匹配,确定所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度;
基于所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度,对所述双目相机模组进行旋转,使所述双目相机模组达到预定状态;所述预定状态确定为所述双目相机模组的成像平面与所述标定靶的标靶平面平行;
基于所述预定状态下的所述双目相机模组与所述标定靶间的垂直距离及所述垂直距离与所述双目相机模组的焦距之间的映射关系,得到所述双目相机模组的测量焦距;其中,所述垂直距离与所述双目相机模组的焦距之间的映射关系与所述标定靶上原始图像的两个圆点特征间的第一距离及所述标靶图像的两个圆点特征间的第二距离相关联;所述标靶图像的两个圆点特征为所述原始图像的所述两个圆点特征进行成像时对应的两个特征点;
基于所述双目相机模组的测量焦距,对所述双目相机模组的标定焦距进行参数验证,得到验证结果。
2.根据权利要求1所述的自动驾驶***中双目相机模组的标定焦距验证方法,其特征在于,所述标定靶上原始图像的两个圆点特征间的第一距离与所述标靶图像的两个圆点特征间的第二距离均为矢量;所述标定靶上原始图像的两个圆点特征间的第一距离包含有X轴方向的第一X轴距离及Y轴方向的第一Y轴距离;所述标靶图像的两个圆点特征间的第二距离包含有X轴方向的第二X轴距离及Y轴方向的第二Y轴距离;
所述垂直距离与所述双目相机模组的焦距之间的映射关系,包括:与所述原始图像的两个圆点特征间的第一X轴距离及所述标靶图像的两个圆点特征间的第二X轴距离相关联的第一映射关系、与所述原始图像的两个圆点特征间的第一Y轴距离及所述标靶图像的两个圆点特征间的第二Y轴距离相关联的第二映射关系;
所述基于所述双目相机模组与所述标定靶的垂直距离及所述垂直距离与所述双目相机模组的焦距之间的映射关系,得到所述双目相机模组的测量焦距,包括:
基于所述双目相机模组与所述标定靶的垂直距离及所述第一映射关系,得到所述双目相机模组在X轴方向的第一测量焦距;
基于所述双目相机模组与所述标定靶的垂直距离及所述第二映射关系,得到所述双目相机模组在Y轴方向的第二测量焦距。
3.根据权利要求2所述的自动驾驶***中双目相机模组的标定焦距验证方法,其特征在于,所述基于所述双目相机模组的测量焦距,对所述双目相机模组的标定焦距进行参数验证,得到验证结果,包括:
基于所述第一测量焦距,对所述双目相机模组的标定焦距在X轴方向的焦距分量进行参数验证,得到第一验证结果;
基于所述第二测量焦距,对所述双目相机模组的标定焦距在Y轴方向的焦距分量进行参数验证,得到第二验证结果;
若所述第一验证结果和所述第二验证结果均显示验证通过,则确定所述双目相机模组的标定焦距验证通过。
4.根据权利要求3所述的自动驾驶***中双目相机模组的标定焦距验证方法,其特征在于,所述基于所述第一测量焦距,对所述双目相机模组的标定焦距在X轴方向的焦距分量进行参数验证,得到第一验证结果,包括:
若所述第一测量焦距与所述标定焦距在X轴方向的焦距分量的差值,在第一误差阈值范围内,则确定所述第一验证结果为验证通过;
所述基于所述第二测量焦距,对所述双目相机模组的标定焦距在Y轴方向的焦距分量进行参数验证,得到第二验证结果,包括:
若所述第二测量焦距与所述标定焦距在Y轴方向的焦距分量的差值,在第二误差阈值范围内,则确定所述第二验证结果为验证通过。
5.根据权利要求1所述的自动驾驶***中双目相机模组的标定焦距验证方法,其特征在于,所述原始图像的所述随机条纹特征具有供所述图像处理模型识别的梯度信息;
所述基于图像处理模型,对所述原始图像和所述标靶图像中的所述随机条纹特征进行特征提取并匹配,确定所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度,包括:
通过所述图像处理模型解析所述原始图像和所述标靶图像中随机条纹特征的梯度信息,在所述原始图像和所述标靶图像中提取出多个随机条纹特征;
对提取的所述原始图像和所述标靶图像之间的多个随机条纹特征进行特征匹配,确定所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度。
6.根据权利要求5所述的自动驾驶***中双目相机模组的标定焦距验证方法,其特征在于,所述对提取的所述原始图像和所述标靶图像之间的多个随机条纹特征进行特征匹配,确定所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度,包括:
基于所述原始图像和所述标靶图像之间相匹配的多个随机条纹特征,进行所述标靶图像与所述原始图像之间的坐标变换,得到表征所述标靶图像与所述原始图像之间坐标变换关系的单应性矩阵;
基于所述单应性矩阵进行矩阵求解,得到所述标靶图像与所述原始图像之间的旋转矩阵;
对所述旋转矩阵进行矩阵分解,得到所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度。
7.根据权利要求1所述的自动驾驶***中双目相机模组的标定焦距验证方法,其特征在于,所述垂直距离与所述双目相机模组的焦距之间的映射关系,包括:
;其中,f为所述双目相机模组的焦距,/> 为所述标定靶上原始图像的两个圆点特征间的第一距离,/>为所述标靶图像的两个圆点特征间的第二距离,/>为所述双目相机模组与所述标定靶的垂直距离。
8.根据权利要求1-7任一项所述的自动驾驶***中双目相机模组的标定焦距验证方法,其特征在于,所述圆点特征为内圆特征和外环特征的组合特征;其中,所述内圆特征为黑色内圆特征;所述外环特征为白色外环特征;
多个所述圆点特征在所述原始图像中呈阵列分布;所述随机条纹特征围绕每个所述圆点特征;
其中,所述标定靶上原始图像的两个圆点特征间的第一距离及所述标靶图像的两个圆点特征间的第二距离均确定为两个内圆特征的圆心之间的距离。
9.一种标定靶,其特征在于,所述标定靶用于权利要求1-8任一项所述自动驾驶***中双目相机模组的标定焦距验证方法,其中,所述标定靶包括:
本体;
所述本体上具有原始图像;
所述原始图像具有随机条纹特征和圆点特征;其中,
多个所述圆点特征在所述原始图像中呈阵列分布;所述随机条纹特征围绕每个所述圆点特征;
所述随机条纹特征具有供图像处理模型识别的梯度信息。
10.根据权利要求9所述的标定靶,其特征在于,所述圆点特征为内圆特征和外环特征的组合特征;其中,所述内圆特征为黑色内圆特征;所述外环特征为白色外环特征。
11.一种自动驾驶***中双目相机模组的标定焦距验证装置,其特征在于,包括:
图像获取模块,用于获取具有随机条纹特征和圆点特征的原始图像,及基于所述原始图像制作的标定靶的标靶图像;其中,所述标靶图像由所述双目相机模组对所述标定靶上的所述原始图像进行图像采集得到;
旋转角度确定模块,用于基于图像处理模型,对所述原始图像和所述标靶图像中的所述随机条纹特征进行特征提取并匹配,确定所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度;
距离修正模块,用于基于所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度,对所述双目相机模组进行旋转,使所述双目相机模组达到预定状态;所述预定状态确定为所述双目相机模组的成像平面与所述标定靶的标靶平面平行;
测量焦距确定模块,用于基于所述预定状态下的所述双目相机模组与所述标定靶间的垂直距离及所述垂直距离与所述双目相机模组的焦距之间的映射关系,得到所述双目相机模组的测量焦距;其中,所述垂直距离与所述双目相机模组的焦距之间的映射关系与所述标定靶上原始图像的两个圆点特征间的第一距离及所述标靶图像的两个圆点特征间的第二距离相关联;所述标靶图像的两个圆点特征为所述原始图像的所述两个圆点特征进行成像时对应的两个特征点;
参数验证模块,用于基于所述双目相机模组的测量焦距,对所述双目相机模组的标定焦距进行参数验证,得到验证结果。
12.根据权利要求11所述的自动驾驶***中双目相机模组的标定焦距验证装置,其特征在于,所述标定靶上原始图像的两个圆点特征间的第一距离与所述标靶图像的两个圆点特征间的第二距离均为矢量;所述标定靶上原始图像的两个圆点特征间的第一距离包含有X轴方向的第一X轴距离及Y轴方向的第一Y轴距离;所述标靶图像的两个圆点特征间的第二距离包含有X轴方向的第二X轴距离及Y轴方向的第二Y轴距离;
所述垂直距离与所述双目相机模组的焦距之间的映射关系,包括:与所述原始图像的两个圆点特征间的第一X轴距离及所述标靶图像的两个圆点特征间的第二X轴距离相关联的第一映射关系、与所述原始图像的两个圆点特征间的第一Y轴距离及所述标靶图像的两个圆点特征间的第二Y轴距离相关联的第二映射关系;
所述测量焦距确定模块,用于
基于所述双目相机模组与所述标定靶的垂直距离及所述第一映射关系,得到所述双目相机模组在X轴方向的第一测量焦距;
基于所述双目相机模组与所述标定靶的垂直距离及所述第二映射关系,得到所述双目相机模组在Y轴方向的第二测量焦距。
13.根据权利要求12所述的自动驾驶***中双目相机模组的标定焦距验证装置,其特征在于,所述参数验证模块,用于
基于所述第一测量焦距,对所述双目相机模组的标定焦距在X轴方向的焦距分量进行参数验证,得到第一验证结果;
基于所述第二测量焦距,对所述双目相机模组的标定焦距在Y轴方向的焦距分量进行参数验证,得到第二验证结果;
若所述第一验证结果和所述第二验证结果均显示验证通过,则确定所述双目相机模组的标定焦距验证通过。
14.根据权利要求13所述的自动驾驶***中双目相机模组的标定焦距验证装置,其特征在于,所述参数验证模块,用于
若所述第一测量焦距与所述标定焦距在X轴方向的焦距分量的差值,在第一误差阈值范围内,则确定所述第一验证结果为验证通过;
若所述第二测量焦距与所述标定焦距在Y轴方向的焦距分量的差值,在第二误差阈值范围内,则确定所述第二验证结果为验证通过。
15.根据权利要求11所述的自动驾驶***中双目相机模组的标定焦距验证装置,其特征在于,所述原始图像的所述随机条纹特征具有供所述图像处理模型识别的梯度信息;
所述旋转角度确定模块,用于
通过所述图像处理模型解析所述原始图像和所述标靶图像中随机条纹特征的梯度信息,在所述原始图像和所述标靶图像中提取出多个随机条纹特征;
对提取的所述原始图像和所述标靶图像之间的多个随机条纹特征进行特征匹配,确定所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度。
16.根据权利要求15所述的自动驾驶***中双目相机模组的标定焦距验证装置,其特征在于,所述旋转角度确定模块,用于
基于所述原始图像和所述标靶图像之间相匹配的多个随机条纹特征,进行所述标靶图像与所述原始图像之间的坐标变换,得到表征所述标靶图像与所述原始图像之间坐标变换关系的单应性矩阵;
基于所述单应性矩阵进行矩阵求解,得到所述标靶图像与所述原始图像之间的旋转矩阵;
对所述旋转矩阵进行矩阵分解,得到所述双目相机模组的成像平面相对于所述标定靶的标靶平面的旋转角度。
17.根据权利要求11所述的自动驾驶***中双目相机模组的标定焦距验证装置,其特征在于,所述垂直距离与所述双目相机模组的焦距之间的映射关系,包括:
;其中,f为所述双目相机模组的焦距,/> 为所述标定靶上原始图像的两个圆点特征间的第一距离,/>为所述标靶图像的两个圆点特征间的第二距离,/>为所述双目相机模组与所述标定靶的垂直距离。
18.根据权利要求11-17任一项所述的自动驾驶***中双目相机模组的标定焦距验证装置,其特征在于,所述圆点特征为内圆特征和外环特征的组合特征;其中,所述内圆特征为黑色内圆特征;所述外环特征为白色外环特征;
多个所述圆点特征在所述原始图像中呈阵列分布;所述随机条纹特征围绕每个所述圆点特征;
其中,所述标定靶上原始图像的两个圆点特征间的第一距离及所述标靶图像的两个圆点特征间的第二距离均确定为两个内圆特征的圆心之间的距离。
19.一种计算机可读存储介质,其特征在于,其上存储有自动驾驶***中双目相机模组的标定焦距验证程序,该自动驾驶***中双目相机模组的标定焦距验证程序被处理器执行时,实现权利要求1-8中任一项所述的自动驾驶***中双目相机模组的标定焦距验证方法。
20.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的自动驾驶***中双目相机模组的标定焦距验证程序,所述处理器执行所述自动驾驶***中双目相机模组的标定焦距验证程序时,实现权利要求1-8中任一项所述的自动驾驶***中双目相机模组的标定焦距验证方法。
CN202310814566.7A 2023-07-05 2023-07-05 自动驾驶***中双目相机模组的标定焦距验证方法及装置 Active CN116801100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310814566.7A CN116801100B (zh) 2023-07-05 2023-07-05 自动驾驶***中双目相机模组的标定焦距验证方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310814566.7A CN116801100B (zh) 2023-07-05 2023-07-05 自动驾驶***中双目相机模组的标定焦距验证方法及装置

Publications (2)

Publication Number Publication Date
CN116801100A true CN116801100A (zh) 2023-09-22
CN116801100B CN116801100B (zh) 2023-11-10

Family

ID=88047971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310814566.7A Active CN116801100B (zh) 2023-07-05 2023-07-05 自动驾驶***中双目相机模组的标定焦距验证方法及装置

Country Status (1)

Country Link
CN (1) CN116801100B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL74143A0 (en) * 1984-02-22 1985-04-30 Gen Electric Dual energy rapid switching imaging system
JP2000138857A (ja) * 1998-10-30 2000-05-16 Toko Electric Corp カメラ制御システム
CN106131408A (zh) * 2016-07-11 2016-11-16 深圳市金立通信设备有限公司 一种图像处理方法及终端
CN107481234A (zh) * 2017-08-23 2017-12-15 中国电力科学研究院 一种用于检验无人机巡检***可见光成像性能试验方法
CN108416812A (zh) * 2018-03-20 2018-08-17 中国电子科技集团公司第五十四研究所 一种单摄像机镜像双目视觉***的标定方法
US20200128225A1 (en) * 2018-10-23 2020-04-23 Xi'an Jiaotong University Depth Information Acquisition Method and Device
CN113822920A (zh) * 2021-09-29 2021-12-21 北京的卢深视科技有限公司 结构光相机获取深度信息的方法、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL74143A0 (en) * 1984-02-22 1985-04-30 Gen Electric Dual energy rapid switching imaging system
JP2000138857A (ja) * 1998-10-30 2000-05-16 Toko Electric Corp カメラ制御システム
CN106131408A (zh) * 2016-07-11 2016-11-16 深圳市金立通信设备有限公司 一种图像处理方法及终端
CN107481234A (zh) * 2017-08-23 2017-12-15 中国电力科学研究院 一种用于检验无人机巡检***可见光成像性能试验方法
CN108416812A (zh) * 2018-03-20 2018-08-17 中国电子科技集团公司第五十四研究所 一种单摄像机镜像双目视觉***的标定方法
US20200128225A1 (en) * 2018-10-23 2020-04-23 Xi'an Jiaotong University Depth Information Acquisition Method and Device
CN113822920A (zh) * 2021-09-29 2021-12-21 北京的卢深视科技有限公司 结构光相机获取深度信息的方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN116801100B (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
CN110689579B (zh) 基于合作目标的快速单目视觉位姿测量方法及测量***
US10339390B2 (en) Methods and apparatus for an imaging system
CN113137920B (zh) 一种水下测量的设备与水下测量方法
CN111028205B (zh) 一种基于双目测距的眼睛瞳孔定位方法及装置
CN113256729B (zh) 激光雷达与相机的外参标定方法、装置、设备及存储介质
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
CN110763204B (zh) 一种平面编码靶标及其位姿测量方法
CN107133986B (zh) 一种基于二维标定物的相机标定方法
US20220284630A1 (en) Calibration board and calibration method and system
CN111123242B (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
CN113034612B (zh) 一种标定装置、方法及深度相机
US11538151B2 (en) Method for measuring objects in digestive tract based on imaging system
EP3279864B1 (en) A method for obtaining parameters defining a pixel beam associated with a pixel of an image sensor comprised in an optical device
JP7044016B2 (ja) ラインセンサカメラのキャリブレーション装置及び方法
CN116433737A (zh) 一种激光雷达点云与图像配准的方法、装置及智能终端
CN115661214A (zh) 一种配准精度验证方法及装置
CN115187612A (zh) 一种基于机器视觉的平面面积测量方法、装置及***
CN116801100B (zh) 自动驾驶***中双目相机模组的标定焦距验证方法及装置
CN105678088A (zh) 一种靶标测头的平差优化算法
Pless et al. Extrinsic calibration of a camera and laser range finder
CN109902695B (zh) 一种面向像对直线特征匹配的线特征矫正与提纯方法
CN114689014B (zh) 单目相机调焦测距装置、测距方法、存储介质及计算机
CN112927299B (zh) 标定方法、装置及电子设备
CN112750165B (zh) 参数标定方法、智能驾驶方法及其装置、设备和存储介质
CN113689397A (zh) 工件圆孔特征检测方法和工件圆孔特征检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant