CN109754426B - 一种用于摄像标定参数验证的方法、***和装置 - Google Patents

一种用于摄像标定参数验证的方法、***和装置 Download PDF

Info

Publication number
CN109754426B
CN109754426B CN201711060090.3A CN201711060090A CN109754426B CN 109754426 B CN109754426 B CN 109754426B CN 201711060090 A CN201711060090 A CN 201711060090A CN 109754426 B CN109754426 B CN 109754426B
Authority
CN
China
Prior art keywords
camera device
mark
image
calibration
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711060090.3A
Other languages
English (en)
Other versions
CN109754426A (zh
Inventor
郁理
刘梦晗
苗旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rainbow Software Co ltd
Original Assignee
Rainbow Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rainbow Software Co ltd filed Critical Rainbow Software Co ltd
Priority to CN201711060090.3A priority Critical patent/CN109754426B/zh
Priority to US16/176,652 priority patent/US10872439B2/en
Publication of CN109754426A publication Critical patent/CN109754426A/zh
Application granted granted Critical
Publication of CN109754426B publication Critical patent/CN109754426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明提供了一种用于验证的方法和装置，应用于图像处理领域，该方法包括：获取标定物的普通二维图像、红外图像以及深度图，所述标定物带有第一标记；计算所述第一标记在所述红外图像上成像的坐标，根据所述深度图获取所述第一标记的深度值计算与所述第一标记在所述红外图像上的成像对应的三维点云在所述普通二维图像上的投影的位置，计算所述第一标记在所述普通二维图像上的成像与所述投影的距离。本发明提供的一种用于验证的方法和装置，能够对深度摄像装置进行标定时获得的标定参数进行验证，提高了标定的准确性。

Description

一种用于摄像标定参数验证的方法、***和装置
技术领域
本发明涉及一种用于图像处理的方法和装置，具体地，涉及一种用于摄像标定参数验证的方法、***和装置。
背景技术
目前，随着机器人，人工智能等行业的快速发展，已经不满足与二维图像信息，对深度视觉的需求越来越突出。深度摄像头能够实时获取周围环境物体的三维尺寸和深度信息，更真切的还原人眼看到的世界，从而给使用者带来更自然真实的体验感。目前深度摄像头常用于即时定位与地图构建SLAM(Simultaneous Localization and Mapping)，沉浸式交互，无人驾驶，三维重建，手势识别，三维人脸识别等领域。
现有技术中缺少对深度摄像装置进行标定后得到的标定参数进行验证的方法和装置。
发明内容
本发明提供的一种用于验证的方法和装置，能够解决现有技术中缺少对深度摄像装置进行标定后得到的标定参数进行验证的方法和装置的问题。
本发明的第一方面提供一种用于验证的方法，所述方法包括：获取标定物的普通二维图像、红外图像以及深度图，所述标定物带有第一标记；根据所述红外图像计算所述第一标记在所述红外图像上成像的坐标，根据所述深度图获取所述第一标记的深度值，根据标定得到的参数、所述第一标记在所述红外图像上成像的坐标以及所述第一标记的深度值计算与所述第一标记在所述红外图像上的成像对应的三维点云在所述普通二维图像上的投影的位置，计算所述第一标记在所述普通二维图像上的成像与所述投影的距离，或，根据所述普通二维图像计算所述第一标记在普通二维图像上成像的坐标，根据所述深度图获取所述第一标记的深度值，根据标定得到的参数、所述第一标记在普通二维图像上成像的坐标以及所述第一标记的深度值计算与所述第一标记在所述普通二维图像上的成像对应的三维点云在所述红外图像上的投影的位置，计算所述第一标记在所述红外图像上的成像与所述投影的距离。
根据本发明的第一方面，在本发明的第一方面的第一可执行方式中，所述方面还包括：根据所述距离与第一阈值确定出验证结果。
根据本发明的第一方面或本发明的第一方面的第一可执行方式，在本发明的第一方面的第二可执行方式中，所述标定物包括至少三张大小相同的标定板，所述至少三张标定板带有的第一标记相同；所述第一标记包括分布于所述标定板的第一圆点或第一椭圆点，所述第一圆点或第一椭圆点与所述标定板的背景的灰度差大于第二阈值。
根据本发明的第一方面的第二可执行方式，在本发明的第一方面的第三可执行方式中，所述第一圆点或第一椭圆点在所述标定板上按行列均匀分布。
根据本发明的第一方面的第二可执行方式或第三可执行方式，在本发明的第一方面的第四可执行方式中，所述第一标记在所述红外图像上成像的坐标，包括：在所述红外图像上所述第一圆点或第一椭圆点的圆心的坐标；所述第一标记在所述普通二维图像上的成像与所述投影的距离，包括：在所述红外图像上所述第一圆点或第一椭圆点的圆心在所述普通二维图像上的投影的位置，与所述第一圆点或第一椭圆点的圆心在所述普通二维图像上的成像的位置的距离。
根据本发明的第一方面的第一可执行方式到第四可执行方式中任一可执行方式，在本发明的第一方面的第五可执行方式中，同一第一标记在所述普通二维图像上的坐标对应于所述第一标记在所述红外图像上的坐标。
根据本发明的第一方面的第二可执行方式到第五可执行方式中任一可执行方式，在本发明的第一方面的第六可执行方式中，所述标定物包括至少三张大小相同的标定板包括：所述标定物包括四张大小相同的标定板，所述四张标定板分两行两列排列。
根据本发明的第一方面或本发明的第一方面的第一可执行方式到第六可执行方式中任一可执行方式，在本发明的第一方面的第七可执行方式中，所述标定物带有指示标定物放置方向的标记。
根据本发明的第一方面的第七可执行方式，在本发明的第一方面的第八可执行方式中，所述指示标定物放置方向的标记包括下述方式中的一个：在一行中排列第一数目的第二圆点，在另一行中排列第二数目的第二圆点；在一列中排列第一数目的第二圆点，在另一列中排列第二数目的第二圆点；由所述第二圆点排列出指示标定物放置方向的图案。
根据本发明的第一方面或本发明的第一方面的第一可执行方式到第八可执行方式任一，在本发明的第一方面的第九可执行方式中，拍摄所述普通二维图像的是第一摄像装置，拍摄所述红外图像的是第二摄像装置；所述第一摄像装置与所述第二摄像装置的视野不同。
根据本发明的第一方面的第九可执行方式，在本发明的第一方面的第十可执行方式中，所述第一摄像装置与所述第二摄像装置中视野较大的摄像装置所拍摄的图像包括全部标定物的成像；所述标定物的成像占据所述普通二维图像的中部，并且占据所述普通二维图像的第一比例以上；所述标定物的成像占据所述红外图像的中部，并且占据所述红外图像的第一比例以上。
根据本发明的第一方面的第十可执行方式，在本发明的第一方面的第十一可执行方式中，所述第一比例为80％。
根据本发明的第一方面或本发明的第一方面的第一可执行方式到第十一可执行方式中任一，在本发明的第一方面的第十二可执行方式中，所述获取标定物的普通二维图像以及红外图像，包括：同时拍摄得到所述标定物的一张普通二维图像以及一张红外图像。
根据本发明的第一方面或本发明的第一方面的第一可执行方式到第十二可执行方式中任一，在本发明的第一方面的第十三可执行方式中，所述根据标定得到的参数、所述第一标记在所述红外图像上成像的坐标以及所述第一标记的深度值计算与所述第一标记在所述红外图像上的成像对应的三维点云在所述普通二维图像上的投影的位置，包括：根据第一标记在所述红外图像上成像的坐标、所述第一标记的深度值、以及标定得到的第二摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记映射到第二摄像装置的三维坐标系下的点云的位置，拍摄所述普通二维图像的是第一摄像装置，拍摄所述红外图像的是第二摄像装置；根据标定得到的所述第一摄像装置与第二摄像装置之间的相对旋转矩阵与相对平移矩阵，计算将所述第一标记在第二摄像装置的三维坐标系下的点云的位置映射到所述第一摄像装置的三维坐标系下的点云的位置；根据标定得到的所述第一摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记在所述第一摄像装置的三维坐标系下的点云映射到所述普通二维图像的二维坐标系下的投影的位置。
根据本发明的第一方面或本发明的第一方面的第一可执行方式到第十三可执行方式中任一，在本发明的第一方面的第十四可执行方式中，所述根据标定得到的参数、所述第一标记在普通二维图像上成像的坐标以及所述第一标记的深度值计算与所述第一标记在所述普通二维图像上的成像对应的三维点云在所述红外图像上的投影的位置，包括：根据第一标记在所述普通二维图像上成像的坐标、所述第一标记的深度值以及标定得到的第一摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记映射到第一摄像装置的三维坐标系下的点云的位置，拍摄所述普通二维图像的是第一摄像装置，拍摄所述红外图像的是第二摄像装置；根据标定得到的所述第一摄像装置与第二摄像装置之间的相对旋转矩阵与相对平移矩阵计算将所述第一标记在第一摄像装置的三维坐标系下的点云的位置映射到所述第二摄像装置的三维坐标系下的点云的位置；根据标定得到的第二摄像装置的焦距、主点坐标以及倾斜系数计算将所述第一标记在所述第一摄像装置的三维坐标系下的点云映射到所述普通二维图像的二维坐标系下的投影的位置。
根据本发明的第一方面，或本发明的第一方面的第一可执行方式到第十四可执行方式中任一可执行方式，在本发明的第一方面的第十五可执行方式中，所述普通二维图像包括黑白图像或彩色图像。
本发明的第二方面提供一种用于验证的***，该***包括：标定物、第一摄像装置、所述第二摄像装置，以及第一处理器；所述第一摄像装置，用于拍摄所述标定物的普通二维图像，所述标定物带有第一标记，并且，所述第二摄像装置，用于拍摄所述标定物的红外图像；所述第一处理器，用于根据所述第二摄像装置计算所述标定物的深度图；所述第一处理器，还用于：根据所述红外图像计算所述第一标记在所述红外图像上成像的坐标，根据所述深度图获取所述第一标记的深度值，根据标定得到的参数、所述第一标记在所述红外图像上成像的坐标以及所述第一标记的深度值计算与所述第一标记在所述红外图像上的成像对应的三维点云在所述普通二维图像上的投影的位置，计算所述第一标记在所述普通二维图像上的成像与所述投影的距离，或，根据所述普通二维图像计算所述第一标记在普通二维图像上成像的坐标，根据所述深度图获取所述第一标记的深度值，根据标定得到的参数、所述第一标记在普通二维图像上成像的坐标以及所述第一标记的深度值计算与所述第一标记在所述普通二维图像上的成像对应的三维点云在所述红外图像上的投影的位置，计算所述第一标记在所述红外图像上的成像与所述投影的距离。
根据本发明第二方面，在本发明第二方面的第一可执行方式中，所述第一处理器，还用于根据所述距离与第一阈值确定出验证结果。
根据本发明第二方面或第二方面的第一可执行方式，在本发明第二方面的第二可执行方式中，所述标定物包括至少三张大小相同的标定板，所述至少三张标定板带有的第一标记相同；所述第一标记包括分布于所述标定板的第一圆点或第一椭圆点，所述第一圆点或第一椭圆点与所述标定板的背景的灰度差大于第二阈值。
根据第二方面的第二可执行方式，在本发明第二方面的第三可执行方式中，所述第一圆点或第一椭圆点在所述标定板上按行列均匀分布。
根据第二方面的第二可执行方式或第三可执行方式，在本发明第二方面的第四可执行方式中，所述第一标记在所述红外图像上成像的坐标，包括：在所述红外图像上所述第一圆点或第一椭圆点的圆心的坐标；所述第一标记在所述普通二维图像上的成像与所述投影的距离，包括：在所述红外图像上所述第一圆点或第一椭圆点的圆心在所述普通二维图像上的投影的位置，与所述第一圆点或第一椭圆点的圆心在所述普通二维图像上的成像的位置的距离。
根据本发明第二方面或第二方面的第一可执行方式到第四可执行方式任一，在本发明第二方面的第五可执行方式中，同一第一标记在所述普通二维图像上的坐标对应于所述第一标记在所述红外图像上的坐标。
根据第二方面的第二可执行方式到第五可执行方式任一，在本发明第二方面的第六可执行方式中，所述标定物包括至少三张大小相同的标定板包括：所述标定物包括四张大小相同的标定板，所述四张标定板分两行两列排列。
根据本发明第二方面或第二方面的第一可执行方式到第六可执行方式任一，在本发明第二方面的第七可执行方式中，所述标定物带有指示标定物放置方向的标记。
根据第二方面的第七可执行方式，在本发明第二方面的第八可执行方式中，所述指示标定物放置方向的标记包括下述方式中的一个：在一行中排列第一数目的第二圆点，在另一行中排列第二数目的第二圆点；在一列中排列第一数目的第二圆点，在另一列中排列第二数目的第二圆点；由所述第二圆点排列出指示标定物放置方向的图案。
根据本发明第二方面或第二方面的第一可执行方式到第八可执行方式任一，在本发明第二方面的第九可执行方式中，拍摄所述普通二维图像的是第一摄像装置，拍摄所述红外图像的是第二摄像装置；所述第一摄像装置与所述第二摄像装置的视野不同。
根据第二方面的第九可执行方式，在本发明第二方面的第十可执行方式中，所述第一摄像装置与所述第二摄像装置中视野较大的摄像装置所拍摄的图像包括全部标定物的成像；所述标定物的成像占据所述普通二维图像的中部，并且占据所述普通二维图像的第一比例以上；所述标定物的成像占据所述红外图像的中部，并且占据所述红外图像的第一比例以上。
根据第二方面的第十可执行方式，在本发明第二方面的第十一可执行方式中，所述第一比例为80％。
根据第二方面或第二方面的第一可执行方式到第十一可执行方式任一，在本发明第二方面的第十二可执行方式中，所述第一摄像装置与所述第二摄像装置，具体用于同时拍摄得到所述标定物的一张普通二维图像以及一张红外图像。
根据第二方面或第二方面的第一可执行方式到第十二可执行方式任一，在本发明第二方面的第十三可执行方式中，所述第一处理器，具体用于：根据第一标记在所述红外图像上成像的坐标、所述第一标记的深度值、以及标定得到的第二摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记映射到第二摄像装置的三维坐标系下的点云的位置，拍摄所述普通二维图像的是第一摄像装置，拍摄所述红外图像的是第二摄像装置；根据标定得到的所述第一摄像装置与第二摄像装置之间的相对旋转矩阵与相对平移矩阵，计算将所述第一标记在第二摄像装置的三维坐标系下的点云的位置映射到所述第一摄像装置的三维坐标系下的点云的位置；根据标定得到的所述第一摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记在所述第一摄像装置的三维坐标系下的点云映射到所述普通二维图像的二维坐标系下的投影的位置。
根据第二方面或第二方面的第一可执行方式到第十三可执行方式任一，在本发明第二方面的第十四可执行方式中，所述第一处理器，具体用于：根据第一标记在所述普通二维图像上成像的坐标、所述第一标记的深度值以及标定得到的第一摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记映射到第一摄像装置的三维坐标系下的点云的位置，拍摄所述普通二维图像的是第一摄像装置，拍摄所述红外图像的是第二摄像装置；根据标定得到的所述第一摄像装置与第二摄像装置之间的相对旋转矩阵与相对平移矩阵计算将所述第一标记在第一摄像装置的三维坐标系下的点云的位置映射到所述第二摄像装置的三维坐标系下的点云的位置；根据标定得到的第二摄像装置的焦距、主点坐标以及倾斜系数计算将所述第一标记在所述第一摄像装置的三维坐标系下的点云映射到所述普通二维图像的二维坐标系下的投影的位置。
根据第二方面或第二方面的第一可执行方式到第十四可执行方式任一，在本发明第二方面的第十五可执行方式中，所述普通二维图像包括黑白图像或彩色图像。
本发明的第三方面提供一种用于验证的装置，该装置包括：接收模块，用于获取标定物的普通二维图像、红外图像以及深度图，所述标定物带有第一标记；第二处理器，用于：根据所述红外图像计算所述第一标记在所述红外图像上成像的坐标，根据所述深度图获取所述第一标记的深度值，根据标定得到的参数、所述第一标记在所述红外图像上成像的坐标以及所述第一标记的深度值计算与所述第一标记在所述红外图像上的成像对应的三维点云在所述普通二维图像上的投影的位置，计算所述第一标记在所述普通二维图像上的成像与所述投影的距离，或，根据所述普通二维图像计算所述第一标记在普通二维图像上成像的坐标，根据所述深度图获取所述第一标记的深度值，根据标定得到的参数、所述第一标记在普通二维图像上成像的坐标以及所述第一标记的深度值计算与所述第一标记在所述普通二维图像上的成像对应的三维点云在所述红外图像上的投影的位置，计算所述第一标记在所述红外图像上的成像与所述投影的距离。
根据本发明第三方面，在本发明第三方面的第一可执行方式中，所述第二处理器，还用于根据所述距离与第一阈值确定出验证结果。
根据本发明第三方面或第三方面的第一可执行方式，在本发明第三方面的第二可执行方式中，所述标定物包括至少三张大小相同的标定板，所述至少三张标定板带有的第一标记相同；所述第一标记包括分布于所述标定板的第一圆点或第一椭圆点，所述第一圆点或第一椭圆点与所述标定板的背景的灰度差大于第二阈值。
根据第三方面的第二可执行方式，在本发明第三方面的第三可执行方式中，所述第一圆点或第一椭圆点在所述标定板上按行列均匀分布。
根据第三方面的第二可执行方式或第三可执行方式，在本发明第三方面的第四可执行方式中，所述第一标记在所述红外图像上成像的坐标，包括：在所述红外图像上所述第一圆点或第一椭圆点的圆心的坐标；所述第一标记在所述普通二维图像上的成像与所述投影的距离，包括：在所述红外图像上所述第一圆点或第一椭圆点的圆心在所述普通二维图像上的投影的位置，与所述第一圆点或第一椭圆点的圆心在所述普通二维图像上的成像的位置的距离。
根据本发明第三方面或第三方面的第一可执行方式到第四可执行方式中任一，在本发明第三方面的第五可执行方式中，同一第一标记在所述普通二维图像上的坐标对应于所述第一标记在所述红外图像上的坐标。
根据第三方面的第二可执行方式到第五可执行方式任一，在本发明第二方面的第六可执行方式中，所述标定物包括至少三张大小相同的标定板包括：所述标定物包括四张大小相同的标定板，所述四张标定板分两行两列排列。
根据本发明第三方面或第三方面的第一可执行方式到第六可执行方式任一，在本发明第三方面的第七可执行方式中，所述标定物带有指示标定物放置方向的标记。
根据第三方面的第七可执行方式，在本发明第三方面的第八可执行方式中，所述指示标定物放置方向的标记包括下述方式中的一个：在一行中排列第一数目的第二圆点，在另一行中排列第二数目的第二圆点；在一列中排列第一数目的第二圆点，在另一列中排列第二数目的第二圆点；由所述第二圆点排列出指示标定物放置方向的图案。
根据本发明第二方面或第二方面的第一可执行方式到第八可执行方式任一，在本发明第三方面的第九可执行方式中，拍摄所述普通二维图像的是第一摄像装置，拍摄所述红外图像的是第二摄像装置；所述第一摄像装置与所述第二摄像装置的视野不同。
根据第三方面的第九可执行方式，在本发明第三方面的第十可执行方式中，所述第一摄像装置与所述第二摄像装置中视野较大的摄像装置所拍摄的图像包括全部标定物的成像；所述标定物的成像占据所述普通二维图像的中部，并且占据所述普通二维图像的第一比例以上；所述标定物的成像占据所述红外图像的中部，并且占据所述红外图像的第一比例以上。
根据第三方面的第十可执行方式，在本发明第三方面的第十一可执行方式中，所述第一比例为80％。
根据第三方面或第三方面的第一可执行方式到第十一可执行方式，在本发明第三方面的第十二可执行方式中，所述第二处理器，具体用于获取第一摄像装置和第二摄像装置同时拍摄得到所述标定物的一张普通二维图像以及一张红外图像。
根据第三方面或第三方面的第一可执行方式到第十二可执行方式任一，在本发明第三方面的第十三可执行方式中，所述第二处理器，具体用于：根据第一标记在所述红外图像上成像的坐标、所述第一标记的深度值、以及标定得到的第二摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记映射到第二摄像装置的三维坐标系下的点云的位置，拍摄所述普通二维图像的是第一摄像装置，拍摄所述红外图像的是第二摄像装置；根据标定得到的所述第一摄像装置与第二摄像装置之间的相对旋转矩阵与相对平移矩阵，计算将所述第一标记在第二摄像装置的三维坐标系下的点云的位置映射到所述第一摄像装置的三维坐标系下的点云的位置；根据标定得到的所述第一摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记在所述第一摄像装置的三维坐标系下的点云映射到所述普通二维图像的二维坐标系下的投影的位置。
根据第三方面或第三方面的第一可执行方式到第十三可执行方式任一，在本发明第三方面的第十四可执行方式中，所述第二处理器，具体用于：根据第一标记在所述普通二维图像上成像的坐标、所述第一标记的深度值以及标定得到的第一摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记映射到第一摄像装置的三维坐标系下的点云的位置，拍摄所述普通二维图像的是第一摄像装置，拍摄所述红外图像的是第二摄像装置；根据标定得到的所述第一摄像装置与第二摄像装置之间的相对旋转矩阵与相对平移矩阵计算将所述第一标记在第一摄像装置的三维坐标系下的点云的位置映射到所述第二摄像装置的三维坐标系下的点云的位置；根据标定得到的第二摄像装置的焦距、主点坐标以及倾斜系数计算将所述第一标记在所述第一摄像装置的三维坐标系下的点云映射到所述普通二维图像的二维坐标系下的投影的位置。
根据第三方面或第三方面的第一可执行方式到第十四可执行方式，在本发明第三方面的第十五可执行方式中，所述普通二维图像包括黑白图像或彩色图像。
本发明的第五方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被第三处理器执行时实现如本发明的第一方面、本发明的第一方面的第一可执行方式到本发明的第一方面的第十五可执行方式中任一可执行方式中任一可执行方式所述方法的步骤。
本发明的第六方面提供一种用于验证的装置，包括存储器、第四处理器以及存储在所述存储器中并可在所述第四处理器上运行的计算机程序，所述计算机程序被第四处理器执行时实现如本发明的第一方面、本发明的第一方面的第一可执行方式到本发明的第一方面的第十五可执行方式中任一可执行方式所述方法的步骤。
本发明提供的一种用于验证的方法和装置，能够对深度摄像装置进行标定时获得的标定参数进行验证，提高了标定的准确性。
附图说明
图1为本发明实施例一提供的一种用于验证的方法的流程图；
图2为本发明实施例一提供的一种标定板的示意图；
图3为本发明实施例一提供的一种标定板的成像的示意图；
图4为本发明实施例一提供的再一种标定板的成像的示意图；
图5为本发明实施例二提供的一种用于验证的***的装置结构示意图；
图6为本发明实施例三提供的一种用于验证的装置结构示意图；
图7为本发明实施例四提供的一种用于验证的装置结构示意图；
图8为本发明实施例五提供的一种用于验证的装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细地描述。
本发明的说明书和权利要求书中上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于限定特定顺序。
其中，本发明实施例中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或“例如”的任何实施例或设计方案不应该被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
应当说明的是，为了图示的简洁和清楚起见，附图中所示的元件没有必要按照比例进行绘制。例如，为了清楚，可以相对于其他元件，增大一些元件的尺寸。另外，在认为合适的地方，可以在附图间重复附图标记，以指示相对应或类似的元件。
本发明介绍的用于验证的方法和装置可以用于对摄像装置组的标定结果进行验证，如可以适用于拍摄普通二维图像的摄像装置与拍摄红外图像的摄像装置组成的摄像装置组，如可以适用于测量深度的摄像装置组，该测量深度的摄像装置组可以为结构光类型，TOF(Time of flight，飞行时间)类型或双目立体成像类型。上述的测量深度的摄像装置组可以安装于相机，手机或平板电脑。结构光类型测量深度的摄像装置组可以包括一个红外发射器，一个红外摄像装置和一个RGB摄像装置；TOF类型的测量深度的摄像装置组可以包括一个红外发射器，一个红外摄像头和一个RGB摄像头组成；双目立体成像类型的测量深度的摄像装置组可以包括一个红外发射器，两个红外摄像装置和一个RGB摄像装置。
下面结合附图1对本发明实施例一提供的一种用于验证的方法进行详细阐述。如图1所示，该方法包括：
步骤101，获取标定物的普通二维图像、红外图像以及深度图，所述标定物带有第一标记。
拍摄普通二维图像的可以为第一摄像装置，拍摄红外图像的可以为第二摄像装置。所述普通二维图像包括黑白图像或彩色图像，该彩色图像可以为RGB(red green blue，红绿蓝)图像。
可选的，上述的获取的动作可以为从存储装置中获取，该存储装置可以为RAM(Random Access Memory随机存取存储器)或闪存Flash Memory等。
可选的，所述获取标定物的普通二维图像以及红外图像也可以包括：同时拍摄得到所述标定物的一张普通二维图像以及一张红外图像。需要说明的是，上述的“同时”并不是严格的同一时刻，而是指近似同时，是指相对于现有技术中需要让第一摄像装置与第二摄像装置先后分别拍摄标定物，本发明可以让第一摄像装置与第二摄像装置不用先后分别拍摄标定物，提高了标定的效率。
可选的，所述标定物包括至少三张大小相同的标定板，所述至少三张标定板带有的第一标记相同，所述第一标记包括分布于所述标定板的第一圆点或第一椭圆点，所述第一圆点或第一椭圆点与所述标定板的背景的灰度差大于第二阈值。可选的，当标定物包括三张大小相同的标定板时，该三张大小相同的标定板可以呈品字形排列。可选的，上述的第二阈值为80，如，上述的第一圆点或第一椭圆点可以为黑色，灰度值在100以下，上述的标定板的背景可以为白色，灰度值在180以上。可选的，标定图的长边与上述的第一摄像装置与第二摄像装置平行。
可选的，所述第一圆点或第一椭圆点在所述标定板上按行列均匀分布，如图2所示。可选的，该标定板上的标定图可以有边框，边框可以为黑色。可选的，标定图长290mm，宽为210mm。图2中的第一标记为小圆点，该小圆点的直径为10mm，小圆点间的距离为10mm。标定图中的黑色边框宽为10mm。标定图中长边有13个圆点，短边有9个圆点。
优选的，所述标定物包括四张大小相同的标定板，所述四张标定板分两行两列排列。本发明中的关于位置的描述，如“平行”、“中间”等，为近似描述，并不是严格地要求，如近似平行即可。
可选的，所述标定物带有指示标定物放置方向的标记。所述指示标定物放置方向的标记包括下述方式中的一个：在一行中排列第一数目的第二圆点，在另一行中排列第二数目的第二圆点；在一列中排列第一数目的第二圆点，在另一列种排列第二数目的第二圆点；由所述第二圆点排列出指示标定物放置方向的图案。上述的一行仅为某一行的指代，不代表排列的次序，比如，如图2或3所示，上述的一行可以为实际的由上向下排列的第四行，上述的另一行可以为实际的由上向下排列的第六行。如图2或3所示，上述的第二圆点为图中的大圆点。大圆点的直径可以为15mm。可选的，所述第二圆点排列出指示标定物放置方向的图案可以包括：箭头样式的图案或其他等同的图案。通过指示标定物放置方向的标记，可以让多个标定板按照同样的方向放置。
可选的，所述第一摄像装置与所述第二摄像装置的视野不同。本发明实施例提供的方法可以对包括至少两个摄像装置的摄像装置组进行标定，上述至少两个摄像装置的视野可以不同。
可选的，所述第一摄像装置与所述第二摄像装置中视野较大的摄像装置所拍摄的图像包括全部标定物的成像。所述标定物的成像占据所述普通二维图像的中部，并且占据所述普通二维图像的第一比例以上。所述标定物的成像占据所述红外图像的中部，并且占据所述红外图像的第一比例以上。优选的，所述第一比例可以为80％，也可以根据标定精度适当降低该第一比例。
可选的，如图4所示，所述标定物的成像占第一摄像装置与所述第二摄像装置中视野较小的摄像装置所拍摄的图像的第一比例以上。优选的，所述第一比例可以为80％，也可以根据标定精度适当降低该第一比例。
可选的，同一第一标记在所述普通二维图像上的坐标对应于所述第一标记在所述红外图像上的坐标。具体地，同一第一标记在所述普通二维图像上的坐标需要与所述第一标记在所述红外图像上的坐标建立对应关系。建立对应关系的方式可以包括通过对获得的上述两种二维图像中的第一标记的坐标顺序进行排列存储来建立。
步骤102，根据所述红外图像计算所述第一标记在所述红外图像上成像的坐标，根据所述深度图获取所述第一标记的深度值，根据标定得到的参数、所述第一标记在所述红外图像上成像的坐标以及所述第一标记的深度值计算与所述第一标记在所述红外图像上的成像对应的三维点云在所述普通二维图像上的投影的位置，计算所述第一标记在所述普通二维图像上的成像与所述投影的距离，或，
根据所述普通二维图像计算所述第一标记在普通二维图像上成像的坐标，根据所述深度图获取所述第一标记的深度值，根据标定得到的参数、所述第一标记在普通二维图像上成像的坐标以及所述第一标记的深度值计算与所述第一标记在所述普通二维图像上的成像对应的三维点云在所述红外图像上的投影的位置，计算所述第一标记在所述红外图像上的成像与所述投影的距离。
所述方法还包括：根据所述距离与第一阈值确定出验证结果。所述第一阈值可以为预先设定。可选的，可以计算所有投影点与第一标记在所述红外图像上的成像的平均距离，如果小于上述设定的阈值，则通过验证，否则需要重新标定。
可选的，上述的第一标记在所述普通二维图像或红外图像上的成像的位置可以为圆形或椭圆形的圆心的坐标。所述第一标记在所述红外图像上成像的坐标，包括：在所述红外图像上所述第一圆点或第一椭圆点的圆心的坐标；所述第一标记在所述普通二维图像上的成像与所述投影的距离，包括：在所述红外图像上所述第一圆点或第一椭圆点的圆心在所述普通二维图像上的投影的位置，与所述第一圆点或第一椭圆点的圆心在所述普通二维图像上的成像的位置的距离。
所述根据标定得到的参数、所述第一标记在所述红外图像上成像的坐标以及所述第一标记的深度值计算与所述第一标记在所述红外图像上的成像对应的三维点云在所述普通二维图像上的投影的位置，包括：根据第一标记在所述红外图像上成像的坐标、所述第一标记的深度值、以及标定得到的第二摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记映射到第二摄像装置的三维坐标系下的点云的位置，拍摄所述普通二维图像的是第一摄像装置，拍摄所述红外图像的是第二摄像装置；根据标定得到的所述第一摄像装置与第二摄像装置之间的相对旋转矩阵与相对平移矩阵，计算将所述第一标记在第二摄像装置的三维坐标系下的点云的位置映射到所述第一摄像装置的三维坐标系下的点云的位置；根据标定得到的所述第一摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记在所述第一摄像装置的三维坐标系下的点云映射到所述普通二维图像的二维坐标系下的投影的位置。
具体地，检测所述红外图像中检测到的第一标记，即圆点或椭圆点的中心，的坐标，根据深度图获得该中心的坐标的深度值。将所述中心点映射到红外摄像装置的三维坐标系下形成点云。优选的，形成点云首先可以根据红外摄像装置的畸变系数畸变校正红外图中点的坐标。在归一化后的图像坐标系中，畸变模型如下：
Figure GDA0002742641940000121
Figure GDA0002742641940000122
其中，(xd,yd)是在归一化图像坐标系中考虑畸变情况的点坐标，(x,y)是无畸变情况的点的理想坐标。k1，k2，k3，p1和p2是畸变系数。对于红外图坐标系下的一个点
Figure GDA0002742641940000123
根据红外摄像装置的内部参数可得到该点的归一化坐标
Figure GDA0002742641940000124
Figure GDA0002742641940000125
Figure GDA0002742641940000131
其中，
Figure GDA0002742641940000132
和
Figure GDA0002742641940000133
是红外图像的摄像装置在x方向和y方向上的焦距，
Figure GDA0002742641940000134
和
Figure GDA0002742641940000135
是红外图像在x方向和y方向上的主点坐标。α为倾斜系数。根据上述的畸变模型可获得该点畸变校正后的归一化坐标(xD,yD)。进一步的，可以获得红外图像坐标系下畸变校正后的点坐标(uD,vD)：
Figure GDA0002742641940000136
Figure GDA0002742641940000137
红外图像坐标系中的无畸变点(uD,vD)与对应的红外摄像装置的三维坐标系中的点(XD,YD,ZD)的映射关系如下：
Figure GDA0002742641940000138
Figure GDA0002742641940000139
其中，ZD是该点的深度值，可从深度图获得。
进一步地，将红外摄像装置的三维坐标系中的点云转换到普通二维图像的摄像装置的三维坐标系。红外摄像装置的三维坐标系和普通二维图像摄像装置的三维坐标系的对应点变换关系如下：
MRGB＝[Rrelative|Trelative]MD
其中，MRGB为普通二维图像摄像装置的三维坐标系中点的坐标，Rrelative为两个摄像装置间的相对旋转矩阵，Trelative为两个摄像装置间的相对平移矩阵，MD为红外摄像装置的三维坐标系中点的坐标。
进一步地，将普通二维图像的摄像装置的三维坐标系中的点云投影到普通二维图像坐标系下，并加上普通二维摄像装置的畸变，其中上述点云中的点的坐标为(XC,YC,ZC)。
根据下式计算(xC,yC)：
xC＝XC/ZC
yC＝YC/ZC
其中，xC和yC是归一化普通二维图像坐标系中的无畸变坐标，根据上述的畸变模型可获得归一化普通二维图像坐标系中的含畸变坐标
Figure GDA00027426419400001310
因此，在彩色图坐标系中点
Figure GDA00027426419400001311
的坐标为：
Figure GDA00027426419400001312
Figure GDA0002742641940000141
其中，
Figure GDA0002742641940000142
和
Figure GDA0002742641940000143
是普通二维图像的摄像装置在x方向和y方向上的焦距，
Figure GDA0002742641940000144
和
Figure GDA0002742641940000145
是普通二维图像在x方向和y方向上的主点坐标，α为倾斜系数。
之后就可以计算所有投影点与第一标记在普通二维图像上对应的成像(圆形或椭圆形的中心)之间的距离，以确定是否需要重新标定。
另一方面，也可以通过将第一标记在普通二维图像上的成像映射到三维坐标系形成点云，再投影到红外图像上，计算投影点与第一标记在红外图像上的对应点距离，再与第一阈值进行比较，以确定是否需要重新标定。
具体地，根据第一标记在所述普通二维图像上成像的坐标、所述第一标记的深度值以及标定得到的第一摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记映射到第一摄像装置的三维坐标系下的点云的位置，拍摄所述普通二维图像的是第一摄像装置，拍摄所述红外图像的是第二摄像装置；根据标定得到的所述第一摄像装置与第二摄像装置之间的相对旋转矩阵与相对平移矩阵计算将所述第一标记在第一摄像装置的三维坐标系下的点云的位置映射到所述第二摄像装置的三维坐标系下的点云的位置；根据标定得到的第二摄像装置的焦距、主点坐标以及倾斜系数计算将所述第一标记在所述第二摄像装置的三维坐标系下的点云映射到所述红外图像的二维坐标系下的投影的位置。具体的映射与计算过程，可以参见前述的介绍，这里不再赘述。
本发明提供的一种用于验证的方法，能够对深度摄像装置进行标定时获得的标定参数进行验证，提高了标定的准确性。
下面结合附图5对本发明实施例二提供的一种用于标定的***500进行详细阐述。如图5所示，该***500包括：标定物501、第一摄像装置502、第二摄像装置503以及第一处理器504，
所述第一摄像装置502，用于拍摄所述标定物501的普通二维图像，所述标定物带有第一标记，并且，所述第二摄像装置503，用于拍摄所述标定物501的红外图像。所述普通二维图像包括黑白图像或彩色图像，该彩色图像可以为RGB图像。
所述第一处理器504，用于根据所述第二摄像装置503计算所述标定物的深度图。可选的，该深度图可以由另一个不同的处理器进行计算，这时所述第一处理器为用于计算的处理器的上位描述。可选的，该第一处理器可以根据不同计算深度图的原理计算上述深度图，可以通过ToF(time of flight飞行时间)方法、结构光或视差方法计算所述深度图。
所述第一处理器504，还用于：
根据所述红外图像计算所述第一标记在所述红外图像上成像的坐标，根据所述深度图获取所述第一标记的深度值，根据标定得到的参数、所述第一标记在所述红外图像上成像的坐标以及所述第一标记的深度值计算与所述第一标记在所述红外图像上的成像对应的三维点云在所述普通二维图像上的投影的位置，计算所述第一标记在所述普通二维图像上的成像与所述投影的距离，或，
根据所述普通二维图像计算所述第一标记在普通二维图像上成像的坐标，根据所述深度图获取所述第一标记的深度值，根据标定得到的参数、所述第一标记在普通二维图像上成像的坐标以及所述第一标记的深度值计算与所述第一标记在所述普通二维图像上的成像对应的三维点云在所述红外图像上的投影的位置，计算所述第一标记在所述红外图像上的成像与所述投影的距离。
所述第一处理器，还用于根据所述距离与第一阈值确定出验证结果。所述第一阈值可以为预先设定。可选的，可以计算所有投影点与第一标记在所述红外图像上的成像的平均距离，如果小于上述设定的阈值，则通过验证，否则需要重新标定。
可选的，所述普通二维图像包括黑白图像或彩色图像，该彩色图像可以为RGB图像。
所述第一摄像装置和所述第二摄像装置，具体用于同时拍摄得到所述标定物的一张普通二维图像以及一张红外图像。需要说明的是，上述的“同时”并不是严格的同一时刻，而是指近似同时，是指相对于现有技术中需要让第一摄像装置与第二摄像装置先后分别拍摄标定物，本发明可以让第一摄像装置与第二摄像装置不用先后分别拍摄标定物，提高了标定的效率。
可选的，所述标定物包括至少三张大小相同的标定板，所述至少三张标定板带有的第一标记相同。所述第一标记包括分布于所述标定板的第一圆点或第一椭圆点，所述第一圆点或第一椭圆点与所述标定板的背景的灰度差大于第二阈值。可选的，当标定物包括三张大小相同的标定板时，该三张大小相同的标定板可以呈品字形排列。可选的，上述的第二阈值为80，如，上述的第一圆点或第一椭圆点可以为黑色，灰度值在100以下，上述的标定板的背景可以为白色，灰度值在180以上。可选的，标定图的长边与上述的第一摄像装置与第二摄像装置平行。
可选的，所述第一圆点或第一椭圆点在所述标定板上按行列均匀分布，如图2所示。可选的，该标定板上的标定图可以有边框，边框可以为黑色。可选的，标定图长290mm，宽为210mm。图2中的第一标记为小圆点，该小圆点的直径为10mm，小圆点间的距离为10mm。标定图中的黑色边框宽为10mm。标定图中长边有13个圆点，短边有9个圆点。
所述标定物包括四张大小相同的标定板，所述四张标定板分两行两列排列。上述的关于位置的描述，如“平行”、“中间”等，为近似描述，并不是严格地要求，如近似平行即可。
所述标定物带有指示标定物放置方向的标记。所述指示标定物放置方向的标记包括下述方式中的一个：在一行中排列第一数目的第二圆点，在另一行中排列第二数目的第二圆点；在一列中排列第一数目的第二圆点，在另一列中排列第二数目的第二圆点；由所述第二圆点排列出指示标定物放置方向的图案。上述的一行仅为某一行的指代，不代表排列的次序，比如，如图2或3所示，上述的一行可以为实际的由上向下排列的第四行，上述的另一行可以为实际的由上向下排列的第六行。如图2或3所示，上述的第二圆点为图中的大圆点。大圆点的直径可以为15mm。可选的，所述第二圆点排列出指示标定物放置方向的图案可以包括：箭头样式的图案或其他等同的图案。通过指示标定物放置方向的标记，可以让多个标定板按照同样的方向放置。
所述第一标记在所述红外图像上成像的坐标，包括：在所述红外图像上所述第一圆点或第一椭圆点的圆心的坐标；所述第一标记在所述普通二维图像上的成像与所述投影的距离，包括：在所述红外图像上所述第一圆点或第一椭圆点的圆心在所述普通二维图像上的投影的位置，与所述第一圆点或第一椭圆点的圆心在所述普通二维图像上的成像的位置的距离。
事实上，本***可以为标定箱，在标定箱中，各个标定板的位置是固定的，放置摄像装置的位置也是固定的。
所述第一摄像装置与所述第二摄像装置的视野不同。
可选的，所述第一摄像装置与所述第二摄像装置中视野较大的摄像装置所拍摄的图像包括全部标定物的成像。所述标定物的成像占据所述普通二维图像的中部，并且占据所述普通二维图像的第一比例以上。所述标定物的成像占据所述红外图像的中部，并且占据所述红外图像的第一比例以上。优选的，所述第一比例可以为80％，也可以根据标定精度适当降低该第一比例。
可选的，如图4所示，所述标定物的成像占第一摄像装置与所述第二摄像装置中视野较小的摄像装置所拍摄的图像的第一比例以上。优选的，所述第一比例可以为80％，也可以根据标定精度适当降低该第一比例。
可选的，同一第一标记在所述普通二维图像上的坐标对应于所述第一标记在所述红外图像上的坐标。具体地，同一第一标记在所述普通二维图像上的坐标需要与所述第一标记在所述红外图像上的坐标建立对应关系。建立对应关系的方式可以包括通过对获得的上述两种二维图像中的第一标记的坐标顺序进行排列存储来建立。
所述第一处理器，具体用于：根据第一标记在所述红外图像上成像的坐标、所述第一标记的深度值、以及标定得到的第二摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记映射到第二摄像装置的三维坐标系下的点云的位置，拍摄所述普通二维图像的是第一摄像装置，拍摄所述红外图像的是第二摄像装置；根据标定得到的所述第一摄像装置与第二摄像装置之间的相对旋转矩阵与相对平移矩阵，计算将所述第一标记在第二摄像装置的三维坐标系下的点云的位置映射到所述第一摄像装置的三维坐标系下的点云的位置；根据标定得到的所述第一摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记在所述第一摄像装置的三维坐标系下的点云映射到所述普通二维图像的二维坐标系下的投影的位置。
具体地，检测所述红外图像中检测到的第一标记，即圆点或椭圆点的中心，的坐标，根据深度图获得该中心的坐标的深度值。将所述中心点映射到红外摄像装置的三维坐标系下形成点云。优选的，形成点云首先可以根据红外摄像装置的畸变系数畸变校正红外图中点的坐标。在归一化后的图像坐标系中，畸变模型如下：
Figure GDA0002742641940000171
Figure GDA0002742641940000172
其中，(xd,yd)是在归一化图像坐标系中考虑畸变情况的点坐标，(x,y)是无畸变情况的点的理想坐标。k1，k2，k3，p1和p2是畸变系数。对于红外图坐标系下的一个点
Figure GDA0002742641940000173
根据红外摄像装置的内部参数可得到该点的归一化坐标
Figure GDA0002742641940000174
Figure GDA0002742641940000175
Figure GDA0002742641940000176
其中，
Figure GDA0002742641940000177
和
Figure GDA0002742641940000178
是红外图像的摄像装置在x方向和y方向上的焦距，
Figure GDA0002742641940000179
和
Figure GDA00027426419400001710
是红外图像在x方向和y方向上的主点坐标。α为倾斜系数。根据上述的畸变模型可获得该点畸变校正后的归一化坐标(xD,yD)。进一步的，可以获得红外图像坐标系下畸变校正后的点坐标(uD,vD)：
Figure GDA00027426419400001711
Figure GDA00027426419400001712
红外图像坐标系中的无畸变点(uD,vD)与对应的红外摄像装置的三维坐标系中的点(XD,YD,ZD)的映射关系如下：
Figure GDA00027426419400001713
Figure GDA00027426419400001714
其中，ZD是该点的深度值，可从深度图获得。
进一步地，将红外摄像装置的三维坐标系中的点云转换到普通二维图像的摄像装置的三维坐标系。红外摄像装置的三维坐标系和普通二维图像摄像装置的三维坐标系的对应点变换关系如下：
MRGB＝[Rrelative|Trelative]MD
其中，MRGB为普通二维图像摄像装置的三维坐标系中点的坐标，Rrelative为两个摄像装置间的相对旋转矩阵，Trelative为两个摄像装置间的相对平移矩阵，MD为红外摄像装置的三维坐标系中点的坐标。
进一步地，将普通二维图像的摄像装置的三维坐标系中的点云投影到普通二维图像坐标系下，并加上普通二维摄像装置的畸变，其中上述点云中的点的坐标为(XC,YC,ZC)。
根据下式计算(xC,yC)：
xC＝XC/ZC
yC＝YC/ZC
其中，xC和yC是归一化普通二维图像坐标系中的无畸变坐标，根据上述的畸变模型可获得归一化普通二维图像坐标系中的含畸变坐标
Figure GDA0002742641940000181
因此，在彩色图坐标系中点
Figure GDA0002742641940000182
的坐标为：
Figure GDA0002742641940000183
Figure GDA0002742641940000184
其中，
Figure GDA0002742641940000185
和
Figure GDA0002742641940000186
是普通二维图像的摄像装置在x方向和y方向上的焦距，
Figure GDA0002742641940000187
和
Figure GDA0002742641940000188
是普通二维图像在x方向和y方向上的主点坐标，α为倾斜系数。
之后就可以计算所有投影点与第一标记在普通二维图像上对应的成像(圆形或椭圆形的中心)之间的距离，以确定是否需要重新标定。
另一方面，也可以通过将第一标记在普通二维图像上的成像映射到三维坐标系形成点云，再投影到红外图像上，计算投影点与第一标记在红外图像上的对应点距离，再与第一阈值进行比较，以确定是否需要重新标定。
所述第一处理器，具体用于：根据第一标记在所述普通二维图像上成像的坐标、所述第一标记的深度值以及标定得到的第一摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记映射到第一摄像装置的三维坐标系下的点云的位置，拍摄所述普通二维图像的是第一摄像装置，拍摄所述红外图像的是第二摄像装置；根据标定得到的所述第一摄像装置与第二摄像装置之间的相对旋转矩阵与相对平移矩阵计算将所述第一标记在第一摄像装置的三维坐标系下的点云的位置映射到所述第二摄像装置的三维坐标系下的点云的位置；根据标定得到的第二摄像装置的焦距、主点坐标以及倾斜系数计算将所述第一标记在所述第二摄像装置的三维坐标系下的点云映射到所述红外图像的二维坐标系下的投影的位置。具体的映射与计算过程，可以参见前述的介绍，这里不再赘述。
本发明提供的一种用于验证的***，能够对深度摄像装置进行标定时获得的标定参数进行验证，提高了标定的准确性。
下面结合附图6对本发明实施例三提供的一种用于验证的装置600进行详细阐述。如图6所示，该装置600包括：接收模块601以及第二处理器602，
接收模块601，用于获取标定物的普通二维图像、红外图像以及深度图，所述标定物带有第一标记。可选的，上述的普通二维图像和/或红外图像可以从存储装置中获取，该存储装置可以为RAM或闪存等。拍摄普通二维图像的可以为第一摄像装置，拍摄红外图像的可以为第二摄像装置。所述普通二维图像包括黑白图像或彩色图像，该彩色图像可以为RGB图像。
第二处理器602，用于：
根据所述红外图像计算所述第一标记在所述红外图像上成像的坐标，根据所述深度图获取所述第一标记的深度值，根据标定得到的参数、所述第一标记在所述红外图像上成像的坐标以及所述第一标记的深度值计算与所述第一标记在所述红外图像上的成像对应的三维点云在所述普通二维图像上的投影的位置，计算所述第一标记在所述普通二维图像上的成像与所述投影的距离，或，
根据所述普通二维图像计算所述第一标记在普通二维图像上成像的坐标，根据所述深度图获取所述第一标记的深度值，根据标定得到的参数、所述第一标记在普通二维图像上成像的坐标以及所述第一标记的深度值计算与所述第一标记在所述普通二维图像上的成像对应的三维点云在所述红外图像上的投影的位置，计算所述第一标记在所述红外图像上的成像与所述投影的距离。
可选的，所述第二处理器602，还用于根据所述距离与第一阈值确定出验证结果。所述第一阈值可以为预先设定。可选的，可以计算所有投影点与第一标记在所述红外图像上的成像的平均距离，如果小于上述设定的阈值，则通过验证，否则需要重新标定。
可选的，所述普通二维图像包括黑白图像或彩色图像，该彩色图像可以为RGB图像。
所述第二处理器，具体用于获取第一摄像装置和第二摄像装置同时拍摄得到的所述标定物的一张普通二维图像以及一张红外图像。需要说明的是，上述的“同时”并不是严格的同一时刻，而是指近似同时，是指相对于现有技术中需要让第一摄像装置与第二摄像装置先后分别拍摄标定物，本发明可以让第一摄像装置与第二摄像装置不用先后分别拍摄标定物，提高了标定的效率。
可选的，所述标定物包括至少三张大小相同的标定板，所述至少三张标定板带有的第一标记相同。所述第一标记包括分布于所述标定板的第一圆点或第一椭圆点，所述第一圆点或第一椭圆点与所述标定板的背景的灰度差大于第二阈值。可选的，当标定物包括三张大小相同的标定板时，该三张大小相同的标定板可以呈品字形排列。可选的，上述的第二阈值为80，如，上述的第一圆点或第一椭圆点可以为黑色，灰度值在100以下，上述的标定板的背景可以为白色，灰度值在180以上。可选的，标定图的长边与上述的第一摄像装置与第二摄像装置平行。
可选的，所述第一圆点或第一椭圆点在所述标定板上按行列均匀分布，如图2所示。可选的，该标定板上的标定图可以有边框，边框可以为黑色。可选的，标定图长290mm，宽为210mm。图2中的第一标记为小圆点，该小圆点的直径为10mm，小圆点间的距离为10mm。标定图中的黑色边框宽为10mm。标定图中长边有13个圆点，短边有9个圆点。
所述标定物包括四张大小相同的标定板，所述四张标定板分两行两列排列。上述的关于位置的描述，如“平行”、“中间”等，为近似描述，并不是严格地要求，如近似平行即可。
所述标定物带有指示标定物放置方向的标记。所述指示标定物放置方向的标记包括下述方式中的一个：在一行中排列第一数目的第二圆点，在另一行中排列第二数目的第二圆点；在一列中排列第一数目的第二圆点，在另一列中排列第二数目的第二圆点；由所述第二圆点排列出指示标定物放置方向的图案。上述的一行仅为某一行的指代，不代表排列的次序，比如，如图2或3所示，上述的一行可以为实际的由上向下排列的第四行，上述的另一行可以为实际的由上向下排列的第六行。如图2或3所示，上述的第二圆点为图中的大圆点。大圆点的直径可以为15mm。可选的，所述第二圆点排列出指示标定物放置方向的图案可以包括：箭头样式的图案或其他等同的图案。通过指示标定物放置方向的标记，可以让多个标定板按照同样的方向放置。
所述第一标记在所述红外图像上成像的坐标，包括：在所述红外图像上所述第一圆点或第一椭圆点的圆心的坐标；所述第一标记在所述普通二维图像上的成像与所述投影的距离，包括：在所述红外图像上所述第一圆点或第一椭圆点的圆心在所述普通二维图像上的投影的位置，与所述第一圆点或第一椭圆点的圆心在所述普通二维图像上的成像的位置的距离。
所述第一摄像装置与所述第二摄像装置的视野不同。
可选的，所述第一摄像装置与所述第二摄像装置中视野较大的摄像装置所拍摄的图像包括全部标定物的成像。所述标定物的成像占据所述普通二维图像的中部，并且占据所述普通二维图像的第一比例以上。所述标定物的成像占据所述红外图像的中部，并且占据所述红外图像的第一比例以上。优选的，所述第一比例可以为80％，也可以根据标定精度适当降低该第一比例。
可选的，如图4所示，所述标定物的成像占第一摄像装置与所述第二摄像装置中视野较小的摄像装置所拍摄的图像的第一比例以上。优选的，所述第一比例可以为80％，也可以根据标定精度适当降低该第一比例。
可选的，同一第一标记在所述普通二维图像上的坐标对应于所述第一标记在所述红外图像上的坐标。具体地，同一第一标记在所述普通二维图像上的坐标需要与所述第一标记在所述红外图像上的坐标建立对应关系。建立对应关系的方式可以包括通过对获得的上述两种二维图像中的第一标记的坐标顺序进行排列存储来建立。
所述第二处理器，具体用于：
根据第一标记在所述红外图像上成像的坐标、所述第一标记的深度值、以及标定得到的第二摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记映射到第二摄像装置的三维坐标系下的点云的位置，拍摄所述普通二维图像的是第一摄像装置，拍摄所述红外图像的是第二摄像装置；根据标定得到的所述第一摄像装置与第二摄像装置之间的相对旋转矩阵与相对平移矩阵，计算将所述第一标记在第二摄像装置的三维坐标系下的点云的位置映射到所述第一摄像装置的三维坐标系下的点云的位置；根据标定得到的所述第一摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记在所述第一摄像装置的三维坐标系下的点云映射到所述普通二维图像的二维坐标系下的投影的位置。
具体地，检测所述红外图像中检测到的第一标记，即圆点或椭圆点的中心，的坐标，根据深度图获得该中心的坐标的深度值。将所述中心点映射到红外摄像装置的三维坐标系下形成点云。优选的，形成点云首先可以根据红外摄像装置的畸变系数畸变校正红外图中点的坐标。在归一化后的图像坐标系中，畸变模型如下：
Figure GDA0002742641940000211
Figure GDA0002742641940000212
其中，(xd,yd)是在归一化图像坐标系中考虑畸变情况的点坐标，(x,y)是无畸变情况的点的理想坐标。k1，k2，k3，p1和p2是畸变系数。对于红外图坐标系下的一个点
Figure GDA0002742641940000213
根据红外摄像装置的内部参数可得到该点的归一化坐标
Figure GDA0002742641940000221
Figure GDA0002742641940000222
Figure GDA0002742641940000223
其中，
Figure GDA0002742641940000224
和
Figure GDA0002742641940000225
是红外图像的摄像装置在x方向和y方向上的焦距，
Figure GDA0002742641940000226
和
Figure GDA0002742641940000227
是红外图像在x方向和y方向上的主点坐标。α为倾斜系数。根据上述的畸变模型可获得该点畸变校正后的归一化坐标(xD,yD)。进一步的，可以获得红外图像坐标系下畸变校正后的点坐标(uD,vD)：
Figure GDA0002742641940000228
Figure GDA0002742641940000229
红外图像坐标系中的无畸变点(uD,vD)与对应的红外摄像装置的三维坐标系中的点(XD,YD,ZD)的映射关系如下：
Figure GDA00027426419400002210
Figure GDA00027426419400002211
其中，ZD是该点的深度值，可从深度图获得。
进一步地，将红外摄像装置的三维坐标系中的点云转换到普通二维图像的摄像装置的三维坐标系。红外摄像装置的三维坐标系和普通二维图像摄像装置的三维坐标系的对应点变换关系如下：
MRGB＝[Rrelative|Trelative]MD
其中，MRGB为普通二维图像摄像装置的三维坐标系中点的坐标，Rrelative为两个摄像装置间的相对旋转矩阵，Trelative为两个摄像装置间的相对平移矩阵，MD为红外摄像装置的三维坐标系中点的坐标。
进一步地，将普通二维图像的摄像装置的三维坐标系中的点云投影到普通二维图像坐标系下，并加上普通二维摄像装置的畸变，其中上述点云中的点的坐标为(XC,YC,ZC)。
根据下式计算(xC,yC)：
xC＝XC/ZC
yC＝YC/ZC
其中，xC和yC是归一化普通二维图像坐标系中的无畸变坐标，根据上述的畸变模型可获得归一化普通二维图像坐标系中的含畸变坐标
Figure GDA00027426419400002212
因此，在彩色图坐标系中点
Figure GDA0002742641940000231
的坐标为：
Figure GDA0002742641940000232
Figure GDA0002742641940000233
其中，
Figure GDA0002742641940000234
和
Figure GDA0002742641940000235
是普通二维图像的摄像装置在x方向和y方向上的焦距，
Figure GDA0002742641940000236
和
Figure GDA0002742641940000237
是普通二维图像在x方向和y方向上的主点坐标，α为倾斜系数。
之后就可以计算所有投影点与第一标记在普通二维图像上对应的成像(圆形或椭圆形的中心)之间的距离，以确定是否需要重新标定。
另一方面，也可以通过将第一标记在普通二维图像上的成像映射到三维坐标系形成点云，再投影到红外图像上，计算投影点与第一标记在红外图像上的对应点距离，再与第一阈值进行比较，以确定是否需要重新标定。
所述第二处理器，具体用于：
根据第一标记在所述普通二维图像上成像的坐标、所述第一标记的深度值以及标定得到的第一摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记映射到第一摄像装置的三维坐标系下的点云的位置，拍摄所述普通二维图像的是第一摄像装置，拍摄所述红外图像的是第二摄像装置；根据标定得到的所述第一摄像装置与第二摄像装置之间的相对旋转矩阵与相对平移矩阵计算将所述第一标记在第一摄像装置的三维坐标系下的点云的位置映射到所述第二摄像装置的三维坐标系下的点云的位置；根据标定得到的第二摄像装置的焦距、主点坐标以及倾斜系数计算将所述第一标记在所述第二摄像装置的三维坐标系下的点云映射到所述红外图像的二维坐标系下的投影的位置。
本发明提供的一种用于验证的***，能够对深度摄像装置进行标定时获得的标定参数进行验证，提高了标定的准确性。
下面结合图7具体描述本发明实施例四提供的一种用于验证的装置700，该装置700包括一种计算机可读存储介质701，所述计算机可读存储介质701存储有计算机程序，所述计算机程序被第三处理器702执行时实现如实施例一的方法的步骤。如图7所示，可选的，该装置700可以包括总线。
关于本实施例中部件功能的描述可以参见实施例三。
本发明提供的一种用于验证的***，能够对深度摄像装置进行标定时获得的标定参数进行验证，提高了标定的准确性。
下面结合图8具体描述本发明实施例五提供的一种用于标定的装置800，该装置800包括存储器801、第四处理器802以及存储在所述存储器801中并可在所述第四处理器802上运行的计算机程序，所述计算机程序被第四处理器802执行时实现如实施例一所述方法的步骤。可选的，如图所示，该装置800还包括总线。
本发明提供的一种用于验证的***，能够对深度摄像装置进行标定时获得的标定参数进行验证，提高了标定的准确性。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述装置/终端设备中的执行过程。
所述装置/终端设备可以是手机、平板电脑、桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述装置/终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，本发明的示意图仅仅是装置/终端设备的示例，并不构成对装置/终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述装置/终端设备还可以包括输入输出设备、网络接入设备、总线等。
上述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述装置/终端设备的控制中心，利用各种接口和线路连接整个装置/终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述装置/终端设备的各种功能。所述存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如视频数据、图像等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
上述各个实施例中的目标物体的成像可以目标物体的局部成像，也可以整体成像。无论是局部成像，或整体成像都适用或对局部成像，或整体成像相应做出调整后适用本发明提供的方法或装置，上述调整本领域普通技术人员不需要付出创造性劳动，应属于本发明的保护范围。

Claims (44)

1.一种用于摄像标定参数验证的方法，其特征在于，所述方法包括：
获取标定物的普通二维图像、红外图像以及深度图，所述标定物带有第一标记，其中拍摄所述普通二维图像的是第一摄像装置，拍摄所述红外图像的是第二摄像装置；
根据所述红外图像计算所述第一标记在所述红外图像上成像的坐标，根据所述深度图获取所述第一标记的深度值，根据第一标记在所述红外图像上成像的坐标、所述第一标记的深度值以及标定得到的第二摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记映射到第二摄像装置的三维坐标系下的点云的位置，根据标定得到的所述第一摄像装置与第二摄像装置之间的相对旋转矩阵与相对平移矩阵，计算将所述第一标记在第二摄像装置的三维坐标系下的点云的位置映射到所述第一摄像装置的三维坐标系下的点云的位置，根据标定得到的所述第一摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记在所述第一摄像装置的三维坐标系下的点云映射到所述普通二维图像的二维坐标系下的投影的位置，计算所述第一标记在所述普通二维图像上的成像与所述投影的距离，或，
根据所述普通二维图像计算所述第一标记在普通二维图像上成像的坐标，根据所述深度图获取所述第一标记的深度值，根据第一标记在所述普通二维图像上成像的坐标、所述第一标记的深度值以及标定得到的第一摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记映射到第一摄像装置的三维坐标系下的点云的位置，根据标定得到的所述第一摄像装置与第二摄像装置之间的相对旋转矩阵与相对平移矩阵，计算将所述第一标记在第一摄像装置的三维坐标系下的点云的位置映射到所述第二摄像装置的三维坐标系下的点云的位置，根据标定得到的第二摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记在所述第二摄像装置的三维坐标系下的点云映射到所述红外图像的二维坐标系下的投影的位置，计算所述第一标记在所述红外图像上的成像与所述投影的距离。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述距离与第一阈值确定出验证结果。
3.根据权利要求1或2所述的方法，其特征在于，
所述标定物包括至少三张大小相同的标定板，所述至少三张标定板带有的第一标记相同；
所述第一标记包括分布于所述标定板的第一圆点或第一椭圆点，所述第一圆点或第一椭圆点与所述标定板的背景的灰度差大于第二阈值。
4.根据权利要求3所述的方法，其特征在于，
所述第一圆点或第一椭圆点在所述标定板上按行列均匀分布。
5.根据权利要求3所述的方法，其特征在于，
所述第一标记在所述红外图像上成像的坐标，包括：
在所述红外图像上所述第一圆点或第一椭圆点的圆心的坐标；
所述第一标记在所述普通二维图像上的成像与所述投影的距离，包括：
在所述红外图像上所述第一圆点或第一椭圆点的圆心在所述普通二维图像上的投影的位置，与所述第一圆点或第一椭圆点的圆心在所述普通二维图像上的成像的位置的距离。
6.根据权利要求1所述的方法，其特征在于，
同一所述第一标记在所述普通二维图像上的坐标对应于所述第一标记在所述红外图像上的坐标。
7.根据权利要求3所述的方法，其特征在于，所述标定物包括至少三张大小相同的标定板包括：
所述标定物包括四张大小相同的标定板，所述四张标定板分两行两列排列。
8.根据权利要求1所述的方法，其特征在于，
所述标定物带有指示标定物放置方向的标记。
9.根据权利要求8所述的方法，其特征在于，
所述指示标定物放置方向的标记包括下述方式中的一个：
在一行中排列第一数目的第二圆点，在另一行中排列第二数目的第二圆点；
在一列中排列第一数目的第二圆点，在另一列中排列第二数目的第二圆点；
由所述第二圆点排列出指示标定物放置方向的图案。
10.根据权利要求1所述的方法，其特征在于，
所述第一摄像装置与所述第二摄像装置的视野不同。
11.根据权利要求10所述的方法，其特征在于，
所述第一摄像装置与所述第二摄像装置中视野较大的摄像装置所拍摄的图像包括全部标定物的成像；
所述标定物的成像占据所述普通二维图像的中部，并且占据所述普通二维图像的第一比例以上；
所述标定物的成像占据所述红外图像的中部，并且占据所述红外图像的第一比例以上。
12.根据权利要求11所述的方法，其特征在于，
所述第一比例为80％。
13.根据权利要求1所述的方法，其特征在于，
所述获取标定物的普通二维图像以及红外图像，包括：
同时拍摄得到所述标定物的一张普通二维图像以及一张红外图像。
14.根据权利要求1所述的方法，其特征在于，
所述普通二维图像包括黑白图像或彩色图像。
15.一种用于摄像标定参数验证的***，其特征在于，该***包括：标定物、第一摄像装置、第二摄像装置，以及第一处理器；
所述第一摄像装置，用于拍摄所述标定物的普通二维图像，所述标定物带有第一标记，并且，所述第二摄像装置，用于拍摄所述标定物的红外图像；
所述第一处理器，用于根据所述第二摄像装置计算所述标定物的深度图；
所述第一处理器，还用于：
根据所述红外图像计算所述第一标记在所述红外图像上成像的坐标，根据所述深度图获取所述第一标记的深度值，根据第一标记在所述红外图像上成像的坐标、所述第一标记的深度值以及标定得到的第二摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记映射到第二摄像装置的三维坐标系下的点云的位置，根据标定得到的所述第一摄像装置与第二摄像装置之间的相对旋转矩阵与相对平移矩阵，计算将所述第一标记在第二摄像装置的三维坐标系下的点云的位置映射到所述第一摄像装置的三维坐标系下的点云的位置，根据标定得到的所述第一摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记在所述第一摄像装置的三维坐标系下的点云映射到所述普通二维图像的二维坐标系下的投影的位置，计算所述第一标记在所述普通二维图像上的成像与所述投影的距离，或，
根据所述普通二维图像计算所述第一标记在普通二维图像上成像的坐标，根据所述深度图获取所述第一标记的深度值，根据第一标记在所述普通二维图像上成像的坐标、所述第一标记的深度值以及标定得到的第一摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记映射到第一摄像装置的三维坐标系下的点云的位置，根据标定得到的所述第一摄像装置与第二摄像装置之间的相对旋转矩阵与相对平移矩阵，计算将所述第一标记在第一摄像装置的三维坐标系下的点云的位置映射到所述第二摄像装置的三维坐标系下的点云的位置，根据标定得到的第二摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记在所述第二摄像装置的三维坐标系下的点云映射到所述红外图像的二维坐标系下的投影的位置，计算所述第一标记在所述红外图像上的成像与所述投影的距离。
16.根据权利要求15所述的***，其特征在于，
所述第一处理器，还用于根据所述距离与第一阈值确定出验证结果。
17.根据权利要求15或16所述的***，其特征在于，
所述标定物包括至少三张大小相同的标定板，所述至少三张标定板带有的第一标记相同；
所述第一标记包括分布于所述标定板的第一圆点或第一椭圆点，所述第一圆点或第一椭圆点与所述标定板的背景的灰度差大于第二阈值。
18.根据权利要求17所述的***，其特征在于，
所述第一圆点或第一椭圆点在所述标定板上按行列均匀分布。
19.根据权利要求17所述的***，其特征在于，
所述第一标记在所述红外图像上成像的坐标，包括：
在所述红外图像上所述第一圆点或第一椭圆点的圆心的坐标；
所述第一标记在所述普通二维图像上的成像与所述投影的距离，包括：
在所述红外图像上所述第一圆点或第一椭圆点的圆心在所述普通二维图像上的投影的位置，与所述第一圆点或第一椭圆点的圆心在所述普通二维图像上的成像的位置的距离。
20.根据权利要求15所述的***，其特征在于，
同一所述第一标记在所述普通二维图像上的坐标对应于所述第一标记在所述红外图像上的坐标。
21.根据权利要求17所述的***，其特征在于，所述标定物包括至少三张大小相同的标定板包括：
所述标定物包括四张大小相同的标定板，所述四张标定板分两行两列排列。
22.根据权利要求15所述的***，其特征在于，
所述标定物带有指示标定物放置方向的标记。
23.根据权利要求22所述的***，其特征在于，
所述指示标定物放置方向的标记包括下述方式中的一个：
在一行中排列第一数目的第二圆点，在另一行中排列第二数目的第二圆点；
在一列中排列第一数目的第二圆点，在另一列中排列第二数目的第二圆点；
由所述第二圆点排列出指示标定物放置方向的图案。
24.根据权利要求15所述的***，其特征在于，
所述第一摄像装置与所述第二摄像装置的视野不同。
25.根据权利要求24所述的***，其特征在于，
所述第一摄像装置与所述第二摄像装置中视野较大的摄像装置所拍摄的图像包括全部标定物的成像；
所述标定物的成像占据所述普通二维图像的中部，并且占据所述普通二维图像的第一比例以上；
所述标定物的成像占据所述红外图像的中部，并且占据所述红外图像的第一比例以上。
26.根据权利要求25所述的***，其特征在于，
所述第一比例为80％。
27.根据权利要求15所述的***，其特征在于，
所述第一摄像装置与所述第二摄像装置，具体用于同时拍摄得到所述标定物的一张普通二维图像以及一张红外图像。
28.根据权利要求15所述的***，其特征在于，
所述普通二维图像包括黑白图像或彩色图像。
29.一种用于摄像标定参数验证的装置，其特征在于，所述装置包括：
接收模块，用于获取标定物的普通二维图像、红外图像以及深度图，所述标定物带有第一标记，其中拍摄所述普通二维图像的是第一摄像装置，拍摄所述红外图像的是第二摄像装置；
第二处理器，用于：
根据所述红外图像计算所述第一标记在所述红外图像上成像的坐标，根据所述深度图获取所述第一标记的深度值，根据第一标记在所述红外图像上成像的坐标、所述第一标记的深度值以及标定得到的第二摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记映射到第二摄像装置的三维坐标系下的点云的位置，根据标定得到的所述第一摄像装置与第二摄像装置之间的相对旋转矩阵与相对平移矩阵，计算将所述第一标记在第二摄像装置的三维坐标系下的点云的位置映射到所述第一摄像装置的三维坐标系下的点云的位置，根据标定得到的所述第一摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记在所述第一摄像装置的三维坐标系下的点云映射到所述普通二维图像的二维坐标系下的投影的位置，计算所述第一标记在所述普通二维图像上的成像与所述投影的距离，或，
根据所述普通二维图像计算所述第一标记在普通二维图像上成像的坐标，根据所述深度图获取所述第一标记的深度值，根据第一标记在所述普通二维图像上成像的坐标、所述第一标记的深度值以及标定得到的第一摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记映射到第一摄像装置的三维坐标系下的点云的位置，根据标定得到的所述第一摄像装置与第二摄像装置之间的相对旋转矩阵与相对平移矩阵，计算将所述第一标记在第一摄像装置的三维坐标系下的点云的位置映射到所述第二摄像装置的三维坐标系下的点云的位置，根据标定得到的第二摄像装置的焦距、主点坐标以及倾斜系数，计算将所述第一标记在所述第二摄像装置的三维坐标系下的点云映射到所述红外图像的二维坐标系下的投影的位置，计算所述第一标记在所述红外图像上的成像与所述投影的距离。
30.根据权利要求29所述的装置，其特征在于，
所述第二处理器，还用于根据所述距离与第一阈值确定出验证结果。
31.根据权利要求29或30所述的装置，其特征在于，
所述标定物包括至少三张大小相同的标定板，所述至少三张标定板带有的第一标记相同；
所述第一标记包括分布于所述标定板的第一圆点或第一椭圆点，所述第一圆点或第一椭圆点与所述标定板的背景的灰度差大于第二阈值。
32.根据权利要求31所述的装置，其特征在于，
所述第一圆点或第一椭圆点在所述标定板上按行列均匀分布。
33.根据权利要求31所述的装置，其特征在于，
所述第一标记在所述红外图像上成像的坐标，包括：
在所述红外图像上所述第一圆点或第一椭圆点的圆心的坐标；
所述第一标记在所述普通二维图像上的成像与所述投影的距离，包括：
在所述红外图像上所述第一圆点或第一椭圆点的圆心在所述普通二维图像上的投影的位置，与所述第一圆点或第一椭圆点的圆心在所述普通二维图像上的成像的位置的距离。
34.根据权利要求29所述的装置，其特征在于，
同一所述第一标记在所述普通二维图像上的坐标对应于所述第一标记在所述红外图像上的坐标。
35.根据权利要求31所述的装置，其特征在于，
所述标定物包括至少三张大小相同的标定板包括：
所述标定物包括四张大小相同的标定板，所述四张标定板分两行两列排列。
36.根据权利要求29所述的装置，其特征在于，
所述标定物带有指示标定物放置方向的标记。
37.根据权利要求36所述的装置，其特征在于，
所述指示标定物放置方向的标记包括下述方式中的一个：
在一行中排列第一数目的第二圆点，在另一行中排列第二数目的第二圆点；
在一列中排列第一数目的第二圆点，在另一列中排列第二数目的第二圆点；
由所述第二圆点排列出指示标定物放置方向的图案。
38.根据权利要求29所述的装置，其特征在于，
所述第一摄像装置与所述第二摄像装置的视野不同。
39.根据权利要求38所述的装置，其特征在于，
所述第一摄像装置与所述第二摄像装置中视野较大的摄像装置所拍摄的图像包括全部标定物的成像；
所述标定物的成像占据所述普通二维图像的中部，并且占据所述普通二维图像的第一比例以上；
所述标定物的成像占据所述红外图像的中部，并且占据所述红外图像的第一比例以上。
40.根据权利要求39所述的装置，其特征在于，
所述第一比例为80％。
41.根据权利要求29所述的装置，其特征在于，
所述第二处理器，具体用于获取第一摄像装置和第二摄像装置同时拍摄得到所述标定物的一张普通二维图像以及一张红外图像。
42.根据权利要求29所述的装置，其特征在于，
所述普通二维图像包括黑白图像或彩色图像。
43.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被第三处理器执行时实现如权利要求1-14任一权利要求所述方法的步骤。
44.一种用于摄像标定参数验证的装置，包括存储器、第四处理器以及存储在所述存储器中并可在所述第四处理器上运行的计算机程序，其特征在于，所述计算机程序被第四处理器执行时实现如权利要求1-14任一权利要求所述方法的步骤。
CN201711060090.3A 2017-11-01 2017-11-01 一种用于摄像标定参数验证的方法、***和装置 Active CN109754426B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711060090.3A CN109754426B (zh) 2017-11-01 2017-11-01 一种用于摄像标定参数验证的方法、***和装置
US16/176,652 US10872439B2 (en) 2017-11-01 2018-10-31 Method and device for verification

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711060090.3A CN109754426B (zh) 2017-11-01 2017-11-01 一种用于摄像标定参数验证的方法、***和装置

Publications (2)

Publication Number Publication Date
CN109754426A CN109754426A (zh) 2019-05-14
CN109754426B true CN109754426B (zh) 2021-04-23

Family

ID=66244894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711060090.3A Active CN109754426B (zh) 2017-11-01 2017-11-01 一种用于摄像标定参数验证的方法、***和装置

Country Status (2)

Country Link
US (1) US10872439B2 (zh)
CN (1) CN109754426B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111542222B (zh) * 2017-11-06 2022-04-22 犊瑞乳品设备有限公司 估计牲畜重量的***和方法
JP2019158414A (ja) * 2018-03-08 2019-09-19 東芝テック株式会社 情報処理装置
US11049282B2 (en) * 2019-02-28 2021-06-29 Intelligrated Headquarters, Llc Vision calibration system for robotic carton unloading
KR102212268B1 (ko) * 2019-05-15 2021-02-04 주식회사 폴라리스쓰리디 위치 측정 시스템과 이를 구비하는 이동 수단 및 이를 수행하기 위한 컴퓨팅 장치
CN109920011B (zh) * 2019-05-16 2020-01-10 长沙智能驾驶研究院有限公司 激光雷达与双目摄像头的外参标定方法、装置及设备
CN110188658A (zh) * 2019-05-27 2019-08-30 Oppo广东移动通信有限公司 身份识别方法、装置、电子设备及存储介质
CN110260822B (zh) * 2019-06-18 2021-01-19 西安交通大学 一种多目结构光***高精度标定方法
CN110580724B (zh) * 2019-08-28 2022-02-25 贝壳技术有限公司 一种对双目相机组进行标定的方法、装置和存储介质
CN110717944A (zh) * 2019-09-18 2020-01-21 重庆大云端科技有限公司 一种相机标定在智能手机、摄像头、数码相机里的应用
GB202305331D0 (en) * 2019-12-18 2023-05-24 Motional Ad Llc Camera-to-lidar calibration and validation
CN111724432B (zh) * 2020-06-04 2023-08-22 杭州飞步科技有限公司 物体三维检测方法和装置
CN111968185B (zh) * 2020-09-01 2024-02-02 深圳辰视智能科技有限公司 标定板、基于编码定义的九点标定物体抓取方法及***
CN112233187B (zh) * 2020-10-20 2022-06-03 深圳无境智能机器人有限公司 一种方便稳定的rgbd相机外参数标定方法
CN112395963B (zh) * 2020-11-04 2021-11-12 北京嘀嘀无限科技发展有限公司 对象识别方法和装置、电子设备及存储介质
CN112612016A (zh) * 2020-12-07 2021-04-06 深兰人工智能(深圳)有限公司 传感器联合标定方法、装置、电子设备及存储介质
WO2022133986A1 (en) * 2020-12-25 2022-06-30 SZ DJI Technology Co., Ltd. Accuracy estimation method and system
CN112819124B (zh) * 2021-04-19 2021-06-22 国网浙江省电力有限公司 一种财务单据凭证防伪标签制作使用方法
CN113436242B (zh) * 2021-07-22 2024-03-29 西安电子科技大学 基于移动深度相机的获取静态物体高精度深度值方法
CN113658268B (zh) * 2021-08-04 2024-07-12 智道网联科技(北京)有限公司 摄像头标定结果的验证方法、装置及电子设备、存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101695140A (zh) * 2009-10-14 2010-04-14 宁波大学 一种基于对象的立体/自由视点电视的虚拟图像绘制方法
CN103456038A (zh) * 2013-08-19 2013-12-18 华中科技大学 一种井下环境三维场景重建方法
US8885948B2 (en) * 2011-10-19 2014-11-11 Crown Equipment Corporation Identifying and evaluating potential center stringers of a pallet in an image scene
CN104346829A (zh) * 2013-07-29 2015-02-11 中国农业机械化科学研究院 基于pmd相机和摄像头的彩色三维重建***及其方法
CN104616284A (zh) * 2014-12-09 2015-05-13 中国科学院上海技术物理研究所 彩色深度相机的彩色图像到深度图像的像素级对准算法
CN105069784A (zh) * 2015-07-29 2015-11-18 杭州晨安视讯数字技术有限公司 一种双摄像机目标定位互验证非参数方法
WO2015199899A1 (en) * 2014-06-27 2015-12-30 Qualcomm Incorporated Systems and methods for depth map extraction using a hybrid algorithm
CN106989695A (zh) * 2017-04-28 2017-07-28 广东工业大学 一种投影仪标定方法
CN107067470A (zh) * 2017-04-05 2017-08-18 东北大学 基于红外热像仪与深度相机的便携式三维温度场重建***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
GB2532003A (en) * 2014-10-31 2016-05-11 Nokia Technologies Oy Method for alignment of low-quality noisy depth map to the high-resolution colour image
EP3368957B1 (en) * 2015-10-30 2022-02-09 SZ DJI Technology Co., Ltd. Systems and methods for uav path planning and control

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101695140A (zh) * 2009-10-14 2010-04-14 宁波大学 一种基于对象的立体/自由视点电视的虚拟图像绘制方法
US8885948B2 (en) * 2011-10-19 2014-11-11 Crown Equipment Corporation Identifying and evaluating potential center stringers of a pallet in an image scene
CN104346829A (zh) * 2013-07-29 2015-02-11 中国农业机械化科学研究院 基于pmd相机和摄像头的彩色三维重建***及其方法
CN103456038A (zh) * 2013-08-19 2013-12-18 华中科技大学 一种井下环境三维场景重建方法
WO2015199899A1 (en) * 2014-06-27 2015-12-30 Qualcomm Incorporated Systems and methods for depth map extraction using a hybrid algorithm
CN104616284A (zh) * 2014-12-09 2015-05-13 中国科学院上海技术物理研究所 彩色深度相机的彩色图像到深度图像的像素级对准算法
CN105069784A (zh) * 2015-07-29 2015-11-18 杭州晨安视讯数字技术有限公司 一种双摄像机目标定位互验证非参数方法
CN107067470A (zh) * 2017-04-05 2017-08-18 东北大学 基于红外热像仪与深度相机的便携式三维温度场重建***
CN106989695A (zh) * 2017-04-28 2017-07-28 广东工业大学 一种投影仪标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《基于Kinect的三维重建技术研究》;徐立洲;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170315(第3期);I138-5202 *

Also Published As

Publication number Publication date
US10872439B2 (en) 2020-12-22
CN109754426A (zh) 2019-05-14
US20190130605A1 (en) 2019-05-02

Similar Documents

Publication Publication Date Title
CN109754426B (zh) 一种用于摄像标定参数验证的方法、***和装置
US10924729B2 (en) Method and device for calibration
US10726580B2 (en) Method and device for calibration
US11503275B2 (en) Camera calibration system, target, and process
CN107993263B (zh) 环视***自动标定方法、汽车、标定装置及存储介质
CN108257183B (zh) 一种相机镜头光轴校准方法和装置
EP3614340A1 (en) Methods and devices for acquiring 3d face, and computer readable storage media
CN108225216B (zh) 结构光***标定方法及装置、结构光***及移动设备
CN104657982A (zh) 一种投影仪标定方法
CN109785390B (zh) 一种用于图像矫正的方法和装置
CN111540004A (zh) 单相机极线校正方法及装置
CN106886976B (zh) 一种基于内参数修正鱼眼像机的图像生成方法
CN110335307A (zh) 标定方法、装置、计算机存储介质和终端设备
CN110807814A (zh) 摄影机位姿计算方法、装置、设备及存储介质
CN108053375A (zh) 图像数据修正方法、装置及其汽车
CN109726613B (zh) 一种用于检测的方法和装置
CN115830135A (zh) 一种图像处理方法、装置及电子设备
WO2021134219A1 (zh) 参数标定方法及装置
CN112950528A (zh) 证件姿态确定方法、模型训练方法、装置、服务器及介质
CN111105365B (zh) 一种纹理影像的色彩校正方法、介质、终端和装置
CN116188594B (zh) 沙姆相机的标定方法、标定***、装置和电子设备
CN110163922B (zh) 鱼眼相机标定***、方法、装置、电子设备及存储介质
CN116912417A (zh) 基于人脸三维重建的纹理贴图方法、装置、设备和存储介质
CN115965697A (zh) 基于沙姆定律的投影仪标定方法、标定***及装置
CN116051652A (zh) 一种参数标定方法及电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant