CN113052917A - 相机不可见位置的图像坐标的获取方法、标定方法及*** - Google Patents

相机不可见位置的图像坐标的获取方法、标定方法及*** Download PDF

Info

Publication number
CN113052917A
CN113052917A CN202110335327.4A CN202110335327A CN113052917A CN 113052917 A CN113052917 A CN 113052917A CN 202110335327 A CN202110335327 A CN 202110335327A CN 113052917 A CN113052917 A CN 113052917A
Authority
CN
China
Prior art keywords
camera
depth
image
calibration plate
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110335327.4A
Other languages
English (en)
Other versions
CN113052917B (zh
Inventor
李慧艳
李洋洋
章涛
张翼城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Black Sesame Intelligent Technology Shanghai Co Ltd
Original Assignee
Black Sesame Intelligent Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Black Sesame Intelligent Technology Shanghai Co Ltd filed Critical Black Sesame Intelligent Technology Shanghai Co Ltd
Priority to CN202110335327.4A priority Critical patent/CN113052917B/zh
Publication of CN113052917A publication Critical patent/CN113052917A/zh
Priority to US17/703,397 priority patent/US20220309710A1/en
Application granted granted Critical
Publication of CN113052917B publication Critical patent/CN113052917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请涉及一种相机不可见位置的图像坐标的获取方法、标定方法及***。该获取方法包括从深度相机获取主相机不可见的待测位置的第一彩色图像及相应的深度图像，其中深度相机被定位成使得待测位置位于深度相机的视野范围内；从第一彩色图像及相应的深度图像提取待测位置三维坐标；利用用于将深度相机坐标系转换成主相机坐标系的平移矩阵和旋转矩阵，将待测位置三维坐标转换为待测位置图像坐标，其中平移矩阵和旋转矩阵是通过在主相机和深度相机之间进行标定来确定的。通过以上方法，使得可以以较为简单的方式获取在相机的视野范围外的位置的图像坐标，而且误差较小。

Description

相机不可见位置的图像坐标的获取方法、标定方法及***
技术领域
本申请涉及图像测量以及机器视觉技术领域，尤其涉及一种不可见待测位置的像素坐标的获取方法、标定方法及***。
背景技术
随着自动驾驶的发展，车辆上需要安装相机(例如，IR相机或RGB相机等) 来为自动驾驶的实现提供辅助。但是，由于相机的视野范围存在一定的限制，因此无法利用单个相机来获取其不可见的位置(即，不在该相机的视野范围内的位置，例如车辆的后视镜、前窗玻璃、仪表盘等)在相机坐标系下的图像坐标，但是在实际驾驶过程中，关于这些位置的图像坐标信息对于自动驾驶而言可能是非常重要的。目前，通常借助于多个辅助相机或者反射镜来帮助获取这种图像坐标，但是这实现起来较为复杂，而且容易引起较大的误差。
因此，有必要提供一种相机不可见位置的图像坐标的获取技术，使得可以获取在相机的视野范围外的位置的图像坐标，并且实现起来较为简单，而且不会引起很大的误差。
发明内容
鉴于以上技术问题，本申请提供了一种不可见待测位置的像素坐标的获取方法、标定方法及***，使得可以以较为简单的方式获取在相机的视野范围外的位置的图像坐标，而且误差较小。
在本申请的第一方面，提供了一种相机不可见位置的图像坐标的获取方法，包括：从深度相机获取主相机不可见的待测位置的第一彩色图像及相应的深度图像，其中所述深度相机被定位成使得所述待测位置位于所述深度相机的视野范围内；从所述第一彩色图像及相应的深度图像提取待测位置三维坐标；以及利用用于将深度相机坐标系转换成主相机坐标系的平移矩阵和旋转矩阵，将所述待测位置三维坐标转换为所需的待测位置图像坐标，其中所述平移矩阵和旋转矩阵是通过在所述主相机和所述深度相机之间进行标定来确定的。
在一种实现中，所述待测位置位于所述主相机的正后方，并且所述深度相机被定位在与所述主相机正对的位置。
在一种实现中，所述待测位置为待测位置区域，并且所述待测位置图像坐标包括所述待测位置区域的每一边界点的图像坐标。
在一种实现中，所述待测位置为待测位置点，并且所述待测位置图像坐标包括所述待测位置点的图像坐标。
在本申请的第二方面，提供了一种主相机与深度相机之间的标定方法，其中，所述深度相机被定位成使得所述主相机不可见的预期待测位置位于所述深度相机的视野范围内，所述标定方法包括：从所述主相机获取标定板的第一表面的多个第二彩色图像，并从所述深度相机获取所述标定板的第二表面的多个第三彩色图像及相应的深度图像；基于每一第二彩色图像，确定所述标定板上的多个特征点的多个特征点图像坐标；基于每一第三彩色图像及相应的深度图像，确定所述多个特征点的多个特征点三维坐标；以及基于所确定的所有特征点三维坐标以及所确定的所有特征点图像坐标，计算用于将深度相机坐标系转换成主相机坐标系的平移矩阵和旋转矩阵。
在一种实现中，所述标定板置于所述主相机和所述深度相机之间，并且所述标定板的所述第一表面位于所述主相机的视野范围内，所述标定板的所述第二表面位于所述深度相机的视野范围内，并且其中所述标定板的所述第一表面包括所述多个特征点，并且所述标定板的所述第二表面包括与所述多个特征点相关的多个标记点。
在一种实现中，所述多个第二彩色图像是在所述标定板分别处于多个不同位姿时，由所述主相机捕捉到的，并且所述多个第三彩色图像及相应的深度图像是在所述标定板分别处于所述多个不同位姿时，由所述深度相机捕捉到的。
在一种实现中，所述标定板的所述第一表面是所述标定板的正面，并且所述标定板的所述第二表面是所述标定板的背面。
在一种实现中，所述第一表面包括由多个方格组成的棋盘格平面，所述多个特征点为所述多个方格中的任意四个相邻方格的交点，并且所述第二表面包括至少三个所述标记点，每一标记点位于所述第二表面的与所述棋盘格平面的四个角点之一相对的位置。
在一种实现中，基于每一第三彩色图像及相应的深度图像，确定所述多个特征点的多个特征点三维坐标包括：从所述第三彩色图像及相应的深度图中提取每一标记点的标记点三维坐标；基于所有所述标记点三维坐标，计算所有所述交点的交点三维坐标，作为所述多个特征点三维坐标。
在一种实现中，基于每一第二彩色图像，确定所述标定板上的多个特征点的多个特征点图像坐标包括：从所述第二彩色图像中提取所有所述交点的交点图像坐标，作为所述多个特征点图像坐标。
在本申请的第三方面，提供了一种相机不可见位置的图像坐标的获取***，包括主相机、深度相机和计算设备，所述主相机和所述深度相机均与所述计算设备连接，所述深度相机被定位成使得对主相机不可见的待测位置位于所述深度相机的视野范围内，并且被配置成捕捉所述主相机不可见的待测位置的第一彩色图像及相应的深度图像；所述计算设备包括处理器，所述处理器在执行时实现根据本申请的第一方面所述的获取方法。
在本申请的第四方面，提供了一种主相机与深度相机之间的标定***，其特征在于，所述标定***包括主相机、深度相机、标定板和计算设备，所述主相机和深度相机均与所述计算设备连接，其中，所述主相机被配置成捕捉所述标定板的第一表面的多个第二彩色图像；所述深度相机被定位成使得所述主相机不可见的预期待测位置位于所述深度相机的视野范围内，并且被配置成捕捉所述标定板的第二表面的多个第三彩色图像及相应的深度图像；所述计算设备包括处理器，所述处理器在执行时实现根据本申请的第二方面所述的标定方法。
在一种实现中，所述标定板置于所述主相机和所述深度相机之间，并且所述标定板的第一表面位于所述主相机的视野范围内，所述标定板的第二表面位于所述深度相机的视野范围内，其中所述标定板的所述第一表面包括多个特征点，并且所述标定板的所述第二表面包括与所述多个特征点相关的多个标记点。
附图说明
图1示出了根据本申请的实施例的相机不可见位置的像素坐标的获取方法的流程图；
图2示出了根据本申请的实施例的主相机与深度相机之间的标定方法；
图3示出了根据本申请的实施例的标定板的第一表面的示例示意图；
图4示出了根据本申请的实施例的相机不可见位置的像素坐标的获取***的结构框图；并且
图5示出了根据本申请的实施例的主相机与深度相机之间的标定***的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。
在本说明书的描述中，术语“第一”、“第二”和“第三”仅用于对不同的技术特征进行区分，而不能理解为指示或暗示所指示技术特征的相对重要性或顺序，也不能理解为暗示或指示技术特征的数量。由此，限定有“第一”、“第二”和“第三”的特征可以明示或隐含包括一个或多个该特征。此外，在本发明的描述中，“多个”或“至少一个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，可借助于深度相机来获取主相机不可见的位置在该主相机坐标系下的图像坐标，该深度相机被定位成使得该主相机不可见的位置位于该深度相机的视野范围内。在一个实施例中，如图1所示，提供了一种相机不可见位置的图像坐标的获取方法，该方法可包括步骤101-103。
在步骤101，从深度相机获取主相机不可见的待测位置的第一彩色图像及相应的深度图像。在本申请中，为了使得深度相机能够捕捉到该第一彩色图像及相应的深度图像，可将深度相机定位成使得该待测位置位于该深度相机的视野范围内。在本申请中，主相机可以是IR相机、RGB相机或者其他可用于采集彩色图像的相机。另外，在本申请中，主相机不可见的待测位置指位于主相机的视野范围外的待测位置，例如，仅作为示例，位于主相机的正后方(即，背后) 的待测位置。在待测位置位于主相机的正后方的情况下，为了使得该待测位置能够落在深度相机的视野范围内，可将深度相机定位在与主相机正对的位置。
待测位置可以是待测位置区域，待测位置区域可例如为主相机不可见的车辆上的某个区域，例如车辆的后视镜、前窗玻璃、仪表盘等。这时，所要获取的待测位置图像坐标包括该待测位置区域的每一边界点(例如，形成道路上的凹陷区域的轮廓的各个轮廓点)的图像坐标，即每一边界点(即每一边界像素点)在主相机坐标系下的图像坐标。
待测位置也可以是待测位置点，待测位置点可例如为主相机不可见的后视镜、前窗玻璃、仪表盘等上的某个位置点。这时，所要获取的待测位置图像坐标包括待测位置点的图像坐标，即待测位置点(待测位置像素点)在主相机坐标系下的图像坐标。
在步骤102，从第一彩色图像及相应的深度图像提取待测位置三维坐标(即，待测位置在深度相机坐标系下的三维坐标)。例如，在待测位置是待测位置区域的情况下，整个待测位置区域在深度相机坐标系下的三维坐标可用V来表示，其中V＝(X,Y,Z)，X＝[x1,x2...],Y＝[y1,y2,...],Z＝[z1,z2...]，(xn,yn,zn)表示待测位置区域的第n个边界点的三维坐标(即，第n个边界点在深度相机坐标系下的三维坐标)，n为大于等于1并且小于等于边界点的总数的整数。
在步骤103，利用用于将深度相机坐标系转换成主相机坐标系的平移矩阵和旋转矩阵，将待测位置三维坐标转换为所需的待测位置图像坐标(即，待测位置在主相机坐标系下的图像坐标)，其中平移矩阵和旋转矩阵是通过在主相机和深度相机之间进行标定来确定的。在本申请中，标定指的是用于求解以上提到的用于将深度相机坐标系转换成主相机坐标系的平移矩阵和旋转矩阵的过程。在下文中将结合图2更详细的描述主相机和深度相机之间的标定方法的示例实现。
例如，可利用转换公式vir＝v*R+T来将待测位置三维坐标转换为待测位置图像坐标(即，待测位置在主相机坐标系下的图像坐标)，其中vir表示某个位置点的图像坐标(即，该位置点在主相机坐标系下的图像坐标)，v表示该位置点的三维坐标(即，该位置点在深度相机坐标系下的三维坐标)，R表示用于将深度相机坐标系转换为主相机坐标系的旋转矩阵，并且T表示用于将深度相机坐标系转换为主相机坐标系的平移矩阵。在本申请中，在待测位置为待测位置点的情况下，vir即表示该待测位置点在主相机坐标系下的图像坐标，v即表示该待测位置点在深度相机坐标系下的三维坐标。在待测位置为待测位置区域的情况下，可利用以上转换公式对待测位置区域的每一边界点分别进行计算，从而获得整个待测位置区域在主相机坐标系下的图像坐标。
在一个实施例中，如图2所示，本申请提供了一种主相机与深度相机之间的标定方法，其中深度相机被定位成使得所述主相机不可见的预期待测位置位于所述深度相机的视野范围内，该标定方法可包括步骤201-204。
在步骤201，从主相机获取标定板的第一表面的多个第二彩色图像，并从深度相机获取标定板的第二表面的多个第三彩色图像及相应的深度图像。在一种实现中，为了使得主相机能够捕捉到标定板的第一表面的多个第二彩色图像，并且深度相机能够捕捉到标定板的第二表面的多个第三彩色图像，标定板可置于主相机和深度相机之间，并且使得标定板的第一表面位于主相机的视野范围内，标定板的第二表面位于所述深度相机的视野范围内。另外，为了能够实现主相机和深度相机之间的标定，标定板的第一表面可包括多个特征点，并且标定板的第二表面可包括与所述多个特征点相关的多个标记点。例如，在一个示例中，标定板的第一表面可包括由多个方格组成的棋盘格平面(如图3所示)，这些方格中的任意四个相邻方格的交点(例如，图3中标出的交点(0,0)、交点 (0,1)、交点(1,0)……等)被设为标定板上的多个特征点，并且标定板的第二表面可包括至少三个标记点，每一标记点位于标定板的第二表面上与棋盘格平面的四个角点(即，棋盘格平面的左上角点、右上角点、左下角点和右下角点)之一相对的位置。例如，该至少三个标记点可以是位于标定板的第二表面上与棋盘格平面的左上角点、右上角点、左下角点相对的位置的标记点；又如，该至少三个标记点也可以是位于标定板的第二表面上与棋盘格平面的左上角点、右上角点、右下角点相对的位置的标记点；再如，标定板的第二表面上可以包括四个标记点，其是位于标定板的第二表面上与棋盘格平面的左上角点、右上角点、左下角点和右下角点相对的位置的标记点。当然以上仅仅是示例，本领域的技术人员基于以上示例应当可以料想到其他类似的标记方式。此外，在一个示例中，棋盘格平面可由9*9个方格组成，当然也可由其他数量的方格组成。在一种实现中，标定板的第一表面可以是标定板的正面，这时标定板的第二表面是标定板的背面。
在一种实现中，多个第二彩色图像可以是在标定板分别处于多个不同位姿时，由主相机捕捉到的，并且多个第三彩色图像及相应的深度图像可以是在标定板分别处于以上多个不同位姿时，由深度相机捕捉到的，从而使得以此计算出的旋转矩阵和平移矩阵可以覆盖各种待测位置。
在步骤202，基于每一第二彩色图像，确定标定板上的多个特征点的多个特征点图像坐标，即标定板上的多个特征点在主相机坐标系下的多个图像坐标。
在前面提到的棋盘格平面的示例中，可直接从第二彩色图像中提取所有这些交点的交点图像坐标，作为该多个特征点图像坐标。
在步骤203，基于每一第三彩色图像及相应的深度图像，确定多个特征点的多个特征点三维坐标。
在前面提到的棋盘格平面的示例中，步骤203可进一步包括：从第三彩色图像及相应的深度图像中提取每一标记点的标记点三维坐标(即每一标记点在深度相机坐标系下的三维坐标)；基于所有标记点三维坐标，计算所有这些交点的交点三维坐标(即，所有这些交点在深度相机坐标系下的三维坐标)，作为多个特征点三维坐标。
例如，可基于以下公式来计算第i行j列的交点(即特征点)交点三维坐标：
vi,j＝vtop_right+(i+1)*(vtop_left-vtop_right)/m+(j+1)*(vbottom_left-vtop_left)/n (1)
其中，vtop_right为位于标定板的第二表面的右上角的标记点(即位于标定板的第二表面上与棋盘格平面的左上角点(例如，图3中标出的左上角点)相对的位置的标记点)，vtop_left为位于标定板的第二表面的左上角的标记点(即，位于标定板的第二表面上与棋盘格平面的右上角点(例如，图3中标出的右上角点)相对的位置的标记点)，vbotton_left为位于标定板的第二表面的左下角的标记点(即，位于标定板的第二表面上与棋盘格平面的右下角点(例如，图3中标出的右下角点)相对的位置的标记点)，m表示棋盘格平面横向所具有的方格的个数，n表示棋盘格平面纵向所具有的方格的个数，i为小于等于m-2的整数，为小于等于n-2的整数。
在以上公式(1)中，第i行j列的交点(即特征点)可例如按图3所示的各个特征点的表示方法来取值，以确保在步骤203计算出的多个特征点三维坐标与在步骤202确定的特征点图像坐标之间具有对应关系。
本领域技术人员应了解，以上公式仅仅是示例，当在标定板的第二表面上的标记点不同时，以上公式也会有略有区别。
在步骤204，基于所确定的所有特征点三维坐标以及所确定的所有特征点图像坐标，计算用于将深度相机坐标系转换成主相机坐标系的平移矩阵和旋转矩阵。
如前面所提到的，在本申请中，获取了多个第三彩色图像及相应的深度图像(例如，可获取N个第三彩色图像及相应的深度图像)，并基于每一第三彩色图像及相应的深度图像均确定了多个特征点三维坐标(例如，K个特征点三维坐标，例如在图3的示例中，为每一第三彩色图像及相应的深度图像均确定了16个特征点三维坐标)。为了计算平移矩阵和旋转矩阵，将所有的特征点三维坐标拼接在一起形成一个二维矩阵，其中该二维矩阵的三个列分别指示各特征点三维坐标的三个坐标值，并且每一行代表一个特征点，因此所有行可以指示所有N个图像的所有特征点。
类似地，在本申请中，也获取了多个第二彩色图像(例如，也获取N个第二彩色图像)，并且基于每一第二彩色图像均确定多个特征点图像坐标(例如， K个特征点图像坐标，例如在图3的示例中，为每一第二彩色图像均确定了16 个特征点图像坐标)。在计算平移矩阵和旋转矩阵时，将所有的特征点图像坐标也拼接在一起形成另一个二维矩阵，其中该二维矩阵的三个列分别指示各特征点图像坐标的两个坐标值，并且每一行代表一个特征点，因此所有行可以指示所有N个图像的所有特征点。
基于这两个二维矩阵来计算平移矩阵和旋转矩阵的方式可采用本领域已知的方式或待开发的方式来实现，对此本文中将进行赘述。
在另一实施例中，如图4所示，提供了一种相机不可见位置的图像坐标的获取***。该获取***可包括主相机401、深度相机402和计算设备403。主相机401和深度相机402均与计算设备403连接，并且深度相机402被定位成使得待测位置位于所述深度相机的视野范围内。计算设备403包括处理器，所述处理器在执行时可实现如以上结合图1所描述的获取方法。
在又一实施例中，如图5所示，本申请还提供了一种主相机与深度相机之间的标定***。该标定***可包括主相机501、深度相机502、标定板504和计算设备503，主相机501和深度相机502均与计算设备503连接。在一个示例中，例如当需要在图4所示的主相机401和深度相机402之间进行标定时，图5中的主相机501、深度相机502和计算设备503分别表示图4中的主相机401、深度相机402和计算设备403。
在该标定***中，主相机504被配置成捕捉标定板504的第一表面的多个第二彩色图像。
深度相机502被定位成使得主相机501不可见的预期待测位置位于深度相机502的视野范围内，并且被配置成捕捉标定板504的第二表面的多个第三彩色图像及相应的深度图像。
计算设备503包括处理器，处理器在执行时实现如以上结合图2所描述的标定方法。
在一种实现中，标定板504可置于主相机501和深度相机502之间，并且标定板503的第一表面位于主相机501的视野范围内，标定板504的第二表面位于深度相机502的视野范围内，其中标定板504的第一表面包括多个特征点，并且标定板504的所述第二表面包括与多个特征点相关的多个标记点。例如，在一个示例中，标定板的第一表面可包括由多个方格组成的棋盘格平面(如图 3所示)，并且多个特征点为这些方格中的任意四个相邻方格的交点(例如，图 3中标出的交点(0,0)、交点(0,1)、交点(1,0)……等)，并且标定板的第二表面包括至少三个标记点，每一标记点位于标定板的第二表面上与棋盘格平面的四个角点(即，棋盘格平面的左上角点、右上角点、左下角点和右下角点)之一相对的位置。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种相机不可见位置的图像坐标的获取方法，其特征在于，包括：
从深度相机获取主相机不可见的待测位置的第一彩色图像及相应的深度图像，其中所述深度相机被定位成使得所述待测位置位于所述深度相机的视野范围内；
从所述第一彩色图像及相应的深度图像提取待测位置三维坐标；以及
利用用于将深度相机坐标系转换成主相机坐标系的平移矩阵和旋转矩阵，将所述待测位置三维坐标转换为所需的待测位置图像坐标，其中所述平移矩阵和旋转矩阵是通过在所述主相机和所述深度相机之间进行标定来确定的。
2.根据权利要求1所述的获取方法，其特征在于，所述待测位置位于所述主相机的正后方，并且所述深度相机被定位在与所述主相机正对的位置。
3.根据权利要求1所述的获取方法，其特征在于，所述待测位置为待测位置区域，并且所述待测位置图像坐标包括所述待测位置区域的每一边界点的图像坐标。
4.根据权利要求1所述的获取方法，其特征在于，所述待测位置为待测位置点，并且所述待测位置图像坐标包括所述待测位置点的图像坐标。
5.一种主相机与深度相机之间的标定方法，其特征在于，所述深度相机被定位成使得所述主相机不可见的预期待测位置位于所述深度相机的视野范围内，所述标定方法包括：
从所述主相机获取标定板的第一表面的多个第二彩色图像，并从所述深度相机获取所述标定板的第二表面的多个第三彩色图像及相应的深度图像；
基于每一第二彩色图像，确定所述标定板上的多个特征点的多个特征点图像坐标；
基于每一第三彩色图像及相应的深度图像，确定所述多个特征点的多个特征点三维坐标；以及
基于所确定的所有特征点三维坐标以及所确定的所有特征点图像坐标，计算用于将深度相机坐标系转换成主相机坐标系的平移矩阵和旋转矩阵。
6.根据权利要求5所述的标定方法，其特征在于，所述标定板置于所述主相机和所述深度相机之间，并且所述标定板的所述第一表面位于所述主相机的视野范围内，所述标定板的所述第二表面位于所述深度相机的视野范围内，并且其中所述标定板的所述第一表面包括所述多个特征点，并且所述标定板的所述第二表面包括与所述多个特征点相关的多个标记点。
7.根据权利要求5所述的标定方法，其特征在于，所述多个第二彩色图像是在所述标定板分别处于多个不同位姿时，由所述主相机捕捉到的，并且所述多个第三彩色图像及相应的深度图像是在所述标定板分别处于所述多个不同位姿时，由所述深度相机捕捉到的。
8.根据权利要求5或6所述的标定方法，其特征在于，所述标定板的所述第一表面是所述标定板的正面，并且所述标定板的所述第二表面是所述标定板的背面。
9.根据权利要求6所述的标定方法，其特征在于，所述第一表面包括由多个方格组成的棋盘格平面，所述多个特征点为所述多个方格中的任意四个相邻方格的交点，并且所述第二表面包括至少三个所述标记点，每一标记点位于所述第二表面的与所述棋盘格平面的四个角点之一相对的位置。
10.根据权利要求9所述的标定方法，其特征在于，基于每一第三彩色图像及相应的深度图像，确定所述多个特征点的多个特征点三维坐标包括：
从所述第三彩色图像及相应的深度图中提取每一标记点的标记点三维坐标；
基于所有所述标记点三维坐标，计算所有所述交点的交点三维坐标，作为所述多个特征点三维坐标。
11.根据权利要求9所述的标定方法，其特征在于，基于每一第二彩色图像，确定所述标定板上的多个特征点的多个特征点图像坐标包括：
从所述第二彩色图像中提取所有所述交点的交点图像坐标，作为所述多个特征点图像坐标。
12.一种相机不可见位置的图像坐标的获取***，包括主相机、深度相机和计算设备，所述主相机和所述深度相机均与所述计算设备连接，
所述深度相机被定位成使得对主相机不可见的待测位置位于所述深度相机的视野范围内，并且被配置成捕捉所述主相机不可见的待测位置的第一彩色图像及相应的深度图像；
所述计算设备包括处理器，所述处理器在执行时实现根据权利要求1-4中的任一项所述的获取方法。
13.一种主相机与深度相机之间的标定***，其特征在于，所述标定***包括主相机、深度相机、标定板和计算设备，所述主相机和深度相机均与所述计算设备连接，
其中，所述主相机被配置成捕捉所述标定板的第一表面的多个第二彩色图像；
所述深度相机被定位成使得所述主相机不可见的预期待测位置位于所述深度相机的视野范围内，并且被配置成捕捉所述标定板的第二表面的多个第三彩色图像及相应的深度图像；
所述计算设备包括处理器，所述处理器在执行时实现根据权利要求5-11中的任一项所述的标定方法。
14.根据权利要求13所述的标定***，其特征在于，所述标定板置于所述主相机和所述深度相机之间，并且所述标定板的第一表面位于所述主相机的视野范围内，所述标定板的第二表面位于所述深度相机的视野范围内，其中所述标定板的所述第一表面包括多个特征点，并且所述标定板的所述第二表面包括与所述多个特征点相关的多个标记点。
CN202110335327.4A 2021-03-29 2021-03-29 相机不可见位置的图像坐标的获取方法、标定方法及*** Active CN113052917B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110335327.4A CN113052917B (zh) 2021-03-29 2021-03-29 相机不可见位置的图像坐标的获取方法、标定方法及***
US17/703,397 US20220309710A1 (en) 2021-03-29 2022-03-24 Obtaining method for image coordinates of position invisible to camera, calibration method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110335327.4A CN113052917B (zh) 2021-03-29 2021-03-29 相机不可见位置的图像坐标的获取方法、标定方法及***

Publications (2)

Publication Number Publication Date
CN113052917A true CN113052917A (zh) 2021-06-29
CN113052917B CN113052917B (zh) 2024-05-07

Family

ID=76516137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110335327.4A Active CN113052917B (zh) 2021-03-29 2021-03-29 相机不可见位置的图像坐标的获取方法、标定方法及***

Country Status (2)

Country Link
US (1) US20220309710A1 (zh)
CN (1) CN113052917B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052917B (zh) * 2021-03-29 2024-05-07 黑芝麻智能科技(上海)有限公司 相机不可见位置的图像坐标的获取方法、标定方法及***

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102692236A (zh) * 2012-05-16 2012-09-26 浙江大学 基于rgb-d相机的视觉里程计方法
CN105205858A (zh) * 2015-09-18 2015-12-30 天津理工大学 一种基于单个深度视觉传感器的室内场景三维重建方法
CN109272555A (zh) * 2018-08-13 2019-01-25 长安大学 一种rgb-d相机的外部参数获得及标定方法
CN109492513A (zh) * 2018-05-24 2019-03-19 曜科智能科技（上海）有限公司 光场监控的人脸空间去重方法
CN109741405A (zh) * 2019-01-21 2019-05-10 同济大学 一种基于对偶结构光rgb-d相机的深度信息采集***
CN109816703A (zh) * 2017-11-21 2019-05-28 西安交通大学 一种基于相机标定和icp算法的点云配准方法
CN112132906A (zh) * 2020-09-22 2020-12-25 西安电子科技大学 一种深度相机与可见光相机之间的外参标定方法及***
CN112233189A (zh) * 2020-12-14 2021-01-15 深圳普罗米修斯视觉技术有限公司 多深度相机外部参数标定方法、装置及存储介质
CN112258658A (zh) * 2020-10-21 2021-01-22 河北工业大学 一种基于深度相机的增强现实可视化方法及应用
CN112381886A (zh) * 2020-11-16 2021-02-19 深圳市洲明科技股份有限公司 基于多相机的三维场景重建方法、存储介质及电子设备
CN112435206A (zh) * 2020-11-24 2021-03-02 北京交通大学 利用深度相机对物体进行三维信息重建的方法
US20220309710A1 (en) * 2021-03-29 2022-09-29 Black Sesame Technologies Inc. Obtaining method for image coordinates of position invisible to camera, calibration method and system

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102692236A (zh) * 2012-05-16 2012-09-26 浙江大学 基于rgb-d相机的视觉里程计方法
CN105205858A (zh) * 2015-09-18 2015-12-30 天津理工大学 一种基于单个深度视觉传感器的室内场景三维重建方法
CN109816703A (zh) * 2017-11-21 2019-05-28 西安交通大学 一种基于相机标定和icp算法的点云配准方法
CN109492513A (zh) * 2018-05-24 2019-03-19 曜科智能科技（上海）有限公司 光场监控的人脸空间去重方法
CN109272555A (zh) * 2018-08-13 2019-01-25 长安大学 一种rgb-d相机的外部参数获得及标定方法
CN109741405A (zh) * 2019-01-21 2019-05-10 同济大学 一种基于对偶结构光rgb-d相机的深度信息采集***
CN112132906A (zh) * 2020-09-22 2020-12-25 西安电子科技大学 一种深度相机与可见光相机之间的外参标定方法及***
CN112258658A (zh) * 2020-10-21 2021-01-22 河北工业大学 一种基于深度相机的增强现实可视化方法及应用
CN112381886A (zh) * 2020-11-16 2021-02-19 深圳市洲明科技股份有限公司 基于多相机的三维场景重建方法、存储介质及电子设备
CN112435206A (zh) * 2020-11-24 2021-03-02 北京交通大学 利用深度相机对物体进行三维信息重建的方法
CN112233189A (zh) * 2020-12-14 2021-01-15 深圳普罗米修斯视觉技术有限公司 多深度相机外部参数标定方法、装置及存储介质
US20220309710A1 (en) * 2021-03-29 2022-09-29 Black Sesame Technologies Inc. Obtaining method for image coordinates of position invisible to camera, calibration method and system

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KARTIK E. CHOLACHGUDDA等: ""Geometric Calibration of a Time-of-Flight Depth Sensor and a Colour Camera Pair"", 《IEEE》 *
刘钲: "" 机器人目标位置姿态估计及抓取研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
许宝杯: ""基于深度相机的三维热成像重建技术研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN113052917B (zh) 2024-05-07
US20220309710A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
JP4886560B2 (ja) 情報処理装置、情報処理方法
EP2111530B1 (en) Automatic stereo measurement of a point of interest in a scene
CN109767473B (zh) 一种全景泊车装置标定方法及装置
CN101216937B (zh) 港口运动集装箱定位***的参数标定方法
CN1959740B (zh) 图像处理方法及图像处理装置
CN106127745A (zh) 结构光3d视觉***与线阵相机的联合标定方法及装置
Worrall et al. A simple, intuitive camera calibration tool for natural images.
CN108989794B (zh) 基于抬头显示***的虚像信息测量方法及***
CN113847930A (zh) 多传感器校准***
CN111243029A (zh) 视觉传感器的标定方法以及装置
CN112348869A (zh) 通过检测和标定恢复单目slam尺度的方法
CN110827361A (zh) 基于全局标定架的相机组标定方法及装置
CN109063632B (zh) 一种基于双目视觉的泊车位特征筛选方法
CN109308462B (zh) 一种指静脉和指节纹感兴趣区域定位方法
CN113096183A (zh) 一种基于激光雷达与单目相机的障碍物检测与测量方法
CN114724104B (zh) 一种视认距离检测的方法、装置、电子设备、***及介质
CN111382591A (zh) 一种双目相机测距校正方法及车载设备
CN113052917B (zh) 相机不可见位置的图像坐标的获取方法、标定方法及***
CN112308926A (zh) 一种无公共视场的相机外参标定方法
CN115079143A (zh) 一种用于双桥转向矿卡的多雷达外参快速标定方法及装置
CN111538008A (zh) 变换矩阵确定方法、***及装置
CN114485479B (zh) 基于双目相机和惯性导航的结构光扫描测量方法及***
CN102637094A (zh) 应用于光学式触控装置的校正信息计算方法及***
CN112734857B (zh) 相机内参和相机相对激光雷达外参的标定方法及电子设备
CN114862960A (zh) 多相机标定的图像地面找平方法、装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant