CN112634377A - 扫地机器人的相机标定方法、终端和计算机可读存储介质 - Google Patents

扫地机器人的相机标定方法、终端和计算机可读存储介质 Download PDF

Info

Publication number
CN112634377A
CN112634377A CN202011595775.XA CN202011595775A CN112634377A CN 112634377 A CN112634377 A CN 112634377A CN 202011595775 A CN202011595775 A CN 202011595775A CN 112634377 A CN112634377 A CN 112634377A
Authority
CN
China
Prior art keywords
calibration
camera
image
sweeping robot
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011595775.XA
Other languages
English (en)
Inventor
杨勇
宫海涛
罗志康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen 3irobotix Co Ltd
Original Assignee
Shenzhen 3irobotix Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen 3irobotix Co Ltd filed Critical Shenzhen 3irobotix Co Ltd
Priority to CN202011595775.XA priority Critical patent/CN112634377A/zh
Publication of CN112634377A publication Critical patent/CN112634377A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/24Floor-sweeping machines, motor-driven
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4002Installations of electric equipment
    • A47L11/4005Arrangements of batteries or cells; Electric power supply arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种扫地机器人的相机标定方法、终端和计算机可读存储介质,扫地机器人的相机标定方法包括:获取扫地机器人的相机在不同角度拍摄的标定物的标定图像,标定物粘贴在扫地机器人进行充电的充电桩上;对标定图像执行图像分割操作得到分割图像,对分割图像执行滤波操作得到二值图像;对二值图像执行边缘提取操作得到边缘图像,计算边缘图像的中心坐标;根据中心坐标计算扫地机器人的相机参数,得到相机的内部参数和外部参数。通过充电桩与标定物的结合以及自标定算法进行双目扫地机器人的自动标定,解决了现有相机标定方式不适用于双目扫地机器人的问题,提高了相机标定的准确性和标定算法的鲁棒性。

Description

扫地机器人的相机标定方法、终端和计算机可读存储介质
技术领域
本申请涉及相机标定技术领域,尤其涉及一种扫地机器人的相机标定方法、终端和计算机可读存储介质。
背景技术
目前,相机标定技术常见的有如下几种类型:传统相机标定法以,主动视觉相机标定方法和相机自标定法。其中,传统相机标定法在标定过程中始终需要标定物的位置变换,且标定物的制作精度会影响标定结果,同时有些场合不适合放置标定物也限制了传统相机标定法的应用。自标定方法灵活性强,可对相机进行在线定标,但由于它是基于绝对二次曲线或曲面的方法,其算法鲁棒性差。主动视觉相机标定方法算法简单,往往能够获得线性解,故鲁棒性较高,但其***的成本高、实验设备昂贵、实验条件要求高,且不适用于运动参数未知或无法控制的场合。对于双目扫地机器人而言,由于会经常性碰撞导致双目需要经常重新标定,而利用传统标定方法需要工作人员进行人工标定是不现实的,利用主动视觉标定要求太高,自标定的算法鲁棒性较差,标定误差大,主要是因为标定物的中心坐标不好计算。由此可知,现有相机标定方式不适用于双目扫地机器人。
发明内容
本申请实施例通过提供一种扫地机器人的相机标定方法、终端和计算机可读存储介质,旨在解决现有相机标定方式不适用于双目扫地机器人的问题。
为实现上述目的,本申请一方面提供一种扫地机器人的相机标定方法,所述扫地机器人的相机标定方法包括以下步骤:
获取扫地机器人的相机在不同角度拍摄的标定物的标定图像,所述标定物粘贴在所述扫地机器人进行充电的充电桩上;
对所述标定图像执行图像分割操作得到分割图像,对所述分割图像执行滤波操作得到二值图像;
对所述二值图像执行边缘提取操作得到边缘图像,计算所述边缘图像的中心坐标;
根据所述中心坐标计算所述扫地机器人的相机参数,得到所述相机的内部参数和外部参数。
可选地,所述对所述标定图像执行图像分割操作得到分割图像,对所述分割图像执行滤波操作得到二值图像的步骤包括:
对所述标定图像执行动态阈值分割操作得到所述分割图像;
对所述分割图像进行滤波以滤除所述分割图像中的孤立点,得到所述二值图像。
可选地,所述对所述二值图像执行边缘提取操作得到边缘图像,计算所述边缘图像的中心坐标的步骤包括:
对所述二值图像中不同的黑格子块进行边缘提取,得到所述黑格子块的边缘图像;
获取所述边缘图像中的边缘点数据,根据所述边缘点数据和设定的方程计算拟合参数;
根据所述拟合参数计算所述边缘图像的中心坐标。
可选地,所述根据所述中心坐标计算所述扫地机器人的相机参数,得到所述相机的内部参数和外部参数的步骤包括:
获取所述中心坐标对应的二维计算机帧存坐标和三维空间坐标;
将所述二维计算机帧存坐标和所述三维空间坐标代入相机模型中,基于设定标定方式进行线性求解,得到所述相机的内部参数和外部参数。
可选地,所述基于设定标定方式进行线性求解,得到所述相机的内部参数和外部参数的步骤包括:
基于所述设定标定方式中的世界坐标系与相机坐标系的关系,径向排列约束条件以及外部参数矩阵的正交性获取所述外部参数;
根据所述外部参数和像素坐标与实际物理坐标的关系获取所述内部参数。
可选地,所述根据所述中心坐标计算所述扫地机器人的相机参数,得到所述相机的内部参数和外部参数的步骤之后,还包括:
获取标定参数和不同高度拍摄的所述标定物的标定图像;
将所述标定参数与所述不同高度拍摄的所述标定物的标定图像进行所述中心坐标匹配,并计算所述中心坐标的三维空间坐标;
基于所述中心坐标的三维空间坐标对所述标定参数进行检验。
可选地,所述计算所述边缘图像的中心坐标的步骤之前,还包括:
对所述边缘图像的边缘信息进行跟踪,并获取所述边缘图像的特征信息;
基于所述特征信息对所述边缘图像进行筛选,以使所述边缘图像与所述标定图像中的特征图形形成对应关系。
可选地,所述获取扫地机器人的相机在不同角度拍摄的标定物的标定图像的步骤包括:
在所述扫地机器人进行回充时,控制所述相机从不同角度拍摄所述标定物,得到不同角度拍摄的所述标定图像。
此外,为实现上述目的,本申请另一方面还提供一种终端,所述终端包括存储器、处理器及存储在存储器上并在处理器上运行的扫地机器人的相机标定程序,所述处理器执行所述扫地机器人的相机标定程序时实现如上所述扫地机器人的相机标定方法的步骤。
此外,为实现上述目的,本申请另一方面还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有扫地机器人的相机标定程序,所述扫地机器人的相机标定程序被处理器执行时实现如上所述扫地机器人的相机标定方法的步骤。
本实施例通过获取扫地机器人的相机在不同角度拍摄的标定物的标定图像,标定物粘贴在扫地机器人进行充电的充电桩上;对标定图像执行图像分割操作得到分割图像,对分割图像执行滤波操作得到二值图像;对二值图像执行边缘提取操作得到边缘图像,计算边缘图像的中心坐标;根据中心坐标计算扫地机器人的相机参数,得到相机的内部参数和外部参数。通过充电桩与标定物的结合以及自标定算法进行双目扫地机器人的自动标定,解决了现有相机标定方式不适用于双目扫地机器人的问题,提高了相机标定的准确性和标定算法的鲁棒性。
附图说明
图1为本申请实施例方案涉及的硬件运行环境的终端结构示意图;
图2为本申请扫地机器人的相机标定方法第一实施例的流程示意图;
图3为本申请扫地机器人的相机标定方法第二实施例的流程示意图;
图4为本申请扫地机器人的相机标定方法第三实施例的流程示意图;
图5为本申请扫地机器人的相机标定方法中对所述标定图像执行图像分割操作得到分割图像,对所述分割图像执行滤波操作得到二值图像的流程示意图;
图6为本申请扫地机器人的相机标定方法中对所述二值图像执行边缘提取操作得到边缘图像,计算所述边缘图像的中心坐标的流程示意图;
图7为本申请扫地机器人的相机标定方法中根据所述中心坐标计算所述扫地机器人的相机参数,得到所述相机的内部参数和外部参数的流程示意图;
图8为本申请扫地机器人的相机标定方法中基于设定标定方式进行线性求解,得到所述相机的内部参数和外部参数的流程示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
本申请实施例的主要解决方案是:获取扫地机器人的相机在不同角度拍摄的标定物的标定图像,所述标定物粘贴在所述扫地机器人进行充电的充电桩上;对所述标定图像执行图像分割操作得到分割图像,对所述分割图像执行滤波操作得到二值图像;对所述二值图像执行边缘提取操作得到边缘图像,计算所述边缘图像的中心坐标;根据所述中心坐标计算所述扫地机器人的相机参数,得到所述相机的内部参数和外部参数。
对于双目扫地机器人而言,由于会经常性碰撞导致双目需要经常重新标定,而利用传统标定方法需要工作人员进行人工标定是不现实的,利用主动视觉标定要求太高,自标定的算法鲁棒性较差,标定误差大,也即,现有相机标定方式不适用于双目扫地机器人。本申请通过获取扫地机器人的相机在不同角度拍摄的标定物的标定图像,标定物粘贴在扫地机器人进行充电的充电桩上;对标定图像执行图像分割操作得到分割图像,对分割图像执行滤波操作得到二值图像;对二值图像执行边缘提取操作得到边缘图像,计算边缘图像的中心坐标;根据中心坐标计算扫地机器人的相机参数,得到相机的内部参数和外部参数。通过充电桩与标定物的结合以及自标定算法进行双目扫地机器人的自动标定,解决了现有相机标定方式不适用于双目扫地机器人的问题,提高了相机标定的准确性和标定算法的鲁棒性。
如图1所示,图1为本申请实施例方案涉及的硬件运行环境的终端结构示意图。
如图1所示,该终端可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,终端还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、遥控器、音频电路、WiFi模块、检测器等等。当然,所述终端还可配置陀螺仪、气压计、湿度计、温度传感器等其他传感器,在此不再赘述。
本领域技术人员可以理解,图1中示出的终端结构并不构成对终端设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机可读存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及扫地机器人的相机标定程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中扫地机器人的相机标定程序,并执行以下操作:
获取扫地机器人的相机在不同角度拍摄的标定物的标定图像,所述标定物粘贴在所述扫地机器人进行充电的充电桩上;
对所述标定图像执行图像分割操作得到分割图像,对所述分割图像执行滤波操作得到二值图像;
对所述二值图像执行边缘提取操作得到边缘图像,计算所述边缘图像的中心坐标;
根据所述中心坐标计算所述扫地机器人的相机参数,得到所述相机的内部参数和外部参数。
参考图2,图2为本申请扫地机器人的相机标定方法第一实施例的流程示意图。
本申请实施例提供了扫地机器人的相机标定方法的实施例,需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
扫地机器人的相机标定方法包括:
步骤S10,获取扫地机器人的相机在不同角度拍摄的标定物的标定图像,所述标定物粘贴在所述扫地机器人进行充电的充电桩上;
基于视觉的导航技术,一个很重要的部分是摄像头的校准,只有参数校准的摄像头,外部景物投影到图像传感器上面图像才能做精确的导航计算。相机的参数分为内部参数和外部参数,其中,内部参数指相机的焦距、畸变、中心点等,外部参数主要指相机相对于机器的空间位移和旋转角度。由于相机本身的参数不能保证一致性,同时安装也存在一致性问题,因此,为了保证视觉计算的精确度,每个机器人都需要进行相机的内外参数的校准。
双目扫地机器人的充电桩上粘贴有标定物(又称标定板),其中,根据不同的自标定算法,可以搭配不同的标定物,例如:黑白正方形棋盘格或者黑白圆形棋盘格。在本申请中,为便于利用双目扫地机器人不同方向拍摄标定物和中心点计算,选取黑白正方形棋盘格作为标定物。在双目扫地机器人进行回充时,通过两个摄像头在不同方向拍摄标定物的标定图像,具体地,在回充的过程中,当标定物出现在两个摄像头的公共视场时,获取左右摄像头拍摄的各一幅标定图像,然后在移动某一距离后,在不同的方向再获取左右摄像头拍摄的幅标定图像。
步骤S20,对所述标定图像执行图像分割操作得到分割图像,对所述分割图像执行滤波操作得到二值图像;
双目扫地机器人在采集标定图像后,需要对标定图像进行图像分割,进一步对分割图像进行滤波得到二值图像。参考图5,所述对所述标定图像执行图像分割操作得到分割图像,对所述分割图像执行滤波操作得到二值图像的步骤包括:
步骤S21,对所述标定图像执行动态阈值分割操作得到所述分割图像;
步骤S22,对所述分割图像进行滤波以滤除所述分割图像中的孤立点,得到所述二值图像。
标定图像的直方图一般均具有双峰,其中目标表现为突兀的单峰,因此,可以利用动态阈值法进行阈值分割,得到二值图像。具体地,标定图像中不同的颜色对应不同的灰度值,灰度值的范围为0到255,其中,黑色为0,白色为255。基于灰度特征将标定图像划分成若干个互不相交的区域,使得这些灰度特征在同一区域内表现出一致性或相似性,而在不同区域间表现出明显的不同,也即在一幅图像中,将目标从背景中分离出来,也就是说把标定图像中的黑色格子提取出来。但由于噪声的存在,阈值分割之后的图像有许多零星的杂乱点,这些杂乱点一般都是比较孤立的点,而目标则是连续的图像,因此,采用一种基于几何形状的滤波方法,既可以滤除绝大部分的孤立点,又可较好地保护目标点集,从而使噪声对标定的影响降低。通过这种方法可以有效减少环境光对标定的影响,使其适应不同的工作环境,这样就可以把拍摄标定物,畸变导致的黑格子分割出来,形成的黑白图像,就是二值图像。其中,由于摄像头拍摄的时候会出现一些黑白点在图像上,这些随机出现的黑白点就是噪声。
步骤S30,对所述二值图像执行边缘提取操作得到边缘图像,计算所述边缘图像的中心坐标;
在采集标定图像的过程中,由于摄像机方位及其本身畸变系数等因素的影响,在不用方向拍摄同一标点物的多幅标定图像时,标定图像的形状有可能发生改变,例如:标定图像的形状可能为正方形、菱形、长方形以及不规则的四边形等,进一步标定图像中的黑格子的形状也会发生改变。因此,为了尽可能地减小相机畸变对标定结果的影响,应尽量使标定模板与相机平行,并使棋盘图像位于成像中心位置。
在获取到二值图像后,对该二值图像进行形态学上的轮廓提取得到对应的边缘图像,再计算不同边缘图像的中心坐标,该中心坐标和原图中的中心坐标有投影关系,即特征点,其中,在进行轮廓提取时,主要是提取因畸变产生的不同黑格子块的轮廓图,参考图6,所述对所述二值图像执行边缘提取操作得到边缘图像,计算所述边缘图像的中心坐标的步骤包括:
步骤S31,对所述二值图像中不同的黑格子块进行边缘提取,得到所述黑格子块的边缘图像;
步骤S32,获取所述边缘图像中的边缘点数据,根据所述边缘点数据和设定的方程计算拟合参数;
步骤S33,根据所述拟合参数计算所述边缘图像的中心坐标。
双目扫地机器人对提取的二值图进行形态学上的轮廓提取,把因畸变产生的不同黑格子块(正方形,菱形,长方形等)根据轮廓提取出不同形状,用于特征提取计算。获取边缘图像中的边缘点数据,根据边缘点数据和设定的方程计算拟合参数,根据该拟合参数计算边缘图像的中心坐标。具体地,利用最小二乘法求出四边形的中心的计算机帧存坐标(ui,vi),具体算法如下:
四边形的一般方程为:
A1*x+B1*y+C1=0
A2*x+B2*y+C2=0
A3*x+B3*y+C3=0
A4*x+B4*y+C4=0
将提取的边缘点数据代入四边形的一般方程中,组成超越方程,然后用最优化方法解出拟合参数A、B、C,四边形的中心坐标为(X,Y),其中,X与Y是基于拟合参数计算得到的。
可选地,若所选的标定物为黑白圆形棋盘格时,圆形棋盘格因摄像机方位及其本身畸变系数等因素的影响得到的一般是椭圆,椭圆的中心与圆孔的中心点存在确定的投影关系,其中心点就是所要提取的特征点。利用椭圆边缘点数据,再拟合出椭圆方程,利用最小二乘法求出椭圆的圆孔中心的计算机帧存坐标(ui,vi)。具体算法如下:
椭圆的一般方程为:
Ax2+2Bxy+Cy2+2Dx+2Ey+F=0
将检测出的椭圆边缘点数据代入上述式子中,组成超越方程组,然后用最优化方法解出最小二乘意义上的最佳拟合参数A、B、C、D、E、F,则椭圆中心(X,Y)的坐标为:
X=(BE-2CD)/(B2-4AC)
Y=(2EA-BD)/(B2-4AC)
步骤S40,根据所述中心坐标计算所述扫地机器人的相机参数,得到所述相机的内部参数和外部参数。
标定法最常用的就是利用透视变换矩阵的摄像机标定技术,从物体的三维点到图像点的二维变换是线性变换的,在给定足够多点的三维世界坐标,及其相应的图像坐标,就可以利用线性变换矩阵的各个元素,求得摄像机的参数,求得透视变换矩阵,再把透视矩阵分解得到的摄像机的内部参数和外部参数。
获取中心坐标(即特征点)的对应的二维坐标和三维坐标,在基于两步标定法进行线性求解完成摄像机的标定,得到摄像机的内部参数和外部参数。参考图7,所述根据所述中心坐标计算所述扫地机器人的相机参数,得到所述相机的内部参数和外部参数的步骤包括:
步骤S41,获取所述中心坐标对应的二维计算机帧存坐标和三维空间坐标;
步骤S42,将所述二维计算机帧存坐标和所述三维空间坐标代入相机模型中,基于设定标定方式进行线性求解,得到所述相机的内部参数和外部参数。
获取中心坐标对应的二维计算机帧存坐标和三维空间坐标,将二维计算机帧存坐标和三维空间坐标代入摄像机模型中,依据摄像机模型中的四大坐标:世界坐标、图像坐标、像素坐标以及实际物理坐标之间的转换关系,同时,依据RAC(径向排列约束)两步法进行线性求解完成摄像机的标定,得到摄像机的内部参数和外部参数。其中,Tsai两步标定法是传统摄像机标定方法中的一种,Tsai根据摄像机的径向畸变模型,利用径向排列约束条件提出一种两阶段标定方法:首先根据径向排列约束求解出大部分模型参数,然后通过非线性搜索方法求解畸变系数、有效焦距等参数。
进一步地,参考图8,所述基于设定标定方式进行线性求解,得到所述相机的内部参数和外部参数的步骤包括:
步骤S420,基于所述设定标定方式中的世界坐标系与相机坐标系的关系,径向排列约束条件以及外部参数矩阵的正交性获取所述外部参数;
步骤S421,根据所述外部参数和像素坐标与实际物理坐标的关系获取所述内部参数。
在Tsai两步标定法中,基于直接线性标定求解摄像机的外部参数,具体地,获取特征点的像素坐标后,根据世界坐标系和摄像机坐标系的关系:
Figure BDA0002866323190000101
Figure BDA0002866323190000102
再根据径向一致约束:
Figure BDA0002866323190000103
以及R的正交性,即det(R)=1,求得摄像机外部参数矩阵R,及平移量t1、t2,其中,Xw、Yw、Zw为空间一点P在世界坐标系的坐标,x、y为P点在摄像机坐标系下的坐标,u、v为P点在图像上的像素坐标;R为3*3正交单位矩阵,t为三维平移向量,s为不确定长度因子或纵横比,f为有效焦距。
在得到摄像机的外部参数后,进一步基于非线性优化计算内部参数,具体地,直接线性标定没有考虑镜头变形,存在误差大和结果不稳定的缺陷,因此要进行非线性优化,实际像点坐标与理想像点坐标之间有如下关系:
Figure BDA0002866323190000104
Figure BDA0002866323190000105
带入上一步求得的摄像机外参数数据得:
Figure BDA0002866323190000106
利用最小二乘法,可求得精确的相机内参数。其中,
Figure BDA0002866323190000107
为实际像点坐标。
本实施例通过获取扫地机器人的相机在不同角度拍摄的标定物的标定图像,标定物粘贴在扫地机器人进行充电的充电桩上;对标定图像执行图像分割操作得到分割图像,对分割图像执行滤波操作得到二值图像;对二值图像执行边缘提取操作得到边缘图像,计算边缘图像的中心坐标;根据中心坐标计算扫地机器人的相机参数,得到相机的内部参数和外部参数。通过充电桩与标定物的结合以及自标定算法进行双目扫地机器人的自动标定,解决了现有相机标定方式不适用于双目扫地机器人的问题,提高了相机标定的准确性和标定算法的鲁棒性。
进一步地,参考图3,提出本申请扫地机器人的相机标定方法第二实施例。
所述扫地机器人的相机标定方法第二实施例与所述扫地机器人的相机标定方法第一实施例的区别在于,所述根据所述中心坐标计算所述扫地机器人的相机参数,得到所述相机的内部参数和外部参数的步骤之后,还包括:
步骤S43,获取标定参数和不同高度拍摄的所述标定物的标定图像;
步骤S44,将所述标定参数与所述不同高度拍摄的所述标定物的标定图像进行所述中心坐标匹配,并计算所述中心坐标的三维空间坐标;
步骤S45,基于所述中心坐标的三维空间坐标对所述标定参数进行检验。
在完成相机参数的标定后,还需要对标定参数进行验证,获取标定参数和不同高度拍摄的标定物的标定图像,将标定参数与不同高度拍摄的标定图像进行中心坐标匹配,并计算中心坐标的三维空间坐标,再基于该三维空间坐标对标定参数进行校验。在一实施例中,将z轴分别定位到Z=270,Z=280处,分别采集标定物左右图像,并用这两个平面中的特征点作为匹配对应点。选定标定图像后,计算机将自动完成左摄像机与右摄像机的标定工作。例如,对左摄像机标定得到的结果为:像面中心坐标(x,y)=(-10.05,-12.58),横纵像素的比例系数Sx=0.88,焦距f=10.04mm。将标定好的参数(包括内部参数与外部参数)写入参数文件中,在空间点匹配与三维坐标恢复计算中使用,从而为三维视觉测量做好了准备工作。为了检验标定结果的精度,用标定参数对标定块不同高度采集的图像进行特征点匹配,计算其三维坐标。例如,采集高度Z=240、Z=280、Z=310处的标定图像,并计算每个高度对应的三维空间坐标,基于该三维空间坐标验证对应的标定参数。
在本实施例中,通过获取标定参数和不同高度拍摄的标定图像,将该标定参数与标定图像的特征点进行匹配,同时,计算特征点的三维空间坐标,基于该三维空间坐标对标定参数进行验证,保证了标定参数的准确性。
进一步地,参考图4,提出本申请扫地机器人的相机标定方法第三实施例。
所述扫地机器人的相机标定方法第三实施例与所述扫地机器人的相机标定方法第一实施例和第二实施例的区别在于,所述计算所述边缘图像的中心坐标的步骤之前,还包括:
步骤S34,对所述边缘图像的边缘信息进行跟踪,并获取所述边缘图像的特征信息;
步骤S35,基于所述特征信息对所述边缘图像进行筛选,以使所述边缘图像与所述标定图像中的特征图形形成对应关系。
多目标轮廓跟踪及目标筛选一般的轮廓跟踪算法只能跟踪单个目标的边缘。而本申请中有多个四边形目标,因此需要使用多目标轮廓跟踪算法,自动跟踪所有的目标四边形边缘信息。同时对一些特殊的直线,如具有断线的四边形等,采取双向跟踪方法,以保证在处理这些特殊四边形直线的点集时也能得到正确的结果,使其具有比较强的鲁棒性。同时,根据每个目标的位置信息和像素数目等信息进行筛选,对所需要的目标四边形进行排序,以便与标定图像中的特征四边形形成一一对应的关系,为标定求解做好准备。
本实施例中通过对目标四边形的边缘信息进行跟踪,并基于每个目标的位置信息和像素数目等信息进行筛选,使得边缘图像与标定图像中的特征四边形形成一一对应的关系,为标定求解做好准备。
本申请还提出一种扫地机器人的相机标定装置,在一实施例中,所述扫地机器人的相机标定装置包括存储器、处理器及存储在存储器上并可在处理器上运行的扫地机器人的相机标定程序,扫地机器人的相机标定程序被处理器执行时实现以下步骤:
获取扫地机器人的相机在不同角度拍摄的标定物的标定图像,所述标定物粘贴在所述扫地机器人进行充电的充电桩上;
对所述标定图像执行图像分割操作得到分割图像,对所述分割图像执行滤波操作得到二值图像;
对所述二值图像执行边缘提取操作得到边缘图像,计算所述边缘图像的中心坐标;
根据所述中心坐标计算所述扫地机器人的相机参数,得到所述相机的内部参数和外部参数。
在一实施例中,所述扫地机器人的相机标定装置包括获取模块,分割模块,提取模块和计算模块;
所述获取模块,用于获取扫地机器人的相机在不同角度拍摄的标定物的标定图像,所述标定物粘贴在所述扫地机器人进行充电的充电桩上;
所述分割模块,用于对所述标定图像执行图像分割操作得到分割图像,对所述分割图像执行滤波操作得到二值图像;
所述提取模块,用于对所述二值图像执行边缘提取操作得到边缘图像,计算所述边缘图像的中心坐标;
所述计算模块,用于根据所述中心坐标计算所述扫地机器人的相机参数,得到所述相机的内部参数和外部参数。
进一步地,所述分割模块包括分割单元和滤波单元;
所述分割单元,用于对所述标定图像执行动态阈值分割操作得到所述分割图像;
所述滤波单元,用于对所述分割图像进行滤波以滤除所述分割图像中的孤立点,得到所述二值图像。
进一步地,所述提取模块包括提取单元和第一计算单元;
所述提取单元,用于对所述二值图像中不同的黑格子块进行边缘提取,得到所述黑格子块的边缘图像;
所述第一计算单元,用于获取所述边缘图像中的边缘点数据,根据所述边缘点数据和设定的方程计算拟合参数;
所述第一计算单元,还用于根据所述拟合参数计算所述边缘图像的中心坐标。
进一步地,所述计算模块包括获取单元和第二计算单元;
所述获取单元,用于获取所述中心坐标对应的二维计算机帧存坐标和三维空间坐标;
所述第二计算单元,用于将所述二维计算机帧存坐标和所述三维空间坐标代入相机模型中,基于设定标定方式进行线性求解,得到所述相机的内部参数和外部参数。
进一步地,所述第二计算单元包括获取子单元;
所述获取子单元,用于基于所述设定标定方式中的世界坐标系与相机坐标系的关系,径向排列约束条件以及外部参数矩阵的正交性获取所述外部参数;
所述获取子单元,还用于根据所述外部参数和像素坐标与实际物理坐标的关系获取所述内部参数。
进一步地,所述计算模块包括检验单元;
所述获取单元,还用于获取标定参数和不同高度拍摄的所述标定物的标定图像;
所述第二计算单元,还用于将所述标定参数与所述不同高度拍摄的所述标定物的标定图像进行所述中心坐标匹配,并计算所述中心坐标的三维空间坐标;
所述检验单元,用于基于所述中心坐标的三维空间坐标对所述标定参数进行检验。
进一步地,所述提取模块包括跟踪单元和筛选单元;
所述跟踪单元,用于对所述边缘图像的边缘信息进行跟踪,并获取所述边缘图像的特征信息;
所述筛选单元,用于基于所述特征信息对所述边缘图像进行筛选,以使所述边缘图像与所述标定图像中的特征图形形成对应关系。
进一步地,所述获取模块包括拍摄单元;
所述拍摄单元,用于在所述扫地机器人进行回充时,控制所述相机从不同角度拍摄所述标定物,得到不同角度拍摄的所述标定图像。
上述的扫地机器人的相机标定装置各个模块功能的实现与上述方法实施例中的过程相似,在此不再一一赘述。
此外,本申请还提供一种终端,所述终端包括存储器、处理器及存储在存储器上并在处理器上运行的扫地机器人的相机标定程序,所述终端通过获取扫地机器人的相机在不同角度拍摄的标定物的标定图像,标定物粘贴在扫地机器人进行充电的充电桩上;对标定图像执行图像分割操作得到分割图像,对分割图像执行滤波操作得到二值图像;对二值图像执行边缘提取操作得到边缘图像,计算边缘图像的中心坐标;根据中心坐标计算扫地机器人的相机参数,得到相机的内部参数和外部参数。通过充电桩与标定物的结合以及自标定算法进行双目扫地机器人的自动标定,解决了现有相机标定方式不适用于双目扫地机器人的问题,提高了相机标定的准确性和标定算法的鲁棒性。
此外,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有扫地机器人的相机标定程序,所述扫地机器人的相机标定程序被处理器执行时实现如上所述扫地机器人的相机标定方法的步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是,在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本申请可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本申请的可选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括可选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种扫地机器人的相机标定方法,其特征在于,所述方法包括:
获取扫地机器人的相机在不同角度拍摄的标定物的标定图像,所述标定物粘贴在所述扫地机器人进行充电的充电桩上;
对所述标定图像执行图像分割操作得到分割图像,对所述分割图像执行滤波操作得到二值图像;
对所述二值图像执行边缘提取操作得到边缘图像,计算所述边缘图像的中心坐标;
根据所述中心坐标计算所述扫地机器人的相机参数,得到所述相机的内部参数和外部参数。
2.根据权利要求1所述的扫地机器人的相机标定方法,其特征在于,所述对所述标定图像执行图像分割操作得到分割图像,对所述分割图像执行滤波操作得到二值图像的步骤包括:
对所述标定图像执行动态阈值分割操作得到所述分割图像;
对所述分割图像进行滤波以滤除所述分割图像中的孤立点,得到所述二值图像。
3.根据权利要求1所述的扫地机器人的相机标定方法,其特征在于,所述对所述二值图像执行边缘提取操作得到边缘图像,计算所述边缘图像的中心坐标的步骤包括:
对所述二值图像中不同的黑格子块进行边缘提取,得到所述黑格子块的边缘图像;
获取所述边缘图像中的边缘点数据,根据所述边缘点数据和设定的方程计算拟合参数;
根据所述拟合参数计算所述边缘图像的中心坐标。
4.根据权利要求1至3中任一项所述的扫地机器人的相机标定方法,其特征在于,所述根据所述中心坐标计算所述扫地机器人的相机参数,得到所述相机的内部参数和外部参数的步骤包括:
获取所述中心坐标对应的二维计算机帧存坐标和三维空间坐标;
将所述二维计算机帧存坐标和所述三维空间坐标代入相机模型中,基于设定标定方式进行线性求解,得到所述相机的内部参数和外部参数。
5.根据权利要求4所述的扫地机器人的相机标定方法,其特征在于,所述基于设定标定方式进行线性求解,得到所述相机的内部参数和外部参数的步骤包括:
基于所述设定标定方式中的世界坐标系与相机坐标系的关系,径向排列约束条件以及外部参数矩阵的正交性获取所述外部参数;
根据所述外部参数和像素坐标与实际物理坐标的关系获取所述内部参数。
6.根据权利要求1至3中任一项所述的扫地机器人的相机标定方法,其特征在于,所述根据所述中心坐标计算所述扫地机器人的相机参数,得到所述相机的内部参数和外部参数的步骤之后,还包括:
获取标定参数和不同高度拍摄的所述标定物的标定图像;
将所述标定参数与所述不同高度拍摄的所述标定物的标定图像进行所述中心坐标匹配,并计算所述中心坐标的三维空间坐标;
基于所述中心坐标的三维空间坐标对所述标定参数进行检验。
7.根据权利要求1至3中任一项所述的扫地机器人的相机标定方法,其特征在于,所述计算所述边缘图像的中心坐标的步骤之前,还包括:
对所述边缘图像的边缘信息进行跟踪,并获取所述边缘图像的特征信息;
基于所述特征信息对所述边缘图像进行筛选,以使所述边缘图像与所述标定图像中的特征图形形成对应关系。
8.根据权利要求1至3中任一项所述的扫地机器人的相机标定方法,其特征在于,所述获取扫地机器人的相机在不同角度拍摄的标定物的标定图像的步骤包括:
在所述扫地机器人进行回充时,控制所述相机从不同角度拍摄所述标定物,得到不同角度拍摄的所述标定图像。
9.一种终端,其特征在于,所述终端包括存储器、处理器及存储在存储器上并在所述处理器上运行的扫地机器人的相机标定程序,所述处理器执行所述扫地机器人的相机标定程序时实现如权利要求1至8中任一项所述的扫地机器人的相机标定方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有扫地机器人的相机标定程序,所述扫地机器人的相机标定程序被处理器执行时实现如权利要求1至8中任一项所述的扫地机器人的相机标定方法的步骤。
CN202011595775.XA 2020-12-28 2020-12-28 扫地机器人的相机标定方法、终端和计算机可读存储介质 Pending CN112634377A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011595775.XA CN112634377A (zh) 2020-12-28 2020-12-28 扫地机器人的相机标定方法、终端和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011595775.XA CN112634377A (zh) 2020-12-28 2020-12-28 扫地机器人的相机标定方法、终端和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112634377A true CN112634377A (zh) 2021-04-09

Family

ID=75287261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011595775.XA Pending CN112634377A (zh) 2020-12-28 2020-12-28 扫地机器人的相机标定方法、终端和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112634377A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133989A (zh) * 2017-06-12 2017-09-05 中国科学院长春光学精密机械与物理研究所 一种三维扫描***参数标定方法
CN108416791A (zh) * 2018-03-01 2018-08-17 燕山大学 一种基于双目视觉的并联机构动平台位姿监测与跟踪方法
US20190392598A1 (en) * 2017-07-17 2019-12-26 Shining 3D Tech Co., Ltd. Three-Dimensional Reconstruction Method and Device Based on Monocular Three-dimensional Scanning System
CN110648367A (zh) * 2019-08-15 2020-01-03 大连理工江苏研究院有限公司 一种基于多层深度与彩色视觉信息的几何体目标定位方法
CN111721259A (zh) * 2020-06-24 2020-09-29 江苏科技大学 基于双目视觉的水下机器人回收定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133989A (zh) * 2017-06-12 2017-09-05 中国科学院长春光学精密机械与物理研究所 一种三维扫描***参数标定方法
US20190392598A1 (en) * 2017-07-17 2019-12-26 Shining 3D Tech Co., Ltd. Three-Dimensional Reconstruction Method and Device Based on Monocular Three-dimensional Scanning System
CN108416791A (zh) * 2018-03-01 2018-08-17 燕山大学 一种基于双目视觉的并联机构动平台位姿监测与跟踪方法
CN110648367A (zh) * 2019-08-15 2020-01-03 大连理工江苏研究院有限公司 一种基于多层深度与彩色视觉信息的几何体目标定位方法
CN111721259A (zh) * 2020-06-24 2020-09-29 江苏科技大学 基于双目视觉的水下机器人回收定位方法

Similar Documents

Publication Publication Date Title
JP6507730B2 (ja) 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム
TWI729995B (zh) 基於場景之拍攝圖像而產生合併、融合三維點雲
CN110163912B (zh) 二维码位姿标定方法、装置及***
TWI419081B (zh) 提供擴增實境的標籤追蹤方法、系統與電腦程式產品
JP5699788B2 (ja) スクリーン領域検知方法及びシステム
US9519968B2 (en) Calibrating visual sensors using homography operators
CN107993263B (zh) 环视***自动标定方法、汽车、标定装置及存储介质
CN110926330B (zh) 图像处理装置和图像处理方法
CN108074267B (zh) 交点检测装置及方法、摄像头校正***及方法及记录介质
CN107977996B (zh) 基于靶标标定定位模型的空间目标定位方法
JP6899189B2 (ja) ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法
CN112132907B (zh) 一种相机标定方法、装置、电子设备及存储介质
US20170294009A1 (en) Calibration based on intrinsic parameter selection and a projected calibration target
CN111080662A (zh) 车道线的提取方法、装置及计算机设备
CN112270719B (zh) 相机标定方法、装置及***
CN112348958A (zh) 关键帧图像的采集方法、装置、***和三维重建方法
CN104700355A (zh) 室内二维平面图的生成方法、装置和***
CN108960267A (zh) 用于模型调整的***和方法
JP2017003525A (ja) 三次元計測装置
Wu et al. A self-adaptive correction method for perspective distortions of image
CN115830135A (zh) 一种图像处理方法、装置及电子设备
CN112070844A (zh) 结构光***的校准方法及装置、校准工具图、设备及介质
KR101574195B1 (ko) 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법
CN115880371A (zh) 一种红外视角下反光靶标中心定位方法
CN112634377A (zh) 扫地机器人的相机标定方法、终端和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination