CN114979469A - 一种基于机器视觉比对的摄像机机械误差校准方法及*** - Google Patents

一种基于机器视觉比对的摄像机机械误差校准方法及*** Download PDF

Info

Publication number
CN114979469A
CN114979469A CN202210497583.8A CN202210497583A CN114979469A CN 114979469 A CN114979469 A CN 114979469A CN 202210497583 A CN202210497583 A CN 202210497583A CN 114979469 A CN114979469 A CN 114979469A
Authority
CN
China
Prior art keywords
camera
markers
offset
current frame
offset vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210497583.8A
Other languages
English (en)
Other versions
CN114979469B (zh
Inventor
郑龙
杜丛晋
张雅婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Titan Intelligent Technology Co ltd
Original Assignee
Jiangsu Titan Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Titan Intelligent Technology Co ltd filed Critical Jiangsu Titan Intelligent Technology Co ltd
Priority to CN202210497583.8A priority Critical patent/CN114979469B/zh
Publication of CN114979469A publication Critical patent/CN114979469A/zh
Application granted granted Critical
Publication of CN114979469B publication Critical patent/CN114979469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉比对的摄像机机械误差校准方法:(1)使待校正摄像机执行定位到校正位置的命令,获取当前帧;(2)检测其中的所有可能的标志物,并根据基准帧的多个标志物在其中进行匹配;(3)比较多个标志物在当前帧中的坐标与相应标志物在预置的基准帧中的坐标的差异,确定摄像头偏移向量;当所述摄像头偏移向量的小于预设的阈值或判断出现校准震荡并完成校准,结束误差校准;否则,进入步骤(4);(4)根据摄像头偏移向量确定运动补偿步数,按照运动给补偿步数校正所述摄像机的机械位置,并重复上述步骤。本发明能够自动化地进行摄像机朝向的校准,无需人为干预。

Description

一种基于机器视觉比对的摄像机机械误差校准方法及***
技术领域
本发明属于智能制造领域,更具体地,涉及一种基于机器视觉比对的摄像机机械误差校准方法及***。
背景技术
机器视觉目前已得到广泛应用,在智能制造行业中为支撑行业业务,高效化行业流程发挥作用。机器视觉的应用,多通过球形摄像机进行视频数据的采集,并做推理分析。
球形摄像机具有拍摄角度和焦距可灵活调整的优势,进而在实际应用中,能够做到安装灵活,施工量小,便于维护,因此,球形摄像机在机器视觉的应用领域内得到的广泛的推广与建设。
但是,球形摄像机在长时间的使用中,因转动朝向而带来的机械误差不断积累,最终会导致球形摄像机的拍摄画面发生较为明显的偏移。在大量需要进行精密视觉定位和识别的应用领域中,如对设备表计读数的识别,对密集排布的物件状态的识别,对物件表面特定位置的信息识别等,拍摄画面的偏移会导致识别不准确,甚至识别错误,影响业务应用的正常功能。
而目前对于摄像机的机械误差积累,主要通过人工校正,而进行人工校正时往往已经出现了识别不准的现象,扰乱了正常工作进程。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种基于机器视觉比对的摄像机机械误差校准方法及***,其目的在于基于机器视觉对标志物的位置检测,推断摄像头偏倚向量,并计算补偿补偿,从而反向调整摄像头位置,进行误差校正,由此解决解决精密视觉定位和识别应用领域中,球形摄像机在长期使用中发生偏移,致使识别结果不准确甚至不正确的问题的技术问题。
为实现上述目的,按照本发明的一个方面,提供了一种基于机器视觉比对的摄像机机械误差校准方法,其包括以下步骤:
(1)使待校正摄像机执行定位到校正位置的命令,获取该状态下摄像机捕捉到的画面,作为当前帧;
(2)检测步骤(1)中干获得的当前帧中的所有可能的标志物,并根据预先设置校正位置的基准帧的多个标志物在其中进行匹配,对于成功匹配的标志物确定其为当前帧中标志物获取其在当前帧中的坐标;
(3)比较步骤(2)获得的多个标志物在当前帧中的坐标与相应标志物在预置的基准帧中的坐标的差异,根据多个标志物在当前画面和基准帧中的坐标差异确定摄像头偏移向量;当所述摄像头偏移向量的小于预设的阈值或判断出现校准震荡并完成校准,结束误差校准;否则,进入步骤(4);所述预设的预置即允许的最大偏移量。
(4)根据步骤(3)中获得的摄像头偏移向量确定运动补偿步数,按照运动给补偿步数校正所述摄像机的机械位置,并重复步骤(1)至(3)。
优选地,所述基于机器视觉比对的摄像机机械误差校准方法,其所述标志物的数量至少为3个,一般小于等于6个。
优选地,所述基于机器视觉比对的摄像机机械误差校准方法,其所述标志物选自目标检测算法检测获得的目标,优选按照如下方法确定:
S1、获取摄像机运动到指定位置时拍摄的画面作为基准帧;
S2、对于步骤S1中的基准帧进行采用目标检测算法,进行目标检测,将所有检测出目标作为备选标志物;
S3、从步骤S2中获取的备选标志物中选择预设数量的备选标志物作为基准帧的标志物。
优选地,所述基于机器视觉比对的摄像机机械误差校准方法,其所述标志物面积占基准帧画面面积的1/16到1/48,优选所述标志物的形状和/或颜色具有唯一性。
优选地,所述基于机器视觉比对的摄像机机械误差校准方法,其所述步骤(2)具体包括:
(2-1)按照基准帧的标志物的特征对当前帧画面进行扫描,获得所有可能的标志物;
优选基准帧的标志物为采用特定的目标检测算法检测出的目标对象,所述按照基准帧的标志物的特征对当前帧画面进行扫描具体为采用所述目标检测算法对当前帧画面进行扫描。
(2-2)对于基准帧的多个标志物中的每一个,分别在步骤(2-1)中获得的可能的标志物中进行图像相似性比对,从而匹配得到基准帧中标志物在当前帧中的图像;
(2-3)按照与基准帧中标志物坐标的确定方法相同的方法分别确定步骤(2-2)中获得的当前帧中所述多个标志物的坐标。
优选地,所述基于机器视觉比对的摄像机机械误差校准方法,其所述步骤(3)所述摄像头偏移向量判断出现校正震荡并完成校准具体为:
判断本次摄像头偏移向量与上一次判断的摄像头偏移向量的方向的夹角是否超过预设阈值,当所述本次摄像头偏移向量与上一次判断的摄像头偏移向量的方向的夹角超过预设阈值时,判断出现校准震荡,则选择本次摄像头偏移向量与上一次判断的摄像头偏移向量中较小的作为结果,当上一次判断的摄像头偏移向量较小时,直接结束误差校准;否则本次摄像头偏移向量较小时,根据本次摄像头偏移向量确定运动补偿步数,按照运动给补偿步数校正所述摄像机的机械位置,结束误差校准。
优选地,所述基于机器视觉比对的摄像机机械误差校准方法,其所述摄像头偏移向量优选为所有当前帧中标志物的偏移向量的平均值;所述当前帧中标志物的偏移向量为以基准帧中该标志物的坐标为起点且以当前帧中该标志物的坐标为终点的矢量。
优选地,所述基于机器视觉比对的摄像机机械误差校准方法,其步骤(4)按照如下方法校正所述摄像机的机械位置:
(4-1)摄像头偏移向量按照摄像机支持的运动方向进行矢量分解,获得摄像机各运动方向上的偏移量;
(4-2)根据步骤(4-1)获得的摄像机各运动方向上的偏移量和相应运动方向上的摄像机运动步长,以各运动方向上偏移量与摄像机运动步长的比值取整数部分作为运动方向上的运动补偿步数;
(4-3)调整摄像机再各运动方向上按照偏移量相反的方向运动相应运动补偿步数,从而校正所述摄像机的机械位置。
按照本发明的另一个方面,提供了一种基于机器视觉比对的摄像机机械误差校准***,其包括:
当前帧获取模块、标志物检测模块、摄像头偏移向量计算模块、以及补偿复位模块;
所述当前帧获取模块,用于使待校正摄像机执行定位到校正位置的命令,获取该状态下摄像机捕捉到的画面,作为当前帧,提交给标志物检测模块;
所述标志物检测模块,存储有预置的基准帧,用于检测当前帧中的所有可能的标志物,并根据预先设置校正位置的基准帧的多个标志物在其中进行匹配,对于成功匹配的标志物确定其为当前帧中标志物获取其在当前帧中的坐标,提交给摄像头偏移量计算模块;
所述摄像头偏移量计算模块,存储有基准帧中标志物坐标,用于比较多个标志物在当前帧中的坐标与相应标志物在预置的基准帧中的坐标的差异,根据多个标志物在当前画面和基准帧中的坐标差异确定摄像头偏移向量,并提交给补偿复位模块;
所述补偿复位模块,用于判断是否结束误差校准,当当所述摄像头偏移向量的小于预设的阈值或判断出现校准震荡并完成校准,结束误差校准;否则根据摄像头偏移向量确定运动补偿步数,按照运动给补偿步数校正所述摄像机的机械位置。
按照本发明的另一个方面,提供了所述计算机程序被处理器执行时实现本发明提供的基于机器视觉比对的摄像机机械误差校准方法的步骤。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
本发明通过机器视觉技术,可以对摄像机监控画面进行特定标志物的检测,或特定特征信息的提取;通过对标准朝向的信息,以及本次可能产生了偏移的朝向的信息,进行对比,确认摄像机朝向是否发生了偏移,以及向什么方向发生了偏移,以及发生了多少的偏移;基于此信息控制摄像机朝偏移的反方向进行调整,并在调整后按照上述过程再次进行偏移判断,当偏移量小于应用业务允许的偏移误差后,则摄像机校准完成。本发明能够自动化地进行摄像机朝向的校准,无需人为干预,解放了人力,为大量原本使用机器视觉技术进行监控画面分析识别的无人化值守应用场景提供了重要的支撑,降低了运维成本,提供了运行可靠度和运行效率,为大规模应用机器视觉的生产环境的自动化运行提供了保障。
附图说明
图1是本发明提供的基于机器视觉比对的摄像机机械误差校准方法流程示意图;
图2是本发明实施例提供的摄像头拍摄的基准帧;
图3是本发明实施例提供的摄像头拍摄的当前帧;
图4是本发明实施例检测基准帧标志物的示意图;
图5是本发明实施例检测当前帧标志物的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供的基于机器视觉比对的摄像机机械误差校准方法,如图1所示,包括以下步骤:
(1)使待校正摄像机执行定位到校正位置的命令,获取该状态下摄像机捕捉到的画面,作为当前帧;
(2)检测步骤(1)中干获得的当前帧中的所有可能的标志物,并根据预先设置校正位置的基准帧的多个标志物在其中进行匹配,对于成功匹配的标志物确定其为当前帧中标志物获取其在当前帧中的坐标;具体包括以下子步骤:
(2-1)按照基准帧的标志物的特征对当前帧画面进行扫描,获得所有可能的标志物;
优选基准帧的标志物为采用特定的目标检测算法检测出的目标对象,所述按照基准帧的标志物的特征对当前帧画面进行扫描具体为采用所述目标检测算法对当前帧画面进行扫描。
(2-2)对于基准帧的多个标志物中的每一个,分别在步骤(2-1)中获得的可能的标志物中进行图像相似性比对,从而匹配得到基准帧中标志物在当前帧中的图像;
(2-3)按照与基准帧中标志物坐标的确定方法相同的方法分别确定步骤(2-2)中获得的当前帧中所述多个标志物的坐标。
标志物的数量和对象是决定本发明速度和效果的关键;
所述标志物的数量,如图4所示,至少为3个,一般小于等于6个。由于定位的转动摄像头,所获取的画面为空间立体的投影面,即摄像头获取的画面实际上都是三维的真实世界在二维平面上的投影,本身存在视觉偏差,因此至少需要3个点来确定平面位置,从而确定误差偏移量。标志物数量过少情况下,可能出现实际上摄像机已经偏移,但是被选定的标志物依旧能够与基准帧中的对应标志物较好重合,致使无法有效发现摄像机偏移情况,进而无法进行校准复位。一般来说机械运动积累误差不会过多的偏移基准位置,因此提供4个或以上的标志物作为匹配的备选,即可避免匹配标志物数量少于三个的问题。如果匹配的标志物数量少于三个则说明偏差过大需要人工校正。另一方面,摄像机的校准复位存在误差,无法复位到和初始画面分毫不差的程度,因此标志物数量过多情况下,可能出现实际上的误差已在规定的误差范围内,但累计误差值较大的情况,致使摄像机做了较长的复位尝试,影响摄像机自动校准复位的效率。如果标志物数量多于6个,则在计算误差偏移量时,需要同时满足更多标志物的位置偏差需求,带来较大的计算量,7个标志物的计算量约为6个标识物的2.3倍。基于验证测试,标志物数量在3到6个时,能够做到良好的偏移比对效果和高效的校准复位效率,校准时效如下表。
优选标志物选自目标检测算法检测获得的目标,按照如下方法确定:
S1、获取摄像机运动到指定位置时拍摄的画面作为基准帧;
S2、对于步骤S1中的基准帧进行采用目标检测算法,进行目标检测,将所有检测出目标作为备选标志物;
S3、从步骤S2中获取的备选标志物中选择预设数量的备选标志物作为基准帧的标志物;
该方法中从已检测的标志物中进行选择,而不由用户直接标记位置,确保自动化检测过程中能匹配到标志物,而避免主观因素影响,确保程序自动化的检测出标志物,并进行匹配。
优选地,所述标志物的面积占基准帧画面面积的1/16到1/48。过大的标志物可能在摄像机发生偏移后,无法被拍摄全,致使标志物残缺而无法进行偏移比对;过小的标志物的画面信息少,且在摄像机发生偏移后,易产生较大的形变,可能导致无法被检出,而造成偏移比对无法进行。
优选地,所述标志物的形状和/或颜色具有唯一性,使得不同的标志物具有较为明显的区分度,从而有效的实现当前帧和基准帧之间的同一标志物图像的匹配。标志物如果区分度不明显,那么目标检测可能无法对标志物进行有效区分,进而无法实现当前帧的标志物图像和基准标志物的标志物图像的对应匹配,更无法实现互相之间的位置关系比对,进而影响校准复位。
(3)比较步骤(2)获得的多个标志物在当前帧中的坐标与相应标志物在预置的基准帧中的坐标的差异,根据多个标志物在当前画面和基准帧中的坐标差异确定摄像头偏移向量;当所述摄像头偏移向量的小于预设的阈值或判断出现校准震荡并完成校准,结束误差校准;否则,进入步骤(4);所述预设的预置即允许的最大偏移量。
所述摄像头偏移向量判断出现校正震荡并完成校准具体为:
判断本次摄像头偏移向量与上一次判断的摄像头偏移向量的方向的夹角是否超过预设阈值,当所述本次摄像头偏移向量与上一次判断的摄像头偏移向量的方向的夹角超过预设阈值时,判断出现校准震荡,则选择本次摄像头偏移向量与上一次判断的摄像头偏移向量中较小的作为结果,当上一次判断的摄像头偏移向量较小时,直接结束误差校准;否则本次摄像头偏移向量较小时,根据本次摄像头偏移向量确定运动补偿步数,按照运动给补偿步数校正所述摄像机的机械位置,结束误差校准;
所述摄像头偏移向量优选为所有当前帧中标志物的偏移向量的平均值;所述当前帧中标志物的偏移向量为以基准帧中该标志物的坐标为起点且以当前帧中该标志物的坐标为终点的矢量,如图5所示。
(4)根据步骤(3)中获得的摄像头偏移向量确定运动补偿步数,按照运动给补偿步数校正所述摄像机的机械位置,并重复步骤(1)至(3)。
优选按照如下方法校正所述摄像机的机械位置:
(4-1)摄像头偏移向量按照摄像机支持的运动方向进行矢量分解,获得摄像机各运动方向上的偏移量;
(4-2)根据步骤(4-1)获得的摄像机各运动方向上的偏移量和相应运动方向上的摄像机运动步长,以各运动方向上偏移量与摄像机运动步长的比值取整数部分作为运动方向上的运动补偿步数;
(4-3)调整摄像机再各运动方向上按照偏移量相反的方向运动相应运动补偿步数,从而校正所述摄像机的机械位置。
以下为实施例:
本实施例的基于机器视觉比对的摄像机机械误差校准方法,应用于精密视觉定位和识别,如仪表识别,稳定运行在初始化流程后,由***自动定期运行,进行摄像机偏移的确认以及校准复位。
包括以下步骤:
(1)使待校正摄像机执行定位到校正位置的命令,获取该状态下摄像机捕捉到的画面,作为当前帧,如图3所示;
(2)检测步骤(1)中干获得的当前帧中的所有可能的标志物,并根据预先设置校正位置的基准帧的多个标志物在其中进行匹配,对于成功匹配的标志物确定其为当前帧中标志物获取其在当前帧中的坐标;
初始化流程负责对摄像机的初始监控画面和画面中的标志物位置进行记录,标志物选自目标检测算法检测获得的目标,按照如下方法确定:
S1、获取摄像机运动到指定位置时拍摄的画面作为基准帧,基准帧如图2所示。
S2、对于步骤S1中的基准帧进行采用目标检测算法,目标检测算法可根据具体拍摄的图像特点进行选择,包括但不限于Faster R-CNN(Ren S,He K,Girshick R,etal.Faster r-cnn:Towards real-time object detection with region proposalnetworks[J].),Yolo(Heimer R Z,Myrseth K O R,Schoenle R S.YOLO:Mortalitybeliefs and household finance puzzles[J].),SSD(Liu W,Anguelov D,Erhan D,etal.Ssd:Single shot multibox detector[C]),本实施例采用Yolo进行目标检测,将所有检测出目标作为备选标志物;
S3、从步骤S2中获取的备选标志物中选择预设数量的备选标志物作为基准帧的标志物;
记录的基准帧和标志物位置信息,在***稳定运行流程中,会起到参照的作用,用以判断摄像机有无发生偏移,发生了什么方向的偏移,以及发生的偏移有着多大的偏移量。初始化流程中,用户指定初始监控画面作为“基准帧”。
稳定运行流程中,***需自动进行摄像机是否偏移的判断;因此稳定运行流程中,***仅能通过自动化的手段——即目标检测算法进行摄像机实时画面内标志物的定位,而不能通过用户直接标记来进行;为保障标志物定位标准一致,以便摄像机校准过程中,当前帧和基准帧具有统一的定位以保障校准成功,因此使用目标检测算法进行标志物的定位,再由用户从已检测出的标志物中挑选,而不由用户直接标记标志物位置。
基于验证测试,标志物数量在3到6个时,能够做到良好的偏移比对效果和高效的校准复位效率,如下表所示。
标识物数量 3 4 5 6 7
校准时间(秒) 10 12 14 17 40
最少检出数 2 3 3 4 5
标志物的大小应适宜,不宜过大,也不宜过小;过大的标志物可能在摄像机发生偏移后,无法被拍摄全,致使标志物残缺而无法进行偏移比对;过小的标志物的画面信息少,且在摄像机发生偏移后,易产生较大的形变,可能导致无法被检出,而造成偏移比对无法进行。经验证,标志物的大小占画面面积的1/16到1/48较为合适;测试结果如下表所示:
Figure BDA0003633329310000101
Figure BDA0003633329310000111
同一画面内,不同的标志物应具有在形态、颜色等方面较为明显的区别;标志物如果区分度不大,那么目标检测可能无法对标志物进行有效区分,进而无法实现当前标志物和基准标志物的对应,更无法实现互相之间的位置关系比对,进而影响校准复位。
(2-1)按照基准帧的标志物的特征对当前帧画面进行扫描,获得所有可能的标志物;
优选基准帧的标志物为采用特定的目标检测算法检测出的目标对象,所述按照基准帧的标志物的特征对当前帧画面进行扫描具体为采用所述目标检测算法对当前帧画面进行扫描。
(2-2)对于基准帧的多个标志物中的每一个,分别在步骤(2-1)中获得的可能的标志物图像相似性比对,从而匹配得到基准帧中标志物在当前帧中的图像;当标志物特征极为明显时,例如标志物为画面中唯一红色色块,则标志物图像相似性比对可简化为颜色匹配,类似的如形状匹配等等。
(2-3)按照与基准帧中标志物坐标的确定方法相同的方法分别确定步骤(2-2)中获得的当前帧中所述多个标志物的坐标。
(3)比较步骤(2)获得的多个标志物在当前帧中的坐标与相应标志物在预置的基准帧中的坐标的差异,根据多个标志物在当前画面和基准帧中的坐标差异确定摄像头偏移向量;当所述摄像头偏移向量的小于预设的阈值或判断出现校准震荡,完成校准,结束误差校准;否则,进入步骤(4);
所述摄像头偏移向量判断出现校正震荡具体为:
判断本次摄像头偏移向量与上一次判断的摄像头偏移向量的方向的夹角是否超过预设阈值,当所述本次摄像头偏移向量与上一次判断的摄像头偏移向量的方向的夹角超过预设阈值时,判断出现校准震荡,则选择本次摄像头偏移向量与上一次判断的摄像头偏移向量中较小的作为结果,当上一次判断的摄像头偏移向量较小时,直接结束误差校准;否则本次摄像头偏移向量较小时,根据本次摄像头偏移向量确定运动补偿步数,按照运动给补偿步数校正所述摄像机的机械位置,结束误差校准;
在对摄像机进行校准复位的过程中,如果摄像机能够支持的最小步长不足够小,而摄像机发生的偏移大于允许的最小偏移无偿但小于摄像机所能支持的最小步长,则摄像机进行校准复位时,一次调整可能就使得摄像机朝着原偏移的反方向发生了新的偏移,如果新的偏移其偏移量依旧大于允许的最小偏移误差,那么此时针对该摄像机的校准则会陷入无法终止的震荡中。为解决上述问题,***通过对比持续多次调整中,偏移量方向的变化来判断是否发生震荡,并在发生震荡情况下,以最小偏差量(最小偏差量指的是在发生震荡情况下,每进行一次调整,并记录本次调整后的偏差量,当某一次调整后偏差量大于上一次偏差量,则将上一次的偏差量视为最小偏差量)的摄像机朝向和焦距作为拟校准复位结果,并通知用户,用户可对该拟校准复位结果情况下的识别结果进行判断,如果不影响识别结果,则使用该拟校准复位结果为本次校准复位的最终确认结果。
所述摄像头偏移向量优选为所有当前帧中标志物的偏移向量的平均值;所述当前帧中标志物的偏移向量为以基准帧中该标志物的坐标为起点且以当前帧中该标志物的坐标为终点的矢量。
偏移向量使得***得以判断待校准的摄像机是否发生偏移,发生了什么方向的偏移,以及发生了多大偏移量偏移的方法与手段。当前帧标志物坐标和基准帧中对应标志物坐标进行比对,计算偏移向量。因为偏移向量存在多个标志物,每个标志物存在多个点的对应关系,因此并不存在单一一个偏移向量,此处对偏移向量的计算处理方法做说明:
单一标志物中多个点所构成的多个偏移向量的计算处理方法:
单一标志物在目标检测中,会被目标检测算法以一个矩形框的形式表示出来,矩形框共有四个顶点,因此可以使用这四个点表示一个标志物的位置。同一标志物,在当前画面中四个点的位置和基准帧画面中四个点的位置,可以构成4个偏移向量;因为同一标志物,在定期进行摄像机校准的前提下,不会出现较大的位移,且因为标志物有一定的大小,因此也不会出现较大的形变,因此四个偏移向量几乎一致,***可随机挑选一个偏移向量,或将四个偏移向量取平均值使用,由此得到单一标志物的偏移向量。
摄像头偏移向量的计算方法,对于单一画面中多个标志物偏移向量做如下处理:
单一画面中的多个标志物,可能有各标志物的偏移向量存在较为明显偏差的情况,因此随机挑选一个偏移向量作为整个画面的偏移向量的方法不再适用,但同一画面中,各标志物的偏移向量的基本方向是一致的,偏移量可能存在差异,因此***将所有标志物的偏移向量取向量平均值作为摄像头偏移向量。这样可能会使偏移量小于或略大于实际的画面偏移量,会使偏移方向和实际的画面偏移方向存在误差,但是因为偏移比对和校准复位过程会进行多次,进而消除取平均偏移向量所带来的误差,因此该方法依旧有效。
(4)根据步骤(3)中获得的摄像头偏移向量确定运动补偿步数,按照运动给补偿步数校正所述摄像机的机械位置,并重复步骤(1)至(3)。
按照如下方法校正所述摄像机的机械位置:
(4-1)摄像头偏移向量按照摄像机支持的运动方向进行矢量分解,获得摄像机各运动方向上的偏移量;
校准复位基于偏移比对所得到的画面摄像头偏移向量,进行摄像机的校准复位。***将偏移向量,拆分为两个方向,本实施例使用水平方向和垂直方向上的偏移标量。
(4-2)根据步骤(4-1)获得的摄像机各运动方向上的偏移量和相应运动方向上的摄像机运动步长,以各运动方向上偏移量与摄像机运动步长的比值取整数部分作为运动方向上的运动补偿步数;
对水平方向和垂直方向上的两个偏移标量分别做约分,并以摄像机单次调整朝向的最小步长为单位,确定运动补偿步数。
(4-3)调整摄像机再各运动方向上按照偏移量相反的方向运动相应运动补偿步数,从而校正所述摄像机的机械位置。
按照两个偏移标量做约分后的长度以及相反方向,进行摄像机的一次调整。
这里进行举例说明如下:
以画面的左下顶点为原点,以右和上为正方向,以像素为坐标单位。假设当前画面的偏移向量为(-200,400),以水平和垂直方向分解偏移向量为-200和400两个偏移标量,那么两个偏移标量约分后为-1和2。因此将摄像机向右调整1个摄像机朝向调整的最小步长,向下调整2个摄像机朝向调整的最小步长,即可完成本次校准复位。
重复上述步骤,不断进行调整,直至摄像机偏移向量的长度小于允许的偏移误差,则该摄像机本次的自动校准复位完成,在摄像机内保存当前的朝向,覆盖早先设置的朝向即可。
***会进行多次偏移比对和校准复位过程,以确保最终将摄像机成功复位。
在对摄像机进行校准复位的过程中,如果摄像机能够支持的最小步长不足够小,而摄像机发生的偏移大于允许的最小偏移无偿但小于摄像机所能支持的最小步长,则摄像机进行校准复位时,一次调整可能就使得摄像机朝着原偏移的反方向发生了新的偏移,如果新的偏移其偏移量依旧大于允许的最小偏移误差,那么此时针对该摄像机的校准则会陷入无法终止的震荡中。
解决震荡的需要人为介入,因为震荡的产生是因为摄像机的调整步长大于所允许的偏移误差所致,即调整精度小于要求精度,此时***将摄像机调整至所能调整到的最小偏移误差,随后,由用户进行一次业务识别。如果该识别结果正确,则意味着所允许的偏移误差设置过小,用户可调大该值,后续则自动校准功能可正常工作;如果该识别结果有误,则意味着摄像机调整步长过大,用户需进行手动校准。
当前市面上在售摄像机的最小调整步长均足够小,震荡的情况,在大多数时候不会发生。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于机器视觉比对的摄像机机械误差校准方法,其特征在于,包括以下步骤:
(1)使待校正摄像机执行定位到校正位置的命令,获取该状态下摄像机捕捉到的画面,作为当前帧;
(2)检测步骤(1)中干获得的当前帧中的所有可能的标志物,并根据预先设置校正位置的基准帧的多个标志物在其中进行匹配,对于成功匹配的标志物确定其为当前帧中标志物获取其在当前帧中的坐标;
(3)比较步骤(2)获得的多个标志物在当前帧中的坐标与相应标志物在预置的基准帧中的坐标的差异,根据多个标志物在当前画面和基准帧中的坐标差异确定摄像头偏移向量;当所述摄像头偏移向量的小于预设的阈值或判断出现校准震荡并完成校准,结束误差校准;否则,进入步骤(4);
(4)根据步骤(3)中获得的摄像头偏移向量确定运动补偿步数,按照运动给补偿步数校正所述摄像机的机械位置,并重复步骤(1)至(3)。
2.如权利要求1所述的基于机器视觉比对的摄像机机械误差校准方法,其特征在于,所述标志物的数量至少为3个,一般小于等于6个。
3.如权利要求1所述的基于机器视觉比对的摄像机机械误差校准方法,其特征在于,所述标志物选自目标检测算法检测获得的目标,优选按照如下方法确定:
S1、获取摄像机运动到指定位置时拍摄的画面作为基准帧;
S2、对于步骤S1中的基准帧进行采用目标检测算法,进行目标检测,将所有检测出目标作为备选标志物;
S3、从步骤S2中获取的备选标志物中选择预设数量的备选标志物作为基准帧的标志物。
4.如权利要求1所述的基于机器视觉比对的摄像机机械误差校准方法,其特征在于,所述标志物面积占基准帧画面面积的1/16到1/48,优选所述标志物的形状和/或颜色具有唯一性。
5.如权利要求1所述的基于机器视觉比对的摄像机机械误差校准方法,其特征在于,所述步骤(2)具体包括:
(2-1)按照基准帧的标志物的特征对当前帧画面进行扫描,获得所有可能的标志物;
优选基准帧的标志物为采用特定的目标检测算法检测出的目标对象,所述按照基准帧的标志物的特征对当前帧画面进行扫描具体为采用所述目标检测算法对当前帧画面进行扫描。
(2-2)对于基准帧的多个标志物中的每一个,分别在步骤(2-1)中获得的可能的标志物中进行图像相似性比对,从而匹配得到基准帧中标志物在当前帧中的图像;
(2-3)按照与基准帧中标志物坐标的确定方法相同的方法分别确定步骤(2-2)中获得的当前帧中所述多个标志物的坐标。
6.如权利要求1所述的基于机器视觉比对的摄像机机械误差校准方法,其特征在于,所述步骤(3)所述摄像头偏移向量判断出现校正震荡并完成校准具体为:
判断本次摄像头偏移向量与上一次判断的摄像头偏移向量的方向的夹角是否超过预设阈值,当所述本次摄像头偏移向量与上一次判断的摄像头偏移向量的方向的夹角超过预设阈值时,判断出现校准震荡,则选择本次摄像头偏移向量与上一次判断的摄像头偏移向量中较小的作为结果,当上一次判断的摄像头偏移向量较小时,直接结束误差校准;否则本次摄像头偏移向量较小时,根据本次摄像头偏移向量确定运动补偿步数,按照运动给补偿步数校正所述摄像机的机械位置,结束误差校准。
7.如权利要求1所述的基于机器视觉比对的摄像机机械误差校准方法,其特征在于,所述摄像头偏移向量优选为所有当前帧中标志物的偏移向量的平均值;所述当前帧中标志物的偏移向量为以基准帧中该标志物的坐标为起点且以当前帧中该标志物的坐标为终点的矢量。
8.如权利要求1所述的基于机器视觉比对的摄像机机械误差校准方法,其特征在于,步骤(4)按照如下方法校正所述摄像机的机械位置:
(4-1)摄像头偏移向量按照摄像机支持的运动方向进行矢量分解,获得摄像机各运动方向上的偏移量;
(4-2)根据步骤(4-1)获得的摄像机各运动方向上的偏移量和相应运动方向上的摄像机运动步长,以各运动方向上偏移量与摄像机运动步长的比值取整数部分作为运动方向上的运动补偿步数;
(4-3)调整摄像机再各运动方向上按照偏移量相反的方向运动相应运动补偿步数,从而校正所述摄像机的机械位置。
9.一种基于机器视觉比对的摄像机机械误差校准***,其特征在于,包括:
当前帧获取模块、标志物检测模块、摄像头偏移向量计算模块、以及补偿复位模块;
所述当前帧获取模块,用于使待校正摄像机执行定位到校正位置的命令,获取该状态下摄像机捕捉到的画面,作为当前帧,提交给标志物检测模块;
所述标志物检测模块,存储有预置的基准帧,用于检测当前帧中的所有可能的标志物,并根据预先设置校正位置的基准帧的多个标志物在其中进行匹配,对于成功匹配的标志物确定其为当前帧中标志物获取其在当前帧中的坐标,提交给摄像头偏移量计算模块;
所述摄像头偏移量计算模块,存储有基准帧中标志物坐标,用于比较多个标志物在当前帧中的坐标与相应标志物在预置的基准帧中的坐标的差异,根据多个标志物在当前画面和基准帧中的坐标差异确定摄像头偏移向量,并提交给补偿复位模块;
所述补偿复位模块,用于判断是否结束误差校准,当当所述摄像头偏移向量的小于预设的阈值或判断出现校准震荡并完成校准,结束误差校准;否则根据摄像头偏移向量确定运动补偿步数,按照运动给补偿步数校正所述摄像机的机械位置。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述基于机器视觉比对的摄像机机械误差校准方法的步骤。
CN202210497583.8A 2022-05-09 2022-05-09 一种基于机器视觉比对的摄像机机械误差校准方法及*** Active CN114979469B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210497583.8A CN114979469B (zh) 2022-05-09 2022-05-09 一种基于机器视觉比对的摄像机机械误差校准方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210497583.8A CN114979469B (zh) 2022-05-09 2022-05-09 一种基于机器视觉比对的摄像机机械误差校准方法及***

Publications (2)

Publication Number Publication Date
CN114979469A true CN114979469A (zh) 2022-08-30
CN114979469B CN114979469B (zh) 2023-09-26

Family

ID=82981051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210497583.8A Active CN114979469B (zh) 2022-05-09 2022-05-09 一种基于机器视觉比对的摄像机机械误差校准方法及***

Country Status (1)

Country Link
CN (1) CN114979469B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115914844A (zh) * 2022-12-22 2023-04-04 深圳小湃科技有限公司 基于摄像头的看守位位置校正方法、设备及可读存储介质
CN116840243A (zh) * 2023-09-01 2023-10-03 湖南睿图智能科技有限公司 一种机器视觉对象识别的修正方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1507407A2 (en) * 2003-08-13 2005-02-16 Topcon Corporation Electronic image pickup apparatus with image correction function and method thereof
US20110063457A1 (en) * 2009-09-11 2011-03-17 Oki Electric Industry Co., Ltd. Arrangement for controlling networked PTZ cameras
CN102937816A (zh) * 2012-11-22 2013-02-20 四川华雁信息产业股份有限公司 摄像机预置位偏差校准方法及装置
CN103502866A (zh) * 2011-04-01 2014-01-08 富士胶片株式会社 摄影装置及程序
CN111932609A (zh) * 2020-07-08 2020-11-13 广州科易光电技术有限公司 阀厅设备巡检机器人的云台校准方法及装置、存储介质
CN114401370A (zh) * 2022-01-26 2022-04-26 重庆紫光华山智安科技有限公司 机芯校准方法、装置、摄像设备及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1507407A2 (en) * 2003-08-13 2005-02-16 Topcon Corporation Electronic image pickup apparatus with image correction function and method thereof
US20110063457A1 (en) * 2009-09-11 2011-03-17 Oki Electric Industry Co., Ltd. Arrangement for controlling networked PTZ cameras
CN103502866A (zh) * 2011-04-01 2014-01-08 富士胶片株式会社 摄影装置及程序
CN102937816A (zh) * 2012-11-22 2013-02-20 四川华雁信息产业股份有限公司 摄像机预置位偏差校准方法及装置
CN111932609A (zh) * 2020-07-08 2020-11-13 广州科易光电技术有限公司 阀厅设备巡检机器人的云台校准方法及装置、存储介质
CN114401370A (zh) * 2022-01-26 2022-04-26 重庆紫光华山智安科技有限公司 机芯校准方法、装置、摄像设备及可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115914844A (zh) * 2022-12-22 2023-04-04 深圳小湃科技有限公司 基于摄像头的看守位位置校正方法、设备及可读存储介质
CN116840243A (zh) * 2023-09-01 2023-10-03 湖南睿图智能科技有限公司 一种机器视觉对象识别的修正方法及***
CN116840243B (zh) * 2023-09-01 2023-11-28 湖南睿图智能科技有限公司 一种机器视觉对象识别的修正方法及***

Also Published As

Publication number Publication date
CN114979469B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
CN108230397B (zh) 多目摄像机标定与校正方法和装置、设备、程序和介质
CN110580724B (zh) 一种对双目相机组进行标定的方法、装置和存储介质
CN114979469B (zh) 一种基于机器视觉比对的摄像机机械误差校准方法及***
US20170132451A1 (en) Image processing device and method for detecting image of object to be detected from input data
Fiala et al. Self-identifying patterns for plane-based camera calibration
CN108470356B (zh) 一种基于双目视觉的目标对象快速测距方法
CN108562250B (zh) 基于结构光成像的键盘键帽平整度快速测量方法与装置
CN113269762B (zh) 屏幕不良检测方法、***及计算机存储介质
US8538198B2 (en) Method and apparatus for determining misalignment
CN110087049A (zh) 自动调焦***、方法以及投影仪
CN113324478A (zh) 一种线结构光的中心提取方法及锻件三维测量方法
CN113538583A (zh) 一种工件在机床上位置的精准定位方法及视觉***
CN111915485B (zh) 一种特征点稀疏工件图像的快速拼接方法及***
CN116433780B (zh) 一种基于机器视觉的激光结构光自动标定方法
US20190037205A1 (en) Stereo Camera and Image Pickup System
CN110769229A (zh) 投影画面颜色亮度的检测方法、装置及***
CN112264992A (zh) 一种工业机器人坐标系校准方法、***、装置和存储介质
Kruger et al. In-factory calibration of multiocular camera systems
CN112995624B (zh) 用于投影仪的梯形误差校正方法及装置
CN116563391B (zh) 一种基于机器视觉的激光结构自动标定方法
CN113658279A (zh) 相机内参和外参估算方法、装置、计算机设备及存储介质
CN114964032B (zh) 基于机器视觉的盲孔深度测量方法及装置
CN115684012A (zh) 视觉检测***、校准方法、装置和可读存储介质
CN113109259B (zh) 一种图像的智能导航方法及装置
CN115239816A (zh) 一种相机标定方法、***、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant