CN112584041A - 一种图像识别动态纠偏方法 - Google Patents

一种图像识别动态纠偏方法 Download PDF

Info

Publication number
CN112584041A
CN112584041A CN202011418688.7A CN202011418688A CN112584041A CN 112584041 A CN112584041 A CN 112584041A CN 202011418688 A CN202011418688 A CN 202011418688A CN 112584041 A CN112584041 A CN 112584041A
Authority
CN
China
Prior art keywords
image
axis
camera
coordinates
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011418688.7A
Other languages
English (en)
Other versions
CN112584041B (zh
Inventor
陈如申
黎勇跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Shenhao Technology Co Ltd
Original Assignee
Hangzhou Shenhao Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Shenhao Technology Co Ltd filed Critical Hangzhou Shenhao Technology Co Ltd
Priority to CN202011418688.7A priority Critical patent/CN112584041B/zh
Publication of CN112584041A publication Critical patent/CN112584041A/zh
Application granted granted Critical
Publication of CN112584041B publication Critical patent/CN112584041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种图像识别动态纠偏方法,主要利用正向运动学的方法,先将图像坐标***及相机坐标***转移至基座坐标***,得到图像坐标***相对于基座坐标***的转换矩阵,接下来进行纠偏时,主要利用逆向运动学原理,反过来运算求得六轴云台各轴杆的转动角度,接下来根据运算结果控制所述六轴云台各轴杆进行转动。如此一来,便可达到纠偏目的,使得所述相机会朝向待拍摄目标体。

Description

一种图像识别动态纠偏方法
技术领域
本发明涉及图像辨识技术领域,具体而言,涉及一种图像识别动态纠偏方法。
背景技术
以往相机在拍摄物品时,需透过手动方式令拍摄后的图像中,可清楚呈现所述物品。然而,在这讲求自动化的现代,本申请认为,应有一种方法可以控制各组件工作,使得所述相机得以自动朝向所述物品进行拍照。
发明内容
本发明解决的问题是让相机得以自动朝向目标体进行拍照。
为解决上述问题,本发明提供一种图像识别动态纠偏方法,其特征在于,包括下列步骤:
(A)将相机架设于六轴云台;
(B)根据公式1:
Figure BDA0002821264600000011
将相机***坐标转换成图像***坐标,而得到图像***与相机***的转移矩阵,其中a为图像***坐标中一点的X轴坐标,b为图像***坐标中所述一点的Y轴坐标,fu为相机在图像***坐标的X轴焦距,fv为相机在图像***坐标的Y轴焦距,Cu为图像***中心点的X轴坐标,Cv为图像***中心点的Y轴坐标;x为所述一点在相机***的X轴坐标,y为所述一点在相机***的Y轴坐标;z为所述一点在相机***的Z轴坐标;
Figure BDA0002821264600000012
为图像***与相机***的转移矩阵;
(C)取六轴云台各个轴的第一旋转角度,及二轴之间的距离,根据公式2:
Figure BDA0002821264600000021
,运算出六轴云台的第六轴相对于六轴云台基座的向量矩阵,其中为
Figure BDA0002821264600000022
为六轴云台的第六轴相对于六轴云台基座的向量矩阵、θn为第n-1轴与第n轴之间轴杆相差角度、dn为第n-1轴与第n轴之间的垂直线距离、an为第n-1轴到第n轴的轴杆长、αn为第n-1轴与第n轴两轴的z轴以第n-1轴的x轴为旋转轴的夹角角度;
(D)计算相机坐标***与六轴云台的第六轴坐标***的转移矩阵
Figure BDA0002821264600000023
(E)根据公式3:
Figure BDA0002821264600000024
得到图像坐标***相对于基座坐标***的转换矩阵;
(F)所述相机拍摄一目标体得到一图像,将所述目标体的图像***坐标及相机***坐标根据公式1及公式2进行运算得到
Figure BDA0002821264600000025
再根据公式2进行运算,得到六轴云台各个轴的第二旋转角度;
(G)根据所述第二旋转角度分别控制六轴云台中各个轴杆的转动角度。
本申请主要利用正向运动学的原理,先计算目标点与六轴云台的相对位置后,得到所述图像坐标***相对于基座坐标***的转换矩阵
Figure BDA0002821264600000026
接下来便可输入欲追踪的目标体,根据其坐标资料再配合公式3求得
Figure BDA0002821264600000027
接着再利用公式2算出六轴云台中各轴杆的旋转角度,然后透过各轴杆的转动而带动所述相机移动,如此一来,所述相机拍照后的图像,目标体均会位于图像中央,而达到动态纠偏的目的。
附图说明
图1是本申请实施例1的流程示意图;
图2是本申请实施例2的流程示意图。
附图标记说明:
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
实施例1:
请看图1,本申请是一种图像识别动态纠偏方法,其特征在于,包括下列步骤:
(A)将相机架设于六轴云台。所述六轴云台具有六个可供旋转的轴杆,分别为第一至第六轴杆,透过各轴杆的旋转可供控制所述相机的拍摄位置、角度。所述第一轴杆位于所述所述第六轴云台的根部,而所述第六轴杆则是位于所述第六云台的自由端,至于所述相机则是架设于所述第六轴杆。
(B)根据公式1:
Figure BDA0002821264600000031
将相机***坐标转换成图像***坐标,而得到图像***与相机***的转移矩阵,其中a为图像***坐标中一点的X轴坐标,b为图像***坐标中所述一点的Y轴坐标,fu为相机在图像***坐标的X轴焦距,fv为相机在图像***坐标的Y轴焦距,Cu为图像***中心点的X轴坐标,Cv为图像***中心点的Y轴坐标;x为所述一点在相机***的X轴坐标,y为所述一点在相机***的Y轴坐标;z为所述一点在相机***的Z轴坐标;
Figure BDA0002821264600000032
为图像***与相机***的转移矩阵。其中
Figure BDA0002821264600000033
为相机的内部参数,可以透过摄影机校正程序,拍摄多张不同角度与距离的棋盘校正版图像进行运算求得,又或者可以根据所述相机的制造厂商所提供的数据取得。
(C)取六轴云台各个轴的第一旋转角度,及二轴之间的距离,根据公式2:
Figure BDA0002821264600000041
,运算出六轴云台的第六轴相对于六轴云台基座的向量矩阵,其中为
Figure BDA0002821264600000042
为六轴云台的第六轴相对于六轴云台基座的向量矩阵、θn为第n-1轴与第n轴之间轴杆相差角度、dn为第n-1轴与第n轴之间的垂直线距离、an为第n-1轴到第n轴的轴杆长、αn为第n-1轴与第n轴两轴的z轴以第n-1轴的x轴为旋转轴的夹角角度;
(D)计算相机坐标***与六轴云台的第六轴坐标***的转移矩阵
Figure BDA0002821264600000043
此部分可藉由手动进行量测,也可根据所述六轴云台的制造厂商所提供的数据得知。
(E)根据公式3:
Figure BDA0002821264600000044
得到图像坐标***相对于基座坐标***的转换矩阵,如此一来,本申请先是透过利用正向运动学原理,先计算目标点与六轴云台的相对位置,接下来便可利用逆向运动学求得各轴杆的转动角度。
(F)所述相机拍摄一目标体得到一图像,将所述目标体的图像***坐标及相机***坐标根据公式1及公式3进行运算得到
Figure BDA0002821264600000045
再根据公式2进行运算,得到六轴云台各个轴的第二旋转角度。
(G)根据所述第二旋转角度分别控制六轴云台中各个轴杆的转动角度。
本申请的优点在于:利用正向运动学的原理,先计算目标点与六轴云台的相对位置后,得到所述图像坐标***相对于基座坐标***的转换矩阵
Figure BDA0002821264600000046
接下来便可输入欲追踪的目标体,接下来利用逆向运动学的原理,逆向推算出各轴感应旋转角度,而根据其坐标资料再配合公式3求得
Figure BDA0002821264600000047
接着再利用公式2算出六轴云台中各轴杆的旋转角度,然后根据所述旋转角度的运算结果控制各轴感转动。透过各轴杆的转动而带动所述相机移动。如此一来,所述相机拍照后的图像,目标体均会位于图像中央,而达到动态纠偏的目的。
实施例2:
请看图2,为了让目标体可以位于图像的正中央,本实施例进一步可以实施为:步骤(F)中,将所述图像根据HSV色彩空间转换得到一HSV图像,由于HSV色彩空间对于光线的变化较不敏感,所以透过步骤可以让目标体自背景清楚被分离出来,接着从HSV图像分析背景颜色影像并进行膨胀侵蚀处理,而将所述HSV图像中背景内的噪声去除,得到一膨胀侵蚀图像,其中,膨胀侵蚀处理为图像分析相关领域的技术人员均可理解的技术,在此不再赘述。
将所述图像进行模糊化并转换成灰阶图像,得到一灰阶图像,将所述灰阶图像与膨胀侵蚀图像进行迭加,得到一迭加图像,再利用阈值区分所述迭加图像中目标体与背景,再利用膨胀侵蚀去除噪声,最后以一矩形框围线框围出所述目标体的最大边框,再计算所述矩形框围线的中心,再将所述中心的图像***坐标及相机***坐标做为所述目标体的图像***坐标及相机***坐标。
本实施例除了具有自动分析欲拍摄目标体的功能外,同时可以透过所述矩形框围线来判断所述目标体的中心,如此一来,所述相机所拍摄的图像,其目标体必定会落在图像的正中央。
实施例3:
当本申请在进行目標體追踪时,由于目標體所在平面并非完全与相机镜头平行,所以在进行追踪的过程中,还需考虑二者的角度关系,为此,本实施例更进一步可以实施为:所述相机为RGB-D相机,所述RGB-D相机所输出的图像信息中,除了有RGB色彩外,还包括具有距离信息的深度影像,也因此,所述RGB-D相机由左至右依序包括有一深度镜头、红外线发射器、深度镜头、RGB彩色镜头。分析所述目标体的特征,而得到复数个特征点,取一3D目标体坐标图,将所述复数个脸部特征点与所述3D目标体坐标图进行比较,以取得所述目标体的旋转矩阵及目标体的平移向量矩阵,接着根据公式1进行运算时须加上所述旋转矩阵及所述平移向量矩阵,而形成
Figure BDA0002821264600000061
其中所述旋转矩阵为[rij]=R3×3,i、j=1、2、3,所述平移向量矩阵为[ti]=T3×1
如此一来取得二者之间的旋转关系后,所述相机所拍摄出来的图像,必定会呈现目標物朝向前方的效果,而不会显现目標物朝左右或其他方向的状况,使本創作得以拍攝到清晰的目標體正面圖像。此外,值得一提的是,在运算所述目標體与所述相机镜头之间的关系时,需依序代入各个特征点的坐标进行运算,之后再透过最小平方法来估算最佳的旋转矩阵及平移向量矩阵。
实施例4:
更设一控制台,所述控制台可供远程设置所述目标体,所述六轴云台的基座设有一移动单元,所述移动单元可供根据一行径路线资料进行移动。
透过本实施例,所述移动单元、所述六轴云台,及所述相机便共同形成一巡检机器人,可自动对机房内的仪表、设备进行巡检、拍照。举例来说,当所述目标体为仪表时,可配合前述各实施例,令所述相机镜头朝向所述仪表的前侧进行拍摄,如此一来,所述图像便会清楚且完全呈现所述仪表的前侧,以利后续进行所述仪表数字的判读而不易出错。同时,使用者也可透过所述控制台来控制所述巡检机器人,例如可控制所述巡检机器人改变追踪的目标体。
实施例5:
本实施例基于实施例4再进一步可以实施为:当所述目标体为仪表时,于所述步骤(G)后更设一步骤(H):对所述目标体进行拍摄得到一目标体图像数据,分析所述目标体图像数据中的数值,并将分析结果及所述目标体图像数据传送至所述控制台;当所述数值超过默认值时,则发出警报信号。
因此,当本申请用于用于自动巡检机器人时,可自动判读仪表上的数字,判读后得结果除了可以直接传送至控制台外,当发生数值超标时可自动发出警报,例如自动发出警报讯息,令所述控制面板的警报器作动,或是控制所述自动巡检机器人本身的警报器作动,而仪表上数字分析得结果也可以做为纪录,或是透过长时间的观察来判断机台是否须提前进行维修、保养。
虽然本公开披露如上,但本公开的保护范围并非仅限于此。本领域技术人员在不脱离本公开的精神和范围的前提下,可进行各种变更与修改,这些变更与修改均将落入本发明的保护范围。

Claims (5)

1.一种图像识别动态纠偏方法,其特征在于,包括下列步骤:
(A)将相机架设于六轴云台;
(B)根据公式1:
Figure FDA0002821264590000011
将相机***坐标转换成图像***坐标,而得到图像***与相机***的转移矩阵,其中a为图像***坐标中一点的X轴坐标,b为图像***坐标中所述一点的Y轴坐标,fu为相机在图像***坐标的X轴焦距,fv为相机在图像***坐标的Y轴焦距,Cu为图像***中心点的X轴坐标,Cv为图像***中心点的Y轴坐标;x为所述一点在相机***的X轴坐标,y为所述一点在相机***的Y轴坐标;z为所述一点在相机***的Z轴坐标;
Figure FDA0002821264590000016
为图像***与相机***的转移矩阵;
(C)取六轴云台各个轴的第一旋转角度,及二轴之间的距离,根据公式2:
Figure FDA0002821264590000012
运算出六轴云台的第六轴相对于六轴云台基座的向量矩阵,其中为
Figure FDA0002821264590000015
为六轴云台的第六轴相对于六轴云台基座的向量矩阵、θn为第n-1轴与第n轴之间轴杆相差角度、dn为第n-1轴与第n轴之间的垂直线距离、an为第n-1轴到第n轴的轴杆长、αn为第n-1轴与第n轴两轴的z轴以第n-1轴的x轴为旋转轴的夹角角度;
(D)计算相机坐标***与六轴云台的第六轴坐标***的转移矩阵
Figure FDA0002821264590000013
(E)根据公式3:
Figure FDA0002821264590000014
得到图像坐标***相对于基座坐标***的转换矩阵;
(F)所述相机拍摄一目标体得到一图像,将所述目标体的图像***坐标及相机***坐标根据公式1及公式2进行运算得到
Figure FDA0002821264590000021
再根据公式2进行运算,得到六轴云台各个轴的第二旋转角度;
(G)根据所述第二旋转角度分别控制六轴云台中各个轴杆的转动角度。
2.根据权利要求1所述的图像识别动态纠偏方法,其特征在于,步骤(F)中,将所述图像根据HSV色彩空间转换得到一HSV图像,从HSV图像分析背景颜色影像并进行膨胀侵蚀处理,得到一膨胀侵蚀图像,将所述图像进行模糊化并转换成灰阶图像,得到一灰阶图像,将所述灰阶图像与膨胀侵蚀图像进行迭加,得到一迭加图像,再利用阈值区分所述迭加图像中目标体与背景,再利用膨胀侵蚀去除噪声,最后以一矩形框围线框围出所述目标体的最大边框,再计算所述矩形框围线的中心,再将所述中心的图像***坐标及相机***坐标做为所述目标体的图像***坐标及相机***坐标。
3.根据权利要求1所述的图像识别动态纠偏方法,其特征在于,所述相机为RGB-D相机,步骤(F)中,分析所述目标体的特征,而得到复数个特征点,取一3D目标体坐标图,将所述复数个特征点与所述3D目标体坐标图进行比较,以取得所述目标体的旋转矩阵及目标体的平移向量矩阵,接着根据公式1进行运算时须加上所述旋转矩阵及所述平移向量矩阵,而形成
Figure FDA0002821264590000022
其中所述旋转矩阵为[rij]=R3×3,i、j=1、2、3,所述平移向量矩阵为[ti]=T3×1
4.根据权利要求3所述的图像识别动态纠偏方法,其特征在于,更设一控制台,所述控制台可供远程设置所述目标体,所述六轴云台的基座设有一移动单元,所述移动单元可供根据一行径路线资料进行移动。
5.根据权利要求4所述的图像识别动态纠偏方法,其特征在于,当所述目标体为仪表时,于所述步骤(G)后更设一步骤步骤(H):对所述目标体进行拍摄得到一目标体图像数据,分析所述目标体图像数据中的数值,并将分析结果及所述目标体图像数据传送至控制台;当所述数值超过默认值时,则发出警报信号。
CN202011418688.7A 2020-12-07 2020-12-07 一种图像识别动态纠偏方法 Active CN112584041B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011418688.7A CN112584041B (zh) 2020-12-07 2020-12-07 一种图像识别动态纠偏方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011418688.7A CN112584041B (zh) 2020-12-07 2020-12-07 一种图像识别动态纠偏方法

Publications (2)

Publication Number Publication Date
CN112584041A true CN112584041A (zh) 2021-03-30
CN112584041B CN112584041B (zh) 2022-11-18

Family

ID=75127665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011418688.7A Active CN112584041B (zh) 2020-12-07 2020-12-07 一种图像识别动态纠偏方法

Country Status (1)

Country Link
CN (1) CN112584041B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926507A (zh) * 2022-07-18 2022-08-19 深圳新视智科技术有限公司 极片纠偏方法、装置、设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007100043A1 (ja) * 2006-03-02 2007-09-07 Toa Corporation カメラ制御装置およびカメラ制御方法
CN102622767A (zh) * 2012-03-05 2012-08-01 广州乐庚信息科技有限公司 双目非标定空间定位方法
CN109176534A (zh) * 2018-11-27 2019-01-11 国网山东省电力公司烟台供电公司 一种机器人多摄像机实时融合***及方法
US20190015988A1 (en) * 2017-07-11 2019-01-17 Seiko Epson Corporation Robot control device, robot, robot system, and calibration method of camera for robot
US20190143525A1 (en) * 2017-11-16 2019-05-16 Kabushiki Kaisha Toshiba Actuation system and computer program product
CN110977964A (zh) * 2019-11-26 2020-04-10 汕头大学 一种电厂设备运行微漏探测用智能巡检机器人及检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007100043A1 (ja) * 2006-03-02 2007-09-07 Toa Corporation カメラ制御装置およびカメラ制御方法
CN102622767A (zh) * 2012-03-05 2012-08-01 广州乐庚信息科技有限公司 双目非标定空间定位方法
US20190015988A1 (en) * 2017-07-11 2019-01-17 Seiko Epson Corporation Robot control device, robot, robot system, and calibration method of camera for robot
US20190143525A1 (en) * 2017-11-16 2019-05-16 Kabushiki Kaisha Toshiba Actuation system and computer program product
CN109176534A (zh) * 2018-11-27 2019-01-11 国网山东省电力公司烟台供电公司 一种机器人多摄像机实时融合***及方法
CN110977964A (zh) * 2019-11-26 2020-04-10 汕头大学 一种电厂设备运行微漏探测用智能巡检机器人及检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
乔曙光: "6自由度串联机械手位置逆解新方法", 《中国硕士学位论文全文数据库信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926507A (zh) * 2022-07-18 2022-08-19 深圳新视智科技术有限公司 极片纠偏方法、装置、设备及可读存储介质
CN114926507B (zh) * 2022-07-18 2023-03-21 深圳新视智科技术有限公司 极片纠偏方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN112584041B (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
CN110555889B (zh) 一种基于CALTag和点云信息的深度相机手眼标定方法
CN107471218B (zh) 一种基于多目视觉的双臂机器人手眼协调方法
CN111801198B (zh) 一种手眼标定方法、***及计算机存储介质
CN108109174B (zh) 一种用于散乱零件随机分拣的机器人单目引导方法和***
CN109297413B (zh) 一种大型筒体结构视觉测量方法
CN111721259B (zh) 基于双目视觉的水下机器人回收定位方法
CN111515944B (zh) 非固定路径机器人自动标定方法
JP6734253B2 (ja) ワークを撮像する視覚センサを備える撮像装置
EP1477934A2 (en) Image processing apparatus
CN111645074A (zh) 一种机器人抓取定位方法
US20100119146A1 (en) Robot system, robot control device and method for controlling robot
CN113379849B (zh) 基于深度相机的机器人自主识别智能抓取方法及***
JPH10253322A (ja) 空間内で物体を位置指定する方法および装置
CN111784655B (zh) 一种水下机器人回收定位方法
CN112518748B (zh) 面向运动物品的视觉机械臂自动抓取方法与***
CN112584041B (zh) 一种图像识别动态纠偏方法
CN111583342A (zh) 一种基于双目视觉的目标快速定位方法及装置
CN110619664B (zh) 基于激光图案辅助的摄像机距离姿态计算方法及服务器
CN111459176B (zh) 车自动充电定位控制方法、标定方法及车辆姿态计算方法
CN112995641B (zh) 一种3d模组成像装置及方法、电子设备
CN110634136B (zh) 一种管道壁破损检测方法、装置及***
WO2021138856A1 (zh) 相机控制方法、设备及计算机可读存储介质
Wang et al. A vision location system design of glue dispensing robot
CN109493369B (zh) 一种智能机器人视觉动态定位跟踪方法及***
CN112935562A (zh) 基于旁轴离线测量的激光精密加工方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Dynamic Correction Method for Image Recognition

Granted publication date: 20221118

Pledgee: Guotou Taikang Trust Co.,Ltd.

Pledgor: Hangzhou Shenhao Technology Co.,Ltd.

Registration number: Y2024980011357