CN112584041A - 一种图像识别动态纠偏方法 - Google Patents
一种图像识别动态纠偏方法 Download PDFInfo
- Publication number
- CN112584041A CN112584041A CN202011418688.7A CN202011418688A CN112584041A CN 112584041 A CN112584041 A CN 112584041A CN 202011418688 A CN202011418688 A CN 202011418688A CN 112584041 A CN112584041 A CN 112584041A
- Authority
- CN
- China
- Prior art keywords
- image
- axis
- camera
- coordinates
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims abstract description 36
- 238000012546 transfer Methods 0.000 claims abstract description 9
- 238000006243 chemical reaction Methods 0.000 claims abstract description 5
- 230000003628 erosive effect Effects 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 230000010339 dilation Effects 0.000 claims 4
- 238000004364 calculation method Methods 0.000 abstract description 3
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010252 digital analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
Abstract
本发明提供了一种图像识别动态纠偏方法,主要利用正向运动学的方法,先将图像坐标***及相机坐标***转移至基座坐标***,得到图像坐标***相对于基座坐标***的转换矩阵,接下来进行纠偏时,主要利用逆向运动学原理,反过来运算求得六轴云台各轴杆的转动角度,接下来根据运算结果控制所述六轴云台各轴杆进行转动。如此一来,便可达到纠偏目的,使得所述相机会朝向待拍摄目标体。
Description
技术领域
本发明涉及图像辨识技术领域,具体而言,涉及一种图像识别动态纠偏方法。
背景技术
以往相机在拍摄物品时,需透过手动方式令拍摄后的图像中,可清楚呈现所述物品。然而,在这讲求自动化的现代,本申请认为,应有一种方法可以控制各组件工作,使得所述相机得以自动朝向所述物品进行拍照。
发明内容
本发明解决的问题是让相机得以自动朝向目标体进行拍照。
为解决上述问题,本发明提供一种图像识别动态纠偏方法,其特征在于,包括下列步骤:
(A)将相机架设于六轴云台;
(B)根据公式1:将相机***坐标转换成图像***坐标,而得到图像***与相机***的转移矩阵,其中a为图像***坐标中一点的X轴坐标,b为图像***坐标中所述一点的Y轴坐标,fu为相机在图像***坐标的X轴焦距,fv为相机在图像***坐标的Y轴焦距,Cu为图像***中心点的X轴坐标,Cv为图像***中心点的Y轴坐标;x为所述一点在相机***的X轴坐标,y为所述一点在相机***的Y轴坐标;z为所述一点在相机***的Z轴坐标;为图像***与相机***的转移矩阵;
(C)取六轴云台各个轴的第一旋转角度,及二轴之间的距离,根据公式2:
,运算出六轴云台的第六轴相对于六轴云台基座的向量矩阵,其中为为六轴云台的第六轴相对于六轴云台基座的向量矩阵、θn为第n-1轴与第n轴之间轴杆相差角度、dn为第n-1轴与第n轴之间的垂直线距离、an为第n-1轴到第n轴的轴杆长、αn为第n-1轴与第n轴两轴的z轴以第n-1轴的x轴为旋转轴的夹角角度;
(G)根据所述第二旋转角度分别控制六轴云台中各个轴杆的转动角度。
附图说明
图1是本申请实施例1的流程示意图;
图2是本申请实施例2的流程示意图。
附图标记说明:
无
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
实施例1:
请看图1,本申请是一种图像识别动态纠偏方法,其特征在于,包括下列步骤:
(A)将相机架设于六轴云台。所述六轴云台具有六个可供旋转的轴杆,分别为第一至第六轴杆,透过各轴杆的旋转可供控制所述相机的拍摄位置、角度。所述第一轴杆位于所述所述第六轴云台的根部,而所述第六轴杆则是位于所述第六云台的自由端,至于所述相机则是架设于所述第六轴杆。
(B)根据公式1:将相机***坐标转换成图像***坐标,而得到图像***与相机***的转移矩阵,其中a为图像***坐标中一点的X轴坐标,b为图像***坐标中所述一点的Y轴坐标,fu为相机在图像***坐标的X轴焦距,fv为相机在图像***坐标的Y轴焦距,Cu为图像***中心点的X轴坐标,Cv为图像***中心点的Y轴坐标;x为所述一点在相机***的X轴坐标,y为所述一点在相机***的Y轴坐标;z为所述一点在相机***的Z轴坐标;为图像***与相机***的转移矩阵。其中为相机的内部参数,可以透过摄影机校正程序,拍摄多张不同角度与距离的棋盘校正版图像进行运算求得,又或者可以根据所述相机的制造厂商所提供的数据取得。
(C)取六轴云台各个轴的第一旋转角度,及二轴之间的距离,根据公式2:
,运算出六轴云台的第六轴相对于六轴云台基座的向量矩阵,其中为为六轴云台的第六轴相对于六轴云台基座的向量矩阵、θn为第n-1轴与第n轴之间轴杆相差角度、dn为第n-1轴与第n轴之间的垂直线距离、an为第n-1轴到第n轴的轴杆长、αn为第n-1轴与第n轴两轴的z轴以第n-1轴的x轴为旋转轴的夹角角度;
(G)根据所述第二旋转角度分别控制六轴云台中各个轴杆的转动角度。
本申请的优点在于:利用正向运动学的原理,先计算目标点与六轴云台的相对位置后,得到所述图像坐标***相对于基座坐标***的转换矩阵接下来便可输入欲追踪的目标体,接下来利用逆向运动学的原理,逆向推算出各轴感应旋转角度,而根据其坐标资料再配合公式3求得接着再利用公式2算出六轴云台中各轴杆的旋转角度,然后根据所述旋转角度的运算结果控制各轴感转动。透过各轴杆的转动而带动所述相机移动。如此一来,所述相机拍照后的图像,目标体均会位于图像中央,而达到动态纠偏的目的。
实施例2:
请看图2,为了让目标体可以位于图像的正中央,本实施例进一步可以实施为:步骤(F)中,将所述图像根据HSV色彩空间转换得到一HSV图像,由于HSV色彩空间对于光线的变化较不敏感,所以透过步骤可以让目标体自背景清楚被分离出来,接着从HSV图像分析背景颜色影像并进行膨胀侵蚀处理,而将所述HSV图像中背景内的噪声去除,得到一膨胀侵蚀图像,其中,膨胀侵蚀处理为图像分析相关领域的技术人员均可理解的技术,在此不再赘述。
将所述图像进行模糊化并转换成灰阶图像,得到一灰阶图像,将所述灰阶图像与膨胀侵蚀图像进行迭加,得到一迭加图像,再利用阈值区分所述迭加图像中目标体与背景,再利用膨胀侵蚀去除噪声,最后以一矩形框围线框围出所述目标体的最大边框,再计算所述矩形框围线的中心,再将所述中心的图像***坐标及相机***坐标做为所述目标体的图像***坐标及相机***坐标。
本实施例除了具有自动分析欲拍摄目标体的功能外,同时可以透过所述矩形框围线来判断所述目标体的中心,如此一来,所述相机所拍摄的图像,其目标体必定会落在图像的正中央。
实施例3:
当本申请在进行目標體追踪时,由于目標體所在平面并非完全与相机镜头平行,所以在进行追踪的过程中,还需考虑二者的角度关系,为此,本实施例更进一步可以实施为:所述相机为RGB-D相机,所述RGB-D相机所输出的图像信息中,除了有RGB色彩外,还包括具有距离信息的深度影像,也因此,所述RGB-D相机由左至右依序包括有一深度镜头、红外线发射器、深度镜头、RGB彩色镜头。分析所述目标体的特征,而得到复数个特征点,取一3D目标体坐标图,将所述复数个脸部特征点与所述3D目标体坐标图进行比较,以取得所述目标体的旋转矩阵及目标体的平移向量矩阵,接着根据公式1进行运算时须加上所述旋转矩阵及所述平移向量矩阵,而形成其中所述旋转矩阵为[rij]=R3×3,i、j=1、2、3,所述平移向量矩阵为[ti]=T3×1。
如此一来取得二者之间的旋转关系后,所述相机所拍摄出来的图像,必定会呈现目標物朝向前方的效果,而不会显现目標物朝左右或其他方向的状况,使本創作得以拍攝到清晰的目標體正面圖像。此外,值得一提的是,在运算所述目標體与所述相机镜头之间的关系时,需依序代入各个特征点的坐标进行运算,之后再透过最小平方法来估算最佳的旋转矩阵及平移向量矩阵。
实施例4:
更设一控制台,所述控制台可供远程设置所述目标体,所述六轴云台的基座设有一移动单元,所述移动单元可供根据一行径路线资料进行移动。
透过本实施例,所述移动单元、所述六轴云台,及所述相机便共同形成一巡检机器人,可自动对机房内的仪表、设备进行巡检、拍照。举例来说,当所述目标体为仪表时,可配合前述各实施例,令所述相机镜头朝向所述仪表的前侧进行拍摄,如此一来,所述图像便会清楚且完全呈现所述仪表的前侧,以利后续进行所述仪表数字的判读而不易出错。同时,使用者也可透过所述控制台来控制所述巡检机器人,例如可控制所述巡检机器人改变追踪的目标体。
实施例5:
本实施例基于实施例4再进一步可以实施为:当所述目标体为仪表时,于所述步骤(G)后更设一步骤(H):对所述目标体进行拍摄得到一目标体图像数据,分析所述目标体图像数据中的数值,并将分析结果及所述目标体图像数据传送至所述控制台;当所述数值超过默认值时,则发出警报信号。
因此,当本申请用于用于自动巡检机器人时,可自动判读仪表上的数字,判读后得结果除了可以直接传送至控制台外,当发生数值超标时可自动发出警报,例如自动发出警报讯息,令所述控制面板的警报器作动,或是控制所述自动巡检机器人本身的警报器作动,而仪表上数字分析得结果也可以做为纪录,或是透过长时间的观察来判断机台是否须提前进行维修、保养。
虽然本公开披露如上,但本公开的保护范围并非仅限于此。本领域技术人员在不脱离本公开的精神和范围的前提下,可进行各种变更与修改,这些变更与修改均将落入本发明的保护范围。
Claims (5)
1.一种图像识别动态纠偏方法,其特征在于,包括下列步骤:
(A)将相机架设于六轴云台;
(B)根据公式1:将相机***坐标转换成图像***坐标,而得到图像***与相机***的转移矩阵,其中a为图像***坐标中一点的X轴坐标,b为图像***坐标中所述一点的Y轴坐标,fu为相机在图像***坐标的X轴焦距,fv为相机在图像***坐标的Y轴焦距,Cu为图像***中心点的X轴坐标,Cv为图像***中心点的Y轴坐标;x为所述一点在相机***的X轴坐标,y为所述一点在相机***的Y轴坐标;z为所述一点在相机***的Z轴坐标;为图像***与相机***的转移矩阵;
(C)取六轴云台各个轴的第一旋转角度,及二轴之间的距离,根据公式2:
运算出六轴云台的第六轴相对于六轴云台基座的向量矩阵,其中为为六轴云台的第六轴相对于六轴云台基座的向量矩阵、θn为第n-1轴与第n轴之间轴杆相差角度、dn为第n-1轴与第n轴之间的垂直线距离、an为第n-1轴到第n轴的轴杆长、αn为第n-1轴与第n轴两轴的z轴以第n-1轴的x轴为旋转轴的夹角角度;
(G)根据所述第二旋转角度分别控制六轴云台中各个轴杆的转动角度。
2.根据权利要求1所述的图像识别动态纠偏方法,其特征在于,步骤(F)中,将所述图像根据HSV色彩空间转换得到一HSV图像,从HSV图像分析背景颜色影像并进行膨胀侵蚀处理,得到一膨胀侵蚀图像,将所述图像进行模糊化并转换成灰阶图像,得到一灰阶图像,将所述灰阶图像与膨胀侵蚀图像进行迭加,得到一迭加图像,再利用阈值区分所述迭加图像中目标体与背景,再利用膨胀侵蚀去除噪声,最后以一矩形框围线框围出所述目标体的最大边框,再计算所述矩形框围线的中心,再将所述中心的图像***坐标及相机***坐标做为所述目标体的图像***坐标及相机***坐标。
4.根据权利要求3所述的图像识别动态纠偏方法,其特征在于,更设一控制台,所述控制台可供远程设置所述目标体,所述六轴云台的基座设有一移动单元,所述移动单元可供根据一行径路线资料进行移动。
5.根据权利要求4所述的图像识别动态纠偏方法,其特征在于,当所述目标体为仪表时,于所述步骤(G)后更设一步骤步骤(H):对所述目标体进行拍摄得到一目标体图像数据,分析所述目标体图像数据中的数值,并将分析结果及所述目标体图像数据传送至控制台;当所述数值超过默认值时,则发出警报信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011418688.7A CN112584041B (zh) | 2020-12-07 | 2020-12-07 | 一种图像识别动态纠偏方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011418688.7A CN112584041B (zh) | 2020-12-07 | 2020-12-07 | 一种图像识别动态纠偏方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112584041A true CN112584041A (zh) | 2021-03-30 |
CN112584041B CN112584041B (zh) | 2022-11-18 |
Family
ID=75127665
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011418688.7A Active CN112584041B (zh) | 2020-12-07 | 2020-12-07 | 一种图像识别动态纠偏方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112584041B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114926507A (zh) * | 2022-07-18 | 2022-08-19 | 深圳新视智科技术有限公司 | 极片纠偏方法、装置、设备及可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007100043A1 (ja) * | 2006-03-02 | 2007-09-07 | Toa Corporation | カメラ制御装置およびカメラ制御方法 |
CN102622767A (zh) * | 2012-03-05 | 2012-08-01 | 广州乐庚信息科技有限公司 | 双目非标定空间定位方法 |
CN109176534A (zh) * | 2018-11-27 | 2019-01-11 | 国网山东省电力公司烟台供电公司 | 一种机器人多摄像机实时融合***及方法 |
US20190015988A1 (en) * | 2017-07-11 | 2019-01-17 | Seiko Epson Corporation | Robot control device, robot, robot system, and calibration method of camera for robot |
US20190143525A1 (en) * | 2017-11-16 | 2019-05-16 | Kabushiki Kaisha Toshiba | Actuation system and computer program product |
CN110977964A (zh) * | 2019-11-26 | 2020-04-10 | 汕头大学 | 一种电厂设备运行微漏探测用智能巡检机器人及检测方法 |
-
2020
- 2020-12-07 CN CN202011418688.7A patent/CN112584041B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007100043A1 (ja) * | 2006-03-02 | 2007-09-07 | Toa Corporation | カメラ制御装置およびカメラ制御方法 |
CN102622767A (zh) * | 2012-03-05 | 2012-08-01 | 广州乐庚信息科技有限公司 | 双目非标定空间定位方法 |
US20190015988A1 (en) * | 2017-07-11 | 2019-01-17 | Seiko Epson Corporation | Robot control device, robot, robot system, and calibration method of camera for robot |
US20190143525A1 (en) * | 2017-11-16 | 2019-05-16 | Kabushiki Kaisha Toshiba | Actuation system and computer program product |
CN109176534A (zh) * | 2018-11-27 | 2019-01-11 | 国网山东省电力公司烟台供电公司 | 一种机器人多摄像机实时融合***及方法 |
CN110977964A (zh) * | 2019-11-26 | 2020-04-10 | 汕头大学 | 一种电厂设备运行微漏探测用智能巡检机器人及检测方法 |
Non-Patent Citations (1)
Title |
---|
乔曙光: "6自由度串联机械手位置逆解新方法", 《中国硕士学位论文全文数据库信息科技辑》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114926507A (zh) * | 2022-07-18 | 2022-08-19 | 深圳新视智科技术有限公司 | 极片纠偏方法、装置、设备及可读存储介质 |
CN114926507B (zh) * | 2022-07-18 | 2023-03-21 | 深圳新视智科技术有限公司 | 极片纠偏方法、装置、设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112584041B (zh) | 2022-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110555889B (zh) | 一种基于CALTag和点云信息的深度相机手眼标定方法 | |
CN107471218B (zh) | 一种基于多目视觉的双臂机器人手眼协调方法 | |
CN111801198B (zh) | 一种手眼标定方法、***及计算机存储介质 | |
CN108109174B (zh) | 一种用于散乱零件随机分拣的机器人单目引导方法和*** | |
CN109297413B (zh) | 一种大型筒体结构视觉测量方法 | |
CN111721259B (zh) | 基于双目视觉的水下机器人回收定位方法 | |
CN111515944B (zh) | 非固定路径机器人自动标定方法 | |
JP6734253B2 (ja) | ワークを撮像する視覚センサを備える撮像装置 | |
EP1477934A2 (en) | Image processing apparatus | |
CN111645074A (zh) | 一种机器人抓取定位方法 | |
US20100119146A1 (en) | Robot system, robot control device and method for controlling robot | |
CN113379849B (zh) | 基于深度相机的机器人自主识别智能抓取方法及*** | |
JPH10253322A (ja) | 空間内で物体を位置指定する方法および装置 | |
CN111784655B (zh) | 一种水下机器人回收定位方法 | |
CN112518748B (zh) | 面向运动物品的视觉机械臂自动抓取方法与*** | |
CN112584041B (zh) | 一种图像识别动态纠偏方法 | |
CN111583342A (zh) | 一种基于双目视觉的目标快速定位方法及装置 | |
CN110619664B (zh) | 基于激光图案辅助的摄像机距离姿态计算方法及服务器 | |
CN111459176B (zh) | 车自动充电定位控制方法、标定方法及车辆姿态计算方法 | |
CN112995641B (zh) | 一种3d模组成像装置及方法、电子设备 | |
CN110634136B (zh) | 一种管道壁破损检测方法、装置及*** | |
WO2021138856A1 (zh) | 相机控制方法、设备及计算机可读存储介质 | |
Wang et al. | A vision location system design of glue dispensing robot | |
CN109493369B (zh) | 一种智能机器人视觉动态定位跟踪方法及*** | |
CN112935562A (zh) | 基于旁轴离线测量的激光精密加工方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Dynamic Correction Method for Image Recognition Granted publication date: 20221118 Pledgee: Guotou Taikang Trust Co.,Ltd. Pledgor: Hangzhou Shenhao Technology Co.,Ltd. Registration number: Y2024980011357 |