CN110189314A - 基于机器视觉的汽车仪表盘图像定位方法 - Google Patents
基于机器视觉的汽车仪表盘图像定位方法 Download PDFInfo
- Publication number
- CN110189314A CN110189314A CN201910449014.4A CN201910449014A CN110189314A CN 110189314 A CN110189314 A CN 110189314A CN 201910449014 A CN201910449014 A CN 201910449014A CN 110189314 A CN110189314 A CN 110189314A
- Authority
- CN
- China
- Prior art keywords
- image
- coordinate
- instrument panel
- automobile instrument
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 239000004973 liquid crystal related substance Substances 0.000 claims abstract description 11
- 238000001914 filtration Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 239000012636 effector Substances 0.000 claims description 3
- 230000001788 irregular Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 230000008676 import Effects 0.000 claims description 2
- 241000208340 Araliaceae Species 0.000 claims 1
- 238000009432 framing Methods 0.000 abstract description 6
- 238000007689 inspection Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000011179 visual inspection Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- YLJREFDVOIBQDA-UHFFFAOYSA-N tacrine Chemical compound C1=CC=C2C(N)=C(CCCC3)C3=NC2=C1 YLJREFDVOIBQDA-UHFFFAOYSA-N 0.000 description 2
- 229960001685 tacrine Drugs 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 240000005373 Panax quinquefolius Species 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000012149 noodles Nutrition 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于机器视觉的汽车仪表盘图像定位方法，为了解决汽车仪表盘图像定位问题，提出基于机器视觉的图像定位方法。通过九点标定建立空间坐标与像素坐标关系，在该坐标系下采用PatQuick算法对汽车仪表盘粗定位，定位后再根据索贝尔算子将图像边缘化，然后通过Blob算法对刻度线精定位，最后采用PatMax算法与Blob算法结合对液晶显示符精定位。该方法能够准确定位图形信息，减小汽车仪表盘显示偏差，提高汽车质检率，对汽车仪表盘图像定位的实际应用具有重要的意义。
Description
技术领域
本发明属于机器视觉领域，更具体的涉及一种基于机器视觉的汽车仪表盘图像定位方法。
背景技术
伴随着机器视觉的快速发展，汽车仪表信息化程度越来越高，对汽车仪表上各项信息显示的质量检测要求也日渐严格。而对汽车仪表盘图像上的显示信息进行目标定位，解决人工目检效率和精度低的问题，将会大大的提高汽车仪表盘产品质量。通过汽车仪表盘图像采集，获取图像上丰富的指示特征信息，并对仪表盘图像进行定位，可概括为两个步骤：①汽车仪表盘粗定位。即先将汽车仪表盘做模型匹配，再对汽车仪表盘感兴趣区域(ROI)进行定位。②汽车仪表盘精定位。即先对粗定位的图像进去处理，再通过算法对仪表盘上的刻度与液晶数字做精确定位，以保证仪表盘在投入使用前的精确度达到工业要求。
针对图像检测和定位的问题，韩金岳[1]提出一种新的基于灰度投影积分法原理的检测方法，改善了投影法定位过程中出现的图像偏转问题，从而修正图片旋转角度，为后续处理提供保障；张有芬等人[2]在Adabost算法定位的基础上对图像进行二值化，经过二值化图像的水平梯度和垂直梯度的投影定位栅格的方法，为后续图像定位识别提供了一种新的方法；孟祥雪等人[3]采用形态学、霍夫变换等算法提取仪表指针直线，并应用三次样条插值拟合仪表盘刻度，最后运用距离法读取表盘刻度，这种检测方法实用、可靠；卜伟等人[4]采用HOG算法对图像的边缘轮廓信息进行提取训练并结合SVM在训练集上训练分类模型，在最后结合标定来计算深度，以完成分类、定位问题，这种机器引导相机定位方式满足实际工业需求。但是上述研究的定位方法主要针对特定图像检测和定位需求，无法在工业上广泛的应用，一旦仪表的位置变动，还要重新精细的训练和标定，对于仪表图像的检测定位而言并不具有普适性。
发明内容
1、发明目的。
本发明为了解决汽车仪表盘的定位问题，提出了一种基于机器视觉的汽车仪表盘图像定位方法，。
2、本发明所采用的技术方案。
本发明提出了一种基于机器视觉的汽车仪表盘图像定位方法，
图像在采集过程中，相机镜头存在畸变问题，而使图像扭曲采用步骤1、标定
在采集图像前先对相机进行标定，确定空间物体表面上点的几何位置与图像中所对应的点的空间关系，建立相机成像的几何模型并求解；
步骤2、降噪
先将汽车仪表盘彩色图像灰度化，再采用混合中值滤波方式去除噪声来保护汽车仪表盘的噪声，分别采用1个3*3中值滤波器和采用3个滤波器混合对汽车仪表盘灰度图像滤波，得到的汽车仪表盘图像；
步骤3、粗定位
首先对汽车仪表盘粗定位，得到仪表盘上有用信息，采用VisionPro处理软件对汽车仪表盘进行粗定位，先在离线模式下导入图像，创建的图像模版是基于几何特征的模板，然后训练图像模型，将图像中ROI用矩形框选定并对矩形框在空间坐标系下进行定位；以汽车仪表盘ROI的中点为原点建立图像与相机关系，在接下来的定位中都以这个坐标系原点为基点寻找特征信息的相对位置，从而确定图像各个定位点与相机坐标系的关系；
步骤4、精定位，在矩形框内利用特征信息精确定位
步骤4.1索贝尔算子边缘化
索贝尔算子作边缘检测，为离散型差分算子，用来运算图像亮度函数的灰度之近似值，在图像的任何一点使用此算子，将会产生对应的灰度矢量或是其法矢量；该算子包含两组3*3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值，如果以A代表原始图像，Gx和Gy分别代表经横向及纵向边缘检测的图像灰度值，其公式如(6):
图像的每一个像素的横向及纵向灰度值通过以下公式(7)结合，来计算该点灰度的大小:
使用不开方的近似值(8):
|G|＝|Gx|+|Gy| (8)
如果梯度G大于某一阈值，则认为该点(x，y)为边缘点，选择低滞后阈值10，高滞后阈值20，输出边缘像素值为255，输出非边缘像素值为0，得到二值图像，得到汽车仪表盘索贝尔边缘化图像为规则几何图形；
为了使刻度线图像质量较高，能够很好的阈值分割4.2刻度线提取与定位
对其像素点面积进行提取并找到其中心点位置，采用Blob算法对刻度线形状提取和定位，在数字图像中，坐标点(x，y)的4邻域包括4个水平和垂直的相邻像素，其坐标如式(9)：
(x+1,y),(x-1,y),(x,y+1),(x,y-1) (9)
在4邻域的基础上，再加上点(x，y)的4个对角相邻像素，就构成了(x，y)的8邻域，(x，y)的对角相邻像素坐标如式(10)：
(x+1,y+1),(x+1,y-1),(x-1,y+1),(x-1,y-1) (10)
Blob算法是将满足4邻域或8邻域的像素点标记为相同的值，然后提取出连通域，两种邻接方式；根据Blob算法，采用8领域连通，使刻度线上相同像素相互连通形成面积不同的斑点；
4.3液晶显示符提取与定位步骤：
边缘化后汽车仪表盘的数字区域为不规则几何图形,先采用VisionPro软件提供的PatMax算法在图像中数字区域分别建立离线模型，然后用矩形框选定数字，抓取训练对象得到液晶显示符匹配模型，在矩形框选定的区域再次使用Blob算法，通过设定阈值，排除噪声干扰，并选择面积较大的在Blob，过滤掉杂斑，即可在ROI中得到数字的Blob与质心坐标，重复上述方法，以汽车仪表盘的中心原点位置为基准对其进行定位，利用Blob对直方图进行峰值检测。
更进一步，几何位置与图像中所对应的点的空间关系具体为：图像像素坐标系(o-uv)、图像物理坐标系，(o1-xy)、相机坐标系(Oc-XCYc)以及世界坐标系(OW-XWYWZW)，从像素坐标直接变化为世界坐标的变化关系如式(1)：
其中[R T]由相机坐标系相对于世界坐标系的相对空间位置关系决定的，称为相机外参数矩阵，K是由相机内参数决定，称为内参数矩阵；
将相机固定在机械臂之外，通过移动机械臂的位姿来获取不同的标定图像，同时记录对应的机械臂位姿；在位姿变化过程中，机械臂到标定板的坐标关系固定不变，由机械臂基、相机与标定板之间的转换关系可得式(2)：
分别表示末端执行器坐标到机械臂基坐标、机械臂基坐标到相机坐标、相机坐标到标定板坐标的转换关系，将上式进行简单变换，得到式(3)：
令可得到AX＝XB，通过一系列变化确定X，先将上式改写为旋转矩阵加平移矩阵的形式(4)：
RE、TE与两次机械臂的末端姿态相关，可从控制器中获得，RC、TC与两次相机标定的外参数有关，可根据标定结果求得，RX、TX是要求解的量，通过相机标定可以得到图像信息在相机坐标系下与机械臂坐标系下对应的关系。
更进一步，图像的具体的标定流程：
步骤1.1、先使机械臂与标定板平行调节U，W轴，固定后，再调节X，Y轴；步骤1.2、以标记点为基础，先旋转大于60度，再将待测点调回标记点一个像素内，记录机械臂X，Y坐标，并且记录待测点的X，Y坐标；重复以上操作三次；将三次的输入表格，会得到一个拟合圆的中心坐标X，Y；
步骤1.3、计算Δ，Δ＝第三次测量的值-拟合圆中心坐标值；
步骤1.4、走九个点，分别记录九个点的坐标，再分别记录机械臂和图像坐标的值，然后将mark点当前坐标作为未矫正数据，机械臂坐标-Δ的值作为已矫正数据，可根据两组数据确定当前相机坐标系与机械臂坐标系下对应的关系。
标定完成后对图像进行采集，图像通常会受到当前环境的影响如车间环境光变化或者相机光源长期使用造成的光源衰弱等都会引起图像产生噪声，导致图像的稳定性变差，为避免图像在随后的特征信息处理中受到干扰，使汽车仪表盘图像定位不精确。更进一步，所以定位前需求对图像预处理，采用中值滤波
中值滤波算子如式(5)：
更进一步，步骤4.2中设置连通域最小像素面积为10，然后再过滤掉阈值小于150的杂斑面积；再寻找面积包含于2800-4500，800-1800像素的Blob，可以分别得到汽车仪表盘上的大刻度与小刻度线，最后保存刻度线的面积和质心坐标，以汽车仪表盘的中心原点位置为基准对其进行定位。
3、本发明所产生的技术效果。
本发明从机器视觉的图像定位角度出发，提出汽车仪表盘图像定位方法，采用九点标定建立的坐标系中，以粗定位的ROI中心坐标为基点与精定位后的汽车仪表盘特征信息相关联，从而得到精确的位置信息。通过对汽车仪表盘的定位，可以快速的检测仪表盘信息是否存在偏差，减小人工目检产生的误差，使工业产线及时对未组装的仪表盘回收处理，从而提高了生产质量，也进一步降低回收成本。因此，结合机器视觉对汽车仪表盘进行定位，对于工业应用有广泛的应用前景。
附图说明
图1为三种畸变方式示意图。
图2为四个参考坐标系示意图。
图3为汽车仪表盘中值滤波示意图。
图4为汽车仪表盘粗定位矩形区域示意图。
图5为索贝尔边缘化图像示意图。
图6为两种邻接方式示意图。
图7为Blob算法定位图像示意图。
图8为液晶显示符定位图像示意图。
具体实施方式
实施例
本发明提出了一种基于机器视觉的汽车仪表盘图像定位方法，由标定、降噪、粗定位和精定位四部分组成。该方法通过一次标定消除图像畸变并建立坐标关系，然后选择合适的预处理方式解决工业环境对图像造成的影响，再通过两次定位，最终在像素坐标系下完成汽车仪表盘的定位。
1相机标定
图像在采集过程中，相机镜头存在畸变问题，而使图像扭曲，所以在采集图像前先对相机进行标定，以确保成像质量。机器视觉应用中，为了确定空间物体表面上点的几何位置与图像中所对应的点的空间关系，需要建立相机成像的几何模型，而求解几何模型中相机参数的过程就是相机标定[5]。工业图像测量一般使用九点标定来解决世界坐标系与像素坐标系之间的关系，也就是通常所说的对焦点。相机在采集图像时，一般会产生三种畸变：枕形畸变、桶形畸变和线性畸变如图1(a)(b)(c)所示。为了解决这种畸变，需要精确确定几何模型的内参和外参以提高相机标定的精度。
机器视觉***在成像计算过程中引入四个参考坐标系如图2所示：分别表示为像素坐标系、相机坐标系、物理坐标系、世界坐标系[6]。
其中图像像素坐标系(o-uv)、图像物理坐标系，(o1-xy)、相机坐标系(Oc-XCYc)以及世界坐标系(OW-XWYWZW)，从像素坐标直接变化为世界坐标的变化关系如式(1)：
其中[R T]由相机坐标系相对于世界坐标系的相对空间位置关系决定的，称为相机外参数矩阵，K是由相机内参数决定，称为内参数矩阵。
九点标定将相机固定在机械臂之外，通过移动机械臂的位姿来获取不同的标定图像，同时记录对应的机械臂位姿[7]。在位姿变化过程中，机械臂到标定板的坐标关系固定不变，由机械臂基、相机与标定板之间的转换关系可得式(2)：
分别表示末端执行器坐标到机械臂基坐标、机械臂基坐标到相机坐标、相机坐标到标定板坐标的转换关系，将上式进行简单变换，得到式(3)：
令可得到AX＝XB，通过一系列变化确定X，先将上式改写为旋转矩阵加平移矩阵的形式(4)：
RE、TE与两次机械臂的末端姿态相关，可从控制器中获得，RC、TC与两次相机标定的外参数有关，可根据标定结果求得，RX、TX是要求解的量。通过相机标定可以得到图像信息在相机坐标系下与机械臂坐标系下对应的关系。图像的具体的标定流程：
1、先使机械臂与标定板平行调节U，W轴，固定后，再调节X，Y轴；2、以标记点为基础，先旋转大于60度，再将待测点调回标记点一个像素内，记录机械臂X，Y坐标，并且记录待测点的X，Y坐标。重复以上操作三次。将三次的输入表格，会得到一个拟合圆的中心坐标X，Y；3、计算Δ，Δ＝第三次测量的值-拟合圆中心坐标值；4、走九个点，分别记录九个点的坐标，再分别记录机械臂和图像坐标的值，然后将mark点当前坐标作为未矫正数据，机械臂坐标-Δ的值作为已矫正数据，可根据两组数据确定当前相机坐标系与机械臂坐标系下对应的关系。
2图像预处理
标定完成后对图像进行采集，图像通常会受到当前环境的影响如车间环境光变化或者相机光源长期使用造成的光源衰弱等都会引起图像产生噪声，导致图像的稳定性变差。所以定位前需求对图像预处理，以避免图像在随后的特征信息处理中受到干扰，使汽车仪表盘图像定位不精确。
中值滤波在平滑图像的同时，图像的细节信息保留较好，先将汽车仪表盘彩色图像灰度化，再采用混合中值滤波方式去除噪声来保护汽车仪表盘的噪声[8]。中值滤波算子如式(5)：
分别采用1个3*3中值滤波器和采用以上3个滤波器混合对汽车仪表盘灰度图像滤波，得到的汽车仪表盘图像如图3所示，采用多级中值滤波方式取得的效果比1个滤波器效果更好。
3汽车仪表盘定位
为提高定位精确度，首先对汽车仪表盘粗定位，得到仪表盘上有用信息，然后在矩形框内利用特征信息精确定位。
3.1汽车仪表盘粗定位
VisionPro是Cognex所推出的机器视觉处理软件，本发明采用该软件对汽车仪表盘进行粗定位。先在离线模式下导入图像，然后训练图像模型，由VisionPro提供的PatQuick算法将图像中ROI用矩形框选定并对矩形框在空间坐标系下进行定位。采用Cognex的彩色相机型号为CAM-CIC-1300-60-GC，与VisionPro连接使用，其分辨率为1280x1024，满足工业取像需求。
该算法创建的图像模版是基于几何特征的模板而不是基于像素灰度值的模板匹配工具，并且支持图像中特征的旋转与缩放，快速执行图像匹配，并且准确率较高，抓取训练图像后返回匹配的分数信息。离线状态进行模板设定时，以汽车仪表盘ROI的中点为原点建立图像与相机关系，在接下来的定位中都以这个坐标系原点为基点寻找特征信息的相对位置，从而确定图像各个定位点与相机坐标系的关系。粗定位完成后，保存相应的模板中心位置坐标，得到的汽车仪表盘粗定位矩形区域如图4所示。
3.2汽车仪表盘精定位
3.2.1索贝尔算子边缘化
索贝尔算子主要用作边缘检测，在技术上，它是一离散型差分算子，用来运算图像亮度函数的灰度之近似值[9]。在图像的任何一点使用此算子，将会产生对应的灰度矢量或是其法矢量。该算子包含两组3*3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。如果以A代表原始图像，Gx和Gy分别代表经横向及纵向边缘检测的图像灰度值，其公式如(6):
图像的每一个像素的横向及纵向灰度值通过以下公式(7)结合，来计算该点灰度的大小:
通常，为了提高效率，使用不开方的近似值(8):
|G|＝|Gx|+|Gy| (8)
如果梯度G大于某一阈值，则认为该点(x，y)为边缘点。选择低滞后阈值10，高滞后阈值20，输出边缘像素值为255，输出非边缘像素值为0，得到二值图像，得到汽车仪表盘索贝尔边缘化图像如图5所示。
3.2.2刻度线提取与定位
边缘化后汽车仪表盘的刻度线区域为规则几何图形，因此可以直接对其像素点面积进行提取并找到其中心点位置。本发明采用Blob算法对刻度线形状提取和定位，刻度线图像质量较高，能够很好的阈值分割[10]。在数字图像中，坐标点(x，y)的4邻域包括4个水平和垂直的相邻像素，其坐标如式(9)：
(x+1,y),(x-1,y),(x,y+1),(x,y-1) (9)
在4邻域的基础上，再加上点(x，y)的4个对角相邻像素，就构成了(x，y)的8邻域，(x，y)的对角相邻像素坐标如式(10)：
(x+1,y+1),(x+1,y-1),(x-1,y+1),(x-1,y-1) (10)
Blob算法是将满足4邻域或8邻域的像素点标记为相同的值，然后提取出连通域，两种邻接方式如图6(a)(b)所示。根据Blob算法，采用8领域连通，使刻度线上相同像素相互连通形成面积不同的斑点，本发明设置连通域最小像素面积为10，以提高检测速度。然后再过滤掉阈值小于150的杂斑面积，因为这些面积较小的Blob一般是由噪声引起的。再寻找面积包含于2800-4500，800-1800像素的Blob，可以分别得到汽车仪表盘上的大刻度与小刻度线，最后保存刻度线的面积和质心坐标，以汽车仪表盘的中心原点位置为基准对其进行定位。采用Blob算法得到的两种刻度线图像如图7(a)(c)，再利用Blob对直方图进行峰值检测，分别得到两幅图像的直方图如图7(b)(d)所示。
3.2.3液晶显示符提取与定位
边缘化后汽车仪表盘的数字区域为不规则几何图形，因此不能直接对其像素点面积进行提取。所以本发明先采用VisionPro软件提供的PatMax算法在图像中数字区域分别建立离线模型，然后用矩形框选定数字，抓取训练对象得到液晶显示符匹配模型。PatMax算法训练时间长，但是准确率比PatQuick更高，适合小区域的液晶显示符训练，减小了全图搜索匹配时间。得到矩形框选定的数字感兴趣区域如图8中(a)所示，然后在矩形框选定的区域再次使用Blob算法，可以减少汽车仪表盘指示灯等区域对液晶显示符定位的干扰，进一步提高定位的准确率。通过设定阈值，排除噪声干扰，并选择面积较大的在Blob，过滤掉像素面积小于3000的杂斑，即可在ROI中得到数字的Blob与质心坐标，重复上述方法，以汽车仪表盘的中心原点位置为基准对其进行定位，精定位后得到的数字图像如图8中(b)所示。利用Blob对直方图进行峰值检测，得到图像的直方图如图8中(c)所示。
本发明从机器视觉的图像定位角度出发，提出汽车仪表盘图像定位方法，采用九点标定建立的坐标系中，以粗定位的ROI中心坐标为基点与精定位后的汽车仪表盘特征信息相关联，从而得到精确的位置信息。通过对汽车仪表盘的定位，可以快速的检测仪表盘信息是否存在偏差，减小人工目检产生的误差，使工业产线及时对未组装的仪表盘回收处理，从而提高了生产质量，也进一步降低回收成本。因此，结合机器视觉对汽车仪表盘进行定位，对于工业应用有广泛的应用前景。
参考文献：
[1]韩金岳.图像处理中的铁路扣件定位方法[J].机械研究与应用,2018,31(03):182-184.
[2]张有芬,李玉惠,潘艺.基于图像特征的车脸栅格的定位方法[J].传感器与微***,2017,36(09):64-66.
[3]孟祥雪.基于机器视觉的汽车仪表读数检测技术研究[D].哈尔滨工业大学,2012.
[4]卜伟,徐显兵,肖江剑,王少剑,潘江锋,彭成斌.基于图像边缘特征的零件分类与定位算法[J].计量与测试技术,2018,45(09):52-55.
[5]王逊扬.基于最小凸包理论的相机自动标定方法研究[D].沈阳大学,2016.
[6]杨瑞华.多相机***快速标定算法研究[D].合肥工业大学,2017.
[7]张凯宇.基于RGB-D图像的机械臂抓取位姿检测[D].浙江大学,2019.
[8]朱彤.基于单目视觉的靶标定位***研究与应用[D].电子科技大学,2017.
[9]王瀚闻,翟涌光,郝蕾.基于索贝尔算子的高分辨率遥感影像分割技术研究[J].科技创新导报,2012(22):18.
[10]耿瑞芳,曹柳林,耿盛,林佩瑜.机械手视觉***设计与实现[J].仪器仪表用户,2007(01):36-38.
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (5)
1.一种基于机器视觉的汽车仪表盘图像定位方法，其特征在于：
步骤1、标定
在采集图像前先对相机进行标定，确定空间物体表面上点的几何位置与图像中所对应的点的空间关系，建立相机成像的几何模型并求解；
步骤2、降噪
先将汽车仪表盘彩色图像灰度化，再采用混合中值滤波方式去除噪声来保护汽车仪表盘的噪声，分别采用1个3*3中值滤波器和采用3个滤波器混合对汽车仪表盘灰度图像滤波，得到的汽车仪表盘图像；
步骤3、粗定位
首先对汽车仪表盘粗定位，得到仪表盘上有用信息，采用VisionPro处理软件对汽车仪表盘进行粗定位，先在离线模式下导入图像，创建的图像模版是基于几何特征的模板，然后训练图像模型，将图像中ROI用矩形框选定并对矩形框在空间坐标系下进行定位；以汽车仪表盘ROI的中点为原点建立图像与相机关系，在接下来的定位中都以这个坐标系原点为基点寻找特征信息的相对位置，从而确定图像各个定位点与相机坐标系的关系；
步骤4、在矩形框内利用特征信息精确定位
步骤4.1索贝尔算子边缘化
索贝尔算子作边缘检测，为离散型差分算子，用来运算图像亮度函数的灰度之近似值，在图像的任何一点使用此算子，将会产生对应的灰度矢量或是其法矢量；该算子包含两组3*3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值，如果以A代表原始图像，Gx和Gy分别代表经横向及纵向边缘检测的图像灰度值，其公式如(6):
图像的每一个像素的横向及纵向灰度值通过以下公式(7)结合，来计算该点灰度的大小:
使用不开方的近似值(8):
|G|＝|Gx|+|Gy| (8)
如果梯度G大于某一阈值，则认为该点(x，y)为边缘点，选择低滞后阈值10，高滞后阈值20，输出边缘像素值为255，输出非边缘像素值为0，得到二值图像，得到汽车仪表盘索贝尔边缘化图像为规则几何图形；
4.2刻度线提取与定位
对其像素点面积进行提取并找到其中心点位置，采用Blob算法对刻度线形状提取和定位，在数字图像中，坐标点(x，y)的4邻域包括4个水平和垂直的相邻像素，其坐标如式(9)：
(x+1,y),(x-1,y),(x,y+1),(x,y-1) (9)
在4邻域的基础上，再加上点(x，y)的4个对角相邻像素，就构成了(x，y)的8邻域，(x，y)的对角相邻像素坐标如式(10)：
(x+1,y+1),(x+1,y-1),(x-1,y+1),(x-1,y-1) (10)
Blob算法是将满足4邻域或8邻域的像素点标记为相同的值，然后提取出连通域，两种邻接方式；根据Blob算法，采用8领域连通，使刻度线上相同像素相互连通形成面积不同的斑点；
4.3液晶显示符提取与定位步骤：
边缘化后汽车仪表盘的数字区域为不规则几何图形，先采用VisionPro软件提供的PatMax算法在图像中数字区域分别建立离线模型，然后用矩形框选定数字，抓取训练对象得到液晶显示符匹配模型，在矩形框选定的区域再次使用Blob算法，通过设定阈值，排除噪声干扰，并选择面积较大的在Blob，过滤掉杂斑，即可在ROI中得到数字的Blob与质心坐标，重复上述方法，以汽车仪表盘的中心原点位置为基准对其进行定位，利用Blob对直方图进行峰值检测。
2.根据权利要求1所述的基于机器视觉的汽车仪表盘图像定位方法，其特征在于几何位置与图像中所对应的点的空间关系具体为：图像像素坐标系(o-uv)、图像物理坐标系，(o1-xy)、相机坐标系(Oc-XCYc)以及世界坐标系(OW-XWYWZW)，从像素坐标直接变化为世界坐标的变化关系如式(1)：
其中[R T]由相机坐标系相对于世界坐标系的相对空间位置关系决定的，称为相机外参数矩阵，K是由相机内参数决定，称为内参数矩阵；
将相机固定在机械臂之外，通过移动机械臂的位姿来获取不同的标定图像，同时记录对应的机械臂位姿；在位姿变化过程中，机械臂到标定板的坐标关系固定不变，由机械臂基、相机与标定板之间的转换关系可得式(2)：
分别表示末端执行器坐标到机械臂基坐标、机械臂基坐标到相机坐标、相机坐标到标定板坐标的转换关系，将上式进行简单变换，得到式(3)：
令可得到AX＝XB，通过一系列变化确定X，先将上式改写为旋转矩阵加平移矩阵的形式(4)：
RE、TE与两次机械臂的末端姿态相关，可从控制器中获得，RC、TC与两次相机标定的外参数有关，可根据标定结果求得，RX、TX是要求解的量，通过相机标定可以得到图像信息在相机坐标系下与机械臂坐标系下对应的关系。
3.根据权利要求2所述的基于机器视觉的汽车仪表盘图像定位方法，其特征在于图像的具体的标定流程：
步骤1.1、先使机械臂与标定板平行调节U，W轴，固定后，再调节X，Y轴；
步骤1.2、以标记点为基础，先旋转大于60度，再将待测点调回标记点一个像素内，记录机械臂X，Y坐标，并且记录待测点的X，Y坐标；重复以上操作三次；将三次的输入表格，会得到一个拟合圆的中心坐标X，Y；
步骤1.3、计算Δ，Δ＝第三次测量的值-拟合圆中心坐标值；
步骤1.4、走九个点，分别记录九个点的坐标，再分别记录机械臂和图像坐标的值，然后将mark点当前坐标作为未矫正数据，机械臂坐标-Δ的值作为已矫正数据，可根据两组数据确定当前相机坐标系与机械臂坐标系下对应的关系。
4.根据权利要求1所述的基于机器视觉的汽车仪表盘图像定位方法，其特征在于：所以定位前需求对图像预处理，采用中值滤波，中值滤波算子如式(5)：
5.根据权利要求1所述的基于机器视觉的汽车仪表盘图像定位方法，其特征在于：步骤4.2中设置连通域最小像素面积为10，然后再过滤掉阈值小于150的杂斑面积；再寻找面积包含于2800-4500，800-1800像素的Blob，可以分别得到汽车仪表盘上的大刻度与小刻度线，最后保存刻度线的面积和质心坐标，以汽车仪表盘的中心原点位置为基准对其进行定位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910449014.4A CN110189314B (zh) | 2019-05-28 | 2019-05-28 | 基于机器视觉的汽车仪表盘图像定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910449014.4A CN110189314B (zh) | 2019-05-28 | 2019-05-28 | 基于机器视觉的汽车仪表盘图像定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110189314A true CN110189314A (zh) | 2019-08-30 |
| CN110189314B CN110189314B (zh) | 2023-04-28 |
Family
ID=67718149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910449014.4A Active CN110189314B (zh) | 2019-05-28 | 2019-05-28 | 基于机器视觉的汽车仪表盘图像定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110189314B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110766671A (zh) * | 2019-10-21 | 2020-02-07 | 深圳市涌固精密治具有限公司 | 一种基于机器视觉软件的图像处理方法 |
| CN110930450A (zh) * | 2019-12-11 | 2020-03-27 | 清远职业技术学院 | 基于图像阈值分割和blob分析方法的煤矸石定位方法 |
| CN111062940A (zh) * | 2019-12-31 | 2020-04-24 | 西南交通大学 | 一种基于机器视觉的螺钉定位与识别方法 |
| CN111292255A (zh) * | 2020-01-10 | 2020-06-16 | 电子科技大学 | 一种基于rgb图像的填充与修正技术 |
| CN111640154A (zh) * | 2020-05-24 | 2020-09-08 | 西安交通大学 | 一种基于显微视觉的立针微平面亚像素级定位方法 |
| CN112001379A (zh) * | 2020-05-19 | 2020-11-27 | 西安工程大学 | 基于机器视觉的汽车仪表固定视点读取仪表的修正算法 |
| CN112801087A (zh) * | 2019-11-13 | 2021-05-14 | 广东技术师范大学 | 一种基于自适应参数调整的智能卡表面字符识别的方法 |
| CN113297893A (zh) * | 2021-02-05 | 2021-08-24 | 深圳高通半导体有限公司 | 笔画轮廓点集的提取方法 |
| CN114092695A (zh) * | 2022-01-21 | 2022-02-25 | 武汉精立电子技术有限公司 | 一种基于分割模型的roi提取方法及装置 |
| CN114543669A (zh) * | 2022-01-27 | 2022-05-27 | 珠海亿智电子科技有限公司 | 机械臂校准方法、装置、设备及存储介质 |
| CN116573366A (zh) * | 2023-07-07 | 2023-08-11 | 江西小马机器人有限公司 | 基于视觉的皮带跑偏检测方法、***、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107167169A (zh) * | 2017-07-03 | 2017-09-15 | 吉林大学 | 基于机器视觉***的指针式仪表读数识别测量方法 |
| CN107590498A (zh) * | 2017-09-27 | 2018-01-16 | 哈尔滨工业大学 | 一种基于字符分割级联二分类器的自适应汽车仪表检测方法 |
-
2019
- 2019-05-28 CN CN201910449014.4A patent/CN110189314B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107167169A (zh) * | 2017-07-03 | 2017-09-15 | 吉林大学 | 基于机器视觉***的指针式仪表读数识别测量方法 |
| CN107590498A (zh) * | 2017-09-27 | 2018-01-16 | 哈尔滨工业大学 | 一种基于字符分割级联二分类器的自适应汽车仪表检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 徐遵义等: "基于相机标定和最大连通区域算法的指针式仪表读数识别", 《现代电子技术》 * |
| 李伟等: "基于机器视觉和LabVIEW的指针式仪表自动检测***设计", 《自动化与仪器仪表》 * |
| 项导等: "基于对称性特征的指针仪表识别", 《机械设计与制造工程》 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110766671B (zh) * | 2019-10-21 | 2023-11-14 | 深圳市涌固精密治具有限公司 | 一种基于机器视觉软件的图像处理方法 |
| CN110766671A (zh) * | 2019-10-21 | 2020-02-07 | 深圳市涌固精密治具有限公司 | 一种基于机器视觉软件的图像处理方法 |
| CN112801087A (zh) * | 2019-11-13 | 2021-05-14 | 广东技术师范大学 | 一种基于自适应参数调整的智能卡表面字符识别的方法 |
| CN110930450A (zh) * | 2019-12-11 | 2020-03-27 | 清远职业技术学院 | 基于图像阈值分割和blob分析方法的煤矸石定位方法 |
| CN111062940A (zh) * | 2019-12-31 | 2020-04-24 | 西南交通大学 | 一种基于机器视觉的螺钉定位与识别方法 |
| CN111062940B (zh) * | 2019-12-31 | 2022-05-20 | 西南交通大学 | 一种基于机器视觉的螺钉定位与识别方法 |
| CN111292255A (zh) * | 2020-01-10 | 2020-06-16 | 电子科技大学 | 一种基于rgb图像的填充与修正技术 |
| CN111292255B (zh) * | 2020-01-10 | 2023-01-17 | 电子科技大学 | 一种基于rgb图像的填充与修正技术 |
| CN112001379A (zh) * | 2020-05-19 | 2020-11-27 | 西安工程大学 | 基于机器视觉的汽车仪表固定视点读取仪表的修正算法 |
| CN111640154B (zh) * | 2020-05-24 | 2022-04-05 | 西安交通大学 | 一种基于显微视觉的立针微平面亚像素级定位方法 |
| CN111640154A (zh) * | 2020-05-24 | 2020-09-08 | 西安交通大学 | 一种基于显微视觉的立针微平面亚像素级定位方法 |
| CN113297893A (zh) * | 2021-02-05 | 2021-08-24 | 深圳高通半导体有限公司 | 笔画轮廓点集的提取方法 |
| CN113297893B (zh) * | 2021-02-05 | 2024-06-11 | 深圳高通半导体有限公司 | 笔画轮廓点集的提取方法 |
| CN114092695A (zh) * | 2022-01-21 | 2022-02-25 | 武汉精立电子技术有限公司 | 一种基于分割模型的roi提取方法及装置 |
| CN114092695B (zh) * | 2022-01-21 | 2022-05-13 | 武汉精立电子技术有限公司 | 一种基于分割模型的roi提取方法及装置 |
| CN114543669B (zh) * | 2022-01-27 | 2023-08-01 | 珠海亿智电子科技有限公司 | 机械臂校准方法、装置、设备及存储介质 |
| CN114543669A (zh) * | 2022-01-27 | 2022-05-27 | 珠海亿智电子科技有限公司 | 机械臂校准方法、装置、设备及存储介质 |
| CN116573366A (zh) * | 2023-07-07 | 2023-08-11 | 江西小马机器人有限公司 | 基于视觉的皮带跑偏检测方法、***、设备及存储介质 |
| CN116573366B (zh) * | 2023-07-07 | 2023-11-21 | 江西小马机器人有限公司 | 基于视觉的皮带跑偏检测方法、***、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110189314B (zh) | 2023-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110189314A (zh) | 基于机器视觉的汽车仪表盘图像定位方法 | |
| CN112669393B (zh) | 一种激光雷达与相机联合标定方法 | |
| CN110555889B (zh) | 一种基于CALTag和点云信息的深度相机手眼标定方法 | |
| CN108921901B (zh) | 一种基于精密二轴转台和激光跟踪仪的大视场相机标定方法 | |
| CN111260731B (zh) | 一种棋盘格亚像素级角点自适应检测的方法 | |
| CN101673397B (zh) | 一种基于lcd的数码相机非线性标定方法 | |
| CN107274336B (zh) | 一种针对车载环境的全景图像拼接方法 | |
| CN107507235B (zh) | 一种基于rgb-d设备采集的彩色图像和深度图像的配准方法 | |
| CN105096317B (zh) | 一种复杂背景中的高性能相机全自动标定方法 | |
| CN103729841B (zh) | 一种基于方靶模型和透视投影的相机畸变校正方法 | |
| CN108007388A (zh) | 一种基于机器视觉的转盘角度高精度在线测量方法 | |
| CN109035200A (zh) | 一种基于单双目视觉协同的螺栓定位及位姿检测方法 | |
| CN104981105A (zh) | 一种快速精确获得元件中心和偏转角度的检测及纠偏方法 | |
| CN104537616A (zh) | 鱼眼图像畸变的校正方法 | |
| CN109961485A (zh) | 一种基于单目视觉进行目标定位的方法 | |
| CN110031829A (zh) | 一种基于单目视觉的目标精准测距方法 | |
| CN106600549A (zh) | 鱼眼图像的矫正方法和装置 | |
| CN104331900A (zh) | Ccd摄像机标定中角点亚像素定位方法 | |
| CN115201883B (zh) | 一种运动目标视频定位测速***及方法 | |
| CN112161586A (zh) | 一种基于编码棋盘格的线结构光视觉传感器标定方法 | |
| CN104715487A (zh) | 一种基于伪Zernike矩的亚像素边缘检测方法 | |
| CN113793270A (zh) | 一种基于无人机姿态信息的航拍图像几何校正方法 | |
| CN110264527A (zh) | 基于zynq的实时双目立体视觉输出方法 | |
| Wang et al. | Automatic reading system for analog instruments based on computer vision and inspection robot for power plant | |
| CN109087360A (zh) | 一种机器人相机外参的标定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |