CN111598913A - 一种基于机器人视觉的图像分割方法和*** - Google Patents
一种基于机器人视觉的图像分割方法和*** Download PDFInfo
- Publication number
- CN111598913A CN111598913A CN202010352152.3A CN202010352152A CN111598913A CN 111598913 A CN111598913 A CN 111598913A CN 202010352152 A CN202010352152 A CN 202010352152A CN 111598913 A CN111598913 A CN 111598913A
- Authority
- CN
- China
- Prior art keywords
- target image
- template
- image
- robot vision
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明给出了一种基于机器人视觉的图像分割方法和***,包括获取机器人视觉的目标图像,利用opencv获取目标图像的清晰度;响应于目标图像的清晰度大于第一阈值,利用特征匹配算法判断目标图像是否拍摄到指定区域;响应于目标图像拍摄到指定区域并且目标图像与模板的匹配概率大于第二阈值,对目标图像中包含的部件与模板中对应的部件进行相似度匹配;响应于相似度匹配的结果为完全匹配或者目标图像中包含的部件的种类和/或数量大于模板中对应部件的种类和/或数量,基于模板中对应的部件的排序对目标图像的坐标进行横向排列分割;对目标图像中包含的部件赋予表记识别。该方法和***可以准确的对目标图像进行分割便于后续识别工作。
Description
技术领域
本发明涉及机器人视觉的图像处理技术领域,尤其是一种基于机器人视觉的图像分割方法和***。
背景技术
电力仪表作为电网建设的终端单元,广泛应用于变电站场所。由于变电站中仪表种类繁多,人为检定的工作效率极低,难以适应当前大量仪表需要检定的情况,并且可能存在主观的观察误差问题。指针仪表具有读数直观、结构简单、精度高、制造成本低、抗电磁干扰能力强、方便维护等优点,在生产实践中得到了广泛的应用。通常指针仪表没有数字通信接口,不能将测量信号转化为数字信号,需要依靠人工方式识别仪表示数。指针仪表示数识别是一项繁琐、枯燥、重复性高的工作。在一些需要大量识别指针仪表读数的场景,如电力***、指针仪表检定等,获取仪表示数的准确与否很大程度上依赖操作员的责任心与视觉疲劳程度,在识别过程中容易出现失误与读数误差,若要及时发现失误则需要增加工作量,否则可能会造成严重的后果。传统的人工识别指针仪表读数方式,不但造成了人力资源的浪费,而且不能达到理想的识别效果。
随着科学技术的发展,越来越多的领域开始使用智能***。仪表识别技术作为一种智能处理技术,已被广泛地应用在工业领域上,且越来越受到人们的关注。目前多数为固定式的仪表识别,固定式的图像采集设备拍摄,虽然识别效果较好,但是在多组仪表的设置上需要更多的图像采集设备,极大的增加了使用成本。采用可移动的机器人搭载图像采集设备进行仪表的采集能够有效的减少设备的投入成本,但需要对图像进行处理分割以便于对仪表的识别,目前的分割算法较为复杂,且识别率低,容易出现遗漏或错误等现象。
发明内容
为了解决现有技术中的人工检定仪表的效率低、容易出现失误或误差以及智能识别仪表技术中的算法复杂、识别率低下、成本高昂等技术问题,本发明提出了一种基于机器人视觉的图像分割方法和***,用以解决上述技术问题。
在一个方面,本发明提出了一种基于机器人视觉的图像分割方法,包括以下步骤:
S1:获取机器人视觉的目标图像,利用opencv获取目标图像的清晰度;
S2:响应于目标图像的清晰度大于第一阈值,基于图库中的模板,利用特征匹配算法判断目标图像是否拍摄到指定区域;
S3:响应于目标图像拍摄到指定区域并且利用目标检测算法获得目标图像与模板的匹配概率大于第二阈值,对目标图像中包含的部件与模板中对应的部件进行相似度匹配;
S4:响应于相似度匹配的结果为完全匹配或者目标图像中包含的部件的种类和/或数量大于模板中对应部件的种类和/或数量,基于模板中对应的部件的排序对目标图像的坐标进行横向排列分割;以及
S5:对目标图像中包含的部件赋予表记识别,其中表记识别表征为模板中与目标图像对应的部件的表记识别。
优选的,步骤S1中的目标检测算法为Tensorflow图像识别算法。
优选的,步骤S2中清晰度的判断方法为利用opencv检测图片模糊度算法,其中,第一阈值设置为100。凭借模糊度算法以及第一阈值的设置可以过滤掉不清晰的目标图像,减少***的运算压力,提高图像分割的效率。
进一步优选的,特征匹配算法包括SIFT尺度不变特征变换算法、SURF加速鲁棒特征算法或FAST特征检测算法。凭借多种特征匹配算法的可选择性能够更加准确地获取目标图像的特征点。
进一步优选的,第二阈值为0.7。凭借第二阈值的设置能够便于筛选出与模板相同或相似的目标图像,方便对其进行分割操作。
优选的,步骤S3还包括:响应于目标图像中包含的部件的种类和/或数量小于模板中对应部件的种类和/或数量,调整第二阈值为第三阈值重新进行步骤S2,其中,第三阈值设置为0.5。通过调整第二阈值避免出现漏检的情况,保证数据的有效性。
进一步优选的,步骤S4之前还包括:去除目标图像中相较于模板多余的部件,响应于目标图像中包含的部件与模板中的部件重叠,保留匹配在先的部件。凭借该设置可以去除算法过程中可能存在的重复识别等情况,避免数据冲突。
优选的,部件包括仪表盘、指示灯和开关。可以对多种类型的电力仪表元件进行分割,便于后续的仪表数据的读取识别。
根据本发明的第二方面,提出了一种计算机可读存储介质,其上存储有一或多个计算机程序,该一或多个计算机程序被计算机处理器执行时实施上述方法。
根据本发明的第三方面,提出了一种基于机器人视觉的图像分割***,该***包括:
目标图像获取单元:配置用于获取机器人视觉的目标图像,利用目opencv获取目标图像的清晰度;
目标图像筛选单元:配置用于响应于目标图像的清晰度大于第一阈值,基于图库中的模板,利用特征匹配算法判断目标图像是否拍摄到指定区域;
相似度匹配单元:配置用于响应于目标图像拍摄到指定区域并且利用目标检测算法获得目标图像与模板的匹配概率大于第二阈值,对目标图像中包含的部件与模板中对应的部件进行相似度匹配;
图像分割单元:配置用于响应于相似度匹配的结果为完全匹配或者目标图像中包含的部件的种类和/或数量大于模板中对应部件的种类和/或数量,基于模板中对应的部件的排序对目标图像的坐标进行横向排列分割;以及;
表记识别赋予单元:配置用于对目标图像中包含的部件赋予表记识别,其中表记识别表征为模板中与目标图像对应的部件的表记识别。
本发明提出了一种基于机器人视觉的图像分割方法和***,利用opencv以及tensorflow目标检测的算法实现了对机器人视觉图像的清晰度筛选以及特征匹配概率的运算,进而将机器人视觉的目标图像与图库中的模板对应,并将目标图像中的对应仪表等部件分割,通过模板中对应的仪表部件赋予其表记识别,便于后续通过对应的表记识别算法获取该仪表部件的数据信息。利用该方法和***进行机器人视觉的图像分割,极大地提高了仪表图像识别的准确率和速度,配合挂轨或者轮式等可移动的机器人搭载的图像采集设备获得仪表图像,实现多类仪表的图像分割,便于后续针对性地采用识别仪表读数算法读取不同仪表的数据。
附图说明
包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本发明的原理。将容易认识到其它实施例和实施例的很多预期优点,因为通过引用以下详细描述,它们变得被更好地理解。通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性***架构图;
图2是本申请的一个实施例的一种基于机器人视觉的图像分割方法的流程图;
图3是本申请的一个具体的实施例的一种基于机器人视觉的图像分割方法的流程图;
图4是本申请的一个实施例的一种基于机器人视觉的图像分割***的框架图;
图5是适于用来实现本申请实施例的电子设备的计算机***的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请实施例的基于机器人视觉的图像分割方法的示例性***架构100。
如图1所示,***架构100可以包括数据服务器101,网络102和主服务器103。网络102用以在数据服务器101和主服务器103之间提供通信链路的介质。网络102可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
主服务器103可以是提供各种服务的服务器,例如对数据服务器101上传的信息进行处理的数据处理服务器。数据处理服务器可以进行基于机器人视觉的图像分割。
需要说明的是,本申请实施例所提供的基于机器人视觉的图像分割方法一般由主服务器103执行,相应地,基于机器人视觉的图像分割方法的装置一般设置于主服务器103中。
需要说明的是,数据服务器和主服务器可以是硬件,也可以是软件。当为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块),也可以实现成单个软件或软件模块。
应该理解,图1中的数据服务器、网络和主服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
根据本申请的一个实施例的基于机器人视觉的图像分割方法,图2示出了根据本申请的实施例的基于机器人视觉的图像分割方法的流程图。如图2所示,该方法包括以下步骤:
S201:获取机器人视觉的目标图像,利用opencv获取目标图像的清晰度。对清晰度的计算获取可以便于进行目标图像的初步筛选,降低运算量。
在具体的实施例中,机器人视觉的目标图像可以采用集成于挂轨或轮式巡检机器人上的图像采集设备进行采集获取,相较于人工检定耗时耗力且容易出错,固定式的仪表识别需要在多组仪表的设置更多的图像采集设备,极大的增加了使用成本,采用可移动的机器人搭载图像采集设备进行仪表的采集能够有效的减少设备的投入成本。
在具体的实施例中,利用opencv进行清晰度的获取具体包括:将目标图像中的某一通道,优选的为灰度值通道,作拉普拉斯掩模卷积运算,然后计算方差(即标准差的平方),依据方差进行判断目标图像是否模糊。这种方法奏效的原因就在于拉普拉斯算子定义本身。它被用来测量图片的二阶导数,突出图片中强度快速变化的区域,和Sobel以及Scharr算子十分相似。并且,和以上算子一样,拉普拉斯算子也经常用于边缘检测。此外,此算法基于以下假设:如果图片具有较高方差,那么它就有较广的频响范围,代表着正常,聚焦准确的图片。但是如果图片具有较小方差,那么它就有较窄的频响范围,意味着图片中的边缘数量很少。图片越模糊,其边缘就越少。该算法提供给我们一个浮点数来代表具体图像的“模糊度”。该算法快速,简单且易于使用——用拉普拉斯算子与输入图像做卷积然后计算方差即可。
可替代的,除了利用上述清晰度算法之外,还可以选择其他的清晰度算法,例如Tenengrad梯度函数、Laplacian梯度函数或其组合,同样可以实现本发明的技术效果。Tenengrad梯度函数采用Sobel算子分别提取水平和垂直方向的梯度值,基与Tenengrad梯度函数的图像清晰度定义如下:D(f)=∑y∑x|G(x,y)|(G(x,y)>T),G(x,y)的形式如下:其中,T是给定的边缘检测阈值,Gx和Gy分别是像素点(x,y)处Sobel水平和垂直方向边缘检测算子的卷积,使用以下的Sobel算子模板来检测边缘:Laplacian梯度函数与Tenengrad梯度函数基本一致,用Laplacian算子替代Sobel算子即可,该算子定义如下:基于Laplacian梯度函数的图像星清晰度的定义如下:D(f)=∑y∑x|G(x,y)|(G(x,y)>T),其中G(x,y)是像素点(x,y)处Laplacian算子的卷积。
S202:响应于目标图像的清晰度大于第一阈值,基于图库中的模板,利用特征匹配算法判断目标图像是否拍摄到指定区域。利用第一阈值进行筛选过滤不清晰的目标图像,减少运算量,并利用特征匹配算法判断目标图像是否到达指定拍摄区域,进一步过滤掉无效的目标图像。
在具体的实施例中,如果某图片方差低于预先定义的第一阈值,那么该图片就可以被认为是模糊的。高于第一阈值,就不是模糊的。优选的,该第一阈值可以设置为100。应当认识到,清晰度算法的技巧在于设置合适的第一阈值,第一阈值却十分依赖于所应用的领域,第一阈值太低会导致正常图片被误断为模糊图片,第一阈值太高会导致模糊图片被误判为正常图片,故第一阈值应当根据实际应用的领域场景设置为合适的值。这种方法在计算出可接受清晰度评价值的范围环境中趋于发挥作用,能检测出异常照片。
在具体的实施例中,特征匹配算法可以采用SIFT尺度不变特征变换算法、SURF加速鲁棒特征算法或FAST特征检测算法中的一种或其组合。SIFT全称是:尺度不变特征变换,是一种被广泛用来提取和表示图像中特征的算法。SIFT算法提取的特征显著、匹配能力强,在面对尺度、噪声、旋转和光照等其他干扰因素时稳定性强,较强的鲁棒性使得其应用十分广泛。SURF算法,即加速鲁棒特征算法,是一个在SIFT基础上改进而来的特征算法,其通过使用积分图像和盒状滤波器来加速计算。FAST算法如它的名字一样,是一种计算速度极快的特征检测算法。一般FAST算法的特征点多出现在角点位置,所以FAST特征检测算法也叫作FAST角点检测算法。FAST角点检测算法的主要计算思想是:选取图像上一个像素点,在其周围取一圆形邻域,将此圆形邻域上的所有像素点分别与中心像素求灰度值差,若中心像素点与圆形邻域上n个以上像素点的灰度差的绝对值都大于阈值t,则认定该像素点是角点。通俗来讲就是,中心的像素点的灰度值比大部分周围的像素值要亮或者暗一个阈值。
在具体的实施例中,利用特征匹配算法将目标图像中的特征点识别并跟模板对比判断目标图像的拍摄位置是否到达指定位置,如果不是在指定位置拍摄的目标图像则将其过滤。
S203:响应于目标图像拍摄到指定区域并且利用目标检测算法获得目标图像与模板的匹配概率大于第二阈值,对目标图像中包含的部件与模板中对应的部件进行相似度匹配。
在具体的实施例中,响应于目标图像中包含的部件的种类和/或数量小于模板中对应部件的种类和/或数量,调整第二阈值为第三阈值重新进行步骤S202,其中,第三阈值设置为0.5。目标图像中包含的部件种类数量若多于或等于模板中的对应部件的种类数量,即可对目标图像进行分割处理。优选的,第二阈值设置为0.7,第三阈值设置为0.5。可替代的,第二阈值和第三阈值可以根据实际应用设置为其他数值,例如第二阈值设置为0.8,第三阈值设置为0.6等,同样能够实现本发明的技术效果。
在具体的实施例中,目标检测算法具体采用tensorflow来构建目标检测,Tensorflow实现机器学习算法的一般流程为:加载数据集;定义算法公式,也就是前向计算的计算图;定义损失函数(loss function),选定优化器,并指定优化器优化损失函数;对数据进行迭代训练;在测试集或交叉验证数据集上进行准确率评估。在预训练模型的基础上,使用自有数据对模型进行训练和调优。
S204:响应于相似度匹配的结果为完全匹配或者目标图像中包含的部件的种类和/或数量大于模板中对应部件的种类和/或数量,基于模板中对应的部件的排序对目标图像的坐标进行横向排列分割。
在具体的实施例中,该步骤之前还包括:去除目标图像中相较于模板多余的部件,响应于目标图像中包含的部件与模板中的部件重叠,保留匹配在先的部件。在识别分割的过程中可能因循环出现重叠的部件,需要将其去除,仅保留匹配在先的部件,避免数据冲突影响分割结果。
S205:对目标图像中包含的部件赋予表记识别,其中表记识别表征为模板中与目标图像对应的部件的表记识别。基于模板中的表记赋予目标图像中对应包含的部件的表记识别,例如该部件表征为开关、电压表、指示灯等。至此完成对目标图像的分割,分割后的图像可以利用相应部件的识别算法进行状态或读数,识别结果更加准确快速。
图3示出了根据本发明的一个具体的实施例的基于机器人视觉的图像分割方法,如图3所示,该方法包括以下步骤:
301:开始。
302:tensorflow图像识别算法检测所有图像。先利用tensorflow图像识别算法检测所有目标图像。
303:判断图库上图片与拍摄图片比对特征点,是否拍摄到指定位置,图片质量是否达到识别标准。若是则进入步骤305,若否则进入304,其中,图片质量表征为图片的清晰度,利用opencv进行清晰度的计算,特征点利用特征匹配算法进行获取。
304:目前拍摄可能在哪个位置上。获取目前可能在的位置可以便于向前或向后递推选择合适的图像。继续返回步骤302。
305:通过获取分割目标概率,取得分割后的图像,概率:pre。概率:pre>0.7。
306:对图像分割的种类、个数与对应的模板进行相似度匹配,计算分数。判断相似度匹配结果,若完全匹配则进入307,若不匹配则进入308。
307:通过获取分割目标概率,取得分割后的图像。
308:判断种类、个数是否大于模板设置的数量。若是则进入步骤309,若否则进入310。
309:对图像坐标进行横向排列分割。
310:判断概率是否pre>0.5。若否则进入314结束,若是则返回305重新进行判断分割。
311:获取对应模板的仪表盘种类及个数,排列所属的行及顺序。
312:预测数值的行顺序依次与模板中的种类进行比对,多余的去除,若出现重叠只取最先匹配的预测值去除重叠预测值。如果不重叠则无需去除直接赋予表记识别并至314结束。
313:分发给对应的表记识别。根据模板对应分发给对应的表记识别,便于后续针对表记识别进行数据读取等操作。
314:结束。
利用上述方法可以快速进行目标图像的识别分割,根据本申请发明的多次试验,200张目标图像的平均每张识别分割的时间根据不同复杂程度的图像类型仅为0.05-0.5秒,极大的提升了图像识别分割的效率。
继续参考图4,图4示出了根据本发明的实施例的基于机器人视觉的图像分割***。该***具体包括目标图像获取单元401、目标图像筛选单元402、相似度匹配单元403、图像分割单元404和表记识别赋予单元405。
在具体的实施例中,目标图像获取单元401:配置用于获取机器人视觉的目标图像,利用目opencv获取目标图像的清晰度;目标图像筛选单元402:配置用于响应于目标图像的清晰度大于第一阈值,基于图库中的模板,利用特征匹配算法判断目标图像是否拍摄到指定区域;相似度匹配单元403:配置用于响应于目标图像拍摄到指定区域并且利用目标检测算法获得目标图像与模板的匹配概率大于第二阈值,对目标图像中包含的部件与模板中对应的部件进行相似度匹配;图像分割单元404:配置用于响应于相似度匹配的结果为完全匹配或者目标图像中包含的部件的种类和/或数量大于模板中对应部件的种类和/或数量,基于模板中对应的部件的排序对目标图像的坐标进行横向排列分割;表记识别赋予单元405:配置用于对目标图像中包含的部件赋予表记识别,其中表记识别表征为模板中与目标图像对应的部件的表记识别。
下面参考图5,其示出了适于用来实现本申请实施例的电子设备的计算机***500的结构示意图。图5示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示,计算机***500包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM503中,还存储有***500操作所需的各种程序和数据。CPU501、ROM502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读存储介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质,该计算机可读存储介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。
作为另一方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取机器人视觉的目标图像,利用opencv获取目标图像的清晰度;响应于目标图像的清晰度大于第一阈值,基于图库中的模板,利用特征匹配算法判断目标图像是否拍摄到指定区域;响应于目标图像拍摄到指定区域并且利用目标检测算法获得目标图像与模板的匹配概率大于第二阈值,对目标图像中包含的部件与模板中对应的部件进行相似度匹配;响应于相似度匹配的结果为完全匹配或者目标图像中包含的部件的种类和/或数量大于模板中对应部件的种类和/或数量,基于模板中对应的部件的排序对目标图像的坐标进行横向排列分割;对目标图像中包含的部件赋予表记识别,其中表记识别表征为模板中与目标图像对应的部件的表记识别。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种基于机器人视觉的图像分割方法,其特征在于,包括:
S1:获取机器人视觉的目标图像,利用opencv获取所述目标图像的清晰度;
S2:响应于所述目标图像的清晰度大于第一阈值,基于图库中的模板,利用特征匹配算法判断所述目标图像是否拍摄到指定区域;
S3:响应于所述目标图像拍摄到指定区域并且利用所述目标检测算法获得所述目标图像与所述模板的匹配概率大于第二阈值,对所述目标图像中包含的部件与所述模板中对应的部件进行相似度匹配;
S4:响应于所述相似度匹配的结果为完全匹配或者所述目标图像中包含的部件的种类和/或数量大于所述模板中对应部件的种类和/或数量,基于所述模板中对应的部件的排序对所述目标图像的坐标进行横向排列分割;以及
S5:对所述目标图像中包含的部件赋予表记识别,其中所述表记识别表征为所述模板中与所述目标图像对应的部件的表记识别。
2.根据权利要求1所述的基于机器人视觉的图像分割方法,其特征在于,所述步骤S1中的目标检测算法为Tensorflow图像识别算法。
3.根据权利要求1所述的基于机器人视觉的图像分割方法,其特征在于,所述步骤S2中清晰度的判断方法为利用opencv检测图片模糊度算法,其中,第一阈值设置为100。
4.根据权利要求1或3所述的基于机器人视觉的图像分割方法,其特征在于,所述特征匹配算法包括SIFT尺度不变特征变换算法、SURF加速鲁棒特征算法或FAST特征检测算法。
5.根据权利要求4所述的基于机器人视觉的图像分割方法,其特征在于,所述第二阈值为0.7。
6.根据权利要求1所述的基于机器人视觉的图像分割方法,其特征在于,所述步骤S3还包括:响应于所述目标图像中包含的部件的种类和/或数量小于所述模板中对应部件的种类和/或数量,调整所述第二阈值为第三阈值重新进行所述步骤S2,其中,所述第三阈值设置为0.5。
7.根据权利要求6所述的基于机器人视觉的图像分割方法,其特征在于,所述步骤S4之前还包括:去除所述目标图像中相较于所述模板多余的部件,响应于所述目标图像中包含的部件与所述模板中的部件重叠,保留匹配在先的部件。
8.根据权利要求1所述的基于机器人视觉的图像分割方法,其特征在于,所述部件包括仪表盘、指示灯和开关。
9.一种计算机可读存储介质,其上存储有一或多个计算机程序,其特征在于,该一或多个计算机程序被计算机处理器执行时实施权利要求1至8中任一项所述的方法。
10.一种基于机器人视觉的图像分割***,其特征在于,所述***包括:
目标图像获取单元:配置用于获取机器人视觉的目标图像,利用目opencv获取所述目标图像的清晰度;
目标图像筛选单元:配置用于响应于所述目标图像的清晰度大于第一阈值,基于图库中的模板,利用特征匹配算法判断所述目标图像是否拍摄到指定区域;
相似度匹配单元:配置用于响应于所述目标图像拍摄到指定区域并且利用所述目标检测算法获得所述目标图像与所述模板的匹配概率大于第二阈值,对所述目标图像中包含的部件与所述模板中对应的部件进行相似度匹配;
图像分割单元:配置用于响应于所述相似度匹配的结果为完全匹配或者所述目标图像中包含的部件的种类和/或数量大于所述模板中对应部件的种类和/或数量,基于所述模板中对应的部件的排序对所述目标图像的坐标进行横向排列分割;
表记识别赋予单元:配置用于对所述目标图像中包含的部件赋予表记识别,其中所述表记识别表征为所述模板中与所述目标图像对应的部件的表记识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010352152.3A CN111598913B (zh) | 2020-04-28 | 2020-04-28 | 一种基于机器人视觉的图像分割方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010352152.3A CN111598913B (zh) | 2020-04-28 | 2020-04-28 | 一种基于机器人视觉的图像分割方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111598913A true CN111598913A (zh) | 2020-08-28 |
CN111598913B CN111598913B (zh) | 2023-03-17 |
Family
ID=72187712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010352152.3A Active CN111598913B (zh) | 2020-04-28 | 2020-04-28 | 一种基于机器人视觉的图像分割方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111598913B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112734767A (zh) * | 2020-12-28 | 2021-04-30 | 平安科技(深圳)有限公司 | 基于病理图像组织区域的提取方法、装置、设备及介质 |
CN112884797A (zh) * | 2021-02-02 | 2021-06-01 | 武汉钢铁有限公司 | 一种图像的背景去除方法、装置及电子设备 |
CN113554018A (zh) * | 2021-01-26 | 2021-10-26 | 浙江国自机器人技术股份有限公司 | 一种基于机器视觉的表计自动建模方法 |
CN114120014A (zh) * | 2021-11-19 | 2022-03-01 | 广州理工学院 | 一种基于机器人视觉的目标图像匹配***及匹配方法 |
CN115908365A (zh) * | 2022-12-13 | 2023-04-04 | 广州盖盟达工业品有限公司 | 一种纠正单次领用物料件数的方法及*** |
CN117872974A (zh) * | 2023-12-20 | 2024-04-12 | 枣庄市喜神科技有限公司 | 一种基于数字化的生产***、方法、装置及物联网 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103528617A (zh) * | 2013-09-27 | 2014-01-22 | 中国人民解放军空军工程大学 | 一种座舱仪表自动识别和检测方法及装置 |
CN103927507A (zh) * | 2013-01-12 | 2014-07-16 | 山东鲁能智能技术有限公司 | 一种改进的变电站巡检机器人的多仪表读数识别方法 |
US20150332469A1 (en) * | 2014-05-14 | 2015-11-19 | International Business Machines Corporation | Static Image Segmentation |
CN105913095A (zh) * | 2016-05-17 | 2016-08-31 | 杭州申昊科技股份有限公司 | 一种适用于变电站巡检机器人的仪表识别方法 |
-
2020
- 2020-04-28 CN CN202010352152.3A patent/CN111598913B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103927507A (zh) * | 2013-01-12 | 2014-07-16 | 山东鲁能智能技术有限公司 | 一种改进的变电站巡检机器人的多仪表读数识别方法 |
CN103528617A (zh) * | 2013-09-27 | 2014-01-22 | 中国人民解放军空军工程大学 | 一种座舱仪表自动识别和检测方法及装置 |
US20150332469A1 (en) * | 2014-05-14 | 2015-11-19 | International Business Machines Corporation | Static Image Segmentation |
CN105913095A (zh) * | 2016-05-17 | 2016-08-31 | 杭州申昊科技股份有限公司 | 一种适用于变电站巡检机器人的仪表识别方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112734767A (zh) * | 2020-12-28 | 2021-04-30 | 平安科技(深圳)有限公司 | 基于病理图像组织区域的提取方法、装置、设备及介质 |
CN112734767B (zh) * | 2020-12-28 | 2024-05-07 | 平安科技(深圳)有限公司 | 基于病理图像组织区域的提取方法、装置、设备及介质 |
CN113554018A (zh) * | 2021-01-26 | 2021-10-26 | 浙江国自机器人技术股份有限公司 | 一种基于机器视觉的表计自动建模方法 |
CN113554018B (zh) * | 2021-01-26 | 2024-05-31 | 浙江国自机器人技术股份有限公司 | 一种基于机器视觉的表计自动建模方法 |
CN112884797A (zh) * | 2021-02-02 | 2021-06-01 | 武汉钢铁有限公司 | 一种图像的背景去除方法、装置及电子设备 |
CN112884797B (zh) * | 2021-02-02 | 2023-12-08 | 武汉钢铁有限公司 | 一种图像的背景去除方法、装置及电子设备 |
CN114120014A (zh) * | 2021-11-19 | 2022-03-01 | 广州理工学院 | 一种基于机器人视觉的目标图像匹配***及匹配方法 |
CN114120014B (zh) * | 2021-11-19 | 2024-07-12 | 广州理工学院 | 一种基于机器人视觉的目标图像匹配***及匹配方法 |
CN115908365A (zh) * | 2022-12-13 | 2023-04-04 | 广州盖盟达工业品有限公司 | 一种纠正单次领用物料件数的方法及*** |
CN115908365B (zh) * | 2022-12-13 | 2023-12-08 | 广州万物集工业互联网科技有限公司 | 一种纠正单次领用物料件数的方法及*** |
CN117872974A (zh) * | 2023-12-20 | 2024-04-12 | 枣庄市喜神科技有限公司 | 一种基于数字化的生产***、方法、装置及物联网 |
Also Published As
Publication number | Publication date |
---|---|
CN111598913B (zh) | 2023-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111598913B (zh) | 一种基于机器人视觉的图像分割方法和*** | |
EP3176751B1 (en) | Information processing device, information processing method, computer-readable recording medium, and inspection system | |
CN111369545B (zh) | 边缘缺陷检测方法、装置、模型、设备及可读存储介质 | |
US20210233250A1 (en) | System and method for finding and classifying lines in an image with a vision system | |
CN109285181B (zh) | 用于识别图像的方法和装置 | |
CN111738045B (zh) | 一种图像检测方法、装置、电子设备及存储介质 | |
KR102308437B1 (ko) | 대상체의 외부의 검사를 최적화하기 위한 장치 및 그 방법 | |
CN115205223B (zh) | 透明物体的视觉检测方法、装置、计算机设备及介质 | |
CN110910445B (zh) | 一种物件尺寸检测方法、装置、检测设备及存储介质 | |
CN111723634A (zh) | 一种图像检测方法、装置、电子设备及存储介质 | |
CN111598889A (zh) | 均压环倾斜故障的识别方法、装置、计算机设备 | |
CN110706224A (zh) | 基于暗场图像的光学元件弱划痕检测方法、***和装置 | |
CN112750162A (zh) | 一种目标识别定位方法和装置 | |
CN111415364A (zh) | 一种计算机视觉中图像分割样本的转换方法、***及存储介质 | |
CN117392042A (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
JP2022009474A (ja) | ビジョンシステムでラインを検出するためのシステム及び方法 | |
CN113902740A (zh) | 图像模糊程度评价模型的构建方法 | |
CN112967224A (zh) | 一种基于人工智能的电子电路板检测***、方法及介质 | |
CN113052019A (zh) | 目标跟踪方法及装置、智能设备和计算机存储介质 | |
CN116993654B (zh) | 摄像头模组缺陷检测方法、装置、设备、存储介质及产品 | |
CN112287905A (zh) | 车辆损伤识别方法、装置、设备及存储介质 | |
CN114155179A (zh) | 光源缺陷检测方法、装置、设备和存储介质 | |
US20030185432A1 (en) | Method and system for image registration based on hierarchical object modeling | |
CN115374517A (zh) | 布线软件的测试方法、装置、电子设备及存储介质 | |
CN110634124A (zh) | 一种区域检测的方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |