CN107341793A - 一种靶面图像处理方法及装置 - Google Patents
一种靶面图像处理方法及装置 Download PDFInfo
- Publication number
- CN107341793A CN107341793A CN201710488510.1A CN201710488510A CN107341793A CN 107341793 A CN107341793 A CN 107341793A CN 201710488510 A CN201710488510 A CN 201710488510A CN 107341793 A CN107341793 A CN 107341793A
- Authority
- CN
- China
- Prior art keywords
- current frame
- frame image
- image
- gray value
- shell hole
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 50
- 238000012937 correction Methods 0.000 claims abstract description 38
- 239000000284 extract Substances 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 239000011435 rock Substances 0.000 abstract description 7
- 238000005286 illumination Methods 0.000 abstract description 5
- 238000001514 detection method Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种靶面图像处理方法及装置，包括：获取模板帧图像，并提取靶面边缘轮廓；确定所述模板帧图像的靶面边缘轮廓上的若干第一角点；获取当前帧图像，并提取靶面边缘轮廓；确定所述当前帧图像的靶面边缘轮廓上的若干第二角点；在各第一角点周边根据特征匹配程度确定与各第一角点对应的第二角点形成特征点对；根据各特征点对对当前帧图像进行矫正获得矫正后的当前帧图像。本发明基于视频帧进行的处理，能够避免光照条件的变化对报靶精度的影响；同时能对晃动图像进行了精度较高的畸变矫正，解决了靶面晃动的问题。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种靶面图像处理方法及装置。
背景技术
目前基于图像识别的自动报靶算法主要有两种方式，基于单帧图像的弹孔识别和基于视频序列的弹孔识别方式，在识别过程中如何解决因环境因素或子弹的冲击造成的靶面晃动的问题，以及从视频帧中准确提取弹孔以及对重孔(部分重合的弹孔)的识别一直是一个重要的研究课题。
在传统的基于视频帧的技术方案中，在获取靶面所在区域之后，直接对前后视频帧做差，然后对差值图像进行连通域分析，通过面积、圆度等特征筛选提取弹孔。例如，一种基于图像技术的弹孔识别方法包括：预处理阶段：采集相邻两帧图像作为待识别图片，并分别提取两帧待识别图片中恰好包括靶位的感兴趣区域，针对不同颜色区域采用不同的阈值，对两帧待识别图片中的感兴趣区域进行帧差处理，得到帧差后图片；识别阶段：利用边缘检测算法寻找帧差后图片中的轮廓信息；置信度阶段：计算每个轮廓的绝对面积置信度、长宽比置信度、以及面积占空比置信度，绝对面积置信度、长宽比置信度、以及面积占空比置信度之和最高的轮廓即为识别得到的弹孔。该方案中，是通过帧差、提取轮廓、特征筛选进行弹孔的提取。
在基于单帧图像的技术方案中，首先获取靶面区域，然后根据弹孔特征对图像进行分析，比如根据弹孔区域灰度值较低、与周围对比度较明显等特征对局部区域进行对比度分析；然后提取其中弹孔，再根据历史检测结果得到新增弹孔。
现有技术的不足在于：
对于基于视频帧的弹孔检测方案，虽然在靶面不晃动、不存在重孔的情况下检测的效果较好，但是由于没有对晃动情况做矫正或者矫正精度不够，且没有对重孔情况做特殊分析，因此，在这两种特殊情况下对弹孔的检测的准确率较低；
对于基于单帧图像的弹孔检测方案，由于是直接对图像进行分析，能解决靶面晃动带来的影响，但是这种方式对光照变化比较敏感，在室外光照变化较明显且可能出现光照不均匀的情况下适应性不强。
发明内容
本发明提供了一种靶面图像处理方法及装置，用以解决靶面的晃动对靶面图像检测效果的影响。
本发明实施例提供了一种靶面图像处理方法，包括：
获取模板帧图像，并提取靶面边缘轮廓；
确定所述模板帧图像的靶面边缘轮廓上的若干第一角点；
获取当前帧图像，并提取靶面边缘轮廓；
确定所述当前帧图像的靶面边缘轮廓上的若干第二角点；
在各第一角点周边根据特征匹配程度确定与各第一角点对应的第二角点形成特征点对；
根据各特征点对对当前帧图像进行矫正获得矫正后的当前帧图像。
较佳地，所述模板帧图像为检测到弹孔时，检测到弹孔的图像。
较佳地，所述当前视频帧图像为采集到的最新的一帧图像。
较佳地，根据各特征点对对当前帧图像进行矫正获得矫正后的当前帧图像，是根据各特征点对对当前帧图像进行拟合后获得矫正后的当前帧图像。
较佳地，在根据各特征点对对当前帧图像进行拟合时，采用RANSAC算法进行拟合。
较佳地，进一步包括：
在当前帧图像上确定图像上的弹孔；
对当前帧图像进行连通域处理后，根据连通区域面积确定是否为重孔。
较佳地，在当前帧图像上确定图像上的弹孔，包括：
在对当前帧图像进行矫正后，确定当前帧图像与上一帧矫正后的当前帧图像之间的灰度值；
根据灰度值的灰度变化程度以及灰度平均值之差确定当前帧图像上的弹孔。
较佳地，根据连通区域面积确定是否为重孔，包括：
确定历史弹孔位置，以及确定连通区域面积小于预设阈值的弹孔；
根据该弹孔位置与历史弹孔位置确定该弹孔是否为重孔。
较佳地，进一步包括：
在对当前帧图像进行矫正后，根据与上一帧矫正后的当前帧图像之间的灰度值差进行干扰处理。
较佳地，根据与上一帧矫正后的当前帧图像之间的灰度值差进行干扰处理，包括：
确定矫正后的当前帧图像上像素点的位置，以及该位置上的第一灰度值；
确定上一帧矫正后的当前帧图像上该位置邻近的区域，以及该区域的第二灰度值；
将第一灰度值与第二灰度值进行作差处理。
较佳地，第二灰度值是该区域中与第一灰度值最接近的灰度值。
本发明实施例提供了一种靶面图像处理装置，包括：
角点确定模块，用于获取模板帧图像，并提取靶面边缘轮廓；确定所述模板帧图像的靶面边缘轮廓上的若干第一角点；获取当前帧图像，并提取靶面边缘轮廓；确定所述当前帧图像的靶面边缘轮廓上的若干第二角点；
特征点对模块，用于在各第一角点周边根据特征匹配程度确定与各第一角点对应的第二角点形成特征点对；
矫正模块，用于根据各特征点对对当前帧图像进行矫正获得矫正后的当前帧图像。
较佳地，角点确定模块进一步用于将在检测到弹孔时检测到弹孔的图像作为所述模板帧图像。
较佳地，角点确定模块进一步用于将采集到的最新的一帧图像作为所述当前视频帧图像。
较佳地，矫正模块进一步用于根据各特征点对对当前帧图像进行拟合后获得矫正后的当前帧图像。
较佳地，矫正模块进一步用于在根据各特征点对对当前帧图像进行拟合时，采用RANSAC算法进行拟合。
较佳地，进一步包括：
弹孔确定模块，用于在当前帧图像上确定图像上的弹孔；
重孔确定模块，用于对当前帧图像进行连通域处理后，根据连通区域面积确定是否为重孔。
较佳地，弹孔确定模块进一步用于在当前帧图像上确定图像上的弹孔时，包括：
在对当前帧图像进行矫正后，确定当前帧图像与上一帧矫正后的当前帧图像之间的灰度值；
根据灰度值的灰度变化程度以及灰度平均值之差确定当前帧图像上的弹孔。
较佳地，重孔确定模块进一步用于在根据连通区域面积确定是否为重孔时，包括：
确定历史弹孔位置，以及确定连通区域面积小于预设阈值的弹孔；
根据该弹孔位置与历史弹孔位置确定该弹孔是否为重孔。
较佳地，进一步包括：
干扰处理模块，用于在对当前帧图像进行矫正后，根据与上一帧矫正后的当前帧图像之间的灰度值差进行干扰处理。
较佳地，干扰处理模块进一步用于在根据与上一帧矫正后的当前帧图像之间的灰度值差进行干扰处理时，包括：
确定矫正后的当前帧图像上像素点的位置，以及该位置上的第一灰度值；
确定上一帧矫正后的当前帧图像上该位置邻近的区域，以及该区域的第二灰度值；
将第一灰度值与第二灰度值进行作差处理。
较佳地，干扰处理模块进一步用于将该区域中与第一灰度值最接近的灰度值作为第二灰度值。
本发明有益效果如下：
在本发明实施例提供的技术方案中，提取模板帧图像与当前帧图像靶面边缘轮廓后，确定二者轮廓上的若干角点；并形成形成特征点对，然后根据各特征点对对当前帧图像进行矫正获得矫正后的当前帧图像。由于是基于视频帧进行的处理，因此避免了光照条件的变化对报靶精度的影响；同时由于采用了根据特征角点对进行矫正，因此对晃动图像进行了精度较高的畸变矫正，解决了靶面晃动的问题。
进一步的，由于在对当前帧图像进行矫正后，还根据与上一帧矫正后的当前帧图像之间的灰度值差进行干扰处理，因此排除了可能出现的干扰。
进一步的，还根据连通区域面积确定是否为重孔，由于对重孔问题进行单独分析，解决了一定重合度下的重孔检测问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例中靶面图像处理方法实施流程示意图；
图2为本发明实施例中靶面图像处理装置结构示意图。
具体实施方式
本发明实施例提供的技术方案将针对靶面的晃动、重孔问题，目标是解决靶面的晃动和重孔等对弹孔检测效果的影响，提高自动报靶的准确率。下面结合附图对本发明的具体实施方式进行说明。
图1为靶面图像处理方法实施流程示意图，如图所示，可以包括：
步骤101、获取模板帧图像，并提取靶面边缘轮廓；
步骤102、确定所述模板帧图像的靶面边缘轮廓上的若干第一角点；
步骤103、获取当前帧图像，并提取靶面边缘轮廓；
步骤104、确定所述当前帧图像的靶面边缘轮廓上的若干第二角点；
步骤105、在各第一角点周边根据特征匹配程度确定与各第一角点对应的第二角点形成特征点对；
步骤106、根据各特征点对对当前帧图像进行矫正。
方案中，是采用靶面图像边缘的特征角点来完成对靶面图像因晃动引起的畸变的矫正的。
关于角点的实施可以如下：
如果从一面很大的空墙中选择一个点，那么很难在随后的视频帧中跟踪到这个点了，因为墙上所有点都是一样的或相似的，相反，如果选择独一无二或接近独一无二的点，那么再找到这点的几率就非常大。那么什么点可以被认为是独一无二呢，一般认为一个在两个正交方向上都有明显导数的点更倾向于是独一无二的。许多可跟踪的特征点都被称为角点。
从直观上讲，角点是一类含有足够信息且能从当前帧和下一帧中都能提取出来的点。
最普遍使用的角点定义是由Harris提出来的，定义的基础是图像灰度强度的二阶导数矩阵。Harris角点检测过程可以如下：
Harris角点检测基本思想：从图像局部的小窗口观察图像特征，如果窗口向任意方向的移动都导致图像灰度的明显变化，那么窗口中有角点。
方案中，去检测角点的原因正是因为角点在图像中具有独一无二的特征且不易改变。
下面结合具体的方案进行实施说明。
在步骤101、102获取模板帧图像，并提取靶面边缘轮廓，确定所述模板帧图像的靶面边缘轮廓上的若干第一角点的实施中，可以获取模板帧图像，然后进行自适应阈值二值化、形态学闭运算、连通域分析等处理，再根据靶面的面积、长宽比等特征提取靶面边缘轮廓。然后进行亚像素精度的角点检测，提取角点所在区域的灰度特征，保存检测结果。
其中，自适应阈值二值化、形态学闭运算、连通域分析，根据靶面的面积、长宽比等特征提取靶面边缘轮廓对本领域技术人员来说，是容易知晓的，同时，采用其他技术手段来获取靶面边缘轮廓也是能够达到方案目的的。
提取轮廓是为了确定图像轮廓上的角点，所以先提取轮廓，然后在轮廓上提取角点，而角点的提取可以参见前述说明采用Harris角点检测方案，当然，采用其他技术方案也是可行的。本发明实施中是根据角度特征来确定角点的，角点的获取方式有很多种，但是对胸环靶来说，这样效果较好的方案。
实施中，模板帧图像为检测到弹孔时，检测到弹孔的图像。
具体的，模板帧可以为初始帧，然后每次检测到弹孔时，进行更新，将检测到弹孔的图像作为模板帧图像。其中，初始帧就是指相机开始检测的第一帧图像。
实施中涉及到的灰度值是图像上每个像素的值，是在图像处理的每个步骤都需要使用基本参量。
在步骤103、104获取当前帧图像，并提取靶面边缘轮廓，确定所述当前帧图像的靶面边缘轮廓上的若干第二角点的实施中，可以参考步骤101、102对模版帧实施方式。
具体的，对当期视频帧(也即当前帧)进行处理，同样也进行上述图像预处理流程获取图像边缘，然后在模板帧角点位置的若干个像素距离的邻域内进行角点检测，其目的是为了提取边缘的角点，然后进行透视的矫正，解决靶面前后晃动问题。
检测出的角点将在步骤105中使用，也即，计算特征匹配程度，找出匹配程度最高的角点位置。这样通常可以得到20个左右匹配的边缘轮廓上的特征点对。
实施中，所述当前视频帧图像为采集到的最新的一帧图像。
具体的，当前视频帧是指采集到最新的那一帧图像，就像人当前看到的画面一样。
具体实施中，为了减少处理量，可以只在模板帧角点位置的若干个像素距离的邻域内进行角点检测，具体实践中，根据大量数据和实验结果确定，一般为20个像素距离。
实施中，根据各特征点对对当前帧图像进行矫正，是根据各特征点对对当前帧图像进行拟合后获得矫正后的当前帧图像。
具体实施可以如下：
在模板帧角点位置的若干个像素距离的邻域内进行角点检测，计算特征匹配程度，找出匹配程度最高的角点位置时，是在模板帧的每个角点的邻域内，去寻找当前帧最相似的角点。是以模版帧上的角点位置为基础，根据当期视频帧上的角点位置，对当期视频帧进行矫正。
在找出匹配程度最高的角点位置得到20个左右匹配的边缘轮廓上的特征点对时，是在模板帧上提取了20个左右的角点后，在每个角点都有一个匹配度最高的当前帧的角点，这样获得了20个角点的点对，特征点对也即角点的点对。
在找出匹配程度最高的角点位置时，匹配程度最高的是当前帧的角点位置。
实施中，在根据各特征点对对当前帧图像进行拟合时，可以采用RANSAC算法进行拟合。
具体的，使用RANSAC(Random Sample Consensus，随机抽样一致性)算法对匹配的特征点对进行透视矩阵的拟合，得到均方误差最小的透视矩阵，然后对当前帧图像进行透视变换，得到矫正后的图像，矫正后得到的图像中的靶的位置和模板帧中靶的位置相同，便于后面进行帧差等处理。
具体的，一般图像线性畸变都可以通过透视变换来矫正。
具体实施中，除了RANSAC算法外，也可以采用现有的常规手段：最小二乘算法，RANSAC算法的好处在于，可以剔除干扰点，拟合结果更精确。
其中，在采用RANSAC算法进行拟合时，RANSAC算法的输入是一组观测数据(往往含有较大的噪声或无效点)，一个用于解释观测数据的参数化模型以及一些可信的参数。RANSAC通过反复选择数据中的一组随机子集来达成目标。被选取的子集被假设为局内点，并可以用下述方式进行验证：
有一个模型适应于假设的局内点，即所有的未知参数都能从假设的局内点计算得出。
用得到的模型去测试所有的其它数据，如果某个点适用于估计的模型，认为它也是局内点。
如果有足够多的点被归类为假设的局内点，那么估计的模型就足够合理。
然后，用所有假设的局内点去重新估计模型(譬如使用最小二乘法)，因为它仅仅被初始的假设局内点估计过。
最后，通过估计局内点与模型的错误率来评估模型。
上述过程被重复执行固定的次数，每次产生的模型要么因为局内点太少而被舍弃，要么因为比现有的模型更好而被选用。
方案中，是采用靶面图像边缘的特征角点来完成对靶面图像因晃动引起的畸变的矫正的，进一步的，还可以在实施中将矫正精度控制在两个像素内，然后使用邻域差算法完成对矫正后视频帧的作差，消除图像晃动带来的影响。
也即，实施中还可以进一步包括：
在对当前帧图像进行矫正后，根据与上一帧矫正后的当前帧图像之间的灰度值差进行干扰处理。
具体实施中，根据与上一帧矫正后的当前帧图像之间的灰度值差进行干扰处理，可以包括：
确定矫正后的当前帧图像上像素点的位置，以及该位置上的第一灰度值；
确定上一帧矫正后的当前帧图像上该位置邻近的区域，以及该区域的第二灰度值；
将第一灰度值与第二灰度值进行作差处理。
具体实施中，第二灰度值是该区域中与第一灰度值最接近的灰度值。
具体的，实施中，将该部分处理方式称为“邻域差算法”处理，在邻域差处理中，对矫正后的当前帧和前一帧图像作差，作差方式采用邻域差算法，即对图像上的每一像素点，在另一图像的3*3或者5*5邻域内寻找与其灰度值最接近的值作差，得到差值图像，邻域差算法可以消除矫正后图像1到2个像素偏移的影响，去除干扰因素，方便差值图像中弹孔的提取。
其中，前一帧图像也是用模版帧矫正后的图像。
邻域差算法是为了解决直接帧差所引起的帧差后图像噪声大，以及透视变换矫正精度不够的问题，具体实现时是对图像中的每个像素点进行作差处理时，不是直接与另一图像对应位置的点相减，而是在另一图像上对应位置的某一邻域内寻找一与其最接近的点进行相减。
例如，图像上某个点的灰度值为255，另一图像上对应位置值为200，但是周围的灰度值为255，那么直接帧差得到的结果为55，而邻域差得到的结果为0，因此减少了噪声的干扰。
针对重孔的影响，实施中还可以在所述干扰处理后，进一步包括：
在当前帧图像上确定图像上的弹孔；
对当前帧图像进行连通域处理后，根据连通区域面积确定是否为重孔。
具体实施中，在当前帧图像上确定图像上的弹孔，可以包括：
在对当前帧图像进行矫正后，确定当前帧图像与上一帧矫正后的当前帧图像之间的灰度值；
根据灰度值的灰度变化程度以及灰度平均值之差确定当前帧图像上的弹孔。
具体实施中，根据连通区域面积确定是否为重孔，可以包括：
确定历史弹孔位置，以及确定连通区域面积小于预设阈值的弹孔；
根据该弹孔位置与历史弹孔位置确定该弹孔是否为重孔。
具体的，在对弹孔进行提取时，对差值图像进行连通域分析，按照面积、长度、宽度等特征进行弹孔区域的初步筛选，然后对疑似弹孔区域进行二次判断。
实施中通过计算当前帧和前一帧疑似区域的灰度变化程度以及当前帧疑似区域和周围区域的灰度平均值之差这两个特征来进行判断是否为弹孔。具体实现时，当灰度变化程度以及灰度平均值之差这两个值大于某一阈值时才有可能是弹孔。
若连通区域面积较小则可能疑似为重孔，重孔附近必有历史弹孔，可通过查询比较历史弹孔和疑似重孔的位置来判断是否为重孔。具体的，重孔就是说有两个孔重合了，但并不是完全重合，那么在检测到的重合的弹孔时，其旁边也就会存在一个历史弹孔。
基于同一发明构思，本发明实施例中还提供了一种靶面图像处理装置，由于该装置解决问题的原理与一种靶面图像处理方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
图2为靶面图像处理装置结构示意图，如图所示，可以包括：
角点确定模块201，用于获取模板帧图像，并提取靶面边缘轮廓；确定所述模板帧图像的靶面边缘轮廓上的若干第一角点；获取当前帧图像，并提取靶面边缘轮廓；确定所述当前帧图像的靶面边缘轮廓上的若干第二角点；
特征点对模块202，用于在各第一角点周边根据特征匹配程度确定与各第一角点对应的第二角点形成特征点对；
矫正模块203，用于根据各特征点对对当前帧图像进行矫正获得矫正后的当前帧图像。
实施中，角点确定模块进一步用于将在检测到弹孔时检测到弹孔的图像作为所述模板帧图像。
实施中，角点确定模块进一步用于将采集到的最新的一帧图像作为所述当前视频帧图像。
实施中，矫正模块进一步用于根据各特征点对对当前帧图像进行拟合后获得矫正后的当前帧图像。
实施中，矫正模块进一步用于在根据各特征点对对当前帧图像进行拟合时，采用RANSAC算法进行拟合。
实施中，进一步包括：
弹孔确定模块204，用于在当前帧图像上确定图像上的弹孔；
重孔确定模块205，用于对当前帧图像进行连通域处理后，根据连通区域面积确定是否为重孔。
实施中，弹孔确定模块进一步用于在当前帧图像上确定图像上的弹孔时，包括：
在对当前帧图像进行矫正后，确定当前帧图像与上一帧矫正后的当前帧图像之间的灰度值；
根据灰度值的灰度变化程度以及灰度平均值之差确定当前帧图像上的弹孔。
实施中，重孔确定模块进一步用于在根据连通区域面积确定是否为重孔时，包括：
确定历史弹孔位置，以及确定连通区域面积小于预设阈值的弹孔；
根据该弹孔位置与历史弹孔位置确定该弹孔是否为重孔。
实施中，进一步包括：
干扰处理模块206，用于在对当前帧图像进行矫正后，根据与上一帧矫正后的当前帧图像之间的灰度值差进行干扰处理。
实施中，干扰处理模块进一步用于在根据与上一帧矫正后的当前帧图像之间的灰度值差进行干扰处理时，包括：
确定矫正后的当前帧图像上像素点的位置，以及该位置上的第一灰度值；
确定上一帧矫正后的当前帧图像上该位置邻近的区域，以及该区域的第二灰度值；
将第一灰度值与第二灰度值进行作差处理。
实施中，干扰处理模块进一步用于将该区域中与第一灰度值最接近的灰度值作为第二灰度值。
为了描述的方便，以上所述装置的各部分以功能分为各种模块或单元分别描述。当然，在实施本发明时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。
综上所述，在本发明实施例提供的技术方案中，提供了使用靶面图像边缘角点作为特征点，使用特征点匹配RANSAC算法拟合透视矩阵的方式矫正畸变图像；以及使用邻域差算法消除微小偏移带来的影响、使用连通域分析，特征过滤来判断是否为弹孔以及是否为重孔等。
由于使用基于视频帧的处理方式，避免了光照条件的变化对报靶精度的影响；对晃动图像进行了精度较高的畸变矫正，解决了靶面晃动的问题；对矫正后的图像进行邻域差处理，排除了可能出现的干扰；对重孔问题进行单独分析，解决了一定重合度下的重孔检测问题。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (22)
1.一种靶面图像处理方法，其特征在于，包括：
获取模板帧图像，并提取靶面边缘轮廓；
确定所述模板帧图像的靶面边缘轮廓上的若干第一角点；
获取当前帧图像，并提取靶面边缘轮廓；
确定所述当前帧图像的靶面边缘轮廓上的若干第二角点；
在各第一角点周边根据特征匹配程度确定与各第一角点对应的第二角点形成特征点对；
根据各特征点对对当前帧图像进行矫正获得矫正后的当前帧图像。
2.如权利要求1所述的方法，其特征在于，所述模板帧图像为检测到弹孔时，检测到弹孔的图像。
3.如权利要求1所述的方法，其特征在于，所述当前视频帧图像为采集到的最新的一帧图像。
4.如权利要求1所述的方法，其特征在于，根据各特征点对对当前帧图像进行矫正获得矫正后的当前帧图像，是根据各特征点对对当前帧图像进行拟合后获得矫正后的当前帧图像。
5.如权利要求4所述的方法，其特征在于，在根据各特征点对对当前帧图像进行拟合时，采用RANSAC算法进行拟合。
6.如权利要求1所述的方法，其特征在于，进一步包括：
在当前帧图像上确定图像上的弹孔；
对当前帧图像进行连通域处理后，根据连通区域面积确定是否为重孔。
7.如权利要求6所述的方法，其特征在于，在当前帧图像上确定图像上的弹孔，包括：
在对当前帧图像进行矫正后，确定当前帧图像与上一帧矫正后的当前帧图像之间的灰度值；
根据灰度值的灰度变化程度以及灰度平均值之差确定当前帧图像上的弹孔。
8.如权利要求6所述的方法，其特征在于，根据连通区域面积确定是否为重孔，包括：
确定历史弹孔位置，以及确定连通区域面积小于预设阈值的弹孔；
根据该弹孔位置与历史弹孔位置确定该弹孔是否为重孔。
9.如权利要求1至8任一所述的方法，其特征在于，进一步包括：
在对当前帧图像进行矫正后，根据与上一帧矫正后的当前帧图像之间的灰度值差进行干扰处理。
10.如权利要求9所述的方法，其特征在于，根据与上一帧矫正后的当前帧图像之间的灰度值差进行干扰处理，包括：
确定矫正后的当前帧图像上像素点的位置，以及该位置上的第一灰度值；
确定上一帧矫正后的当前帧图像上该位置邻近的区域，以及该区域的第二灰度值；
将第一灰度值与第二灰度值进行作差处理。
11.如权利要求10所述的方法，其特征在于，第二灰度值是该区域中与第一灰度值最接近的灰度值。
12.一种靶面图像处理装置，其特征在于，包括：
角点确定模块，用于获取模板帧图像，并提取靶面边缘轮廓；确定所述模板帧图像的靶面边缘轮廓上的若干第一角点；获取当前帧图像，并提取靶面边缘轮廓；确定所述当前帧图像的靶面边缘轮廓上的若干第二角点；
特征点对模块，用于在各第一角点周边根据特征匹配程度确定与各第一角点对应的第二角点形成特征点对；
矫正模块，用于根据各特征点对对当前帧图像进行矫正获得矫正后的当前帧图像。
13.如权利要求12所述的装置，其特征在于，角点确定模块进一步用于将在检测到弹孔时检测到弹孔的图像作为所述模板帧图像。
14.如权利要求12所述的装置，其特征在于，角点确定模块进一步用于将采集到的最新的一帧图像作为所述当前视频帧图像。
15.如权利要求12所述的装置，其特征在于，矫正模块进一步用于根据各特征点对对当前帧图像进行拟合后获得矫正后的当前帧图像。
16.如权利要求15所述的装置，其特征在于，矫正模块进一步用于在根据各特征点对对当前帧图像进行拟合时，采用RANSAC算法进行拟合。
17.如权利要求12所述的装置，其特征在于，进一步包括：
弹孔确定模块，用于在当前帧图像上确定图像上的弹孔；
重孔确定模块，用于对当前帧图像进行连通域处理后，根据连通区域面积确定是否为重孔。
18.如权利要求17所述的装置，其特征在于，弹孔确定模块进一步用于在当前帧图像上确定图像上的弹孔时，包括：
在对当前帧图像进行矫正后，确定当前帧图像与上一帧矫正后的当前帧图像之间的灰度值；
根据灰度值的灰度变化程度以及灰度平均值之差确定当前帧图像上的弹孔。
19.如权利要求17所述的装置，其特征在于，重孔确定模块进一步用于在根据连通区域面积确定是否为重孔时，包括：
确定历史弹孔位置，以及确定连通区域面积小于预设阈值的弹孔；
根据该弹孔位置与历史弹孔位置确定该弹孔是否为重孔。
20.如权利要求12至19任一所述的装置，其特征在于，进一步包括：
干扰处理模块，用于在对当前帧图像进行矫正后，根据与上一帧矫正后的当前帧图像之间的灰度值差进行干扰处理。
21.如权利要求20所述的装置，其特征在于，干扰处理模块进一步用于在根据与上一帧矫正后的当前帧图像之间的灰度值差进行干扰处理时，包括：
确定矫正后的当前帧图像上像素点的位置，以及该位置上的第一灰度值；
确定上一帧矫正后的当前帧图像上该位置邻近的区域，以及该区域的第二灰度值；
将第一灰度值与第二灰度值进行作差处理。
22.如权利要求21所述的装置，其特征在于，干扰处理模块进一步用于将该区域中与第一灰度值最接近的灰度值作为第二灰度值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710488510.1A CN107341793A (zh) | 2017-06-23 | 2017-06-23 | 一种靶面图像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710488510.1A CN107341793A (zh) | 2017-06-23 | 2017-06-23 | 一种靶面图像处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107341793A true CN107341793A (zh) | 2017-11-10 |
Family
ID=60221177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710488510.1A Pending CN107341793A (zh) | 2017-06-23 | 2017-06-23 | 一种靶面图像处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107341793A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108168375A (zh) * | 2017-12-18 | 2018-06-15 | 浙江华睿科技有限公司 | 一种报靶方法及装置 |
| CN108805210A (zh) * | 2018-06-14 | 2018-11-13 | 深圳深知未来智能有限公司 | 一种基于深度学习的弹孔识别方法 |
| CN108805144A (zh) * | 2018-06-01 | 2018-11-13 | 杭州晨鹰军泰科技有限公司 | 基于形态学矫正的弹孔识别方法及***、报靶设备 |
| CN109990657A (zh) * | 2019-05-07 | 2019-07-09 | 武汉高德红外股份有限公司 | 一种基于图像配准的无靶单发校枪方法 |
| CN111914857A (zh) * | 2020-08-11 | 2020-11-10 | 上海柏楚电子科技股份有限公司 | 板材余料的排样方法、装置、***、电子设备及存储介质 |
| CN115661798A (zh) * | 2022-12-23 | 2023-01-31 | 小米汽车科技有限公司 | 确定目标区域的方法、装置、车辆及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609918A (zh) * | 2012-02-15 | 2012-07-25 | 国家***第二海洋研究所 | 基于图像特征配准的航空多光谱遥感影像几何精校正方法 |
| CN106408527A (zh) * | 2016-08-25 | 2017-02-15 | 安徽水滴科技有限责任公司 | 一种基于视频分析的自动报靶方法 |
| CN106802113A (zh) * | 2016-12-23 | 2017-06-06 | 西安交通大学 | 基于多弹孔模式识别算法的智能报靶***和方法 |
-
2017
- 2017-06-23 CN CN201710488510.1A patent/CN107341793A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609918A (zh) * | 2012-02-15 | 2012-07-25 | 国家***第二海洋研究所 | 基于图像特征配准的航空多光谱遥感影像几何精校正方法 |
| CN106408527A (zh) * | 2016-08-25 | 2017-02-15 | 安徽水滴科技有限责任公司 | 一种基于视频分析的自动报靶方法 |
| CN106802113A (zh) * | 2016-12-23 | 2017-06-06 | 西安交通大学 | 基于多弹孔模式识别算法的智能报靶***和方法 |
Non-Patent Citations (3)
| Title |
|---|
| 傅军栋等: "《实景图像拼接及其漫游控制技术》", 30 June 2011, 成都：西南交通大学出版社 * |
| 李瑞峰: "《工业机器人设计与应用》", 31 January 2017, 哈尔滨工业大学出版社 * |
| 杨常青: "《舰基图像处理技术原理与应用》", 31 May 2015 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108168375A (zh) * | 2017-12-18 | 2018-06-15 | 浙江华睿科技有限公司 | 一种报靶方法及装置 |
| CN108168375B (zh) * | 2017-12-18 | 2019-11-19 | 浙江华睿科技有限公司 | 一种报靶方法及装置 |
| CN108805144A (zh) * | 2018-06-01 | 2018-11-13 | 杭州晨鹰军泰科技有限公司 | 基于形态学矫正的弹孔识别方法及***、报靶设备 |
| CN108805210A (zh) * | 2018-06-14 | 2018-11-13 | 深圳深知未来智能有限公司 | 一种基于深度学习的弹孔识别方法 |
| CN108805210B (zh) * | 2018-06-14 | 2022-03-04 | 深圳深知未来智能有限公司 | 一种基于深度学习的弹孔识别方法 |
| CN109990657A (zh) * | 2019-05-07 | 2019-07-09 | 武汉高德红外股份有限公司 | 一种基于图像配准的无靶单发校枪方法 |
| CN109990657B (zh) * | 2019-05-07 | 2021-10-01 | 武汉高德红外股份有限公司 | 一种基于图像配准的无靶校枪方法 |
| CN111914857A (zh) * | 2020-08-11 | 2020-11-10 | 上海柏楚电子科技股份有限公司 | 板材余料的排样方法、装置、***、电子设备及存储介质 |
| CN111914857B (zh) * | 2020-08-11 | 2023-05-09 | 上海柏楚电子科技股份有限公司 | 板材余料的排样方法、装置、***、电子设备及存储介质 |
| CN115661798A (zh) * | 2022-12-23 | 2023-01-31 | 小米汽车科技有限公司 | 确定目标区域的方法、装置、车辆及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107341793A (zh) | 一种靶面图像处理方法及装置 | |
| CN110349126B (zh) | 一种基于卷积神经网络带标记的钢板表面缺陷检测方法 | |
| CN111325721A (zh) | 一种基于红外热成像的气体泄漏检测方法及*** | |
| US8331650B2 (en) | Methods, systems and apparatus for defect detection | |
| CN111047568B (zh) | 一种漏汽缺陷检测识别方法及*** | |
| CN111126174A (zh) | 一种用于机器人抓取零件的视觉检测方法 | |
| CN110610150B (zh) | 一种目标运动物体的跟踪方法、装置、计算设备和介质 | |
| JP6899189B2 (ja) | ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法 | |
| CN112037203A (zh) | 基于复杂工件外轮廓配准的侧表面缺陷检测方法及*** | |
| CN112734761B (zh) | 工业品图像边界轮廓提取方法 | |
| CN108537787B (zh) | 一种人脸图像的质量判定方法 | |
| CN117372432B (zh) | 基于图像分割的电子烟表面缺陷检测方法及*** | |
| CN111539927B (zh) | 汽车塑料组合件紧固卡扣缺装检测装置的检测方法 | |
| CN110189375A (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
| CN110047063A (zh) | 一种物料掉落的检测方法、装置、设备及存储介质 | |
| CN108109154A (zh) | 一种工件的新型定位及数据获取方法 | |
| CN114612410A (zh) | 一种新型服装检测装置 | |
| CN112419261A (zh) | 具有异常点去除功能的视觉采集方法及装置 | |
| CN109671084B (zh) | 一种工件形状的测量方法 | |
| CN112613456A (zh) | 一种基于多帧差分图像累积的小目标检测方法 | |
| CN117218054A (zh) | 一种恒星背景下的空间目标检测方法 | |
| CN116524269A (zh) | 一种视觉识别检测*** | |
| CN111473944B (zh) | 观测流场中存在复杂壁面的piv数据修正方法、装置 | |
| CN108389219B (zh) | 一种基于多峰值判定的弱小目标跟踪丢失重检方法 | |
| CN114255253A (zh) | 边缘检测方法、边缘检测装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171110 |