CN112541471A - 一种基于多特征融合的遮挡目标识别方法 - Google Patents
一种基于多特征融合的遮挡目标识别方法 Download PDFInfo
- Publication number
- CN112541471A CN112541471A CN202011532981.6A CN202011532981A CN112541471A CN 112541471 A CN112541471 A CN 112541471A CN 202011532981 A CN202011532981 A CN 202011532981A CN 112541471 A CN112541471 A CN 112541471A
- Authority
- CN
- China
- Prior art keywords
- color
- image
- feature
- contour
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 50
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000002093 peripheral effect Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 4
- 238000012887 quadratic function Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000008447 perception Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多特征融合的遮挡目标识别方法。现有的遮挡识别方法识别准确率低,且计算特征点的计算量大影响实时性。本发明主要包括以下几个方面:(1)利用多特征融合的方式,依托颜色及轮廓减小无关检测区域;(2)SIFT算法实现兴趣点检测与描述以及目标模板图像与检测图像像中多角度兴趣点的匹配;(3)在上述关键技术基础上,采用RANSAC剔除误匹配点后的图像区域进行定位。基于该方法可以提高未被遮挡区域图像显著性,提升匹配的实时性。
Description
技术领域
本发明属于机器视觉技术领域,是一种基于视觉的目标检测与定位方法。
背景技术
机器人视觉技术模拟了人类眼睛及大脑的感知及分类功能,具有搜寻范围广、目标信息完整等优势,它是移动机器人智能化关键技术之一。遮挡目标识别技术是仿照人类双眼识别和分辨物体种类的方法,实现对物体特征信息的感知,在实现上采用基于颜色、轮廓、角点、特征点相互结合的方法,利用多种特征对同一物体从不同位置采集成像,从而在图像中分辨物体类别及定位,是机器人视觉研究的一个重要分支。对于大部分服务型移动机器人来说,机器人视觉已成为其基本组成部分。由于设备要求度低、数据采集简单迅速可以应用于各种复杂恶劣的环境中,物体遮挡识别被广泛应用于车辆检测、人脸识别、医学成像、机器人目标跟踪等领域,具有广泛的应用性。
发明内容
本发明所要解决的技术问题是针对视觉处理中由低成本硬件***及视觉检测所造成的误检测,根据多特征结合的方式,凸显未被遮挡部分,针对该部分进行相关检测,提出一种基于多特征融合的遮挡目标识别方法。
本发明包括如下步骤:
步骤一、多特征模板图像数据库的构建:
1.1获取大小m×n的彩色模板图像,对模板图像的颜色特征、轮廓特征、关键点特征进行提取;其中关键点特征包括SIFT(Scale-invariant feature transform)、SURF(Speeded Up Robust Features)、ORB(OrientedFast and RotatedBrief)等一种;
所述的提取技术为本领域常规技术,故不详解。
所述模板图像为目标正视图;
对模板图像中颜色特征提取是基于模板图像转化为H-S彩色模型下的图像时进行的。
1.2根据步骤1.1提取的颜色特征构建彩色信息直方图,从上述彩色信息直方图选取主成颜色阈值T1和T2;通过主成颜色阈值T1和T2对模板图像进行阈值分割,得到主成颜色分割后的模板图像;
1.3对步骤1.2主成颜色分割后的模板图像进行Canny算法,提取目标轮廓的边界信息,得到所需目标轮廓,并计算目标轮廓的面积大小、长宽比等信息;再通过寻找目标轮廓的最小外接矩阵的方法,将最小外接矩阵作为目标框。
步骤二、检测图像的多特征提取:
2.1颜色特征提取
2.1.1对检测图像进行H-S彩色模型的图像转化,得到彩色检测图像;通过多特征模板图像数据库中主成颜色阈值T1和T2对彩色检测图像进行阈值分割,得到切割后的检测图像;
切割后的检测图像与多特征模板图像数据库中主成颜色分割后的模板图像根据式(1)进行相关性对比,对比系数记为d(H1,H2)。
式中,H1(I)为切割后的检测图像中第I个颜色区间上的值,I=1,2,3…N,N为直方图中颜色区间的个数;H2(I)为切割后的模板图像中第I个颜色区间上的值;k取值1和2,j=I。
2.1.2颜色描述子提取
在HSI颜色空间模型下对颜色分量进行求矩运算,得到颜色描述子:
Cfeatures=(uh,δh,γh,us,δs,γs,ui,δi,γi) (3)
其中uh,δh,γh表示H色调分量图颜色的三阶矩描述,us,δs,γs表示S饱和度分量图颜色的三阶矩描述,ui,δi,γi表示I亮度分量图颜色的三阶矩描述。
以I亮度分量图颜色的三阶矩描述为例,H色调分量图和S饱和度分量图颜色的三阶矩描述与上述类似:
式中ui表示第i个颜色通道分量中图像颜色特征的一阶矩,δi表示第i个颜色通道分量中图像颜色特征的二阶矩,γi表示第i个颜色通道分量中图像颜色的特征的三阶矩,pi,j为彩色图像中第i个颜色通道分量中灰度为j的像素出现的概率,N为颜色区间的个数,M为像素个数。
2.2轮廓特征提取
2.2.1对步骤2.1切割后的检测图像进行轮廓特征的提取,得到检测目标的外轮廓;对检测目标的外轮廓最小外接矩阵定义为重点区域,即图像中关键图像信息的定位,截取并保存作为重点区域图像。
2.2.2轮廓描述子
首先获取待识别目标物体的***轮廓点集,对轮廓的***轮廓点集进行均匀采样,得到一个采样集合π={r1,r2,…,rn},ri∈R2,R2为2D欧式空间。以任意一点ri为对数极坐标系下原点,而轮廓上的个点会落在以ri为极坐标原点的对数坐标系中,XiYi为ri在直角坐标系下的点,ri即可以和轮廓上其他n-1个轮廓点构成形状特征向量形成对数极坐标直方图hi。
hi(k)={pj≠pi&pj∈bn}(i≠j) (7)
其中直方图统计落在每个区域的点个数,pj和pi分别为目标轮廓上不同的轮廓点,bn为极坐标系中第n个区域,n为极坐标系分割的区域数量,1≤n≤60。
轮廓描述子为Msc:
MSC=(b1,b2,…,b60) (8)
2.3关键点特征提取
由于步骤2.2重点区域下包含了物体未被遮挡的信息成分,此时进行多特征检测,匹配图像中关键角点、拐点。
本发明选取SIFT特征作为检测目标的匹配标准,具体是:
2.3.1使用不同高斯滤波器对重点区域图像进行卷积处理,得到不同尺度层高斯金字塔,对其中一层进行斑点检测,获取26个斑点(包括同尺度层8个及上下尺度层各9个点),选出极大值或极小值为关键特征点;
作为优选,通过三维二次函数筛选剔除不稳定点。
2.3.2以步骤2.3.1中提取的关键特征点为中心的3×3矩形的区域内剩余的邻域区域称为周边的相邻区域,然后以边长为3进行分块处理,计算各个块内的梯度直方图,该部分信息不随尺度变化、视角变化影响,可以构成4*4*8的128维SIFT特征点描述子。
2.4多特征融合
选用颜色描述子、轮廓描述子、SIFT描述子进行融合,级联成一种新的CSCSIFT(Color Shape-contours SIFT)描述子检测算法,得到多特征融合值:
MCSCSIFT=(uh,δh,γh,us,δs,γs,ui,δi,γi,b1,…,b60,s1,…,s128) (9)
步骤三、通过匹配算法,将模板图像的多特征融合值与重点区域图像的多特征融合值进行匹配,匹配度即为识别准确率。
作为优选,采用RANSAC算法剔除误匹配点,提高匹配准确率。
本发明的另一个目的是提供一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行上述的方法。
本发明的又一个目的是提供一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现上述的方法。
本发明提出的多特征融合的方式,能够适应复杂环境下由于遮挡带来的识别困难,该方法解决了因遮挡带来的识别率低、实时性差的问题。利用多特征融合的方式,依托颜色及轮廓减小无关检测区域。
本发明采用SIFT算法实现兴趣点检测与描述以及目标模板图像与检测图像像中多角度兴趣点的匹配。
基于本发明提出的基于多特征融合识别方法,能够有效的对机器人采集图像进行关键定位及筛选重点区域进行图像分析,为机器人识别提高的准确率。
附图说明
图1是模板图像数据库的构建流程图;
图2是本发方法流程图。
具体实施方式
下面结合具体实施例对本发明做进一步分析。
如图2一种基于多特征融合的遮挡目标识别方法,包括如下步骤:
步骤一、多特征模板图像数据库的构建,如图1:
1.1获取大小m×n的彩色模板图像,对模板图像的颜色特征、轮廓特征、关键点特征进行提取;其中关键点特征包括SIFT(Scale-invariant feature transform)、SURF(Speeded Up Robust Features)、ORB(Oriented Fast and Rotated Brief)等一种;
所述的提取技术为本领域常规技术,故不详解。
所述模板图像为目标正视图;
对模板图像中颜色特征提取是基于模板图像转化为H-S彩色模型下的图像时进行的。
1.2根据步骤1.1提取的颜色特征构建彩色信息直方图,从上述彩色信息直方图选取主成颜色阈值T1和T2;通过主成颜色阈值T1和T2对模板图像进行阈值分割,得到主成颜色分割后的模板图像;
1.3对步骤1.2主成颜色分割后的模板图像进行Canny算法,提取目标轮廓的边界信息,得到所需目标轮廓,并计算目标轮廓的面积大小、长宽比等信息;再通过寻找目标轮廓的最小外接矩阵的方法,将最小外接矩阵作为目标框。
步骤二、检测图像的多特征提取:
2.1颜色特征提取
2.1.1对检测图像进行H-S彩色模型的图像转化,得到彩色检测图像;通过多特征模板图像数据库中主成颜色阈值T1和T2对彩色检测图像进行阈值分割,得到切割后的检测图像;
切割后的检测图像与多特征模板图像数据库中主成颜色分割后的模板图像根据式(1)进行相关性对比,对比系数记为d(H1,H2)。
式中,H1(I)为切割后的检测图像中第I个颜色区间上的值,I=1,2,3…N,N为直方图中颜色区间的个数;H2(I)为切割后的模板图像中第I个颜色区间上的值;k取值1和2,j=I。
2.1.2颜色描述子提取
在HSI颜色空间模型下对颜色分量进行求矩运算,得到颜色描述子:
Cfeatures=(uh,δh,γh,us,δs,γs,ui,δi,γi) (3)
其中uh,δh,γh表示H色调分量图颜色的三阶矩描述,us,δs,γs表示S饱和度分量图颜色的三阶矩描述,ui,δi,γi表示I亮度分量图颜色的三阶矩描述。
以I亮度分量图颜色的三阶矩描述为例:
式中ui表示第i个颜色通道分量中图像颜色特征的一阶矩,δi表示第i个颜色通道分量中图像颜色特征的二阶矩,γi表示第i个颜色通道分量中图像颜色的特征的三阶矩,pi,j为彩色图像中第i个颜色通道分量中灰度为j的像素出现的概率,N为颜色区间的个数,M为像素个数。
2.2轮廓特征提取
2.2.1对步骤2.1切割后的检测图像进行轮廓特征的提取,得到检测目标的外轮廓;对检测目标的外轮廓最小外接矩阵定义为重点区域,即图像中关键图像信息的定位,截取并保存作为重点区域图像。
2.2.2轮廓描述子
首先获取待识别目标物体的***轮廓点集,对轮廓的***轮廓点集进行均匀采样,得到一个采样集合π={r1,r2,…,rn},ri∈R2,R2为2D欧式空间。以任意一点ri为对数极坐标系下原点,而轮廓上的个点会落在以ri为极坐标原点的对数坐标系中,XiYi为ri在直角坐标系下的点,ri即可以和轮廓上其他n-1个轮廓点构成形状特征向量形成对数极坐标直方图hi。
hi(k)={pj≠pi&pj∈bn}(i≠j) (7)
其中直方图统计落在每个区域的点个数,pj和pi分别为目标轮廓上不同的轮廓点,bn为极坐标系中第n个区域,n为极坐标系分割的区域数量,1≤n≤60。
轮廓描述子为Msc:
MSC=(b1,b2,…,b60) (8)
2.3关键点特征提取
由于步骤2.2重点区域下包含了物体未被遮挡的信息成分,此时进行多特征检测,匹配图像中关键角点、拐点。
本发明选取SIFT特征作为检测目标的匹配标准,具体是:
2.3.1使用不同高斯滤波器对重点区域图像进行卷积处理,得到不同尺度层高斯金字塔,对其中一层进行斑点检测,获取26个斑点(包括同尺度层8个及上下尺度层各9个点),选出极大值或极小值为关键特征点;
作为优选,通过三维二次函数筛选剔除不稳定点。
2.3.2以步骤2.3.1中提取的关键特征点为中心的3×3矩形的区域内剩余的邻域区域称为周边的相邻区域,然后以边长为3进行分块处理,计算各个块内的梯度直方图,该部分信息不随尺度变化、视角变化影响,可以构成4*4*8的128维SIFT特征点描述子。
2.4多特征融合
选用颜色描述子、轮廓描述子、SIFT描述子进行融合,级联成一种新的CSCSIFT(ColorShape-contoursSIFT)描述子检测算法,得到多特征融合值:
MCSCSIFT=(uh,δh,γh,us,δs,γs,ui,δi,γi,b1,…,b60,s1,…,s128) (9)
步骤三、通过匹配算法,将模板图像的多特征融合值与重点区域图像的多特征融合值进行匹配,匹配度即为识别准确率。
作为优选,采用RANSAC算法剔除误匹配点,提高匹配准确率。
实验对比结果
表1融合算法对A类物体的检测数据
表2融合算法对B类物体的检测数据
表3融合算法对不同物体的检测准确率
表中CSIFT表示颜色描述子和SIFT级联成的描述子检测算法,SCSIFT表示轮廓描述子和SIFT级联成描述子算法。A、B、C、D、E分别表示五类物体,表中的数据表示物体检测的识别率
由表1-2可知,通过融合后的算法减少了物体特征点时间,从而使得程序运行总时间减少了,其中由于采用多种特征的描述子,在保持SIFT算法的优点的基础上,CSCSIFT在实时性和准确率方面都得到了3%-10%的提升。
Claims (8)
1.一种基于多特征融合的遮挡目标识别方法,其特征在于包括以下步骤:
步骤一、多特征模板图像数据库的构建:
步骤二、检测图像的多特征提取:
2.1颜色特征提取
2.1.1对检测图像进行H-S彩色模型的图像转化,得到彩色检测图像;通过多特征模板图像数据库中主成颜色阈值T1和T2对彩色检测图像进行阈值分割,得到切割后的检测图像;
切割后的检测图像与多特征模板图像数据库中主成颜色分割后的模板图像根据式(1)进行相关性对比,对比系数记为d(H1,H2);
式中,H1(I)为切割后的检测图像中第I个颜色区间上的值,I=1,2,3…N,N为直方图中颜色区间的个数;H2(I)为切割后的模板图像中第I个颜色区间上的值;k取值1和2,j=I;
2.1.2颜色描述子提取
在HSI颜色空间模型下对颜色分量进行求矩运算,得到颜色描述子:
Cfeatures=(uh,δh,γh,us,δs,γs,ui,δi,γi) (3)
其中uh,δh,γh表示H色调分量图颜色的三阶矩描述,us,δs,γs表示S饱和度分量图颜色的三阶矩描述,ui,δi,γi表示I亮度分量图颜色的三阶矩描述;
2.2轮廓特征提取
2.2.1对步骤2.1切割后的检测图像进行轮廓特征的提取,得到检测目标的外轮廓;对检测目标的外轮廓最小外接矩阵定义为重点区域,即图像中关键图像信息的定位,截取并保存作为重点区域图像;
2.2.2轮廓描述子
首先获取待识别目标物体的***轮廓点集,对轮廓的***轮廓点集进行均匀采样,得到一个采样集合π={r1,r2,…,rn},ri∈R2,R2为2D欧式空间;以任意一点ri为对数极坐标系下原点,而轮廓上的个点会落在以ri为极坐标原点的对数坐标系中,XiYi为ri在直角坐标系下的点,ri即可以和轮廓上其他n-1个轮廓点构成形状特征向量形成对数极坐标直方图hi;
hi(k)={pj≠pi&pj∈bn}(i≠j) (7)
其中直方图统计落在每个区域的点个数,pj和pi分别为目标轮廓上不同的轮廓点,bn为极坐标系中第n个区域,n为极坐标系分割的区域数量,1≤n≤60;
轮廓描述子为Msc:
MSC=(b1,b2,…,b60) (8)
2.3关键点特征提取
2.3.1使用不同高斯滤波器对重点区域图像进行卷积处理,得到不同尺度层高斯金字塔,对其中一层进行斑点检测,获取26个点,选出极大值或极小值为关键特征点;
2.3.2以步骤2.3.1中提取的关键特征点为中心的3×3矩形的区域内剩余的邻域区域称为周边的相邻区域,然后以边长为3进行分块处理,计算各个块内的梯度直方图,该部分信息不随尺度变化、视角变化影响,可以构成4*4*8的128维SIFT特征点描述子;
2.4多特征融合
选用颜色描述子、轮廓描述子、SIFT描述子进行融合,级联得到多特征融合值:
MCSCSIFT=(uh,δh,γh,us,δs,γs,ui,δi,γi,b1,…,b60,s1,…,s128) (9)
步骤三、通过匹配算法,将模板图像的多特征融合值与重点区域图像的多特征融合值进行匹配,匹配度即为识别准确率。
2.如权利要求1所述的一种基于多特征融合的遮挡目标识别方法,其特征在于步骤一具体是:
1.1获取大小m×n的彩色模板图像,对模板图像的颜色特征、轮廓特征、关键点特征进行提取;
对模板图像中颜色特征提取是基于模板图像转化为H-S彩色模型下的图像时进行的;
1.2根据步骤1.1提取的颜色特征构建彩色信息直方图,从上述彩色信息直方图选取主成颜色阈值T1和T2;通过主成颜色阈值T1和T2对模板图像进行阈值分割,得到主成颜色分割后的模板图像;
1.3对步骤1.2主成颜色分割后的模板图像进行Canny算法,提取目标轮廓的边界信息,得到所需目标轮廓,并计算目标轮廓的面积大小、长宽比等信息;再通过寻找目标轮廓的最小外接矩阵的方法,将最小外接矩阵作为目标框。
3.如权利要求1或2所述的一种基于多特征融合的遮挡目标识别方法,其特征在于所述模板图像为目标正视图。
5.如权利要求1所述的一种基于多特征融合的遮挡目标识别方法,其特征在于步骤2.3.1通过三维二次函数筛选剔除不稳定点。
6.如权利要求1所述的一种基于多特征融合的遮挡目标识别方法,其特征在于步骤三采用RANSAC算法剔除误匹配点。
7.一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行权利要求1-6中任一项所述的方法。
8.一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求1-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011532981.6A CN112541471B (zh) | 2020-12-21 | 2020-12-21 | 一种基于多特征融合的遮挡目标识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011532981.6A CN112541471B (zh) | 2020-12-21 | 2020-12-21 | 一种基于多特征融合的遮挡目标识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112541471A true CN112541471A (zh) | 2021-03-23 |
CN112541471B CN112541471B (zh) | 2024-02-20 |
Family
ID=75017523
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011532981.6A Active CN112541471B (zh) | 2020-12-21 | 2020-12-21 | 一种基于多特征融合的遮挡目标识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112541471B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115648224A (zh) * | 2022-12-22 | 2023-01-31 | 北京钢铁侠科技有限公司 | 一种基于双深度相机识别定位的机械臂抓取方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103093479A (zh) * | 2013-03-01 | 2013-05-08 | 杭州电子科技大学 | 一种基于双目视觉的目标定位方法 |
CN107103323A (zh) * | 2017-03-09 | 2017-08-29 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于图像轮廓特征的目标识别方法 |
CN109299720A (zh) * | 2018-07-13 | 2019-02-01 | 沈阳理工大学 | 一种基于轮廓片段空间关系的目标识别方法 |
CN111666834A (zh) * | 2020-05-20 | 2020-09-15 | 哈尔滨理工大学 | 一种基于图像识别技术的森林火灾自动监测识别***及方法 |
-
2020
- 2020-12-21 CN CN202011532981.6A patent/CN112541471B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103093479A (zh) * | 2013-03-01 | 2013-05-08 | 杭州电子科技大学 | 一种基于双目视觉的目标定位方法 |
CN107103323A (zh) * | 2017-03-09 | 2017-08-29 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于图像轮廓特征的目标识别方法 |
CN109299720A (zh) * | 2018-07-13 | 2019-02-01 | 沈阳理工大学 | 一种基于轮廓片段空间关系的目标识别方法 |
CN111666834A (zh) * | 2020-05-20 | 2020-09-15 | 哈尔滨理工大学 | 一种基于图像识别技术的森林火灾自动监测识别***及方法 |
Non-Patent Citations (1)
Title |
---|
冯瑞: "基于HSI哈希学习的航拍图像匹配算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 4, 15 April 2020 (2020-04-15) * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115648224A (zh) * | 2022-12-22 | 2023-01-31 | 北京钢铁侠科技有限公司 | 一种基于双深度相机识别定位的机械臂抓取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112541471B (zh) | 2024-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109344701B (zh) | 一种基于Kinect的动态手势识别方法 | |
CN108491784B (zh) | 面向大型直播场景的单人特写实时识别与自动截图方法 | |
CN106709950B (zh) | 一种基于双目视觉的巡线机器人跨越障碍导线定位方法 | |
US8340420B2 (en) | Method for recognizing objects in images | |
CN107909081B (zh) | 一种深度学习中图像数据集的快速获取和快速标定方法 | |
Das et al. | Detection and classification of acute lymphocytic leukemia | |
CN108898132B (zh) | 一种基于形状上下文描述的太赫兹图像危险品识别方法 | |
CN105678213B (zh) | 基于视频特征统计的双模式蒙面人事件自动检测方法 | |
CN110415208A (zh) | 一种自适应目标检测方法及其装置、设备、存储介质 | |
CN109559324A (zh) | 一种线阵图像中的目标轮廓检测方法 | |
CN112102409A (zh) | 目标检测方法、装置、设备及存储介质 | |
CN112308872B (zh) | 基于多尺度Gabor一阶导数的图像边缘检测方法 | |
CN111695373B (zh) | 斑马线的定位方法、***、介质及设备 | |
CN111539980B (zh) | 一种基于可见光的多目标追踪方法 | |
CN110570442A (zh) | 一种复杂背景下轮廓检测方法、终端设备及存储介质 | |
CN110599463A (zh) | 一种基于轻量级联神经网络的舌像检测及定位算法 | |
CN115661187A (zh) | 用于中药制剂分析的图像增强方法 | |
CN105354547A (zh) | 一种结合纹理和彩色特征的行人检测方法 | |
CN111126296A (zh) | 水果定位方法及装置 | |
CN114119695A (zh) | 一种图像标注方法、装置及电子设备 | |
CN112541471B (zh) | 一种基于多特征融合的遮挡目标识别方法 | |
CN114581658A (zh) | 一种基于计算机视觉的目标检测方法及装置 | |
CN113723314A (zh) | 一种基于YOLOv3算法的甘蔗茎节识别方法 | |
Zhang et al. | Pedestrian detection with EDGE features of color image and HOG on depth images | |
Sukmana et al. | Blight segmentation on corn crop leaf using connected component extraction and CIELAB color space transformation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |