CN110705613A - 物体分类方法 - Google Patents

物体分类方法 Download PDF

Info

Publication number
CN110705613A
CN110705613A CN201910885199.3A CN201910885199A CN110705613A CN 110705613 A CN110705613 A CN 110705613A CN 201910885199 A CN201910885199 A CN 201910885199A CN 110705613 A CN110705613 A CN 110705613A
Authority
CN
China
Prior art keywords
position relation
result
classification
objects
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910885199.3A
Other languages
English (en)
Other versions
CN110705613B (zh
Inventor
张发恩
宋亮
秦永强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Qizhi (qingdao) Technology Co Ltd
Original Assignee
Innovation Qizhi (qingdao) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Qizhi (qingdao) Technology Co Ltd filed Critical Innovation Qizhi (qingdao) Technology Co Ltd
Priority to CN201910885199.3A priority Critical patent/CN110705613B/zh
Publication of CN110705613A publication Critical patent/CN110705613A/zh
Application granted granted Critical
Publication of CN110705613B publication Critical patent/CN110705613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了物体分类方法，包括下列步骤：首先使用检测模型检测出场景中所有目标，并进行一次粗分类；第二步将粗分类的各目标根据相互位置关系构造位置关系图，根据相对距离计算出关系影响权重；第三步使用第二步计算出的所述关系影响权重对所述位置关系图进行图卷积，得到平滑后的结果；重复上述步骤直到变化值停止不变。本发明通过构造不同物体的位置关系图，使得最终结果不只是针对单个物体的分类结果，而是考虑到周围物体的分类结果，这样对于存在遮挡模糊等原因而导致机器学习模型难以分辨的物体就可以进行重新分类，从而可以进行简单的推断，即通过周围物体的分类结果来推理出这些难以分辨物体的分类结果。

Description

物体分类方法
技术领域
本发明涉及产品分类的技术领域，具体涉及到一种物体分类方法的技术。
背景技术
随着人工智能的发展，检测分类技术在日常生活中发挥着越来越重要的作用，但是目前主流的检测分类技术实质是对每一个对立的物体进行分类，并没有考虑到物体之间的相互关系。对于一些需要考虑相互关系的场景表现较差，难以达到人类的准确率。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种物体分类方法，对于难以分辨物体的分类进行简单的推断，得到所述物体的类别。
为达上述目的，本发明采用以下技术方案：
一种物体分类方法，其特征在于：所述物体分类方法包括下列步骤
首先使用检测模型检测出场景中所有目标，并进行一次粗分类；
第二步将粗分类的各目标根据相互位置关系构造位置关系图，根据相对距离计算出关系影响权重；
第三步使用第二步计算出的所述关系影响权重对所述位置关系图进行图卷积，得到平滑后的结果；
重复上述步骤直到变化值停止不变。
所述粗分类是卷积神经网络如ResNet，结果为属于每一类的概率。
所述相互位置关系是使用欧式像素距离作为距离，权重为e^-(distance/k)，其中k为可以根据实际效果更改的参数。
所述第三步中卷积就是加权，按照第二步中计算出的权重进行加权，所述平滑后的结果为x1＝sum(wi*x0i)；所述变化值为x1-x0。
本发明具有以下有益效果：
本发明通过构造不同物体的位置关系图，使得最终结果不只是针对单个物体的分类结果，而是考虑到周围物体的分类结果，即将目标物体与其周围物体结合进行一个分类结果的推断，这样对于存在遮挡模糊等原因而导致机器学习模型难以分辨的物体就可以进行重新分类，从而可以进行简单的推断，即通过周围物体的分类结果来推理出这些难以分辨物体的分类结果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明物体分类方法的原理图；
图2是本发明物体分类方法的分类模块示意图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
本发明物体分类方法包括下列步骤：
首先使用检测模型如Mask-RCNN检测出场景中所有目标，并进行一次粗分类，即卷积神经网络结果属于每一类的概率，如将物体分为三类，则对每一个物体粗分类结果为[0.1 0.10.8]分别代表第一类概率为0.1第二类概率为0.1第三类概率为0.8，即应当被分为第三类。所述卷积神经网络结果如ResNet结果；ResNet(Residual Neural Network)由微软研究院的Kaiming He等四名华人提出，通过使用ResNet Unit成功训练出了152层的神经网络。ResNet的结构可以极快的加速神经网络的训练，模型的准确率也有比较大的提升。同时ResNet的推广性非常好，甚至可以直接用到InceptionNet网络中。Mask R-CNN是一个两阶段的框架，第一个阶段扫描图像并生成提议(proposals，即有可能包含一个目标的区域)，第二阶段分类提议并生成边界框和掩码。Mask R-CNN扩展自Faster R-CNN，由同一作者在去年提出。Faster R-CNN是一个流行的目标检测框架，Mask R-CNN将其扩展为实例分割框架。
第二步将粗分类的各目标根据相互位置关系构造位置关系图，根据相对距离计算出关系影响权重，使用欧式像素距离作为距离，所述关系影响权重为e^-(distance/k)，其中k为根据实际效果更改的参数；
第三步使用第二步计算出的所述权重对所述位置关系图进行图卷积，所述卷积就是加权，得到平滑后的结果为x1＝sum(wi*x0i)；
重复上述步骤直到变化值停止不变，即所述变化值x1-x0停止不变，该变化值x1-x0尽量较小。前述e^-(distance/k)、x1＝sum(wi*x0i)给出个参数e^、distance、k、(distance/k)、sum、wi、x0i、x0、x1的技术含义如下：e^指数；distance为两个物体的像素距离(像素距离即为在图片上的距离)；sum求和；wi是所计算的权重；x是所计算的概率。x1＝sum(wi*x0i)依赖于e^-(distance/k)的计算结果；x1-x0是指对概率的修正。
例如：使用检测模型如Mask-RCNN检测出场景中所有目标，包括目标物体A与周围物体B，目标物体A存在遮挡模糊，因此导致机器学习模型难以分辨，周围物体B易于机器学习模型难以分辨其类别。对目标物体A与周围物体B进行一次粗分类，其分类原理是利用卷积神经网络结果，得到一个属于每一类的概率数值。其中周围物体B是足够临近目标物体A的相邻物体。
将目标物体A与周围物体B根据它们的相互位置关系，构造位置关系图，根据相对距离计算出关系影响权重，使用欧式像素距离作为距离，所述关系影响权重为e^-(distance/k)，其中k为根据实际效果更改的参数；
使用所算出的权重对所述位置关系图进行图卷积，即进行加权，得到平滑后的结果x1＝sum(wi*x0i)。
重复上述步骤直到变化值停止不变，即变化值x1-x0停止不变，则认为目标物体与周围物体B为同一类概率较大。由此推断周围物体B的类别就是目标物体A的类别。
本发明所述物体分类方法，通过考虑物体相互位置关系，因此可以使物体检测分类结果考虑到不同物体的相互关系，使分类结果更加稳定并且接近人类所达到结果。在本发明中，技术核心是通过构造不同物体的位置关系图，使得的最终结果不只是对单个目标物体的分类结果，而是考虑到周围物体的分类结果，进行一个推断。上述过程其实是通过物体周边分类进行加权，认为目标物体与相近物体为同一类概率较大，以此进行推断。这样对于存在遮挡模糊等原因而导致机器学***滑后的结果即x1＝sum(wi*x0i)；重复上述步骤，变化值x1-x0停止不变，则认为目标物体与周围物体为同一类概率较大，由此推断周围物体即相近物体的类别就是目标物体即机器学习模型难以分辨的物体的类别。可见，本发明通过周围物体推理出这些难以分辨的目标物体的类别。
综上所述，本发明所述物体分类方法，是将足够近的相邻物体使用一条边连起来，使得最终结果不只是对单个物体的分类结果，而是考虑到周围物体的分类结果进行一个推断，因此，对于存在遮挡模糊等原因而导致机器学习模型难以分辨的物体进行重新分类，使得模型可以进行简单的推断，通过周围物体推理出这些难以分辨物体的类别。
如图1，给出了本发明所述物体分类方法的原理：使用检测模型进行检测以及粗分类；构造图片中物体关系图并计算权重；根据计算得到的权重和图，进行卷积，得到平滑后的结果x1＝sum(wi*x0i)；重复上述过程直到变化值x1-x0停止不变。图2为分类模块图，即检测分类模型、物体关系图、图卷积。
需要声明的是，上述具体实施方式仅为本发明的较佳实施例及所运用技术原理，在本发明所公开的技术范围内，任何熟悉本技术领域的技术人员所容易想到的变化或替换，都应涵盖在本发明的保护范围内。

Claims (4)

1.一种物体分类方法，其特征在于：所述物体分类方法包括下列步骤
首先使用检测模型检测出场景中所有目标，并进行一次粗分类；
第二步将粗分类的各目标根据相互位置关系构造位置关系图，根据相对距离计算出关系影响权重；
第三步使用第二步计算出的所述关系影响权重对所述位置关系图进行图卷积，得到平滑后的结果；
重复上述步骤直到变化值停止不变。
2.根据权利要求1所述的物体分类方法，其特征在于：所述粗分类是卷积神经网络结果，所述卷积神经网络结果是属于每一类的概率。
3.根据权利要求1所述的物体分类方法，其特征在于：所述相互位置关系是使用欧式像素距离作为距离，权重为e^-(distance/k)，其中k为可以根据实际效果更改的参数。
4.根据权利要求3所述的物体分类方法，其特征在于：所述第三步中卷积就是加权，按照第二步中计算出的权重进行加权，所述平滑后的结果为x1＝sum(wi*x0i)；所述变化值为x1-x0。
CN201910885199.3A 2019-09-19 2019-09-19 物体分类方法 Active CN110705613B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910885199.3A CN110705613B (zh) 2019-09-19 2019-09-19 物体分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910885199.3A CN110705613B (zh) 2019-09-19 2019-09-19 物体分类方法

Publications (2)

Publication Number Publication Date
CN110705613A true CN110705613A (zh) 2020-01-17
CN110705613B CN110705613B (zh) 2021-06-11

Family

ID=69196245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910885199.3A Active CN110705613B (zh) 2019-09-19 2019-09-19 物体分类方法

Country Status (1)

Country Link
CN (1) CN110705613B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111414962A (zh) * 2020-03-19 2020-07-14 创新奇智(重庆)科技有限公司 一种引入物体关系的图像分类方法
CN111612051A (zh) * 2020-04-30 2020-09-01 杭州电子科技大学 一种基于图卷积神经网络的弱监督目标检测方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105279517A (zh) * 2015-09-30 2016-01-27 西安电子科技大学 基于半监督关系主题模型的弱标签社交图像识别方法
WO2017090830A1 (ko) * 2015-11-27 2017-06-01 연세대학교 산학협력단 공간-물체 관계 그래프에 기반한 객체 인식 방법 및 그 장치
CN109087245A (zh) * 2018-08-13 2018-12-25 长治学院 基于相邻关系模型的无人机遥感图像拼接***
CN109255791A (zh) * 2018-07-19 2019-01-22 杭州电子科技大学 一种基于图卷积神经网络的形状协同分割方法
CN109446413A (zh) * 2018-09-25 2019-03-08 上海交通大学 基于物品关联关系的序列化推荐方法
US20190095806A1 (en) * 2017-09-28 2019-03-28 Siemens Aktiengesellschaft SGCNN: Structural Graph Convolutional Neural Network
US20190122111A1 (en) * 2017-10-24 2019-04-25 Nec Laboratories America, Inc. Adaptive Convolutional Neural Knowledge Graph Learning System Leveraging Entity Descriptions
CN109918542A (zh) * 2019-01-28 2019-06-21 华南理工大学 一种用于关系图数据的卷积分类方法及***
CN110009093A (zh) * 2018-12-07 2019-07-12 阿里巴巴集团控股有限公司 用于分析关系网络图的神经网络***和方法
CN110084296A (zh) * 2019-04-22 2019-08-02 中山大学 一种基于特定语义的图表示学习框架及其多标签分类方法
CN110111325A (zh) * 2019-05-14 2019-08-09 深圳大学 神经影像分类方法、计算机终端及计算机可读存储介质
CN110222611A (zh) * 2019-05-27 2019-09-10 中国科学院自动化研究所 基于图卷积网络的人体骨架行为识别方法、***、装置
CN110222771A (zh) * 2019-06-10 2019-09-10 成都澳海川科技有限公司 一种零样本图片的类别识别方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105279517A (zh) * 2015-09-30 2016-01-27 西安电子科技大学 基于半监督关系主题模型的弱标签社交图像识别方法
WO2017090830A1 (ko) * 2015-11-27 2017-06-01 연세대학교 산학협력단 공간-물체 관계 그래프에 기반한 객체 인식 방법 및 그 장치
US20190095806A1 (en) * 2017-09-28 2019-03-28 Siemens Aktiengesellschaft SGCNN: Structural Graph Convolutional Neural Network
US20190122111A1 (en) * 2017-10-24 2019-04-25 Nec Laboratories America, Inc. Adaptive Convolutional Neural Knowledge Graph Learning System Leveraging Entity Descriptions
CN109255791A (zh) * 2018-07-19 2019-01-22 杭州电子科技大学 一种基于图卷积神经网络的形状协同分割方法
CN109087245A (zh) * 2018-08-13 2018-12-25 长治学院 基于相邻关系模型的无人机遥感图像拼接***
CN109446413A (zh) * 2018-09-25 2019-03-08 上海交通大学 基于物品关联关系的序列化推荐方法
CN110009093A (zh) * 2018-12-07 2019-07-12 阿里巴巴集团控股有限公司 用于分析关系网络图的神经网络***和方法
CN109918542A (zh) * 2019-01-28 2019-06-21 华南理工大学 一种用于关系图数据的卷积分类方法及***
CN110084296A (zh) * 2019-04-22 2019-08-02 中山大学 一种基于特定语义的图表示学习框架及其多标签分类方法
CN110111325A (zh) * 2019-05-14 2019-08-09 深圳大学 神经影像分类方法、计算机终端及计算机可读存储介质
CN110222611A (zh) * 2019-05-27 2019-09-10 中国科学院自动化研究所 基于图卷积网络的人体骨架行为识别方法、***、装置
CN110222771A (zh) * 2019-06-10 2019-09-10 成都澳海川科技有限公司 一种零样本图片的类别识别方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
CHEN-HANG HE 等: "Improving Object Detection with Relation Graph Inference", 《ICASSP 2019-2019 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS，SPEECH AND SIGNAL PROCESSING（ICASSP）》 *
CHU WANG 等: "Local Spectral Graph Convolution for Point Set Feature", 《ECCV 2018：COMPUTER VISION-ECCV2018》 *
HANG XU 等: "Spatial-aware Graph Relation Network for Large-scale Object Detection", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION（CVPR）》 *
JIANCHAO WU 等: "Learning Actor Relation Graphs for Group Activity Recognition", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
XINGJIAN DU 等: "REPGN：Object Detection with Relational Proposal Graph Network", 《ARXIV:1904.08959V1》 *
YANSONG TANG 等: "Learning Semantics-Preserving Attention and Contextual Interaction for Group Activity Recognition", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
孙丹: "基于遮挡判定和布局约束的单目图像深度拓扑结构研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111414962A (zh) * 2020-03-19 2020-07-14 创新奇智(重庆)科技有限公司 一种引入物体关系的图像分类方法
CN111612051A (zh) * 2020-04-30 2020-09-01 杭州电子科技大学 一种基于图卷积神经网络的弱监督目标检测方法
CN111612051B (zh) * 2020-04-30 2023-06-20 杭州电子科技大学 一种基于图卷积神经网络的弱监督目标检测方法

Also Published As

Publication number Publication date
CN110705613B (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN111797716B (zh) 一种基于Siamese网络的单目标跟踪方法
CN109886121B (zh) 一种遮挡鲁棒的人脸关键点定位方法
CN111723654B (zh) 基于背景建模、YOLOv3与自优化的高空抛物检测方法及装置
CN108416266B (zh) 一种利用光流提取运动目标的视频行为快速识别方法
CN116152267B (zh) 基于对比性语言图像预训练技术的点云实例分割方法
CN108961235A (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN109241982A (zh) 基于深浅层卷积神经网络的目标检测方法
CN112364931B (zh) 一种基于元特征和权重调整的少样本目标检测方法及网络***
CN108710913A (zh) 一种基于深度学习的开关柜图像开关状态自动识别方法
CN108830170B (zh) 一种基于分层特征表示的端到端目标跟踪方法
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及***
CN111539422B (zh) 基于Faster RCNN的飞行目标协同识别方法
CN113326735B (zh) 一种基于YOLOv5的多模态小目标检测方法
CN111652317A (zh) 基于贝叶斯深度学习的超参数图像分割方法
CN113706581B (zh) 基于残差通道注意与多层次分类回归的目标跟踪方法
CN110705613B (zh) 物体分类方法
Fang et al. Laser stripe image denoising using convolutional autoencoder
CN110084284A (zh) 基于区域卷积神经网络的目标检测与二级分类算法及装置
CN113408584A (zh) Rgb-d多模态特征融合3d目标检测方法
CN116385958A (zh) 一种用于电网巡检和监控的边缘智能检测方法
CN112668672A (zh) 基于TensorRT的目标检测模型加速方法及装置
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN115032648A (zh) 一种基于激光雷达密集点云的三维目标识别与定位方法
CN115171183A (zh) 一种基于改进yolov5的口罩人脸检测方法
CN112837281B (zh) 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant