CN112183558A - 一种基于YOLOv3的目标检测和特征提取一体化网络 - Google Patents

一种基于YOLOv3的目标检测和特征提取一体化网络 Download PDF

Info

Publication number
CN112183558A
CN112183558A CN202011066312.4A CN202011066312A CN112183558A CN 112183558 A CN112183558 A CN 112183558A CN 202011066312 A CN202011066312 A CN 202011066312A CN 112183558 A CN112183558 A CN 112183558A
Authority
CN
China
Prior art keywords
target
feature
feature extraction
information
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011066312.4A
Other languages
English (en)
Inventor
李利华
韩勇强
刘泳庆
张路成
魏晨晨
余清鲜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202011066312.4A priority Critical patent/CN112183558A/zh
Publication of CN112183558A publication Critical patent/CN112183558A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于YOLOv3的目标检测和特征提取一体化网络，目标检测模块运行YOLOv3算法，输出3个分支检测结果，根据非极大值抑制算法对3个分支数据进行整合，得到目标检测的输出结果，网络中目标检测结果和原始图像信息输入到解码模块，解码模块根据输入信息提取出目标区域的图像并送入特征提取模块，特征提取模块运行卷积神经网络提取图像的特征信息，将每个目标的特征信息投射到超球面上，目标检测模块输出的目标信息和特征提取模块输出的特征信息一一对应，最后对目标检测的输出和特征提取的输出进行合并，得到网络的最终输出。本发明提供的一体化网络能够提供目标检测信息的同时，为跟踪网络提供目标的特征信息，能够有效提升跟踪算法的性能。

Description

一种基于YOLOv3的目标检测和特征提取一体化网络
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于YOLOv3的目标检测和特征提取一体化网络。
背景技术
基于视觉的目标检测和跟踪是计算机视觉领域的重要研究课题，在视频监控、虚拟现实、人机交互、自主导航等领域具有重要的研究和实用价值。目标检测任务能够提供目标的类别、位置和大小信息，在连续帧序列目标追踪过程中，目标检测的性能好坏将直接影响后续的目标跟踪任务性能。
为了实现高效的目标跟踪，期望得到目标更多的准确信息，包括目标类别、目标位置、目标大小、以及目标颜色、纹理、边缘等表现特征，丰富的目标特征是实现目标鲁棒跟踪的关键。
目前的目标检测算法能够输出目标的类别、位置和大小信息，但不能够输出目标的表现特征信息，由于检测算法输出的信息有限，限制了跟踪算法的性能。
发明内容
为解决现有技术存在的局限和缺陷，本发明提供一种基于YOLOv3的目标检测和特征提取一体化网络，包括目标检测模块、解码模块和特征提取模块，所述目标检测模块运行YOLOv3算法，输出3个分支检测结果，使用非极大值抑制算法对3个分支数据进行整合，获得目标检测的输出结果；
所述解码模块接收所述目标检测的输出结果和原始图像信息，通过解码提取出目标区域的图像，将所述目标区域的图像送至所述特征提取模块；
所述特征提取模块运行卷积神经网络提取所述目标区域图像的特征信息，将图像特征投射到超球面上，所述超球面的坐标为所述目标的特征信息，所述特征检测模块输出的特征信息与所述目标检测模块输出的目标信息一一对应；
对所述特征检测模块输出的特征信息与所述目标检测模块输出的目标信息进行合并，获得所述目标检测和特征提取一体化网络的最终输出，所述最终输出包括每个目标的类别、位置、大小以及图像特征信息。
可选的，还包括：
目标检测模块运行YOLOv3算法，输出3分支结果，分别为D1、D2和D3，其中
Figure BDA0002713855870000025
通过非极大值抑制算法对3个分支数据进行整合，得到目标检测的输出结果D，其中
Figure BDA0002713855870000026
极大值M为图像中目标数；
所述解码模块提取出目标区域的图像送入所述特征提取模块，所述特征提取模块运行卷积神经网络提取图像的特征信息，获得一个特征图，计算公式如下：
Figure BDA0002713855870000021
对提取的特征图通过全连接层，将信息转化为维度为(M×10)的特征向量f，计算公式如下：
Figure BDA0002713855870000022
Figure BDA0002713855870000023
对所述特征向量f进行操作，将每个目标的特征投射到超球面上，得到特征提取网络的最终输出F，计算公式如下：
Figure BDA0002713855870000024
Figure BDA0002713855870000031
其中，
Figure BDA0002713855870000034
对所述目标检测模块和所述特征提取模块的结果进行合并，获得最终输出output，所述最终输出output包含每个目标的类别、位置、大小以及图像特征信息，计算公式如下：
Figure BDA0002713855870000032
其中，
Figure BDA0002713855870000033
可选的，所述超球面为一个10维的超球面。
本发明具有下述有益效果：
本发明提供一种基于YOLOv3的目标检测和特征提取一体化网络，目标检测模块运行YOLOv3算法，输出3个分支检测结果，根据非极大值抑制算法对3个分支数据进行整合，得到目标检测的输出结果，将目标检测结果和原始图像信息输入到解码模块，解码模块提取出目标区域的图像送入特征提取模块，特征提取模块运行卷积神经网络提取图像的特征信息，并将每个目标的特征信息投射到超球面上，超球面的坐标即为该目标的特征信息。目标检测模块输出的目标信息和特征检测模块输出的特征信息一一对应，对目标检测的输出和特征提取的输出进行合并，得到网络的最终输出。
本发明提供的一体化网络能够提供目标检测信息的同时，为跟踪网络提供目标的特征信息，能够有效提升跟踪算法的性能。本发明提供的一体化网络的输出不仅包括目标检测结果，还包括目标的图像特征信息，丰富的信息输出为更高层任务奠定了基础。本发明提供的一体化网络的特征提取依托检测结果，只对有效的目标进行特征提取，降低了计算量，提高了算法的效率。本发明提供的一体化网络使用卷积神经网络，对目标特征进行提取，能够提取更多的图像细节信息，与传统方法相比具有优势。本发明提供的一体化网络将特征信息映射到一个10维的超球面上，便于对目标进行关联。本发明提供的一体化网络进行模块化设计，有利于网络的部署实现，而且能够利用YOLOv3原始网络数据进行迁移学习，降低训练的难度和成本。
附图说明
图1为本发明实施例一提供的基于YOLOv3的目标检测和特征提取一体化网络的结构示意图。
具体实施方式
为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图对本发明提供的基于YOLOv3的目标检测和特征提取一体化网络进行详细描述。
实施例一
图1为本发明实施例一提供的基于YOLOv3的目标检测和特征提取一体化网络的结构示意图。如图1所示，本实施例提供的一种基于YOLOv3的目标检测和特征提取一体化网络，主要包括三个功能模块：目标检测模块、解码模块和特征提取模块。
在工作过程中，目标检测模块运行YOLOv3算法，输出3分支检测结果，然后通过非极大值抑制算法(Non-Maximum Suppression，NMS)对3个分支数据进行整合，得到目标检测的输出结果，目标检测结果和原始图像信息输入到解码模块，解码模块提取出目标区域的图像并送入特征提取模块，特征提取模块运行卷积神经网络提取图像的特征信息，并将每个目标的特征信息投射到一个10维的超球面上，超球面的坐标即为该目标的特征信息。由于解码模块的作用，网络中目标检测模块输出的目标信息和特征检测模块输出的特征信息一一对应，最后对目标检测输出和特征提取输出进行合并，得到网络的最终输出，最终输出包含每个目标的类别、位置、大小以及图像特征信息。
本实施例提供的一体化网络能够提供目标检测信息的同时，为跟踪网络提供目标的特征信息，能够有效提升跟踪算法的性能。一体化网络的输出不仅包括目标检测结果，还包括目标的图像特征信息，丰富的信息输出为更高层任务奠定了基础。一体化网络的特征提取依托检测结果，只对有效的目标进行特征提取，降低了计算量，提高了算法的效率。一体化网络使用卷积神经网络，对目标特征进行提取，能够提取更多的图像细节信息，与传统方法相比具有优势。一体化网络将特征信息映射到一个10维的超球面上，便于对目标进行关联。一体化网络进行模块化设计，有利于网络的部署实现，而且能够利用YOLOv3原始网络数据进行迁移学习，降低训练的难度和成本。
本实施例提供一种基于YOLOv3的目标检测和特征提取一体化网络，目标检测模块运行YOLOv3算法，输出3个分支检测结果，根据非极大值抑制算法对3个分支数据进行整合，得到目标检测的输出结果，将目标检测结果和原始图像信息输入到解码模块，解码模块提取出目标区域的图像送入特征提取模块，特征提取模块运行卷积神经网络提取图像的特征信息，并将每个目标的特征信息投射到超球面上，超球面的坐标即为该目标的特征信息。目标检测模块输出的目标信息和特征检测模块输出的特征信息一一对应，对目标检测的输出和特征提取的输出进行合并，得到网络的最终输出。与现有技术相比，本实施例提供的一体化网络将目标检测和特征提取进行融合，构建了一个新型的网络结构。网络功能具有开创性，网络输出结果不仅包括目标检测结果还包含目标的图像特征信息，丰富了网络输出信息，为高层任务奠定了基础。本实施例提供的一体化网络采用卷积神经网络提取网络的特征信息，能够提取更多的图像细节信息，和传统方法相比具有优势。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (3)

1.一种基于YOLOv3的目标检测和特征提取一体化网络，其特征在于，包括目标检测模块、解码模块和特征提取模块，所述目标检测模块运行YOLOv3算法，输出3个分支检测结果，使用非极大值抑制算法对3个分支数据进行整合，获得目标检测的输出结果；
所述解码模块接收所述目标检测的输出结果和原始图像信息，通过解码提取出目标区域的图像，将所述目标区域的图像送至所述特征提取模块；
所述特征提取模块运行卷积神经网络提取所述目标区域图像的特征信息，将图像特征投射到超球面上，所述超球面的坐标为所述目标的特征信息，所述特征检测模块输出的特征信息与所述目标检测模块输出的目标信息一一对应；
对所述特征检测模块输出的特征信息与所述目标检测模块输出的目标信息进行合并，获得所述目标检测和特征提取一体化网络的最终输出，所述最终输出包括每个目标的类别、位置、大小以及图像特征信息。
2.根据权利要求1所述的基于YOLOv3的目标检测和特征提取一体化网络，其特征在于，还包括：
目标检测模块运行YOLOv3算法，输出3分支结果，分别为D1、D2和D3，其中
Figure FDA0002713855860000012
通过非极大值抑制算法对3个分支数据进行整合，得到目标检测的输出结果D，其中
Figure FDA0002713855860000013
极大值M为图像中目标数；
所述解码模块提取出目标区域的图像送入所述特征提取模块，所述特征提取模块运行卷积神经网络提取图像的特征信息，获得一个特征图，计算公式如下：
Figure FDA0002713855860000011
对提取的特征图通过全连接层，将信息转化为维度为(M×10)的特征向量f，计算公式如下：
Figure FDA0002713855860000021
Figure FDA0002713855860000022
对所述特征向量f进行操作，将每个目标的特征投射到超球面上，得到特征提取网络的最终输出F，计算公式如下：
Figure FDA0002713855860000023
Figure FDA0002713855860000024
其中，
Figure FDA0002713855860000026
对所述目标检测模块和所述特征提取模块的结果进行合并，获得最终输出output，所述最终输出output包含每个目标的类别、位置、大小以及图像特征信息，计算公式如下：
Figure FDA0002713855860000025
其中，
Figure FDA0002713855860000027
3.根据权利要求1所述的基于YOLOv3的目标检测和特征提取一体化网络，其特征在于，所述超球面为一个10维的超球面。
CN202011066312.4A 2020-09-30 2020-09-30 一种基于YOLOv3的目标检测和特征提取一体化网络 Pending CN112183558A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011066312.4A CN112183558A (zh) 2020-09-30 2020-09-30 一种基于YOLOv3的目标检测和特征提取一体化网络

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011066312.4A CN112183558A (zh) 2020-09-30 2020-09-30 一种基于YOLOv3的目标检测和特征提取一体化网络

Publications (1)

Publication Number Publication Date
CN112183558A true CN112183558A (zh) 2021-01-05

Family

ID=73948857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011066312.4A Pending CN112183558A (zh) 2020-09-30 2020-09-30 一种基于YOLOv3的目标检测和特征提取一体化网络

Country Status (1)

Country Link
CN (1) CN112183558A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711322A (zh) * 2018-12-24 2019-05-03 天津天地伟业信息***集成有限公司 一种基于rfcn的人车分离方法
CN109886998A (zh) * 2019-01-23 2019-06-14 平安科技（深圳）有限公司 多目标跟踪方法、装置、计算机装置及计算机存储介质
CN110232350A (zh) * 2019-06-10 2019-09-13 哈尔滨工程大学 一种基于在线学习的实时水面多运动目标检测跟踪方法
CN110909794A (zh) * 2019-11-22 2020-03-24 乐鑫信息科技（上海）股份有限公司 一种适用于嵌入式设备的目标检测***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711322A (zh) * 2018-12-24 2019-05-03 天津天地伟业信息***集成有限公司 一种基于rfcn的人车分离方法
CN109886998A (zh) * 2019-01-23 2019-06-14 平安科技（深圳）有限公司 多目标跟踪方法、装置、计算机装置及计算机存储介质
CN110232350A (zh) * 2019-06-10 2019-09-13 哈尔滨工程大学 一种基于在线学习的实时水面多运动目标检测跟踪方法
CN110909794A (zh) * 2019-11-22 2020-03-24 乐鑫信息科技（上海）股份有限公司 一种适用于嵌入式设备的目标检测***

Similar Documents

Publication Publication Date Title
Liu et al. Insulator detection in aerial images based on faster regions with convolutional neural network
CN111242844B (zh) 图像处理方法、装置、服务器和存储介质
CN111862213A (zh) 定位方法及装置、电子设备、计算机可读存储介质
CN107808129A (zh) 一种基于单个卷积神经网络的面部多特征点定位方法
CN101339661B (zh) 一种基于手持设备运动检测的实时人机交互方法和***
CN107392131A (zh) 一种基于人体骨骼节点距离的动作识别方法
CN108229587A (zh) 一种基于飞行器悬停状态的输电杆塔自主扫描方法
CN110796018A (zh) 一种基于深度图像和彩色图像的手部运动识别方法
Xu et al. GraspCNN: Real-time grasp detection using a new oriented diameter circle representation
CN114565045A (zh) 一种基于特征分离注意力的遥感目标检测知识蒸馏方法
CN112487981A (zh) 基于双路分割的ma-yolo动态手势快速识别方法
CN105069745A (zh) 基于普通图像传感器及增强现实技术的带表情变脸***及方法
CN112183675A (zh) 一种基于孪生网络的针对低分辨率目标的跟踪方法
CN112257612A (zh) 一种基于边缘智能的无人机视频帧过滤方法及装置
CN113538474B (zh) 基于边缘特征融合的3d点云分割目标检测***
CN116805360B (zh) 一种基于双流门控渐进优化网络的显著目标检测方法
CN203397395U (zh) 基于dsp+fpga的移动平台下运动目标检测装置
CN112164065A (zh) 一种基于轻量化卷积神经网络的实时图像语义分割方法
CN112183558A (zh) 一种基于YOLOv3的目标检测和特征提取一体化网络
CN116485783A (zh) 一种改进的深度分离层聚合和空间增强注意力的布匹瑕疵检测方法
Gao et al. Study of improved Yolov5 algorithms for gesture recognition
CN116524207A (zh) 基于边缘检测辅助的弱监督rgbd图像显著性检测方法
CN112598742A (zh) 一种基于图像和雷达数据的舞台交互***
CN112131971A (zh) 一种将HardNet的128维浮点型特征描述子进行256维二进制量化的方法
Wei et al. Matching filter-based vslam optimization in indoor environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210105

RJ01 Rejection of invention patent application after publication