CN106778867A - 目标检测方法和装置、神经网络训练方法和装置 - Google Patents

目标检测方法和装置、神经网络训练方法和装置 Download PDF

Info

Publication number
CN106778867A
CN106778867A CN201611161693.8A CN201611161693A CN106778867A CN 106778867 A CN106778867 A CN 106778867A CN 201611161693 A CN201611161693 A CN 201611161693A CN 106778867 A CN106778867 A CN 106778867A
Authority
CN
China
Prior art keywords
training
network
feature information
nervus opticus
nerves
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611161693.8A
Other languages
English (en)
Other versions
CN106778867B (zh
Inventor
肖特特
茅佳源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Beijing Aperture Science and Technology Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Beijing Aperture Science and Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd, Beijing Aperture Science and Technology Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201611161693.8A priority Critical patent/CN106778867B/zh
Publication of CN106778867A publication Critical patent/CN106778867A/zh
Priority to US15/814,125 priority patent/US10671919B2/en
Application granted granted Critical
Publication of CN106778867B publication Critical patent/CN106778867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种基于神经网络的目标检测方法和装置、以及用于目标检测的神经网络的训练方法和装置。所述目标检测方法，包括：获取包含目标的待检测图像；利用预先训练的第一神经网络获取所述待检测图像的第一特征信息，利用预先训练的第二神经网络获取所述待检测图像的第二特征信息；组合所述第一特征信息和所述第二特征信息，获取组合特征信息；以及利用所述第二神经网络，基于所述组合特征信息，获取目标检测结果，其中，所述第二神经网络的层数大于所述第一神经网络的层数，并且所述第一特征信息为热度图特征信息，所述第二特征信息为图片特征信息。

Description

目标检测方法和装置、神经网络训练方法和装置
技术领域
本公开涉及图像处理领域，更具体地，本公开涉及基于神经网络的目标检测方法和装置、以及用于目标检测的神经网络的训练方法和装置。
背景技术
目标检测是计算机视觉领域中一个基础性的研究课题，其在人脸识别、安全监控以及动态追踪等很多方面都有广泛的应用前景。目标检测是指对于任意一幅给定的图像，检测和识别其中特定的目标(例如行人)，并返回目标的位置、大小信息，例如输出包围目标的边界框。目标检测是一个复杂的具有挑战性的模式检测问题，一方面由于目标的细节变化、遮挡等内在的变化，另外一方面由于成像角度、光照影响、成像设备的焦距、成像距离、图像获得的途径不同等外在条件变化，都会导致目标检测的困难和精度降低。
神经网络是一种大规模、多参数优化的工具。依靠大量的训练数据，神经网络能够学习出数据中难以总结的隐藏特征，从而完成多项复杂的任务，如人脸检测，图片分类，物体检测，动作追踪，自然语言翻译等。神经网络已被人工智能界广泛应用。当前，诸如行人检测的目标检测中最广泛应用的是卷积神经网络。困扰现今行人目标检测方法的主要有两个问题：一是会产生大量的“假阳性”探测结果，即，将非目标区域标记为目标；二是由于光照、目标姿态等影响，部分目标无法被神经网络自动检测出。这是由于当前用于目标检测的神经网络的训练以及检测过程中，往往都直接生成目标在图片中的位置，没有充分考虑对这一过程的拆分和对网络的迭代式训练，也没有考虑其他能够辅助训练和提高检测精度的因素。
发明内容
鉴于上述问题而提出了本公开。本公开提供了一种基于神经网络的目标检测方法和装置、以及用于目标检测的神经网络的训练方法和装置，通过利用位置信息辅助生成热度图的第一神经网络训练，之后利用热度图辅助生成目标位置的第二神经网络训练，并且进一步迭代第一神经网络训练和第二神经网络训练直到获得训练好的神经网络，使得训练好的神经网络对于待检测的图像执行热度图和目标位置检测，从而实现更高的检测精度。
根据本公开的一个实施例，提供了一种目标检测方法，包括：获取包含目标的待检测图像；利用预先训练的第一神经网络获取所述待检测图像的第一特征信息，利用预先训练的第二神经网络获取所述待检测图像的第二特征信息；组合所述第一特征信息和所述第二特征信息，获取组合特征信息；以及利用所述第二神经网络，基于所述组合特征信息，获取目标检测结果，其中，所述第二神经网络的层数大于所述第一神经网络的层数，并且所述第一特征信息为热度图特征信息，所述第二特征信息为图片特征信息。
此外，根据本公开的一个实施例的目标检测方法，还包括：训练所述第一神经网络和所述第二神经网络。
此外，根据本公开的一个实施例的目标检测方法，其中所述训练所述第一神经网络和所述第二神经网络包括：利用标注有训练目标的训练图像，调整所述第一神经网络的第一网络参数以训练所述第一神经网络，直到所述第一神经网络的第一损失函数满足第一预定阈值条件，获得训练中的所述第一神经网络；利用所述训练图像、以及所述第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二神经网络的第二网络参数以训练所述第二神经网络，直到所述第二神经网络的第二损失函数满足第二预定阈值条件，获得训练中的所述第二神经网络。
此外，根据本公开的一个实施例的目标检测方法，其中所述训练所述第一神经网络和所述第二神经网络还包括重复执行以下训练：利用所述训练图像、以及所述训练中的第二神经网络对于所述训练图像输出的训练用第二特征信息，调整所述第一网络参数以训练所述第一神经网络；以及利用所述训练图像、以及所述训练中的第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二网络参数以训练所述第二神经网络，直到所述第一损失函数和所述第二损失函数都满足第三预定阈值条件，获得训练好的所述第一神经网络和所述第二神经网络。
此外，根据本公开的一个实施例的目标检测方法，其中，所述第一损失函数指示所述第一神经网络预测的所述训练图像中的像素点属于训练目标的预测置信度与真实置信度的差异，以及所述第二损失函数指示所述第二神经网络预测的所述训练图像中的目标的预测置信度与真实置信度的差异和包含所述目标的边界框的预测置信度与真实置信度的差异。
此外，根据本公开的一个实施例的目标检测方法，其中，所述第二神经网络包括：特征输入层，用于基于输入的所述待检测图像获取所述第二特征信息；第一特征组合层，用于组合所述第一特征信息和所述第二特征信息，获取所述组合特征信息；以及目标检测层，用于基于所述组合特征信息，获取目标检测结果；以及所述第一神经网络包括：特征转换层，用于基于所述第二特征信息，获取转换特征信息；以及热度检测层，用于基于所述转换特征信息，获取所述第一特征信息。
此外，根据本公开的一个实施例的目标检测方法，其中，所述第一神经网络还包括上采样层，用于上采样所述转换特征信息，以使得所述热度检测层接收到与所述待检测图像相同尺寸的所述上采样后的转换特征信息；其中，所述热度检测层包括：第二特征组合层，用于接收所述上采样后的转换特征信息，以生成初始第一特征信息；下采样层，用于下采样所述初始第一特征信息，以获取与所述第二特征信息相同尺度的所述第一特征信息；以及热度目标预测层，用于基于所述初始第一特征信息，获取热度目标预测结果。
根据本公开的另一个实施例，提供了一种目标检测装置，包括：图像获取模块，用于获取包含目标的待检测图像；以及目标检测模块，包括第一神经网络和第二神经网络，所述第一神经网络用于获取所述待检测图像的第一特征信息，所述第二神经网络用于获取所述待检测图像的第二特征信息，其中，所述第二神经网络还进一步组合所述第一特征信息和所述第二特征信息，获取组合特征信息，并且基于所述组合特征信息，获取目标检测结果，其中，所述第二神经网络的层数大于所述第一神经网络的层数，并且所述第一特征信息为热度图特征信息，所述第二特征信息为图片特征信息。
此外，根据本公开的另一个实施例的目标检测装置，还包括：训练模块，用于训练所述第一神经网络和所述第二神经网络。
此外，根据本公开的另一个实施例的目标检测装置，其中所述训练模块包括第一训练单元和第二训练单元，所述第一训练单元利用标注有训练目标的训练图像，调整所述第一神经网络的第一网络参数以训练所述第一神经网络，直到所述第一神经网络的第一损失函数满足第一预定阈值条件，获得训练中的所述第一神经网络；以及所述第二训练单元利用所述训练图像、以及所述第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二神经网络的第二网络参数以训练所述第二神经网络，直到所述第二神经网络的第二损失函数满足第二预定阈值条件，获得训练中的所述第二神经网络。
此外，根据本公开的另一个实施例的目标检测装置，其中所述第一训练单元和所述第二训练单元分别重复执行以下训练：所述第一训练单元利用所述训练图像、以及所述训练中的第二神经网络对于所述训练图像输出的训练用第二特征信息，调整所述第一网络参数以训练所述第一神经网络；以及所述第二训练单元利用所述训练图像、以及所述训练中的第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二网络参数以训练所述第二神经网络，直到所述第一损失函数和所述第二损失函数都满足第三预定阈值条件，获得训练好的所述第一神经网络和所述第二神经网络。
此外，根据本公开的另一个实施例的目标检测装置，其中，所述第一损失函数指示所述第一神经网络预测的所述训练图像中的像素点属于训练目标的预测置信度与真实置信度的差异，以及所述第二损失函数指示所述第二神经网络预测的所述训练图像中的目标的预测置信度与真实置信度的差异和包含所述目标的边界框的预测置信度与真实置信度的差异。
此外，根据本公开的另一个实施例的目标检测装置，其中，所述第二神经网络包括：特征输入层，用于基于输入的所述待检测图像获取所述第二特征信息；第一特征组合层，用于组合所述第一特征信息和所述第二特征信息，获取组合特征信息；目标检测层，用于基于所述组合特征信息，获取目标检测结果；所述第一神经网络包括：特征转换层，用于基于所述第二特征信息，获取转换特征信息；以及热度检测层，用于基于所述转换特征信息，获取所述第一特征信息。
此外，根据本公开的另一个实施例的目标检测装置，其中所述第一神经网络还包括上采样层，用于上采样所述转换特征信息，以使得所述热度检测层接收到与所述待检测图像相同尺寸的所述上采样后的转换特征信息；其中，所述热度检测层包括：第二特征组合层，用于接收所述上采样后的转换特征信息，以生成初始第一特征信息；下采样层，用于下采样所述初始第一特征信息，以获取与所述第二特征信息相同尺度的所述第一特征信息；以及热度目标预测层，用于基于所述初始第一特征信息，获取热度目标预测结果。
根据本公开的另一个实施例，提供了一种用于目标检测的神经网络的训练方法，所述用于目标检测的神经网络包括第一神经网络和第二神经网络，包括：利用标注有训练目标的训练图像，调整所述第一神经网络的第一网络参数以训练所述第一神经网络，直到所述第一神经网络的第一损失函数满足第一预定阈值条件，获得训练中的所述第一神经网络；以及利用所述训练图像、以及所述第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二神经网络的第二网络参数以训练所述第二神经网络，直到所述第二神经网络的第二损失函数满足第二预定阈值条件，获得训练中的所述第二神经网络。
此外，根据本公开的另一个实施例的训练方法，还包括重复执行以下训练：利用所述训练图像、以及所述训练中的第二神经网络对于所述训练图像输出的训练用第二特征信息，调整所述第一网络参数以训练所述第一神经网络；以及利用所述训练图像、以及所述训练中的第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二网络参数以训练所述第二神经网络，直到所述第一损失函数和所述第二损失函数都满足第三预定阈值条件，获得训练好的所述第一神经网络和所述第二神经网络。
此外，根据本公开的另一个实施例的训练方法，其中所述第一损失函数指示所述第一神经网络预测的所述训练图像中的像素点属于训练目标的预测置信度与真实置信度的差异，以及所述第二损失函数指示所述第二神经网络预测的所述训练图像中的目标的预测置信度与真实置信度的差异和包含所述目标的边界框的预测置信度与真实置信度的差异。
此外，根据本公开的另一个实施例的训练方法，其中，所述第一神经网络用于获取待检测图像的第一特征信息，所述第二神经网络用于获取所述待检测图像的第二特征信息，其中，所述第二神经网络还进一步组合所述第一特征信息和所述第二特征信息，获取组合特征信息，并且基于所述组合特征信息，获取目标检测结果，其中，所述第二神经网络的层数大于所述第一神经网络的层数，并且所述第一特征信息为热度图特征信息，所述第二特征信息为图片特征信息。
此外，根据本公开的另一个实施例的训练方法，其中，所述第二神经网络包括：特征输入层，用于基于输入的所述待检测图像获取所述第二特征信息；第一特征组合层，用于组合所述第一特征信息和所述第二特征信息，获取所述组合特征信息；以及目标检测层，用于基于所述组合特征信息，获取目标检测结果；以及所述第一神经网络包括：特征转换层，用于基于所述第二特征信息，获取转换特征信息；以及热度检测层，用于基于所述转换特征信息，获取所述第一特征信息。
此外，根据本公开的另一个实施例的训练方法，其中所述第一神经网络还包括上采样层，用于上采样所述转换特征信息，以使得所述热度检测层接收到与所述待检测图像相同尺寸的所述上采样后的转换特征信息；其中，所述热度检测层包括：第二特征组合层，用于接收所述上采样后的转换特征信息，以生成初始第一特征信息；下采样层，用于下采样所述初始第一特征信息，以获取与所述第二特征信息相同尺度的所述第一特征信息；以及热度目标预测层，用于基于所述初始第一特征信息，获取热度目标预测结果。
根据本公开的另一个实施例，提供了一种神经网络的训练装置，所述用于目标检测的神经网络包括第一神经网络和第二神经网络，包括：第一训练单元，用于利用标注有训练目标的训练图像，调整所述第一神经网络的第一网络参数以训练所述第一神经网络，直到所述第一神经网络的第一损失函数满足第一预定阈值条件，获得训练中的所述第一神经网络；以及第二训练单元，用于利用所述训练图像、以及所述第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二神经网络的第二网络参数以训练所述第二神经网络，直到所述第二神经网络的第二损失函数满足第二预定阈值条件，获得训练中的所述第二神经网络。
此外，根据本公开的另一个实施例的训练装置，其中所述第一训练单元和所述第二训练单元分别重复执行以下训练：所述第一训练单元利用所述训练图像、以及所述训练中的第二神经网络对于所述训练图像输出的训练用第二特征信息，调整所述第一网络参数以训练所述第一神经网络；以及所述第二训练单元利用所述训练图像、以及所述训练中的第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二网络参数以训练所述第二神经网络，直到所述第一损失函数和所述第二损失函数都满足第三预定阈值条件，获得训练好的所述第一神经网络和所述第二神经网络。
此外，根据本公开的另一个实施例的训练装置，其中所述第一损失函数指示所述第一神经网络预测的所述训练图像中的像素点属于训练目标的预测置信度与真实置信度的差异，以及所述第二损失函数指示所述第二神经网络预测的所述训练图像中的目标的预测置信度与真实置信度的差异和包含所述目标的边界框的预测置信度与真实置信度的差异。
此外，根据本公开的另一个实施例的训练装置，所述第一神经网络用于获取待检测图像的第一特征信息，所述第二神经网络用于获取所述待检测图像的第二特征信息，其中，所述第二神经网络还进一步组合所述第一特征信息和所述第二特征信息，获取组合特征信息，并且基于所述组合特征信息，获取目标检测结果，其中，所述第二神经网络的层数大于所述第一神经网络的层数，并且所述第一特征信息为热度图特征信息，所述第二特征信息为图片特征信息。
此外，根据本公开的另一个实施例的训练装置，其中所述第二神经网络包括：特征输入层，用于基于输入的所述待检测图像获取所述第二特征信息；第一特征组合层，用于组合所述第一特征信息和所述第二特征信息，获取所述组合特征信息；以及目标检测层，用于基于所述组合特征信息，获取目标检测结果；以及所述第一神经网络包括：特征转换层，用于基于所述第二特征信息，获取转换特征信息；以及热度检测层，用于基于所述转换特征信息，获取所述第一特征信息。
此外，根据本公开的另一个实施例的训练装置，其中所述第一神经网络还包括上采样层，用于上采样所述转换特征信息，以使得所述热度检测层接收到与所述待检测图像相同尺寸的所述上采样后的转换特征信息；其中，所述热度检测层包括：第二特征组合层，用于接收所述上采样后的转换特征信息，以生成初始第一特征信息；下采样层，用于下采样所述初始第一特征信息，以获取与所述第二特征信息相同尺度的所述第一特征信息；以及热度目标预测层，用于基于所述初始第一特征信息，获取热度目标预测结果。
根据本公开的另一个实施例，提供了一种目标检测装置，包括：处理器；存储器，其中存储计算机程序指令；其中，在所述计算机程序指令被所述处理器运行时执行以下步骤：获取包含目标的待检测图像；利用预先训练的第一神经网络获取所述待检测图像的第一特征信息，利用预先训练的第二神经网络获取所述待检测图像的第二特征信息；组合所述第一特征信息和所述第二特征信息，获取组合特征信息；以及利用所述第二神经网络，基于所述组合特征信息，获取目标检测结果，其中，所述第二神经网络的层数大于所述第一神经网络的层数，并且所述第一特征信息为热度图特征信息，所述第二特征信息为图片特征信息。
此外，根据本公开的另一个实施例的目标检测装置，其中在所述计算机程序指令被所述处理器运行时，还执行用于训练所述第一神经网络和所述第二神经网络的步骤。
此外，根据本公开的另一个实施例的目标检测装置，其中在所述计算机程序指令被所述处理器运行时，还执行用于训练所述第一神经网络和所述第二神经网络的步骤包括：利用标注有训练目标的训练图像，调整所述第一神经网络的第一网络参数以训练所述第一神经网络，直到所述第一神经网络的第一损失函数满足第一预定阈值条件，获得训练中的所述第一神经网络；以及利用所述训练图像、以及所述第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二神经网络的第二网络参数以训练所述第二神经网络，直到所述第二神经网络的第二损失函数满足第二预定阈值条件，获得训练中的所述第二神经网络。
此外，根据本公开的另一个实施例的目标检测装置，其中在所述计算机程序指令被所述处理器运行时，还执行用于训练所述第一神经网络和所述第二神经网络的步骤还包括：重复执行以下训练：利用所述训练图像、以及所述训练中的第二神经网络对于所述训练图像输出的训练用第二特征信息，调整所述第一网络参数以训练所述第一神经网络；以及利用所述训练图像、以及所述训练中的第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二网络参数以训练所述第二神经网络，直到所述第一损失函数和所述第二损失函数都满足第三预定阈值条件，获得训练好的所述第一神经网络和所述第二神经网络。
此外，根据本公开的另一个实施例的目标检测装置，其中，所述第一损失函数指示所述第一神经网络预测的所述训练图像中的像素点属于训练目标的预测置信度与真实置信度的差异，以及所述第二损失函数指示所述第二神经网络预测的所述训练图像中的目标的预测置信度与真实置信度的差异和包含所述目标的边界框的预测置信度与真实置信度的差异。
此外，根据本公开的另一个实施例的目标检测装置，其中，所述第二神经网络包括：特征输入层，用于基于输入的所述待检测图像获取所述第二特征信息；第一特征组合层，用于组合所述第一特征信息和所述第二特征信息，获取组合特征信息；以及目标检测层，用于基于所述组合特征信息，获取目标检测结果；以及所述第一神经网络包括：特征转换层，用于基于所述第二特征信息，获取转换特征信息；以及热度检测层，用于基于所述转换特征信息，获取所述第一特征信息。
此外，根据本公开的另一个实施例的目标检测装置，其中所述第一神经网络还包括上采样层，用于上采样所述转换特征信息，以使得所述热度检测层接收到与所述待检测图像相同尺寸的所述上采样后的转换特征信息；其中，所述热度检测层包括：第二特征组合层，用于接收所述上采样后的转换特征信息，以生成初始第一特征信息；下采样层，用于下采样所述初始第一特征信息，以获取与所述第二特征信息相同尺度的所述第一特征信息；以及热度目标预测层，用于基于所述初始第一特征信息，获取热度目标预测结果。
根据本公开的另一个实施例，提供了一种用于目标检测的神经网络的训练装置，所述用于目标检测的神经网络包括第一神经网络和第二神经网络，所述训练装置包括：处理器；存储器，其中存储计算机程序指令；其中，在所述计算机程序指令被所述处理器运行时执行以下步骤：用于利用标注有训练目标的训练图像，调整所述第一神经网络的第一网络参数以训练所述第一神经网络，直到所述第一神经网络的第一损失函数满足第一预定阈值条件，获得训练中的所述第一神经网络；用于利用所述训练图像、以及所述第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二神经网络的第二网络参数以训练所述第二神经网络，直到所述第二神经网络的第二损失函数满足第二预定阈值条件，获得训练中的所述第二神经网络。
此外，根据本公开的另一个实施例的训练装置，其中在所述计算机程序指令被所述处理器运行时还执行以下步骤：重复执行以下训练：利用所述训练图像、以及所述训练中的第二神经网络对于所述训练图像输出的训练用第二特征信息，调整所述第一网络参数以训练所述第一神经网络；以及利用所述训练图像、以及所述训练中的第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二网络参数以训练所述第二神经网络，直到所述第一损失函数和所述第二损失函数都满足第三预定阈值条件，获得训练好的所述第一神经网络和所述第二神经网络。
此外，根据本公开的另一个实施例的训练装置，其中所述第一损失函数指示所述第一神经网络预测的所述训练图像中的像素点属于训练目标的预测置信度与真实置信度的差异，以及所述第二损失函数指示所述第二神经网络预测的所述训练图像中的目标的预测置信度与真实置信度的差异和包含所述目标的边界框的预测置信度与真实置信度的差异。
此外，根据本公开的另一个实施例的训练装置，所述第一神经网络用于获取待检测图像的第一特征信息，所述第二神经网络用于获取所述待检测图像的第二特征信息，其中，所述第二神经网络还进一步组合所述第一特征信息和所述第二特征信息，获取组合特征信息，并且基于所述组合特征信息，获取目标检测结果，其中，所述第二神经网络的层数大于所述第一神经网络的层数，并且所述第一特征信息为热度图特征信息，所述第二特征信息为图片特征信息。
此外，根据本公开的另一个实施例的训练装置，其中所述第二神经网络包括：特征输入层，用于基于输入的所述待检测图像获取所述第二特征信息；第一特征组合层，用于组合所述第一特征信息和所述第二特征信息，获取所述组合特征信息；以及目标检测层，用于基于所述组合特征信息，获取目标检测结果；以及所述第一神经网络包括：特征转换层，用于基于所述第二特征信息，获取转换特征信息；以及热度检测层，用于基于所述转换特征信息，获取所述第一特征信息。
此外，根据本公开的另一个实施例的训练装置，其中所述第一神经网络还包括上采样层，用于上采样所述转换特征信息，以使得所述热度检测层接收到与所述待检测图像相同尺寸的所述上采样后的转换特征信息；其中，所述热度检测层包括：第二特征组合层，用于接收所述上采样后的转换特征信息，以生成初始第一特征信息；下采样层，用于下采样所述初始第一特征信息，以获取与所述第二特征信息相同尺度的所述第一特征信息；以及热度目标预测层，用于基于所述初始第一特征信息，获取热度目标预测结果。
要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是图示根据本公开实施例的目标检测方法的流程图。
图2是图示根据本公开实施例的目标检测装置的框图。
图3是图示根据本公开实施例的用于目标检测的神经网络的训练方法的流程图。
图4是图示根据本公开实施例的用于目标检测的神经网络的训练方法中初始训练的示意图。
图5是图示根据本公开实施例的用于目标检测的神经网络的训练方法中迭代训练的示意图。
图6是图示根据本公开实施例的用于目标检测的神经网络的结构示意图。
图7是图示根据本公开实施例的目标检测装置的示意图。
图8是图示根据本公开实施例的目标检测结果的示意图。
具体实施方式
为了使得本公开的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。基于本公开中描述的本公开实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本公开的保护范围之内。
本公开涉及基于神经网络的目标检测方法和装置、以及用于目标检测的神经网络的训练方法和装置。利用神经网络进行目标检测可以分为两个阶段，即训练阶段和检测阶段。所谓训练阶段是指首先需要利用训练目标对神经网络进行训练，以调整神经网络的参数；所谓检测阶段是指随后可以利用训练好的神经网络对包含检测目标的检测图像进行目标检测。以下，将参考附图详细描述本公开的各个实施例。
首先，参照图1概述根据本公开实施例的目标检测方法。
图1是图示根据本公开实施例的目标检测方法的流程图。如图1所示，根据本公开实施例的目标检测方包括以下步骤。
在步骤S101中，训练第一神经网络和第二神经网络。
如下将详细描述的，在本公开的第一神经网络和第二神经网络中，所述第一神经网络是相对浅层神经网络，而所述第二神经网络是相对深层神经网络。所述第二神经网络的层数大于所述第一神经网络的层数。进一步地，所述第一神经网络可用于获取待检测图像的第一特征信息，所述第二神经网络可用于获取待检测图像的第二特征信息。如下将详细描述的，所述第一特征信息为热度图特征信息，所述第二特征信息为图片特征信息。此外，以下将参照附图详细描述第一神经网络和第二神经网络的训练方法。需要理解的是，根据本公开实施例的目标检测方法当然可以不包括图1中的步骤S101，而是直接利用训练好的第一神经网络和第二神经网络来执行目标检测。此后，处理进到步骤S102。
在步骤S102中，获取包含目标的待检测图像。在本公开的一个实施例中，可以在监控场景中配置能够获取监控场景的图像数据的监控摄像头作为图像获取模块。获取包含目标的待检测图像包括但不限于，在由物理位置上分离配置的图像获取模块采集图像数据之后，经由有线或者无线方式，接收从所述图像获取模块发送的视频数据。可替代地，图像获取模块可以与目标检测装置中的其他模块或组件物理上位于同一位置甚至位于同一机壳内部，目标检测装置中的其他模块或组件经由内部总线接收从所述图像获取模块发送的视频数据。待检测图像可以是图像获取模块采集到的原始图像，也可以是对原始图像进行预处理之后获得的图像。此后，处理进到步骤S103。
在步骤S103中，利用预先训练的第一神经网络获取待检测图像的第一特征信息。如上所述，所述第一特征信息为热度图特征信息。更具体地，热度图用于指示每个像素点属于目标的概率。此后，处理进到步骤S104。
在步骤S104中，利用预先训练的第二神经网络获取待检测图像的第二特征信息。如上所述，所述第二特征信息为图片特征信息。例如，可以通过第二神经网络的卷积层对所述待检测图像进行卷积操作以提取图片特征信息。。容易理解的是，图1所示的步骤S103和步骤S104的执行顺序仅仅是示意性的。可替代地，步骤S103和步骤S104可以同时或者以相反顺序执行。此后，处理进到步骤S105。
在步骤S105中，组合第一特征信息和第二特征信息，获取组合特征信息。以下，将参照附图进一步详细描述第一神经网络和第二神经网络的结构以及由第一神经网络和第二神经网络获取并且组合第一特征信息和第二特征信息的过程。此后，处理进到步骤S106。
在步骤S106中，利用第二神经网络，基于组合特征信息，获取目标检测结果。在本公开的一个实施例中，在步骤S106中，利用第二神经网络，基于组合特征信息，可以得到包含目标的检测边界框，并将所述检测边界框作为目标检测结果。此外，目标检测结果还可以包括与每个检测边界框对应的置信度，用于表示该边界框中存在目标的概率。针对同一个检测目标，所得到的检测边界框可能不止一个。当对应同一个检测目标的检测边界框为多个时，可以将各个检测边界框进行合并，以使得对于同一个检测目标合并得到一个精确的检测边界框。例如，可以利用非最大抑制方法将各个检测边界框进行合并，以消除多余的边界框。当每个检测目标只对应一个检测边界框时，可以省略边界框合并。最终，以由包围检测目标的检测边界框形式输出最终目标检测结果。
图2是图示根据本公开实施例的目标检测装置的框图。如图2所示的根据本公开实施例的目标检测装置20可以用于执行如图1所示的根据本公开实施例的目标检测方法。如图2所示，根据本公开实施例的目标检测装置20包括图像获取模块21、训练模块22以及目标检测模块23。
具体地，所述图像获取模块21用于获取包含目标的待检测图像。在本公开的一个实施例中，所述图像获取模块21可以是在监控场景中配置的能够获取监控场景的图像数据的监控摄像头。所述图像获取模块21可以与其后的训练模块22以及目标检测模块23等物理位置上分离分配，并且经由有线或者无线方式，从所述图像获取模块21发送图像数据给其后的各模块。可替代地，所述图像获取模块21可以与目标检测装置20中的其他模块或组件物理上位于同一位置甚至位于同一机壳内部，目标检测装置20中的其他模块或组件经由内部总线接收从所述图像获取模块21发送的图像数据。此外，在用于执行神经网络训练的阶段，所述图像获取模块21还可以将已经标注有训练目标的训练图像提供给所述训练模块22以执行神经网络的训练。
所述训练模块22用于执行神经网络的训练。如图2所示，在本公开的一个实施例中，所述训练模块22包括第一训练单元221和第二训练单元222。所述第一训练单元221和第二训练单元222分别用于执行所述目标检测模块23中包括的第一神经网络231和第二神经网络232的训练。以下，将参照图3进一步详细描述由所述训练模块22执行的训练方法。
所述目标检测模块23中包括的所述第一神经网络231用于获取所述待检测图像的第一特征信息，并且所述目标检测模块23中包括的所述第二神经网络232用于获取所述待检测图像的第二特征信息。所述第一神经网络231是相对浅层神经网络，而所述第二神经网络232是相对深层神经网络。所述第二神经网络232的层数大于所述第一神经网络231的层数。具体地，所述第一特征信息为热度图特征信息，所述第二特征信息为图片特征信息。所述第一神经网络231生成的热度图用于指示每个像素点属于目标的概率。所述第二神经网络232可以通过卷积层对所述待检测图像进行卷积操作以提取图片特征信息。进一步地，所述第二神经网络232还进一步组合所述第一特征信息和所述第二特征信息，获取组合特征信息，并且基于所述组合特征信息，获取目标检测结果。例如，所述第二神经网络232可以基于所述组合特征信息，得到包含目标的检测边界框，并将所述检测边界框作为目标检测结果。此外，目标检测结果还可以包括与每个检测边界框对应的置信度，用于表示该边界框中存在目标的概率。。针对同一个检测目标，所得到的检测边界框可能不止一个。当对应同一个检测目标的检测边界框为多个时，可以将各个检测边界框进行合并，以使得对于同一个检测目标合并得到一个精确的检测边界框。例如，可以利用非最大抑制方法将各个检测边界框进行合并，以消除多余的边界框。当每个检测目标只对应一个检测边界框时，可以省略边界框合并。最终，以由包围检测目标的检测边界框形式输出最终目标检测结果。
如上所述，通过参照图1和图2描述的根据本公开实施例的目标检测方法和目标检测装置，通过用于生成热度图的第一神经网络以及用于生成目标位置的第二神经网络相互辅助和迭代训练，并且进一步迭代第一神经网络训练和第二神经网络训练直到获得训练好的神经网络，使得训练好的神经网络对于待检测的图像执行热度图和目标位置检测，实现了高精度的热度图和目标位置检测结果输出。
图3是图示根据本公开实施例的用于目标检测的神经网络的训练方法的流程图。如图3所示，用于目标检测的神经网络的训练方法总体包括第一神经网络和第二神经网络的初始训练阶段(步骤S301到步骤S306)以及第一神经网络和第二神经网络的迭代训练阶段(步骤S307到步骤S310)。具体地，用于目标检测的神经网络的训练方法包括以下步骤。
在步骤S301中，利用标注有训练目标的训练图像，训练第一神经网络。在本公开的一个实施例中，利用标注有训练目标的训练图像，调整所述第一神经网络的第一网络参数以训练所述第一神经网络。如前所述，第一神经网络是用于生成热度图的浅层神经网络。在训练过程中，获得对应于特定的第一网络参数的第一损失函数。所述第一损失函数指示所述第一神经网络预测的所述训练图像中的像素点属于训练目标的预测置信度与真实置信度的差异。此后，处理进到步骤S302。
在步骤S302中，判断第一损失函数是否满足第一预定阈值条件。在本公开的一个实施例中，所述第一预定阈值条件对应于在一定训练图像输入下第一损失函数的最小化。
如果在步骤S302中获得否定结果，即第一损失函数不满足第一预定阈值条件，则处理返回步骤S301，以便继续执行第一神经网络的初始训练。相反地，如果在步骤S302中获得肯定结果，即第一损失函数满足第一预定阈值条件，则处理进到步骤S303，获得训练中的所述第一神经网络。此后，处理进到步骤S304。
在步骤S304中，利用训练图像、以及第一神经网络对于训练图像输出的训练用第一特征信息，训练第二神经网络。在本公开的一个实施例中，利用第一神经网络对于训练图像输出的训练用第一特征信息(即，热度图信息)辅助训练第二神经网络。也就是说，利用所述训练图像、以及所述第一神经网络对于所述训练图像输出的训练用热度图信息，调整所述第二神经网络的第二网络参数以训练所述第二神经网络。如前所述，第二神经网络是用于执行目标检测的深层神经网络。在训练过程中，获得对应于特定的第二网络参数的第二损失函数。所述第二损失函数指示所述第二神经网络预测的所述训练图像中的目标的预测置信度与真实置信度的差异和包含所述目标的边界框的预测置信度与真实置信度的差异。此后，处理进到步骤S305。
在步骤S305中，判断第二损失函数是否满足第二预定阈值条件。在本公开的一个实施例中，所述第二预定阈值条件对应于在一定训练图像输入下第二损失函数的最小化。
如果在步骤S305中获得否定结果，即第二损失函数不满足第二预定阈值条件，则处理返回步骤S304，以便继续执行第二神经网络的初始训练。相反地，如果在步骤S305中获得肯定结果，即第二损失函数满足第二预定阈值条件，则处理进到步骤S306，获得训练中的所述第二神经网络。至此，第一神经网络和第二神经网络的初始训练阶段完成，获得初始训练后的所述第一神经网络和所述第二神经网络。此后，为了获得能够实现更精确的热度图预测和目标检测的神经网络，进一步执行此后的第一神经网络和第二神经网络的迭代训练阶段。
在步骤S307中，利用训练图像、以及训练中的第二神经网络对于训练图像输出的训练用第二特征信息，训练第一神经网络。在本公开的一个实施例中，在迭代训练过程中，利用第二神经网络对于训练图像输出的训练用第二特征信息(即，目标检测信息)辅助训练第一神经网络。也就是说，继续利用所述训练图像、以及所述训练中的第二神经网络对于所述训练图像输出的训练用目标检测信息，调整所述第一网络参数以训练所述第一神经网络，并且此时所述第二神经网络的所述第二网络参数固定(即，所述第二神经网络的学习率设置为零)。此后，处理进到步骤S308。
在步骤S308中，利用训练图像、以及训练中的第一神经网络对于训练图像输出的训练用第一特征信息，训练第二神经网络。在本公开的一个实施例中，在迭代训练过程中，利用第一神经网络对于训练图像输出的训练用第一特征信息(即，热度图信息)辅助训练第二神经网络。也就是说，继续利用所述训练图像、以及所述训练中的第一神经网络对于所述训练图像输出的训练用热度图信息，调整所述第二网络参数以训练所述第二神经网络，并且此时所述第一神经网络的所述第一网络参数固定(即，所述第一神经网络的学习率设置为零)。此后，处理进到步骤S309。
在步骤S309中，判断第一损失函数和第二损失函数是否都满足第三预定阈值条件。所述第三预定阈值条件即对于特定的训练图像，所述第一神经网络预测的所述训练图像中的像素点属于训练目标的预测置信度与真实置信度的差异、以及所述第二神经网络预测的所述训练图像中的目标的预测置信度与真实置信度的差异和包含所述目标的边界框的预测置信度与真实置信度的差异都实现最小化。
如果在步骤S309中获得否定结果，则处理返回步骤S307，以便进行下一轮迭代训练。相反地，如果在步骤S309中获得肯定结果，即所述第一损失函数和第二损失函数都满足第三预定阈值条件，则处理进到步骤S310，获得训练好的第一神经网络和第二神经网络。至此，第一神经网络和第二神经网络的迭代训练阶段完成，获得了对于检测图像可以同时分别精确输出热度图结果和目标检测结果的第一神经网络和第二神经网络。
为了便于理解，图4和图5分别示意性地示出根据本公开实施例的用于目标检测的神经网络的训练方法中初始训练以及迭代训练。
图4是图示根据本公开实施例的用于目标检测的神经网络的训练方法中初始训练的示意图。如图4所示，训练图像401首先用于第一神经网络初始训练402(即，对应于步骤S301-S303)。此后，在第一神经网络的辅助下，利用训练图像401进行第二神经网络初始训练403(即，对应于步骤S304-S306)。此后，进入第一神经网络和第二神经网络的迭代训练404，并且迭代训练好的第一神经网络和第二神经网络进一步用于目标检测405。图3和图4都示出了在初始训练过程中，首先执行第一神经网络的初始训练，此后由第一神经网络辅助第二神经网络的初始训练。容易理解的是，本公开不限于此，而是可以首先执行第二神经网络的初始训练，此后由第二神经网络辅助第一神经网络的初始训练。
图5是进一步图示根据本公开实施例的用于目标检测的神经网络的训练方法中迭代训练(即，图4中的迭代训练404)的示意图。在第一神经网络迭代训练(第N次训练)501以及第二神经网络迭代训练(第N次训练)502之后，进一步进入第N+1次迭代训练。在该第N+1次迭代训练中，利用第N次训练后的第二神经网络辅助执行第一神经网络的第N+1次迭代训练503(即，对应于步骤S307)；此后，利用第N+1次训练后的第一神经网络辅助执行第二神经网络的第N+1次迭代训练504(即，对应于步骤S308)。在该第N+1次迭代训练之后，如果第一神经网络和第二神经网络不满足预定的第三阈值条件，则进一步执行第N+2次迭代训练505。
通过参照图3到图5描述的根据本公开实施例的用于目标检测的神经网络的训练方法，通过利用位置信息辅助生成热度图的第一神经网络训练，之后利用热度图辅助生成目标位置的第二神经网络训练，并且进一步迭代第一神经网络训练和第二神经网络的相互辅助训练直到获得能够执行高精度热度图检测和目标检测的神经网络。
图6是图示根据本公开实施例的用于目标检测的神经网络的结构示意图。如上所述，根据本公开实施例的用于目标检测的神经网络包括第一神经网络231和第二神经网络232。
具体地，所述第二神经网络232包括特征输入层2321、第一特征组合层2322以及目标检测层2323。所述第一神经网络231包括特征转换层2311、上采样层2312以及热度检测层2313，其中热度检测层2313进一步包括第二特征组合层23131、下采样层23132以及热度目标预测层23133。
待检测的输入图像230首先进入所述第二神经网络232的特征输入层2321，用于由所述特征输入层2321基于输入的所述待检测图像230获取所述第二特征信息(即，图片特征信息)。所述第二特征信息进入第一神经网络231，由所述特征转换层2311基于所述第二特征信息，获取转换特征信息。此后，由所述上采样层2312上采样所述转换特征信息，以使得所述热度检测层231接收到与所述待检测图像相同尺寸的所述上采样后的转换特征信息。此后，所述上采样后的转换特征信息进入第一神经网络231中的所述热度检测层2313。
所述热度检测层2313中的第二特征组合层23131接收所述上采样后的的转换特征信息，以生成初始第一特征信息(即，热度图特征信息)。此后，所述热度目标预测层23133基于所述初始第一特征信息，获取热度目标预测结果234。
另一方面，所述下采样层23132下采样所述初始第一特征信息，以获取与所述第二特征信息相同尺度的所述第一特征信息，并且将与所述第二特征信息相同尺度的所述第一特征信息反馈回所述第二神经网络232中的第一特征组合层2322。所述第一特征组合层2322用于组合所述第一特征信息(即，热度图特征信息)和所述第二特征信息(即，图片特征信息)，获取所述组合特征信息。最后，由所述第二神经网络232中的目标检测层2323基于所述组合特征信息，获取目标检测结果233。
如上所述，采用根据本公开实施例的用于目标检测的神经网络(包括第一神经网络231和第二神经网络232)，实现了对于输入的待检测图像的目标检测，同时实现高精度的目标检测结果233和热度目标预测结果234输出。
图7是图示根据本公开实施例的目标检测装置的示意图。
如图7所示，根据本公开实施例的目标检测装置700包括一个或多个处理器702、存储器704、图像采集装置706和输出装置708，这些组件通过总线***710和/或其它形式的连接机构(未示出)互连。应当注意，图7所示的目标检测装置700的组件和结构只是示例性的，而非限制性的，根据需要，目标检测装置700也可以具有其他组件和结构。
处理器702可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制目标检测装置700中的其它组件以执行期望的功能。
存储器704可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器702可以运行所述程序指令，以实现以下步骤：获取包含目标的待检测图像；利用预先训练的第一神经网络获取所述待检测图像的第一特征信息，利用预先训练的第二神经网络获取所述待检测图像的第二特征信息；组合所述第一特征信息和所述第二特征信息，获取组合特征信息；以及利用所述第二神经网络，基于所述组合特征信息，获取目标检测结果。此外，在所述计算机可读存储介质上存储的一个或多个计算机程序指令在由处理器702运行时还可以执行如上参照附图描述的根据本公开实施例的目标检测方法以及用于目标检测的神经网络的训练方法的所有步骤。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如输入的训练图像、损失函数、各像素的预测置信度和真实置信度等等。
图像采集装置706可以用于采集带有训练目标的训练图像以及用于目标检测的待检测图像，并且将所拍摄的图像存储在存储器704中以供其它组件使用。当然，也可以利用其他图像采集设备采集所述训练图像和待检测图像，并且将采集的图像发送给目标检测装置700。
输出装置708可以向外部(例如用户)输出各种信息，例如图像信息、训练结果以及热度目标预测结果和目标检测结果。所述输出装置708可以包括显示器、扬声器、投影仪、网卡等中的一个或多个。
图8是图示根据本公开实施例的目标检测结果的示意图。
图8的上部801示出在没有利用热度图特征辅助进行目标检测的情况下，获得的目标检测框杂乱且存在大量伪目标。图8的中部802示出利用根据本公开的目标检测装置中的第一神经网络输出的热度目标预测结果，其中像素点的灰度越高，代表该像素点存在目标的置信度越高。图8的下部803示出利用根据本公开的目标检测装置中的第二神经网络输出的目标检测结果，与图8的上部801中没有利用本公开的目标检测装置输出的目标检测结果相比，利用热度图辅助训练和检测的第二神经网络输出更加精确的目标检测框。
以上，参照附图描述了基于神经网络的目标检测方法和装置、以及用于目标检测的神经网络的训练方法和装置，通过利用位置信息辅助生成热度图的第一神经网络训练，之后利用热度图辅助生成目标位置的第二神经网络训练，并且进一步迭代第一神经网络训练和第二神经网络训练直到获得训练好的神经网络，使得训练好的神经网络对于待检测的图像执行热度图和目标位置检测，从而实现更高的检测精度。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
还需要指出的是，在本公开的***和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (26)

1.一种目标检测方法，包括：
获取包含目标的待检测图像；
利用预先训练的第一神经网络获取所述待检测图像的第一特征信息，利用预先训练的第二神经网络获取所述待检测图像的第二特征信息；
组合所述第一特征信息和所述第二特征信息，获取组合特征信息；以及
利用所述第二神经网络，基于所述组合特征信息，获取目标检测结果，
其中，所述第二神经网络的层数大于所述第一神经网络的层数，并且所述第一特征信息为热度图特征信息，所述第二特征信息为图片特征信息。
2.如权利要求1所述的目标检测方法，还包括：
训练所述第一神经网络和所述第二神经网络。
3.如权利要求2所述的目标检测方法，其中所述训练所述第一神经网络和所述第二神经网络包括：
利用标注有训练目标的训练图像，调整所述第一神经网络的第一网络参数以训练所述第一神经网络，直到所述第一神经网络的第一损失函数满足第一预定阈值条件，获得训练中的所述第一神经网络；
利用所述训练图像、以及所述第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二神经网络的第二网络参数以训练所述第二神经网络，直到所述第二神经网络的第二损失函数满足第二预定阈值条件，获得训练中的所述第二神经网络。
4.如权利要求3所述的目标检测方法，其中所述训练所述第一神经网络和所述第二神经网络还包括：
重复执行以下训练：
利用所述训练图像、以及所述训练中的第二神经网络对于所述训练图像输出的训练用第二特征信息，调整所述第一网络参数以训练所述第一神经网络；以及
利用所述训练图像、以及所述训练中的第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二网络参数以训练所述第二神经网络，
直到所述第一损失函数和所述第二损失函数都满足第三预定阈值条件，获得训练好的所述第一神经网络和所述第二神经网络。
5.如权利要求3所述的目标检测方法，其中，
所述第一损失函数指示所述第一神经网络预测的所述训练图像中的像素点属于训练目标的预测置信度与真实置信度的差异，以及
所述第二损失函数指示所述第二神经网络预测的所述训练图像中的目标的预测置信度与真实置信度的差异和包含所述目标的边界框的预测置信度与真实置信度的差异。
6.如权利要求1所述的目标检测方法，其中，
所述第二神经网络包括：
特征输入层，用于基于输入的所述待检测图像获取所述第二特征信息；
第一特征组合层，用于组合所述第一特征信息和所述第二特征信息，获取所述组合特征信息；以及
目标检测层，用于基于所述组合特征信息，获取目标检测结果；以及
所述第一神经网络包括：
特征转换层，用于基于所述第二特征信息，获取转换特征信息；以及
热度检测层，用于基于所述转换特征信息，获取所述第一特征信息。
7.如权利要求6所述的目标检测方法，其中，
所述第一神经网络还包括
上采样层，用于上采样所述转换特征信息，以使得所述热度检测层接收到与所述待检测图像相同尺寸的所述上采样后的转换特征信息；
其中，所述热度检测层包括：
第二特征组合层，用于接收所述上采样后的转换特征信息，以生成初始第一特征信息；
下采样层，用于下采样所述初始第一特征信息，以获取与所述第二特征信息相同尺度的所述第一特征信息；以及
热度目标预测层，用于基于所述初始第一特征信息，获取热度目标预测结果。
8.一种目标检测装置，包括：
图像获取模块，用于获取包含目标的待检测图像；以及
目标检测模块，包括第一神经网络和第二神经网络，
所述第一神经网络用于获取所述待检测图像的第一特征信息，
所述第二神经网络用于获取所述待检测图像的第二特征信息，
其中，所述第二神经网络还进一步组合所述第一特征信息和所述第二特征信息，获取组合特征信息，并且基于所述组合特征信息，获取目标检测结果，
其中，所述第二神经网络的层数大于所述第一神经网络的层数，并且所述第一特征信息为热度图特征信息，所述第二特征信息为图片特征信息。
9.如权利要求8所述的目标检测装置，还包括：
训练模块，用于训练所述第一神经网络和所述第二神经网络。
10.如权利要求9所述的目标检测装置，其中所述训练模块包括第一训练单元和第二训练单元，
所述第一训练单元利用标注有训练目标的训练图像，调整所述第一神经网络的第一网络参数以训练所述第一神经网络，直到所述第一神经网络的第一损失函数满足第一预定阈值条件，获得训练中的所述第一神经网络；以及
所述第二训练单元利用所述训练图像、以及所述第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二神经网络的第二网络参数以训练所述第二神经网络，直到所述第二神经网络的第二损失函数满足第二预定阈值条件，获得训练中的所述第二神经网络。
11.如权利要求10所述的目标检测装置，其中所述第一训练单元和所述第二训练单元分别重复执行以下训练：
所述第一训练单元利用所述训练图像、以及所述训练中的第二神经网络对于所述训练图像输出的训练用第二特征信息，调整所述第一网络参数以训练所述第一神经网络；以及
所述第二训练单元利用所述训练图像、以及所述训练中的第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二网络参数以训练所述第二神经网络，
直到所述第一损失函数和所述第二损失函数都满足第三预定阈值条件，获得训练好的所述第一神经网络和所述第二神经网络。
12.如权利要求10所述的目标检测装置，其中，
所述第一损失函数指示所述第一神经网络预测的所述训练图像中的像素点属于训练目标的预测置信度与真实置信度的差异，以及
所述第二损失函数指示所述第二神经网络预测的所述训练图像中的目标的预测置信度与真实置信度的差异和包含所述目标的边界框的预测置信度与真实置信度的差异。
13.如权利要求8所述的目标检测装置，其中，
所述第二神经网络包括：
特征输入层，用于基于输入的所述待检测图像获取所述第二特征信息；
第一特征组合层，用于组合所述第一特征信息和所述第二特征信息，获取组合特征信息；
目标检测层，用于基于所述组合特征信息，获取目标检测结果；
所述第一神经网络包括：
特征转换层，用于基于所述第二特征信息，获取转换特征信息；以及
热度检测层，用于基于所述转换特征信息，获取所述第一特征信息。
14.如权利要求13所述的目标检测装置，其中，
所述第一神经网络还包括
上采样层，用于上采样所述转换特征信息，以使得所述热度检测层接收到与所述待检测图像相同尺寸的所述上采样后的转换特征信息；
其中，所述热度检测层包括：
第二特征组合层，用于接收所述上采样后的转换特征信息，以生成初始第一特征信息；
下采样层，用于下采样所述初始第一特征信息，以获取与所述第二特征信息相同尺度的所述第一特征信息；以及
热度目标预测层，用于基于所述初始第一特征信息，获取热度目标预测结果。
15.一种用于目标检测的神经网络的训练方法，所述用于目标检测的神经网络包括第一神经网络和第二神经网络，包括：
利用标注有训练目标的训练图像，调整所述第一神经网络的第一网络参数以训练所述第一神经网络，直到所述第一神经网络的第一损失函数满足第一预定阈值条件，获得训练中的所述第一神经网络；以及
利用所述训练图像、以及所述第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二神经网络的第二网络参数以训练所述第二神经网络，直到所述第二神经网络的第二损失函数满足第二预定阈值条件，获得训练中的所述第二神经网络。
16.如权利要求15所述的训练方法，还包括：
重复执行以下训练：
利用所述训练图像、以及所述训练中的第二神经网络对于所述训练图像输出的训练用第二特征信息，调整所述第一网络参数以训练所述第一神经网络；以及
利用所述训练图像、以及所述训练中的第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二网络参数以训练所述第二神经网络，
直到所述第一损失函数和所述第二损失函数都满足第三预定阈值条件，获得训练好的所述第一神经网络和所述第二神经网络。
17.如权利要求15所述的训练方法，其中，
所述第一损失函数指示所述第一神经网络预测的所述训练图像中的像素点属于训练目标的预测置信度与真实置信度的差异，以及
所述第二损失函数指示所述第二神经网络预测的所述训练图像中的目标的预测置信度与真实置信度的差异和包含所述目标的边界框的预测置信度与真实置信度的差异。
18.如权利要求15所述的训练方法，其中，所述第一神经网络用于获取待检测图像的第一特征信息，所述第二神经网络用于获取所述待检测图像的第二特征信息，
其中，所述第二神经网络还进一步组合所述第一特征信息和所述第二特征信息，获取组合特征信息，并且基于所述组合特征信息，获取目标检测结果，
其中，所述第二神经网络的层数大于所述第一神经网络的层数，并且所述第一特征信息为热度图特征信息，所述第二特征信息为图片特征信息。
19.如权利要求18所述的训练方法，其中，
所述第二神经网络包括：
特征输入层，用于基于输入的所述待检测图像获取所述第二特征信息；
第一特征组合层，用于组合所述第一特征信息和所述第二特征信息，获取所述组合特征信息；以及
目标检测层，用于基于所述组合特征信息，获取目标检测结果；以及
所述第一神经网络包括：
特征转换层，用于基于所述第二特征信息，获取转换特征信息；以及
热度检测层，用于基于所述转换特征信息，获取所述第一特征信息。
20.如权利要求19所述的训练方法，其中，
所述第一神经网络还包括
上采样层，用于上采样所述转换特征信息，以使得所述热度检测层接收到与所述待检测图像相同尺寸的所述上采样后的转换特征信息；
其中，所述热度检测层包括：
第二特征组合层，用于接收所述上采样后的转换特征信息，以生成初始第一特征信息；
下采样层，用于下采样所述初始第一特征信息，以获取与所述第二特征信息相同尺度的所述第一特征信息；以及
热度目标预测层，用于基于所述初始第一特征信息，获取热度目标预测结果。
21.一种用于目标检测的神经网络的训练装置，所述用于目标检测的神经网络包括第一神经网络和第二神经网络，包括：
第一训练单元，用于利用标注有训练目标的训练图像，调整所述第一神经网络的第一网络参数以训练所述第一神经网络，直到所述第一神经网络的第一损失函数满足第一预定阈值条件，获得训练中的所述第一神经网络；以及
第二训练单元，用于利用所述训练图像、以及所述第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二神经网络的第二网络参数以训练所述第二神经网络，直到所述第二神经网络的第二损失函数满足第二预定阈值条件，获得训练中的所述第二神经网络。
22.如权利要求21所述的训练装置，其中所述第一训练单元和所述第二训练单元分别重复执行以下训练：
所述第一训练单元利用所述训练图像、以及所述训练中的第二神经网络对于所述训练图像输出的训练用第二特征信息，调整所述第一网络参数以训练所述第一神经网络；以及
所述第二训练单元利用所述训练图像、以及所述训练中的第一神经网络对于所述训练图像输出的训练用第一特征信息，调整所述第二网络参数以训练所述第二神经网络，
直到所述第一损失函数和所述第二损失函数都满足第三预定阈值条件，获得训练好的所述第一神经网络和所述第二神经网络。
23.如权利要求21所述的训练装置，其中，
所述第一损失函数指示所述第一神经网络预测的所述训练图像中的像素点属于训练目标的预测置信度与真实置信度的差异，以及
所述第二损失函数指示所述第二神经网络预测的所述训练图像中的目标的预测置信度与真实置信度的差异和包含所述目标的边界框的预测置信度与真实置信度的差异。
24.如权利要求21所述的训练装置，所述第一神经网络用于获取待检测图像的第一特征信息，所述第二神经网络用于获取所述待检测图像的第二特征信息，
其中，所述第二神经网络还进一步组合所述第一特征信息和所述第二特征信息，获取组合特征信息，并且基于所述组合特征信息，获取目标检测结果，
其中，所述第二神经网络的层数大于所述第一神经网络的层数，并且所述第一特征信息为热度图特征信息，所述第二特征信息为图片特征信息。
25.如权利要求24所述的训练装置，其中，
所述第二神经网络包括：
特征输入层，用于基于输入的所述待检测图像获取所述第二特征信息；
第一特征组合层，用于组合所述第一特征信息和所述第二特征信息，获取所述组合特征信息；以及
目标检测层，用于基于所述组合特征信息，获取目标检测结果；以及
所述第一神经网络包括：
特征转换层，用于基于所述第二特征信息，获取转换特征信息；以及
热度检测层，用于基于所述转换特征信息，获取所述第一特征信息。
26.如权利要求25所述的训练方法，其中，
所述第一神经网络还包括
上采样层，用于上采样所述转换特征信息，以使得所述热度检测层接收到与所述待检测图像相同尺寸的所述上采样后的转换特征信息；
其中，所述热度检测层包括：
第二特征组合层，用于接收所述上采样后的的转换特征信息，以生成初始第一特征信息；
下采样层，用于下采样所述初始第一特征信息，以获取与所述第二特征信息相同尺度的所述第一特征信息；以及
热度目标预测层，用于基于所述初始第一特征信息，获取热度目标预测结果。
CN201611161693.8A 2016-12-15 2016-12-15 目标检测方法和装置、神经网络训练方法和装置 Active CN106778867B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201611161693.8A CN106778867B (zh) 2016-12-15 2016-12-15 目标检测方法和装置、神经网络训练方法和装置
US15/814,125 US10671919B2 (en) 2016-12-15 2017-11-15 Target detection method and device, neural network training method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611161693.8A CN106778867B (zh) 2016-12-15 2016-12-15 目标检测方法和装置、神经网络训练方法和装置

Publications (2)

Publication Number Publication Date
CN106778867A true CN106778867A (zh) 2017-05-31
CN106778867B CN106778867B (zh) 2020-07-07

Family

ID=58892551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611161693.8A Active CN106778867B (zh) 2016-12-15 2016-12-15 目标检测方法和装置、神经网络训练方法和装置

Country Status (2)

Country Link
US (1) US10671919B2 (zh)
CN (1) CN106778867B (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845352A (zh) * 2016-12-23 2017-06-13 北京旷视科技有限公司 行人检测方法和装置
CN107644209A (zh) * 2017-09-21 2018-01-30 百度在线网络技术（北京）有限公司 人脸检测方法和装置
CN107644208A (zh) * 2017-09-21 2018-01-30 百度在线网络技术（北京）有限公司 人脸检测方法和装置
CN108062559A (zh) * 2017-11-30 2018-05-22 华南师范大学 一种基于多重感受野的图像分类方法、***及装置
CN108229468A (zh) * 2017-06-28 2018-06-29 北京市商汤科技开发有限公司 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
CN108520223A (zh) * 2018-04-02 2018-09-11 广州华多网络科技有限公司 视频图像的分割方法、分割装置、存储介质和终端设备
CN108875901A (zh) * 2017-11-20 2018-11-23 北京旷视科技有限公司 神经网络训练方法以及通用物体检测方法、装置和***
CN108876853A (zh) * 2017-11-30 2018-11-23 北京旷视科技有限公司 图像定位方法、装置、***和存储介质
CN109117831A (zh) * 2018-09-30 2019-01-01 北京字节跳动网络技术有限公司 物体检测网络的训练方法和装置
CN109165731A (zh) * 2018-08-09 2019-01-08 清华大学 电子神经网络及其参数设置方法
CN109165538A (zh) * 2018-07-18 2019-01-08 北京飞搜科技有限公司 基于深度神经网络的条形码检测方法及装置
CN109255317A (zh) * 2018-08-31 2019-01-22 西北工业大学 一种基于双网络的航拍图像差异检测方法
CN109598211A (zh) * 2018-11-16 2019-04-09 恒安嘉新（北京）科技股份公司 一种实时动态人脸识别方法及***
CN109934184A (zh) * 2019-03-19 2019-06-25 网易（杭州）网络有限公司 手势识别方法及装置、存储介质、处理器
CN109977913A (zh) * 2019-04-08 2019-07-05 北京奇艺世纪科技有限公司 一种目标检测网络训练方法、装置及电子设备
CN109993300A (zh) * 2017-12-29 2019-07-09 华为技术有限公司 一种神经网络模型的训练方法及装置
CN110070526A (zh) * 2019-04-18 2019-07-30 深圳市深视创新科技有限公司 基于深度神经网络热度图预测的缺陷检测方法
CN110254438A (zh) * 2018-03-12 2019-09-20 松下知识产权经营株式会社 信息处理装置及程序记录介质
CN110378717A (zh) * 2018-04-13 2019-10-25 北京京东尚科信息技术有限公司 用于输出信息的方法和装置
WO2020038254A1 (zh) * 2018-08-23 2020-02-27 杭州海康威视数字技术股份有限公司 一种用于目标识别的图像处理方法及装置
CN110892409A (zh) * 2017-06-05 2020-03-17 西门子股份公司 用于分析图像的方法和装置
CN111383187A (zh) * 2018-12-29 2020-07-07 Tcl集团股份有限公司 一种图像处理方法、装置及智能终端
CN111860545A (zh) * 2020-07-30 2020-10-30 元神科技(杭州)有限公司 一种基于弱检测机制的图像敏感内容识别方法及***
WO2020238119A1 (en) * 2019-05-31 2020-12-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Video understanding neural network systems and methods using the same
CN112863187A (zh) * 2021-01-18 2021-05-28 北京百度网讯科技有限公司 感知模型的检测方法、电子设备、路侧设备和云控平台
CN112907533A (zh) * 2021-02-10 2021-06-04 武汉精测电子集团股份有限公司 检测模型训练方法、装置、设备及可读存储介质
CN113674724A (zh) * 2021-08-18 2021-11-19 青岛海信移动通信技术股份有限公司 专辑文件的解析文件生成方法和终端设备
CN114581752A (zh) * 2022-05-09 2022-06-03 华北理工大学 一种基于上下文感知和边界细化的伪装目标检测方法

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10217001B2 (en) * 2016-04-14 2019-02-26 KickView Corporation Video object data storage and processing system
US11321612B2 (en) * 2018-01-30 2022-05-03 D5Ai Llc Self-organizing partially ordered networks and soft-tying learned parameters, such as connection weights
US11282389B2 (en) 2018-02-20 2022-03-22 Nortek Security & Control Llc Pedestrian detection for vehicle driving assistance
US10922833B2 (en) * 2018-05-15 2021-02-16 Apical Ltd. Image processing
US11048958B1 (en) * 2018-06-15 2021-06-29 Objectvideo Labs, Llc Object detection improvement using a foreground occupancy map
CN110633723B (zh) * 2018-06-22 2023-10-17 佳能株式会社 图像处理装置和方法及存储介质
CN110796133B (zh) * 2018-08-01 2024-05-24 北京京东尚科信息技术有限公司 文案区域识别方法和装置
JP2020030458A (ja) * 2018-08-20 2020-02-27 株式会社デンソーアイティーラボラトリ 推論装置、学習方法、プログラム及び学習済みモデル
US11861480B2 (en) * 2018-08-21 2024-01-02 Siemens Mobility GmbH Orientation detection in overhead line insulators
CN109376594A (zh) 2018-09-11 2019-02-22 百度在线网络技术（北京）有限公司 基于自动驾驶车辆的视觉感知方法、装置、设备以及介质
CN109657545B (zh) * 2018-11-10 2022-12-20 天津大学 一种基于多任务学习的行人检测方法
US11222210B2 (en) * 2018-11-13 2022-01-11 Nec Corporation Attention and warping based domain adaptation for videos
EP3884426B1 (en) * 2018-11-20 2024-01-03 DeepMind Technologies Limited Action classification in video clips using attention-based neural networks
CN111222522B (zh) * 2018-11-23 2024-04-12 北京市商汤科技开发有限公司 神经网络训练、路面检测、智能驾驶控制方法和装置
CN111311646B (zh) * 2018-12-12 2023-04-07 杭州海康威视数字技术股份有限公司 一种光流神经网络训练方法及装置
CN111325052A (zh) * 2018-12-13 2020-06-23 北京嘀嘀无限科技发展有限公司 一种目标检测方法及装置
DE102018222147A1 (de) * 2018-12-18 2020-06-18 Leica Microsystems Cms Gmbh Optikkorrektur durch Maschinenlernen
CN111382644A (zh) * 2018-12-29 2020-07-07 Tcl集团股份有限公司 手势识别方法、装置、终端设备及计算机可读存储介质
CN109801293B (zh) * 2019-01-08 2023-07-14 平安科技（深圳）有限公司 遥感影像分割方法、装置及存储介质、服务器
EP3706046A1 (en) * 2019-03-04 2020-09-09 InterDigital VC Holdings, Inc. Method and device for picture encoding and decoding
EP3935749A1 (en) * 2019-03-06 2022-01-12 Telefonaktiebolaget Lm Ericsson (Publ) Prediction of device properties
CN111860823B (zh) * 2019-04-30 2024-06-11 北京市商汤科技开发有限公司 神经网络训练、图像处理方法及装置、设备及存储介质
US11533115B2 (en) * 2019-05-15 2022-12-20 Huawei Technologies Co., Ltd. Systems and methods for wireless signal configuration by a neural network
CN110689038B (zh) * 2019-06-25 2024-02-02 深圳市腾讯计算机***有限公司 神经网络模型的训练方法、装置和医学图像处理***
US10839565B1 (en) * 2019-08-19 2020-11-17 Samsung Electronics Co., Ltd. Decoding apparatus and operating method of the same, and artificial intelligence (AI) up-scaling apparatus and operating method of the same
CN110781905A (zh) * 2019-10-25 2020-02-11 北京达佳互联信息技术有限公司 一种图像检测方法及装置
US11341745B1 (en) 2019-11-14 2022-05-24 Lockheed Martin Corporation Unresolved object target detection using a deep neural network
CN110968718B (zh) * 2019-11-19 2023-07-14 北京百度网讯科技有限公司 目标检测模型负样本挖掘方法、装置及电子设备
KR20210067788A (ko) * 2019-11-29 2021-06-08 삼성전자주식회사 전자 장치, 시스템 및 그 제어 방법
JP7485512B2 (ja) * 2019-12-26 2024-05-16 キヤノンメディカルシステムズ株式会社 医用情報処理装置、医用情報処理方法、及び医用情報処理プログラム
US11481862B2 (en) 2020-02-26 2022-10-25 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for real-time, simultaneous object detection and semantic segmentation
US11450008B1 (en) * 2020-02-27 2022-09-20 Amazon Technologies, Inc. Segmentation using attention-weighted loss and discriminative feature learning
US11475589B2 (en) * 2020-04-03 2022-10-18 Fanuc Corporation 3D pose estimation by a 2D camera
CN111639535B (zh) * 2020-04-29 2023-08-22 深圳英飞拓智能技术有限公司 基于深度学习的人脸识别方法及装置
CN111832616A (zh) * 2020-06-04 2020-10-27 中国科学院空天信息创新研究院 利用多类深度表示图的遥感图像飞机型号识别方法及***
US11436703B2 (en) * 2020-06-12 2022-09-06 Samsung Electronics Co., Ltd. Method and apparatus for adaptive artificial intelligence downscaling for upscaling during video telephone call
CN111767962B (zh) * 2020-07-03 2022-11-08 中国科学院自动化研究所 基于生成对抗式网络的一阶段目标检测方法、***及装置
CN112307940A (zh) * 2020-10-28 2021-02-02 有半岛(北京)信息科技有限公司 模型训练方法、人体姿态检测方法、装置、设备及介质
CN112633159B (zh) * 2020-12-22 2024-04-12 北京迈格威科技有限公司 人-物交互关系识别方法、模型训练方法及对应装置
CN112634245A (zh) * 2020-12-28 2021-04-09 广州绿怡信息科技有限公司 损耗检测模型训练方法、损耗检测方法及装置
CN113066069A (zh) * 2021-03-31 2021-07-02 深圳中科飞测科技股份有限公司 调整方法及装置、调整设备和存储介质
CN113033715B (zh) * 2021-05-24 2021-08-31 禾多科技（北京）有限公司 目标检测模型训练方法和目标车辆检测信息生成方法
CN113205426A (zh) * 2021-05-27 2021-08-03 中库(北京)数据***有限公司 一种预测社交媒体内容的热度等级的方法和装置
CN113362900A (zh) * 2021-06-15 2021-09-07 邵阳学院 一种预测n4-乙酰胞苷的混合模型
CN113688664B (zh) * 2021-07-08 2024-04-26 三星（中国）半导体有限公司 人脸关键点检测方法和人脸关键点检测装置
CN114120164A (zh) * 2021-09-28 2022-03-01 佛山中科云图智能科技有限公司 一种输电线路销钉状态检测方法和检测***
CN115082713B (zh) * 2022-08-24 2022-11-25 中国科学院自动化研究所 引入空间对比信息的目标检测框提取方法、***及设备
CN115661492B (zh) * 2022-12-28 2023-12-29 摩尔线程智能科技(北京)有限责任公司 图像比对方法、装置、电子设备、存储介质和程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150070506A1 (en) * 2012-03-26 2015-03-12 Tata Consultancy Services Limited Event triggered location based participatory surveillance
CN105810193A (zh) * 2015-01-19 2016-07-27 三星电子株式会社 训练语言模型的方法和设备及识别语言的方法和设备
CN105976400A (zh) * 2016-05-10 2016-09-28 北京旷视科技有限公司 基于神经网络模型的目标跟踪方法及装置
CN106203327A (zh) * 2016-07-08 2016-12-07 清华大学 基于卷积神经网络的肺部肿瘤识别***及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102492318B1 (ko) * 2015-09-18 2023-01-26 삼성전자주식회사 모델 학습 방법 및 장치, 및 데이터 인식 방법
EP3336774B1 (en) * 2016-12-13 2020-11-25 Axis AB Method, computer program product and device for training a neural network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150070506A1 (en) * 2012-03-26 2015-03-12 Tata Consultancy Services Limited Event triggered location based participatory surveillance
CN105810193A (zh) * 2015-01-19 2016-07-27 三星电子株式会社 训练语言模型的方法和设备及识别语言的方法和设备
CN105976400A (zh) * 2016-05-10 2016-09-28 北京旷视科技有限公司 基于神经网络模型的目标跟踪方法及装置
CN106203327A (zh) * 2016-07-08 2016-12-07 清华大学 基于卷积神经网络的肺部肿瘤识别***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JONATHAN LONG ET AL.: "Fully Convolutional Networks for Semantic Segmentation", 《COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845352A (zh) * 2016-12-23 2017-06-13 北京旷视科技有限公司 行人检测方法和装置
CN106845352B (zh) * 2016-12-23 2020-09-18 北京旷视科技有限公司 行人检测方法和装置
CN110892409B (zh) * 2017-06-05 2023-09-22 西门子股份公司 用于分析图像的方法和装置
CN110892409A (zh) * 2017-06-05 2020-03-17 西门子股份公司 用于分析图像的方法和装置
US11232318B2 (en) 2017-06-28 2022-01-25 Beijing Sensetime Technology Development Co., Ltd. Methods and apparatuses for vehicle appearance feature recognition, methods and apparatuses for vehicle retrieval, storage medium, and electronic devices
CN108229468B (zh) * 2017-06-28 2020-02-21 北京市商汤科技开发有限公司 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
CN108229468A (zh) * 2017-06-28 2018-06-29 北京市商汤科技开发有限公司 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
WO2019001481A1 (zh) * 2017-06-28 2019-01-03 北京市商汤科技开发有限公司 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
US10936919B2 (en) 2017-09-21 2021-03-02 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for detecting human face
CN107644208A (zh) * 2017-09-21 2018-01-30 百度在线网络技术（北京）有限公司 人脸检测方法和装置
CN107644209A (zh) * 2017-09-21 2018-01-30 百度在线网络技术（北京）有限公司 人脸检测方法和装置
CN108875901B (zh) * 2017-11-20 2021-03-23 北京旷视科技有限公司 神经网络训练方法以及通用物体检测方法、装置和***
CN108875901A (zh) * 2017-11-20 2018-11-23 北京旷视科技有限公司 神经网络训练方法以及通用物体检测方法、装置和***
CN108876853A (zh) * 2017-11-30 2018-11-23 北京旷视科技有限公司 图像定位方法、装置、***和存储介质
CN108062559A (zh) * 2017-11-30 2018-05-22 华南师范大学 一种基于多重感受野的图像分类方法、***及装置
CN108876853B (zh) * 2017-11-30 2020-12-25 北京旷视科技有限公司 图像定位方法、装置、***和存储介质
US11966844B2 (en) 2017-12-29 2024-04-23 Huawei Technologies Co., Ltd. Method for training neural network model and apparatus
US11521012B2 (en) 2017-12-29 2022-12-06 Huawei Technologies Co., Ltd. Method for training neural network model and apparatus
CN109993300A (zh) * 2017-12-29 2019-07-09 华为技术有限公司 一种神经网络模型的训练方法及装置
CN109993300B (zh) * 2017-12-29 2021-01-29 华为技术有限公司 一种神经网络模型的训练方法及装置
CN110254438A (zh) * 2018-03-12 2019-09-20 松下知识产权经营株式会社 信息处理装置及程序记录介质
CN108520223B (zh) * 2018-04-02 2021-11-12 广州方硅信息技术有限公司 视频图像的分割方法、分割装置、存储介质和终端设备
CN108520223A (zh) * 2018-04-02 2018-09-11 广州华多网络科技有限公司 视频图像的分割方法、分割装置、存储介质和终端设备
CN110378717B (zh) * 2018-04-13 2024-03-05 北京京东尚科信息技术有限公司 用于输出信息的方法和装置
CN110378717A (zh) * 2018-04-13 2019-10-25 北京京东尚科信息技术有限公司 用于输出信息的方法和装置
CN109165538B (zh) * 2018-07-18 2021-10-22 苏州飞搜科技有限公司 基于深度神经网络的条形码检测方法及装置
CN109165538A (zh) * 2018-07-18 2019-01-08 北京飞搜科技有限公司 基于深度神经网络的条形码检测方法及装置
CN109165731A (zh) * 2018-08-09 2019-01-08 清华大学 电子神经网络及其参数设置方法
CN109165731B (zh) * 2018-08-09 2020-06-30 清华大学 电子神经网络及其参数设置方法
WO2020038254A1 (zh) * 2018-08-23 2020-02-27 杭州海康威视数字技术股份有限公司 一种用于目标识别的图像处理方法及装置
US11487966B2 (en) 2018-08-23 2022-11-01 Hangzhou Hikvision Digital Technology Co., Ltd. Image processing method and apparatus for target recognition
CN109255317A (zh) * 2018-08-31 2019-01-22 西北工业大学 一种基于双网络的航拍图像差异检测方法
CN109255317B (zh) * 2018-08-31 2021-06-11 西北工业大学 一种基于双网络的航拍图像差异检测方法
CN109117831B (zh) * 2018-09-30 2021-10-12 北京字节跳动网络技术有限公司 物体检测网络的训练方法和装置
CN109117831A (zh) * 2018-09-30 2019-01-01 北京字节跳动网络技术有限公司 物体检测网络的训练方法和装置
CN109598211A (zh) * 2018-11-16 2019-04-09 恒安嘉新（北京）科技股份公司 一种实时动态人脸识别方法及***
CN111383187A (zh) * 2018-12-29 2020-07-07 Tcl集团股份有限公司 一种图像处理方法、装置及智能终端
CN111383187B (zh) * 2018-12-29 2024-04-26 Tcl科技集团股份有限公司 一种图像处理方法、装置及智能终端
CN109934184A (zh) * 2019-03-19 2019-06-25 网易（杭州）网络有限公司 手势识别方法及装置、存储介质、处理器
CN109977913A (zh) * 2019-04-08 2019-07-05 北京奇艺世纪科技有限公司 一种目标检测网络训练方法、装置及电子设备
CN109977913B (zh) * 2019-04-08 2021-11-05 北京奇艺世纪科技有限公司 一种目标检测网络训练方法、装置及电子设备
CN110070526A (zh) * 2019-04-18 2019-07-30 深圳市深视创新科技有限公司 基于深度神经网络热度图预测的缺陷检测方法
WO2020238119A1 (en) * 2019-05-31 2020-12-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Video understanding neural network systems and methods using the same
CN111860545A (zh) * 2020-07-30 2020-10-30 元神科技(杭州)有限公司 一种基于弱检测机制的图像敏感内容识别方法及***
CN111860545B (zh) * 2020-07-30 2023-12-19 元神科技(杭州)有限公司 一种基于弱检测机制的图像敏感内容识别方法及***
CN112863187A (zh) * 2021-01-18 2021-05-28 北京百度网讯科技有限公司 感知模型的检测方法、电子设备、路侧设备和云控平台
CN112907533A (zh) * 2021-02-10 2021-06-04 武汉精测电子集团股份有限公司 检测模型训练方法、装置、设备及可读存储介质
CN113674724A (zh) * 2021-08-18 2021-11-19 青岛海信移动通信技术股份有限公司 专辑文件的解析文件生成方法和终端设备
CN114581752A (zh) * 2022-05-09 2022-06-03 华北理工大学 一种基于上下文感知和边界细化的伪装目标检测方法

Also Published As

Publication number Publication date
US10671919B2 (en) 2020-06-02
CN106778867B (zh) 2020-07-07
US20180174046A1 (en) 2018-06-21

Similar Documents

Publication Publication Date Title
CN106778867A (zh) 目标检测方法和装置、神经网络训练方法和装置
JP7208408B2 (ja) 検出モデルのトレーニング方法、装置、コンピュータデバイス及びコンピュータプログラム
CN105976400B (zh) 基于神经网络模型的目标跟踪方法及装置
Gonzalez Digital image processing
CN108369643A (zh) 用于3d手部骨架跟踪的方法和***
CN107169974A (zh) 一种基于多监督全卷积神经网络的图像分割方法
CN104115074B (zh) 全息图处理方法和***
CN105917354A (zh) 用于图像处理的空间金字塔池化网络
CN108475350A (zh) 使用基于学习的模型加速半导体相关计算
CN109741309A (zh) 一种基于深度回归网络的骨龄预测方法及装置
CN108475417A (zh) 针对半导体应用由低分辨率图像产生高分辨率图像
CN107423398A (zh) 交互方法、装置、存储介质和计算机设备
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN114241422A (zh) 一种基于ESRGAN和改进YOLOv5s的学生课堂行为检测方法
CN105844627A (zh) 一种基于卷积神经网络的海面目标图像背景抑制方法
CN110245711A (zh) 基于角度旋转生成网络的sar目标识别方法
CN110414546A (zh) 使用中间损失函数训练图像信号处理器
CN111626176A (zh) 一种遥感图像的地物目标检测方法及***
CN109919252A (zh) 利用少数标注图像生成分类器的方法
CN109886153A (zh) 一种基于深度卷积神经网络的实时人脸检测方法
CN109446952A (zh) 一种钢琴监督方法、装置、计算机设备及存储介质
CN109636927B (zh) 一种飞行器姿态测量算法训练与鉴定的***及方法
CN109978870A (zh) 用于输出信息的方法和装置
CN108109212A (zh) 一种文物修复方法、装置及***
CN108230355A (zh) 目标跟踪及神经网络训练方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100190 room 313, block A, 2 South Road, Haidian District Academy of Sciences, Beijing, China

Applicant after: MEGVII INC.

Applicant after: Beijing maigewei Technology Co., Ltd.

Address before: 100080 room A, block, No. 2 South Road, Haidian District Academy of Sciences, Beijing, China

Applicant before: MEGVII INC.

Applicant before: Beijing aperture Science and Technology Ltd.

GR01 Patent grant
GR01 Patent grant