CN108416327A - 一种目标检测方法、装置、计算机设备及可读存储介质 - Google Patents

一种目标检测方法、装置、计算机设备及可读存储介质 Download PDF

Info

Publication number
CN108416327A
CN108416327A CN201810267167.2A CN201810267167A CN108416327A CN 108416327 A CN108416327 A CN 108416327A CN 201810267167 A CN201810267167 A CN 201810267167A CN 108416327 A CN108416327 A CN 108416327A
Authority
CN
China
Prior art keywords
branch
convolution
layer
convolutional
convolutional layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810267167.2A
Other languages
English (en)
Other versions
CN108416327B (zh
Inventor
杨静林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810267167.2A priority Critical patent/CN108416327B/zh
Publication of CN108416327A publication Critical patent/CN108416327A/zh
Priority to US16/141,637 priority patent/US10896354B2/en
Application granted granted Critical
Publication of CN108416327B publication Critical patent/CN108416327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种目标检测方法、装置、计算机设备及可读存储介质。该目标检测方法包括：采用卷积神经网络进行目标检测，该卷积神经网络包括多个卷积层；对至少一个卷积层进行分支卷积处理，得到分支检测结果；对分支检测结果进行融合处理，或者，对分支检测结果和卷积神经网络中最后一层卷积层的检测结果进行融合处理，并将融合处理的结果传输给全连接层。本发明实施例解决了基于卷积神经网络的行人检测中处理速度慢和小目标难以检测的问题。

Description

一种目标检测方法、装置、计算机设备及可读存储介质
技术领域
本申请涉及但不限于图像处理技术领域，尤指一种目标检测方法、装置、计算机设备及可读存储介质。
背景技术
随着图像处理技术的发展，已将图像处理技术应用于目标检测，在实际应用中，以行人为目标的检测具有较高的应用价值。
卷积神经网络(Convolutional Neural Network，简称为：CNN)在图像处理领域中，尤其是目标的检测识别方面，表现出了极大的优势。在图像的目标检测中，行人是最为常见和具有实际应用意义的目标，但是，基于CNN的行人检测方式中处理速度较慢；目前，相比于其他基于CNN的算法，yolo算法在实时性方面具有比较明显的优势；但是，该yolo算法并不针对行人这一特定目标，尤其是在一些具有多个行人且目标较小的情况，通过yolo算法检测行人的效果较差。
发明内容
为了解决上述技术问题，本发明实施例提供了一种目标检测方法、装置、计算机设备及可读存储介质，解决了基于CNN的行人检测中处理速度慢和小目标难以检测的问题。
本发明实施例提供一种目标检测方法，包括：
采用卷积神经网络进行目标检测，所述卷积神经网络包括多个卷积层；
对至少一个所述卷积层进行分支卷积处理，得到分支检测结果；
对所述分支检测结果进行融合处理，或者，对所述分支检测结果和所述卷积神经网络中最后一层卷积层的检测结果进行融合处理，并将所述融合处理的结果传输给全连接层。
可选地，如上所述的目标检测方法中，所述对至少一个所述卷积层进行分支卷积处理，包括：
对每个进行分支卷积处理的卷积层进行一次或多次并行的分支卷积处理，对不同卷积层进行分支卷积处理的次数为相同的或不同的；
其中，对不同卷积层进行分支卷积处理时采用的卷积核的大小为相同的或不同的，对同一卷积层进行多次并行的分支卷积处理时采用的卷积核的大小为相同的或不同的。
可选地，如上所述的目标检测方法中，
所述进行分支卷积处理的卷积层包括所述卷积神经网络中最后一层卷积层，所述进行融合处理，包括：
对每个进行分支卷积处理的卷积层的每个分支检测结果进行融合处理。
可选地，如上所述的目标检测方法中，
所述进行分支卷积处理的卷积层不包括所述卷积神经网络中最后一层卷积层，所述进行融合处理，包括：
对每个进行分支卷积处理的卷积层的每个分支检测结果和所述卷积神经网络中最后一层卷积层的检测结果进行融合处理。
可选地，如上所述的目标检测方法中，所述卷积神经网络还包括间隔设置于不同卷积层之后的多个池化层。
可选地，如上所述的目标检测方法中，所述对至少一个所述卷积层进行分支卷积处理，包括：
采用n*m的卷积核对至少一个所述卷积层进行分支卷积处理，其中，n<m，n和m为正整数。
可选地，如上所述的目标检测方法中，所述卷积神经网络为VGG网络。
可选地，如上所述的目标检测方法中，所述VGG网络配置为16层的VGG-16，所述对至少一个所述卷积层进行分支卷积处理，包括：
分别对所述VGG-16中的第7层、第10层和第13层卷积层进行两次并行的分支卷积处理；其中，对所述第7层、所述第10层和所述第13层卷积层进行的两次并行的分支卷积处理所采用的卷积核分别为3*5和5*7。
本发明实施例还提供一种目标检测装置，包括：
目标检测模块，用于采用卷积神经网络进行目标检测，所述卷积神经网络包括多个卷积层；
分支卷积模块，用于对至少一个所述卷积层进行分支卷积处理，得到分支检测结果；
融合处理模块，用于对所述分支检测结果进行融合处理，或者，对所述分支检测结果和所述卷积神经网络中最后一层卷积层的检测结果进行融合处理；
传输模块，用于将融合处理的结果传输给全连接层。
可选地，如上所述的目标检测装置中，所述分支卷积模块对至少一个所述卷积层进行分支卷积处理，包括：
对每个进行分支卷积处理的卷积层进行一次或多次并行的分支卷积处理，对不同卷积层进行分支卷积处理的次数为相同的或不同的；
其中，所述分支卷积模块对不同卷积层进行分支卷积处理采用的卷积核的大小为相同的或不同的，对同一卷积层进行多次并行的分支卷积处理采用的卷积核的大小为相同的或不同的。
可选地，如上所述的目标检测装置中，
所述分支卷积模块进行分支卷积处理的卷积层包括所述卷积神经网络中最后一层卷积层，所述融合处理模块进行融合处理，包括：
对每个进行分支卷积处理的卷积层的每个分支检测结果进行融合处理。
可选地，如上所述的目标检测装置中，
所述分支卷积模块进行分支卷积处理的卷积层不包括所述卷积神经网络中最后一层卷积层，所述融合处理模块进行融合处理，包括：
对每个进行分支卷积处理的卷积层的每个分支检测结果和所述卷积神经网络中最后一层卷积层的检测结果进行融合处理。
可选地，如上所述的目标检测装置中，所述卷积神经网络还包括间隔设置于不同卷积层之后的多个池化层。
可选地，如上所述的目标检测装置中，还包括：
输入模块，用于输入待执行目标检测的原始图像；
输出模块，用于输出经所述全连接层处理后的目标检测结果。
可选地，如上所述的目标检测装置中，所述分支卷积模块对至少一个所述卷积层进行分支卷积处理，包括：
采用n*m的卷积核对至少一个所述卷积层进行分支卷积处理，其中，n<m，n和m为正整数。
本发明实施例还提供一种计算机设备，包括：存储器和处理器；
所述存储器，用于保存可执行指令；
所述处理器，用于在执行所述存储器保存的所述可执行指令时实现如上述任一项所述的目标检测方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有可执行指令，所述可执行指令被处理器执行时实现如上述任一项所述的目标检测方法。
本发明实施例提供的目标检测方法、装置、计算机设备及可读存储介质，在采用CNN进行目标检测的过程中，通过对CNN中至少一个卷积层进行分支卷积处理得到分支检测结果，并且对该分支检测结果进行融合处理，或者，对该分支检测结果和CNN中最后一层卷积层的检测结果进行融合处理，并将融合处理的结果传输给全连接层；加入分支卷积处理后，将传统CNN中仅包括主干处理的卷积层处理方式改变为主干处理结合分支处理的方式，即在目标检测中加入了各分支的检测信息；本发明实施例提供的目标检测方法，基于VGG网络构架，在已有卷积层的基础上建立卷积层的分支，使得目标检测方法的适用性更加广泛，解决了基于CNN的行人检测中处理速度慢和小目标难以检测的技术问题。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明实施例提供的一种目标检测方法的流程图；
图2为现有技术中一种CNN中卷积层处理方式的示意图；
图3为本发明实施例提供的目标检测方法中一种卷积层处理方式的示意图；
图4为本发明实施例提供的目标检测方法中另一种卷积层处理方式的示意图；
图5为本发明实施例提供的目标检测方法中又一种卷积层处理方式的示意图；
图6为本发明实施例提供的一种目标检测装置的结构示意图；
图7为本发明实施例提供的另一种目标检测装置的结构示意图；
图8为本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
本发明提供以下几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明实施例提供的一种目标检测方法的流程图。本发明实施例提供的目标检测方法可以包括如下步骤：
S110，采用CNN进行目标检测，该CNN包括多个卷积层；
S120，对至少一个卷积层进行分支卷积处理，得到分支检测结果。
本发明实施例提供的目标检测方法，为一种基于CNN的目标检测方式，也就是说，在CNN的各层结构基础上，进行算法处理以实现目标检测。CNN中通常包括多个卷积层(CONVlayer)，这些卷积层是CNN结构中的核心层，用于对输入的图像数据进行检测处理，每层卷积层都按照固定大小的卷积核，对输入当前卷积层的图像数据进行卷积计算，并将卷积计算后的结果传输给下一层卷积层。
需要说明的是，CNN中的多个卷积层的层级关系通常为依次顺序排列的关系，在这些卷积层进行图像处理的过程中，由第1层卷积层对输入的图像数据进行卷积计算，将其处理后输出的数据传输到第2层卷积层，再由第2层卷积层对其接收到的图像数据进行卷积计算，将其处理后输出的数据传输到第3层卷积层，依次类推。可以将这些卷积层处理图像数据的方式，视为主干处理，即在每层卷积层仅对图像数据进行了一次卷积计算，如图2所示，为现有技术中一种CNN中卷积层处理方式的示意图，图2中仅示意出了6层卷积层，并未示意出CNN中的其它层级，并且该6层卷积层依次排列，并且按照排列顺序依次进行卷积处理。
在本发明实施例中，在CNN进行目标检测的基础上，即在主干处理的基础上，可以在CNN的多个卷积层中选取其中的一个或多个卷积层，对选取的这个或这些卷积层进行分支卷积处理，如图3所示，为本发明实施例提供的目标检测方法中一种卷积层处理方式的示意图，在上述图2所示卷积层的处理方式基础上，图3以对其中的第2层和第4层卷积层进行分支卷积处理为例予以示出。可以看出，将图3中的每层卷积层依次进行的卷积计算视为主干处理，分支卷积处理就是在主干的基础上，加入了分支处理，如图3中对第2层和第4层卷积层的分支处理。另外，主干处理仅生成一个结果，即最后一层卷积层(图3中第6层卷积层)输出的检测结果，而分支处理则输出多个结果，例如，图3中对上述2个卷积层进行了分支卷积处理，若对上述2个卷积层都进行了两次并行的分支卷积处理，则输出4个分支检测结果，如图3中所示。
需要说明的是，若没有对CNN中最后一层(如图3中第6层)卷积层进行分支检测处理，则第6层卷积层仍然输出主干处理的检测结果；若对CNN中最后一层卷积层进行了分支检测处理，则只输出分支检测结果，不再输出第6层的主干处理的检测结果，如图4所示，为本发明实施例提供的目标检测方法中另一种卷积层处理方式的示意图，图4所示CNN的网络结构与图3中相同，不同的是，图4中对第2层、第4层和第6层(最后一层)卷积层进行分支卷积处理，此时，第6层卷积层仅输出分支检测结果。另外，图3和图4所示处理方式中，由融合处理层将包括分支处理的检测结果进行融合处理后，传输至全连接层，图中示意出2层全连接层，并不表示本发明实施例的CNN中必须包括2层全连接层。
S130，对分支检测结果进行融合处理，或者，对分支检测结果和CNN中最后一层卷积层的检测结果进行融合处理，并将融合处理的结果传输给全连接层。
如图2所示的现有技术中的CNN中卷积层的处理方式，所有卷积层仅输出一个检测结果，即最后一层卷积层进行卷积计算后生成的检测结果，因此可以直接将这一个检测结果传输给全连接层。本发明实施例中，在获取到分支检测结果后，得到的分支检测结果为多个，可选地，也可能获取到一个或多个分支检测结果和主干处理的检测结果，因此，融合处理的对象可能包括多个分支检测结果或者包括至少一个分支检测结果和主干处理的检测结果，此时，可以对这些检测结果进行融合处理，融合处理就是将多个大小不同的图像缩放成大小一致的尺寸，从而可以将多个图像数据的信息整合起来进行目标检测，随后将融合处理后得到的图像数据传输至全连接层。
上述已经说明是否对CNN中最后一层卷积层进行分支检测处理，决定CNN输出的检测结果的数量和内容。可选地，进行分支卷积处理的卷积层包括CNN中最后一层卷积层，该最后一层卷积层仅输出分支检测结果，不再输出该层进行主干处理的检测结果，则进行融合处理的实现方式，可以包括：对每个进行分支卷积处理的卷积层的每个分支检测结果进行融合处理。可选地，进行分支卷积处理的卷积层不包括CNN中最后一层卷积层，该最后一层卷积层仍然输出主干处理的检测结果，则进行融合处理，包括：对每个进行分支卷积处理的卷积层的每个分支检测结果和CNN中最后一层卷积层的检测结果进行融合处理。
现有技术的CNN中卷积层的处理方式如上述图2所示，仅存在主干的卷积处理，例如基于CNN的yolo算法，yolo算法为了提升速度，将整张图像划分为固定大小(例如7*7、3*3)的网格，每个网格中得到两个潜在的检测窗口，是一种端到端的网络模型，直接输入图像数据，输出即为检测结果，该yolu算法在保持了较好的检测精度的同时，具备了较快的检测速度。然而，由于yolu算法的模型采用了固定的网络划分方式，对较小的目标(例如行人)检测精度不足，而行人检测的应用场景中，往往目标在图像中表现的比较小。因此，yolo算法难以实现小目标的检测。
针对现有CNN中行人检测中处理速度慢和小目标难以检测的问题，本发明实施例基于VGG网络构架，在已有卷积层的基础上建立卷积层的分支，即得到多个分支检测结果，并且在将图像数据传输至全连接层之前，对多个检测结果(包括至少一个分支检测结果和主干处理的检测结果，或者包括多个分支检测结果)进行融合处理，即得到的检测结果包括不同尺度的检测信息，从而使得目标检测方法的适用性更加广泛，可以应用于小目标的目标检测方式中。
本发明实施例提供的目标检测方法，在采用CNN进行目标检测的过程中，通过对CNN中至少一个卷积层进行分支卷积处理得到分支检测结果，并且对该分支检测结果进行融合处理，或者，对该分支检测结果和CNN中最后一层卷积层的检测结果进行融合处理，并将融合处理的结果传输给全连接层；加入分支卷积处理后，将传统CNN中仅包括主干处理的卷积层处理方式改变为主干处理结合分支处理的方式，即在目标检测中加入了各分支的检测信息；本发明实施例提供的目标检测方法，基于VGG网络构架，在已有卷积层的基础上建立卷积层的分支，使得目标检测方法的适用性更加广泛，解决了基于CNN的行人检测中处理速度慢和小目标难以检测的技术问题。
可选地，在本发明实施例中，S120中对至少一个卷积层进行分支卷积处理的实现方式，可以包括：
对每个进行分支卷积处理的卷积层进行一次或多次并行的分支卷积处理，对不同卷积层进行分支卷积处理的次数为相同的或不同的。
在本发明实施例中，可以是对一个卷积层进行一次或多次并行的分支卷积处理，也可以是对多个卷积层进行一次或多次并行的分支卷积处理，还可以是对一部分卷积层进行一次分支卷积处理，对另一部分卷积层进行多次并行的分支卷积处理。在具体实现中，对CNN中哪些卷积层进行分支卷积处理，对已选择待进行分支卷积处理的这些卷积层，具体对哪层卷积层进行一次处理，对哪层卷积层进行多次并行处理，这些都可以由设计人员进行配置。例如，图3所示处理方式中，对第2层和第4层卷积层进行分支卷积处理，并且对其中每个卷积层都进行了两次并行的处理；再例如，图4所示处理方式中，对第2层、第4层和第6层卷积层进行分支卷积处理，对其中第4层卷积层进行1次处理，对第2层和第6层卷积层进行了两次并行的处理。
在实际应用中，对不同卷积层进行分支卷积处理时采用的卷积核的大小为相同的或不同的，对同一卷积层进行多次并行的分支卷积处理时采用的卷积核的大小为相同的或不同的，本发明实施例中，进行每次分支卷积处理时采用的卷积核的大小可以根据实际情况由设计人员进行配置。例如，图3所示处理方式中，对第2层卷积层进行的两次处理中卷积核分别为2*3和4*5，对第4层卷积层进行的两次处理中卷积核分别为3*5和5*7；再例如，图4所示处理方式中，对第2层和第6层卷积层进行的两次处理中卷积核分别为3*5和5*7，对第4层卷积层进行的一次处理中卷积核为3*5。
可选地，在本发明实施例中，S120中对至少一个卷积层进行分支卷积处理的实现方式，可以包括：采用n*m的卷积核对至少一个卷积层进行分支卷积处理。上述实施例中已经说明进行分支卷积处理时，卷积核的大小是可以配置的，若需要对行人进行目标检测，则可以配置的卷积核n*m中，n<m，n和m为正整数，这样的配置更符合行人的检测大小。
如上述的几种卷积核的大小，本发明实施例针对行人这一特定目标，改进了卷积处理时网格划分方法，即卷积核的大小不再是现有方式中的固定大小，使得目标检测方法更加适用于对行人进行检测。
需要说明的是，CNN中不仅包括多个卷积层，还可以包括多个池化层(Poolinglayer)，这些池化层间隔的设置于不同的卷积层之后，例如，图3和图4所示处理方式中，第3层、第5层和第6层之后设置有池化层(图中并未示出池化层)，池化层间隔设置于连续的卷积层中间，主要用于压缩图像数据。因此，本发明实施例对多个卷积层进行分支卷积处理时，通常选取的多个卷积层位于CNN中不同池化层之间，即在目标检测中加入了多尺度分支，可以在不同的卷积层进行多尺度检测，也就是说，进行分支卷积处理的卷积层的分辨率不同，可以分别针对具有不同大小的目标进行检测。另外，不同尺度的分支中，卷积核的大小可以根据检测的不同目标进行配置，即通过多个不同尺度的多种网格，进一步提高目标检测方法的适用范围。
可选地，在本发明实施例中，CNN可以为VGG网络，VGG网络的配置如下表1所示，具有6种配置(即配置A～配置E)，其中，各种配置的卷积层、池化层和全连接层已在表1中详细列出。
表1
上述表1中列出了VGG网络构架下的6种配置，其中，LRN为局部相应归一化层(Local Response Normalization)，是VGG网络的一种配置，即上述A-LRN，“conv3-256”表示卷积核为3*3，深度为256；在VGG网络中，卷积层后有三个全连接层和一个分类层。以下以VGG网络构架为例，说明本发明实施例提供的目标检测方法的实现方式，如图5所示，为本发明实施例提供的目标检测方法中又一种卷积层处理方式的示意图，图5以VGG网络中的配置D为例予以示出，配置D为16层(其中包括13层卷积层和3层全连接层)，以下简称为VGG-16，本实施例中对至少一个卷积层进行分支卷积处理的实现方式，可以包括：
分别对VGG-16中的第7层卷积层，第10层卷积层和第13层卷积层进行两次并行的分支卷积处理；其中，对第7层、第10层和第13层卷积层进行的两次并行的分支卷积处理所采用的卷积核分别为3*5和5*7。图5所示处理方式中，采用VGG-16作为网络主构架，利用VGG-16的前13个卷积层作为网络的主干，在不同卷积层建立网络分支，即分别在第7层、第10层和第13层卷积层后，进行分支卷积处理，加入多尺度分支，并且这3层在不同的池化层之间，具有不同的分辨率，可以分别针对具有不同大小的目标进行检测，从而达到多尺度检测的目的。另外，针对行人的形状特征，采用了3*5和5*7这两种网格划分方法，并将不同分支的检测结果，经过融合处理综合在一起，最后经过全连接层，得到目标检测的最终结果。
需要说明的是，图5所示处理方式仅是以VGG-16的网络构架为例说明本发明实施例提供的目标检测方法的实现方式，并不以此限制进行目标检测时仅能对第7层、第10层和第13层卷积层进行分支卷积处理，也不限制进行融合处理后，必须经过三个全连接层的处理。
还需要说明的是，本发明上述图3到图5所示处理方式中，对CNN中的哪些卷积层进行分支卷积处理，进行分支卷积处理时采用的卷积核的大小，以及VGG网络中选用哪种配置和该选用配置下实现目标检测方法的具体方式都是示意性说明。
基于本发明上述各实施例提供的目标检测方法，本发明实施例还提供一种目标检测装置，该目标检测装置用于执行本发明上述任一实施例提供的目标检测方法。
如图6所示，为本发明实施例提供的一种目标检测装置的结构示意图。本实施例提供的目标检测装置20可以包括：目标检测模块21、分支卷积模块22、融合处理模块23和传输模块24。
其中，目标检测模块21，用于采用CNN进行目标检测，该CNN包括多个卷积层；
分支卷积模块22，用于对至少一个卷积层进行分支卷积处理，得到分支检测结果。
本发明实施例提供的目标检测装置，用于执行一种基于CNN的目标检测方式，也就是说，在CNN的各层结构基础上，进行算法处理以实现目标检测。CNN中通常包括多个卷积层(CONV layer)，这些卷积层是CNN结构中的核心层，用于对输入的图像数据进行检测处理，每层卷积层都按照固定大小的卷积核，对输入当前卷积层的图像数据进行卷积计算，并将卷积计算后的结果传输给下一层卷积层。
需要说明的是，CNN中的多个卷积层的层级关系通常为依次顺序排列的关系，在这些卷积层进行图像处理的过程中，由第1层卷积层对输入的图像数据进行卷积计算，将其处理后输出的数据传输到第2层卷积层，再由第2层卷积层对其接收到的图像数据进行卷积计算，将其处理后输出的数据传输到第3层卷积层，依次类推。可以将这些卷积层处理图像数据的方式，视为主干处理，即在每层卷积层仅对图像数据进行了一次卷积计算，参考图2所示现有技术中的卷积层处理方式，图2中仅示意出了6层卷积层，并未示意出CNN中的其它层级，并且该6层卷积层依次排列，并且按照排列顺序依次进行卷积处理。
在本发明实施例中，目标检测模块21在CNN进行目标检测的基础上，即在主干处理的基础上，可以由分支卷积模块22在CNN的多个卷积层中选取其中的一个或多个卷积层，对选取的这个或这些卷积层进行分支卷积处理，参考图3所示的卷积层处理方式，在上述图2所示卷积层的处理方式基础上，图3以对其中的第2层和第4层卷积层进行分支卷积处理为例予以示出。可以看出，将图3中的每层卷积层依次进行的卷积计算视为主干处理，分支卷积处理就是在主干的基础上，加入了分支处理，如图3中对第2层和第4层卷积层的分支处理。另外，主干处理仅生成一个结果，即最后一层卷积层(图3中第6层卷积层)输出的检测结果，而分支处理则输出多个结果，例如，图3中对上述2个卷积层进行了分支卷积处理，若对上述2个卷积层都进行了两次并行的分支卷积处理，则输出4个分支检测结果，如图3中所示。
需要说明的是，若没有对CNN中最后一层(如图3中第6层)卷积层进行分支检测处理，则第6层卷积层仍然输出主干处理的检测结果；若对CNN中最后一层卷积层进行了分支检测处理，则只输出分支检测结果，不再输出第6层的主干处理的检测结果，参考图4所示的卷积层处理方式，图4所示CNN的网络结构与图3中相同，不同的是，图4中对第2层、第4层和第6层(最后一层)卷积层进行分支卷积处理，此时，第6层卷积层仅输出分支检测结果。另外，图3和图4所示处理方式中，由融合处理层将包括分支处理的检测结果进行融合处理后，传输至全连接层，图中示意出2层全连接层，并不表示本发明实施例的CNN中必须包括2层全连接层。
融合处理模块23，用于对分支检测结果进行融合处理，或者，对分支检测结果和CNN中最后一层卷积层的检测结果进行融合处理；
传输模块24，用于将融合处理的结果传输给全连接层。
如图2所示的现有技术中的CNN中卷积层的处理方式，所有卷积层仅输出一个检测结果，即最后一层卷积层进行卷积计算后生成的检测结果，因此可以直接将这一个检测结果传输给全连接层。本发明实施例中，在分支卷积模块22获取到分支检测结果后，得到的分支检测结果为多个，可选地，也可能分支卷积模块22获取到一个或多个分支检测结果，目标检测模块21获取到主干处理的检测结果，因此，融合处理模块23的对象可能包括多个分支检测结果或者包括至少一个分支检测结果和主干处理的检测结果，此时，融合处理模块23可以对这些检测结果进行融合处理，融合处理就是将多个大小不同的图像缩放成大小一致的尺寸，从而可以将多个图像数据的信息整合起来进行目标检测，随后由传输模块24将融合处理后得到的图像数据传输至全连接层。
上述已经说明是否对CNN中最后一层卷积层进行分支检测处理，决定CNN输出的检测结果的数量和内容。可选地，分支卷积模块22进行分支卷积处理的卷积层包括CNN中最后一层卷积层，该最后一层卷积层仅输出分支检测结果，不再输出该层进行主干处理的检测结果，则进行融合处理的实现方式，可以包括：对每个进行分支卷积处理的卷积层的每个分支检测结果进行融合处理。可选地，分支卷积模块22进行分支卷积处理的卷积层不包括CNN中最后一层卷积层，该最后一层卷积层仍然输出主干处理的检测结果，则进行融合处理，包括：对每个进行分支卷积处理的卷积层的每个分支检测结果和CNN中最后一层卷积层的检测结果进行融合处理。
现有技术的CNN中卷积层的处理方式如上述图2所示，仅存在主干的卷积处理，例如基于CNN的yolo算法，yolo算法为了提升速度，将整张图像划分为固定大小(例如7*7、3*3)的网格，每个网格中得到两个潜在的检测窗口，是一种端到端的网络模型，直接输入图像数据，输出即为检测结果，该yolu算法在保持了较好的检测精度的同时，具备了较快的检测速度。然而，由于yolu算法的模型采用了固定的网络划分方式，对较小的目标(例如行人)检测精度不足，而行人检测的应用场景中，往往目标在图像中表现的比较小。因此，yolo算法难以实现小目标的检测。
针对现有CNN中行人检测中处理速度慢和小目标难以检测的问题，本发明实施例基于VGG网络构架，在已有卷积层的基础上建立卷积层的分支，即得到多个分支检测结果，并且在将图像数据传输至全连接层之前，对多个检测结果(包括至少一个分支检测结果和主干处理的检测结果，或者包括多个分支检测结果)进行融合处理，即得到的检测结果包括不同尺度的检测信息，从而使得目标检测装置的适用性更加广泛，可以应用于小目标的目标检测方式中。
本发明实施例提供的目标检测装置，在目标检测模块采用CNN进行目标检测的过程中，分支卷积模块通过对CNN中至少一个卷积层进行分支卷积处理得到分支检测结果，并且由融合处理模块对该分支检测结果进行融合处理，或者，对该分支检测结果和CNN中最后一层卷积层的检测结果进行融合处理，随后，传输模块将融合处理的结果传输给全连接层；加入分支卷积处理后，将传统CNN中仅包括主干处理的卷积层处理方式改变为主干处理结合分支处理的方式，即在目标检测中加入了各分支的检测信息；本发明实施例提供的目标检测装置，基于VGG网络构架，在已有卷积层的基础上建立卷积层的分支，使得目标检测装置的适用性更加广泛，解决了基于CNN的行人检测中处理速度慢和小目标难以检测的技术问题。
可选地，在本发明实施例中，分支卷积模块22对至少一个卷积层进行分支卷积处理的实现方式，可以包括：
对每个进行分支卷积处理的卷积层进行一次或多次并行的分支卷积处理，对不同卷积层进行分支卷积处理的次数为相同的或不同的。
在本发明实施例中，可以是对一个卷积层进行一次或多次并行的分支卷积处理，也可以是对多个卷积层进行一次或多次并行的分支卷积处理，还可以是对一部分卷积层进行一次分支卷积处理，对另一部分卷积层进行多次并行的分支卷积处理。在具体实现中，对CNN中哪些卷积层进行分支卷积处理，对已选择待进行分支卷积处理的这些卷积层，具体对哪层卷积层进行一次处理，对哪层卷积层进行多次并行处理，这些都可以由设计人员进行配置。例如，图3所示处理方式中，对第2层和第4层卷积层进行分支卷积处理，并且对其中每个卷积层都进行了两次并行的处理；再例如，图4所示处理方式中，对第2层、第4层和第6层卷积层进行分支卷积处理，对其中第4层卷积层进行1次处理，对第2层和第6层卷积层进行了两次并行的处理。
在实际应用中，对不同卷积层进行分支卷积处理时采用的卷积核的大小为相同的或不同的，对同一卷积层进行多次并行的分支卷积处理时采用的卷积核的大小为相同的或不同的，本发明实施例中，进行每次分支卷积处理时采用的卷积核的大小可以根据实际情况由设计人员进行配置。例如，图3所示处理方式中，对第2层卷积层进行的两次处理中卷积核分别为2*3和4*5，对第4层卷积层进行的两次处理中卷积核分别为3*5和5*7；再例如，图4所示处理方式中，对第2层和第6层卷积层进行的两次处理中卷积核分别为3*5和5*7，对第4层卷积层进行的一次处理中卷积核为3*5。
可选地，在本发明实施例中，分支卷积模块22对至少一个卷积层进行分支卷积处理的实现方式，可以包括：采用n*m的卷积核对至少一个卷积层进行分支卷积处理。上述实施例中已经说明进行分支卷积处理时，卷积核的大小是可以配置的，若需要对行人进行目标检测，则可以配置的卷积核n*m中，n<m，n和m为正整数，这样的配置更符合行人的检测大小。
如上述的几种卷积核的大小，本发明实施例针对行人这一特定目标，改进了卷积处理时网格划分方式，即卷积核的大小不再是现有方式中的固定大小，使得目标检测装置更加适用于对行人进行检测。
需要说明的是，CNN中不仅包括多个卷积层，还可以包括多个池化层(Poolinglayer)，这些池化层间隔的设置于不同的卷积层之后，例如，图3和图4所示处理方式中，第3层、第5层和第6层之后设置有池化层(图中并未示出池化层)，池化层间隔设置于连续的卷积层中间，主要用于压缩图像数据。因此，本发明实施例对多个卷积层进行分支卷积处理时，通常选取的多个卷积层位于CNN中不同池化层之间，即在目标检测中加入了多尺度分支，可以在不同的卷积层进行多尺度检测，也就是说，进行分支卷积处理的卷积层的分辨率不同，可以分别针对具有不同大小的目标进行检测。另外，不同尺度的分支中，卷积核的大小可以根据检测的不同目标进行配置，即通过多个不同尺度的多种网格，进一步提高目标检测装置的适用范围。
可选地，图7为本发明实施例提供的另一种目标检测装置的结构示意图，在图6所示装置的结构基础上，本发明实施例提供的装置还可以包括：
输入模块25，用于输入待执行目标检测的原始图像；
输出模块26，用于输出经全连接层处理后的目标检测结果。
可选地，在本发明实施例中，CNN可以为VGG网络，VGG网络的配置如上述实施例中的表1所示，具有6种配置(即配置A～配置E)，其中，各种配置的卷积层、池化层和全连接层已在表1中详细列出。
以下以VGG网络构架为例，说明采用本发明实施例提供的目标检测装置进行目标检测的实现方式，参见图5处理方式，同样以VGG网络中的配置D为例予以示出，配置D为16层(其中包括13层卷积层和3层全连接层)，以下简称为VGG-16，本实施例中分支卷积模块22对至少一个卷积层进行分支卷积处理的实现方式，可以包括：
分别对VGG-16中的第7层卷积层，第10层卷积层和第13层卷积层进行两次并行的分支卷积处理；其中，对第7层、第10层和第13层卷积层进行的两次并行的分支卷积处理所采用的卷积核分别为3*5和5*7。图5所示处理方式中，采用VGG-16作为网络主构架，利用VGG-16的前13个卷积层作为网络的主干，在不同卷积层建立网络分支，即分别在第7层、第10层和第13层卷积层后，进行分支卷积处理，加入多尺度分支，并且这3层在不同的池化层之间，具有不同的分辨率，可以分别针对具有不同大小的目标进行检测，从而达到多尺度检测的目的。另外，针对行人的形状特征，采用了3*5和5*7这两种网格划分方式，并将不同分支的检测结果，经过融合处理综合在一起，最后经过全连接层，得到目标检测的最终结果。
需要说明的是，上述处理方式仅是以VGG-16的网络构架为例说明本发明实施例提供的目标检测装置的实现方式，并不以此限制进行目标检测时仅能对第7层、第10层和第13层卷积层进行分支卷积处理，也不限制进行融合处理后，必须经过三个全连接层的处理。
还需要说明的是，本发明上述图3到图5所示处理方式中，对CNN中的哪些卷积层进行分支卷积处理，进行分支卷积处理时采用的卷积核的大小，以及VGG网络中选用哪种配置和该选用配置下实现目标检测装置的具体方式都是示意性说明。
图8为本发明实施例提供的一种计算机设备的结构示意图。本发明实施例提供的计算机设备30可以包括：存储器31和处理器32。
其中，存储器31，用于保存可执行指令；
处理器32，用于在执行存储器31保存的可执行指令时实现本发明上述任一实施例提供的目标检测方法。
本发明实施例提供的计算机设备30的实施方式与本发明上述实施例提供的目标检测方法基本相同，在此不做赘述。
本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有可执行指令，该可执行指令被处理器执行时可以实现本发明上述任一实施例提供的目标检测方法。本发明实施例提供的计算机可读存储介质的实施方式与本发明上述实施例提供的目标检测方法基本相同，在此不做赘述。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (17)

1.一种目标检测方法，其特征在于，包括：
采用卷积神经网络进行目标检测，所述卷积神经网络包括多个卷积层；
对至少一个所述卷积层进行分支卷积处理，得到分支检测结果；
对所述分支检测结果进行融合处理，或者，对所述分支检测结果和所述卷积神经网络中最后一层卷积层的检测结果进行融合处理，并将所述融合处理的结果传输给全连接层。
2.根据权利要求1所述的目标检测方法，其特征在于，所述对至少一个所述卷积层进行分支卷积处理，包括：
对每个进行分支卷积处理的卷积层进行一次或多次并行的分支卷积处理，对不同卷积层进行分支卷积处理的次数为相同的或不同的；
其中，对不同卷积层进行分支卷积处理时采用的卷积核的大小为相同的或不同的，对同一卷积层进行多次并行的分支卷积处理时采用的卷积核的大小为相同的或不同的。
3.根据权利要求1所述的目标检测方法，其特征在于，
所述进行分支卷积处理的卷积层包括所述卷积神经网络中最后一层卷积层，所述进行融合处理，包括：
对每个进行分支卷积处理的卷积层的每个分支检测结果进行融合处理。
4.根据权利要求1所述的目标检测方法，其特征在于，
所述进行分支卷积处理的卷积层不包括所述卷积神经网络中最后一层卷积层，所述进行融合处理，包括：
对每个进行分支卷积处理的卷积层的每个分支检测结果和所述卷积神经网络中最后一层卷积层的检测结果进行融合处理。
5.根据权利要求1所述的目标检测方法，其特征在于，所述卷积神经网络还包括间隔设置于不同卷积层之后的多个池化层。
6.根据权利要求1～5中任一项所述的目标检测方法，其特征在于，所述对至少一个所述卷积层进行分支卷积处理，包括：
采用n*m的卷积核对至少一个所述卷积层进行分支卷积处理，其中，n<m，n和m为正整数。
7.根据权利要求1～5中任一项所述的目标检测方法，其特征在于，所述卷积神经网络为VGG网络。
8.根据权利要求7所述的目标检测方法，其特征在于，所述VGG网络配置为16层的VGG-16，所述对至少一个所述卷积层进行分支卷积处理，包括：
分别对所述VGG-16中的第7层、第10层和第13层卷积层进行两次并行的分支卷积处理；其中，对所述第7层、所述第10层和所述第13层卷积层进行的两次并行的分支卷积处理所采用的卷积核分别为3*5和5*7。
9.一种目标检测装置，其特征在于，包括：
目标检测模块，用于采用卷积神经网络进行目标检测，所述卷积神经网络包括多个卷积层；
分支卷积模块，用于对至少一个所述卷积层进行分支卷积处理，得到分支检测结果；
融合处理模块，用于对所述分支检测结果进行融合处理，或者，对所述分支检测结果和所述卷积神经网络中最后一层卷积层的检测结果进行融合处理；
传输模块，用于将融合处理的结果传输给全连接层。
10.根据权利要求9所述的目标检测装置，其特征在于，所述分支卷积模块对至少一个所述卷积层进行分支卷积处理，包括：
对每个进行分支卷积处理的卷积层进行一次或多次并行的分支卷积处理，对不同卷积层进行分支卷积处理的次数为相同的或不同的；
其中，所述分支卷积模块对不同卷积层进行分支卷积处理采用的卷积核的大小为相同的或不同的，对同一卷积层进行多次并行的分支卷积处理采用的卷积核的大小为相同的或不同的。
11.根据权利要求9所述的目标检测装置，其特征在于，
所述分支卷积模块进行分支卷积处理的卷积层包括所述卷积神经网络中最后一层卷积层，所述融合处理模块进行融合处理，包括：
对每个进行分支卷积处理的卷积层的每个分支检测结果进行融合处理。
12.根据权利要求9所述的目标检测装置，其特征在于，
所述分支卷积模块进行分支卷积处理的卷积层不包括所述卷积神经网络中最后一层卷积层，所述融合处理模块进行融合处理，包括：
对每个进行分支卷积处理的卷积层的每个分支检测结果和所述卷积神经网络中最后一层卷积层的检测结果进行融合处理。
13.根据权利要求9所述的目标检测装置，其特征在于，所述卷积神经网络还包括间隔设置于不同卷积层之后的多个池化层。
14.根据权利要求9～13中任一项所述的目标检测装置，其特征在于，还包括：
输入模块，用于输入待执行目标检测的原始图像；
输出模块，用于输出经所述全连接层处理后的目标检测结果。
15.根据权利要求9～13中任一项所述的目标检测装置，其特征在于，所述分支卷积模块对至少一个所述卷积层进行分支卷积处理，包括：
采用n*m的卷积核对至少一个所述卷积层进行分支卷积处理，其中，n<m，n和m为正整数。
16.一种计算机设备，其特征在于，包括：存储器和处理器；
所述存储器，用于保存可执行指令；
所述处理器，用于在执行所述存储器保存的所述可执行指令时实现如权利要求1～8中任一项所述的目标检测方法。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有可执行指令，所述可执行指令被处理器执行时实现如权利要求1～8中任一项所述的目标检测方法。
CN201810267167.2A 2018-03-28 2018-03-28 一种目标检测方法、装置、计算机设备及可读存储介质 Active CN108416327B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810267167.2A CN108416327B (zh) 2018-03-28 2018-03-28 一种目标检测方法、装置、计算机设备及可读存储介质
US16/141,637 US10896354B2 (en) 2018-03-28 2018-09-25 Target detection method and device, computing device and readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810267167.2A CN108416327B (zh) 2018-03-28 2018-03-28 一种目标检测方法、装置、计算机设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN108416327A true CN108416327A (zh) 2018-08-17
CN108416327B CN108416327B (zh) 2022-04-29

Family

ID=63132633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810267167.2A Active CN108416327B (zh) 2018-03-28 2018-03-28 一种目标检测方法、装置、计算机设备及可读存储介质

Country Status (2)

Country Link
US (1) US10896354B2 (zh)
CN (1) CN108416327B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272060A (zh) * 2018-09-06 2019-01-25 湖北工业大学 一种基于改进的darknet神经网络进行目标检测的方法和***
CN109784327A (zh) * 2018-12-04 2019-05-21 北京达佳互联信息技术有限公司 边界框确定方法、装置、电子设备及存储介质
CN110059554A (zh) * 2019-03-13 2019-07-26 重庆邮电大学 一种基于交通场景的多支路目标检测方法
CN110969217A (zh) * 2018-09-28 2020-04-07 杭州海康威视数字技术股份有限公司 基于卷积神经网络进行图像处理的方法和装置
CN110991252A (zh) * 2019-11-07 2020-04-10 郑州大学 一种不均衡场景中人群分布与计数的检测方法
CN111539291A (zh) * 2020-04-16 2020-08-14 创新奇智(合肥)科技有限公司 基于雷达波的目标检测方法及装置、电子设备、存储介质
CN111695380A (zh) * 2019-03-13 2020-09-22 杭州海康威视数字技术股份有限公司 目标检测方法及装置
CN112836804A (zh) * 2021-02-08 2021-05-25 北京迈格威科技有限公司 图像处理方法、装置、电子设备及存储介质
CN113591543A (zh) * 2021-06-08 2021-11-02 广西综合交通大数据研究院 交通标志识别方法、装置、电子设备及计算机存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769006B2 (en) 2018-07-31 2020-09-08 Cisco Technology, Inc. Ensemble risk assessment method for networked devices
CN111091122B (zh) * 2019-11-22 2024-01-05 国网山西省电力公司大同供电公司 一种多尺度特征卷积神经网络的训练和检测方法、装置
CN111144209B (zh) * 2019-11-25 2024-07-02 浙江工商大学 一种基于异构多分支深度卷积神经网络的监控视频人头检测方法
CN111027493B (zh) * 2019-12-13 2022-05-20 电子科技大学 一种基于深度学习多网络软融合的行人检测方法
CN111259736B (zh) * 2020-01-08 2023-04-07 上海海事大学 一种基于深度学习的复杂环境下行人实时检测方法
CN111294512A (zh) * 2020-02-10 2020-06-16 深圳市铂岩科技有限公司 图像处理方法、装置、存储介质及摄像装置
CN111127468B (zh) * 2020-04-01 2020-08-25 北京邮电大学 一种道路裂缝检测方法和装置
CN111582091B (zh) * 2020-04-27 2023-05-02 西安交通大学 基于多分支卷积神经网络的行人识别方法
CN113420706B (zh) * 2021-07-05 2022-05-24 吉林大学 一种基于多层特征融合的车辆检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529402A (zh) * 2016-09-27 2017-03-22 中国科学院自动化研究所 基于多任务学习的卷积神经网络的人脸属性分析方法
WO2017055412A1 (en) * 2015-09-30 2017-04-06 Siemens Healthcare Gmbh Method and system for classification of endoscopic images using deep decision networks
EP3171297A1 (en) * 2015-11-18 2017-05-24 CentraleSupélec Joint boundary detection image segmentation and object recognition using deep learning
CN107066941A (zh) * 2017-03-01 2017-08-18 桂林电子科技大学 一种人脸识别方法和***
CN107578060A (zh) * 2017-08-14 2018-01-12 电子科技大学 一种基于可判别区域的深度神经网络用于菜品图像分类的方法
US20180025217A1 (en) * 2016-07-22 2018-01-25 Nec Laboratories America, Inc. Liveness detection for antispoof face recognition
CN107808157A (zh) * 2017-11-08 2018-03-16 广东工业大学 一种***编码定位及识别的方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3053487A1 (en) * 2017-02-22 2018-08-30 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Detection of prostate cancer in multi-parametric mri using random forest with instance weighting & mr prostate segmentation by deep learning with holistically-nested networks
WO2019009449A1 (ko) * 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
WO2019032481A1 (en) * 2017-08-08 2019-02-14 Siemens Aktiengesellschaft GENERATING SYNTHESIS DEPTH IMAGES FROM CAD DATA USING GENERATIVE CONTRASICITY NEURAL NETWORKS FOR ENHANCED ENHANCEMENT
EP3755204B1 (en) * 2018-02-22 2024-04-03 Innodem Neurosciences Eye tracking method and system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017055412A1 (en) * 2015-09-30 2017-04-06 Siemens Healthcare Gmbh Method and system for classification of endoscopic images using deep decision networks
EP3171297A1 (en) * 2015-11-18 2017-05-24 CentraleSupélec Joint boundary detection image segmentation and object recognition using deep learning
US20180025217A1 (en) * 2016-07-22 2018-01-25 Nec Laboratories America, Inc. Liveness detection for antispoof face recognition
CN106529402A (zh) * 2016-09-27 2017-03-22 中国科学院自动化研究所 基于多任务学习的卷积神经网络的人脸属性分析方法
CN107066941A (zh) * 2017-03-01 2017-08-18 桂林电子科技大学 一种人脸识别方法和***
CN107578060A (zh) * 2017-08-14 2018-01-12 电子科技大学 一种基于可判别区域的深度神经网络用于菜品图像分类的方法
CN107808157A (zh) * 2017-11-08 2018-03-16 广东工业大学 一种***编码定位及识别的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
顾佳玲等: "增长式卷积神经网络及其在人脸检测中的应用", 《***仿真学报》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272060A (zh) * 2018-09-06 2019-01-25 湖北工业大学 一种基于改进的darknet神经网络进行目标检测的方法和***
CN109272060B (zh) * 2018-09-06 2021-04-16 湖北工业大学 一种基于改进的darknet神经网络进行目标检测的方法和***
CN110969217A (zh) * 2018-09-28 2020-04-07 杭州海康威视数字技术股份有限公司 基于卷积神经网络进行图像处理的方法和装置
CN110969217B (zh) * 2018-09-28 2023-11-17 杭州海康威视数字技术股份有限公司 基于卷积神经网络进行图像处理的方法和装置
CN109784327A (zh) * 2018-12-04 2019-05-21 北京达佳互联信息技术有限公司 边界框确定方法、装置、电子设备及存储介质
CN109784327B (zh) * 2018-12-04 2021-04-16 北京达佳互联信息技术有限公司 边界框确定方法、装置、电子设备及存储介质
CN110059554B (zh) * 2019-03-13 2022-07-01 重庆邮电大学 一种基于交通场景的多支路目标检测方法
CN110059554A (zh) * 2019-03-13 2019-07-26 重庆邮电大学 一种基于交通场景的多支路目标检测方法
CN111695380A (zh) * 2019-03-13 2020-09-22 杭州海康威视数字技术股份有限公司 目标检测方法及装置
CN111695380B (zh) * 2019-03-13 2023-09-26 杭州海康威视数字技术股份有限公司 目标检测方法及装置
CN110991252A (zh) * 2019-11-07 2020-04-10 郑州大学 一种不均衡场景中人群分布与计数的检测方法
CN110991252B (zh) * 2019-11-07 2023-07-21 郑州大学 一种不均衡场景中人群分布与计数的检测方法
CN111539291A (zh) * 2020-04-16 2020-08-14 创新奇智(合肥)科技有限公司 基于雷达波的目标检测方法及装置、电子设备、存储介质
WO2022166320A1 (zh) * 2021-02-08 2022-08-11 北京迈格威科技有限公司 图像处理方法、装置、电子设备及存储介质
CN112836804A (zh) * 2021-02-08 2021-05-25 北京迈格威科技有限公司 图像处理方法、装置、电子设备及存储介质
CN112836804B (zh) * 2021-02-08 2024-05-10 北京迈格威科技有限公司 图像处理方法、装置、电子设备及存储介质
CN113591543A (zh) * 2021-06-08 2021-11-02 广西综合交通大数据研究院 交通标志识别方法、装置、电子设备及计算机存储介质
CN113591543B (zh) * 2021-06-08 2024-03-26 广西综合交通大数据研究院 交通标志识别方法、装置、电子设备及计算机存储介质

Also Published As

Publication number Publication date
US10896354B2 (en) 2021-01-19
US20190303731A1 (en) 2019-10-03
CN108416327B (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN108416327A (zh) 一种目标检测方法、装置、计算机设备及可读存储介质
CN109949255B (zh) 图像重建方法及设备
Chen et al. Multi-modal fusion network with multi-scale multi-path and cross-modal interactions for RGB-D salient object detection
Hazirbas et al. Fusenet: Incorporating depth into semantic segmentation via fusion-based cnn architecture
TWI775605B (zh) 深度視覺處理器
CN107403141B (zh) 人脸检测方法及装置、计算机可读存储介质、设备
CN110378222B (zh) 一种输电线路防震锤目标检测与缺陷识别方法及装置
CN109919097A (zh) 基于多任务学习的人脸和关键点联合检测***、方法
CN108764063A (zh) 一种基于特征金字塔的遥感影像时敏目标识别***及方法
CN106951395A (zh) 面向压缩卷积神经网络的并行卷积运算方法及装置
CN107895191A (zh) 一种信息处理方法及相关产品
CN109784194A (zh) 目标检测网络构建方法和训练方法、目标检测方法
CN108765506A (zh) 基于逐层网络二值化的压缩方法
CN109902548A (zh) 一种对象属性识别方法、装置、计算设备及***
CN110222717A (zh) 图像处理方法和装置
CN109785344A (zh) 基于特征重标定的双通路残差网络的遥感图像分割方法
CN112529146B (zh) 神经网络模型训练的方法和装置
CN112712546A (zh) 一种基于孪生神经网络的目标跟踪方法
US11568212B2 (en) Techniques for understanding how trained neural networks operate
CN111160225B (zh) 基于深度学习的人体解析方法和装置
CN109496319A (zh) 人工智能处理装置硬件优化方法、***、存储介质、终端
Bhattacharya et al. Interleaved deep artifacts-aware attention mechanism for concrete structural defect classification
CN110363211A (zh) 检测网络模型和目标检测方法
CN106874913A (zh) 一种菜品检测方法
CN117237808A (zh) 基于odc-yolo网络的遥感图像目标检测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant