CN107851195B - 利用神经网络进行目标检测 - Google Patents

利用神经网络进行目标检测 Download PDF

Info

Publication number
CN107851195B
CN107851195B CN201580081941.5A CN201580081941A CN107851195B CN 107851195 B CN107851195 B CN 107851195B CN 201580081941 A CN201580081941 A CN 201580081941A CN 107851195 B CN107851195 B CN 107851195B
Authority
CN
China
Prior art keywords
feature map
classifier
convolutional
map patch
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580081941.5A
Other languages
English (en)
Other versions
CN107851195A (zh
Inventor
姜晓恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN107851195A publication Critical patent/CN107851195A/zh
Application granted granted Critical
Publication of CN107851195B publication Critical patent/CN107851195B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种装置，其包括至少一个处理内核、包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置为与至少一个处理内核一起使得该装置至少：向包括卷积层集合的人工神经网络的第一卷积层提供输入数据项(610)，在卷积层集合中处理输入数据项(620)，在从卷积层集合中的最后的卷积层输出的特征图中定义第一特征图补丁和第二特征图补丁，以及向第一分类器提供第一特征图补丁并且向第二分类器提供第二特征图补丁(630)。

Description

利用神经网络进行目标检测
技术领域
本发明涉及使用计算网络来检测对象。
背景技术
机器学习是探索能够从数据中进行学习的算法设计的学科。机器学习算法可以适应输入来构建模型，并且然后可以被用在新数据上以进行预测。机器学习与统计学、人工智能和优化有关，并且常常被用在其中明确的基于规则的算法难以用公式表示的任务中。这样的任务的示例包括图像识别、字符识别和垃圾邮件过滤。
人工神经网络是能够进行机器学习的计算工具。在下文中可以被称为神经网络的人工神经网络中，被称为“神经元”的互连的计算单元被允许适应训练数据，并且随后一起工作以在模型中产生预测，该模型在某种程度上可以类似于生物学神经网络中的处理。
神经网络可以包括一组层，第一层是被配置为接收输入的输入层。输入层包括神经元，神经元被连接到被包括在第二层中的神经元，第二层可以被称为隐藏层。隐藏层的神经元可以连接到另外的隐藏层或输出层。
在一些神经网络中，一层中的每个神经元具有与下一层中的每个神经元的连接。这样的神经网络被称为全连接网络。训练数据用于让每个连接承担表征连接强度的权重。一些神经网络包括全连接层和未完全连接的层。卷积神经网络中的全连接层可以被称为密集连接层。
在一些神经网络中，信号严格地以一种方式从输入层传播到输出层，这表示不存在传播回输入层的连接。这样的神经网络被称为前馈神经网络。在传播回输入层的连接确实存在的情况下，所讨论的神经网络可以被称为递归神经网络。
卷积神经网络CNN是包括未完全连接的层的前馈神经网络。在CNN中，卷积层中的神经元连接到较早层的子集或邻域中的神经元。这使得在至少一些CNN中能够保持输入中的空间特征。CNN可以具有卷积层和全连接层两者。
发明内容
本发明由独立权利要求的特征限定。在从属权利要求中限定了一些具体实施例。
根据本发明的第一方面，提供了一种装置，其包括至少一个处理内核、包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置为与至少一个处理内核一起使得该装置至少：向包括卷积层集合的人工神经网络的第一卷积层提供输入数据项，在卷积层集合中处理输入数据项，在从卷积层集合中的最后的卷积层输出的特征图中定义第一特征图补丁和第二特征图补丁，以及向第一分类器提供第一特征图补丁并且向第二分类器提供第二特征图补丁。
第一方面的各种实施例可以包括来自以下项目列表的至少一个特征：
·输入数据项包括图像
·至少一个存储器和计算机程序代码被配置为与至少一个处理内核一起使得该装置通过组合原始图像的缩放版本集合来导出图像
·第一分类器包括人工神经网络的第一全连接层
·第二分类器包括人工神经网络的第二全连接层
·卷积层集合包括四个卷积层
·该装置被布置为通过在后续层中处理之前对前一卷积层的输出进行归一化来在卷积层集合中处理输入数据项
·该装置被布置为通过在后续层中处理之前对前一卷积层的输出进行子采样来在卷积层集合中处理输入数据项
·该装置被布置为通过在第三卷积层之后执行局部对比度归一化来在卷积层集合中处理输入数据项
·人工神经网络被配置为检测人的图像
·卷积神经网络被配置为检测行人的图像
·第一特征图补丁和第二特征图补丁至少部分交叠
·第一特征图补丁被包括在第二特征图补丁中。
根据本发明的第二方面，提供了一种方法，其包括：向包括卷积层集合的人工神经网络的第一卷积层提供输入数据项，在卷积层集合中处理输入数据项，在从卷积层集合中的最后的卷积层输出的特征图中定义第一特征图补丁和第二特征图补丁，以及向第一分类提供第一特征图补丁并且向第二分类器提供第二特征图补丁。
第二方面的各种实施例可以包括来自以下项目列表的至少一个特征：
·输入数据项包括图像
·该方法包括通过组合原始图像的缩放版本集合来导出图像
·第一分类器包括人工神经网络的第一全连接层
·第二分类器包括人工神经网络的第二全连接层
·卷积层集合包括四个卷积层
·在卷积层集合中处理输入数据项包括在后续层中处理之前对前一卷积层的输出进行归一化
·在卷积层集合中处理输入数据项包括在后续层中处理之前对前一卷积层的输出进行子采样
·在卷积层集合中处理输入数据项包括在第三卷积层之后执行局部对比度归一化
·人工神经网络被配置为检测人的图像
·卷积神经网络被配置为检测行人的图像
·第一特征图补丁和第二特征图补丁至少部分交叠
·第一特征图补丁被包括在在第二特征图补丁中。
根据本发明的第三方面，提供了一种装置，其包括：用于向包括卷积层集合的人工神经网络的第一卷积层提供输入数据项的装置，用于在卷积层集合中处理输入数据项的装置，用于在从卷积层集合中的最后的卷积层输出的特征图中定义第一特征图补丁和第二特征图补丁的装置，以及用于向第一分类器提供第一特征图补丁并且向第二分类器提供第二特征图补丁的装置。
根据本发明的第四方面，提供了一种非暂态计算机可读介质，具有在其上存储的计算机可读指令集，计算机可读指令集在由至少一个处理器执行时使得装置至少：向包括卷积层集合的人工神经网络的第一卷积层提供输入数据项，在卷积层集合中处理输入数据项，在从卷积层集合中的最后的卷积层输出的特征图中定义第一特征图补丁和第二特征图补丁，以及向第一分类器提供第一特征图补丁并且向第二分类器提供第二特征图补丁。
根据本发明的第五方面，提供了一种计算机程序，其被配置为使得根据第二方面的方法被执行。
工业适用性
本发明的至少一些实施例在增强基于机器的模式识别中找到工业应用。
附图说明
图1示出了能够支持本发明的至少一些实施例的示例***；
图2A和图2B示出了根据本发明的至少一些实施例的示例CNN；
图3示出了能够支持本发明的至少一些实施例的示例装置；
图4示出了根据本发明的至少一些实施例的示例人工神经网络；
图5示出了根据本发明的至少一些实施例的特征图补丁与输入图像部分之间的对应关系，以及
图6是根据本发明的至少一些实施例的方法的流程图。
具体实施方式
为了减少识别大小不同的对象中的计算负担，针对至少两个尺度重复使用人工神经网络中的卷积层集合，使得卷积处理仅发生一次以便以至少两个尺度执行对象识别。卷积层的特征可以用于对单个输入图像操作，使得从所得到的特征图可以标识与至少两个尺度相对应的至少两个特征图补丁。至少两个特征图补丁中的每一个然后可以作为输入被提供给相应的分类器，其被布置为以相应的尺度执行对象识别。
图1示出了能够支持本发明的至少一些实施例的示例***。图1具有行人120正在其上行走的道路101的视图110。虽然在本文中结合检测行人进行描述，但是本发明不限于此，而是如本领域技术人员将理解的，本发明还更一般地适用于视觉、听觉或其他类型的数据中的模式识别。例如，取决于所讨论的实施例，骑自行车者识别、手写识别、面部识别、交通标志识别、语音识别、语言识别、手语识别和/或垃圾邮件识别可以受益于本发明。
在图1中，道路101由相机130成像。相机130被配置为捕获至少部分地覆盖道路的视图110。相机130可以被配置为预处理从图像捕获设备获得的图像数据，图像捕获设备诸如被包括在相机130中的电荷耦合设备CCD等。预处理的示例包括简化为黑白、对比度调整和亮度平衡以增加捕获图像中存在的动态范围。在一些实施例中，图像数据也被缩放到适合于馈送到图像识别算法的位深度。预处理可以包括选择感兴趣的区域，诸如区域125，例如用于馈送到图像识别算法中。预处理在本质上可以是不存在的或者是有限的，因为CNN的一个益处在于，一般的输入数据在提供给CNN之前不需要被广泛地预处理。例如，相机130可以安装在被配置为自己驾驶的汽车中。备选地，相机130可以安装在被设计为由人类驾驶员驾驶的汽车中，但是如果汽车似乎将要撞上行人或动物，则提供警告和/或自动刹车。
数据从相机130被提供到卷积神经网络，卷积神经网络包括阶段140、150、160、170和180。阶段140包括第一卷积层，第一卷积层被配置为处理从相机130接收的图像。第一卷积层140可以包括多个内核，多个内核被布置为处理来自从相机130接收的图像的数据。提供给内核的图像的一部分可以被称为内核的感受野(receptive field)。内核的替代术语是过滤器。例如，相邻内核的感受野可以在一定程度上交叠，这可以使得卷积神经网络能够响应于在图像中移动的对象。在一些实施例中，内核第一卷积层140采用相同的权重，这表示虽然权重可以在被包括在内核中的神经元之间不同，但是内核权重表对于第一卷积层140的每个内核是相同的。这减少了独立权重的数目并且使得卷积神经网络以类似的方式处理图像的不同部分。在例如行人检测中，这可以是有用的，因为行人可能存在于图像的任何部分中。控制独立权重的数目也可以提供训练卷积神经网络更容易的优点。
第一卷积层140可以产生多个特征图。第二卷积层150可以接收这些特征图，或者被使得能够从第一卷积层140读取这些特征图。第二卷积层150可以使用第一卷积层140的全部特征图或者仅使用它们的子集。在这点上，子集表示包括由第一卷积层140产生的特征图中的至少一个特征图而不是全部特征图的集合。第二卷积层150可以被配置为使用第二卷积层150的一个或多个内核来处理在第一卷积层中产生的特征图以产生第二层特征图。第二层特征图可以至少部分地被提供给第三卷积层160，第三卷积层160又可以被布置为使用第三卷积层160的内核来处理第二层特征图以产生至少一个第三层特征图作为输出。
图1的阶段170包括第一分类器，第一分类器可以包括例如全连接层。在图1的示例中，第一分类器的输出是关于行人是否被包括在视图110中的确定。例如，第一分类器可以包括softmax(柔性最大值)分类器。阶段170被布置为接收至少一个第三层特征图的第一子部分或补丁作为输入，第一子部分对应于阶段170被布置为在其上操作以执行对象识别的尺度。
图1的阶段180包括第二分类器，第二分类器可以包括例如全连接层。在图1的示例中，第二分类器的输出是关于行人是否被包括在视图110中的确定。例如，第二分类器可以包括softmax分类器。阶段180被布置为接收至少一个第三层特征图的第二子部分或补丁作为输入，第二子部分对应于阶段180被布置为在其上操作以执行对象识别的尺度。
通常，可以存在多于两个分类器被布置为接收来自第三卷积层160的特征图数据作为输入。详细地，每个分类器可以被布置为接收特征图补丁作为输入，特征图补丁与分类器被布置为以其执行对象识别的尺度相对应。特征图补丁可以至少部分交叠。被修补的特征图中的至少一个特征图可以被包括在另一特征图补丁中。在第三卷积层160输出多个特征图的情况下，特征图补丁可以包括从最后的卷积层输出的特征图中的每个特征图的补丁。换言之，在一组特征图被输出的情况下，特征图补丁可以包括一组特征图补丁。
图1所示的三个卷积层是示例，因为卷积层的数目可以变化，例如可以有四个、五个或六个卷积层或者实际上另一数目的卷积层。用于到分类器的输入的特征图补丁在每种情况下可以源自于最后的卷积层，而不管有多少个卷积层。有益效果从针对多于一个尺度仅执行一次卷积处理被获得，因为与其中针对每个尺度单独执行卷积处理的情况相比，计算机处理时间和/或处理器周期被节省。
例如，图1的相机130和CNN可以被包括在移动设备中，诸如例如移动电话、智能电话或其他类似的移动设备。移动设备可以可附接到汽车，以使得能够在行人可能在前方的情况下警告汽车司机。
在一些实施例中，相机130和CNN没有被包括在同一装置中。例如，相机130可以被包括在汽车或移动设备中，并且相机130可以被布置为至少部分地、和/或以处理和/或压缩形式向CNN提供其视频馈送，CNN在后端服务器设备或汽车的计算机中运行。例如，服务器可以提供其向汽车或移动设备作回的决定的指示。
在一些实施例中，CNN层(诸如例如第一卷积层140和第二卷积层160)被包括在不同的装置中。例如，第一装置可以包括相机130和第一卷积层140，而第二装置可以被配置为运行第二卷积层150。原则上，第三装置可以运行第三卷积层160。例如，第一、第二和/或第三装置可以包括移动设备，或者备选地，例如，它们中的至少一个装置可以包括后端服务器。例如，在第一、第二和第三装置中的至少两个装置包括移动设备的情况下，它们可以被布置为彼此通信，例如经由近场通信接口，诸如NFC或蓝牙。
图2A示出了根据本发明的至少一些实施例的示例CNN。示例CNN包括五层，在图2A中表示为层1、层2、层3、层4和输出。层1-4是卷积层，并且输出层是全连接的。图2A的网络的输入窗口的尺寸为128×64。输出层中的分类器被布置为接收尺寸为14×6的特征图补丁。
图2B示出了根据本发明的至少一些实施例的示例CNN。示例CNN包括五层，在图2B中表示为层1、层2、层3、层4和输出。层1-4是卷积层，并且输出层是全连接的。图2B的网络的输入窗口的尺寸为152×76。层1-4与图2A的网络中相同。输出层中的分类器被布置为接收尺寸为17×7的特征图补丁。
因此，图2A和2B的CNN在输入窗口的尺寸、提供给分类器的特征图补丁的尺寸和分类器的结构方面不同。根据本发明的至少一些实施例，具有足以填充较大的输入窗口的尺寸的单个图像被提供给层1-4，之后特征图补丁从最后的卷积层的输出被确定并且被提供以分离图2A和2B的分类器。因此，两个分类器可以通过仅运行一次卷积处理而被提供特征图补丁输入。
在图示的示例中，局部对比度归一化操作跟在前三个卷积层之后。子采样操作跟在局部标准化操作之后。通常，输入图像可以包括原始图像的缩放版本。这可以有助于检测不同大小的对象。例如，原始图像的缩放版本可以在输入图像中至少部分交叠。
在图2A和2B的示例中，第一卷积层(层1)利用大小为7×7×3的32个内核、以1个像素的步幅对128×68×3的输入图像进行过滤。例如，第二卷积层将第一卷积层的输出作为输入，第一卷积层的输出可以被归一化和子采样。第二卷积层(层2)利用大小为5×5×32的64个内核来过滤其输入。例如，第三卷积层(层3)具有连接到第二卷积层的输出的大小为3×3×128的128个内核，第二卷积层的输出也可以被归一化和子采样。第四卷积层(层4)具有大小为3×3×128的内核。
图3示出了能够支持本发明的至少一些实施例的示例装置，例如通过运行CNN。示出了设备300，设备300可以包括例如计算机或计算设备。被包括在设备300中的是处理器310，处理器310可以包括例如单核或多核处理器，其中单核处理器包括一个处理内核并且多核处理器包括多于一个处理内核。例如，处理器310可以包括Qualcomm Snapdragon800处理器。处理器310可以包括多于一个处理器。处理内核可以包括例如由ARM Holdings制造的Cortex-A8处理内核或由Advanced Micro Devices公司制造的Brisbane处理内核。处理器310可以包括至少一个Qualcomm Snapdragon和/或Intel Core处理器。处理器310可以包括至少一个专用集成电路ASIC。处理器310可以包括至少一个现场可编程门阵列FPGA。处理器310可以是用于执行设备300中的方法步骤的装置。处理器310可以至少部分地由计算机指令配置为执行动作。
设备300可以包括存储器320。存储器320可以包括随机存取存储器和/或持久存储器。存储器320可以包括至少一个RAM芯片。例如，存储器320可以包括磁性、光学和/或全息存储器。存储器320可以至少部分地由处理器310可访问。存储器320可以是用于存储信息的装置。存储器320可以包括处理器310被配置为执行的计算机指令。当配置为使得处理器310执行某些动作的计算机指令被存储在存储器320中并且设备300总体上被配置为在处理器310的指引下使用来自存储器320的指令运行时，处理器310和/或其至少一个处理内核可以被认为被配置为执行上述特定动作。存储器320可以至少部分地被包括在处理器310中。
设备300可以包括发射器330。设备300可以包括接收器340。发射器330和接收器340可以被配置为分别根据至少一个蜂窝标准或非蜂窝标准来发射和接收信息。发射器330可以包括多于一个发射器。接收器340可以包括多于一个接收器。例如，发射器330和/或接收器340可以被配置为根据WLAN、以太网、宽带码分多址WCDMA和/或全球微波接入互操作性WiMAX标准进行操作。
设备300可以包括用户界面UI 360。UI 360可以包括显示器、键盘和触摸屏中的至少一个。用户可以能够经由UI 360来操作设备300，例如以配置人工神经网络或者编程用于驾驶的目的地。
处理器310可以配备有发射器，发射器被布置为经由设备300内部的电引线将来自处理器310的信息输出到被包括在设备300中的其他设备。这样的发射器可以包括串行总线发射器，串行总线发射器例如被布置为经由至少一个电引线向存储器320输出信息以存储在存储器320中。作为串行总线的备选，发射器可以包括并行总线发射器。类似地，处理器310可以包括被布置为经由设备300内部的电引线在处理器310中从被包括在设备300中的其他设备接收信息的接收器。这样的接收器可以包括串行总线接收器，串行总线接收器被布置为例如经由来自接收器340的至少一个电引线来接收信息用于在处理器310中进行处理。作为串行总线的备选，接收器可以包括并行总线接收器。
设备300可以包括图3中未示出的另外的设备。设备300可以包括被布置为至少部分地认证设备300的用户的指纹传感器。在一些实施例中，设备300缺少上述的至少一个设备。
处理器310、存储器320、发射器330、接收器340和/或UI 360可以以多种不同的方式通过设备300内部的电引线被互连。例如，前述设备中的每个设备可以分别连接到设备300内部的主总线，以允许设备交换信息。然而，如本领域技术人员将理解的，这仅仅是一个示例，并且取决于实施例，在不脱离本发明的范围的情况下，各种用于互连至少两个上述设备的方式可以被选择。
图4示出了根据本发明的至少一些实施例的示例人工神经网络。在图中的左边的是输入窗口，输入1的尺寸为128×64，输入2的尺寸为152×76，并且一般地输入n的尺寸为hn×wn。在图的中间部分的是一组卷积神经网络层，如C1-C2-C3-C4示意性地所示的。在图的右侧是被布置为用作分类器的全连接输出层。被表示为输出1的分类器被布置为接收大小为14×6的特征图补丁作为输入。这可以详细地表示，该分类器从由最后的卷积层输出的128个特征图中的每个特征图接收大小为14×6的补丁。被表示为输出2的分类器被布置为接收大小为17×7的特征图补丁作为输入。这可以详细地表示，该分类器从由最后的卷积层输出的128个特征图中的每个特征图接收大小为17×7的补丁。被表示为输出n的分类器被布置为接收大小为hn'×wn'的特征图补丁作为输入。这可以详细地表示，该分类器从由最后的卷积层输出的128个特征图中的每个特征图接收大小为hn'×wn'的补丁。例如，分类器可以包括softmax分类器。
在图4的示例中，分类器输出1被布置为在从尺寸为128×64的对应输入窗口导出的大小为14×6的特征图补丁上操作，以便以输出1被配置为在其上操作的尺度来执行对象识别。类似地，输出2到输出n分别被配置为在特定尺度上操作，并且接收从对应大小的对应输入窗口导出的特征图补丁。卷积处理只需被执行一次，节省了计算资源。输入窗口可以至少部分交叠输入图像中的输入图像部分。特征图补丁可以在从最后的卷积层输出的特征图中至少部分交叠。
图5示出了根据本发明的至少一些实施例的特征图补丁与输入图像部分之间的对应关系。在左侧的是输入图像510，并且在右侧的是经由卷积层集合C从输入图像510导出的特征图520。
具体地，尺寸为128×64的输入窗口或输入图像部分在穿过卷积层集合C时产生尺寸为14×6的特征图补丁。类似地，尺寸为152×76的输入图像部分在穿过卷积层集合C时产生尺寸为17×7的特征图补丁。尺寸为184×96的输入图像部分在穿过卷积层集合C时产生尺寸为21×9的特征图补丁，并且尺寸为220×110的输入图像部分在穿过卷积层集合C时产生尺寸为25×11的特征图补丁。所有的特征图补丁从一次通过卷积层集合C的输入图像来获得。每个特征图补丁可以以分类器被配置为在其上操作的尺度被提供给分类器用于对象识别。因此，多尺度目标识别可以利用单次通过卷积层集合C来实现。
在使用一组四个基于卷积神经网络的行人检测器的比较性能评估中，已经获得以下结果。性能评估使用INRIA行人数据集用于训练，并且使用INRIA行人数据集和Caltech-USA行人数据集两者用于测试。根据本发明的方法被标记为CNN-SF，表示具有共享特征的卷积神经网络。用于比较的方法是CNN-patch(表示具有通用补丁级对象识别的CNN)以及针对使用现有技术的方法的图像级扫描的CNN-image。在补丁级扫描中，从输入图像生成的每个候选窗口中直接提取关于窗口的特征。图像级扫描与其不同之处在于，从预先在整个输入图像上计算的特征图中提取关于窗口的特征。在表1中，MR以百分比表示每个图像的假阳性的缺失率。表1示出了CNN-SF方法实现与CNN-patch和CNN-image方法两者相似的准确度。
表1：检测准确度的比较
Figure GDA0003186092470000121
表2：速度的比较
Figure GDA0003186092470000122
表2示出了相对于CNN-patch和CNN-image技术两者使用CNN-SF的对象识别过程的显著加速。例如，相对于CNN-image技术获得了两倍的加速。
图6是根据本发明的至少一些实施例的方法的流程图。例如，所示方法的阶段可以在诸如图3的设备300的设备中执行。
阶段610包括向包括卷积层集合的人工神经网络的第一卷积层提供输入数据项。阶段620包括在卷积层集合中处理输入数据项。阶段630包括在从卷积层集合中的最后的卷积层输出的特征图中定义第一特征图补丁和第二特征图补丁。最后，阶段640包括向第一分类器提供第一特征图补丁并且向第二分类器提供第二特征图补丁。
应当理解，所公开的本发明的实施例不限于本文中公开的特定结构、过程步骤或材料，而是如本领域普通技术人员将认识到的那样扩展到其等价物。还应当理解，本文中使用的术语仅用于描述特定实施例的目的，而不旨在限制。
在整个说明书中对“一个实施例”或“实施例”的引用表示结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此，贯穿本说明书在各个地方出现的短语“在一个实施例中”或“在实施例中”不一定都指同一实施例。
如本文中使用的，为了方便起见，多个项目、结构元件、组成元件和/或材料可以呈现在公共列表中。然而，这些列表应当被解释为列表中的每个成员都被单独地标识为单独的且独特的成员。因此，这样的列表中的任何个体成员都不应当仅仅根据他们在一个共同分组中的存在而在没有相反指示的情况下被解释为事实上等同于同一列表的任何其他成员。另外，本发明的各种实施例和示例可以在本文中与其各种组件的备选方案一起被引用。可以理解，这样的实施例、示例和备选方案不被解释为事实上彼此等同，而是被认为是本发明的独立和自主的表示。
此外，所描述的特征、结构或特性可以以任何合适的方式在一个或多个实施例中被组合。在以下描述中，提供了很多具体细节，诸如长度、宽度、形状的示例，以提供对本发明实施例的透彻理解。然而，相关领域的技术人员将认识到，本发明能够在没有一个或多个具体细节的情况下或者利用其他方法、部件、材料等来被实践。在其他实例中，公知的结构、材料或操作未被示出或详细描述以避免混淆本发明的方面。
尽管前面的示例是在一个或多个特定应用中说明本发明的原理，但是对于本领域的普通技术人员来说显而易见的是，可以在没有运用创造能力并且在不偏离本发明的原理和概念的情况下，在实现的形式、使用和细节方面做出很多修改。因此，不旨在限制本发明，除了由下面阐述的权利要求限制之外。

Claims (24)

1.一种用于对象检测的装置，包括至少一个处理内核、包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理内核一起使得所述装置至少：
- 向包括卷积层集合的人工神经网络的第一卷积层提供输入数据项；
- 在所述卷积层集合中处理所述输入数据项；
- 在从所述卷积层集合中的最后的卷积层输出的特征图中定义第一特征图补丁和第二特征图补丁，以及
- 向第一分类器提供所述第一特征图补丁并且向第二分类器提供所述第二特征图补丁；
其中所述输入数据项包括图像；并且
其中所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理内核一起使得所述装置通过组合原始图像的缩放版本集合来导出所述图像；
其中所述第一特征图补丁对应于第一尺度，所述第一分类器被布置为在所述第一尺度上操作以执行对象识别，并且所述第二特征图补丁对应于第二尺度，所述第二分类器被布置为在所述第二尺度上操作以执行对象识别。
2.根据权利要求1所述的装置，其中所述第一分类器包括所述人工神经网络的第一全连接层。
3.根据权利要求1所述的装置，其中所述第二分类器包括所述人工神经网络的第二全连接层。
4.根据权利要求1所述的装置，其中所述卷积层集合包括四个卷积层。
5.根据权利要求1所述的装置，其中在所述卷积层集合中处理所述输入数据项包括在后续层中处理之前对前一卷积层的输出进行归一化。
6.根据权利要求1所述的装置，其中在所述卷积层集合中处理所述输入数据项包括在后续层中处理之前对前一卷积层的输出进行子采样。
7.根据权利要求1所述的装置，其中在所述卷积层集合中处理所述输入数据项包括在第三卷积层之后执行局部对比度归一化。
8.根据权利要求1所述的装置，其中所述人工神经网络被配置为检测人的图像。
9.根据权利要求7所述的装置，其中所述人工神经网络被配置为检测行人的图像。
10.根据权利要求1所述的装置，其中所述第一特征图补丁和所述第二特征图补丁至少部分交叠。
11.根据权利要求10所述的装置，其中所述第一特征图补丁被包括在所述第二特征图补丁中。
12.一种用于对象检测的方法，包括：
- 向包括卷积层集合的人工神经网络的第一卷积层提供输入数据项；
- 在所述卷积层集合中处理所述输入数据项；
- 在从所述卷积层集合中的最后的卷积层输出的特征图中定义第一特征图补丁和第二特征图补丁，以及
- 向第一分类器提供所述第一特征图补丁并且向第二分类器提供所述第二特征图补丁；
其中所述输入数据项包括图像，并且所述方法还包括通过组合原始图像的缩放版本集合来导出所述图像;
其中所述第一特征图补丁对应于第一尺度，所述第一分类器被布置为在所述第一尺度上操作以执行对象识别，并且所述第二特征图补丁对应于第二尺度，所述第二分类器被布置为在所述第二尺度上操作以执行对象识别。
13.根据权利要求12所述的方法，其中所述第一分类器包括所述人工神经网络的第一全连接层。
14.根据权利要求12所述的方法，其中所述第二分类器包括所述人工神经网络的第二全连接层。
15.根据权利要求12所述的方法，其中所述卷积层集合包括四个卷积层。
16.根据权利要求12所述的方法，其中在所述卷积层集合中处理所述输入数据项包括在后续层中处理之前对前一卷积层的输出进行归一化。
17.根据权利要求12所述的方法，其中在所述卷积层集合中处理所述输入数据项包括在后续层中处理之前对前一卷积层的输出进行子采样。
18.根据权利要求12所述的方法，其中在所述卷积层集合中处理所述输入数据项包括在第三卷积层之后执行局部对比度归一化。
19.根据权利要求12所述的方法，其中所述人工神经网络被配置为检测人的图像。
20.根据权利要求19所述的方法，其中所述人工神经网络被配置为检测行人的图像。
21.根据权利要求12所述的方法，其中所述第一特征图补丁和所述第二特征图补丁至少部分交叠。
22.根据权利要求21所述的方法，其中所述第一特征图补丁被包括在所述第二特征图补丁中。
23.一种用于对象检测的装置，包括：
- 用于向包括卷积层集合的人工神经网络的第一卷积层提供输入数据项的装置；
- 用于在所述卷积层集合中处理所述输入数据项的装置；
- 用于在从所述卷积层集合中的最后的卷积层输出的特征图中定义第一特征图补丁和第二特征图补丁的装置，以及
- 用于向第一分类器提供所述第一特征图补丁并且向第二分类器提供所述第二特征图补丁的装置；
其中所述输入数据项包括图像，并且所述装置还包括用于通过组合原始图像的缩放版本集合来导出所述图像的装置;
其中所述第一特征图补丁对应于第一尺度，所述第一分类器被布置为在所述第一尺度上操作以执行对象识别，并且所述第二特征图补丁对应于第二尺度，所述第二分类器被布置为在所述第二尺度上操作以执行对象识别。
24.一种非暂态计算机可读介质，具有在其上存储的一组计算机可读指令，所述一组计算机可读指令在由至少一个处理器执行时使得所述至少一个处理器执行根据权利要求12至22中任意一项所述的方法。
CN201580081941.5A 2015-07-29 2015-07-29 利用神经网络进行目标检测 Active CN107851195B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/085386 WO2017015887A1 (en) 2015-07-29 2015-07-29 Object detection with neural network

Publications (2)

Publication Number Publication Date
CN107851195A CN107851195A (zh) 2018-03-27
CN107851195B true CN107851195B (zh) 2022-02-11

Family

ID=57886862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580081941.5A Active CN107851195B (zh) 2015-07-29 2015-07-29 利用神经网络进行目标检测

Country Status (5)

Country Link
US (1) US10614339B2 (zh)
EP (1) EP3329424B1 (zh)
JP (1) JP2018527660A (zh)
CN (1) CN107851195B (zh)
WO (1) WO2017015887A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3329424B1 (en) 2015-07-29 2023-07-12 Nokia Technologies Oy Object detection with neural network
US11204597B2 (en) * 2016-05-20 2021-12-21 Moog Inc. Outer space digital logistics system
US11308391B2 (en) 2017-03-06 2022-04-19 Baidu Usa Llc Offline combination of convolutional/deconvolutional and batch-norm layers of convolutional neural network models for autonomous driving vehicles
CN110892423B (zh) * 2017-06-02 2024-07-19 诺基亚技术有限公司 人工神经网络
WO2018232754A1 (en) * 2017-06-23 2018-12-27 Microsoft Technology Licensing, Llc. JOINT OBJECT DETECTION BASED ON COLLABORATIVE INFORMATION
US10395144B2 (en) * 2017-07-24 2019-08-27 GM Global Technology Operations LLC Deeply integrated fusion architecture for automated driving systems
KR101977174B1 (ko) 2017-09-13 2019-05-10 이재준 영상 분석 방법, 장치 및 컴퓨터 프로그램
CN109784487B (zh) * 2017-11-15 2023-04-28 富士通株式会社 用于事件检测的深度学习网络、该网络的训练装置及方法
JP6945423B2 (ja) * 2017-11-27 2021-10-06 ホーチキ株式会社 放水型消火設備
JP7107544B2 (ja) * 2018-01-16 2022-07-27 Ｎｅｃソリューションイノベータ株式会社 情報処理装置、制御方法、及びプログラム
CN108596013B (zh) * 2018-01-29 2020-08-28 清华大学 基于多粒度深度特征学习的行人检测方法及装置
BR112020014171A2 (pt) * 2018-02-09 2020-12-08 Société des Produits Nestlé S.A. Máquina para o preparo de bebidas com reconhecimento de cápsula
CN108268863B (zh) * 2018-02-13 2020-12-01 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质
CN108470179B (zh) * 2018-03-29 2022-04-15 百度在线网络技术（北京）有限公司 用于检测对象的方法和装置
CN108875904A (zh) * 2018-04-04 2018-11-23 北京迈格威科技有限公司 图像处理方法、图像处理装置和计算机可读存储介质
US11669724B2 (en) 2018-05-17 2023-06-06 Raytheon Company Machine learning using informed pseudolabels
JP2020013206A (ja) * 2018-07-13 2020-01-23 日本ユニシス株式会社 動画・カメラからの二輪車検知装置、プログラム及びシステム
JP6695947B2 (ja) * 2018-09-21 2020-05-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像システム、画像処理方法及びプログラム
DE102018217092A1 (de) * 2018-10-05 2020-04-09 Robert Bosch Gmbh Verfahren, künstliches neuronales Netz, Vorrichtung, Computerprogramm und maschinenlesbares Speichermedium zur semantischen Segmentierung von Bilddaten
CN109522966B (zh) * 2018-11-28 2022-09-27 中山大学 一种基于密集连接卷积神经网络的目标检测方法
CN109784327B (zh) * 2018-12-04 2021-04-16 北京达佳互联信息技术有限公司 边界框确定方法、装置、电子设备及存储介质
CN109784291B (zh) * 2019-01-23 2020-10-23 电子科技大学 基于多尺度的卷积特征的行人检测方法
CN111666960B (zh) * 2019-03-06 2024-01-19 南京地平线机器人技术有限公司 图像识别方法、装置、电子设备及可读存储介质
CN110490174A (zh) * 2019-08-27 2019-11-22 电子科技大学 基于特征融合的多尺度行人检测方法
US11068747B2 (en) 2019-09-27 2021-07-20 Raytheon Company Computer architecture for object detection using point-wise labels
JP6992099B2 (ja) * 2020-01-16 2022-01-13 本田技研工業株式会社 情報処理装置、車両、車両の制御方法、プログラム、情報処理サーバ、情報処理方法
JP7420607B2 (ja) 2020-03-19 2024-01-23 本田技研工業株式会社 情報処理装置、情報処理方法、車両、情報処理サーバ、及びプログラム
US11676391B2 (en) 2020-04-16 2023-06-13 Raytheon Company Robust correlation of vehicle extents and locations when given noisy detections and limited field-of-view image frames
CN116670715A (zh) * 2021-01-04 2023-08-29 浙江大学 用于处理具有层信息的视频流的方法和***
US11562184B2 (en) 2021-02-22 2023-01-24 Raytheon Company Image-based vehicle classification

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2833295A2 (en) * 2013-07-31 2015-02-04 Fujitsu Limited Convolutional-neural-network-based classifier and classifying method and training methods for the same
CN104573731A (zh) * 2015-02-06 2015-04-29 厦门大学 基于卷积神经网络的快速目标检测方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7469209B2 (en) * 2003-08-14 2008-12-23 Dilithium Networks Pty Ltd. Method and apparatus for frame classification and rate determination in voice transcoders for telecommunications
JP4537097B2 (ja) 2004-03-19 2010-09-01 キヤノン株式会社 パターン検出方法及び装置
FR2884008A1 (fr) * 2005-03-31 2006-10-06 France Telecom Systeme et procede de localisation de points d'interet dans une image d'objet mettant en oeuvre un reseau de neurones
JP4799105B2 (ja) 2005-09-26 2011-10-26 キヤノン株式会社 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体
US8542928B2 (en) 2005-09-26 2013-09-24 Canon Kabushiki Kaisha Information processing apparatus and control method therefor
US7724957B2 (en) * 2006-07-31 2010-05-25 Microsoft Corporation Two tiered text recognition
EP2862505B1 (en) * 2009-03-25 2016-11-23 Trustees of Boston University Classification Techniques for Medical Diagnostics Using Optical Spectroscopy
US9811775B2 (en) * 2012-12-24 2017-11-07 Google Inc. Parallelizing neural networks during training
US9710695B2 (en) * 2013-03-15 2017-07-18 Sony Corporation Characterizing pathology images with statistical analysis of local neural network responses
JP6192010B2 (ja) * 2013-09-05 2017-09-06 国立大学法人 東京大学 重み設定装置および方法
US9202144B2 (en) 2013-10-30 2015-12-01 Nec Laboratories America, Inc. Regionlets with shift invariant neural patterns for object detection
JP6236296B2 (ja) * 2013-11-14 2017-11-22 株式会社デンソーアイティーラボラトリ 学習装置、学習プログラム、及び学習方法
CN104680508B (zh) 2013-11-29 2018-07-03 华为技术有限公司 卷积神经网络和基于卷积神经网络的目标物体检测方法
CN104102919B (zh) * 2014-07-14 2017-05-24 同济大学 一种有效防止卷积神经网络过拟合的图像分类方法
JP6453477B2 (ja) * 2015-01-28 2019-01-16 グーグル エルエルシー バッチ正規化レイヤ
US9436895B1 (en) * 2015-04-03 2016-09-06 Mitsubishi Electric Research Laboratories, Inc. Method for determining similarity of objects represented in images
EP3329424B1 (en) 2015-07-29 2023-07-12 Nokia Technologies Oy Object detection with neural network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2833295A2 (en) * 2013-07-31 2015-02-04 Fujitsu Limited Convolutional-neural-network-based classifier and classifying method and training methods for the same
CN104346622A (zh) * 2013-07-31 2015-02-11 富士通株式会社 卷积神经网络分类器及其分类方法和训练方法
CN104573731A (zh) * 2015-02-06 2015-04-29 厦门大学 基于卷积神经网络的快速目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks;Pierre Sermanet et al;《arXiv：1312.6229》;20140224;摘要、正文第3-4节及表1 *

Also Published As

Publication number Publication date
US20180211130A1 (en) 2018-07-26
EP3329424A1 (en) 2018-06-06
EP3329424B1 (en) 2023-07-12
US10614339B2 (en) 2020-04-07
EP3329424A4 (en) 2019-06-05
CN107851195A (zh) 2018-03-27
JP2018527660A (ja) 2018-09-20
WO2017015887A1 (en) 2017-02-02

Similar Documents

Publication Publication Date Title
CN107851195B (zh) 利用神经网络进行目标检测
JP6488380B2 (ja) ニューラルネットワークによるオブジェクト検出
Vennelakanti et al. Traffic sign detection and recognition using a CNN ensemble
WO2018120013A1 (en) Artificial neural network
JP2017538999A5 (zh)
US20180218256A1 (en) Deep convolution neural network behavior generator
CN111767882A (zh) 一种基于改进yolo模型的多模态行人检测方法
CN112418360B (zh) 卷积神经网络的训练方法、行人属性识别方法及相关设备
CN112424795A (zh) 卷积神经网络、人脸防伪方法、处理器芯片及电子设备
CN112487844A (zh) 手势识别方法、电子设备、计算机可读存储介质和芯片
US20070223785A1 (en) Image processor and method
US10956788B2 (en) Artificial neural network
CN113095199B (zh) 一种高速行人识别方法及装置
CN110121723B (zh) 人工神经网络
CN112101185B (zh) 一种训练皱纹检测模型的方法、电子设备及存储介质
JP5901054B2 (ja) 物体の検出方法及びその方法を用いた物体の検出装置
US11651230B2 (en) Artificial neural network
US11494590B2 (en) Adaptive boosting machine learning
US20220139071A1 (en) Information processing device, information processing method, information processing program, and information processing system
CN118334754A (zh) 一种车载监控***的动态手势识别方法
CN117636122A (zh) 一种用于车型车轴识别的训练方法及检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant