CN111046973A - 多任务检测方法及装置、存储介质 - Google Patents

多任务检测方法及装置、存储介质 Download PDF

Info

Publication number
CN111046973A
CN111046973A CN201911363445.5A CN201911363445A CN111046973A CN 111046973 A CN111046973 A CN 111046973A CN 201911363445 A CN201911363445 A CN 201911363445A CN 111046973 A CN111046973 A CN 111046973A
Authority
CN
China
Prior art keywords
detection
parameters
target
network
tasks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911363445.5A
Other languages
English (en)
Other versions
CN111046973B (zh
Inventor
杨清平
魏嘉毅
王贺璋
曾星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201911363445.5A priority Critical patent/CN111046973B/zh
Publication of CN111046973A publication Critical patent/CN111046973A/zh
Application granted granted Critical
Publication of CN111046973B publication Critical patent/CN111046973B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种多任务检测方法及装置、存储介质，其中，包括：获取待检测图像；基于目标模型对所述待检测图像进行多个检测任务的检测，获得所述多个检测任务分别对应的检测结果；其中，所述目标模型至少包括所述多个检测任务共用的共用神经网络，以及与所述多个检测任务分别对应的检测网络。

Description

多任务检测方法及装置、存储介质
技术领域
本公开涉及人工智能领域，尤其涉及一种多任务检测方法及装置、存储介质。
背景技术
目前，属于同一类的多个检测任务之间，由于不同检测任务的样本图像的相关性较低，很难通过同一个模型实现多个检测任务。因此，在进行多任务检测时，需要将同一张图像分别输入不同的检测任务模型。
发明内容
本公开提供了一种多任务检测方法及装置、存储介质。
根据本公开实施例的第一方面，提供一种多任务检测方法，所述方法包括：获取待检测图像；基于目标模型对所述待检测图像进行多个检测任务的检测，获得所述多个检测任务分别对应的检测结果；其中，所述目标模型至少包括所述多个检测任务共用的共用神经网络，以及与所述多个检测任务分别对应的检测网络。
在一些可选实施例中，所述获取待检测图像，包括：获取车载摄像头采集的视频流所包括的多帧图像，将所述多帧图像作为所述待检测图像；所述基于目标模型对所述待检测图像进行多个检测任务的检测，获得所述多个检测任务分别对应的检测结果，包括：基于所述目标模型对所述多帧图像进行多个交通目标检测任务的检测，获得所述多个交通目标检测任务分别对应的交通目标所在位置和/或状态的检测结果。
在一些可选实施例中，采用以下方式训练所述目标模型：获取第一融合模型；其中，所述第一融合模型包括所述多个检测任务共用的第一共用神经网络以及与所述多个检测任务分别对应的第一检测网络；基于所述多个检测任务分别对应的多张样本图像，每次基于一个检测任务对应的多张样本图像，分多次对所述第一融合模型所包括的参数进行迭代更新；响应于所述第一融合模型所包括的所述参数满足预设的第一停止迭代条件，停止更新所述第一融合模型所包括的所述参数，获得所述目标模型。
在一些可选实施例中，所述基于所述多个检测任务分别对应的多张样本图像，每次基于一个检测任务对应的多张样本图像，分多次对所述第一融合模型所包括的参数进行迭代更新，包括：基于与所述多个检测任务中第一检测任务对应的多张第一样本图像，更新所述第一共用神经网络的参数和与所述第一检测任务对应的所述第一检测网络的所述参数；基于与所述多个检测任务中第二检测任务对应的多张第二样本图像，分别更新所述第二检测任务对应的所述第一检测网络的所述参数；基于多张所述第二样本图像和预先设置的第一学习率，分别更新所述第二检测任务对应的所述第一检测网络的所述参数以及所述第一共用神经网络的参数；以及，基于多张所述第一样本图像和所述第一学习率，分别更新与所述第一检测任务对应的所述第一检测网络的参数以及所述第一共用神经网络的所述参数，直到所述第一融合模型所包括的所述参数满足所述第一停止迭代条件。
在一些可选实施例中，所述基于多张所述第二样本图像和预先设置的第一学习率，分别更新所述第二检测任务对应的所述第一检测网络的所述参数以及所述第一共用神经网络的参数，包括：基于多张所述第二样本图像和预先设置的第一学习率，分别更新所述第二检测任务对应的所述第一检测网络的所述参数；以及，基于多张所述第二样本图像和第二学习率，更新所述第一共用神经网络的参数，所述第二学习率基于所述第一学习率计算得到。
在一些可选实施例中，所述基于多张所述第一样本图像和所述第一学习率，分别更新所述第一检测任务对应的所述第一检测网络的参数以及所述第一共用神经网络的所述参数，包括：基于多张所述第一样本图像和所述第一学习率，更新与所述第一检测任务对应的所述第一检测网络的参数；以及，基于多张所述第一样本图像和第二学习率，更新所述第一共用神经网络的所述参数，所述第二学习率基于所述第一学习率计算得到。
在一些可选实施例中，所述第一停止迭代条件包括：所述第一融合模型中的至少一个所述参数至少两次更新后的参数值的差值小于预设阈值。
在一些可选实施例中，采用以下方式训练所述目标模型：获取第二融合模型；其中，所述第二融合模型包括多个检测任务共用的第二共用神经网络、特征分割网络以及与所述多个检测任务分别对应的第二检测网络；每次同时基于所述多个检测任务分别对应的多张样本图像，分多次对所述第二融合模型的参数所包括的参数进行迭代更新；响应于所述第二融合模型所包括的所述参数满足预设的第二停止迭代条件，停止更新所述第二融合模型所包括的所述参数，获得所述目标模型。
在一些可选实施例中，所述每次同时基于所述多个检测任务分别对应的多张样本图像，分多次对所述第二融合模型的参数所包括的参数进行迭代更新，包括：通过所述第二共用神经网络对与所述多个检测任务分别对应的多张所述样本图像进行特征提取，获得与每张样本图像对应的多个特征图像；在所述多个特征图像中，通过所述特征分割网络分别确定与每个检测任务对应的目标特征图像；通过所述特征分割网络将与每个所述检测任务对应的所述目标特征图像分别输入所述每个检测任务对应的所述第二检测网络，获得每个所述第二检测网络输出的每个检测结果；基于每个所述检测结果与多张所述样本图像中标注的检测结果真值，更新所述第二共用神经网络中的参数和所述第二检测网络中的参数，直到所述第二融合模型所包括的所述参数满足预设的第二停止迭代条件。
在一些可选实施例中，所述基于每个所述检测结果与多张所述样本图像中标注的检测结果真值，更新所述第二共用神经网络中的参数和所述第二检测网络中的参数，包括：分别计算每个所述检测结果与多张所述样本图像中标注的检测结果真值之间的梯度值，获得多个第一梯度值；对多个所述第一梯度值分别进行正则化处理，得到多个第二梯度值；根据多个所述第一梯度值，分别更新所述第二检测网络中的参数；根据多个所述第二梯度值，更新所述第二共用神经网络中的参数。
在一些可选实施例中，所述第二停止迭代条件包括：对所述第二融合模型所包括的所述参数进行迭代更新的次数达到预设次数。
在一些可选实施例中，所述获得所述目标模型之后，所述方法还包括：在所述多个检测任务中确定至少一个目标检测任务；在所述多个第二检测网络中，确定与所述目标检测任务对应的目标检测网络；获取所述目标检测网络中的中间网络层输出的第一特征图像；通过预先建立的目标检测模型对目标样本图像进行特征提取后，获得第二特征图像；其中，所述目标检测模型是所述目标检测任务对应的检测模型，所述目标样本图像是所述目标检测任务对应的样本图像；将所述第一特征图像与所述第二特征图像之间的第四梯度值作为目标损失函数，对所述目标模型中的所述目标检测网络的所述参数进行更新。
根据本公开实施例的第二方面，提供一种多任务检测装置，所述装置包括：图像获取模块，用于获取待检测图像；多任务检测模块，用于基于目标模型对所述待检测图像进行多个检测任务的检测，获得所述多个检测任务分别对应的检测结果；其中，所述目标模型至少包括所述多个检测任务共用的共用神经网络，以及与所述多个检测任务分别对应的检测网络。
在一些可选实施例中，所述图像获取模块包括：获取车载摄像头采集的视频流所包括的多帧图像，将所述多帧图像作为所述待检测图像；所述多任务检测模块包括：基于所述目标模型对所述多帧图像进行多个交通目标检测任务的检测，获得所述多个交通目标检测任务分别对应的交通目标所在位置和/或状态的检测结果。
在一些可选实施例中，所述装置还包括：第一融合模型获取模块，用于获取第一融合模型；其中，所述第一融合模型包括所述多个检测任务共用的第一共用神经网络以及与所述多个检测任务分别对应的第一检测网络；第一迭代更新模块，用于基于所述多个检测任务分别对应的多张样本图像，每次基于一个检测任务对应的多张样本图像，分多次对所述第一融合模型所包括的参数进行迭代更新；第一模型建立模块，用于响应于所述第一融合模型所包括的所述参数满足预设的第一停止迭代条件，停止更新所述第一融合模型所包括的所述参数，获得所述目标模型。
在一些可选实施例中，所述第一迭代更新模块包括：基于与所述多个检测任务中第一检测任务对应的多张第一样本图像，更新所述第一共用神经网络的参数和与所述第一检测任务对应的所述第一检测网络的所述参数；基于与所述多个检测任务中第二检测任务对应的多张第二样本图像，分别更新所述第二检测任务对应的所述第一检测网络的所述参数；基于多张所述第二样本图像和预先设置的第一学习率，分别更新所述第二检测任务对应的所述第一检测网络的参数以及所述第一共用神经网络的参数；以及，基于多张所述第一样本图像和所述第一学习率，分别更新与所述第一检测任务对应的所述第一检测网络的参数以及所述第一共用神经网络的所述参数，直到所述第一融合模型所包括的所述参数满足所述第一停止迭代条件。
在一些可选实施例中，所述第一迭代更新模块包括：基于多张所述第二样本图像和预先设置的第一学习率，分别更新所述第二检测任务对应的所述第一检测网络的所述参数；以及，基于多张所述第二样本图像和第二学习率，更新所述第一共用神经网络的参数，所述第二学习率基于所述第一学习率计算得到。
在一些可选实施例中，所述第一迭代更新模块包括：基于多张所述第一样本图像和所述第一学习率，更新与所述第一检测任务对应的所述第一检测网络的参数；以及，基于多张所述第一样本图像和第二学习率，更新所述第一共用神经网络的所述参数，所述第二学习率基于所述第一学习率计算得到。
在一些可选实施例中，所述第一停止迭代条件包括：所述第一融合模型中的至少一个所述参数至少两次更新后的参数值的差值小于预设阈值。
在一些可选实施例中，所述装置还包括：第二融合模型获取模块，用于获取第二融合模型；其中，所述第二融合模型包括多个检测任务共用的第二共用神经网络、特征分割网络以及与所述多个检测任务分别对应的第二检测网络；第二迭代更新模块，用于每次同时基于所述多个检测任务分别对应的多张样本图像，分多次对所述第二融合模型的参数所包括的参数进行迭代更新；第二模型建立模块，用于响应于所述第二融合模型所包括的所述参数满足预设的第二停止迭代条件，停止更新所述第二融合模型所包括的所述参数，获得所述目标模型。
在一些可选实施例中，所述第二迭代更新模块包括：通过所述第二共用神经网络对与所述多个检测任务分别对应的多张所述样本图像进行特征提取，获得与每张样本图像对应的多个特征图像；在所述多个特征图像中，通过所述特征分割网络分别确定与每个检测任务对应的目标特征图像；通过所述特征分割网络将与每个所述检测任务对应的所述目标特征图像分别输入所述每个检测任务对应的所述第二检测网络，获得每个所述第二检测网络输出的每个检测结果；基于每个所述检测结果与多张所述样本图像中标注的检测结果真值，更新所述第二共用神经网络中的参数和所述第二检测网络中的参数，直到所述第二融合模型所包括的所述参数满足预设的第二停止迭代条件。
在一些可选实施例中，所述第二迭代更新模块包括：分别计算每个所述检测结果与多张所述样本图像中标注的检测结果真值之间的梯度值，获得多个第一梯度值；对多个所述第一梯度值分别进行正则化处理，得到多个第二梯度值；根据多个所述第一梯度值，分别更新所述第二检测网络中的参数；根据多个所述第二梯度值，更新所述第二共用神经网络中的参数。
在一些可选实施例中，所述第二停止迭代条件包括：对所述第二融合模型所包括的所述参数进行迭代更新的次数达到预设次数。
在一些可选实施例中，所述装置还包括：第一确定模块，用于在所述多个检测任务中确定至少一个目标检测任务；第二确定模块，用于在所述多个第二检测网络中，确定与所述目标检测任务对应的目标检测网络；第一特征图像获取模块，用于获取所述目标检测网络中的中间网络层输出的第一特征图像；第二特征图像获取模块，用于通过预先建立的目标检测模型对目标样本图像进行特征提取后，获得第二特征图像；其中，所述目标检测模型是所述目标检测任务对应的检测模型，所述目标样本图像是所述目标检测任务对应的样本图像；更新模块，用于将所述第一特征图像与所述第二特征图像之间的第四梯度值作为目标损失函数，对所述目标模型中的所述目标检测网络的所述参数进行更新。
根据本公开实施例的第三方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第一方面任一所述的多任务检测方法。
根据本公开实施例的第四方面，提供一种多任务检测装置，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现第一方面任一项所述的多任务检测方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开实施例中，实现了通过一个目标模型对待检测图像同时进行多个检测任务的检测，从而获得多个检测任务分别对应的检测结果的目的，实现简便，可用性高。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1A至1C是本公开根据一示例性实施例示出的交通目标样本图像；
图2是本公开根据一示例性实施例示出的一种多任务检测方法流程图；
图3是本公开根据一示例性实施例示出的一种目标模型结构示意图；
图4是本公开根据一示例性实施例示出的另一种多任务检测方法流程图；
图5是本公开根据一示例性实施例示出的一种基于区域的全卷积网络结构示意图；
图6是本公开根据一示例性实施例示出的一种第一融合模型结构示意图；
图7是本公开根据一示例性实施例示出的另一种多任务检测方法流程图；
图8是本公开根据一示例性实施例示出的另一种多任务检测方法流程图；
图9是本公开根据一示例性实施例示出的另一种多任务检测方法流程图；
图10是本公开根据一示例性实施例示出的另一种多任务检测方法流程图；
图11是本公开根据一示例性实施例示出的一种第二融合模型结构示意图；
图12是本公开根据一示例性实施例示出的另一种第二融合模型结构示意图；
图13是本公开根据一示例性实施例示出的另一种多任务检测方法流程图；
图14是本公开根据一示例性实施例示出的另一种多任务检测方法流程图；
图15A是本公开根据一示例性实施例示出的一种更新第二共用神经网络的参数流程示意图；
图15B是本公开根据一示例性实施例示出的另一种更新第二共用神经网络的参数流程示意图；
图16是本公开根据一示例性实施例示出的另一种多任务检测方法流程图；
图17是本公开根据一示例性实施例示出的一种确定目标损失函数的场景示意图；
图18是本公开根据一示例性实施例示出的一种多任务检测装置框图；
图19是本公开根据一示例性实施例示出的一种用于多任务检测装置的一结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开运行的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所运行的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中运行的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所运行的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
属于同一类的多个检测任务之间，可能会由于不同检测任务的样本图像的相关性较低，从而很难通过同一个模型实现多个检测任务。以属于相同的交通检测任务类型的多个交通目标检测任务为例说明如下：
交通目标可以包括但不限于以下至少一项：行人/机动车/非机动车(Pedestrian/Vehicle/Non-Motor Vehicle，PVN)、交通信号灯(Traffic Lights Recognition，TLR)、交通信号标志(Traffic Sign Recognition，TSR)。对交通目标进行检测时，不同的交通目标检测任务分别对应的交通目标在现实场景中的分布不统一，图1A至图1C分别对应PVN、TLR、TSR交通目标检测任务的样本图像。可以看出，三个交通目标检测任务的样本图像之间相关性很低，这也使得利用单一模型进行三个交通目标检测任务难以实现。
进一步地，如果在无人车辆进行自动驾驶或需要辅助驾驶员进行安全驾驶提醒时，会采集车辆前方的图像进行交通目标检测。由于一个交通目标检测模型一般只能进行一个交通目标的检测，需要将同一张图像分别输入不同的交通目标检测模型，检测时间长，无法保证自动驾驶或辅助驾驶的安全性和时效性。
针对上述问题，例如图2所示，提供了一种多任务检测方法，该方法可以用于机器设备，该机器设备包括但不限于无人机、无人车辆、机器人、机动车等，包括以下步骤：
在步骤101中，获取待检测图像。
在本公开实施例中，待检测图像可以是需要同步进行多个检测任务的检测的图像。
在步骤102中，基于目标模型对所述待检测图像进行多个检测任务的检测，获得所述多个检测任务分别对应的检测结果。
本公开实施例中，目标模型可以是预先建立的可以同步进行多个检测任务的检测的模型。该目标模型至少包括所述多个检测任务共用的共用神经网络，以及与所述多个检测任务分别对应的检测网络，例如图3所示。
上述实施例中，实现了通过一个目标模型对待检测图像同时进行多个检测任务的检测，从而获得多个检测任务分别对应的检测结果的目的，实现简便，可用性高。
在一些可选实施例中，该多任务检测方法可以用于进行多个交通目标任务检测。
相应地，步骤101可以包括：获取车载摄像头采集的视频流所包括的多帧图像，将所述多帧图像作为所述待检测图像。
步骤102可以包括：基于所述目标模型对所述多帧图像进行多个交通目标检测任务的检测，获得所述多个交通目标检测任务分别对应的交通目标所在位置和/或状态的检测结果。
相应地，目标模型就是可以同步进行多个交通目标检测任务的模型。交通目标包括但不限于PVN、TLR、TSR，交通目标所在位置是指多帧图像中如果检测到至少一个交通目标，则至少一个交通目标在每帧图像上的位置。
交通目标为PVN，则交通目标状态可以是运动状态或者静止状态，例如，根据多帧图像可以确定某个机动车正在向什么方向行驶，或该机动车停放在路边。如果交通目标为TLR，则交通目标状态可以是该交通信号灯所指示的颜色，例如红灯、绿灯或黄灯。如果交通目标为TSR，则交通目标状态可以是该交通信号标志所指示的信息，例如限速50公里/时，禁止左拐等。
在上述实施例中，可以通过车载摄像头采集到视频流后，将该视频流包括的多帧图像输入目标模型，由该目标模型进行多个交通目标检测任务的检测，从而获得多个交通目标检测任务分别对应的交通目标所在位置和/或状态的检测结果，从而可以确保无人驾驶和辅助驾驶的安全性和时效性。
在一些可选实施例中，可以预先对目标模型进行训练，例如图4所示，训练目标模型的过程可以包括：
在步骤201中，获取第一融合模型。
第一融合模型包括所述多个检测任务共用的第一共用神经网络以及与所述多个检测任务分别对应的第一检测网络。
在获取第一融合模型时，如果之前已经预先建立了与每个检测任务一一对应的检测模型，多个检测任务就对应了多个检测模型。则可以将多个检测模型中的任一个检测模型或希望性能不会下降的一个检测模型作为第一检测模型，并确定该第一检测模型对应的第一检测任务，其他的检测模型中的至少一个可以作为第二检测模型，分别对应第二检测任务。
在本公开实施例中，可以采用第一检测模型的参数初始化第一共用神经网络和第一检测任务对应的第一检测网络的参数，并采用第二检测模型的参数，分别初始化第二检测任务对应的第一检测网络的参数，从而获得第一融合模型。
在步骤202中，基于所述多个检测任务分别对应的多张样本图像，每次基于一个检测任务对应的多张样本图像，分多次对所述第一融合模型所包括的参数进行迭代更新。
在本公开实施例中，由于多个检测任务分别对应的样本图像之间的关联性低，可以每次基于一个检测任务对应的多张样本图像，分多次对所述第一融合模型所包括的参数进行迭代更新。
例如，多个检测任务包括检测任务1和检测任务2，第一次可以采用检测任务1对应的多张样本图像，对第一融合模型包括的参数进行迭代更新，第二次采用检测任务2对应的多张样本图像对第一融合模型包括的参数再进行迭代更新，每次只采用检测任务1或检测任务2对应的多张样本图像对第一融合模型包括的参数进行迭代更新。
在步骤203中，响应于所述第一融合模型所包括的所述参数满足预设的第一停止迭代条件，停止更新所述第一融合模型所包括的所述参数，获得所述目标模型。
在本公开实施例中，第一停止迭代条件可以是第一融合模型中的至少一个所述参数至少两次更新后的参数值的差值小于预设阈值。此时第一融合模型的性能基本稳定，可以不再需要对第一融合模型继续进行训练。
上述实施例中，可以每次基于一个检测任务对应的多张样本图像，分多次对所述第一融合模型所包括的参数进行迭代更新，最终得到目标模型。通过异步输入不同检测任务对应的样本图像的方式，训练得到目标模型，可用性高。
在一些可选实施例中，第一融合模型可以采用基于区域的全卷积网络(Region-based Fully Convolutional Networks，R-FCN)的结构建立。其中，R-FCN的结构例如图5所示，可以包括多个卷积层，与多个卷积层连接的区域预测网络(Region Proposal Network，RPN)、和与多个卷积层以及RPN连接的输出层。多个卷积层可以用于提取输入R-FCN网络的图像的特征值，从而获得特征图像，RPN可以用于在多个卷积层输出的特征图像上，确定该检测任务待检测的目标所在的候选预测位置和/或可能状态，输出层可以用于输出最终确定出的该目标所在位置和/或状态。
基于R-FCN的结构的第一融合模型例如图6所示，第一共同神经网络可以包括至少一个第一卷积层。第一共同神经网络可以对输入的样本图像进行特征提取。第一检测网络可以包括至少一个第二卷积层、与至少一个第二卷积层连接的第一子网络、以及与至少一个第二卷积层和第一子网络连接的第一输出层。其中，第一子网络可以采用RPN网络。第二卷积层的数目可以为1个或多个，同样用于进行特征提取，获得特征图像。第一子网络可以用于在特征图像上确定当前检测任务所对应的目标所在预测位置和/或可能状态。由第一输出层确定最终的目标所在位置和/或状态。
在一些可选实施例中，例如图7所示，步骤202可以包括：
在步骤202-1中，基于与所述多个检测任务中第一检测任务对应的多张第一样本图像，更新所述第一共用神经网络的参数和与所述第一检测任务对应的所述第一检测网络的所述参数。
在本公开实施例中，第一检测任务可以是多个检测任务中的任意一个任务或者是希望性能最好的一个检测任务。在确定了第一检测任务之后，可以采用第一检测任务对应的多张第一样本图像，对第一共用神经网络和与第一检测任务对应的第一检测网络进行训练。让第一样本图像通过第一共用神经网络和与第一检测任务对应的第一检测网络之后，获得第一检测任务待检测的目标所在位置和/或状态。
更新第一共用神经网络和与第一检测任务对应的第一检测网络的参数，让第一融合模型输出的待检测的目标所在位置和/或状态与第一样本图像上标注的目标所在的位置真值和/或状态真值之间的差值最小。
在步骤202-2中，基于与所述第二检测任务对应的多张第二样本图像，分别更新所述第二检测任务对应的所述第一检测网络的所述参数。
在本公开实施例中，第二检测任务可以是多个检测任务中不同于第一检测任务的任意一个检测任务。可以将与第二检测任务对应的多张第二样本图像输入第一融合模型，获得第二检测任务待检测的目标所在位置和/或状态。保持多个检测任务共用的第一共用神经网络的参数不变，只更新第二检测任务对应的第一检测网络的参数，让第一融合模型输出的目标位置和/或状态与第二样本图像上标注的目标位置真值和/或状态真值之间的差值最小。
如果第二检测任务为多个，则可以分别采用上述方式更新不同的第二检测任务对应的第一检测网络的参数。
在步骤202-3中，基于多张所述第二样本图像和预先设置的第一学习率，分别更新所述第二检测任务对应的所述第一检测网络的所述参数以及所述第一共用神经网络的参数。
在本公开实施例中，第一学习率为预先设置的第一融合模型的原始学习率，第一学习率的值可以根据经验得到，例如为0.01。
在步骤202-4中，基于多张所述第一样本图像和所述第一学习率，分别更新与所述第一检测任务对应的所述第一检测网络的所述参数以及所述第一共用神经网络的所述参数，直到所述第一融合模型所包括的所述参数满足所述第一停止迭代条件。
重复上述步骤202-3至202-4，直到所述第一融合模型所包括的所述参数满足所述第一停止迭代条件。第一停止迭代条件包括：所述第一融合模型中的至少一个所述参数至少两次更新后的参数值的差值小于预设阈值。即第一融合模型中的至少一个参数稳定后，停止对第一融合模型所包括的参数进行更新，得到目标模型。
在一些可选实施例中，例图8所示，步骤202-3可以包括：
在步骤202-31中，基于多张所述第二样本图像和预先设置的第一学习率，分别更新所述第二检测任务对应的所述第一检测网络的所述参数。
根据多张第二样本图像和第一学习率，先保持第一共用神经网络和第一检测任务对应的第一检测网络的参数不变，分别更新每个第二检测任务对应的第一检测网络的参数。
在步骤202-32中，基于多张所述第二样本图像和第二学习率，更新所述第一共用神经网络的参数。
在本公开实施例中，第二学习率是基于预先设置的第一学习率计算得到的。利用第二样本图像和第二学习率，保持所有第一检测网络的参数不变，更新所述第一共用神经网络的参数。
其中，由于第一共用神经网络是多个检测任务共用的，为了避免第一共用神经网络的参数偏向某一个或多个检测任务，可以采用小于第一学习率的第二学习率和第二样本图像对第一共用神经网络的参数进行训练。本公开实施例中，可以通过第一学习率与预设值的乘积计算得到第二学习率，预设值可以是大于零且小于1的任意值，例如0.1。
在一些可选实施例中，例图9所示，步骤202-4可以包括：
在步骤202-41中，基于多张所述第一样本图像和所述第一学习率，更新与所述第一检测任务对应的所述第一检测网络的参数。
在本公开实施例中，还可以利用多张第一样本图像和第一学习率，保持第一共用神经网络和第二检测任务对应的第一检测网络的参数不变，更新第一检测任务对应的第一检测网络的所述参数。
在步骤202-42中，基于多张所述第一样本图像和所述第二学习率，更新所述第一共用神经网络的所述参数。
在本公开实施例中，还可以利用多张第一样本图像和第二学习率，保持所有第一检测网络的参数不变，更新第一共用神经网络的参数。
对上述训练过程进一步举例说明如下。
第一融合模型的结构例如图6所示，检测任务包括检测任务1、检测任务2、检测任务3，第一检测任务包括检测任务1，第一检测任务对应的第一检测网络为第一检测网络1，第二检测任务包括检测任务2和检测任务3，分别对应的第一检测网络为第一检测网络2和第一检测网络3。检测任务1对应多张第一样本图像，检测任务2和3分别对应多张第二样本图像。
在获取第一融合模型之后，可以先利用多张第一样本图像更新第一共用神经网络和第一检测网络1的参数，保持第一共用神经网络和第一检测网络1的参数不变，利用与检测任务2对应的多张第二样本图像更新第一检测网络2的参数，利用与检测任务3对应的多张第二样本图像更新第一检测网络3的参数。
进一步地，利用与检测任务2对应的多张第二样本图像和第一学习率更新第一检测网络2的参数，利用与检测任务2对应的多张第二样本图像和第二学习率更新第一共用神经网络的参数。同样地，利用与检测任务3对应的多张第二样本图像和第一学习率更新第一检测网络3的参数，利用与检测任务3对应的多张第二样本图像和第二学习率更新第一共用神经网络的参数。
再利用多张第一样本图像和第一学习率更新第一检测网络1的参数，利用多张第一样本图像和第二学习率更新第一共用神经网络的参数。
不断循环利用多张样本图像和不同的学习率对第一融合网络的参数进行更新的过程，直到第一融合网络的参数满足第一停止迭代条件。
上述实施例中，可以每次基于一个检测任务对应的多张样本图像，分多次对所述第一融合模型所包括的参数进行迭代更新，可用性高。
在一些可选实施例中，根据第一学习率计算第二学习率时，可以采用第一学习率与预设值的乘积作为第二学习率。其中，预设值可以是(0，1)区间范围内的任意值，可选地，在本公开实施例中，可以为0.1。
本公开实施例中，在根据预先设置的第一学习率计算第二学习率时，可以将第一学习率与预设值的乘积作为第二学习率，实现简便，可用性高。
上述实施例中采用分多次，每次输入不同检测任务对应的多张样本图像的方式，对第一融合模型进行训练，最终得到的目标模型性能较好。但是由于不同检测任务对应的多张样本图像是异步输入第一融合模型的，训练时的时间会比较长，为了加快训练速度，本公开实施例还提供了另一种训练得到目标模型的方法。
例如图10所示，训练目标模型的过程可以包括以下步骤：
在步骤301中，获取第二融合模型。
在本公开实施例中，可以预先建立对应多个检测任务的一个备选模型，该备选模型的结构可以基于R-FCN结构。
第二融合模型的结构可以与该备选模型结构相同，但是由于需要将对应多个检测任务的样本图像同时输入第二融合模型，因此，需要增加特征分割网络。
在本公开实施例中，第二融合模型的结构可以如图11所示，包括多个检测任务共用的第二共用神经网络、特征分割网络以及与所述多个检测任务分别对应的第二检测网络。第二共用神经网络可以从输入第二融合模型的图像中提取特征值，获得特征图像，进一步地，由特征分割网络为每个检测任务分割出相应的目标特征图像，并由特征分割网络将这些分割出的目标特征图像输入相应的检测任务所对应的第二检测网络中。
在步骤302中，每次同时基于所述多个检测任务分别对应的多张样本图像，分多次对所述第二融合模型的参数所包括的参数进行迭代更新。
在步骤303中，响应于所述第二融合模型所包括的所述参数满足预设的第二停止迭代条件，停止更新所述第二融合模型所包括的所述参数，获得目标模型。
在本公开实施例中，第二停止迭代条件可以是迭代次数满足预设次数，此时停止更新第二融合模型的参数，获得所需要的第二目标模型。
在上述实施例中，可以同时基于多个检测任务对应的多张样本图像，同步对第二融合模型进行训练，获得目标模型，可用性高。
在一些可选实施例中，第二融合模型例如图12所示，第二共用神经网络可以包括至少一个第三卷积层。
其中，至少一个第三卷积层的数目可以为3，通过至少一个第三卷积层提取输入第二融合模型的样本图像的特征，获得相应的特征图像，然后通过特征分割网络从至少一个所述第三卷积层输出的特征图像中，分割出与每个所述检测任务对应的目标特征图像，并将所述目标特征图像输入相应的所述检测任务所对应的所述第二检测网络。
第二检测网络则是与检测任务一一对应的。第二检测网络包括了至少一个第四卷积层、与至少一个所述第四卷积层连接的第二子网络、和与至少一个所述第四卷积层以及所述第二子网络连接的第二输出层。其中，第四卷积层的数目可以为1，对输入的目标特征图像进行进一步地特征提取，然后通过第二子网络在第四卷积层输出的目标特征图像上确定出该检测任务待检测的目标所在预测位置和/或可能状态，再通过第二输出层确定目标所在位置和/或状态。其中，第二子网络可以采用RPN。
在一些可选实施例中，第二子网络和第二输出层各自包括的参数可以分别满足预设分布条件。例如，该预设分布条件可以符合均值为0，方差为0.001的高斯分布条件。
在一些可选实施例中，如图13所示，步骤302可以包括：
在步骤302-1中，通过所述第二共用神经网络对与多个所述检测任务对应的多张所述样本图像进行特征提取，获得与每张所述样本图像对应的多个特征图像。
对应多个检测任务的多张样本图像同时输入第二融合模型之后，可以通过所述第二共用神经网络对多张样本图像进行特征提取，从而获得与每张样本图像对应的多张特征图像。
在步骤302-2中，在所述多个特征图像中，通过所述特征分割网络分别确定与每个检测任务对应的目标特征图像。
在本公开实施例中，通过特征分割网络可以在多个特征图像中分别确定出属于每个检测任务的目标特征图像。可选地，可以对多张特征图像按照由上到下的顺序进行划分，例如检测任务有2个，特征图像的数目为8，按照由上到下的顺序进行划分上边4张属于检测任务1对应的目标特征图像，下边4张属于检测任务2对应的目标特征图像。
在步骤302-3中，通过所述特征分割网络将与每个所述检测任务对应的所述目标特征图像分别输入所述每个检测任务对应的所述第二检测网络，获得每个所述第二检测网络输出的每个检测结果。
在步骤302-4中，基于每个所述检测结果与多张所述样本图像中标注的检测结果真值，更新所述第二共用神经网络中的参数和所述第二检测网络中的参数，直到所述第二融合模型所包括的所述参数满足预设的第二停止迭代条件。
通过特征分割网络将对应不同检测任务的目标特征图像输入相应的检测任务对应的第二检测网络，从而获得第二检测网络输出的对于当前检测任务待检测的目标所在位置和/或状态。
第二停止迭代条件可以是对所述第二融合模型所包括的所述参数进行迭代更新的次数达到预设次数。
当对第二融合模型所包括的参数进行迭代更新的次数达到预设次数，就可以停止对第二融合模型的参数进行更新，此时获得第二目标模型。
在一些可选实施例中，例如图14所示，步骤302-4可以包括：
在步骤302-41，分别计算每个所述检测结果与多张所述样本图像中标注的检测结果真值之间的梯度值，获得多个第一梯度值。
以交通目标检测任务为例，将第二检测网络1输出的交通信号灯所在位置与检测任务1对应的样本图像中标注的交通信号灯所在位置真值进行比较，计算差值，获得第一梯度值G1。同样地，将第二检测网络2输出的交通信号标志所在位置与检测任务2对应的样本图像中标注的交通信号标志所在位置真值进行比较，计算差值，获得第一梯度值G2。
在步骤302-42中，对多个所述第一梯度值分别进行正则化处理，得到多个第二梯度值。
在本公开实施例中，在进行正则化处理时，可以分别计算每个第一梯度值的平方和，再计算所有第一梯度值的平方和的开平方值，从而得到第三梯度值。将每个第一梯度值与第三梯度值的商作为第二梯度值。
在步骤302-43中，根据多个所述第一梯度值，分别更新所述第二检测网络中的参数。
例如通过第一梯度值G1更新检测任务1对应的第二检测网络1的参数。通过第一梯度值G2更新检测任务2对应的第二检测网络2的参数。
在步骤302-44中，根据多个所述第二梯度值，更新所述第二共用神经网络的参数。
如果直接采用第一梯度值更新所述第二共用神经网络的参数，例如图15A所示，那么可能会造成第二共用神经网络偏向某个检测任务，因此，在本公开实施例中，可以对第一梯度值进行正则化，然后利用正则化后的第二梯度值，更新第二共用神经网络的参数，例如图15B所示。
例如对第一梯度值G1和G2分别进行正则化后，得到第二梯度值G1’和G2’。利用G1’和G2’更新至少一个第三卷积层的参数。
重复执行步骤302-41至302-44，直到所述第二融合模型所包括的所述参数满足预设的第二停止迭代条件。
上述实施例中，在对第二融合模型进行训练时，可以基于不同第二检测网络对应的第一梯度值，分别更新第二检测网络中的参数，并根据第一梯度值正则化处理后得到的第二梯度值，对第二共用神经网络的参数进行更新。通过正则化处理后的梯度值更新共用的卷积层的参数，可以均衡不同的检测任务对第二共用神经网络的参数的影响，防止第二共用神经网络的参数偏向于某一个或几个检测任务，可用性高。
在一些可选实施例中，在计算得到第n个第二检测网络对应的第一梯度值Gn之后，可以通过以下公式1计算第三梯度值G3。
Figure BDA0002337791100000141
其中，N是检测任务的总数目
在计算得到G3之后，再采用以下公式2计算得到第二梯度值Gn’。
Figure BDA0002337791100000142
上述实施例中，在对多个第一梯度值分别进行正则化处理时，可以先计算不同的第一梯度值的平方和相加后的开平方值，从而得到第三梯度值，计算多个第一梯度值与第三梯度值的商，从而获得多个第二梯度值。通过上述过程，实现了对第一梯度值的正则化处理，均衡不同的检测任务对共用的第三卷积层的参数的影响，防止第二共用神经网络的参数偏向于某一个或几个检测任务。
在一些可选实施例中，由于在训练时，同时将对应多个检测任务的多张样本图像同时输入第二融合模型，融合得到的第二目标模型可能会存在某个检测任务分支的性能下降的问题。为了提升第二目标模型的整体性能，上述方法如图16所示，还可以包括：
在步骤304中，在多个所述检测任务中确定至少一个目标检测任务。
在本公开实施例中，可以将多个检测任务中的至少一个作为需要提升相应模型性能的目标检测任务。
在步骤305中，在多个所述第二检测网络中，确定与所述目标检测任务对应的目标检测网络。
在本公开实施例中，可以分别确定每个目标检测任务对应的目标检测网络。
例如，检测任务包括检测任务1、检测任务2和检测任务3，目标检测任务包括检测任务2和检测任务3，对应的目标检测网络为第二检测网络2和第二检测网络3。
在步骤306中，获取所述目标检测网络中的中间网络层输出的第一特征图像。
在本公开实施例中，中间网络层可以是至少一个第四卷积层，目标检测网络所包括的至少一个第四卷积层对输入目标检测网络的目标特征图像再次进行特征提取，获得该目标检测任务对应的第一特征图像。
在步骤307中，通过预先建立的目标检测模型对多张目标样本图像进行特征提取后，获得第二特征图像。
在本公开实施例中，目标检测模型是对应目标检测任务的模型，结构可以采用R-FCN结构，例如图5所示。目标样本图像是目标检测任务对应的样本图像，通过目标检测模型对目标样本图像进行特征提取后，获得第二特征图像。
在步骤308中，将所述第一特征图像与所述第二特征图像之间的第四梯度值作为目标损失函数，对所述第二目标模型中的所述目标检测网络的所述参数进行更新。
本公开实施例中，将第一特征图像与第二特征图像之间的差异作为第四梯度值，从而得到目标损失函数，对目标检测网络的参数进行训练更新，让损失函数最小。
对上述过程进一步举例说明如下。
例如图17所示，检测任务包括检测任务1和检测任务2，分别对应的样本图像为样本图像1和样本图像2，目标检测任务为检测任务1。预先建立了检测任务1对应的检测模型1。
将样本图像1和样本图像2同时输入第二目标模型，通过第四卷积层1输出第一特征图像，通过检测模型1的4个卷积层输出第二特征图像，将第一特征图像与第二特征图像之间的第四梯度值作为目标损失函数，对第二检测网络1的参数进行训练，使得目标损失函数最小。
上述实施例中，获得第二目标模型之后，可以在多个检测任务中确定至少一个目标检测任务，并在第二目标模型的多个第二检测网络中确定与目标检测任务对应的目标检测网络。分别获取目标检测网络的中间网络层输出的第一特征图像，以及通过目标检测模型对多张目标样本图像进行特征提取后，输出的第二特征图像，将第一特征图像和第二特征图像之间的第四梯度值作为目标损失函数，对第二目标模型中的目标检测网络的参数进行更新，让该目标损失函数最小，从而提升第二目标模型中目标检测网络的性能，最终可以提升第二目标模型的整体性能。
与前述方法实施例相对应，本公开还提供了装置的实施例。
如图18所示，图18是本公开根据一示例性实施例示出的一种多任务检测装置框图，装置包括：图像获取模块410，用于获取待检测图像；多任务检测模块420，用于基于目标模型对所述待检测图像进行多个检测任务的检测，获得所述多个检测任务分别对应的检测结果；其中，所述目标模型至少包括所述多个检测任务共用的共用神经网络，以及与所述多个检测任务分别对应的检测网络。
在一些可选实施例中，所述图像获取模块包括：获取车载摄像头采集的视频流所包括的多帧图像，将所述多帧图像作为所述待检测图像；所述多任务检测模块包括：基于所述目标模型对所述多帧图像进行多个交通目标检测任务的检测，获得所述多个交通目标检测任务分别对应的交通目标所在位置和/或状态的检测结果。
在一些可选实施例中，所述装置还包括：第一融合模型获取模块，用于获取第一融合模型；其中，所述第一融合模型包括所述多个检测任务共用的第一共用神经网络以及与所述多个检测任务分别对应的第一检测网络；第一迭代更新模块，用于基于所述多个检测任务分别对应的多张样本图像，每次基于一个检测任务对应的多张样本图像，分多次对所述第一融合模型所包括的参数进行迭代更新；第一模型建立模块，用于响应于所述第一融合模型所包括的所述参数满足预设的第一停止迭代条件，停止更新所述第一融合模型所包括的所述参数，获得所述目标模型。
在一些可选实施例中，所述第一迭代更新模块包括：基于与所述多个检测任务中第一检测任务对应的多张第一样本图像，更新所述第一共用神经网络的参数和与所述第一检测任务对应的所述第一检测网络的所述参数；基于与所述多个检测任务中第二检测任务对应的多张第二样本图像，分别更新所述第二检测任务对应的所述第一检测网络的所述参数；基于多张所述第二样本图像和预先设置的第一学习率，分别更新所述第二检测任务对应的所述第一检测网络的所述参数以及所述第一共用神经网络的参数；以及，基于多张所述第一样本图像和所述第一学习率，分别更新与所述第一检测任务对应的所述第一检测网络的所述参数以及所述第一共用神经网络的所述参数，直到所述第一融合模型所包括的所述参数满足所述第一停止迭代条件。
在一些可选实施例中，所述第一迭代更新模块包括：基于多张所述第二样本图像和预先设置的第一学习率，分别更新所述第二检测任务对应的所述第一检测网络的所述参数；以及，基于多张所述第二样本图像和第二学习率，更新所述第一共用神经网络的参数，所述第二学习率基于所述第一学习率计算得到。
在一些可选实施例中，所述第一迭代更新模块包括：基于多张所述第一样本图像和所述第一学习率，更新与所述第一检测任务对应的所述第一检测网络的参数；以及，基于多张所述第一样本图像和第二学习率，更新所述第一共用神经网络的所述参数，所述第二学习率基于所述第一学习率计算得到。
在一些可选实施例中，所述第一停止迭代条件包括：所述第一融合模型中的至少一个所述参数至少两次更新后的参数值的差值小于预设阈值。
在一些可选实施例中，所述装置还包括：第二融合模型获取模块，用于获取第二融合模型；其中，所述第二融合模型包括多个检测任务共用的第二共用神经网络、特征分割网络以及与所述多个检测任务分别对应的第二检测网络；第二迭代更新模块，用于每次同时基于所述多个检测任务分别对应的多张样本图像，分多次对所述第二融合模型的参数所包括的参数进行迭代更新；第二模型建立模块，用于响应于所述第二融合模型所包括的所述参数满足预设的第二停止迭代条件，停止更新所述第二融合模型所包括的所述参数，获得所述目标模型。
在一些可选实施例中，所述第二迭代更新模块包括：通过所述第二共用神经网络对与所述多个检测任务分别对应的多张所述样本图像进行特征提取，获得与每张样本图像对应的多个特征图像；在所述多个特征图像中，通过所述特征分割网络分别确定与每个检测任务对应的目标特征图像；通过所述特征分割网络将与每个所述检测任务对应的所述目标特征图像分别输入所述每个检测任务对应的所述第二检测网络，获得每个所述第二检测网络输出的每个检测结果；基于每个所述检测结果与多张所述样本图像中标注的检测结果真值，更新所述第二共用神经网络中的参数和所述第二检测网络中的参数，直到所述第二融合模型所包括的所述参数满足预设的第二停止迭代条件。
在一些可选实施例中，所述第二迭代更新模块包括：分别计算每个所述检测结果与多张所述样本图像中标注的检测结果真值之间的梯度值，获得多个第一梯度值；对多个所述第一梯度值分别进行正则化处理，得到多个第二梯度值；根据多个所述第一梯度值，分别更新所述第二检测网络中的参数；根据多个所述第二梯度值，更新所述第二共用神经网络中的参数。
在一些可选实施例中，所述第二停止迭代条件包括：对所述第二融合模型所包括的所述参数进行迭代更新的次数达到预设次数。
在一些可选实施例中，所述装置还包括：第一确定模块，用于在所述多个检测任务中确定至少一个目标检测任务；第二确定模块，用于在所述多个第二检测网络中，确定与所述目标检测任务对应的目标检测网络；第一特征图像获取模块，用于获取所述目标检测网络中的中间网络层输出的第一特征图像；第二特征图像获取模块，用于通过预先建立的目标检测模型对目标样本图像进行特征提取后，获得第二特征图像；其中，所述目标检测模型是所述目标检测任务对应的检测模型，所述目标样本图像是所述目标检测任务对应的样本图像；更新模块，用于将所述第一特征图像与所述第二特征图像之间的第四梯度值作为目标损失函数，对所述目标模型中的所述目标检测网络的所述参数进行更新。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本公开实施例还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序用于执行上述任一所述的多任务检测方法。
在一些可选实施例中，本公开实施例提供了一种计算机程序产品，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行用于实现如上任一实施例提供的多任务检测方法的指令。
在一些可选实施例中，本公开实施例还提供了另一种计算机程序产品，用于存储计算机可读指令，指令被执行时使得计算机执行上述任一实施例提供的多任务检测方法的操作。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
本公开实施例还提供了一种训练装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为调用所述存储器中存储的可执行指令，实现上述任一项所述的多任务检测方法。
图19为本公开实施例提供的一种多任务检测装置的硬件结构示意图。该行为检测装置510包括处理器511，还可以包括输入装置512、输出装置513和存储器514。该输入装置512、输出装置513、存储器514和处理器511之间通过总线相互连接。
存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。
输入装置用于输入数据和/或信号，以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件，也可以是一个整体的器件。
处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。
存储器用于存储网络设备的程序代码和数据。
处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。
可以理解的是，图19仅仅示出了一种多任务检测装置的简化设计。在实际应用中，多任务检测装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等，而所有可以实现本公开实施例的多任务检测装置都在本公开的保护范围之内。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或者惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (15)

1.一种多任务检测方法，其特征在于，包括：
获取待检测图像；
基于目标模型对所述待检测图像进行多个检测任务的检测，获得所述多个检测任务分别对应的检测结果；
其中，所述目标模型至少包括所述多个检测任务共用的共用神经网络，以及与所述多个检测任务分别对应的检测网络。
2.根据权利要求1所述的方法，其特征在于，所述获取待检测图像，包括：
获取车载摄像头采集的视频流所包括的多帧图像，将所述多帧图像作为所述待检测图像；
所述基于目标模型对所述待检测图像进行多个检测任务的检测，获得所述多个检测任务分别对应的检测结果，包括：
基于所述目标模型对所述多帧图像进行多个交通目标检测任务的检测，获得所述多个交通目标检测任务分别对应的交通目标所在位置和/或状态的检测结果。
3.根据权利要求1或2所述的方法，其特征在于，采用以下方式训练所述目标模型：
获取第一融合模型；其中，所述第一融合模型包括所述多个检测任务共用的第一共用神经网络以及与所述多个检测任务分别对应的第一检测网络；
基于所述多个检测任务分别对应的多张样本图像，每次基于一个检测任务对应的多张样本图像，分多次对所述第一融合模型所包括的参数进行迭代更新；
响应于所述第一融合模型所包括的所述参数满足预设的第一停止迭代条件，停止更新所述第一融合模型所包括的所述参数，获得所述目标模型。
4.根据权利要求3所述的方法，其特征在于，所述基于所述多个检测任务分别对应的多张样本图像，每次基于一个检测任务对应的多张样本图像，分多次对所述第一融合模型所包括的参数进行迭代更新，包括：
基于与所述多个检测任务中第一检测任务对应的多张第一样本图像，更新所述第一共用神经网络的参数和与所述第一检测任务对应的所述第一检测网络的所述参数；
基于与所述多个检测任务中第二检测任务对应的多张第二样本图像，分别更新所述第二检测任务对应的所述第一检测网络的所述参数；
基于多张所述第二样本图像和预先设置的第一学习率，分别更新所述第二检测任务对应的所述第一检测网络的所述参数以及所述第一共用神经网络的参数；以及，
基于多张所述第一样本图像和所述第一学习率，分别更新所述第一检测任务对应的所述第一检测网络的参数以及所述第一共用神经网络的所述参数，直到所述第一融合模型所包括的所述参数满足所述第一停止迭代条件。
5.根据权利要求4所述的方法，其特征在于，所述基于多张所述第二样本图像和预先设置的第一学习率，分别更新所述第二检测任务对应的所述第一检测网络的所述参数以及所述第一共用神经网络的参数，包括：
基于多张所述第二样本图像和预先设置的第一学习率，分别更新所述第二检测任务对应的所述第一检测网络的所述参数；以及，
基于多张所述第二样本图像和第二学习率，更新所述第一共用神经网络的参数，所述第二学习率基于所述第一学习率计算得到。
6.根据权利要求4或5所述的方法，其特征在于，所述基于多张所述第一样本图像和所述第一学习率，分别更新所述第一检测任务对应的所述第一检测网络的参数以及所述第一共用神经网络的所述参数，包括：
基于多张所述第一样本图像和所述第一学习率，更新与所述第一检测任务对应的所述第一检测网络的参数；以及，
基于多张所述第一样本图像和第二学习率，更新所述第一共用神经网络的所述参数，所述第二学习率基于所述第一学习率计算得到。
7.根据权利要求3-6任一项所述的方法，其特征在于，所述第一停止迭代条件包括：所述第一融合模型中的至少一个所述参数至少两次更新后的参数值的差值小于预设阈值。
8.根据权利要求1或2所述的方法，其特征在于，采用以下方式训练所述目标模型：
获取第二融合模型；其中，所述第二融合模型包括多个检测任务共用的第二共用神经网络、特征分割网络以及与所述多个检测任务分别对应的第二检测网络；
每次同时基于所述多个检测任务分别对应的多张样本图像，分多次对所述第二融合模型的参数所包括的参数进行迭代更新；
响应于所述第二融合模型所包括的所述参数满足预设的第二停止迭代条件，停止更新所述第二融合模型所包括的所述参数，获得所述目标模型。
9.根据权利要求8所述的方法，其特征在于，所述每次同时基于所述多个检测任务分别对应的多张样本图像，分多次对所述第二融合模型的参数所包括的参数进行迭代更新，包括：
通过所述第二共用神经网络对与所述多个检测任务分别对应的多张所述样本图像进行特征提取，获得与每张样本图像对应的多个特征图像；
在所述多个特征图像中，通过所述特征分割网络分别确定与每个检测任务对应的目标特征图像；
通过所述特征分割网络将与每个所述检测任务对应的所述目标特征图像分别输入所述每个检测任务对应的所述第二检测网络，获得每个所述第二检测网络输出的每个检测结果；
基于每个所述检测结果与多张所述样本图像中标注的检测结果真值，更新所述第二共用神经网络中的参数和所述第二检测网络中的参数，直到所述第二融合模型所包括的所述参数满足预设的第二停止迭代条件。
10.根据权利要求9所述的方法，其特征在于，所述基于每个所述检测结果与多张所述样本图像中标注的检测结果真值，更新所述第二共用神经网络中的参数和所述第二检测网络中的参数，包括：
分别计算每个所述检测结果与多张所述样本图像中标注的检测结果真值之间的梯度值，获得多个第一梯度值；
对多个所述第一梯度值分别进行正则化处理，得到多个第二梯度值；
根据多个所述第一梯度值，分别更新所述第二检测网络中的参数；
根据多个所述第二梯度值，更新所述第二共用神经网络的参数。
11.根据权利要求8-10任一项所述的方法，其特征在于，所述第二停止迭代条件包括：对所述第二融合模型所包括的所述参数进行迭代更新的次数达到预设次数。
12.根据权利要求8-11任一项所述的方法，其特征在于，所述获得所述目标模型之后，所述方法还包括：
在所述多个检测任务中确定至少一个目标检测任务；
在所述多个第二检测网络中，确定与所述目标检测任务对应的目标检测网络；
获取所述目标检测网络中的中间网络层输出的第一特征图像；
通过预先建立的目标检测模型对目标样本图像进行特征提取后，获得第二特征图像；其中，所述目标检测模型是所述目标检测任务对应的检测模型，所述目标样本图像是所述目标检测任务对应的样本图像；
将所述第一特征图像与所述第二特征图像之间的第四梯度值作为目标损失函数，对所述目标模型中的所述目标检测网络的所述参数进行更新。
13.一种多任务检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取待检测图像；
多任务检测模块，用于基于目标模型对所述待检测图像进行多个检测任务的检测，获得所述多个检测任务分别对应的检测结果；
其中，所述目标模型至少包括所述多个检测任务共用的共用神经网络，以及与所述多个检测任务分别对应的检测网络。
14.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-12任一所述的多任务检测方法。
15.一种多任务检测装置，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现权利要求1-12中任一项所述的多任务检测方法。
CN201911363445.5A 2019-12-26 2019-12-26 多任务检测方法及装置、存储介质 Active CN111046973B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911363445.5A CN111046973B (zh) 2019-12-26 2019-12-26 多任务检测方法及装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911363445.5A CN111046973B (zh) 2019-12-26 2019-12-26 多任务检测方法及装置、存储介质

Publications (2)

Publication Number Publication Date
CN111046973A true CN111046973A (zh) 2020-04-21
CN111046973B CN111046973B (zh) 2024-06-11

Family

ID=70240354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911363445.5A Active CN111046973B (zh) 2019-12-26 2019-12-26 多任务检测方法及装置、存储介质

Country Status (1)

Country Link
CN (1) CN111046973B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488098A (zh) * 2020-11-16 2021-03-12 浙江新再灵科技股份有限公司 一种目标检测模型的训练方法
CN112712066A (zh) * 2021-01-19 2021-04-27 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质
CN113592864A (zh) * 2021-09-28 2021-11-02 广东电网有限责任公司惠州供电局 基于卷积神经网络的变压器监控方法、装置、***及介质
CN114037024A (zh) * 2022-01-07 2022-02-11 心鉴智控(深圳)科技有限公司 一种基于多任务神经网络数据识别***及方法
CN114495039A (zh) * 2022-01-21 2022-05-13 广州小鹏自动驾驶科技有限公司 对象识别方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170140248A1 (en) * 2015-11-13 2017-05-18 Adobe Systems Incorporated Learning image representation by distilling from multi-task networks
CN109598184A (zh) * 2017-09-30 2019-04-09 北京图森未来科技有限公司 一种多分割任务的处理方法和装置
CN109977978A (zh) * 2017-12-28 2019-07-05 中兴通讯股份有限公司 一种多目标检测方法、装置及存储介质
CN110334735A (zh) * 2019-05-31 2019-10-15 北京奇艺世纪科技有限公司 多任务网络生成方法、装置、计算机设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170140248A1 (en) * 2015-11-13 2017-05-18 Adobe Systems Incorporated Learning image representation by distilling from multi-task networks
CN109598184A (zh) * 2017-09-30 2019-04-09 北京图森未来科技有限公司 一种多分割任务的处理方法和装置
CN109977978A (zh) * 2017-12-28 2019-07-05 中兴通讯股份有限公司 一种多目标检测方法、装置及存储介质
CN110334735A (zh) * 2019-05-31 2019-10-15 北京奇艺世纪科技有限公司 多任务网络生成方法、装置、计算机设备和存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488098A (zh) * 2020-11-16 2021-03-12 浙江新再灵科技股份有限公司 一种目标检测模型的训练方法
CN112712066A (zh) * 2021-01-19 2021-04-27 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质
CN113592864A (zh) * 2021-09-28 2021-11-02 广东电网有限责任公司惠州供电局 基于卷积神经网络的变压器监控方法、装置、***及介质
CN113592864B (zh) * 2021-09-28 2022-03-15 广东电网有限责任公司惠州供电局 基于卷积神经网络的变压器监控方法、装置、***及介质
CN114037024A (zh) * 2022-01-07 2022-02-11 心鉴智控(深圳)科技有限公司 一种基于多任务神经网络数据识别***及方法
CN114495039A (zh) * 2022-01-21 2022-05-13 广州小鹏自动驾驶科技有限公司 对象识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111046973B (zh) 2024-06-11

Similar Documents

Publication Publication Date Title
US10699151B2 (en) System and method for performing saliency detection using deep active contours
CN111046973A (zh) 多任务检测方法及装置、存储介质
CN108345875B (zh) 可行驶区域检测模型训练方法、检测方法和装置
US10796201B2 (en) Fusing predictions for end-to-end panoptic segmentation
CN112132156B (zh) 多深度特征融合的图像显著性目标检测方法及***
KR20190119864A (ko) 딥러닝 기반의 소형 물체 검출 기법
CN111931720B (zh) 跟踪图像特征点的方法、装置、计算机设备和存储介质
EP4211651A1 (en) Efficient three-dimensional object detection from point clouds
CN112949578B (zh) 车灯状态识别方法、装置、设备及存储介质
CN111062405A (zh) 训练图像识别模型的方法和装置以及图像识别方法和装置
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
Li et al. Gated auxiliary edge detection task for road extraction with weight-balanced loss
CN111950633A (zh) 神经网络的训练、目标检测方法及装置和存储介质
Ayachi et al. Real-time implementation of traffic signs detection and identification application on graphics processing units
CN111079634A (zh) 车辆行驶中检测障碍物的方法、装置、***及车辆
CN110909656A (zh) 一种雷达与摄像机融合的行人检测方法和***
CN113989785A (zh) 一种驾驶场景分类方法、装置、设备及存储介质
CN114048536A (zh) 一种基于多任务神经网络的道路结构预测与目标检测方法
Khryashchev et al. Convolutional neural network for satellite imagery
CN112396594A (zh) 变化检测模型获取方法及装置、变化检测方法、计算机设备及可读存储介质
CN115272755A (zh) 一种激光点云检测分割方法及***
CN114359859A (zh) 一种含遮挡的目标物处理方法、装置及存储介质
Rotich et al. Resource-constrained simultaneous detection and labeling of objects in high-resolution satellite images
CN112784817A (zh) 车辆所在车道检测方法、装置、设备及存储介质
Liu et al. Efficient dense attention fusion network with channel correlation loss for road damage detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant