CN109472360B - 神经网络的更新方法、更新装置和电子设备 - Google Patents

神经网络的更新方法、更新装置和电子设备 Download PDF

Info

Publication number
CN109472360B
CN109472360B CN201811277565.9A CN201811277565A CN109472360B CN 109472360 B CN109472360 B CN 109472360B CN 201811277565 A CN201811277565 A CN 201811277565A CN 109472360 B CN109472360 B CN 109472360B
Authority
CN
China
Prior art keywords
neural network
deep neural
image
feature
subunit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811277565.9A
Other languages
English (en)
Other versions
CN109472360A (zh
Inventor
徐永浩
张骞
王国利
黄畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Horizon Robotics Technology Research and Development Co Ltd
Original Assignee
Beijing Horizon Robotics Technology Research and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Horizon Robotics Technology Research and Development Co Ltd filed Critical Beijing Horizon Robotics Technology Research and Development Co Ltd
Priority to CN201811277565.9A priority Critical patent/CN109472360B/zh
Publication of CN109472360A publication Critical patent/CN109472360A/zh
Priority to US16/666,631 priority patent/US11328180B2/en
Application granted granted Critical
Publication of CN109472360B publication Critical patent/CN109472360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

公开了一种神经网络的更新方法、更新装置和电子设备。该方法包括：将具有标签信息的第一图像集输入第一深度神经网络，基于第一深度神经网络确定第一图像集的交叉熵损失值；将不具有标签信息的第二图像集分别输入第一深度神经网络和第二深度神经网络，确定第二图像集的一致性损失值，第一深度神经网络和第二深度神经网络具有相同的网络结构；基于交叉熵损失值和一致性损失值，更新第一深度神经网络的参数；以及，基于更新后的第一深度神经网络的参数更新第二深度神经网络的参数。这样，可以通过集成结构相同的第一和第二深度神经网络而实现具有标签信息的图像集和不具有标签信息的图像集之间的领域适应。

Description

神经网络的更新方法、更新装置和电子设备
技术领域
本申请涉及深度学习和神经网络领域，且更为具体地，涉及一种神经网络的更新方法、更新装置和电子设备。
背景技术
目前，深度学***。
图像语义分割是无人驾驶等应用的研究基础，现有基于深度学习以及神经网络的图像语义分割方法往往需要大量的像素级标注样本进行训练，而像素级标注样本的获取十分费时费力，极大的提高了算法的实现成本。另一方面，不同城市的道路场景往往有很大的不同，这种场景与场景间的差异，使得之前训练好的模型在新的城市场景下，难以取得较好的分割效果。
因此，期望提供改进的用于更新神经网络的方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种神经网络的更新方法、更新装置和电子设备，其可以通过集成结构相同的第一和第二深度神经网络而实现具有标签信息的图像集和不具有标签信息的图像集之间的领域适应。
根据本申请的一个方面，提供了一种神经网络的更新方法，包括：将具有标签信息的第一图像集输入第一深度神经网络，基于所述第一深度神经网络确定所述第一图像集的交叉熵损失值；将不具有标签信息的第二图像集分别输入所述第一深度神经网络和第二深度神经网络，确定所述第二图像集的一致性损失值，所述第一深度神经网络和所述第二深度神经网络具有相同的网络结构；基于所述交叉熵损失值和所述一致性损失值，更新所述第一深度神经网络的参数；以及，基于更新后的所述第一深度神经网络的参数更新所述第二深度神经网络的参数。
根据本申请的另一方面，提供了一种神经网络的更新装置，包括：第一计算单元，用于将具有标签信息的第一图像集输入第一深度神经网络，基于所述第一深度神经网络确定所述第一图像集的交叉熵损失值；第二计算单元，用于将不具有标签信息的第二图像集分别输入所述第一深度神经网络和第二深度神经网络，确定所述第二图像集的一致性损失值，所述第一深度神经网络和所述第二深度神经网络具有相同的网络结构；第一更新单元，用于基于所述第一计算单元确定的所述交叉熵损失值和所述第二计算单元确定的所述一致性损失值，更新所述第一深度神经网络的参数；以及，第二更新单元，用于基于所述第一更新单元更新后的所述第一深度神经网络的参数更新所述第二深度神经网络的参数。
根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的神经网络的更新方法。
根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的神经网络的更新方法。
与现有技术相比，本申请提供的神经网络的更新方法、更新装置和电子设备可以将具有标签信息的第一图像集输入第一深度神经网络，基于所述第一深度神经网络确定所述第一图像集的交叉熵损失值；将不具有标签信息的第二图像集分别输入所述第一深度神经网络和第二深度神经网络，确定所述第二图像集的一致性损失值，所述第一深度神经网络和所述第二深度神经网络具有相同的网络结构；基于所述交叉熵损失值和所述一致性损失值，更新所述第一深度神经网络的参数；以及，基于更新后的所述第一深度神经网络的参数更新所述第二深度神经网络的参数。
这样，通过集成结构相同的第一和第二深度神经网络，可以实现具有标签信息的图像集和不具有标签信息的图像集之间的领域适应，从而使得具有标签信息的图像集可以用于更新不同深度神经网络，减少了对不具有标签信息的图像集进行标注的成本。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的神经网络的更新方法的应用场景图。
图2图示了根据本申请实施例的神经网络的生成方法的流程图。
图3图示了根据本申请实施例的注意力机制模块的示意图。
图4图示了根据本申请实施例的基于具有注意力机制的第一深度神经网络确定第一图像集的交叉熵损失值的流程图。
图5图示了根据本申请实施例的基于具有注意力机制的第一深度神经网络和第二深度神经网络确定第二图像集的一致性损失值的流程图。
图6图示了根据本申请实施例的神经网络的更新装置的框图。
图7图示了根据本申请实施例的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
如上所述，针对神经网络所应用的场景的变化，现在主要采用对抗学习方法，让深度网络同时学习源域(即已有标签信息的数据集)与目标域(有数据但没有标签信息的数据集)数据，并使得网络无法分辨输入数据是来自源域还是目标域，从而减小不同域间的特征差异。
但是，对抗学习模型的训练往往十分困难，网络中的相关超参数，如学习率、对抗损失函数的权重等对模型的效果有很大影响，具有模式坍塌等风险，因此训练十分费时费力。
针对上述技术问题，本申请的基本构思是集成具有相同的网络结构的第一深度神经网络和第二深度神经网络以构成自集成模型，并在所述自集成模型的训练过程中，首先更新输入具有标签信息的数据集的第一深度神经网络的参数，再进一步基于已更新的第一深度神经网络的参数更新输入不具有标签信息的数据集的第二深度神经网络的参数。
具体地，本申请提供的神经网络的更新方法、更新装置和电子设备首先将具有标签信息的第一图像集输入第一深度神经网络，基于所述第一深度神经网络确定所述第一图像集的交叉熵损失值，然后将不具有标签信息的第二图像集分别输入所述第一深度神经网络和第二深度神经网络，确定所述第二图像集的一致性损失值，所述第一深度神经网络和所述第二深度神经网络具有相同的网络结构，再基于所述交叉熵损失值和所述一致性损失值，更新所述第一深度神经网络的参数，最后基于更新后的所述第一深度神经网络的参数更新所述第二深度神经网络的参数。
这样，通过集成结构相同的第一和第二深度神经网络，可以实现具有标签信息的图像集和不具有标签信息的图像集之间的领域适应，从而使得具有标签信息的图像集可以用于更新不同深度神经网络，减少了对不具有标签信息的图像集进行标注的成本。
这里，本领域技术人员可以理解，本申请实施例中的深度神经网络除了应用于图像语义分割之外，还可以应用于其它具有针对具有和不具有标签信息的数据集的跨域学习的应用场景，例如对象检测等，本申请实施例并不意在对此进行任何限制。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性***
图1图示了根据本申请实施例的神经网络的更新方法的应用场景图。
如图1所示，在本申请实施例中，将具有标签信息的第一图像集IN1，即源域图像输入第一深度神经网络110，从而基于所述第一深度神经网络110确定所述第一图像集IN1的交叉熵损失值。这里，由于第一深度神经网络110输入具有标签信息的图像集，因此也可以被称为“学生网络”。
继续参考图1，不具有标签信息的第二图像集IN2，即目标域图像被分别输入所述第一深度神经网络110和第二深度神经网络120，并确定所述第二图像集IN2针对所述第一深度神经网络110和所述第二深度神经网络120的一致性损失值。这里，所述第一深度神经网络110和所述第二深度神经网络120具有相同的网络结构。由于第二深度神经网络120输入不具有标签信息的图像集，因此也可以被称为“老师网络”。
然后，基于所述交叉熵损失值和所述一致性损失值更新所述第一深度神经网络110的参数，并基于更新后的所述第一深度神经网络110的参数更新所述第二深度神经网络120的参数。这样，在所述第二深度神经网络120的更新结束后，基于输入的没有标签信息的第二图像集IN2，所述第二深度神经网络120也可以实现所需的功能，例如图像语义分割，图像分类，对象检测等。
下面，将进一步说明根据本申请实施例的神经网络的生成方法。
示例性方法
图2图示了根据本申请实施例的神经网络的生成方法的流程图。
如图2所示，根据本申请实施例的神经网络的生成方法包括以下步骤。
在步骤S210中，将具有标签信息的第一图像集输入第一深度神经网络，基于所述第一深度神经网络确定所述第一图像集的交叉熵损失值。
其中，所述第一图像集的标签信息可以是之前通过标注得到的，可以表示图像的类别、语义等。并且，所述第一深度神经网络可以是用于图像语义分割等的各种类型的深度神经网络，比如DeepLab-V2模型等。
在步骤S220中，将不具有标签信息的第二图像集分别输入所述第一深度神经网络和第二深度神经网络，确定所述第二图像集的一致性损失值，所述第一深度神经网络和所述第二深度神经网络具有相同的网络结构。
其中，所述不具有标签信息的第二图像集是需要所述第二深度神经网络执行诸如图像语义分割之类的功能的图像集，例如，其可以是不同场景下，比如不同城市的道路场景下的图像。并且，所述第二深度神经网络也可以是用于图像语义分割等的各种类型的深度神经网络，比如DeepLab-V2模型等，且具有与所述第一深度神经网络完全相同的网络结构。
并且，所述第一深度神经网络和所述第二深度神经网络在接收所述第一图像集和所述第二图像集之前，可以对网络参数进行初始化。
并且，所述第一图像集和所述第二图像集在输入所述深度神经网络和所述第二深度神经网络之前，可以对其中的每个图像进行随机增强，以提高深度神经网络的泛化能力。例如，可以向所述第一图像集和所述第二图像集中的每个图像的每个像素添加具有0的均值和0.1的标准差的高斯噪声，以进行随机增强。
在步骤S230中，基于所述交叉熵损失值和所述一致性损失值，更新所述第一深度神经网络的参数。
其中，通过基于所述交叉熵损失值和所述一致性损失值，可以通过各种方式对所述第一深度神经网络进行训练，以更新所述第一深度神经网络的参数。在一实施例中，可以基于所述交叉熵损失值和所述一致性损失值的加权和以梯度下降法更新所述第一深度神经网络的参数。
具体来说，通过梯度下降法以反向传播的方式更新所述第一深度神经网络的参数，以使得所述交叉熵损失值和所述一致性损失值的加权和减小，在所述加权和减小到零的情况下，就可以认为所述第一深度神经网络更新完毕。这样，可以通过该方式有效地训练所述第一深度神经网络，使得所述第一深度神经网络能够基于所述第一图像集实现所需的功能，例如图像语义分割，图像分类，对象检测等。
在步骤S240中，基于更新后的所述第一深度神经网络的参数更新所述第二深度神经网络的参数。
类似地，基于更新后的所述第一深度神经网络的参数，可以通过各种方式对所述第二深度神经网络进行训练，以更新所述第二深度神经网络的参数。在一实施例中，可以基于更新后的所述第一深度神经网络的参数以指数移动平均方法更新所述第二深度神经网络的参数。
具体来说，令更新后的第一深度神经网络的参数为θs，更新前的第二深度神经网络的参数为θt，则更新后的第二深度神经网络的参数θt+1可以表示为：
θt+1＝αθt+(1-α)θs
其中，α表示每一轮更新的权重，由于在迭代更新过程中，α会以指数形式出现，因此也被称为指数移动平均方法。这样，通过该方式，可以基于所述第一深度神经网络的更新来有效地同步更新所述第二深度神经网络，使得所述第二深度神经网络能够基于所述第二图像集实现所需的功能，例如图像语义分割，图像分类，对象检测等。
另外，如上所述，在本申请实施例中，可以通过迭代方式更新所述第一深度神经网络的参数，也就是说，以迭代方式执行上述步骤S210到步骤S240，并判定迭代是否收敛。在迭代不收敛的情况下，返回步骤S210继续进行迭代，而在迭代收敛的情况下，将所述第二图像集输入所述第二深度神经网络，以实现所需的功能。
也就是说，在如图2所示的实施例的步骤S240之后，可以进一步包括：确定更新后的所述第二深度神经网络的参数相对于更新前的所述第二深度神经网络的参数是否收敛；以及，若所述第二深度神经网络的参数收敛，基于所述更新后的第二深度神经网络设置图像语义分割模型。
因此，针对图像语义分割的任务，在一个示例中，训练好的所述第二深度神经网络可以直接基于不具有标签信息的所述第二图像集进行图像语义分割，从而用作图像语义分割模型。所以，本申请实施例所获得的图像语义分割模型可以基于不具有标签信息的图像集进行图像语义分割，从而不需要对图像进行人工标注的成本。
因此，更新后的所述第二深度神经网络可以针对不具有标签信息的第二图像集实现所需的功能，例如图像语义分割等，从而实现了具有标签信息的图像集和不具有标签信息的图像集之间的领域适应。这样，即使输入图像集不具有标签信息，也可以应用于深度神经网络执行所需的功能，减少了对图像集进行标注的成本。
并且，相对于对抗学习的方法，由于避免了对抗学习模型的模式坍塌等风险，本申请实施例的神经网络的更新方法的训练更加鲁棒，且适应的效果更好。
此外，图像中不同区域对应的域间差异往往不同，如不同城市的天空场景往往较为相似，而道路区域差异更大，因此，可以进一步针对影像中不同区域对应的域间差异进行特定的学习。
在另一实施例中，所述第一深度神经网络和所述第二深度神经网络可以包含注意力机制模块，从而考虑图像中不同区域对应的领域差异，使得域适应的学习更有针对性。
图3图示了根据本申请实施例的注意力机制模块的示意图。如图3所示，注意力机制模块针对输入的影像特征，进行池化、插值、卷积和非线性激活得到注意力图。然后，所述注意力图与输入的影像特征进行点乘和点加获得注意力特征。
也就是说，图3所示的注意力图，例如记为A(x)可用如下公式表达：
A(x)＝T(U(D(F(x))))
其中F(x)为输入影像特征，D代表池化，例如2×2池化，U代表插值，例如双线性内插，且T代表卷积，例如1×1卷积和非线性激活。
另外，图3所示的注意力特征，例如记为H(x)可用如下公式表达：
H(x)＝(1+A(x))*F(x)
下面，将参考图4和图5详细说明注意力机制模块在本申请实施例中的具体应用。
图4图示了根据本申请实施例的基于具有注意力机制的第一深度神经网络确定第一图像集的交叉熵损失值的流程图。如图4所示，在上述图2所示实施例的基础上，步骤S210可包括如下步骤：
S211，将具有标签信息的第一图像集输入第一深度神经网络以获得第一图像特征，例如，获得的所述第一图像特征记为F1(x)；
S212，对所述第一图像特征进行池化以获得第一池化图像特征，例如，以D表示池化，例如2×2平均池化，则获得第一池化图像特征D(F1(x))；
S213，对所述第一池化图像特征进行插值以获得第一插值图像特征，例如，以U表示插值，例如双线性插值，则获得第一插值图像特征U(D(F1(x)))；
S214，对所述第一插值图像特征卷积和激活以生成第一注意力图，例如，以T表示卷积和激活，例如1×1卷积和sigmoid非线性激活，则获得第一注意力图T(U(D(F1(x))))，为了简单起见记为A1(x)；
S215，对所述第一注意力图与所述第一图像特征进行点乘以获得第一点乘结果，即，将A1(x)与F1(x)进行点乘以获得A1(x)*F1(x)；
S216，将所述第一点乘结果与所述第一图像特征进行点加以获得第一注意力特征，即，将A1(x)*F1(x)与F1(x)进行点加以获得(1+A1(x))*F1(x)；以及
S217，基于所述第一深度神经网络从所述第一注意力特征计算出所述交叉熵损失值。
可以看到，针对第一注意力特征(1+A1(x))*F1(x)，A1(x)可以被看作为F1(x)中的特征的控制门。如果A1(x)对于F1(x)中的所有位置均为0，则第一注意力特征为初始第一图像特征F1(x)。否则，F1(x)中的特征可以在某些位置被加强而在其它位置被抑制。
因此，通过具有注意力机制的第一深度神经网络，可以使得所述第一深度神经网络的训练更有针对性。
图5图示了根据本申请实施例的基于具有注意力机制的第一深度神经网络和第二深度神经网络确定第二图像集的一致性损失值的流程图。如图5所示，在上述图2所示实施例的基础上，步骤S220可包括如下步骤：
S221，将不具有标签信息的第二图像集分别输入所述第一深度神经网络和所述第二深度神经网络以获得第二图像特征和第三图像特征，例如，获得的所述第二图像特征和所述第三图像特征分别记为F2(x)和F3(x)；
S222，对所述第二图像特征和所述第三图像特征分别进行池化以获得第二池化图像特征和第三池化图像特征，例如，以D表示池化，例如2×2平均池化，则分别获得第二池化图像特征D(F2(x))和第三池化图像特征D(F3(x))；
S223，对所述第二池化图像特征和所述第三池化图像特征分别进行插值以获得第二插值图像特征和第三插值图像特征，例如，以U表示插值，例如双线性插值，则分别获得第二插值图像特征U(D(F2(x)))和第三插值图像特征U(D(F3(x)))；
S224，对所述第二插值图像特征和所述第三插值图像特征分别进行卷积和激活以生成第二注意力图和第三注意力图，例如，以T表示卷积和激活，例如1×1卷积和sigmoid非线性激活，则分别获得第二注意力图T(U(D(F2(x))))和第三注意力图T(U(D(F3(x))))，为了简单起见记为A2(x)和A3(x)；
S225，对所述第二注意力图与所述第二图像特征进行点乘以获得第二点乘结果，和对所述第三注意力图与所述第三图像特征进行点乘以获得第三点乘结果，即，将A2(x)与F2(x)进行点乘以获得A2(x)*F2(x)，并将A3(x)与F3(x)进行点乘以获得A3(x)*F3(x)；
S226，将所述第二点乘结果与所述第二图像特征进行点加以获得第二注意力特征，和将所述第三点乘结果与所述第三图像特征进行点加以获得第三注意力特征，即，将A2(x)*F2(x)与F2(x)进行点加以获得(1+A2(x))*F2(x)，并将A3(x)*F3(x)与F3(x)进行点加以获得(1+A3(x))*F3(x)；以及
S227，基于所述第一深度神经网络和所述第二深度神经网络从所述第二注意力特征和所述第三注意力特征计算出所述一致性损失值。
同样，针对第二注意力特征(1+A2(x))*F2(x)，A2(x)可以被看作为F2(x)中的特征的控制门。如果A2(x)对于F2(x)中的所有位置均为0，则第二注意力特征为初始第二图像特征F2(x)。否则，F2(x)中的特征可以在某些位置被加强而在其它位置被抑制。
并且，针对第三注意力特征(1+A3(x))*F3(x)，A3(x)可以被看作为F3(x)中的特征的控制门。如果A3(x)对于F3(x)中的所有位置均为0，则第二注意力特征为初始第二图像特征F3(x)。否则，F3(x)中的特征可以在某些位置被加强而在其它位置被抑制。
因此，通过具有注意力机制的第一深度神经网络和第二深度神经网络，可以使得所述第一深度神经网络和所述第二深度神经网络之间的域适应训练更有针对性。
示例性装置
图6图示了根据本申请实施例的神经网络的更新装置的框图。
如图6所示，根据本申请实施例的神经网络的更新装置300包括：第一计算单元310，用于将具有标签信息的第一图像集输入第一深度神经网络，基于所述第一深度神经网络确定所述第一图像集的交叉熵损失值；第二计算单元320，用于将不具有标签信息的第二图像集分别输入所述第一深度神经网络和第二深度神经网络，确定所述第二图像集的一致性损失值，所述第一深度神经网络和所述第二深度神经网络具有相同的网络结构；第一更新单元330，用于基于所述第一计算单元310确定的所述交叉熵损失值和所述第二计算单元320确定的所述一致性损失值，更新所述第一深度神经网络的参数；以及，第二更新单元340，用于基于所述第一更新单元330更新后的所述第一深度神经网络的参数更新所述第二深度神经网络的参数。
在一个示例中，在上述神经网络的更新装置300中，所述第一计算单元310用于基于所述交叉熵损失值和所述一致性损失值的加权和以梯度下降法更新所述第一深度神经网络的参数。
在一个示例中，在上述神经网络的更新装置300中，所述第二计算单元320用于基于更新后的所述第一深度神经网络的参数以指数移动平均方法更新所述第二深度神经网络的参数。
在一个示例中，在上述神经网络的更新装置300中，所述第一计算单元310包括：第一特征子单元，用于将具有标签信息的第一图像集输入第一深度神经网络以获得第一图像特征；第一池化子单元，用于对所述第一特征子单元所获得的所述第一图像特征进行池化以获得第一池化图像特征；第一插值子单元，用于对所述第一池化子单元所获得的所述第一池化图像特征进行插值以获得第一插值图像特征；第一卷积子单元，用于对所述第一插值子单元所获得的第一插值图像特征卷积和激活以生成第一注意力图；第一点乘子单元，用于对所述第一卷积子单元所获得的第一注意力图与所述第一特征子单元所获得的第一图像特征进行点乘以获得第一点乘结果；第一点加子单元，用于将所述第一点乘子单元所获得的第一点乘结果与所述第一特征子单元所获得的第一图像特征进行点加以获得第一注意力特征；以及，第一值计算子单元，用于基于所述第一深度神经网络从所述第一点加子单元所获得的第一注意力特征计算出所述交叉熵损失值。
在一个示例中，在上述神经网络的更新装置300中，所述第二计算单元320包括：第二特征子单元，用于将不具有标签信息的第二图像集分别输入所述第一深度神经网络和所述第二深度神经网络以获得第二图像特征和第三图像特征；第二池化子单元，用于对所述第二特征子单元所获得的所述第二图像特征和所述第三图像特征分别进行池化以获得第二池化图像特征和第三池化图像特征；第二插值子单元，用于对所述第二池化子单元所获得的所述第二池化图像特征和所述第三池化图像特征分别进行插值以获得第二插值图像特征和第三插值图像特征；第二卷积子单元，用于对所述第二插值子单元所获得的第二插值图像特征和所述第三插值图像特征分别进行卷积和激活以生成第二注意力图和第三注意力图；第二点乘子单元，用于对所述第二卷积子单元所获得的所述第二注意力图与所述第二特征子单元所获得的所述第二图像特征进行点乘以获得第二点乘结果，和对所述第二卷积子单元所获得的所述第三注意力图与所述第二特征子单元所获得的所述第三图像特征进行点乘以获得第三点乘结果；第二点加子单元，用于将所述第二点乘子单元所获得的所述第二点乘结果与所述第二特征子单元所获得的所述第二图像特征进行点加以获得第二注意力特征，和将所述第二点乘子单元所获得的所述第三点乘结果与所述第二特征子单元所获得的所述第三图像特征进行点加以获得第三注意力特征；以及，第二值计算子单元，用于基于所述第一深度神经网络和所述第二深度神经网络从所述第二点加子单元所获得的所述第二注意力特征和所述第三注意力特征计算出所述一致性损失值。
这里，本领域技术人员可以理解，上述神经网络的更新装置300中的各个单元和模块的具体功能和操作已经在上面参考图1到图5的神经网络的更新方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的神经网络的更新装置300可以实现在各种终端设备中，例如用于更新神经网络的服务器等。在一个示例中，根据本申请实施例的神经网络的更新装置300可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该神经网络的更新装置300可以是该终端设备的操作***中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该神经网络的更新装置300同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该神经网络的更新装置300与该终端设备也可以是分立的设备，并且该神经网络的更新装置300可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性电子设备
下面，参考图7来描述根据本申请实施例的电子设备。
图7图示了根据本申请实施例的电子设备的框图。
如图7所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的神经网络的更新方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如交叉熵损失值、一致性损失值等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。
该输入装置13可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括更新后的神经网络、对图像进行图像语义分割的结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图7中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的神经网络的更新方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的神经网络的更新方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (11)

1.一种神经网络的更新方法，包括：
将具有标签信息的第一图像集输入第一深度神经网络，基于所述第一深度神经网络确定所述第一图像集的交叉熵损失值；
将不具有标签信息的第二图像集分别输入所述第一深度神经网络和第二深度神经网络，确定所述第二图像集的一致性损失值，所述第一深度神经网络和所述第二深度神经网络具有相同的网络结构；
基于所述交叉熵损失值和所述一致性损失值，更新所述第一深度神经网络的参数；以及
基于更新后的所述第一深度神经网络的参数更新所述第二深度神经网络的参数。
2.如权利要求1所述的神经网络的更新方法，其中，基于所述交叉熵损失值和所述一致性损失值更新所述第一深度神经网络的参数包括：
基于所述交叉熵损失值和所述一致性损失值的加权和以梯度下降法更新所述第一深度神经网络的参数。
3.如权利要求1所述的神经网络的更新方法，其中，基于更新后的所述第一深度神经网络的参数更新所述第二深度神经网络的参数包括：
基于更新后的所述第一深度神经网络的参数以指数移动平均方法更新所述第二深度神经网络的参数。
4.如权利要求1所述的神经网络的更新方法，其中，将具有标签信息的第一图像集输入第一深度神经网络，基于所述第一深度神经网络确定所述第一图像集的交叉熵损失值包括：
将具有标签信息的第一图像集输入第一深度神经网络以获得第一图像特征；
对所述第一图像特征进行池化以获得第一池化图像特征；
对所述第一池化图像特征进行插值以获得第一插值图像特征；
对所述第一插值图像特征卷积和激活以生成第一注意力图；
对所述第一注意力图与所述第一图像特征进行点乘以获得第一点乘结果；
将所述第一点乘结果与所述第一图像特征进行点加以获得第一注意力特征；以及
基于所述第一深度神经网络从所述第一注意力特征计算出所述交叉熵损失值。
5.如权利要求1所述的神经网络的更新方法，其中，将不具有标签信息的第二图像集分别输入所述第一深度神经网络和第二深度神经网络确定所述第二图像集的一致性损失值包括：
将不具有标签信息的第二图像集分别输入所述第一深度神经网络和所述第二深度神经网络以获得第二图像特征和第三图像特征；
对所述第二图像特征和所述第三图像特征分别进行池化以获得第二池化图像特征和第三池化图像特征；
对所述第二池化图像特征和所述第三池化图像特征分别进行插值以获得第二插值图像特征和第三插值图像特征；
对所述第二插值图像特征和所述第三插值图像特征分别进行卷积和激活以生成第二注意力图和第三注意力图；
对所述第二注意力图与所述第二图像特征进行点乘以获得第二点乘结果，和对所述第三注意力图与所述第三图像特征进行点乘以获得第三点乘结果；
将所述第二点乘结果与所述第二图像特征进行点加以获得第二注意力特征，和将所述第三点乘结果与所述第三图像特征进行点加以获得第三注意力特征；以及
基于所述第一深度神经网络和所述第二深度神经网络从所述第二注意力特征和所述第三注意力特征计算出所述一致性损失值。
6.如权利要求1所述的神经网络的更新方法，进一步包括：
确定更新后的所述第二深度神经网络的参数相对于更新前的所述第二深度神经网络的参数是否收敛；以及
若所述第二深度神经网络的参数收敛，基于所述更新后的第二深度神经网络设置图像语义分割模型。
7.一种神经网络的更新装置，包括：
第一计算单元，用于将具有标签信息的第一图像集输入第一深度神经网络，基于所述第一深度神经网络确定所述第一图像集的交叉熵损失值；
第二计算单元，用于将不具有标签信息的第二图像集分别输入所述第一深度神经网络和第二深度神经网络，确定所述第二图像集的一致性损失值，所述第一深度神经网络和所述第二深度神经网络具有相同的网络结构；
第一更新单元，用于基于所述第一计算单元确定的所述交叉熵损失值和所述第二计算单元确定的所述一致性损失值，更新所述第一深度神经网络的参数；以及
第二更新单元，用于基于所述第一更新单元更新后的所述第一深度神经网络的参数更新所述第二深度神经网络的参数。
8.如权利要求7所述的神经网络的更新装置，其中，所述第一计算单元包括：
第一特征子单元，用于将具有标签信息的第一图像集输入第一深度神经网络以获得第一图像特征；
第一池化子单元，用于对所述第一特征子单元所获得的所述第一图像特征进行池化以获得第一池化图像特征；
第一插值子单元，用于对所述第一池化子单元所获得的所述第一池化图像特征进行插值以获得第一插值图像特征；
第一卷积子单元，用于对所述第一插值子单元所获得的第一插值图像特征卷积和激活以生成第一注意力图；
第一点乘子单元，用于对所述第一卷积子单元所获得的第一注意力图与所述第一特征子单元所获得的第一图像特征进行点乘以获得第一点乘结果；
第一点加子单元，用于将所述第一点乘子单元所获得的第一点乘结果与所述第一特征子单元所获得的第一图像特征进行点加以获得第一注意力特征；以及
第一值计算子单元，用于基于所述第一深度神经网络从所述第一点加子单元所获得的第一注意力特征计算出所述交叉熵损失值。
9.如权利要求7所述的神经网络的更新装置，其中，所述第二计算单元包括：
第二特征子单元，用于将不具有标签信息的第二图像集分别输入所述第一深度神经网络和所述第二深度神经网络以获得第二图像特征和第三图像特征；
第二池化子单元，用于对所述第二特征子单元所获得的所述第二图像特征和所述第三图像特征分别进行池化以获得第二池化图像特征和第三池化图像特征；
第二插值子单元，用于对所述第二池化子单元所获得的所述第二池化图像特征和所述第三池化图像特征分别进行插值以获得第二插值图像特征和第三插值图像特征；
第二卷积子单元，用于对所述第二插值子单元所获得的第二插值图像特征和所述第三插值图像特征分别进行卷积和激活以生成第二注意力图和第三注意力图；
第二点乘子单元，用于对所述第二卷积子单元所获得的所述第二注意力图与所述第二特征子单元所获得的所述第二图像特征进行点乘以获得第二点乘结果，和对所述第二卷积子单元所获得的所述第三注意力图与所述第二特征子单元所获得的所述第三图像特征进行点乘以获得第三点乘结果；
第二点加子单元，用于将所述第二点乘子单元所获得的所述第二点乘结果与所述第二特征子单元所获得的所述第二图像特征进行点加以获得第二注意力特征，和将所述第二点乘子单元所获得的所述第三点乘结果与所述第二特征子单元所获得的所述第三图像特征进行点加以获得第三注意力特征；以及
第二值计算子单元，用于基于所述第一深度神经网络和所述第二深度神经网络从所述第二点加子单元所获得的所述第二注意力特征和所述第三注意力特征计算出所述一致性损失值。
10.一种电子设备，包括：
处理器；以及
存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-6中任一项所述的神经网络的更新方法。
11.一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-6中任一项所述的神经网络的更新方法。
CN201811277565.9A 2018-10-30 2018-10-30 神经网络的更新方法、更新装置和电子设备 Active CN109472360B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811277565.9A CN109472360B (zh) 2018-10-30 2018-10-30 神经网络的更新方法、更新装置和电子设备
US16/666,631 US11328180B2 (en) 2018-10-30 2019-10-29 Method for updating neural network and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811277565.9A CN109472360B (zh) 2018-10-30 2018-10-30 神经网络的更新方法、更新装置和电子设备

Publications (2)

Publication Number Publication Date
CN109472360A CN109472360A (zh) 2019-03-15
CN109472360B true CN109472360B (zh) 2020-09-04

Family

ID=65666781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811277565.9A Active CN109472360B (zh) 2018-10-30 2018-10-30 神经网络的更新方法、更新装置和电子设备

Country Status (2)

Country Link
US (1) US11328180B2 (zh)
CN (1) CN109472360B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200053886A (ko) * 2018-11-09 2020-05-19 삼성전자주식회사 뉴럴 프로세싱 유닛, 뉴럴 프로세싱 시스템, 및 어플리케이션 시스템
US10963757B2 (en) * 2018-12-14 2021-03-30 Industrial Technology Research Institute Neural network model fusion method and electronic device using the same
CN110378278B (zh) * 2019-07-16 2021-11-02 北京地平线机器人技术研发有限公司 神经网络的训练方法、对象搜索方法、装置以及电子设备
CN112348161A (zh) * 2019-08-09 2021-02-09 北京地平线机器人技术研发有限公司 神经网络的训练方法、神经网络的训练装置和电子设备
CN110472737B (zh) * 2019-08-15 2023-11-17 腾讯医疗健康(深圳)有限公司 神经网络模型的训练方法、装置和医学图像处理***
CN111105031B (zh) * 2019-11-11 2023-10-17 北京地平线机器人技术研发有限公司 网络结构搜索方法和装置、存储介质、电子设备
CN111275092B (zh) * 2020-01-17 2022-05-13 电子科技大学 一种基于无监督域适应的图像分类方法
CN111710008B (zh) * 2020-05-29 2023-07-11 北京百度网讯科技有限公司 人流密度的生成方法、装置、电子设备以及存储介质
CN111708873B (zh) * 2020-06-15 2023-11-24 腾讯科技（深圳）有限公司 智能问答方法、装置、计算机设备和存储介质
US11622117B2 (en) * 2020-07-21 2023-04-04 Tencent America LLC Method and apparatus for rate-adaptive neural image compression with adversarial generators
CN112101172B (zh) * 2020-09-08 2023-09-08 平安科技（深圳）有限公司 基于权重嫁接的模型融合的人脸识别方法及相关设备
CN113113119A (zh) * 2021-03-23 2021-07-13 中国科学院深圳先进技术研究院 语义分割网络的训练方法、图像处理方法及其设备
CN113792606B (zh) * 2021-08-18 2024-04-26 清华大学 基于多目标追踪的低成本自监督行人重识别模型构建方法
CN113837192B (zh) * 2021-09-22 2024-04-19 推想医疗科技股份有限公司 图像分割方法及装置，神经网络的训练方法及装置
CN114445670B (zh) * 2022-04-11 2022-07-12 腾讯科技（深圳）有限公司 图像处理模型的训练方法、装置、设备及存储介质
CN115393678B (zh) * 2022-08-01 2024-04-02 北京理工大学 一种基于图像式中间态的多模态数据融合决策方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104157290A (zh) * 2014-08-19 2014-11-19 大连理工大学 一种基于深度学习的说话人识别方法
CN105631479A (zh) * 2015-12-30 2016-06-01 中国科学院自动化研究所 基于非平衡学习的深度卷积网络图像标注方法及装置
CN106599797A (zh) * 2016-11-24 2017-04-26 北京航空航天大学 一种基于局部并行神经网络的红外人脸识别方法
CN107122809A (zh) * 2017-04-24 2017-09-01 北京工业大学 基于图像自编码的神经网络特征学习方法
CN107578453A (zh) * 2017-10-18 2018-01-12 北京旷视科技有限公司 压缩图像处理方法、装置、电子设备及计算机可读介质
CN107818314A (zh) * 2017-11-22 2018-03-20 北京达佳互联信息技术有限公司 脸部图像处理方法、装置及服务器
CN108090472A (zh) * 2018-01-12 2018-05-29 浙江大学 基于多通道一致性特征的行人重识别方法及其***
CN108154222A (zh) * 2016-12-02 2018-06-12 北京市商汤科技开发有限公司 深度神经网络训练方法和***、电子设备
CN108228686A (zh) * 2017-06-15 2018-06-29 北京市商汤科技开发有限公司 用于实现图文匹配的方法、装置和电子设备
CN108256571A (zh) * 2018-01-16 2018-07-06 佛山市顺德区中山大学研究院 一种基于卷积神经网络的中餐食物识别方法
CN108540338A (zh) * 2018-03-08 2018-09-14 西安电子科技大学 基于深度循环神经网络的应用层通信协议识别的方法
CN108549926A (zh) * 2018-03-09 2018-09-18 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法
CN108573491A (zh) * 2017-03-10 2018-09-25 南京大学 一种基于机器学习的三维超声图像分割方法
CN108616470A (zh) * 2018-03-26 2018-10-02 天津大学 基于卷积神经网络的调制信号识别方法
CN107291837B (zh) * 2017-05-31 2020-04-03 北京大学 一种基于领域适应性的网络文本的分词方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7362920B2 (en) * 2003-09-22 2008-04-22 Siemens Medical Solutions Usa, Inc. Method and system for hybrid rigid registration based on joint correspondences between scale-invariant salient region features
US9240056B2 (en) * 2008-04-02 2016-01-19 Microsoft Technology Licensing, Llc Video retargeting
US8903748B2 (en) * 2011-06-27 2014-12-02 International Business Machines Corporation Systems and methods for large-scale randomized optimization for problems with decomposable loss functions
US9190053B2 (en) * 2013-03-25 2015-11-17 The Governing Council Of The Univeristy Of Toronto System and method for applying a convolutional neural network to speech recognition
US9396391B2 (en) * 2014-06-17 2016-07-19 Digitalglobe, Inc. Automated geospatial image mosaic generation with multiple zoom level support
US10032092B2 (en) * 2016-02-02 2018-07-24 Adobe Systems Incorporated Training data to increase pixel labeling accuracy
US10846836B2 (en) * 2016-11-14 2020-11-24 Ricoh Company, Ltd. View synthesis using deep convolutional neural networks
US10339421B2 (en) * 2017-03-30 2019-07-02 Toyota Motor Engineering & Manufacturing North America, Inc. RGB-D scene labeling with multimodal recurrent neural networks
CN108334934B (zh) * 2017-06-07 2021-04-13 赛灵思公司 基于剪枝和蒸馏的卷积神经网络压缩方法
CN107748858A (zh) * 2017-06-15 2018-03-02 华南理工大学 一种基于级联卷积神经网络的多姿态眼睛定位方法
CN107316307B (zh) * 2017-06-27 2020-05-08 北京工业大学 一种基于深度卷积神经网络的中医舌图像自动分割方法
US10970829B2 (en) * 2017-08-24 2021-04-06 Siemens Healthcare Gmbh Synthesizing and segmenting cross-domain medical images
CN108108806A (zh) * 2017-12-14 2018-06-01 西北工业大学 基于预训练模型滤波器提取的卷积神经网络初始化方法
CN108664893B (zh) * 2018-04-03 2022-04-29 福建海景科技开发有限公司 一种人脸检测方法及存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104157290A (zh) * 2014-08-19 2014-11-19 大连理工大学 一种基于深度学习的说话人识别方法
CN105631479A (zh) * 2015-12-30 2016-06-01 中国科学院自动化研究所 基于非平衡学习的深度卷积网络图像标注方法及装置
CN106599797A (zh) * 2016-11-24 2017-04-26 北京航空航天大学 一种基于局部并行神经网络的红外人脸识别方法
CN108154222A (zh) * 2016-12-02 2018-06-12 北京市商汤科技开发有限公司 深度神经网络训练方法和***、电子设备
CN108573491A (zh) * 2017-03-10 2018-09-25 南京大学 一种基于机器学习的三维超声图像分割方法
CN107122809A (zh) * 2017-04-24 2017-09-01 北京工业大学 基于图像自编码的神经网络特征学习方法
CN107291837B (zh) * 2017-05-31 2020-04-03 北京大学 一种基于领域适应性的网络文本的分词方法
CN108228686A (zh) * 2017-06-15 2018-06-29 北京市商汤科技开发有限公司 用于实现图文匹配的方法、装置和电子设备
CN107578453A (zh) * 2017-10-18 2018-01-12 北京旷视科技有限公司 压缩图像处理方法、装置、电子设备及计算机可读介质
CN107818314A (zh) * 2017-11-22 2018-03-20 北京达佳互联信息技术有限公司 脸部图像处理方法、装置及服务器
CN108090472A (zh) * 2018-01-12 2018-05-29 浙江大学 基于多通道一致性特征的行人重识别方法及其***
CN108256571A (zh) * 2018-01-16 2018-07-06 佛山市顺德区中山大学研究院 一种基于卷积神经网络的中餐食物识别方法
CN108540338A (zh) * 2018-03-08 2018-09-14 西安电子科技大学 基于深度循环神经网络的应用层通信协议识别的方法
CN108549926A (zh) * 2018-03-09 2018-09-18 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法
CN108616470A (zh) * 2018-03-26 2018-10-02 天津大学 基于卷积神经网络的调制信号识别方法

Also Published As

Publication number Publication date
CN109472360A (zh) 2019-03-15
US11328180B2 (en) 2022-05-10
US20200134380A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
CN109472360B (zh) 神经网络的更新方法、更新装置和电子设备
US10565757B2 (en) Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images
US20230196117A1 (en) Training method for semi-supervised learning model, image processing method, and device
CN106649542A (zh) 用于视觉问答的***和方法
Mohan et al. Spatio-temporal deep learning models of 3D turbulence with physics informed diagnostics
CN111523640B (zh) 神经网络模型的训练方法和装置
CN111782840A (zh) 图像问答方法、装置、计算机设备和介质
CN113039555A (zh) 通过使用基于注意力的神经网络在视频剪辑中进行动作分类
CN113255798A (zh) 一种分类模型训练方法、装置、设备及介质
CN114612688B (zh) 对抗样本生成方法、模型训练方法、处理方法及电子设备
CN114330474A (zh) 一种数据处理方法、装置、计算机设备以及存储介质
CN111523351A (zh) 神经网络的训练方法、装置和电子设备
CN111461862B (zh) 为业务数据确定目标特征的方法及装置
CN111090740B (zh) 一种用于对话***的知识图谱生成方法
CN112016677A (zh) 深度神经网络的训练方法、装置和电子设备
CN108229477B (zh) 针对图像的视觉关联性识别方法、装置、设备及存储介质
CN111354374A (zh) 语音处理方法、模型训练方法及电子设备
CN116258176A (zh) 一种数据处理方法及其装置
US20070223821A1 (en) Pattern recognition method
CN111767710B (zh) 印尼语的情感分类方法、装置、设备及介质
CN113806507A (zh) 一种多标签分类方法、装置及可读介质
CN112861601A (zh) 生成对抗样本的方法及相关设备
CN113919476A (zh) 一种图像处理方法、装置、电子设备以及存储介质
US20240135610A1 (en) Image generation using a diffusion model
CN111868752A (zh) 神经网络层权重的连续参数化

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant