CN113240071B - 图神经网络处理方法、装置、计算机设备及存储介质 - Google Patents

图神经网络处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113240071B
CN113240071B CN202110519835.8A CN202110519835A CN113240071B CN 113240071 B CN113240071 B CN 113240071B CN 202110519835 A CN202110519835 A CN 202110519835A CN 113240071 B CN113240071 B CN 113240071B
Authority
CN
China
Prior art keywords
image
neural network
label
augmented
graph neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110519835.8A
Other languages
English (en)
Other versions
CN113240071A (zh
Inventor
王俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Chuangke Technology Beijing Co ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202110519835.8A priority Critical patent/CN113240071B/zh
Publication of CN113240071A publication Critical patent/CN113240071A/zh
Application granted granted Critical
Publication of CN113240071B publication Critical patent/CN113240071B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例属于人工智能领域，涉及一种图神经网络处理方法、装置、计算机设备及存储介质，方法包括：获取有标签图像和无标签图像；对有标签图像进行混类增强得到第一增广图像；根据有标签图像和第一增广图像训练初始图神经网络得到中继图神经网络；对无标签图像进行混类增强得到第二增广图像；将无标签图像和第二增广图像输入中继图神经网络得到预测结果；根据预测结果的置信度确定无标签图像和第二增广图像的伪标签；再根据有标签图像、第一增广图像、无标签图像和第二增广图像对中继图神经网络进行训练，得到图神经网络。此外，本申请还涉及区块链技术，有标签图像和无标签图像可存储于区块链。本申请提高了训练得到的图神经网络的准确性。

Description

图神经网络处理方法、装置、计算机设备及存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种图神经网络处理方法、装置、计算机设备及存储介质。
背景技术
随着计算机技术的发展，深度学习在计算机视觉领域，例如图像分类、物体检测和图像分割等任务上展现出了强大的性能。在深度学习中，可以使用图神经网络对图结构进行处理。在对图神经网络进行深度学习时，模型的性能通常会随着训练数据的质量、多样性和数量的增加而相应提高。因此，大量带标签的训练数据在图神经网络的学习中发挥着至关重要的作用。
然而，收集足够数量的高质量训练数据往往非常困难，而且成本高昂。虽然可以通过平移、旋转和翻转等简单操作增加训练数据的数量，但这些数据增广技术只能在标签不变的前提下实现数据增广，且将其应用于社交网络、交通图、分子图等具有非欧几里得结构的图数据的增广时，会导致标签错误，为图神经网络的训练引入较大误差。虽然还可以采用半监督学习从一定程度上缓解对有标签数据的需求，但是在少量有标签数据的半监督学习场景中，可能会产生较大的误差，容易出现过拟合现象，导致训练得到的图神经网络准确性较低。
发明内容
本申请实施例的目的在于提出一种图神经网络处理方法、装置、计算机设备及存储介质，以解决训练得到的图神经网络准确性较低的问题。
为了解决上述技术问题，本申请实施例提供一种图神经网络处理方法，采用了如下所述的技术方案：
获取有标签图像以及无标签图像；
对所述有标签图像进行混类增强，得到带有标签的第一增广图像；
根据所述有标签图像和所述第一增广图像对初始图神经网络进行训练，得到中继图神经网络；
根据所述有标签图像和所述第一增广图像对所述无标签图像进行混类增强，得到与所述无标签图像相关联的第二增广图像；
将所述无标签图像和所述第二增广图像输入所述中继图神经网络，分别得到所述无标签图像和所述第二增广图像的预测结果；
根据所述预测结果的置信度，确定所述无标签图像和所述第二增广图像各自的伪标签；
根据所述有标签图像、所述第一增广图像、带有伪标签的所述无标签图像和带有伪标签的所述第二增广图像对所述中继图神经网络进行训练，得到图神经网络。
为了解决上述技术问题，本申请实施例还提供一种图神经网络处理装置，采用了如下所述的技术方案：
图像获取模块，用于获取有标签图像以及无标签图像；
有标签增强模块，用于对所述有标签图像进行混类增强，得到带有标签的第一增广图像；
初始训练模块，用于根据所述有标签图像和所述第一增广图像对初始图神经网络进行训练，得到中继图神经网络；
无标签增广模块，用于根据所述有标签图像和所述第一增广图像对所述无标签图像进行混类增强，得到与所述无标签图像相关联的第二增广图像；
图像输入模块，用于将所述无标签图像和所述第二增广图像输入所述中继图神经网络，分别得到所述无标签图像和所述第二增广图像的预测结果；
伪标签确定模块，用于根据所述预测结果的置信度，确定所述无标签图像和所述第二增广图像各自的伪标签；
中继训练模块，用于根据所述有标签图像、所述第一增广图像、带有伪标签的所述无标签图像和带有伪标签的所述第二增广图像对所述中继图神经网络进行训练，得到图神经网络。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
获取有标签图像以及无标签图像；
对所述有标签图像进行混类增强，得到带有标签的第一增广图像；
根据所述有标签图像和所述第一增广图像对初始图神经网络进行训练，得到中继图神经网络；
根据所述有标签图像和所述第一增广图像对所述无标签图像进行混类增强，得到与所述无标签图像相关联的第二增广图像；
将所述无标签图像和所述第二增广图像输入所述中继图神经网络，分别得到所述无标签图像和所述第二增广图像的预测结果；
根据所述预测结果的置信度，确定所述无标签图像和所述第二增广图像各自的伪标签；
根据所述有标签图像、所述第一增广图像、带有伪标签的所述无标签图像和带有伪标签的所述第二增广图像对所述中继图神经网络进行训练，得到图神经网络。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
获取有标签图像以及无标签图像；
对所述有标签图像进行混类增强，得到带有标签的第一增广图像；
根据所述有标签图像和所述第一增广图像对初始图神经网络进行训练，得到中继图神经网络；
根据所述有标签图像和所述第一增广图像对所述无标签图像进行混类增强，得到与所述无标签图像相关联的第二增广图像；
将所述无标签图像和所述第二增广图像输入所述中继图神经网络，分别得到所述无标签图像和所述第二增广图像的预测结果；
根据所述预测结果的置信度，确定所述无标签图像和所述第二增广图像各自的伪标签；
根据所述有标签图像、所述第一增广图像、带有伪标签的所述无标签图像和带有伪标签的所述第二增广图像对所述中继图神经网络进行训练，得到图神经网络。
与现有技术相比，本申请实施例主要有以下有益效果：获取有标签图像和无标签图像后，对有标签图像进行混类增强得到带有标签的第一增广图像，在不破坏图像内在信息的情况下实现了数据增广，保证了网络的泛化能力；根据有标签图像和第一增广图像对初始图神经网络进行训练，得到中继图神经网络；再根据有标签图像和第一增广图像对无标签图像进行混类增强，得到第二增广图像；通过中继图神经网络获取无标签图像和第二增广图像的预测结果；预测结果具有置信度，根据置信度重新确定无标签图像和第二增广图像各自的伪标签，提高了伪标签的准确性，减少了有标签图像、第一增广图像、无标签图像和第二增广图像对中继图神经网络进行半监督训练时的误差，提高了训练得到的图神经网络的准确性。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性***架构图；
图2是根据本申请的图神经网络处理方法的一个实施例的流程图；
图3是根据本申请的图神经网络处理装置的一个实施例的结构示意图；
图4是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的图神经网络处理方法一般由服务器执行，相应地，图神经网络处理装置一般设置于服务器中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的图神经网络处理方法的一个实施例的流程图。所述的图神经网络处理方法，包括以下步骤：
步骤S201，获取有标签图像以及无标签图像。
在本实施例中，图神经网络处理方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式与终端进行通信。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
具体地，本申请对图神经网络进行半监督训练，需要获取有标签图像以及无标签图像。本申请中的图神经网络可以用于图像处理，例如图像分类、物体检测和图像分割，此时图像的标签可以是图像中存在的物体、图像中物体的类别、图像分割信息等；此外，本申请中的图神经网络还可以对具有复杂非欧几里得结构的图像进行处理，例如用于物理***建模、社交网络分析、交通网络分析、蛋白质结构图以及分子图的处理等，此时，标签可以是图像的分类信息、图像中节点的分类信息、节点之间的关系信息等。
需要强调的是，为进一步保证上述有标签图像和无标签图像的私密和安全性，上述有标签图像和无标签图像还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
进一步的，上述步骤S201之前，图神经网络处理方法还可以包括：
步骤S208，根据图神经网络训练指令，获取初始有标签图像和初始无标签图像。
其中，图神经网络训练指令可以是指示服务器训练图神经网络的指令。
具体地，可以由用户在终端触发图神经网络训练指令。服务器根据从终端接收到的图神经网络训练指令，获取初始有标签图像和初始无标签图像。初始有标签图像和初始无标签图像可以是普通的图像，例如，可以是通过摄像头获取到的图像，是一种高纬度复杂数据。
步骤S209，将初始有标签图像输入图网络编码器得到基于隐藏层表示的有标签图像。
其中，图网络编码器可以是图神经网络(Graph Neural Networks，GNN)中的编码器，图神经网络是用于处理图数据的神经网络结构，可以有效地建模图结构中对象之间的关系或交互。
具体地，服务器可以首先提取获取到的图像的隐藏层表示，隐藏层表示是网络中间层的输出的关于数据的特征表示。可以将初始有标签图像输入图网络编码器，图网络编码器可以将输入的高维复杂数据提炼成紧凑的特征或表示。例如在进行猫狗图像分类时，初始有标签图像和初始无标签图像可能是百万像素的数据，通过图网络编码器，可以输出其紧凑的低维表示，例如耳朵形状、眼睛颜色、嘴鼻形状、毛色、爪子形状等特征表示，这样不仅可以降低计算量，还可以根据更有效的信息进行更准确的计算。可以将从初始有标签图像中获取到的隐藏层表示作为有标签图像。
步骤S210，将初始无标签图像输入图网络编码器得到基于隐藏层表示的无标签图像。
具体地，服务器还将初始无标签图像输入图网络编码器，以通过图网络编码器得到初始无标签图像的隐藏层表示，并将得到的隐藏层表示作为无标签图像。
本实施例中，将初始有标签图像输入图网络编码器得到基于隐藏层表示的有标签图像，将初始无标签图像输入图网络编码器得到基于隐藏层表示的无标签图像，先对图像进行降维，便利了后续的图像处理。
步骤S202，对有标签图像进行混类增强，得到带有标签的第一增广图像。
其中，混类增强是计算机视觉中对图像进行数据增广的算法，它可以将不同类之间的图像进行混合，从而扩充训练数据集。
具体地，本申请进行半监督训练，因此可以先对有标签图像进行数据增广，数据增广的方式可以是混类增强，得到带有标签的第一增广图像。混类增强可以是对两张图像进行融合，对于两张图像中相同位置处的图像区域，按照一定的比例对图像区域加权求和得到新图像中的该位置处的图像区域，同时，两张图像的标签也需要按照同样的比例进行加权求和，作为新图像的标签。
步骤S203，根据有标签图像和第一增广图像对初始图神经网络进行训练，得到中继图神经网络。
具体地，有标签图像和第一增广图像都具有标签，可以先将有标签图像和第一增广图像输入初始图神经网络，以对初始图神经网络进行有监督训练，得到中继图神经网络。
步骤S204，根据有标签图像和第一增广图像对无标签图像进行混类增强，得到与无标签图像相关联的第二增广图像。
具体地，为了进一步提高训练样本的数量和多样性，可以再对无标签图像进行混类增强，与无标签图像进行混类增强的图像包括有标签图像和第一增广图像，从而得到第二增广图像。在实际应用中，基于一个无标签图像，可以生成多张与之相关联的第二增广图像。
在对无标签图像进行混类增强时，由于无标签图像没有标签，且为了在标签层面减少误差引入，仅对图像进行混类增强，而不涉及标签的处理。
在一个实施例中，可以将有标签图像、第一增广图像和无标签图像进行任意组合得到待混类图像对，并对待混类图像对进行线性插值混合得到第二增广图像。
步骤S205，将无标签图像和第二增广图像输入中继图神经网络，分别得到无标签图像和第二增广图像的预测结果。
具体地，在半监督训练中，需要获取无标签图像的伪标签以及第二增广图像的伪标签，因此，可以将无标签图像和第二增广图像输入中继图神经网络。中继图神经网络经过有标签图像和第一增广图像的有监督训练，已经具有一定的预测能力，可以对无标签图像和第二增广图像进行处理，输出各无标签图像以及第二增广图像的预测结果。
步骤S206，根据预测结果的置信度，确定无标签图像和第二增广图像各自的伪标签。
具体地，为了减少无标签图像和第二增广图像引入的误差，不直接将中继图神经网络输出的预测结果作为无标签图像的伪标签和第二增广图像的伪标签，而是根据无标签图像和第二增广图像的预测结果的置信度，重新确定无标签图像的伪标签和第二增广图像的伪标签。
中继图神经网络输出的预测结果带有概率值，概率值代表了该预测结果的置信度。例如在图像分类领域，将无标签图像和第二增广图像输入中继图神经网络中的图分类器，图分类器输出分类概率，代表图分类器对输入图像属于某类别的置信度，该概率值越接近0或1，表示图分类器越确定输入图像属于某一类别。
在重新确定无标签图像的伪标签时，需要加入置信度，以便重新计算无标签图像的伪标签；然后再重新确定对该无标签图像进行混类增强得到的第二增广图像的伪标签。
在将无标签图像和第二增广图像加入到中继图神经网络的训练时，无标签图像的伪标签将起到无标签图像的标签的作用，第二增广图像的伪标签将起到第二增广图像的标签的作用，从而实现半监督训练。步骤S207，根据有标签图像、第一增广图像、带有伪标签的无标签图像和带有伪标签的第二增广图像对中继图神经网络进行训练，得到图神经网络。
具体地，得到无标签图像的伪标签和第二增广图像的伪标签后，可以将无标签图像和第二增广图像加入到中继图神经网络的训练中。服务器将有标签图像、第一增广图像、无标签图像和第二增广图像输入中继图神经网络，由中继图神经网络输出各图像的预测结果。根据预测结果和标签/伪标签计算网络损失，再以减小网络损失为目的，调整中继图神经网络的网络参数，直至网络损失小于预设的损失阈值，停止训练，得到图神经网络。
本实施例中，获取有标签图像和无标签图像后，对有标签图像进行混类增强得到带有标签的第一增广图像，在不破坏图像内在信息的情况下实现了数据增广，保证了网络的泛化能力；根据有标签图像和第一增广图像对初始图神经网络进行训练，得到中继图神经网络；再根据有标签图像和第一增广图像对无标签图像进行混类增强，得到第二增广图像；通过中继图神经网络获取无标签图像和第二增广图像的预测结果；预测结果具有置信度，根据置信度重新确定无标签图像和第二增广图像各自的伪标签，提高了伪标签的准确性，减少了有标签图像、第一增广图像、无标签图像和第二增广图像对中继图神经网络进行半监督训练时的误差，提高了训练得到的图神经网络的准确性。
进一步的，上述步骤S202可以包括：
步骤S2021，对获取到的有标签图像进行组合，得到待混类图像对。
具体地，服务器可以将获取到的有标签图像进行两两组合，得到多个图像对。例如，假设有N(N为正整数)张有标签图像，最多可以得到个图像对，假设存在有标签图像A以及有标签图像B，则图像对AB和图像对BA可以认为并不相同。对于得到的图像对，服务器可以从中抽取一部分得到待混类图像对，也可以将全部的图像对作为待混类图像对。
步骤S2022，对于每个待混类图像对，从预设的贝塔分布中获取待混类图像对的融合比例。
其中，贝塔分布(Beta Distribution)是一个作为伯努利分布和二项式分布的共轭先验分布的密度函数，在机器学习和数理统计学中有重要应用。在概率论中，贝塔分布，也称B分布，是指一组定义在(0,1)区间的连续概率分布。贝塔分布具有两个参数α和β。在本申请的一个实施例中，可以令α和β取值相同。
具体地，对于每一个待混类图像对，在进行混类增强之前，可以先从预设的贝塔分布中随机抽取一个函数值，该函数值在(0,1)区间内，并且该函数值将作为待混类图像对的融合比例。
步骤S2023，根据融合比例对待混类图像对中的有标签图像进行线性插值混合得到第一增广图像，并根据融合比例对有标签图像的标签进行线性插值混合，得到第一增广图像的标签。
具体地，待混类图像对中有两张图像，混类增强是对两张图像的对应位置的像素进行线性插值混合，即对像素值进行线性运算得到新图像中的像素点，得到第一增广图像，从贝塔分布中抽取到的融合比例决定了像素值在线性运算中所占的比例；并基于同样的计算方式，对两张图像的标签进行线性插值混合，得到第一增广图像的标签。
假设待混类图像对中的有标签图像分别为x1、x2，其标签分别为y1、y2，线性插值混合后的第一增广图像为mixed_x，其标签为mixed_y，从贝塔分布中获取的融合比例为λ，则线性插值混合运算如下：
mixedx＝λ×x1+(1-λ)×x2 (1)
mixedy＝λ×y1+(1-λ)×y2 (2)
本申请从贝塔分布获取融合比例，可以使得决策边界模糊化，提供更平滑的预测。因为混类增强是对基于隐藏层表示的图像的处理，可以减少混类增强的计算量。混类增强实现了对社交网络、分子图等具有复杂非欧几里得结构的图像进行数据增广。
本实施例中，从贝塔分布中获取融合比例，根据融合比例对待混类图像对进行线性插值混合，扩充了训练样本的数量。
进一步的，上述步骤S206可以包括：
步骤S2061，根据无标签图像和各第二增广图像的预测结果的置信度，确定无标签图像和各第二增广图像的标签计算权重。
具体地，对于每一个无标签图像及其相关联的第二增广图像，获取它们的预测结果，预测结果带有概率值，代表了该预测结果的置信度。可以对置信度进行区间划分，不同置信度区间的预测结果，具有不同的标签计算权重，置信度越高，图像的标签计算权重越高。该标签计算权重代表了图像的预测结果在确定无标签图像最终的伪标签时所具有的权重。
步骤S2062，根据得到的标签计算权重和预测结果，计算无标签图像的伪标签。
具体地，得到无标签图像以及与无标签图像相关联的第二增广图像的标签计算权重后，按照预设的权重算法，对标签计算权重和预测结果进行计算，以确定无标签图像的伪标签，计算出来的伪标签将用于半监督训练。
在一个实施例中，权重算法公式如下：
其中，为无标签图像，对/>进行混类增强后，得到K个第二增广图像/> 为无标签图像的伪标签；/>是无标签图像的预测结果；/>是与无标签图像相关联的各第二增广图像的预测结果；ωori为无标签图像的标签计算权重；∑kωk是与无标签图像相关联的各第二增广图像的标签计算权重的累加和；/>为无标签图像的预测结果及其标签计算权重的乘积；/>是与无标签图像相关联的各第二增广图像的预测结果及其标签计算权重的累加和。
当预测结果处于低置信度区间时，使该预测结果在伪标签计算中无效，可以使其权重为0；当预测结果处于高置信度区间时，使该预测结果在伪标签计算中有效，可以使其权重为1。例如，在猫狗图像分类中，假设0代表猫，1代表狗。网络输出的预测结果是一个0到1的数值，该数值可以代表预测结果的置信度；数值越接近0或1，例如数值在区间(0，0.25)或者(0.75，1)时，表示网络对预测结果的置信度越高，很确定图像是猫还是狗，该预测结果在参与伪标签计算时，权重为1；当预测结果的数值在0.5附近，例如在区间(0.25，0.75)时，表示网络对预测结果的置信度较低，不确定是猫还是狗，该预测结果在参与伪标签计算时，权重为0，即实际上在伪标签的计算中发挥的作用为0。
步骤S2063，基于无标签图像的伪标签，确定与无标签图像相关联的第二增广图像的伪标签。
具体地，在得到无标签图像的伪标签后，对于每一个关联于该无标签图像的第二增广图像，获取混类增强得到第二增广图像时的融合比例，根据该融合比例、无标签图像的伪标签、有标签图像或第一增广图像的标签，计算该第二增广图像的伪标签。
本实施例中，根据无标签图像和各第二增广图像的预测结果的置信度，确定无标签图像和各第二增广图像的标签计算权重，以便基于置信度重新确定无标签图像的伪标签和第二增广图像的伪标签，提高了伪标签的准确性。
进一步的，上述步骤S207可以包括：
步骤S2071，将带有伪标签的无标签图像和带有伪标签的第二增广图像划分为若干组伪标签图像集。
具体地，在将无标签图像和第二增广图像加入到中继图神经网络的训练之前，可以先将全部的无标签图像和第二增广图像进行随机划分，划分成若干组伪标签图像集。
伪标签图像集可以保持在较大的数量，使得每个伪标签图像集中的图像数量保持在较少的水平。
步骤S2072，对于每个伪标签图像集，将伪标签图像集与有标签图像和第一增广图像相组合，得到训练集。
具体地，可以将有标签图像和第一增广图像作为一个整体，分别与各伪标签图像集相组合，得到多个训练集。通过拆分无标签图像以及第二增广图像，减少每个训练集中无标签图像和第二增广图像的数量，以便进一步减小半监督训练中可能引入的误差。
步骤S2073，根据各训练集对中继图神经网络进行训练，得到图神经网络。
具体地，得到多个训练集后，根据各训练集对中继图神经网络进行训练。在训练中，将训练集中的图像输入中继图神经网络，得到预测结果，根据预测结果和标签或者伪标签计算网络损失。
服务器以减小网络损失为目标，对中继图神经网络的网络参数进行调整，然后继续对网络进行训练，直至网络收敛，得到图神经网络。
在一个实施例中，网络损失计算公式如下：
L＝Lsup+λ*Lsemi (4)
网络损失由两部分组成，Lsup是有标签图像和第一增广图像带来的损失，可以以交叉熵损失或者KL散度(Kullback-Leibler divergence，又叫相对熵，是图像的标签和预测结果所构成的分布的KL散度，对于相同的样本，KL散度等于交叉熵减去信息熵)来表示；Lsemi是无标签图像和第二增广图像带来的损失，即半监督伪标注学***衡。
交叉熵损失是模型训练中最有效的的损失函数之一，尤其是在分类领域，随着预测结果偏离实际标签，交叉熵损失会逐渐增大。交叉熵损失的公式如下：
其中，N为样本数量，yi是样本的真实标签，是样本的预测结果。
根据上述交叉熵损失公式，预测结果置信度越高、但预测结果错误时，交叉熵损失越大，此时，网络会进行更大的调整，以便纠正这种错误预测，使网络能做出更准确的预测。
本实施例中，对无标签图像和第二增广图像拆分为若干个伪标签图像集，然后与有标签图像和第一增广图像相组合得到若干个训练集，以减少训练集中无标签图像和第二增广图像的数量，减少训练中可能引入的误差，确保网络训练的准确性。
进一步的，上述步骤S2073可以包括：
步骤S20731，对于每个训练集，根据训练集对中继图神经网络进行第一训练。
具体地，对于每一个训练集，可以先将训练集输入中继图神经网络进行训练，此阶段的训练为对中继图神经网络的第一训练。
步骤S20732，获取预设的验证样本集，验证样本集包括若干带有标签的验证图像。
其中，验证样本集可以是对第一训练后的中继图神经网络进行测试的样本集，验证样本集中的图像具有标签。在机器学习中，可以留出一部分训练样本作为验证样本集，以便对模型的训练效果进行评估。
具体地，服务器在第一训练完成后，获取预设的验证样本集，验证样本集中具有验证图像，且验证图像具有标签。在一个实施例中，验证图像可以包括有标签图像、第一增广图像、带有伪标签的无标签图像和带有伪标签的第二增广图像中的至少一种。在一个实施例中，验证图像可以是有标签图像和第一增广图像中的至少一种。
步骤S20733，将验证样本集输入第一训练后的中继图神经网络，以获取中继图神经网络的精度评估信息。
其中，精度评估信息可以是用于评估中继图神经网络预测精度的信息。
具体地，服务器将验证样本集输入第一训练后的中继图神经网络，中继图神经网络输出验证图像的预测结果，根据验证图像的预测结果和验证图像的标签可以计算中继图神经网络的精度评估信息。
精度评估信息可以是中继图神经网络预测的准确率，也可以是中继图神经网络在验证样本集上的网络损失。
步骤S20734，当精度评估信息符合预设的精度评估条件时，将训练集确定为第二训练集。
具体地，服务器将精度评估信息与精度评估条件相比对，以确定中继图神经网络是否满足精度评估条件。当精度评估信息是预测准确率时，精度评估条件可以是预测的准确率大于预设的准确率阈值；当精度评估信息是网络损失时，精度评估条件可以是网络在验证样本集上的网络损失，小于网络在某训练集上进行多次迭代时的平均网络损失。
当精度评估信息符合预设的精度评估条件时，表示训练集对中继图神经网络的预测效果有提升作用，可以将训练集保留下来，确定为第二训练集。当精度评估信息不符合预设的精度评估条件时，表示训练集对中继图神经网络的预测效果没有提升作用，可以将训练集丢弃，以减小误差的引入。
步骤S20735，根据各第二训练集对中继图神经网络进行第二训练，得到图神经网络。
具体地，从各训练集中得到第二训练集后，根据第二训练集对中继图神经网络继续进行训练，此阶段的训练为对中继图神经网络的第二训练，直至训练结束，得到图神经网络。
本实施例中，通过验证样本集对验证中继图神经网络的预测精度，从而即时反馈训练集对网络的预测效果是否有提升，并根据有提升的训练集继续训练中继图神经网络，保证了训练得到的图神经网络的准确性。
进一步的，上述步骤S207之后，图神经网络处理方法还可以包括：获取待预测初始图像；提取待预测初始图像的隐藏层表示，得到待预测图像；将待预测图像输入图神经网络，得到图像预测结果。
具体地，在应用训练完毕的图神经网络时，先获取待预测初始图像。通过图网络编码器对其进行降维，获取该待预测初始图像的隐藏层表示，得到待预测图像。然后将待预测图像输入到图神经网络，由图神经网络进行处理，得到图像预测结果。
此处提到的“预测”是一种广义上的预测，当应用于图像分类时，图像预测结果可以是图像中物体的类别；当应用于物体检测时，图像预测结果可以是图像中存在的物体；当应用于图像分割时，图像预测结果可以是对图像进行分割的结果；当应用于社交网络分析时，图像预测结果可以是节点的分类，或者节点间的关系；当应用于交通网络分析时，图像预测结果可以是预测的交通流量信息，在此不再一一赘述。
本实施例中，对获取到的初始待预测图像提取隐藏层表示得到待预测图像，然后将待预测图像输入训练完毕的图神经网络，可以准确得到图像预测结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种图神经网络处理装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图3所示，本实施例所述的图神经网络处理装置300包括：图像获取模块301、有标签增强模块302、初始训练模块303、无标签增广模块304、图像输入模块305、伪标签确定模块306以及中继训练模块307，其中：
图像获取模块301，用于获取有标签图像以及无标签图像。
有标签增强模块302，用于对有标签图像进行混类增强，得到带有标签的第一增广图像。
初始训练模块303，用于根据有标签图像和第一增广图像对初始图神经网络进行训练，得到中继图神经网络。
无标签增广模块304，用于根据有标签图像和第一增广图像对无标签图像进行混类增强，得到与无标签图像相关联的第二增广图像。
图像输入模块305，用于将无标签图像和第二增广图像输入中继图神经网络，分别得到无标签图像和第二增广图像的预测结果。
伪标签确定模块306，用于根据预测结果的置信度，确定无标签图像和第二增广图像各自的伪标签。
中继训练模块307，用于根据有标签图像、第一增广图像、带有伪标签的无标签图像和带有伪标签的第二增广图像对中继图神经网络进行训练，得到图神经网络。
本实施例中，获取有标签图像和无标签图像后，对有标签图像进行混类增强得到带有标签的第一增广图像，在不破坏图像内在信息的情况下实现了数据增广，保证了网络的泛化能力；根据有标签图像和第一增广图像对初始图神经网络进行训练，得到中继图神经网络；再根据有标签图像和第一增广图像对无标签图像进行混类增强，得到第二增广图像；通过中继图神经网络获取无标签图像和第二增广图像的预测结果；预测结果具有置信度，根据置信度重新确定无标签图像和第二增广图像各自的伪标签，提高了伪标签的准确性，减少了有标签图像、第一增广图像、无标签图像和第二增广图像对中继图神经网络进行半监督训练时的误差，提高了训练得到的图神经网络的准确性。
在本实施例的一些可选的实现方式中，上述图神经网络处理装置300还可以包括：初始获取模块、有标签输入模块以及无标签输入模块，其中：
初始获取模块，用于根据图神经网络训练指令，获取初始有标签图像和初始无标签图像。
有标签输入模块，用于将初始有标签图像输入图网络编码器得到基于隐藏层表示的有标签图像。
无标签输入模块，用于将初始无标签图像输入图网络编码器得到基于隐藏层表示的无标签图像。
本实施例中，将初始有标签图像输入图网络编码器得到基于隐藏层表示的有标签图像，将初始无标签图像输入图网络编码器得到基于隐藏层表示的无标签图像，先对图像进行降维，便利了后续的图像处理。
在本实施例的一些可选的实现方式中，上述有标签增强模块302可以包括：图像组合子模块、比例获取子模块以及插值混合子模块，其中：
图像组合子模块，用于对获取到的有标签图像进行组合，得到待混类图像对。
比例获取子模块，用于对于每个待混类图像对，从预设的贝塔分布中获取待混类图像对的融合比例。
插值混合子模块，用于根据融合比例对待混类图像对中的有标签图像进行线性插值混合得到第一增广图像，并根据融合比例对有标签图像的标签进行线性插值混合，得到第一增广图像的标签。
本实施例中，从贝塔分布中获取融合比例，根据融合比例对待混类图像对进行线性插值混合，扩充了训练样本的数量。
在本实施例的一些可选的实现方式中，上述伪标签确定模块306可以包括：权重确定子模块、伪标签计算子模块以及伪标签确定子模块，其中：
权重确定子模块，用于根据无标签图像和各第二增广图像的预测结果的置信度，确定无标签图像和各第二增广图像的标签计算权重。
伪标签计算子模块，用于根据得到的标签计算权重和预测结果，计算无标签图像的伪标签。
伪标签确定子模块，用于基于无标签图像的伪标签，确定与无标签图像相关联的第二增广图像的伪标签。
本实施例中，根据无标签图像和各第二增广图像的预测结果的置信度，确定无标签图像和各第二增广图像的标签计算权重，以便基于置信度重新确定无标签图像的伪标签和第二增广图像的伪标签，提高了伪标签的准确性。
在本实施例的一些可选的实现方式中，上述中继训练模块307可以包括：图像划分子模块、图像组合子模块以及网络训练子模块，其中：
图像划分子模块，用于将带有伪标签的无标签图像和带有伪标签的第二增广图像划分为若干组伪标签图像集。
图像组合子模块，用于对于每个伪标签图像集，将伪标签图像集与有标签图像和第一增广图像相组合，得到训练集。
网络训练子模块，用于根据各训练集对中继图神经网络进行训练，得到图神经网络。
本实施例中，对无标签图像和第二增广图像拆分为若干个伪标签图像集，然后与有标签图像和第一增广图像相组合得到若干个训练集，以减少训练集中无标签图像和第二增广图像的数量，减少训练中可能引入的误差，确保网络训练的准确性。
在本实施例的一些可选的实现方式中，上述网络训练子模块可以包括：第一训练单元、样本集获取单元、信息获取单元、训练集确定单元以及第二训练单元，其中：
第一训练单元，用于对于每个训练集，根据训练集对中继图神经网络进行第一训练。
样本集获取单元，用于获取预设的验证样本集，验证样本集包括若干带有标签的验证图像。
信息获取单元，用于将验证样本集输入第一训练后的中继图神经网络，以获取中继图神经网络的精度评估信息。
训练集确定单元，用于当精度评估信息符合预设的精度评估条件时，将训练集确定为第二训练集。
第二训练单元，用于根据各第二训练集对中继图神经网络进行第二训练，得到图神经网络。
本实施例中，通过验证样本集对验证中继图神经网络的预测精度，从而即时反馈训练集对网络的预测效果是否有提升，并根据有提升的训练集继续训练中继图神经网络，保证了训练得到的图神经网络的准确性。
在本实施例的一些可选的实现方式中，上述图神经网络处理装置300还可以包括：获取模块、提取模块以及输入模块，其中：
获取模块，用于获取待预测初始图像。
提取模块，用于提取待预测初始图像的隐藏层表示，得到待预测图像。
输入模块，用于将待预测图像输入图神经网络，得到图像预测结果。
本实施例中，对获取到的初始待预测图像提取隐藏层表示得到待预测图像，然后将待预测图像输入训练完毕的图神经网络，可以准确得到图像预测结果。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过***总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件41-43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作***和各类应用软件，例如图神经网络处理方法的计算机可读指令等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据，例如运行所述图神经网络处理方法的计算机可读指令。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本实施例中提供的计算机设备可以执行上述图神经网络处理方法。此处图神经网络处理方法可以是上述各个实施例的图神经网络处理方法。
本实施例中，获取有标签图像和无标签图像后，对有标签图像进行混类增强得到带有标签的第一增广图像，在不破坏图像内在信息的情况下实现了数据增广，保证了网络的泛化能力；根据有标签图像和第一增广图像对初始图神经网络进行训练，得到中继图神经网络；再根据有标签图像和第一增广图像对无标签图像进行混类增强，得到第二增广图像；通过中继图神经网络获取无标签图像和第二增广图像的预测结果；预测结果具有置信度，根据置信度重新确定无标签图像和第二增广图像各自的伪标签，提高了伪标签的准确性，减少了有标签图像、第一增广图像、无标签图像和第二增广图像对中继图神经网络进行半监督训练时的误差，提高了训练得到的图神经网络的准确性。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的图神经网络处理方法的步骤。
本实施例中，获取有标签图像和无标签图像后，对有标签图像进行混类增强得到带有标签的第一增广图像，在不破坏图像内在信息的情况下实现了数据增广，保证了网络的泛化能力；根据有标签图像和第一增广图像对初始图神经网络进行训练，得到中继图神经网络；再根据有标签图像和第一增广图像对无标签图像进行混类增强，得到第二增广图像；通过中继图神经网络获取无标签图像和第二增广图像的预测结果；预测结果具有置信度，根据置信度重新确定无标签图像和第二增广图像各自的伪标签，提高了伪标签的准确性，减少了有标签图像、第一增广图像、无标签图像和第二增广图像对中继图神经网络进行半监督训练时的误差，提高了训练得到的图神经网络的准确性。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (9)

1.一种图神经网络处理方法，其特征在于，包括下述步骤：
获取有标签图像以及无标签图像；
对所述有标签图像进行混类增强，得到带有标签的第一增广图像；
根据所述有标签图像和所述第一增广图像对初始图神经网络进行训练，得到中继图神经网络；
根据所述有标签图像和所述第一增广图像对所述无标签图像进行混类增强，得到与所述无标签图像相关联的第二增广图像；
将所述无标签图像和所述第二增广图像输入所述中继图神经网络，分别得到所述无标签图像和所述第二增广图像的预测结果；
根据所述预测结果的置信度，确定所述无标签图像和所述第二增广图像各自的伪标签；
根据所述有标签图像、所述第一增广图像、带有伪标签的所述无标签图像和带有伪标签的所述第二增广图像对所述中继图神经网络进行训练，得到图神经网络；
所述根据所述预测结果的置信度，确定所述无标签图像和所述第二增广图像各自的伪标签的步骤包括：
根据所述无标签图像和各第二增广图像的预测结果的置信度，确定所述无标签图像和所述各第二增广图像的标签计算权重；
根据得到的标签计算权重和预测结果，计算所述无标签图像的伪标签；
基于所述无标签图像的伪标签，确定与所述无标签图像相关联的第二增广图像的伪标签；
其中，所述无标签图像的伪标签由所述标签计算权重和所述预测结果按照预设的权重算法计算得到，所述权重算法公式如下：；
其中，为无标签图像，/>为对/>进行混类增强后，得到的K个第二增广图像；/>为无标签图像的伪标签；/>为无标签图像的预测结果；/>与无标签图像相关联的各第二增广图像的预测结果；/>为无标签图像的标签计算权重；/>为与无标签图像相关联的各第二增广图像的标签计算权重的累加和；/>为无标签图像的预测结果及其标签计算权重的乘积；/>为与无标签图像相关联的各第二增广图像的预测结果及其标签计算权重的累加和。
2.根据权利要求1所述的图神经网络处理方法，其特征在于，所述获取有标签图像以及无标签图像的步骤之前，还包括：
根据图神经网络训练指令，获取初始有标签图像和初始无标签图像；
将所述初始有标签图像输入图网络编码器得到基于隐藏层表示的有标签图像；
将所述初始无标签图像输入所述图网络编码器得到基于隐藏层表示的无标签图像。
3.根据权利要求1所述的图神经网络处理方法，其特征在于，所述对所述有标签图像进行混类增强，得到带有标签的第一增广图像包括：
对获取到的有标签图像进行组合，得到待混类图像对；
对于每个待混类图像对，从预设的贝塔分布中获取待混类图像对的融合比例；
根据所述融合比例对所述待混类图像对中的有标签图像进行线性插值混合得到第一增广图像，并根据所述融合比例对所述有标签图像的标签进行线性插值混合，得到所述第一增广图像的标签。
4.根据权利要求1所述的图神经网络处理方法，其特征在于，所述根据所述有标签图像、所述第一增广图像、带有伪标签的所述无标签图像和带有伪标签的所述第二增广图像对所述中继图神经网络进行训练，得到图神经网络的步骤包括：
将带有伪标签的所述无标签图像和带有伪标签的所述第二增广图像划分为若干组伪标签图像集；
对于每个伪标签图像集，将伪标签图像集与所述有标签图像和所述第一增广图像相组合，得到训练集；
根据各训练集对所述中继图神经网络进行训练，得到图神经网络。
5.根据权利要求4所述的图神经网络处理方法，其特征在于，所述根据各训练集对所述中继图神经网络进行训练，得到图神经网络的步骤包括：
对于每个训练集，根据训练集对所述中继图神经网络进行第一训练；
获取预设的验证样本集，所述验证样本集包括若干带有标签的验证图像；
将所述验证样本集输入第一训练后的所述中继图神经网络，以获取所述中继图神经网络的精度评估信息；
当所述精度评估信息符合预设的精度评估条件时，将所述训练集确定为第二训练集；
根据各第二训练集对所述中继图神经网络进行第二训练，得到图神经网络。
6.根据权利要求1所述的图神经网络处理方法，其特征在于，在所述根据所述有标签图像、所述第一增广图像、带有伪标签的所述无标签图像和带有伪标签的所述第二增广图像对所述中继图神经网络进行训练，得到图神经网络的步骤之后，还包括：
获取待预测初始图像；
提取所述待预测初始图像的隐藏层表示，得到待预测图像；
将所述待预测图像输入所述图神经网络，得到图像预测结果。
7.一种图神经网络处理装置，其特征在于，包括：
图像获取模块，用于获取有标签图像以及无标签图像；
有标签增强模块，用于对所述有标签图像进行混类增强，得到带有标签的第一增广图像；
初始训练模块，用于根据所述有标签图像和所述第一增广图像对初始图神经网络进行训练，得到中继图神经网络；
无标签增广模块，用于根据所述有标签图像和所述第一增广图像对所述无标签图像进行混类增强，得到与所述无标签图像相关联的第二增广图像；
图像输入模块，用于将所述无标签图像和所述第二增广图像输入所述中继图神经网络，分别得到所述无标签图像和所述第二增广图像的预测结果；
伪标签确定模块，用于根据所述预测结果的置信度，确定所述无标签图像和所述第二增广图像各自的伪标签；
中继训练模块，用于根据所述有标签图像、所述第一增广图像、带有伪标签的所述无标签图像和带有伪标签的所述第二增广图像对所述中继图神经网络进行训练，得到图神经网络；
所述伪标签确定模块还用于根据所述无标签图像和各第二增广图像的预测结果的置信度，确定所述无标签图像和所述各第二增广图像的标签计算权重；根据得到的标签计算权重和预测结果，计算所述无标签图像的伪标签；基于所述无标签图像的伪标签，确定与所述无标签图像相关联的第二增广图像的伪标签；其中，所述无标签图像的伪标签由所述标签计算权重和所述预测结果按照预设的权重算法计算得到，所述权重算法公式如下：；
其中，为无标签图像，/>为对/>进行混类增强后，得到的K个第二增广图像；/>为无标签图像的伪标签；/>为无标签图像的预测结果；/>与无标签图像相关联的各第二增广图像的预测结果；/>为无标签图像的标签计算权重；/>为与无标签图像相关联的各第二增广图像的标签计算权重的累加和；/>为无标签图像的预测结果及其标签计算权重的乘积；/>为与无标签图像相关联的各第二增广图像的预测结果及其标签计算权重的累加和。
8.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至6中任一项所述的图神经网络处理方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至6中任一项所述的图神经网络处理方法的步骤。
CN202110519835.8A 2021-05-13 2021-05-13 图神经网络处理方法、装置、计算机设备及存储介质 Active CN113240071B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110519835.8A CN113240071B (zh) 2021-05-13 2021-05-13 图神经网络处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110519835.8A CN113240071B (zh) 2021-05-13 2021-05-13 图神经网络处理方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113240071A CN113240071A (zh) 2021-08-10
CN113240071B true CN113240071B (zh) 2023-07-28

Family

ID=77133842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110519835.8A Active CN113240071B (zh) 2021-05-13 2021-05-13 图神经网络处理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113240071B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113869449A (zh) * 2021-10-11 2021-12-31 北京百度网讯科技有限公司 一种模型训练、图像处理方法、装置、设备及存储介质
CN115487508B (zh) * 2022-11-08 2023-04-07 腾讯科技（深圳）有限公司 游戏战队推荐模型的训练方法和相关装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1102714A (en) * 1965-02-04 1968-02-07 Gerhard Hermann Dirks Data processing systems
US6535630B1 (en) * 1999-02-19 2003-03-18 Keyence Corporation Image display method, image processing system, and recording medium
CN108563683A (zh) * 2018-03-08 2018-09-21 北京达佳互联信息技术有限公司 标签添加方法、装置及终端
CN111275080A (zh) * 2020-01-14 2020-06-12 腾讯科技（深圳）有限公司 基于人工智能的图像分类模型训练方法、分类方法及装置
CN111275092A (zh) * 2020-01-17 2020-06-12 电子科技大学 一种基于无监督域适应的图像分类方法
CN111401375A (zh) * 2020-03-09 2020-07-10 苏宁云计算有限公司 文本识别模型训练方法、文本识别方法、装置及设备
CN112465071A (zh) * 2020-12-18 2021-03-09 深圳赛安特技术服务有限公司 图像多标签分类方法、装置、电子设备及介质
CN112580720A (zh) * 2020-12-18 2021-03-30 华为技术有限公司 一种模型训练方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1102714A (en) * 1965-02-04 1968-02-07 Gerhard Hermann Dirks Data processing systems
US6535630B1 (en) * 1999-02-19 2003-03-18 Keyence Corporation Image display method, image processing system, and recording medium
CN108563683A (zh) * 2018-03-08 2018-09-21 北京达佳互联信息技术有限公司 标签添加方法、装置及终端
CN111275080A (zh) * 2020-01-14 2020-06-12 腾讯科技（深圳）有限公司 基于人工智能的图像分类模型训练方法、分类方法及装置
CN111275092A (zh) * 2020-01-17 2020-06-12 电子科技大学 一种基于无监督域适应的图像分类方法
CN111401375A (zh) * 2020-03-09 2020-07-10 苏宁云计算有限公司 文本识别模型训练方法、文本识别方法、装置及设备
CN112465071A (zh) * 2020-12-18 2021-03-09 深圳赛安特技术服务有限公司 图像多标签分类方法、装置、电子设备及介质
CN112580720A (zh) * 2020-12-18 2021-03-30 华为技术有限公司 一种模型训练方法及装置

Also Published As

Publication number Publication date
CN113240071A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN112685565B (zh) 基于多模态信息融合的文本分类方法、及其相关设备
CN112863683B (zh) 基于人工智能的病历质控方法、装置、计算机设备及存储介质
CN113240071B (zh) 图神经网络处理方法、装置、计算机设备及存储介质
CN112035549B (zh) 数据挖掘方法、装置、计算机设备及存储介质
CN112528029A (zh) 文本分类模型处理方法、装置、计算机设备及存储介质
CN112686243A (zh) 智能识别图片文字的方法、装置、计算机设备及存储介质
CN112634158A (zh) 人脸图像恢复方法、装置、计算机设备及存储介质
CN115757725A (zh) 问答处理方法、装置、计算机设备及存储介质
CN112434746B (zh) 基于层次化迁移学习的预标注方法及其相关设备
CN112529888B (zh) 基于深度学习的人脸图像评估方法、装置、设备及介质
CN116774973A (zh) 数据渲染方法、装置、计算机设备及存储介质
CN116129881A (zh) 语音任务处理方法、装置、电子设备及存储介质
CN113011132B (zh) 竖排文字识别方法、装置、计算机设备和存储介质
CN112016503B (zh) 人行道检测方法、装置、计算机设备及存储介质
CN114241411A (zh) 基于目标检测的计数模型处理方法、装置及计算机设备
CN112966150A (zh) 一种视频内容抽取的方法、装置、计算机设备及存储介质
CN116070695B (zh) 图像检测模型的训练方法、图像检测方法及电子设备
CN115250200B (zh) 服务授权认证方法及其相关设备
CN117493563A (zh) 一种会话意图分析方法、装置、设备及其存储介质
CN117475340A (zh) 视频数据处理方法、装置、计算机设备和存储介质
US20200183984A1 (en) Method and apparatus for responding to question, and storage medium
CN113361629A (zh) 一种训练样本生成的方法、装置、计算机设备及存储介质
CN116823168A (zh) 异常医疗项目检测方法、装置、计算机设备及存储介质
CN117876021A (zh) 基于人工智能的数据预测方法、装置、设备及存储介质
CN115826973A (zh) 列表页面的生成方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231031

Address after: Unit 1201, 12th floor, Block B, 101, 3rd to 24th floors, Xinyuan South Road, Chaoyang District, Beijing, 100020

Patentee after: Ping An Chuangke Technology (Beijing) Co.,Ltd.

Address before: 518000 Guangdong, Shenzhen, Futian District Futian street Fu'an community Yitian road 5033, Ping An financial center, 23 floor.

Patentee before: PING AN TECHNOLOGY (SHENZHEN) Co.,Ltd.

TR01 Transfer of patent right