CN110363086A - 图数据识别方法、装置、计算机设备和存储介质 - Google Patents

图数据识别方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110363086A
CN110363086A CN201910503195.4A CN201910503195A CN110363086A CN 110363086 A CN110363086 A CN 110363086A CN 201910503195 A CN201910503195 A CN 201910503195A CN 110363086 A CN110363086 A CN 110363086A
Authority
CN
China
Prior art keywords
matrix
characteristic pattern
target
trained
convolutional layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910503195.4A
Other languages
English (en)
Inventor
张一帆
史磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Artificial Intelligence Chip Innovation Institute Institute Of Automation Chinese Academy Of Sciences
Institute of Automation of Chinese Academy of Science
Original Assignee
Nanjing Artificial Intelligence Chip Innovation Institute Institute Of Automation Chinese Academy Of Sciences
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Artificial Intelligence Chip Innovation Institute Institute Of Automation Chinese Academy Of Sciences, Institute of Automation of Chinese Academy of Science filed Critical Nanjing Artificial Intelligence Chip Innovation Institute Institute Of Automation Chinese Academy Of Sciences
Priority to CN201910503195.4A priority Critical patent/CN110363086A/zh
Publication of CN110363086A publication Critical patent/CN110363086A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图数据识别方法、装置、计算机设备和存储介质。所述方法包括：获取输入已训练的卷积神经网络的当前卷积层的输入特征图，输入特征图是通过提取图数据得到的特征图，获取当前卷积层的偏置矩阵，其中偏置矩阵为生成已训练的卷积神经网络时生成的矩阵，获取参考邻接矩阵，计算参考邻接矩阵和偏置矩阵的和，得到目标邻接矩阵，获取当前卷积层的卷积核，根据当前卷积层的卷积核、目标邻接矩阵和输入特征图生成目标输出特征图，根据目标输出特征图，识别出图数据对应的识别结果，根据目标输出特征图，识别出图数据对应的识别结果。通过对卷积层中的固定邻接矩阵增加根据任务需求生成的矩阵，提高已训练的卷积神经网络的识别准确率。

Description

图数据识别方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种图数据识别方法、装置、计算机设备和存储介质。
背景技术
在骨骼点数据中，人体是由若干预先定义好的关键关节点在相机坐标系中的坐标来表示的。它可以很方便地通过深度摄像头(例如 Kinect)以及各种姿态估计算法(例如OpenPose)获得。图1为Kinect 深度摄像机所定义的人体的关键关节点。它将人体定义为25个关键关节点的三维坐标。由于行为往往是以视频的形式存在的，所以一个长度为T帧的行为可以用Tx25x3的张量来表示。
参照图2，图2为一个实施例中的时空图。每个关节点定义为图的节点，关节点之间的物理连接定义为图的边，并且在相邻帧的同一个节点间加上时间维度的边，得到一张可以描述人体行为的时空图。
目前常见的基于骨骼点的行为识别方法为图卷积。图卷积和普通卷积操作不同，在图上做卷积时，每一个节点的邻节点数是不固定的，而卷积操作的参数是固定的，为了将固定数量的参数和不定数量的临节点数对应起来，需要定义映射函数，通过映射函数实现参数和节点的对应。如定义卷积核大小为三，如图3所示，三个参数分别对应于远离人体中心的点001，靠近人体中心点000的点002和卷积点本身 003。则卷积操作可以用公式(1)表示：
其中f是输入输出特征张量，w是卷积参数，v是图中节点，l代表节点与参数间的映射函数，Z是归一化函数。在具体实现时，映射函数可以通过图的邻接矩阵来实现，通过邻接矩阵表示的卷积操作如公式(2) 所示：
其中A代表图的邻接矩阵，K是卷积核大小，Λ用于对A进行归一化处理。通过与邻接矩阵A相乘，从特征张量中“筛选”出所需要的节点并与对应的参数相乘。
上述通过邻接矩阵表示的卷积操作时，邻接矩阵定义了用于图卷积网络中的人体图的拓扑结构。人体姿态多种多样，固定的拓扑结构无法准确地描述人体的每一种姿态，从而导致识别准确率低下。
发明内容
为了解决上述技术问题，本申请提供了一种图数据识别方法、装置、计算机设备和存储介质。
第一方面，本申请提供了一种图数据识别方法，包括：
获取输入已训练的卷积神经网络的当前卷积层的输入特征图，输入特征图是通过提取图数据得到的特征图；
获取当前卷积层的偏置矩阵，其中偏置矩阵为生成已训练的卷积神经网络时生成的矩阵；
获取参考邻接矩阵，计算参考邻接矩阵和偏置矩阵的和，得到目标邻接矩阵；
获取当前卷积层的卷积核；
根据当前卷积层的卷积核、目标邻接矩阵和输入特征图生成目标输出特征图，根据目标输出特征图，识别出图数据对应的识别结果；
根据目标输出特征图，识别出图数据对应的识别结果。
第二方面，本申请提供了一种图数据识别装置，包括：
输入特征图获取模块，用于获取输入已训练的卷积神经网络的当前卷积层的输入特征图，输入特征图是通过提取图数据得到的特征图；
偏置矩阵获取模块，用于获取当前卷积层的偏置矩阵，其中偏置矩阵为生成已训练的卷积神经网络时生成的矩阵；
目标邻接矩阵计算模块，用于获取参考邻接矩阵，计算参考邻接矩阵和偏置矩阵的和，得到目标邻接矩阵；
卷积核获取模块，用于获取当前卷积层的卷积核；
特征图生成模块，用于根据当前卷积层的卷积核、目标邻接矩阵和输入特征图生成目标输出特征图，根据目标输出特征图，识别出图数据对应的识别结果；
根据目标输出特征图，识别出图数据对应的识别结果。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取输入已训练的卷积神经网络的当前卷积层的输入特征图，输入特征图是通过提取图数据得到的特征图；
获取当前卷积层的偏置矩阵，其中偏置矩阵为生成已训练的卷积神经网络时生成的矩阵；
获取参考邻接矩阵，计算参考邻接矩阵和偏置矩阵的和，得到目标邻接矩阵；
获取当前卷积层的卷积核；
根据当前卷积层的卷积核、目标邻接矩阵和输入特征图生成目标输出特征图，根据目标输出特征图，识别出图数据对应的识别结果；
根据目标输出特征图，识别出图数据对应的识别结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取输入已训练的卷积神经网络的当前卷积层的输入特征图，输入特征图是通过提取图数据得到的特征图；
获取当前卷积层的偏置矩阵，其中偏置矩阵为生成已训练的卷积神经网络时生成的矩阵；
获取参考邻接矩阵，计算参考邻接矩阵和偏置矩阵的和，得到目标邻接矩阵；
获取当前卷积层的卷积核；
根据当前卷积层的卷积核、目标邻接矩阵和输入特征图生成目标输出特征图，根据目标输出特征图，识别出图数据对应的识别结果；
根据目标输出特征图，识别出图数据对应的识别结果。
上述图数据识别方法、装置、计算机设备和存储介质，所述方法包括：获取输入已训练的卷积神经网络的当前卷积层的输入特征图，输入特征图是通过提取图数据得到的特征图，获取当前卷积层的偏置矩阵，其中偏置矩阵为生成已训练的卷积神经网络时生成的矩阵，获取参考邻接矩阵，计算参考邻接矩阵和偏置矩阵的和，得到目标邻接矩阵，获取当前卷积层的卷积核，根据当前卷积层的卷积核、目标邻接矩阵和输入特征图生成目标输出特征图，根据目标输出特征图，识别出图数据对应的识别结果。对已训练的卷积神经网络中各个卷积层中的邻接矩阵增加偏置矩阵，偏置矩阵为已训练的卷积神经网络生成后得到的矩阵，增加偏置矩阵能够更好的表达人体姿态，提高生成特征图的准确性，进而提高已训练的卷积神经网络的识别准确率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中Kinect深度摄像机所定义的人体的关键关节点的示意图；
图2为一个实施例中描述人体行为的时空图；
图3为一个实施例中图卷积中定义的节点示意图；
图4为一个实施例中图数据识别方法的应用环境图；
图5为一个实施例中图数据识别方法的流程示意图；
图6为一个实施例中图数据识别装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
图4为一个实施例中图数据识别方法的应用环境图。参照图4，该图数据识别方法应用于行为识别***。该行为识别***包括终端110 和服务器120。终端110和服务器120通过网络连接。终端或服务器获取输入已训练的卷积神经网络的当前卷积层的输入特征图，输入特征图是通过提取图数据得到的特征图，获取当前卷积层的偏置矩阵，其中偏置矩阵为生成已训练的卷积神经网络时生成的矩阵，获取参考邻接矩阵，计算参考邻接矩阵和偏置矩阵的和，得到目标邻接矩阵，获取当前卷积层的卷积核，根据当前卷积层的卷积核、目标邻接矩阵和输入特征图生成目标输出特征图，根据目标输出特征图，识别出图数据对应的识别结果。终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器 120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
如图5所示，在一个实施例中，提供了一种图数据识别方法。本实施例主要以该方法应用于上述图4中的终端110(或服务器120)来举例说明。参照图2，该图数据识别方法具体包括如下步骤：
步骤S201，获取输入已训练的卷积神经网络的当前卷积层的输入特征图。
在本具体实施例中，输入特征图是通过提取图数据得到的特征图。
具体地，已训练的卷积神经网络是指通过大量的携带标签的图数据训练得到的，其中图数据为人体行为的时空图，时空图如图2所示。图数据携带的标签包括人体的行为，如拍手、跳跃、拉手和打架等个人行为或多人行为。已训练的卷积神经网络包含多个卷积层，当前卷积层可以为卷积神经网络中的任意一个卷积层。上一个卷积层的输出数据为当前卷积层的输入数据，获取上一个卷积层中的输出数据作为当前卷积层的输入数据，输入数据为输入特征图。
步骤S202，获取当前卷积层的偏置矩阵。
在本具体实施例中，偏置矩阵为生成已训练的卷积神经网络时生成的矩阵。
步骤S203，获取参考邻接矩阵，计算参考邻接矩阵和偏置矩阵的和，得到目标邻接矩阵。
具体地，偏置矩阵是用于对参考邻接矩阵进行调整的矩阵，偏置矩阵与参考邻接矩阵具体相同的维度信息。偏置矩阵是根据训练需求得到的偏置矩阵，不同的训练需求，是指卷积神经网络训练后用于做什么的需求，如用于识别拍手和用于识别打架时，得到的偏置矩阵不相同。参考邻接矩阵用于图卷积网络中的人体图的拓扑结构，为一个包含固定矩阵元素的矩阵。偏置矩阵为根据生成的已训练的卷积神经网络生成的矩阵，各个卷积层对的偏置矩阵中对应位置的矩阵元素可以不相同。偏置矩阵的矩阵元素是通过生成已训练的卷积神经网络得到的。即偏置矩阵为生成已训练的卷积神经网络中的网络参数，在训练卷积神经网络过程中，网络参数的更新包括偏置矩阵的更新。计算参考邻接矩阵和偏置矩阵对应位置的矩阵元素的和，得到目标邻接矩阵。通过偏置矩阵调整参考邻接矩阵，得到目标邻接矩阵，采用目标邻接矩阵对人体行为进行描述，得到更为准确的人体行为描述。
在一个实施例中，生成已训练的卷积神经网络，包括：获取包含多个训练图数据的训练集合，各个训练图数据包含对应的标签信息，通过初始卷积神经网络对各个训练图数据进行识别，得到对应的识别结果，根据预设损失函数计算各个训练图数据的识别结果与标签的损失值，当损失值小于或等于预设差损失值时，得到已训练的卷积神经网络。
具体地，训练图数据为采集的时空图。标签信息用于标识训练图数据。标签信息包括人体行为标签、图编号等等。将各个训练图数据输入初始卷积神经网络中，通过初始卷积神经网络对训练图数据特征提取，根据提取的特征识别得到对应的识别结果，根据预设损失函数计算各个图数据的识别结果与标签信息的损失值，根据损失值确定初始卷积神经网络是否收敛。其中预设损失函数是预先设置的用于计算网络的损失值的函数，该损失函数可以采用常见的网络的损失函数。当损失值小于或等于预设损失值时，初始卷积神经网络收敛，得到已训练的卷积神经网络。
在一个实施例中，当损失值大于预设损失值时，通过梯度回传算法回传损失值，更新初始卷积神经网络的网络参数，采用更新了网络参数的初始卷积神经网络对个训练图数据进行识别，得到对应的识别结果，直至识别结果与标签信息之间的损失值小于预设损失值时，得到已训练的卷积神经网络。
具体地，梯度回传算法是采用梯度下降的方法追层对网络参数进行更新的方法。当损失值大于预设损失值，表示初始卷积神经网络未收敛，需要更新网络参数。网络参数的更新是根据最后一层的输出结果与真实输出结果之前的差异度确定的，即根据通过梯度回传算法回传损失值，根据回传的损失值逐层更新初始卷积神经网络的网络参数。对更新了网络参数的初始卷积神经网络对训练图数据进行再次识别，根据识别结果与标签信息之的损失值，再次确定网络是否收敛，不收敛，继续更新网络参数，直至网络收敛，得到已训练的卷积神经网络。
在一个实施例中，初始卷积神经网络模型包括至少一个卷积层，卷积层中包括初始偏置矩阵，通过梯度回传算法回传差异度，更新初始卷积神经网络的网络参数，包括：通过梯度回传算法将损失值回传到任意一个卷积层时，得到各个卷积层的回传值，根据各个卷积层的回传值更新偏置矩阵的参数。
具体地，预设损失函数是预先配置的用于计算网络的损失值的函数，预设损失函数可以为常见的损失函数，如交叉熵损失函数和平方损失函数等等。梯度回传算法是指将错误识别结果与真实标签之间的差异数据从卷积神经网络的最终输出层逐层往下传递，每一层根据差异数据，即回传值进行网络参数的更新，当回传到任意一个卷积层时，根据该卷积层的回传值更新网络参数，其中网络参数包括偏置矩阵的参数。
步骤S204，获取当前卷积层的卷积核。
具体地，每个卷积层包含多个卷积核，各个卷积层对应的卷积核数量可以相同或不同，各个卷积核可以相同也可以不相同。卷积核是用于对图像进行卷积运算，不同的卷积核可以提取不同的图像特征。
步骤S205，根据当前卷积层的卷积核、目标邻接矩阵和输入特征图生成目标输出特征图。
具体地，采用目标邻接矩阵对输入特征图进行特征提取，得到特征图。采用卷积核对特征图进行卷积运算，得到卷积特征图，将卷积特征图作为目标输出特征图。采用目标邻接矩阵对输入特征图进行特征提取，得到更为准确的图像特征。
在一个实施例中，步骤S205，包括：
步骤S2051，重塑输入特征图，得到重塑特征图。
在本具体实施例中，重塑特征图的第一维度为输入特征图的第一维度和第二维度的乘积。
具体地，重塑是指对输入特征图进行调整，使得第一维度和第二维度的乘积为重塑特征图的第一维度，如将包含三个维度的输入特征图调整成2个维度的重塑特征图，假设输入特征图为C×M×N，其中第一维度为C，第二维度为M，第三维度为N，则可以重塑图为C×M×N，第一维度为C和M的乘积CM，第二维度与输入特征图的第三维图相同，保持整个输入特征图的元素不变，总元素为C、M和N的乘积CMN。其中第一维度C为通道素，第二维度M为输入特征图的行数，第三维度N为输入特征图的列数。其中N代表的是人体关节点的数量，在Kinect中N定义为25。对矩阵进行重塑是为了方便运算。
步骤S2052，计算重塑特征图和目标邻接矩阵的各个通道的矩阵的乘积，得到各个通道的第二乘积矩阵。
具体地，重塑特征图的第二维度与目标邻接矩阵的各个通道的矩阵的第一维度相同，如重塑特征图为C×M×N，目标邻接矩阵为C×N×N，各个通道矩阵为N×N，则重塑特征图与各个通道的矩阵的乘积矩阵为 CMN。
步骤S2053，反重塑各个通道的第二乘积矩阵，得到各个通道的反重塑特征图。
具体地，反重塑是重塑的逆过程，如重塑是将三维矩阵转换为二位矩阵，则反重塑为将二维矩阵转换为三维矩阵，如各个通道的乘积矩阵为CM×N，则反重塑后得到的反重塑特征图为C×M×N的矩阵。
步骤S2054，根据各个通道的卷积核，根据各个通道的卷积核对反重塑特征图进行卷积运算，得到当前卷积层各个通道的目标特征图。
步骤S2055，对各个通道的目标特征图进行求和，得到当前卷积层的输出特征图，将当前卷积层的输出特征图作为目标输出特征图。
具体地，通过各个通道对应的卷积核，对反重塑特征图进行特征提取，得到各个卷积核对应的特征，由各个卷积核提取到的特征组成各个通道的目标特征图。计算各个通道的目标特征图的和，即对应位置的矩阵元素相加，得到输出特征图，该输出特征图为当前卷积层的输出特征图。
在一个实施例中，步骤S205，还包括：
步骤S2056，判断输出特征图的通道数是否与输入特征图的通道数一致。
步骤S2057，当一致时，将输入特征图对输出特征图的和，作为当前卷积层的目标输出特征图。
步骤S2058，当不一致时，对输入特征图进行卷积运算，得到与输出特征图的通道数一致的卷积特征图，将卷积特征图与输出特征图的和，作为目标输出特征图。
具体地，根据各个通道的卷积核和对应的额反重塑矩阵生成的输出特征图的各个通道矩阵，判断输出特征图是通道是否与输入特征图的通道数一致，当一致时，输入特征图与输出特征对应的位置的元素进行相加，得到目标输出特征图。当不一致时，对输入特征图进行卷积运算，得到与输出特征图具有相同通道的卷积特征图，计算卷积特征图与输出特征图相同位置的元素的和，得到目标输出特征图。通过判断输入特征图与输出特征图的通道数，根据通道数确定目标输出特征图，提高了目标输出特征图的准确性。
步骤S206，根据目标输出特征图，识别出图数据对应的识别结果。
具体地，将目标输出特征图输入已训练的卷积神经网络中的识别层，通过识别层识别目标输出特征图对应的候选识别结果，从候选识别结果中选择识别概率最大的候选识别结果，作为目标识别结果，将目标识别结果作为图数据对应的识别结果。如识别类型包括拍手、跳跃、牵手三个类型时，其中拍手对应的识别概率为0.89，跳跃对应的识别概率为0.01，牵手对应的识别概率为0.1时，则图数据对应的识别结果为拍手。
在一个实施例中，当已训练的卷积神经网络中包括当前卷积层，和当前卷积层的下一个卷积层时，将目标输出特征图作为下一个卷积层的输入特征图，将下一卷积层作为当前卷积层，进入获取输入已训练的卷积神经网络的当前卷积层的输入特征图，直至已训练的卷积神经网络中的各个卷积层都完成时，输出最后一个卷积层的目标输出特征图，将最后一个卷积层的目标输出特征图输入识别层，得到图书对应的识别结果。具有相同网络结构的卷积层的数据处理流程相同。
上述图数据识别方法，包括：获取输入已训练的卷积神经网络的当前卷积层的输入特征图，输入特征图是通过提取图数据得到的特征图，获取当前卷积层的偏置矩阵，其中偏置矩阵为生成已训练的卷积神经网络时生成的矩阵，获取参考邻接矩阵，计算参考邻接矩阵和偏置矩阵的和，得到目标邻接矩阵，获取当前卷积层的卷积核，根据当前卷积层的卷积核、目标邻接矩阵和输入特征图生成目标输出特征图，根据目标输出特征图，识别出图数据对应的识别结果。对已训练的卷积神经网络中各个卷积层中的邻接矩阵增加偏置矩阵，偏置矩阵为已训练的卷积神经网络生成后得到的矩阵，该偏置矩阵能够更好的表达人体姿态，提高生成特征图的准确性，进而提高已训练的卷积神经网络的识别准确率。
在一个具体的实施例中，特征矩阵生成的方法，包括：参照图6，图6为一个实施例中卷积层的数据处理流程示意图，其中fin为当前卷积层的输入特征图，fout为当前卷积层的输出特征图。输出特征图采用输入特征图的具体表示方式如公式(3)所示：
其中，Ak为参考邻接矩阵中的第k个邻接矩阵，Bk为偏置矩阵中的第k 个邻接矩阵，Wk为卷积核的第k个参数，Kv为卷积核的大小，卷积核的大小可以自定义，如可以设置Kv＝3或5。假设输入特征图的尺寸信息为Cin×T×N，其中C代表通道数，T代表图数据的帧数，N代表kinect 定义的关节节点数，其中N＝25。对输入特征图进行重塑得到CinT×N的重塑特征图，偏置矩阵Bk为训练卷积神经网络后得到的矩阵，Bk与Ak具有相同的尺寸信息，即为N×N，计算偏置矩阵Bk与参考邻接矩阵Ak的和，得到目标邻接矩阵的各个通道的矩阵，计算目标邻接矩阵各个通道的矩阵与重塑特征图的乘积，得到各个通道的第二乘积矩阵，并对各个通道的第二乘积矩阵进行反重塑，得到反重塑矩阵，获取个卷积核Wk，其，通过各个通道的卷积核对反重塑矩阵进行卷积运算，得到各个通道对应的输出特征图。判断输出特征图是否与输入特征图的通道数是否一致，当不一致时，通过残差网络res，其中残差网络中的卷积核大小为1×1。将输入特征图调整致与输出特征图的通道数一致的矩阵，计算调整后的输入特征图与输出特征图的和，得到目标输出特征图。当一致时，计算输入特征图与输出特征图的和，得到目标输出特征图。根据目标输出特征图对各个图数据的行为进行识别，得到对应的识别结果。
当上述特征图的生过程为训练卷积神经网络的数据处理过程，且当各个图数据对应的识别与图数据的标签中的类别不一致时，根据预设损失函数各个图数据对应的损失值，根据梯度回传算法回传损失值，得到卷积层的回传值，根据回传值更新对应的卷积层的各个通道的卷积核w的参数、偏置矩阵B的参数。
当上述特征图的生过程为训练后的已训练的卷积神经网络的数据处理过程时，根据目标输出特征图识别的结果作为图数据对应的识别结果。将图数据输入已训练的卷积神经网路，卷积神经网络包含多个卷积层和识别层，各个卷积层包括卷积核和目标邻接矩阵，通过各个卷积层的目标邻接矩阵对图数据进行特征提取，得到对应的图像特征图集合，通过卷积核对图像特征集合进行卷积运算，得到各个卷积层的目标输出特征图，识别层的上一个卷积层的目标输出特征图作为识别层的输入数据，根据各个图数据的目标输出特征图，识别出对应的人体行为类型。
上述特征图生成过程中偏置矩阵是根据数据库统计出来的适应于行为识别任务的图，偏置矩阵会作为网络的参数在训练过程中根据分类损失不断更新，它对于每一个卷积层都是不同的。由于偏置矩阵是一个根据识别任务统计得到的矩阵，从而根据偏置矩阵得到的目标邻接矩阵，能够更好的对输入数据进行特征提取，得到准确的目标输出特征图，故根据目标输出特征图进行识别时，识别结果更为准确。
图5为一个实施例中图数据识别方法的流程示意图。应该理解的是，虽然图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种图数据识别装置200，包括：
输入特征图获取模块201，用于获取输入已训练的卷积神经网络的当前卷积层的输入特征图，输入特征图是通过提取图数据得到的特征图。
偏置矩阵获取模块202，用于获取当前卷积层的偏置矩阵，其中偏置矩阵为生成已训练的卷积神经网络时生成的矩阵。
目标邻接矩阵计算模块203，用于获取参考邻接矩阵，计算参考邻接矩阵和偏置矩阵的和，得到目标邻接矩阵。
卷积核获取模块204，用于获取当前卷积层的卷积核。
特征图生成模块205，用于根据当前卷积层的卷积核、目标邻接矩阵和输入特征图生成目标输出特征图，根据目标输出特征图，识别出图数据对应的识别结果。
识别模块206，用于根据目标输出特征图，识别出图数据对应的识别结果。
在一个实施例中，目标邻接矩阵计算模块还用于对当前卷积层的输入特征图进行降维，得到降维矩阵，归一化降维矩阵，得到归一化矩阵，将归一化矩阵的各个元素与目标邻接矩阵对应的元素相加，得到更新后的目标邻接矩阵，将更新后的目标邻接矩阵作为目标邻接矩阵。
在一个实施例中，上述目标邻接矩阵计算模块，包括：
降维单元，用于根据第一降维函数分别对输入特征图的各个通道的矩阵进行降维，得到各个通道对应的第一特征图，输入特征图至少包括三个维度，其中，第一维度为通道数，根据第二降维函数分别对所述特征图的各个通道的矩阵进行降维，得到各个通道对应的第二特征图；
第一矩阵乘积计算单元，用于计算各个通道的第一特征图和所述第二特征图的第一乘积矩阵，将各个通道第一乘积矩阵作为降维矩阵对应通道的矩阵。
归一化单元，用于归一化降维矩阵中各个通道的矩阵，得到归一化矩阵对应通道的矩阵。
在一个实施例中，上述图数据识别装置还包括：
网络生成模块，用于生成已训练的卷积神经网络。其中网络生成模块包括:
训练数据获取单元，用于获取包含多个训练图数据的训练集合，各个训练图数据包含对应的标签信息。
识别单元，用于通过初始卷积神经网络对各个训练图数据进行识别，得到对应的识别结果。
差异度计算单元，用于根据预设损失函数计算各个训练图数据的识别结果与标签的损失值。
模型生成单元，用于当损失值小于或等于预设差损失值时，得到已训练的卷积神经网络。
在一个实施中，上述网络生成模块，还包括：
参数更新单元，用于当损失值大于预设损失值时，通过梯度回传算法回传损失值，更新初始卷积神经网络的网络参数。
模型确定单元还用于采用更新了网络参数的初始卷积神经网络对个训练图数据进行识别，得到对应的识别结果，直至识别结果与标签信息之间的损失值小于预设损失值时，得到已训练的卷积神经网络。
在一个实施例中，特征图生成模块，包括：
特征图重塑单元，用于重塑输入特征图，得到重塑特征图，重塑特征图的第一维度为输入特征图的第一维度和第二维度的乘积，其中，输入特征图至少包括三个维度，第一维度为通道数，目标邻接矩阵至少包括三个维度。
第二矩阵乘积计算单元，用于计算重塑特征图和目标邻接矩阵的各个通道的矩阵的乘积，得到各个通道的第二乘积矩阵。
反重塑单元，用于反重塑各个通道的第二乘积矩阵，得到各个通道的反重塑特征图。
卷积单元，用于根据各个通道的卷积核，根据各个通道的卷积核对反重塑特征图进行卷积运算，得到当前卷积层各个通道的目标特征图。
特征图生成单元，用于对各个通道的所述目标特征图进行求和，得到当前卷积层的输出特征图，将当前卷积层的输出特征图作为目标输出特征图。
在一个实施了中，上述图数据识别装置，还包括：
通道判断模块，用于判断输出特征图的通道数是否与输入特征图的通道数一致。
特征图生成模块还用于当一致时，将输入特征图对输出特征图的和，作为当前卷积层的目标输出特征图，当不一致时，对输入特征图进行卷积运算，得到与输出特征图的通道数一致的卷积特征图，将卷积特征图与输出特征图的和，作为目标输出特征图。
图8示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图4中的终端110(或服务器120)。如图8所示，该计算机设备包括该计算机设备包括通过***总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作***，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图数据识别方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图数据识别方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的图数据识别装置可以实现为一种计算机程序的形式，计算机程序可在如图8所示的计算机设备上运行。计算机设备的存储器中可存储组成该图数据识别装置的各个程序模块，比如，图7所示的特征图获取模块201、偏置矩阵获取模块202、标邻接矩阵计算模块203、卷积核获取模块204、特征图生成模块205 和识别模块206。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图数据识别方法中的步骤。
例如，图8所示的计算机设备可以通过如图7所示的图数据识别装置中的输入特征图获取模块201执行获取输入已训练的卷积神经网络的当前卷积层的输入特征图，输入特征图是通过提取图数据得到的特征图。计算机设备可通过偏置矩阵获取模块202执行获取当前卷积层的偏置矩阵，其中偏置矩阵为生成已训练的卷积神经网络时生成的矩阵。计算机设备可通过目标邻接矩阵计算模块203执行获取参考邻接矩阵，计算参考邻接矩阵和偏置矩阵的和，得到目标邻接矩阵。计算机设备可通过卷积核获取模块204执行获取当前卷积层的卷积核。计算机设备可通过特征图生成模块205执行根据当前卷积层的卷积核、目标邻接矩阵和输入特征图生成目标输出特征图。计算机设备可通过识别模块206执行根据目标输出特征图，识别出图数据对应的识别结果。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取输入已训练的卷积神经网络的当前卷积层的输入特征图，输入特征图是通过提取图数据得到的特征图，获取当前卷积层的偏置矩阵，其中偏置矩阵为生成已训练的卷积神经网络时生成的矩阵，获取参考邻接矩阵，计算参考邻接矩阵和所述偏置矩阵的和，得到目标邻接矩阵，获取当前卷积层的卷积核，根据当前卷积层的卷积核、目标邻接矩阵和输入特征图生成目标输出特征图，根据目标输出特征图，识别出图数据对应的识别结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：当前卷积层的输入特征图进行降维，得到降维矩阵，归一化降维矩阵，得到归一化矩阵，将归一化矩阵的各个元素与目标邻接矩阵对应的元素相加，得到更新后的目标邻接矩阵，将更新后的目标邻接矩阵作为目标邻接矩阵。
在一个实施例中，输入特征图至少包括三个维度，其中，第一维度为通道数，包括：根据第一降维函数分别对输入特征图的各个通道的矩阵进行降维，得到各个通道对应的第一特征图，根据第二降维函数分别对特征图的各个通道的矩阵进行降维，得到各个通道对应的第二特征图，计算各个通道的第一特征图和第二特征图的第一乘积矩阵，将各个通道第一乘积矩阵作为降维矩阵对应通道的矩阵，归一化降维矩阵中各个通道的矩阵，得到归一化矩阵对应通道的矩阵。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：成已训练的卷积神经网络，包括：获取包含多个训练图数据的训练集合，各个训练图数据包含对应的标签信息，通过初始卷积神经网络对各个训练图数据进行识别，得到对应的识别结果，根据预设损失函数计算各个训练图数据的识别结果与标签的损失值，当损失值小于或等于预设差损失值时，得到已训练的卷积神经网络。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：当损失值大于预设损失值时，通过梯度回传算法回传损失值，更新初始卷积神经网络的网络参数，采用更新了网络参数的初始卷积神经网络对个训练图数据进行识别，得到对应的识别结果，直至识别结果与标签信息之间的损失值小于预设损失值时，得到已训练的卷积神经网络。
在一个实施例中，输入特征图至少包括三个维度，其中，第一维度为通道数，目标邻接矩阵至少包括三个维度，根据当前卷积层的卷积核、目标邻接矩阵和输入特征图生成目标输出特征图，包括：重塑输入特征图，得到重塑特征图，重塑特征图的第一维度为输入特征图的第一维度和第二维度的乘积，计算重塑特征图和目标邻接矩阵的各个通道的矩阵的乘积，得到各个通道的第二乘积矩阵，反重塑各个通道的第二乘积矩阵，得到各个通道的反重塑特征图根据各个通道的卷积核，根据各个通道的卷积核对反重塑特征图进行卷积运算，得到当前卷积层各个通道的目标特征图，对各个通道的目标特征图进行求和，得到当前卷积层的输出特征图，将当前卷积层的输出特征图作为目标输出特征图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：判断输出特征图的通道数是否与输入特征图的通道数一致，当一致时，将输入特征图对输出特征图的和，作为当前卷积层的目标输出特征图，当不一致时，对输入特征图进行卷积运算，得到与输出特征图的通道数一致的卷积特征图，将卷积特征图与输出特征图的和，作为目标输出特征图。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取输入已训练的卷积神经网络的当前卷积层的输入特征图，输入特征图是通过提取图数据得到的特征图，获取当前卷积层的偏置矩阵，其中偏置矩阵为生成已训练的卷积神经网络时生成的矩阵，获取参考邻接矩阵，计算参考邻接矩阵和所述偏置矩阵的和，得到目标邻接矩阵，获取当前卷积层的卷积核，根据当前卷积层的卷积核、目标邻接矩阵和输入特征图生成目标输出特征图，根据目标输出特征图，识别出图数据对应的识别结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当前卷积层的输入特征图进行降维，得到降维矩阵，归一化降维矩阵，得到归一化矩阵，将归一化矩阵的各个元素与目标邻接矩阵对应的元素相加，得到更新后的目标邻接矩阵，将更新后的目标邻接矩阵作为目标邻接矩阵。
在一个实施例中，输入特征图至少包括三个维度，其中，第一维度为通道数，包括：根据第一降维函数分别对输入特征图的各个通道的矩阵进行降维，得到各个通道对应的第一特征图，根据第二降维函数分别对特征图的各个通道的矩阵进行降维，得到各个通道对应的第二特征图，计算各个通道的第一特征图和第二特征图的第一乘积矩阵，将各个通道第一乘积矩阵作为降维矩阵对应通道的矩阵，归一化降维矩阵中各个通道的矩阵，得到归一化矩阵对应通道的矩阵。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：成已训练的卷积神经网络，包括：获取包含多个训练图数据的训练集合，各个训练图数据包含对应的标签信息，通过初始卷积神经网络对各个训练图数据进行识别，得到对应的识别结果，根据预设损失函数计算各个训练图数据的识别结果与标签的损失值，当损失值小于或等于预设差损失值时，得到已训练的卷积神经网络。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当损失值大于预设损失值时，通过梯度回传算法回传损失值，更新初始卷积神经网络的网络参数，采用更新了网络参数的初始卷积神经网络对个训练图数据进行识别，得到对应的识别结果，直至识别结果与标签信息之间的损失值小于预设损失值时，得到已训练的卷积神经网络。
在一个实施例中，输入特征图至少包括三个维度，其中，第一维度为通道数，目标邻接矩阵至少包括三个维度，根据当前卷积层的卷积核、目标邻接矩阵和输入特征图生成目标输出特征图，包括：重塑输入特征图，得到重塑特征图，重塑特征图的第一维度为输入特征图的第一维度和第二维度的乘积，计算重塑特征图和目标邻接矩阵的各个通道的矩阵的乘积，得到各个通道的第二乘积矩阵，反重塑各个通道的第二乘积矩阵，得到各个通道的反重塑特征图根据各个通道的卷积核，根据各个通道的卷积核对反重塑特征图进行卷积运算，得到当前卷积层各个通道的目标特征图，对各个通道的目标特征图进行求和，得到当前卷积层的输出特征图，将当前卷积层的输出特征图作为目标输出特征图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：判断输出特征图的通道数是否与输入特征图的通道数一致，当一致时，将输入特征图对输出特征图的和，作为当前卷积层的目标输出特征图，当不一致时，对输入特征图进行卷积运算，得到与输出特征图的通道数一致的卷积特征图，将卷积特征图与输出特征图的和，作为目标输出特征图。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器 (ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步 DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图数据识别方法，其特征在于，所述方法包括：
获取输入已训练的卷积神经网络的当前卷积层的输入特征图，所述输入特征图是通过提取图数据得到的特征图；
获取所述当前卷积层的偏置矩阵，其中所述偏置矩阵为生成所述已训练的卷积神经网络时生成的矩阵；
获取参考邻接矩阵，计算所述参考邻接矩阵和所述偏置矩阵的和，得到目标邻接矩阵；
获取所述当前卷积层的卷积核；
根据所述当前卷积层的卷积核、所述目标邻接矩阵和所述输入特征图生成目标输出特征图；
根据所述目标输出特征图，识别出所述图数据对应的识别结果。
2.根据权利要求1所述的方法，其特征在于，生成所述已训练的卷积神经网络，包括：
获取包含多个训练图数据的训练集合，各个所述训练图数据包含对应的标签信息；
通过初始卷积神经网络对各个所述训练图数据进行识别，得到对应的识别结果；
根据预设损失函数计算各个所述训练图数据的识别结果与所述标签的损失值；
当所述损失值小于或等于预设差损失值时，得到所述已训练的卷积神经网络。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
当所述损失值大于所述预设损失值时，通过所述梯度回传算法回传所述差异度，更新所述初始卷积神经网络的网络参数；
采用更新了网络参数的初始卷积神经网络对个所述训练图数据进行识别，得到对应的识别结果，直至所述识别结果与所述标签信息之间的损失值小于所述预设损失值时，得到所述已训练的卷积神经网络。
4.根据权利要求3所述的方法，其特征在于，初始卷积神经网络模型包括至少一个卷积层，所述卷积层中包括初始偏置矩阵，所述通过所述梯度回传算法回传所述差异度，更新所述初始卷积神经网络的网络参数，包括：
通过所述梯度回传算法将所述损失值回传到任意一个所述卷积层时，得到各个所述卷积层的回传值；
根据各个所述卷积层的回传值更新所述卷积层的网络参数，所述网络参数包括所述偏置矩阵的参数。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述输入特征图至少包括三个维度，其中，第一维度为通道数，所述目标邻接矩阵至少包括三个维度，所述根据所述当前卷积层的卷积核、所述目标邻接矩阵和所述输入特征图生成目标输出特征图，包括：
重塑所述输入特征图，得到重塑特征图，所述重塑特征图的第一维度为所述输入特征图的第一维度和第二维度的乘积；
计算所述重塑特征图和所述目标邻接矩阵的各个通道的矩阵的乘积，得到各个通道的第二乘积矩阵；
反重塑各个通道的所述第二乘积矩阵，得到各个通道的反重塑特征图；
根据各个通道的卷积核，根据各个通道的所述卷积核对所述反重塑特征图进行卷积运算，得到所述当前卷积层各个通道的目标特征图；
对各个通道的所述目标特征图进行求和，得到所述当前卷积层的输出特征图，将所述当前卷积层的输出特征图作为所述目标输出特征图。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
判断所述输出特征图的通道数是否与所述输入特征图的通道数一致；
当一致时，将所述输入特征图对所述输出特征图的和，作为所述当前卷积层的目标输出特征图；
当不一致时，对所述输入特征图进行卷积运算，得到与所述输出特征图的通道数一致的卷积特征图，将所述卷积特征图与所述输出特征图的和，作为所述目标输出特征图。
7.一种图数据识别装置，其特征在于，所述装置包括：
输入特征图获取模块，用于获取输入已训练的卷积神经网络的当前卷积层的输入特征图，所述输入特征图是通过提取图数据得到的特征图；
偏置矩阵获取模块，用于获取所述当前卷积层的偏置矩阵，其中所述偏置矩阵为生成所述已训练的卷积神经网络时生成的矩阵；
目标邻接矩阵计算模块，用于获取参考邻接矩阵，计算所述参考邻接矩阵和所述偏置矩阵的和，得到目标邻接矩阵；
卷积核获取模块，用于获取所述当前卷积层的卷积核；
特征图生成模块，用于根据所述当前卷积层的卷积核、所述目标邻接矩阵和所述输入特征图生成目标输出特征图；
识别模块，用于根据所述目标输出特征图，识别出所述图数据对应的识别结果。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
网络生成模块，用于生成所述已训练的卷积神经网络。其中网络生成模块包括：
数据获取单元，用于获取包含多个训练图数据的训练集合，各个所述训练图数据包含对应的标签信息；
识别单元，用于通过初始卷积神经网络对各个所述训练图数据进行识别，得到对应的识别结果；
计算损失值单元，用于根据预设损失函数计算各个所述训练图数据的识别结果与所述标签的损失值；
网络确定单元，用于当所述损失值小于或等于预设差损失值时，得到所述已训练的卷积神经网络。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN201910503195.4A 2019-06-11 2019-06-11 图数据识别方法、装置、计算机设备和存储介质 Pending CN110363086A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910503195.4A CN110363086A (zh) 2019-06-11 2019-06-11 图数据识别方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910503195.4A CN110363086A (zh) 2019-06-11 2019-06-11 图数据识别方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN110363086A true CN110363086A (zh) 2019-10-22

Family

ID=68217259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910503195.4A Pending CN110363086A (zh) 2019-06-11 2019-06-11 图数据识别方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110363086A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325816A (zh) * 2020-02-11 2020-06-23 重庆特斯联智慧科技股份有限公司 一种特征图处理方法、装置、存储介质及终端
CN111539526A (zh) * 2020-04-24 2020-08-14 苏州浪潮智能科技有限公司 一种神经网络卷积的方法和设备
CN111914029A (zh) * 2020-08-06 2020-11-10 平安科技（深圳）有限公司 基于区块链的医疗数据调用方法、装置、电子设备及介质
CN111967479A (zh) * 2020-07-27 2020-11-20 广东工业大学 基于卷积神经网络思想的图像目标识别方法
CN111986071A (zh) * 2020-08-27 2020-11-24 苏州浪潮智能科技有限公司 一种图片数据处理方法、装置、设备及存储介质
WO2020248581A1 (zh) * 2019-06-11 2020-12-17 中国科学院自动化研究所 图数据识别方法、装置、计算机设备和存储介质
CN112116066A (zh) * 2020-08-27 2020-12-22 苏州浪潮智能科技有限公司 一种神经网络的计算方法、***、设备以及介质
CN112116001A (zh) * 2020-09-17 2020-12-22 苏州浪潮智能科技有限公司 图像识别方法、装置及计算机可读存储介质
CN115793490A (zh) * 2023-02-06 2023-03-14 南通弈匠智能科技有限公司 基于大数据的智能家居节能控制方法
CN117251715A (zh) * 2023-11-17 2023-12-19 华芯程(杭州)科技有限公司 版图量测区域筛选方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169415A (zh) * 2017-04-13 2017-09-15 西安电子科技大学 基于卷积神经网络特征编码的人体动作识别方法
US20180121760A1 (en) * 2016-10-27 2018-05-03 General Electric Company Methods of systems of generating virtual multi-dimensional models using image analysis
CN108304795A (zh) * 2018-01-29 2018-07-20 清华大学 基于深度强化学习的人体骨架行为识别方法及装置
CN109086652A (zh) * 2018-06-04 2018-12-25 平安科技（深圳）有限公司 手写字模型训练方法、汉字识别方法、装置、设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180121760A1 (en) * 2016-10-27 2018-05-03 General Electric Company Methods of systems of generating virtual multi-dimensional models using image analysis
CN107169415A (zh) * 2017-04-13 2017-09-15 西安电子科技大学 基于卷积神经网络特征编码的人体动作识别方法
CN108304795A (zh) * 2018-01-29 2018-07-20 清华大学 基于深度强化学习的人体骨架行为识别方法及装置
CN109086652A (zh) * 2018-06-04 2018-12-25 平安科技（深圳）有限公司 手写字模型训练方法、汉字识别方法、装置、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LEI SHI 等: "Non-Local Graph Convolutional Networks for Skeleton-Based Action Recognition", 《ARXIV》 *
丰艳 等: "基于时空注意力深度网络的视角无关性骨架行为识别", 《计算机辅助设计与图形学学报》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020248581A1 (zh) * 2019-06-11 2020-12-17 中国科学院自动化研究所 图数据识别方法、装置、计算机设备和存储介质
CN111325816A (zh) * 2020-02-11 2020-06-23 重庆特斯联智慧科技股份有限公司 一种特征图处理方法、装置、存储介质及终端
CN111539526B (zh) * 2020-04-24 2022-12-06 苏州浪潮智能科技有限公司 一种神经网络卷积的方法和设备
CN111539526A (zh) * 2020-04-24 2020-08-14 苏州浪潮智能科技有限公司 一种神经网络卷积的方法和设备
CN111967479A (zh) * 2020-07-27 2020-11-20 广东工业大学 基于卷积神经网络思想的图像目标识别方法
CN111914029A (zh) * 2020-08-06 2020-11-10 平安科技（深圳）有限公司 基于区块链的医疗数据调用方法、装置、电子设备及介质
CN111986071A (zh) * 2020-08-27 2020-11-24 苏州浪潮智能科技有限公司 一种图片数据处理方法、装置、设备及存储介质
CN112116066A (zh) * 2020-08-27 2020-12-22 苏州浪潮智能科技有限公司 一种神经网络的计算方法、***、设备以及介质
CN112116066B (zh) * 2020-08-27 2022-12-20 苏州浪潮智能科技有限公司 一种神经网络的计算方法、***、设备以及介质
CN111986071B (zh) * 2020-08-27 2022-11-29 苏州浪潮智能科技有限公司 一种图片数据处理方法、装置、设备及存储介质
CN112116001B (zh) * 2020-09-17 2022-06-07 苏州浪潮智能科技有限公司 图像识别方法、装置及计算机可读存储介质
CN112116001A (zh) * 2020-09-17 2020-12-22 苏州浪潮智能科技有限公司 图像识别方法、装置及计算机可读存储介质
CN115793490A (zh) * 2023-02-06 2023-03-14 南通弈匠智能科技有限公司 基于大数据的智能家居节能控制方法
CN115793490B (zh) * 2023-02-06 2023-04-11 南通弈匠智能科技有限公司 基于大数据的智能家居节能控制方法
CN117251715A (zh) * 2023-11-17 2023-12-19 华芯程(杭州)科技有限公司 版图量测区域筛选方法、装置、电子设备及存储介质
CN117251715B (zh) * 2023-11-17 2024-03-19 华芯程(杭州)科技有限公司 版图量测区域筛选方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110378372A (zh) 图数据识别方法、装置、计算机设备和存储介质
CN110363086A (zh) 图数据识别方法、装置、计算机设备和存储介质
CN110705448B (zh) 一种人体检测方法及装置
CN106778928B (zh) 图像处理方法及装置
CN110390259A (zh) 图数据的识别方法、装置、计算机设备和存储介质
Yan et al. Ranking with uncertain labels
CN110517278A (zh) 图像分割和图像分割网络的训练方法、装置和计算机设备
CN112955883B (zh) 应用推荐方法、装置、服务器和计算机可读存储介质
CN109784474A (zh) 一种深度学习模型压缩方法、装置、存储介质及终端设备
CN110751039B (zh) 多视图3d人体姿态估计方法及相关装置
CN107016319A (zh) 一种关键点定位方法和装置
CN109934065A (zh) 一种用于手势识别的方法和装置
CN110942012A (zh) 图像特征提取方法、行人重识别方法、装置和计算机设备
CN108805058A (zh) 目标对象变化姿态识别方法、装置及计算机设备
CN112801215A (zh) 图像处理模型搜索、图像处理方法、装置和存储介质
US20200327726A1 (en) Method of Generating 3D Facial Model for an Avatar and Related Device
CN108475424A (zh) 用于3d面部跟踪的方法、装置和***
CN109446952A (zh) 一种钢琴监督方法、装置、计算机设备及存储介质
CN108830782A (zh) 图像处理方法、装置、计算机设备和存储介质
CN110147833A (zh) 人像处理方法、装置、***和可读存储介质
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
CN110378213A (zh) 行为识别方法、装置、计算机设备和存储介质
CN112749723A (zh) 样本标注方法、装置、计算机设备和存储介质
CN108764143A (zh) 图像处理方法、装置、计算机设备和存储介质
CN113593001A (zh) 目标对象三维重建方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191022

RJ01 Rejection of invention patent application after publication