CN114943324A - 神经网络训练方法、人体运动识别方法及设备、存储介质 - Google Patents

神经网络训练方法、人体运动识别方法及设备、存储介质 Download PDF

Info

Publication number
CN114943324A
CN114943324A CN202210585190.2A CN202210585190A CN114943324A CN 114943324 A CN114943324 A CN 114943324A CN 202210585190 A CN202210585190 A CN 202210585190A CN 114943324 A CN114943324 A CN 114943324A
Authority
CN
China
Prior art keywords
training
neural network
graph
data
diagram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210585190.2A
Other languages
English (en)
Other versions
CN114943324B (zh
Inventor
颜延
廖天正
赵金津
任旭超
赵瑞麒
马良
王磊
刘语诗
熊璟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202210585190.2A priority Critical patent/CN114943324B/zh
Priority to PCT/CN2022/108857 priority patent/WO2023226186A1/zh
Publication of CN114943324A publication Critical patent/CN114943324A/zh
Application granted granted Critical
Publication of CN114943324B publication Critical patent/CN114943324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种神经网络训练方法、人体运动识别方法及设备、存储介质，该神经网络训练方法包括：获取训练数据集，并对所述训练数据集中的训练数据进行预处理，得到若干训练图数据，其中，每一训练图数据为所述训练数据中一个时间片的训练图数据；将所述训练图数据输入图神经网络进行训练，其中，所述图神经网络包括依次连接的若干图卷积层；基于训练结果，获取最终图神经网络的权重矩阵，完成神经网络训练，其中，所述图神经网络的权重矩阵由所述若干图卷积层的最终权重组成。通过上述方式，本申请对训练数据集进行数据预处理，从而得到满足图神经网络输入的训练图数据，从而提高神经网络的训练效率以及训练准确性。

Description

神经网络训练方法、人体运动识别方法及设备、存储介质
技术领域
本申请涉及神经网络技术领域，特别涉及一种神经网络训练方法、人体运动识别方法及设备、存储介质。
背景技术
长期以来，作为典型的模式识别问题，许多传统的机器学习算法被用于解决基于传感器的HAR(human activity recognition，人体运动行为识别)问题，包括决策树、随机森林、支持向量机、贝叶斯网络、马尔可夫模型等。在严格的控制环境和有限的输入下，传统的最大外观算法取得了良好的分类效果，但是传统的手工特征方法耗时长，提取的特征缺乏增量和无监督的学习能力和泛化能力。
发明内容
本申请主要提供一种神经网络训练方法、人体运动识别方法及设备、存储介质，以解决传统的手工特征方法耗时长，提取的特征缺乏增量和无监督的学习能力和泛化能力的问题。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种神经网络训练方法，所述神经网络训练方法包括：
获取训练数据集，并对所述训练数据集中的训练数据进行预处理，得到若干训练图数据，其中，每一训练图数据为所述训练数据中一个时间片的训练图数据；
将所述训练图数据输入图神经网络进行训练，其中，所述图神经网络包括依次连接的若干图卷积层；
基于训练结果，获取最终图神经网络的权重矩阵，完成神经网络训练，其中，所述图神经网络的权重矩阵由所述若干图卷积层的最终权重组成。
根据本申请提供的一实施方式，所述将所述训练图数据输入图神经网络进行训练，包括：
将每一所述训练图像数据输入所述图神经网络的首个图卷积层，获取所述首个图卷积层的首个输出；
将所述首个输出输入所述首个图卷积层的下一个图卷积层，以将所述首个输出作为所述下一个图卷积层的输入进行训练，直至完成所述图神经网络的所有图卷积层的训练。
根据本申请提供的一实施方式，所述将所述首个输出输入所述首个图卷积层的下一个图卷积层，以将所述首个输出作为所述下一个图卷积层的输入进行训练，包括：
将所述首个输出以及所述训练图数据进行叠加，得到融合数据；
将所述融合数据输入所述下一个图卷积层，以将所述融合数据作为所述下一个图卷积层的输入进行训练。
根据本申请提供的一实施方式，所述首个输出由所述训练图像数据、所述首个图卷积层的训练权重计算生成；
所述首个输出通过激活函数转换为所述下一个图卷积层的输入。
根据本申请提供的一实施方式，所述将所述训练图数据输入图神经网络进行训练，包括：
利用拉普拉斯算子从所述训练图数据的节点特征中提取空间特征；
利用所述图神经网络的训练权重作为对角线元素，构建对角矩阵；
利用所述空间特征以及所述对角矩阵，形成所述图神经网络的输出进行训练。
根据本申请提供的一实施方式，所述利用所述空间特征以及所述对角矩阵，形成所述图神经网络的输出进行训练，包括：
获取每一个节点特征的空间特征；
基于预设卷积核感受野，更新所述每一个节点特征的空间特征；
利用更新后的空间特征以及所述对角矩阵，形成所述图神经网络的输出进行训练。
根据本申请提供的一实施方式，所述基于预设卷积核感受野，更新所述每一个节点特征的空间特征，包括：
按照所述预设卷积核感受野，设置切比雪夫多项式递归方程；
将所述每一个节点特征的空间特征输入所述切比雪夫多项式递归方程，递归得到所述每一个节点特征更新后的空间特征。
根据本申请提供的一实施方式，所述图神经网络在所述若干图卷积层之后，还连接有至少一层全连接层，所述至少一层全连接层用于训练分类任务。
根据本申请提供的一实施方式，所述基于训练结果，获取最终图神经网络的权重矩阵，完成神经网络训练之后，所述神经网络训练方法还包括：
将完成神经网络训练的图神经网络迁移到其他神经网络，作为其他神经网络的一部分网络结构，从而形成迁移神经网络；
重新对所述迁移神经网络进行训练。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种人体运动识别方法，所述人体运动识别方法包括：
利用可穿戴传感器获取用户的人体运动数据；
对所述人体运动数据进行预处理，得到人体运动图数据；
将所述人体运动图数据输入预先训练的图神经网络，获取所述图神经网络基于所述人体运动图数据对所述用户的人体运动的预测信息；
基于所述预测信息，获取所述用户的运动状态；
其中，所述图神经网络通过上述的神经网络训练方法训练得到。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种终端设备，所述终端设备包括存储器以及与所述存储器耦接的处理器；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的神经网络训练方法和/或人体运动识别方法。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如上述的神经网络训练方法和/或人体运动识别方法。
本申请提供了一种神经网络训练方法、人体运动识别方法及设备、存储介质，该神经网络训练方法包括：获取训练数据集，并对所述训练数据集中的训练数据进行预处理，得到若干训练图数据，其中，每一训练图数据为所述训练数据中一个时间片的训练图数据；将所述训练图数据输入图神经网络进行训练，其中，所述图神经网络包括依次连接的若干图卷积层；基于训练结果，获取最终图神经网络的权重矩阵，完成神经网络训练，其中，所述图神经网络的权重矩阵由所述若干图卷积层的最终权重组成。通过上述方式，本申请对训练数据集进行数据预处理，从而得到满足图神经网络输入的训练图数据，从而提高神经网络的训练效率以及训练准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，其中：
图1是本申请提供的神经网络训练方法一实施例的流程示意图；
图2是本申请提供的图神经网络的框架示意图；
图3是本申请提供的神经网络训练方法的主要流程示意图；
图4是本申请提供的迁移学习的学习过程的框架示意图；
图5是本申请提供的人体运动识别方法一实施例的流程示意图；
图6是本申请提供的终端设备一实施例的结构示意图；
图7是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明，若本申请实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本申请实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
人体日常运动行为与人的健康指标、能量平衡有着密切联系。例如可以通过对跑步，走路等运动行为的监测计算出个人的能量消耗，这在个人的健康运动以及身体能量平衡等方面具有积极的意义。另外，通过对人体异常运动行为(如跌倒等)的识别可以有效的对出现危险状况的个人进行及时救助。
早期使用机器视觉的人体运动行为识别(human activity recognition,HAR)是一个流行的方向，它捕获图像或视频流以使用图像/视频处理技术检测人类的行为，例如在基于视频的HAR领域取得了不错的成绩。但是这种方法受限于复杂场景带来的影响，动作的不确定性，需要考虑摄像头带来的隐私问题，只适用于一些特定的场景。相比之下，可穿戴传感器不易受环境干扰，采集到的信号更连续、更准确，可用于更广泛的场景。
在过去的十年中，传感器技术在计算能力、尺寸、精度和制造成本等多个领域取得了非凡的进步。这些进步使大多数传感器能够集成到智能手机和其他便携式设备中，使这些设备更加智能和实用。通常用于HAR的可穿戴传感器是加速度计、磁力计、陀螺仪和集成惯性测量单元(integrated inertial measurement units,IMU)。
基于深度学习的研究逐渐在人体运动行为识别领域取得了优异的成绩并占据了主导地位。通过多层神经网络自动提取特征，显着减少了特征的预处理，并且深度学习结构已被证明在无监督学习和强化学习中表现良好。
本申请提出了一种构建图的角度来解决针对传感器的HAR问题的方案。人在活动的过程中肢体间会相互配合、共同作用，通过佩戴在人身上不同位置传感器的相关性对人采集到的数据建图，使用一种基于图谱理论的图神经网络建模，通过图网络学习图中蕴含的动作信息及传感器间相互关系对动作进行分类。
对此，本申请构建了一个完整的HAR框架，选取图神经网络对人体运动建模，并证实了GNN(Graph Neural Network，图神经网络)网络在HAR领域具有很强的迁移学习能力及多角度学习能力，有效的弥补了传统深度学习无法有效捕捉非欧空间的图结构数据关系的不足，提出在基于传感器的人体运动图结构数据上建模新思路。
基于以上技术基础，本申请提供了一种具体的图神经网络的训练方法。具体请参阅图1至图3，图1是本申请提供的神经网络训练方法一实施例的流程示意图，图2是本申请提供的图神经网络的框架示意图，图3是本申请提供的神经网络训练方法的主要流程示意图。
如图1所示，本申请实施例的神经网络训练方法具体可以包括以下步骤：
步骤S11：获取训练数据集，并对训练数据集中的训练数据进行预处理，得到若干训练图数据，其中，每一训练图数据为训练数据中一个时间片的训练图数据。
在本申请实施例中，本申请所采用的数据集可以为MHEALTH数据集和PAMAP2数据集，在其他实施例中，也可以采用其他数据集，在此不做限制。下面分别对以上两种数据集的数据进行说明：
MHEALTH数据集
该数据集包括来自实验室外环境中10名参与者的数据。每个受试者都佩戴连接到胸部、右手腕和左脚踝的可穿戴传感器。站立、坐、卧、行走、爬楼梯、前屈腰、前臂上抬、屈膝、骑自行车、慢跑、跑步、前跳等身体活动均参与实验。记录数据的采样率为50Hz。然后在MHEALTH数据集中有12个活动类别，共计21个通道的传感信号，此方法中用户身体的感知信息是通过胸部传感器捕获的，而另外两个来自背部传感器。
PAMAP2数据集
该数据集包括从9名24至30岁的参与者获得的数据。参与者在用户的优势侧手腕、脚踝和胸部佩戴IMU(Inertial Measurement Unit，惯性测量单元)。每个人进行的活动包括躺、坐、站、走、跑步、骑自行车、快走、上楼梯、下楼梯、跳绳十个动作。每个IMU包含两个3D加速度传感器、一个陀螺仪传感器、一个磁力计传感器，采样频率为100Hz。每个IMU包含九轴传感器信息，共计27个通道传感信号，此方法中本申请只需要数据集中的3个传感器的信息，包括右腰部、左脚踝和背部，以保持传感器位置的一致性。
在将以上训练集的数据输入图神经网络进行训练之前，终端设备需要对训练集的数据进行预处理，以及将训练集的数据转化为图数据。具体的预处理过程如下：
首先，终端设备对所有传感器采集的训练数据按照时间序列进行噪声滤波归一化后重采样至50Hz。其次，用固定长度为128、重叠率为50％的滑动窗口对训练数据进行分窗，在其他实施例中，也可以采用不同长度的滑动窗口，在此不再赘述。
终端设备根据不同数据集的采样频率，例如，采样频率为50Hz的MHEALTH数据集每个窗口持续时间为2.56秒，采样频率为100Hz的PAMAP2数据集每个窗口持续时间为1.28秒，可以得到来自MHEALTH数据集的5361个活动时间序列片段、PAMAP2数据集的11784个活动时间序列片段。
终端设备将每个活动时间序列片段看做一个训练样本并对每个训练样本建立图数据作为GNN网络的输入。其中，一个传感器通道会被看作一个节点，运用皮尔逊相关系数来计算每个节点间的关联，得到相关系数矩阵，令相关系数大于0.2的两个节点视为有高相关性的节点并将其连线，并将长度为128的数据嵌入到相应的传感器通道的点中，形成一个基于一个时间片的图数据。其中，图数据的长度由滑动窗口的长度决定。
如图3所示，终端设备将人体传感器的数据首先经过相关的预处理工作，滤除不必要的噪声信息和干扰信息，然后，对数据进行分窗后对每个时间序列片段建图作为GNN网络的输入。
步骤S12：将训练图数据输入图神经网络进行训练，其中，图神经网络包括依次连接的若干图卷积层。
在本申请实施例中，图卷积神经网络(Graph Convolutional Network,GCN)区别于传统的深度学习，是作用在非欧几里得空间的深度学习模型。在非欧空间中表现出其他深度模型中无法比拟的优势，例如基于视频中的人体动作识别超过其它的深度模型，文本基于传感器对人体活动识别中，各个传感器存在一个潜在的图结构关系，故本申请使用GCN网络作为待训练的神经网络。
对此，本申请提出了一种新的ResGCNN框架，包括参数共享使用与训练权重相同的残差图网络结构。具体如图2所示，本申请的图神经网络包括若干依次连接的图卷积层(ChebNet Layer)，每一层图卷积层与上一层图卷积层的输出作为输入。另外，终端设备还可以在若干依次连接的图卷积层之后连接全连接层，利用图卷积层用于特征提取，利用全连接层用于分类任务。
在本申请实施例中，终端设备在基于传感器的人体运动识别上，构建了一个16层的ResChebNet模型。解决过平滑的问题以及梯度消失等问题，ResGCNN框架包括四个ResChebNet块和两个额外的全连接(Fully Connected,FC)层。同时，涉及到块内残差结构，它将四个块的输入添加到最后一个块的输出中，作为ResChebNet块的最终输出。
在基于传感器上人体运动识别上，相比与传统的深度模型(CNN,LSTM,DEEP-LSTM等)，图2所示的多层ResChebNet建模有效学***滑问题和梯度消失的情况，同时也引入局部残差结构充分学习到局部结构感知，更加充分学习基于传感器人体运动时图结构的关系，使结果更加精准而泛化能力更加强大。
基于图2所示的ResChebNet模型，假设给定一个训练图数据G,它由N个顶点和N个顶点形成的边组成，使得任意两个顶点I和J之间的一条边代表它们的相似性。图数据的邻接矩阵A是一个I，J项相等的稀疏矩阵，I和J有连接边，则值为1，否则为0。
此外，图数据中的每个节点有一个F维的特征向量，X∈RN×F表示所有N个节点的特征矩阵。其中，节点的特征向量的维度由图数据的长度决定。L层图卷积神经网络(GCN)由L层图卷积组成，如图2所示的16层图卷积。每个卷积层通过上一个层每个节点的输出来构建当层卷积层每个节点的输入，其表现形式如下所示：
Z(l+1)＝A′X(l)W(l),X(l+1)＝σ(Z(l+1))
其中，
Figure BDA0003663206190000091
是N个节点在l层图卷积的输入，X(0)＝X；
Figure BDA0003663206190000092
σ(·)是激活函数，通常会选择ReLU；D为度矩阵，其具体计算公式如下：
Figure BDA0003663206190000093
其中，
Figure BDA0003663206190000094
是可以学习的权重矩阵，是为了将下游的学习任务的特征进行变换的矩阵。
进一步地，在每层卷积层的特征提取以及特征变换的过程中，终端设备还可以通过图谱理论以及卷积定理，将传统的傅里叶变换推广到图上的傅里叶变换，其公式如下：
Figure BDA0003663206190000101
其中，U为拉普拉斯矩阵L分解的特征向量矩阵，即拉普拉斯算子，f为输入的图数据的节点特征，h为可训练且参数共享的卷积核来提取的拓扑空间特征。
GCN网络卷积操作核心是可训练且参数共享的卷积核，GCN将上述
Figure BDA0003663206190000102
中的对角元素
Figure BDA0003663206190000103
替换为可学习的参数θ，然后，通过反向传播调整参数θ进行训练，故GCN网络的训练公式可以表示为：
Y＝σ(Ug(θ)UTx)
其中，x是图数据中每个节点特征的表示向量，Y是每个节点特征经过GCN网络卷积后的输出；图数据中的每一个节点特征都要经过卷积核卷积来提取相应的拓扑空间，然后经过激活函数σ传播到下一层。
进一步地，由于GCN网络存在缺点，需要对拉普拉斯矩阵进行特征分局，每次前向传播过程中都要计算矩阵乘法，当图数据规模较大时，时间复杂度为O(n2)，十分耗时。其中，图神经网络的卷积核个数为n，当n很大时，节点特征更新缓慢。多层GCN网络存在一个过平滑问题，节点特征的表示向量趋向一致，节点难以区分。
因此，本申请采用k阶ChebShev(切比雪夫)多项式对卷积核进行近似，带入上述图傅里叶变换中，表示公式如下：
Figure BDA0003663206190000104
其中，权重参数为θk，对于矩阵的k次方，可以得到与中间节点k-hop相连的节点，即Lk中元素是否为0表示图数据中的节点经过k跳是否能到达另一节点，这里k表示卷积核感受野的大小，通过将每个中心节点k-hop内的邻接节点聚合来更新中心节点的特征表示，而参数θk就是第k-hop邻接的权重。最终的公式结果不需要进行矩阵分解，而是对拉普拉斯矩阵L进行变换(重建)，计算量明显减少。其中，一般k<n。
其中，上述切比雪夫多项式的递归定义为：
Figure BDA0003663206190000111
GCN网络的卷积核参数n个减少到k个，从原先的全局卷积到现在的局部卷积，即将距离中心节点k-hop的节点作为邻接节点，过迭代定义降低了计算复杂度。
步骤S13：基于训练结果，获取最终图神经网络的权重矩阵，完成神经网络训练，其中，图神经网络的权重矩阵由若干图卷积层的最终权重组成。
在本申请实施例中，神经网络训练的过程就是调整参数的过程，神经网络层数越多,可以调整的参数(weights and bias)越多意味着调整的自由度越大，从而逼近效果越好。深层神经网络一直是热点问题,图神经网络(GCN)也不例外，在过去的各种实验和从不同的方面(比如动力***的角度)分析了GCN网络随着层数的增加，节点表示更加全局化同时更加平滑了,每层卷积等价于让节点表示趋近于一致。在密集部分没有什么区分性了，而稀疏的部分，得到的信息相对来说却不是很多,这就是过平滑现象。
由于深层GCN的过平滑现象，本申请引入了图2所示的ResChebNet模型，公式表示如下：
Figure BDA0003663206190000112
X(l+1)＝σ(Z(l+1))+X(l)
本申请中使用ChebNet(切比雪夫多项式近似图卷积核)，引入PairNorm标准化等结构使得控制全部的两两节点间的特征向量的距离和为一个常数，这样可以使得距离较远的节点的特征向量的距离也比较远。
进一步，迁移学习是一种非常重要的深度学习策略。它通过将解决一个问题所获得的知识应用于另一个不同但相关的问题来重用这些知识，即将知识从源域迁移到目标域，这将对许多由于训练数据不足而难以改进的领域产生巨大的积极影响，迁移学习的学习过程如图4所示。
深度迁移学习分为四类：基于实例的深度迁移学习、基于映射的深度迁移学习、基于网络的深度迁移学习和基于对抗的深度迁移学习。本申请运用的是其中的基于参数的深度迁移学习。因为实验所应用的传感器类型相同、采集到的数据也是相同的类型，若他们的输入维度相同，那所构建的残差网络也相同，就很适合运用基于参数的迁移学习来优化、加残差GNN网络的学习效率。
本申请考虑了具有不同传感器设置或活动类型的不同数据集之间的深度迁移学习。ResGCNN深度迁移学习包括三个主要阶段，包括：
1)利用大规模训练数据集对网络进行源域训练。
2)部分对源域进行预处理的网络迁移到为目标域设计的新网络中。
3)针对新训练任务对所传输的子网络进行微调策略的更新。
首先会从PAMAP2数据集中选取单个位置传感器(9个通道)数据或三个位置传感器(27个通道)输入到ResGCNN网络中进行学习、分类，同时保留该结构在残差网络部分学习到的参数。
接下来将其他3个数据集分别输入到该网络中进行分类测试，其中需要注意的是他们的传感器个数需相同(即通道数相同)以保证他们有相同的输入维度。搭建与PAMAP2数据集相同的残差网络结构，并根据不同数据集的分类需要修改、添加全连接层。训练新数据集时会将之前训练好的PAMAP2残差网络参数直接转移到新训练中来并将其参数锁定，所以对于新的训练来说迭代优化的参数仅是最后的全连接层部分。为了证明ResGCNN网络在小样本中迁移学习能力，本申请会取原新样本集的30％进行测试。
如图3所示，终端设备利用目标数据集样本的模型自适应优化目标模型中的全连接层，ResGCNN的最后部分使用Softmax层作为HAR分类器，数据集分别输入网络进行训练，使每一层的权重不断优化。最后，终端设备使用源域上执行的ResGCNN结构中的预训练块作为目标域中的特征提取器对ResGCNN进行迁移学习。
进一步地，对于分类任务，使用分类准确率、召回率、F1分数和混淆矩阵来说明完成的结果。对于数据集中的每个活动类别，将模型的预测与基本事实标签进行比较，以计算真阳性(TP)、真阴性(TN)、假阳性(FP)和假阴性(FN)的数量。总体精确度ACC等于：
Figure BDA0003663206190000131
并且一个典型类别的查准率(Precision)和召回率(Recall)可以通过以下公式计算:
Figure BDA0003663206190000132
Figure BDA0003663206190000133
F1-Score是查准率和召回率的平衡组合，其计算公式为：
Figure BDA0003663206190000134
这些活动标签的平均值用于评估每个实验。此外，混淆矩阵还涉及模型性能的可视化。
在本申请实施例中，终端设备获取训练数据集，并对所述训练数据集中的训练数据进行预处理，得到若干训练图数据，其中，每一训练图数据为所述训练数据中一个时间片的训练图数据；将所述训练图数据输入图神经网络进行训练，其中，所述图神经网络包括依次连接的若干图卷积层；基于训练结果，获取最终图神经网络的权重矩阵，完成神经网络训练，其中，所述图神经网络的权重矩阵由所述若干图卷积层的最终权重组成。通过上述方式，本申请对训练数据集进行数据预处理，从而得到满足图神经网络输入的训练图数据，从而提高神经网络的训练效率以及训练准确性。
请继续参阅图5，图5是本申请提供的人体运动识别方法一实施例的流程示意图。
如图5所示，本申请实施例的人体运动识别方法具体可以包括以下步骤：
步骤S21：利用可穿戴传感器获取用户的人体运动数据。
在本申请实施例中，终端设备通过用户身上的可穿戴传感器获取用户的人体运动数据。
步骤S22：对人体运动数据进行预处理，得到人体运动图数据。
在本申请实施例中，步骤S22的数据预处理具体过程请参阅上述实施例的步骤S11，在此不再赘述。
步骤S23：将人体运动图数据输入预先训练的图神经网络，获取图神经网络基于人体运动图数据对用户的人体运动的预测信息。
在本申请实施例中，预先训练的图神经网络具体可以为上述实施例训练所得的图神经网络，其训练过程在此不再赘述。
步骤S24：基于预测信息，获取用户的运动状态。
在本申请实施例中，本申请中提出了一个构建图的角度来解决针对传感器的HAR问题的方案。人在活动的过程中肢体间会相互配合、共同作用，此方法通过佩戴在人身上不同位置传感器的相关性对人采集到的数据建图，使用一种基于图谱理论的图神经网络建模，通过图网络学习图中蕴含的动作信息及传感器间相互关系对动作进行分类。其构建了一个完整的HAR框架，选取图神经网络对人体运动建模，并证实了GNN网络在HAR领域具有很强的迁移学习能力及多角度学习能力，有效的弥补了传统深度学习无法有效捕捉非欧空间的图结构数据关系的不足，提出在基于传感器的人体运动图结构数据上建模新思路。
本申请证明在基于传感器的人体运动识别上，使用图神经网络是可行的，提出了一个将传感器收集到的信息转换成图结构的数据预处理方法，在此方法的数据集上相当于传统深度(模型(CNN、RNN、LSTM、DEEP-LSTM)取得更接近或者更好的结果，同时也提出使用图神经网络在基于传感器的人体运动识别的新思路。在基于传感器的人体运动识别上，提出一个基于图网络模型的多模态融合方式，搭建了一个具有高泛化性的多层残差图神经网络,并在多个公开的数据集以及自己的数据集训练，取得非常好的分类结果；在基于传感器的人体运动识别上。证明在迁移学习中图神经网络模型可迁移性，并在多个数据集上训练和验证，取得非常好的结果，贡献训练好的在人体运动识别数据集上具有高泛化性的多层残差图神经网络模型参数。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
请继续参见图6，图6是本申请提供的终端设备一实施例的结构示意图。本申请实施例的终端设备500包括处理器51、存储器52、输入输出设备53以及总线54。
该处理器51、存储器52、输入输出设备53分别与总线54相连，该存储器52中存储有程序数据，处理器51用于执行程序数据以实现上述实施例所述的神经网络训练方法和/或人体运动识别方法。
在本申请实施例中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP，Digital Signal Process)、专用集成电路(ASIC，Application Specific Integrated Circuit)、现场可编程门阵列(FPGA，FieldProgrammable Gate Array)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器51也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质，请继续参阅图7，图7是本申请提供的计算机存储介质一实施例的结构示意图，该计算机存储介质600中存储有程序数据61，该程序数据61在被处理器执行时，用以实现上述实施例的神经网络训练方法和/或人体运动识别方法。
本申请的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种神经网络训练方法，其特征在于，所述神经网络训练方法包括：
获取训练数据集，并对所述训练数据集中的训练数据进行预处理，得到若干训练图数据，其中，每一训练图数据为所述训练数据中一个时间片的训练图数据；
将所述训练图数据输入图神经网络进行训练，其中，所述图神经网络包括依次连接的若干图卷积层；
基于训练结果，获取最终图神经网络的权重矩阵，完成神经网络训练，其中，所述图神经网络的权重矩阵由所述若干图卷积层的最终权重组成。
2.根据权利要求1所述的神经网络训练方法，其特征在于，
所述将所述训练图数据输入图神经网络进行训练，包括：
将每一所述训练图像数据输入所述图神经网络的首个图卷积层，获取所述首个图卷积层的首个输出；
将所述首个输出输入所述首个图卷积层的下一个图卷积层，以将所述首个输出作为所述下一个图卷积层的输入进行训练，直至完成所述图神经网络的所有图卷积层的训练。
3.根据权利要求2所述的神经网络训练方法，其特征在于，
所述将所述首个输出输入所述首个图卷积层的下一个图卷积层，以将所述首个输出作为所述下一个图卷积层的输入进行训练，包括：
将所述首个输出以及所述训练图数据进行叠加，得到融合数据；
将所述融合数据输入所述下一个图卷积层，以将所述融合数据作为所述下一个图卷积层的输入进行训练。
4.根据权利要求2所述的神经网络训练方法，其特征在于，
所述首个输出由所述训练图像数据、所述首个图卷积层的训练权重计算生成；
所述首个输出通过激活函数转换为所述下一个图卷积层的输入。
5.根据权利要求1所述的神经网络训练方法，其特征在于，
所述将所述训练图数据输入图神经网络进行训练，包括：
利用拉普拉斯算子从所述训练图数据的节点特征中提取空间特征；
利用所述图神经网络的训练权重作为对角线元素，构建对角矩阵；
利用所述空间特征以及所述对角矩阵，形成所述图神经网络的输出进行训练。
6.根据权利要求5所述的神经网络训练方法，其特征在于，
所述利用所述空间特征以及所述对角矩阵，形成所述图神经网络的输出进行训练，包括：
获取每一个节点特征的空间特征；
基于预设卷积核感受野，更新所述每一个节点特征的空间特征；
利用更新后的空间特征以及所述对角矩阵，形成所述图神经网络的输出进行训练。
7.根据权利要求6所述的神经网络训练方法，其特征在于，
所述基于预设卷积核感受野，更新所述每一个节点特征的空间特征，包括：
按照所述预设卷积核感受野，设置切比雪夫多项式递归方程；
将所述每一个节点特征的空间特征输入所述切比雪夫多项式递归方程，递归得到所述每一个节点特征更新后的空间特征。
8.根据权利要求1所述的神经网络训练方法，其特征在于，
所述图神经网络在所述若干图卷积层之后，还连接有至少一层全连接层，所述至少一层全连接层用于训练分类任务。
9.根据权利要求1所述的神经网络训练方法，其特征在于，
所述基于训练结果，获取最终图神经网络的权重矩阵，完成神经网络训练之后，所述神经网络训练方法还包括：
将完成神经网络训练的图神经网络迁移到其他神经网络，作为其他神经网络的一部分网络结构，从而形成迁移神经网络；
重新对所述迁移神经网络进行训练。
10.一种人体运动识别方法，其特征在于，所述人体运动识别方法包括：
利用可穿戴传感器获取用户的人体运动数据；
对所述人体运动数据进行预处理，得到人体运动图数据；
将所述人体运动图数据输入预先训练的图神经网络，获取所述图神经网络基于所述人体运动图数据对所述用户的人体运动的预测信息；
基于所述预测信息，获取所述用户的运动状态；
其中，所述图神经网络通过1～9任一项所述的神经网络训练方法训练得到。
11.一种终端设备，其特征在于，所述终端设备包括存储器以及与所述存储器耦接的处理器；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1～9任一项所述的神经网络训练方法和/或权利要求10所述的人体运动识别方法。
12.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如权利要求1～9任一项所述的神经网络训练方法和/或权利要求10所述的人体运动识别方法。
CN202210585190.2A 2022-05-26 2022-05-26 神经网络训练方法、人体运动识别方法及设备、存储介质 Active CN114943324B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210585190.2A CN114943324B (zh) 2022-05-26 2022-05-26 神经网络训练方法、人体运动识别方法及设备、存储介质
PCT/CN2022/108857 WO2023226186A1 (zh) 2022-05-26 2022-07-29 神经网络训练方法、人体运动识别方法及设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210585190.2A CN114943324B (zh) 2022-05-26 2022-05-26 神经网络训练方法、人体运动识别方法及设备、存储介质

Publications (2)

Publication Number Publication Date
CN114943324A true CN114943324A (zh) 2022-08-26
CN114943324B CN114943324B (zh) 2023-10-13

Family

ID=82908434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210585190.2A Active CN114943324B (zh) 2022-05-26 2022-05-26 神经网络训练方法、人体运动识别方法及设备、存储介质

Country Status (2)

Country Link
CN (1) CN114943324B (zh)
WO (1) WO2023226186A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471910A (zh) * 2022-09-06 2022-12-13 中国科学院深圳先进技术研究院 基于fpga实现的运动活动识别模型的模型训练方法及其设备
CN115907001A (zh) * 2022-11-11 2023-04-04 中南大学 基于知识蒸馏的联邦图学习方法及自动驾驶方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117953588B (zh) * 2024-03-26 2024-06-21 南昌航空大学 一种融合场景信息的羽毛球运动员动作智能识别方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171134A (zh) * 2017-12-20 2018-06-15 中车工业研究院有限公司 一种操作动作辨识方法及装置
CN109215036A (zh) * 2018-08-01 2019-01-15 浙江深眸科技有限公司 基于卷积神经网络的人体分割方法
US10416755B1 (en) * 2018-06-01 2019-09-17 Finch Technologies Ltd. Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system
CN110334573A (zh) * 2019-04-09 2019-10-15 北京航空航天大学 一种基于密集连接卷积神经网络的人体运动状态判别方法
CN110929029A (zh) * 2019-11-04 2020-03-27 中国科学院信息工程研究所 一种基于图卷积神经网络的文本分类方法及***
KR102196962B1 (ko) * 2020-03-05 2020-12-31 강윤 매트릭스 압력 센서를 이용한 인체의 움직임 인식 및 이를 통한 인체 동작 예측 시스템
CN112633482A (zh) * 2020-12-30 2021-04-09 广州大学华软软件学院 一种高效宽度图卷积神经网络模型及其训练方法
CN112767553A (zh) * 2021-02-02 2021-05-07 华北电力大学 一种自适应群体服装动画建模方法
CN113240714A (zh) * 2021-05-17 2021-08-10 浙江工商大学 一种基于情境感知网络的人体运动意图预测方法
CN113255798A (zh) * 2021-06-02 2021-08-13 苏州浪潮智能科技有限公司 一种分类模型训练方法、装置、设备及介质
CN113326930A (zh) * 2020-02-29 2021-08-31 华为技术有限公司 数据处理方法、神经网络的训练方法及相关装置、设备
CN113642432A (zh) * 2021-07-30 2021-11-12 南京师范大学 基于协方差矩阵变换的卷积神经网络用于人体姿态识别方法
CN113642379A (zh) * 2021-05-18 2021-11-12 北京航空航天大学 基于注意力机制融合多流图的人体姿态预测方法及***
CN113705772A (zh) * 2021-07-21 2021-11-26 浪潮(北京)电子信息产业有限公司 一种模型训练方法、装置、设备及可读存储介质
CN114330670A (zh) * 2022-01-04 2022-04-12 京东科技信息技术有限公司 图神经网络训练方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304795B (zh) * 2018-01-29 2020-05-12 清华大学 基于深度强化学习的人体骨架行为识别方法及装置
CN109766895A (zh) * 2019-01-03 2019-05-17 京东方科技集团股份有限公司 用于图像风格迁移的卷积神经网络的训练方法和图像风格迁移方法
CN110222653B (zh) * 2019-06-11 2020-06-16 中国矿业大学(北京) 一种基于图卷积神经网络的骨架数据行为识别方法
CN112183315B (zh) * 2020-09-27 2023-06-27 哈尔滨工业大学（深圳） 动作识别模型训练方法和动作识别方法及装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171134A (zh) * 2017-12-20 2018-06-15 中车工业研究院有限公司 一种操作动作辨识方法及装置
US10416755B1 (en) * 2018-06-01 2019-09-17 Finch Technologies Ltd. Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system
CN109215036A (zh) * 2018-08-01 2019-01-15 浙江深眸科技有限公司 基于卷积神经网络的人体分割方法
CN110334573A (zh) * 2019-04-09 2019-10-15 北京航空航天大学 一种基于密集连接卷积神经网络的人体运动状态判别方法
CN110929029A (zh) * 2019-11-04 2020-03-27 中国科学院信息工程研究所 一种基于图卷积神经网络的文本分类方法及***
CN113326930A (zh) * 2020-02-29 2021-08-31 华为技术有限公司 数据处理方法、神经网络的训练方法及相关装置、设备
KR102196962B1 (ko) * 2020-03-05 2020-12-31 강윤 매트릭스 압력 센서를 이용한 인체의 움직임 인식 및 이를 통한 인체 동작 예측 시스템
CN112633482A (zh) * 2020-12-30 2021-04-09 广州大学华软软件学院 一种高效宽度图卷积神经网络模型及其训练方法
CN112767553A (zh) * 2021-02-02 2021-05-07 华北电力大学 一种自适应群体服装动画建模方法
CN113240714A (zh) * 2021-05-17 2021-08-10 浙江工商大学 一种基于情境感知网络的人体运动意图预测方法
CN113642379A (zh) * 2021-05-18 2021-11-12 北京航空航天大学 基于注意力机制融合多流图的人体姿态预测方法及***
CN113255798A (zh) * 2021-06-02 2021-08-13 苏州浪潮智能科技有限公司 一种分类模型训练方法、装置、设备及介质
CN113705772A (zh) * 2021-07-21 2021-11-26 浪潮(北京)电子信息产业有限公司 一种模型训练方法、装置、设备及可读存储介质
CN113642432A (zh) * 2021-07-30 2021-11-12 南京师范大学 基于协方差矩阵变换的卷积神经网络用于人体姿态识别方法
CN114330670A (zh) * 2022-01-04 2022-04-12 京东科技信息技术有限公司 图神经网络训练方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARCIN WOZNIAK等: "Body Pose Prediction Based on Motion Sensor Data and Recurrent Neural Network", 《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》, pages 2101 - 2111 *
张晋等: "面向人体动作预测的对称残差网络", 《机器人》, pages 291 - 298 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471910A (zh) * 2022-09-06 2022-12-13 中国科学院深圳先进技术研究院 基于fpga实现的运动活动识别模型的模型训练方法及其设备
CN115907001A (zh) * 2022-11-11 2023-04-04 中南大学 基于知识蒸馏的联邦图学习方法及自动驾驶方法
CN115907001B (zh) * 2022-11-11 2023-07-04 中南大学 基于知识蒸馏的联邦图学习方法及自动驾驶方法

Also Published As

Publication number Publication date
WO2023226186A1 (zh) 2023-11-30
CN114943324B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
Mutegeki et al. A CNN-LSTM approach to human activity recognition
Ab Wahab et al. Efficientnet-lite and hybrid CNN-KNN implementation for facial expression recognition on raspberry pi
CN114943324B (zh) 神经网络训练方法、人体运动识别方法及设备、存储介质
CN112445823A (zh) 神经网络结构的搜索方法、图像处理方法和装置
CN112651511A (zh) 一种训练模型的方法、数据处理的方法以及装置
US11403510B2 (en) Processing sensor data
CN106570522B (zh) 物体识别模型的建立方法及物体识别方法
CN111539941B (zh) 帕金森病腿部灵活性任务评估方法及***、存储介质及终端
CN106909938B (zh) 基于深度学习网络的视角无关性行为识别方法
CN112990211A (zh) 一种神经网络的训练方法、图像处理方法以及装置
CN113570029A (zh) 获取神经网络模型的方法、图像处理方法及装置
CN113065635A (zh) 一种模型的训练方法、图像增强方法及设备
WO2022012668A1 (zh) 一种训练集处理方法和装置
CN113516227A (zh) 一种基于联邦学习的神经网络训练方法及设备
CN113361549A (zh) 一种模型更新方法以及相关装置
CN115511892A (zh) 一种语义分割模型的训练方法、语义分割方法及装置
CN110222734B (zh) 贝叶斯网络学习方法、智能设备及存储装置
Lateef et al. Tuning the hyperparameters of the 1D CNN model to improve the performance of human activity recognition
CN114842542A (zh) 基于自适应注意力与时空关联的面部动作单元识别方法及装置
CN113128285A (zh) 一种处理视频的方法及装置
Cao et al. QMEDNet: A quaternion-based multi-order differential encoder–decoder model for 3D human motion prediction
CN114140841A (zh) 点云数据的处理方法、神经网络的训练方法以及相关设备
EP3588441A1 (en) Imagification of multivariate data sequences
Georgakopoulos et al. Change detection and convolution neural networks for fall recognition
CN113887501A (zh) 行为识别方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant