CN113177455B - 一种用于识别运动强度的方法和*** - Google Patents

一种用于识别运动强度的方法和*** Download PDF

Info

Publication number
CN113177455B
CN113177455B CN202110442262.3A CN202110442262A CN113177455B CN 113177455 B CN113177455 B CN 113177455B CN 202110442262 A CN202110442262 A CN 202110442262A CN 113177455 B CN113177455 B CN 113177455B
Authority
CN
China
Prior art keywords
module
convolution
motion
feature map
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110442262.3A
Other languages
English (en)
Other versions
CN113177455A (zh
Inventor
陈益强
高晨龙
张宇欣
蒋鑫龙
�谷洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
Peng Cheng Laboratory
Original Assignee
Institute of Computing Technology of CAS
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS, Peng Cheng Laboratory filed Critical Institute of Computing Technology of CAS
Priority to CN202110442262.3A priority Critical patent/CN113177455B/zh
Publication of CN113177455A publication Critical patent/CN113177455A/zh
Application granted granted Critical
Publication of CN113177455B publication Critical patent/CN113177455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明实施例提供了一种训练运动强度识别***的方法，包括：A1、构建运动强度识别***，其包括依次连接的数据预处理模块、并行卷积处理流、双线性池化模块和多任务学习模块，所述并行卷积处理流包括两条并行的卷积处理流；A2、通过数据预处理模块对经标注了标签的运动数据进行预处理，得到运动信息和对应的标签组成的训练集，其中，运动数据由惯性传感器采集得到，为运动数据标注的标签包括多种不同的运动强度标签和多种不同的运动行为标签；A3、用所述训练集训练所述运动强度识别***；本发明从通道和空间两个维度对卷积层提取的特征进行优化，关注重要的特征，抑制不必要的特征，有助于提升运动强度的识别精度。

Description

一种用于识别运动强度的方法和***
技术领域
本发明涉及普适计算、运动健康监测领域，具体来说涉及运动强度识别领域，更具体地说，涉及一种用于识别运动强度的方法和***。
背景技术
《中国成人身体活动指南》中建议，成年人每周的中高强度活动时长应高于150分钟，以有助于身体健康。同时，儿童的运动健康包括运动时间、运动强度、运动模式和能量消耗水平等诸多方面。作为儿童身体健康研究的一个重要领域，研究表明，增加儿童中高水平运动强度的体力活动时间对儿童运动技能的提高、肥胖的预防干预、社会心理健康和心血管健康都有不同程度的积极影响。
人体运动健康的传统研究手段单纯依靠运动问卷调查方法，由于问卷调查的主观性特点，无法对人体的体力活动量做出客观测量。近些年来，微型、可穿戴式传感器件的诞生与发展为日常健康监护提供了新的途径，其便携和低功耗等特性为实时和准确地感知用户运动强度提供了可能。国际上，加速度计已经成为人体体力活动研究的热点工具之一，与传统的问卷调查相比，基于运动传感器的加速度计、陀螺仪、磁力计等可以客观了解人体的活动水平。以美国ActiGraph体动记录仪为代表的运动检测***被广泛应用于人体运动健康的检测。
然而，现有运动检测***中的运动强度识别主要采用传统的机器学习模型，即利用已有的标定数据训练加窗提取时域、频域的特征，并放入支持向量机(Support VectorMachine，简称SVM)，随机森林(Random Forest，简称RF)等机器学习模型中进行训练，得到运动强度模型。随着人工智能的发展，深度学习相关的运动强度方法也应运产生，多层感知机(Multilayer perceptron，简称MLP)、卷积神经网络(Convolutional Neural Network，简称CNN)等也应用于运动强度检测，其自动化的特征提取方式能够提取更加丰富的特征，增强了识别能力。但由于人体不同行为的运动强度存在的类间间距较小，类内间距较大的问题，传统的识别模型无法进行正确分类。如何创建一种新的模型框架，使其能够增强特征表示，对大量未知分布的人体行为体现较强的泛化能力，是运动强度识别面临的一个亟待解决的实际问题。
针对上述问题，很多学者和研究人员进行了相关研究。公开号为CN109730688A的专利申请文献公开了一种基于步频的运动强度评价方法，其方法通过计步器运动时间和运动步数的检测装置，记录个体运动者单位时间内运动步数，将心率转化为步频，从而得出个人运动者的步频对运动强度的评价。授权公告号为CN103699795B的专利文献公开了一种运动行为识别方法、装置及运动强度监测***，其通过计算所述实际动作频率与动作特征库中每个预置动作频率之间的第十三差值，对各个第十三差值取绝对值并从中提取一个最小绝对值并将匹配度最高的预置动作确定为所述运动者的运动行为，并利用内嵌设备得到瞬时心率完成运动强度的监护。美国专利文献US2017150918-A1中，通过阈值法，当运动强度超过一定阈值的时候判定为高强度运动。
虽然一些研究者在运动强度识别领域有一定的研究，但是在通用性、针对性以及适用性方面尚存在如下一些不足：
基于心率、步频等方法检测运动强度往往存在粗指标、泛化性差等问题；
传统的机器学习方法在面对运动强度检测时，只能根据现有数据训练模型，无法获取鲁棒的深度学习特征，不能满足强泛化能力的要求。
因此，急需设计一种针对人体行为的鲁棒的运动强度识别模型，使得运动强度识别模型能够满足人体运动强度的强泛化需求。
发明内容
因此，本发明的目的在于克服上述现有技术的缺陷，提供一种用于识别运动强度的方法和***。
本发明的目的是通过以下技术方案实现的：
根据本发明的第一方面，提供一种训练运动强度识别***的方法，包括：A1、构建运动强度识别***，其包括依次连接的数据预处理模块、并行卷积处理流、双线性池化模块和多任务学习模块，所述并行卷积处理流包括两条并行的卷积处理流；A2、通过数据预处理模块对经标注了标签的运动数据进行预处理，得到运动信息和对应的标签组成的训练集，其中，运动数据由惯性传感器采集得到，为运动数据标注的标签包括多种不同的运动强度标签和多种不同的运动行为标签；A3、用所述训练集训练所述运动强度识别***，包括：通过所述卷积处理流对运动信息经残差网络和注意力机制的处理提取卷积特征图；通过双线性池化模块对两条卷积处理流提取的卷积特征图进行双线性池化操作构建双线性池化特征图；基于双线性池化特征图和对应的标签训练多任务学习模块，训练时通过反向传播更新所述两条卷积处理流、双线性池化模块和多任务学习模块的权重参数。
在本发明的一些实施例中，所述卷积处理流包括一个或者依次连接的多个卷积神经网络块，所述卷积神经网络块是多分支残差网络，其主分支包括卷积层、通道注意力机制模块和空间注意力机制模块，其中，所述卷积层包括多个不同尺寸的卷积核，多个不同尺寸的卷积核的输出拼接后作为通道注意力模块的输入，通道注意模块的输入与输出相乘后作为空间注意力模块的输入，空间注意力模块的输入与输出相乘后作为主分支的输出，主分支和残差分支的特征相加后作为该卷积神经网络块的输出。
在本发明的一些实施例中，所述通过所述卷积处理流对运动信息经残差网络和注意力机制的处理提取卷积特征图的处理包括：在每个卷积神经网络块中，进行如下处理：通过多分支残差网络的主分支的多个不同尺寸的卷积核基于该卷积神经网络块的输入提取不同维度的特征并合并成多维度的拼接特征图；通过通道注意力机制模块基于拼接特征图提取通道注意力中间特征图并与该拼接特征图进行乘法操作，得到通道注意力特征图；通过空间特征注意力机制模块基于通道注意力特征图提取空间注意力中间特征图并与该通道注意力特征图进行乘法操作，得到空间注意力特征图；将空间注意力特征图与该卷积神经网络块的输入求和，输出该卷积神经网络块提取的卷积特征图。
在本发明的一些实施例中，所述通过双线性池化模块对两条卷积处理流提取的卷积特征图进行双线性池化操作构建双线性池化特征图的处理包括：对两条卷积处理流提取的卷积特征图相乘得到双线性矩阵；对所述双线性矩阵进行和池化操作得到池化矩阵；将池化矩阵张成第一特征向量；对所述第一特征向量进行矩归一化操作得到第二特征向量；对第二特征向量进行L2归一化操作得到双线性池化特征图。
在本发明的一些实施例中，所述预处理包括：对运动数据依次经过数据补齐和标准化，所述数据补齐采用近邻插值进行补齐。
在本发明的一些实施例中，每条运动数据是基于九轴惯性传感器采集到的传感数据按预设时长的时间窗口提取得到的。
根据本发明的第二方面，提供一种用于识别运动强度的方法，包括：B1、获取运动数据；B2、将所述运动数据输入经第一方面所述的方法得到的运动强度识别***，得到对应的运动强度。
根据本发明的第三方面，提供一种运动强度识别***，包括：数据预处理模块，用于对运动数据进行预处理，得到运动信息；并行卷积处理流，其包括并行的两条卷积处理流，分别用于对运动信息经残差网络和注意力机制的处理提取卷积特征图；双线性池化模块，用于对两条卷积处理流提取的卷积特征图进行双线性池化操作构建双线性池化特征图；多任务学习模块，用于根据双线性池化特征图识别运动强度和运动行为，输出识别的运动强度；其中，所述并行卷积处理流、所述双线性池化模块和所述多任务学习模块是采用第一方面所述的方法进行训练得到的。
根据本发明的第四方面，提供一种电子设备，包括：一个或多个处理器；以及存储器，其中存储器用于存储一个或多个可执行指令；所述一个或多个处理器被配置为经由执行所述一个或多个可执行指令以实现第一方面或者第二方面所述方法的步骤。
与现有技术相比，本发明的优点在于：
本发明构建了一个运动强度识别***，其包括依次连接的并行卷积处理流、双线性池化模块和多任务学习模块，所述并行卷积处理流包括两条并行的卷积处理流，并且，采用了惯性传感器采集的运动数据，其具有非干扰、数据敏感的优势；在多任务学习模块之前，通过两条卷积处理流通过残差网络提取更丰富的特征，减少信息丢失；通过注意力机制的处理可以提升特征的表现，关注重要的特征，抑制不必要的特征；然后通过双线性池化操作获得更高维的特征，对特征进一步丰富；采用多任务学习模块引入人体行为的知识辅助提升运动强度识别；通过以上的并行卷积处理、双线性池化和多任务学习过程，提高运动强度识别***的泛化能力和模型的鲁棒性。
附图说明
以下参照附图对本发明实施例作进一步说明，其中：
图1为根据本发明实施例的运动强度识别***的***示意图；
图2为根据本发明实施例的卷积神经网络块的模块结构原理示意图；
图3为根据本发明的实施例的运动强度识别***的结构原理示意图；
图4为一个示意性的实验中的训练集各类别样本数；
图5为一个示意性的实验中本发明的运动强度识别***对应的混淆矩阵的示意图；
图6为一个示意性的实验中现有的CNN模型对应的混淆矩阵的示意图。
具体实施方式
为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如在背景技术部分提到的，传统的机器学习方法在面对运动强度检测时，只能根据现有数据训练模型，无法获取鲁棒的深度学习特征，不能满足强泛化能力的要求。针对该问题，本发明构建了一个运动强度识别***，其包括依次连接的并行卷积处理流、双线性池化模块和多任务学习模块，所述并行卷积处理流包括两条并行的卷积处理流，并且，采用了惯性传感器采集的运动数据，其具有非干扰、数据敏感的优势；在多任务学习模块之前，通过两条卷积处理流通过残差网络提取更丰富的特征，减少信息丢失；通过注意力机制的处理可以提升特征的表现，关注重要的特征，抑制不必要的特征；然后通过双向性池化操作获得更高维的特征，对特征进一步丰富；采用多任务学习模块引入人体行为的知识辅助提升运动强度识别；通过以上的并行卷积处理、双线性池化和多任务学习过程，提高运动强度识别***的泛化能力和模型的鲁棒性。
本发明提供一种训练运动强度识别***的方法，包括：步骤A1、A2、A3。为了更好地理解本发明，下面结合具体的实施例针对每一个步骤分别进行详细说明。
步骤A1：构建运动强度识别***，其包括依次连接的数据预处理模块、并行卷积处理流、双线性池化模块和多任务学习模块，所述并行卷积处理流包括两条并行的卷积处理流。
根据本发明的一个实施例，参见图1，惯性传感器采集运动数据输入到上述运动强度识别***，通过该运动强度识别***输出运动强度分类结果。其中，数据预处理模块用于对运动数据进行预处理，以便得到符合输入要求的数据输入形式。流入每条卷积处理流的特征图会经残差网络和注意力机制的处理后输出，作为双线性池化模块的输入。优选的，卷积处理流包括一个或者依次连接的多个卷积神经网络块。参见图2，根据本发明的一个实施例，卷积神经网络块可以是多分支残差网络，其主分支包括卷积层、通道注意力机制模块和空间注意力机制模块，所述卷积层包括多个不同尺寸的卷积核，多个不同尺寸的卷积核的输出拼接后作为通道注意力模块的输入，通道注意模块的输入与输出相乘后作为空间注意力模块的输入，空间注意力模块的输入与输出相乘后作为主分支的输出，主分支和残差分支的特征相加后作为该卷积神经网络块的输出。多个不同尺寸的卷积核可以采集不同维度的特征，得到更丰富的信息，并且，经过主分支的通道注意力机制模块和空间注意力机制模块的处理，从通道和空间两个维度对卷积层提取的特征进行优化，关注重要的特征，抑制不必要的特征，有助于提升运动强度的识别精度。
步骤A2：通过数据预处理模块对经标注了标签的运动数据进行预处理，得到运动信息和对应的标签组成的训练集，其中，运动数据由惯性传感器采集得到，为运动数据标注的标签包括多种不同的运动强度标签和多种不同的运动行为标签。
由于可穿戴的惯性传感器拥有微型、非干扰、数据敏感等优点，本发明采用惯性传感器采集的运动数据作为分析的基础，有助于提高分类的准确性。根据本发明的一个实施例，上述惯性传感器可以是六轴惯性传感器、九轴惯性传感器、甚至更多轴的惯性传感器。六轴惯性传感器包括三轴的加速度传感器和三轴的陀螺仪。九轴惯性传感器包括三轴的加速度传感器、三轴的陀螺仪和三轴的磁感应传感器。尤其优选九轴惯性传感器，其从三方面采集到的丰富的运动数据有助于更精准地对用户的运动强度进行识别。对于运动数据的结构，以九轴惯性传感器为例，每条运动数据是基于九轴惯性传感器采集到的传感数据按预设时长的时间窗口提取得到的。假设以10s作为一个时间窗口，九轴惯性传感器的每个轴每秒50个数据点，则每个时间窗口可采集9×500大小的数据作为运动数据。
根据本发明的一个实施例，预处理包括：对运动数据依次经过数据补齐和标准化。优选的，数据补齐采用近邻插值进行补齐。由于惯性传感器采集的运动数据属于时序数据，实际采集的运动数据可能存在部分数据点缺失的情况，因此，预处理时采用近邻插值进行补齐，更好地还原运动数据的真实情况，有助于提高后续分类结果的精度。由于参数估计时使用梯度下降，在使用梯度下降的方法求解最优化问题时，标准化后可以加快梯度下降的求解速度，即提升运动强度识别***的收敛速度，于是对惯性传感器采集的运动数据进行标准化。优选的，按照以下公式对运动数据进行标准化：
Figure BDA0003035589290000071
其中，Xi表示原始数据，μ表示均值，σ表示方差。
根据本发明的一个实施例，不同的运动强度标签和/或多种不同的运动行为标签的具体形式可以根据需要自定义设置。例如，多种不同的运动强度标签可以包括三种、四种、五种、甚至更多种运动强度标签。运动强度的标签可以是离散数值形式的，如用0、1、2等数值表示不同等级的运动强度，数值越大运动强度越大。运动强度的标签可以是文字形式的，如运动强度的标签包括：静止、轻度、中度和高强度。例如，多种不同的运动行为标签包括看书、走路、游泳、跑步、其他。又例如，多种不同的运动行为标签包括听故事、整理玩具、慢走、慢跑、看动画片、跳房子、快跑和开合跳。
步骤A3：用所述训练集训练所述运动强度识别***，包括：通过所述卷积处理流对运动信息经残差网络和注意力机制的处理提取卷积特征图；通过双线性池化模块对两条卷积处理流提取的卷积特征图进行双线性池化操作构建双线性池化特征图；基于双线性池化特征图和对应的标签训练多任务学习模块，训练时通过反向传播更新所述两条卷积处理流、双线性池化模块和多任务学习模块的权重参数。
根据本发明的一个实施例，在多分支残差网络的主分支中，使用残差网络学习每一个卷积层的输出，保护信息的完整性。多分支残差网络通过引入残差结构(residualblock)使得深层网络的训练能够顺利进行，主要原因在于残差结构的堆叠能够有效回传梯度。深层网络仅仅是在浅层网络的基础上通过重复堆叠一些网络层而得到的，而残差网络是在堆叠的基础上添加残差分支(Skip Connection，或者称跳转支路、残差连接)。卷积神经网络块中应用残差网络的结构可以传递上一个卷积神经网络块的残差值至下一个卷积神经网络块，有效避免了信息丢失。在主分支中，卷积层利用多分支卷积神经网络结构(对应于多个不同尺寸的卷积核)，不同分支采用不同大小的卷积核来对预定时长的时间窗口采集到的数据提取不同维度的特征，减少信息丢失的几率。在本发明的一个实施例中，采集人体运动信息时使用的惯性传感器的采样频率为50hz，即1s采集50条数据，则10作为一个判断周期，含有500行数据。以10s作为一个时间窗口，则每个窗口有500行数据，本实施例应用多分支结构，设计20×1，40×1，60×1作为核大小，分别进行卷积操作，最后再将其合并起来，得到有效特征进行传递。
根据本发明的一个实施例，注意力机制用于提升特征的表现，关注重要的特征，抑制不必要的特征，从通道(Channel)和空间(Spatial)轴两个维度，对特征进行优化，分别学习应该注意什么和注意哪里。
通道注意力模块的处理过程包括：将输入的特征图，分别经过基于宽和高的全局最大池化和全局平均池化，再经过多层感知机输出的特征进行基于元素乘的加和操作，通过Sigmoid激活操作生成通道注意力中间特征图，将该通道注意力中间特征图和输入的特征图做元素乘乘法操作，生成通道注意力特征图。通道注意力特征图即为空间注意力模块需要的输入特征。
通道注意力模块按照以下公式对输入的特征图进行处理：
Figure BDA0003035589290000081
其中，Mc(F)表示通道注意力加权后的特征图(对应于通道注意力中间特征图)，F表示通道注意力模块的输入的特征图(对应于拼接特征图)，σ(·)表示激活函数Sigmoid操作，AvgPool(F)表示全局平均池化操作，MaxPool(F)表示全局最大池化操作，CNN([AvgPool(F)；MaxPool(F)])表示对全局平均池化操作和全局最大池化操作后的向量进行卷积操作,
Figure BDA0003035589290000082
表示AvgPool(F)的简写，
Figure BDA0003035589290000083
表示MaxPool(F)的简写，W0∈RC/r×c,W1∈RC×C/r，W0和W1是CNN网络的权重，其中，W0表示CNN网络的倒数第二个隐层节点的权重，W1表示CNN网络的最后一个隐层节点的权重。
空间注意力模块的处理过程包括：对输入的特征图分别进行基于通道的全局最大池化和全局平均池化得到两个结果，将所述两个结果基于通道做合并操作后经过卷积操作降维为一个通道，得到降维特征，对降维特征经过Sigmoid操作生成空间注意力中间特征图。将该空间注意力中间特征图和输入的特征图做乘法，得到空间注意力特征图。
空间注意力模块按照以下公式对输入的特征图进行处理：
Figure BDA0003035589290000091
其中，Ms(F)表示空间注意力加权后的特征图(对应于空间注意力中间特征图)，F表示空间注意力模块的输入的特征图(对应于通道注意力特征图)，σ(·)表示激活函数Sigmoid操作，FD×D表示d×d核的卷积操作，AvgPool(F)表示全局平均池化操作，MaxPool(F)表示全局最大池化操作，
Figure BDA0003035589290000092
表示AvgPool(F)的简写，
Figure BDA0003035589290000093
表示MaxPool(F)的简写。d×d核例如是7×7核。
根据本发明的一个实施例，通过双线性池化模块对两条卷积处理流提取的卷积特征图进行双线性池化操作构建双线性池化特征图的处理包括：对两条卷积处理流提取的卷积特征图相乘得到双线性矩阵；对所述双线性矩阵进行和池化操作得到池化矩阵；将池化矩阵张成第一特征向量；对所述第一特征向量进行矩归一化操作得到第二特征向量；对第二特征向量进行L2归一化操作得到双线性池化特征图。
双线性池化主要用于特征融合，对于从同一个样本提取出来的特征x和特征y，通过双线性池化得到两个特征融合后的向量，进而用来分类。
所谓双线性池化(Bilinear Pooling)，就是先把在同一位置上的两个特征双线性融合(相乘)后，得到矩阵b，对所有位置的b进行和池化操作(Sum Pooling)得到矩阵ξ，最后把矩阵ξ张成一个向量，记为双线性向量x。对x进行矩归一化操作和L2归一化操作后，就得到融合后的特征z。之后，就可以把特征z用于细粒度的(fine-grained)分类了。
双线性池化模块按照以下公式对两条卷积处理流进行双线性池化操作：
对两条卷积处理流提取的卷积特征图相乘得到双线性矩阵b：
Figure BDA0003035589290000094
其中，
Figure BDA0003035589290000095
卷积处理流A对输入的特征图l在位置
Figure BDA0003035589290000096
得到的特征，
Figure BDA0003035589290000097
表示两条卷积处理流B对输入的特征图l在位置
Figure BDA0003035589290000098
得到的特征，
Figure BDA0003035589290000099
表示双线性池化操作的输出维度为M×N。该公式表示对两条卷积处理流得到的特征相乘得到双线性矩阵b；
对双线性矩阵b进行和池化操作得到池化矩阵ξ；
Figure BDA0003035589290000101
将池化矩阵ξ张成第一特征向量x；
Figure BDA0003035589290000102
对第一特征向量x进行矩归一化操作，得到第二特征向量y
Figure BDA0003035589290000103
对第二特征向量y进行L2归一化操作，得到融合后的双线性池化特征图z：
Figure BDA0003035589290000104
双线性池化能够将两条卷积处理流的特征映射到二阶，得到更丰富的特征信息，有效增强模型的泛化能力。
根据本发明的一个实施例，基于双线池化特征图和对应的标签训练多任务学习模块的处理包括：通过使用共享表示并行训练多任务学习模块识别多种运动强度和多个不同的运动行为。多任务学习模块采集的每种运动强度分别对应多种运动行为，故此可以利用行为识别分类辅助提升运动强度分类的性能。多任务学习(Multi-Task Learning，简称MTL)是一种归纳迁移机制，主要目标是利用隐含在多个相关任务的训练信号中的特定领域信息来提高泛化能力，多任务学习通过使用共享表示并行训练多个任务来完成这一目标。简而言之，多任务学习在学习一个问题的同时，可以通过使用共享表示来获得其他相关问题的知识。随着深度学习被广泛应用，计算机视觉和语音识别领域也有了更深远的发展。深度学习网络是具有多个隐层的神经网络，逐层将输入数据转化成非线性的、更抽象的特征表示。并且深度学习网络中各层的模型参数不是人为设定的，而是在训练过程中学到的，只需根据需要或者经验设定相应的超参数，这给了多任务学习施展拳脚的空间，具备足够的能力在训练过程中学习多个任务的共同特征。根据本发明的一个实施例，采用多任务学习方法，运动强度对应的分类损失和运动行为对应的分类损失的权重分别设置0.5，两个分类损失的加权和为多任务学习模块的总损失，实验结果显示多任务学习后对运动强度识别的测试精度可以得到有效提升。
根据本发明的一个实施例，每个卷积处理流包括一个卷积神经网络块。或者，参见图3，每个卷积处理流可以包括多个卷积神经网络块。在每个卷积神经网络块中，进行如下处理：通过多分支残差网络的主分支的多个不同尺寸的卷积核基于该卷积神经网络块的输入k提取不同维度的特征，如特征a1、a2、a3，并按预定的顺序拼接，如a1a2a3，或者a2a3a1，或者a3a2a1，合并成多维度的拼接特征图A；通过通道注意力机制模块基于拼接特征图A提取通道注意力中间特征图b并与该拼接特征图A进行乘法操作，得到通道注意力特征图B；通过空间特征注意力机制模块基于通道注意力特征图B提取空间注意力中间特征图c并与该通道注意力特征图B进行乘法操作，得到空间注意力特征图C；将空间注意力特征图C与该卷积神经网络块的输入k求和，输出该卷积神经网络块提取的卷积特征图D。
本发明还提供一种用于识别运动强度的方法，包括：B1、获取运动数据；B2、将所述运动数据输入经前述方法训练得到的运动强度识别***，得到对应的运动强度。
本发明还提供一种运动强度识别***，包括：数据预处理模块，用于对运动数据进行预处理，得到运动信息；并行卷积处理流，其包括并行的两条卷积处理流，分别用于对运动信息经残差网络和注意力机制的处理提取卷积特征图；双线性池化模块，用于对两条卷积处理流提取的卷积特征图进行双线性池化操作构建双线性池化特征图；多任务学习模块，用于根据双线性池化特征图识别运动强度和运动行为，输出识别的运动强度。所述***中的各个模块是采用上述实施例的方法进行训练后得到的，可以用于对输入的运动数据进行运动强度识别。
为了进一步验证本发明的有效性，以及举例说明本发明的实施方式，发明人还以运动强度识别为例进行了实验。
实验采用年龄层(4-6岁)儿童运动行为数据集，其中包含33名参与者采集的8类日常运动行为，并根据MET值(能量代谢单位)进行运动强度分类，用于验证本发明中的方法。
1)数据获取
调查对象选择：取北京某幼儿园，按照年龄层(4—6岁)分别随机抽取儿童(按照男女比例1:1)，共33人。受试儿童纳入研究前需经过监护人同意，监护人签署知情同意书并填写儿童一般情况表。研究开始前，研究人员测量入选受试儿童的身高和体重，结果分别精确到0.1cm和0.1kg。
纳入和排除标准：调查期间儿童健康，无心率不齐等慢性心源性疾病，无慢性器质性疾病，无身体发育、行为和智力障碍，无超重和肥胖。
研究工具：加速度测量选用自主研发运动检测仪(内含九轴惯性传感器)，通过同一根腰带佩戴于受试者腰部右侧髂脊前部。受试者将同时佩戴COSMED(Model K4b2；Cosmed，Rome，Italy)便携代谢***用于为数据打标签。
本次实验设置的运动强度对应的标签有四种，分别为：静止，轻度，中度，高强度。
本次实验设置的运动行为对应的标签有八种，分别为：听故事、整理玩具、慢走、慢跑、看动画片、跳房子、快跑和开合跳。
参与者分两阶段测试完成下列8项设定的身体活动项目：(1)第一阶段实验室测试项目为：坐着看动画片、慢走(3.2km/h)、慢跑(4.8km/h)、快跑(6.4km/h)。(2)第二阶段实验室测试项目为：听故事、整理玩具、跳房子、开合跳。最终采集到33名儿童的18.3小时的运动数据及COSMED能量消耗数据。实验过程所采集的8种运动行为对应的数据量如图4所示。
2)数据预处理
对采集到的原始数据中由设备引起的丢数的问题进行插值，在进行时间对齐后根据COSMED设备采集的耗氧量等数据计算MET值，根据MET值的划分为同时间窗口的原始的运动数据打标签。根据MET值，本实验中，对坐着看动画片、听故事打的标签为静止，对慢走和整理玩具打的标签为轻度，对快走和跳房子打的标签为中度，对跑步和开合跳打的标签为高强度。打标签后对运动数据进行标准化。
3)神经网络分类
得到标准化后得运动强度有标签数据后，为了说明本发明方法的有效性，本发明利用25名儿童数据做训练，8名儿童数据进行测试，采用测试精度作为性能测试标准。其中测试精度是指分类正确的样本占所有样本的比例。实验过程中，选取传统的多层感知机和卷积神经网络作为对比，实验结果如表1、图5所示。
表1
Figure BDA0003035589290000121
Figure BDA0003035589290000131
由表1可以看出，本发明的运动强度识别***在测试集上的测试精度为92.76％，远高于CNN模型，证明该方法构建的运动强度识别***是一种解决数据集类间间距较小，类内间距较大的有效方法。图5是本发明的运动强度识别***对应的混淆矩阵，横、纵坐标的0、1、2、3分别对应于静止、轻度、中度和高强度四个标签，对角线的数字表明被正确预测分类的测试集样本数，其他位置的数字表示对应的预测错误的样本数。相较于图6所示的传统的CNN对应的混淆矩阵，本发明的运动强度识别***可以更好区分相邻运动强度，在细粒度上有明显优势。由于本发明对卷积神经网络的特征提取部分的注意力优化和双线性升维，得到的特征更加有辨别性，使得本发明所提出的运动强度识别方法、***能够实现高精准分类，同时避免了由于类间间距较小，类内间距较大导致的***失效，更加鲁棒。
需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。
本发明可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (7)

1.一种训练运动强度识别***的方法，其特征在于，包括：
A1、构建运动强度识别***，其包括依次连接的数据预处理模块、并行卷积处理流、双线性池化模块和多任务学习模块，所述并行卷积处理流包括两条并行的卷积处理流，其中，所述卷积处理流包括一个或者依次连接的多个卷积神经网络块，所述卷积神经网络块是多分支残差网络，其主分支包括卷积层、通道注意力机制模块和空间注意力机制模块，其中，所述卷积层包括多个不同尺寸的卷积核，多个不同尺寸的卷积核的输出拼接后作为通道注意力模块的输入，通道注意模块的输入与输出相乘后作为空间注意力模块的输入，空间注意力模块的输入与输出相乘后作为主分支的输出，主分支和残差分支的特征相加后作为该卷积神经网络块的输出；
A2、通过数据预处理模块对经标注了标签的运动数据进行预处理，得到运动信息和对应的标签组成的训练集，其中，运动数据由惯性传感器采集得到，为运动数据标注的标签包括多种不同的运动强度标签和多种不同的运动行为标签；
A3、用所述训练集训练所述运动强度识别***，包括：
通过所述卷积处理流对运动信息经残差网络和注意力机制的处理提取卷积特征图，其包括在每个卷积神经网络块中，进行如下处理：
通过多分支残差网络的主分支的多个不同尺寸的卷积核基于该卷积神经网络块的输入提取不同维度的特征并合并成多维度的拼接特征图，
通过通道注意力机制模块基于拼接特征图提取通道注意力中间特征图并与该拼接特征图进行乘法操作，得到通道注意力特征图，
通过空间特征注意力机制模块基于通道注意力特征图提取空间注意力中间特征图并与该通道注意力特征图进行乘法操作，得到空间注意力特征图，
将空间注意力特征图与该卷积神经网络块的输入求和，输出该卷积神经网络块提取的卷积特征图；
通过双线性池化模块对两条卷积处理流提取的卷积特征图进行双线性池化操作构建双线性池化特征图，其包括：
对两条卷积处理流提取的卷积特征图相乘得到双线性矩阵，
对所述双线性矩阵进行和池化操作得到池化矩阵，
将池化矩阵张成第一特征向量，
对所述第一特征向量进行矩归一化操作得到第二特征向量，
对第二特征向量进行L2归一化操作得到双线性池化特征图；基于双线性池化特征图和对应的标签训练多任务学习模块，训练时通过反向传播更新所述两条卷积处理流、双线性池化模块和多任务学习模块的权重参数。
2.根据权利要求1所述的方法，其特征在于，所述预处理包括：对运动数据依次经过数据补齐和标准化，所述数据补齐采用近邻插值进行补齐。
3.根据权利要求1所述的方法，其特征在于，每条运动数据是基于九轴惯性传感器采集到的传感数据按预设时长的时间窗口提取得到的。
4.一种用于识别运动强度的方法，其特征在于，包括：
B1、获取运动数据；
B2、将所述运动数据输入经权利要求1至3任一项所述的方法训练得到的运动强度识别***，得到对应的运动强度。
5.一种运动强度识别***，包括：
数据预处理模块，用于对运动数据进行预处理，得到运动信息；
并行卷积处理流，其包括并行的两条卷积处理流，分别用于对运动信息经残差网络和注意力机制的处理提取卷积特征图；
双线性池化模块，用于对两条卷积处理流提取的卷积特征图进行双线性池化操作构建双线性池化特征图；
多任务学习模块，用于根据双线性池化特征图识别运动强度和运动行为，输出识别的运动强度；
其中，所述并行卷积处理流、所述双线性池化模块和所述多任务学习模块是采用权利要求1至3任一项所述的方法进行训练得到的。
6.一种计算机可读存储介质，其特征在于，其上包含有计算机程序，所述计算机程序可被处理器执行以实现权利要求1至4中任一项所述方法的步骤。
7.一种电子设备，其特征在于，包括：
一个或多个处理器；以及
存储器，其中存储器用于存储一个或多个可执行指令；
所述一个或多个处理器被配置为经由执行所述一个或多个可执行指令以实现权利要求1至4中任一项所述方法的步骤。
CN202110442262.3A 2021-04-23 2021-04-23 一种用于识别运动强度的方法和*** Active CN113177455B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110442262.3A CN113177455B (zh) 2021-04-23 2021-04-23 一种用于识别运动强度的方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110442262.3A CN113177455B (zh) 2021-04-23 2021-04-23 一种用于识别运动强度的方法和***

Publications (2)

Publication Number Publication Date
CN113177455A CN113177455A (zh) 2021-07-27
CN113177455B true CN113177455B (zh) 2023-01-24

Family

ID=76924630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110442262.3A Active CN113177455B (zh) 2021-04-23 2021-04-23 一种用于识别运动强度的方法和***

Country Status (1)

Country Link
CN (1) CN113177455B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657237B (zh) * 2021-08-11 2024-07-16 吉炳霖 一种基于视觉的举重运动分析***
CN114118140B (zh) * 2021-10-29 2022-09-23 新黎明科技股份有限公司 防爆电机轴承多视角智能故障诊断方法及***
CN115187603A (zh) * 2022-09-13 2022-10-14 国网浙江省电力有限公司 一种基于深度神经网络的电力设备检测方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871909B (zh) * 2019-04-16 2021-10-01 京东方科技集团股份有限公司 图像识别方法及装置
CN111626171B (zh) * 2020-05-21 2023-05-16 青岛科技大学 基于视频片段注意力机制与交互关系活动图建模的群组行为识别方法
CN112183602B (zh) * 2020-09-22 2022-08-26 天津大学 一种带有并行卷积块的多层特征融合细粒度图像分类方法
CN112307958B (zh) * 2020-10-30 2023-06-23 河北工业大学 基于时空外观运动注意力网络的微表情识别方法

Also Published As

Publication number Publication date
CN113177455A (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN113177455B (zh) 一种用于识别运动强度的方法和***
Ihianle et al. A deep learning approach for human activities recognition from multimodal sensing devices
Chen et al. A deep learning approach to human activity recognition based on single accelerometer
Cohen et al. Facial expression recognition from video sequences
Kumar et al. Yoga pose detection and classification using deep learning
Mekruksavanich et al. Sport-Related Activity Recognition from Wearable Sensors Using Bidirectional GRU Network.
CN110478883B (zh) 一种健身动作教学及矫正***及方法
Kowsar et al. Detecting unseen anomalies in weight training exercises
EP3968337A1 (en) Target object attribute prediction method based on machine learning and related device
Rueda et al. Learning attribute representation for human activity recognition
Jiao et al. Golf swing classification with multiple deep convolutional neural networks
CN106999104A (zh) 心肺健康评估
Mohammed et al. Recognition of yoga asana from real-time videos using blaze-pose
CN114334162A (zh) 疾病患者智能预后预测方法、装置、存储介质及设备
Tanjaya et al. Pilates Pose Classification Using MediaPipe and Convolutional Neural Networks with Transfer Learning
Bunker et al. Towards fuzzy context-aware automatic gait assessments in free-living environments
Wang et al. [Retracted] Student Physical Fitness Test System and Test Data Analysis System Based on Computer Vision
Chu et al. [Retracted] Image Recognition of Badminton Swing Motion Based on Single Inertial Sensor
Krishnaveni A novel framework using binary attention mechanism based deep convolution neural network for face emotion recognition
Sommer et al. Simultaneous and spatiotemporal detection of different levels of activity in multidimensional data
Wang et al. Calorific expenditure estimation using deep convolutional network features
Tomaszewska et al. Sound-Based Cough Detection System using Convolutional Neural Network
Wei Individualized wrist motion models for detecting eating episodes using deep learning
Meng et al. Modeling accurate human activity recognition for embedded devices using multi-level distillation
Minh et al. AICARE: Health Abnormality Detection of Elderly Automatically Using Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant