CN116070172A - 增强时间序列的特征表达性的方法 - Google Patents
增强时间序列的特征表达性的方法 Download PDFInfo
- Publication number
- CN116070172A CN116070172A CN202310212150.8A CN202310212150A CN116070172A CN 116070172 A CN116070172 A CN 116070172A CN 202310212150 A CN202310212150 A CN 202310212150A CN 116070172 A CN116070172 A CN 116070172A
- Authority
- CN
- China
- Prior art keywords
- channel
- blocks
- encoder
- block
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 15
- 238000005192 partition Methods 0.000 claims abstract description 22
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 7
- 238000012886 linear function Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 230000036772 blood pressure Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 9
- 238000002474 experimental method Methods 0.000 description 20
- 230000000694 effects Effects 0.000 description 17
- 230000000903 blocking effect Effects 0.000 description 13
- 238000005070 sampling Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000037081 physical activity Effects 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1123—Discriminating type of movement, e.g. walking or running
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Dentistry (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Physiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种增强时间序列的特征表达性的方法，用于可穿戴设备。该方法包括：接收至少一个通道的输入特征，所述输入特征为卷积神经网络根据来自穿戴式传感器的至少一个通道的时序数据提取的特征；将每个通道的输入特征划分为多个分块；对于每个通道，利用编码器将所述多个分块进行编码；对于每个通道，将每个分块表达为所述通道内通过编码器后的多个分块的融合结果；对包括多个融合结果的每个通道利用解码器进行解码，得到包括通道全局信息的多个解码分块；对于每个通道，将所述多个解码分块合并。本申请的方案可弥补由卷积神经网络处理时间序列在序列全局信息上的损失，从而提高特征的信息量和表达能力，进而提高网络的识别精度。
Description
技术领域
本申请涉及人工智能领域，特别涉及一种增强时间序列的特征表达性的方法。
背景技术
近年来，由于深度学习不断的发展，人体活动识别领域的成果产生了不少进展，比如有基于视觉的自动人体活动识别，有基于传感器的人体活动识别，在健康监测和智能医疗***领域的人体活动识别研究也是热点之一。根据传感器的部署方式，存在多传感器的人体活动识别和单传感器的人体活动识别。多传感器的部署可以获得更准确的数据信息，多种模态的数据特征能够更容易获得更好得识别效果。单传感器的部署虽然能够获得的数据信息量相比而言更少，但是轻量、灵活、便携的特性使得单传感器在实际运用中受到青睐。此外，因为传感器无时无刻不在收集人们活动的数据，出于隐私度的考虑，大多数人对于单传感器的接受度更高。
在基于传感器的人体活动识别中，根据提取特征的不同，可分为两类，一类是人工提取的特征，另一类是使用深度学习对原始数据提取深层特征。在早期的活动识别中，最常使用的人工提取特征是基本的信号统计和波形的特征，比如时间序列信号的均值和方差，然后使用机器学习方法来进行分类。后来，一些研究人员仍旧使用这些人工特征，在后续的活动识别中使用了深度学习技术。使用深度学习技术进行人体活动识别的方法有卷积神经网络，循环神经网络， 卷积神经网络和循环神经网络的混合模型，生成对抗模型，自动编码模型等等。
卷积神经网络的特点是可以提取数据的局部特征，并且具有空间不变性，如果想要增强网络的拟合能力，一般的选择是增大网络卷积层的卷积核大小和卷积层的深度，代价是模型的参数和计算量会大量增加。为了能够在实际场景中使用，如何对网络结构做出改变来提高效率是值得关注的一个方面。
在所述背景技术部分公开的上述信息仅用于加强对本申请的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本申请提供一种增强时间序列的特征表达性的方法，能够提高特征的信息量和表达能力，进而提高网络的识别精度。
一方面，本申请提供一种增强时间序列的特征表达性的方法，用于可穿戴设备，包括：
接收至少一个通道的输入特征，所述输入特征为卷积神经网络根据来自穿戴式传感器的至少一个通道的时序数据提取的特征；
将每个通道的输入特征划分为多个分块；
对于每个通道，利用编码器将所述多个分块进行编码；
对于每个通道，将每个分块表达为所述通道内通过编码器后的多个分块的融合结果；
对包括多个融合结果的每个通道利用解码器进行解码，得到包括通道全局信息的多个解码分块；
对于每个通道，将所述多个解码分块合并，从而得到与所述输入特征具有相同格式的输出特征。
根据一些实施例，所述编码器包括两个线性函数层以及一个线性整流激活函数层。
根据一些实施例，编码器编码方式如下：
其中， 和为线性函数层，表示第k通道划分后得到的第i分块，表示通过线性函数层之后的分块，表示线性整流激活函数层，表示通过两个线性函数层和之后的分块。
根据一些实施例，将每个分块表达为所述通道内通过编码器后的多个分块的融合结果，包括：
将每个分块表达为所述通道内通过编码器后的多个分块的加权线性组合。
根据一些实施例，将每个分块表达为所述通道内通过编码器后的多个分块的加权线性组合，包括：
利用各分块的均值编码和标准差编码构造各分块的编码信息组合；
利用各分块之间的编码信息组合的余弦相似度得到相似度分数；
将所述相似度分数进行指数归一化得到注意力分数；
利用所述注意力分数将每个分块表达为所述通道内通过编码器后的多个分块的加权线性组合。
根据一些实施例，前述融合可包括如下运算：
其中分别表示第i分块和第j分块的编码信息组合，表示均值编码，表示标准差编码，表示第i分块与第j分块之间的相似度分数，表示余弦相似度函数，表示将相似度分数进行指数归一化得到的注意力分数，表示第k通道第i分块的加权线性组合表达，h表示通道的分块数量。
根据一些实施例，所述输入特征的原始特征维度为（B, C, H, W），B表示批大小，C表示通道，H表示高度，W表示宽度，W=1；
所述分块为（B, C, p, h），其中p为分块大小，h为分块数量，
所述多个解码分块合并后具有（B, C, H, W）的形状。
根据一些实施例，所述编码器与所述解码器具有相同的结构。
根据一些实施例，所述输出特征用于与所述输入特征叠加并送至后续全连接层。
根据一些实施例，所述输入特征为卷积神经网络根据来自穿戴式传感器的至少一个通道的时序数据提取的特征。
根据一些实施例，所述穿戴式传感器包括加速度计、陀螺仪、磁力计、心率传感器、血压传感器中的一种或多种。
根据一些实施例，所述输出特征用于与所述输入特征叠加并送至所述卷积神经网络的全连接输出层。
另一方面，本申请提供一种增强时间序列的特征表达性的混合分块层结构，用于嵌入于卷积神经网络中，包括：
分块分割模块，用于接收至少一个通道的输入特征，将每个通道的输入特征划分为多个分块；
编码器，对每个通道的所述多个分块进行编码；
传递与融合模块，对于每个通道，将每个分块表达为所述通道内通过编码器后的多个分块的融合结果；
解码器，对包括多个融合结果的每个通道进行解码，得到包括通道全局信息的多个解码分块；
分块合并模块，对于每个通道，将所述多个解码分块合并，从而得到与所述输入特征具有相同格式的输出特征。
另一方面，本申请还提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述的任一方法。
另一方面，本申请还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述的任一方法。
有益效果
本申请提出的增强特征表达性的方法，基于自注意力的机制，对于某一层的输出的特征，将每一个特征均匀划分为多个局部的小块，将其称为分块。对同一个特征划分的分块做分块间的信息交流，获取同一个特征不同局部之间的信息，从而得到一定的全局信息。这样，可弥补由卷积神经网络处理时间序列在序列全局信息上的损失，从而提高特征的信息量和表达能力，进而提高网络的识别精度。
附图说明
图1示出根据本申请实施例的增强时间序列的特征表达性的混合分块层的基本结构。
图2示出图1所示结构的工作示意图。
图3示出图1所示结构的另一工作示意图。
图4示出根据示例实施例的用于时间序列的增强特征表达性的方法流程示意图。
图5示出卷积网络提取的特征在进入混合分块层处理的前后分别进行邻近上采样和下采样的性能改进对比。
具体实施方式
下面结合附图，具体说明本申请的示例实施方式。
使用传统的卷积神经网络结构做行为识别，为了提高卷积神经网络的拟合能力和精度，一般的选择是增加卷积层的滤波器数量，或者增加卷积网络的深度，但这样的操作增加了网络的复杂性和计算量，以及模型参数的存储量。在实际运用中，使用设备的存储和计算来换取精准度往往是和实际需求背道而驰的，特别是在可穿戴设备等终端场景中。因此，在可穿戴设备中提高识别精准度同时不增加计算负担成为一个需要解决的主要问题。
本申请提出一种基于自注意力机制的增强特征表达性的方法，可用于例如可穿戴式传感器的人体活动数据特征，以此来在部署相对较浅层网络并且使用较少的特征的基础上，来提高网络的识别精准度。实验表明本申请提出的方法在网络更精简、数据特征更简单的情况下，能够行之有效。
注意力机制作为一种使用技巧，在被提出之初就受到了广泛的关注，运用在很多的深度学习技术中。注意力机制组件赋予了神经网络在编码数据时对特定特征赋予 “注意力”的能力，它有助于解决神经网络中经常发生的梯度消失/***问题。现有方案通常使用注意力机制来关注通道之间的关系，整合不同通道之间的信息，关注通道之间的相似性。
图1示出根据本申请实施例的增强时间序列的特征表达性的混合分块层的基本结构。
图2和图3示出图1所示结构的工作示意图。
参见图1-3，根据示例实施例的混合分块层从结构上而言可包括分块分割模块、编码器、传递与融合模块、解码器、分块合并模块等部分。
分块分割模块用于接收至少一个通道的输入特征，将每个通道的输入特征划分为多个分块。
在基于注意力机制进行注意力分数计算之前，先将数据的每一个通道划分成相同大小的分块, 例如对于第1个批次的第1个通道，其大小为，当分块大小为p时，将会被分成h = H/p个分块，得到数据，其中。
编码器对每个通道的所述多个分块进行编码。
编码器输入的数据结构是输入的数据划分后的分块，使用两层的全连接层，并且在两层之间使用线性整流激活函数进行非线性化。因为分块的总数量比较大，为了降低参数量，在输入进两层全连接层之前可对数据的维度进行转换，使得输入的是通道维度的数据。另外，为了降低网络的参数量，可使用特征压缩的方式，例的压缩比为4。
对于每个通道，传递与融合模块将每个分块表达为所述通道内通过编码器后的多个分块的融合结果。
如前面讨论的，用于穿戴传感器时序信号的卷积神经网络输出的各个通道可看作是提取出来的一个特征，将其分成h个分块，对这h个分块进行信息编码。单独的一个特征可以看作是一个一维的时序信号，使用合适的编码信息来表示这段信号的特征量。在之前的研究中，图像识别领域对通道或者输入的编码大多使用的是全局均值。当图片这种二维信息作为输入时，均值可以在一定程度上表示其信息量。但是在一维的时序信号中，全局的均值会使信号中的信息丢失绝大多数，使得本应该有的信号之间变得更加难以区分。
目前，对于分块大小为5，即长度为5的一维时序信息，将其均值和标准差组合，作为其编码信息，即一对均值和标准差表示了一个小分块的信息量，均值能代表分块的波动中心位置，而标准差能代表分块的波动程度大小
对于同一通道划分的分块，在通道内部，计算不同分块之间的相似性程度，此处使用简单的余弦相似度，得到同一通道内部分块之间的余弦相似度。再对计算出来的相似度进行指数归一化计算得到注意力分数，得到的数值越大，表示两个分块之间的相似程度越高，按照得到的注意力分数进行分块线性组合，于是每一个相似的分块之间的组合的权重越大，因此最后得到的分块的特征表达性也会提高，以此达到最终提高特征表达性，实现提高分类精度的目的。图4展示信息传递的过程。
解码器对包括多个融合结果的每个通道进行解码，得到包括通道全局信息的多个解码分块。解码器和编码器的结构可相同。
对于每个通道，分块合并模块将所述多个解码分块合并，从而得到与所述输入特征具有相同格式的输出特征。与分块分割同理，经过前述处理之后的数据格式仍旧为，再按照同一通道的划分方式将其合并成的格式。
图4示出根据示例实施例的用于时间序列的增强特征表达性的方法流程示意图。图4示的方法可基于图1所示的结构来执行。
下面参照图1-4描述根据示例实施例的用于时间序列的增强特征表达性的方法。
S401：接收至少一个通道的输入特征。输入的原始特征维度为。
根据示例实施例，输入特征为卷积神经网络根据来自穿戴式传感器的至少一个通道的时序数据提取的特征。穿戴式传感器可包括加速度计、陀螺仪、磁力计、心率传感器、血压传感器中的一种或多种。对于可穿戴式传感器数据，每一个特征单独作为一个通道，因此数据的宽度为1。
S403：分块的分割。将每个通道划分为多个分块。
在进行信息传递计算之前，先将数据的每一个通道划分成相同大小的分块, 例如对于第一批次的第一通道，其大小为。当分块大小为p时，将会被分成h = H/p个分块，分块的小大都为p。最后得到数据，其中。
例如，若网络中的卷积层的输出n个通道，使用来表示这n个通道的输出特征，每一个的大小为。在数据输入进编码器之前，通道会被划分为分块，对一个划分成h个分块的通道，每一个通道可以得到h个分块:
划分之后，我们使用来表示第k通道得到的分块，所有的分块都会进入编码器编码。
S405：编码器编码。对于每个通道，将多个分块进行编码。
对于编码器而言，其输入的数据结构是原始输入数据划分后的分块，可使用例如两层的全连接层，并且在两层之间使用线性整流激活函数进行非线性化。
由于分块的总数量比较大，为了降低参数量，在输入进两层全连接层之前对数据的维度进行转换，使得输入的是通道维度的数据。同样，为了降低网络的参数量，可使用特征压缩的方式，例如设置的压缩比为4。
根据示例实施例，编码器可包括两个线性函数层以及一个线性整流激活函数层。为了减少线性层的特征维度，设置压缩比为4。
使用来表示两个线性层之后第k个通道的所有分块（i表示第i分块）。
S407：信息传递。编码后的分块相互通信，从而获得全局信息。
对于每个通道，将每个分块表达为所述通道内通过编码器后的多个分块的融合结果（例如，加权线性组合），从而提高特征的信息量和表达能力，提高网络的识别精度。
根据示例实施例，利用各分块的均值编码和标准差编码构造各分块的编码信息组合，利用各分块之间的编码信息组合的余弦相似度得到相似度分数，将所述相似度分数进行指数归一化得到注意力分数，利用所述注意力分数将每个分块表达为所述通道内通过编码器后的多个分块的加权线性组合。例如，使用公式（4）将其均值和标准差组合作为编码信息，均值能代表分块的波动中心位置，而标准差能代表分块的波动程度大小。例如，对于分块大小为5，即长度为5的一维时序信息，将其均值和标准差组合，作为其编码信息，即一对均值和标准差表示了一个小分块的信息量。
根据示例实施例，可使用公式（5）中的余弦相似度来得到相似度分数，将相似度分数按照公式（6）进行指数归一化，得到注意力分数。
然后，由公式（7）计算得到输出数据，再传递到解码器进行解码。
S409：解码器解码。对包括多个融合结果的每个通道进行解码，得到包括通道全局信息的多个解码分块。
解码器和编码器的结构可相同。解码器可使用两层的全连接层，并且在两层之间使用线性整流激活函数进行非线性化。
S411：分块合并。对于每个通道，将多个解码分块合并，得到与输入特征具有相同格式的输出特征。例如，经过对通道内的分块进行合并同理，按照通道的分块划分方式将其合并成 的形状。
此后，可将由此得到的包含各通道全局信息的输出特征添加到前级网络输出的原始特征中，从而达到提高特征表达性，实现提高分类精度的目的。例如，输出特征可与输入特征叠加并送至前述卷积神经网络的全连接输出层，以输出行为识别结果。
根据一些实施例，CNN层输出的原始特征进入混合分块层，经过分块分割、编码、信息传递、解码、分块合并后，得到与输入特征相同格式的输出，添加到前面CNN层输出的原始特征中之后进入全连接层，从而提高特征的信息量和表达能力，进而提高网络的识别精度。
根据一些实施例，接收的输入特征和输出的输出特征分别进行邻近上采样和下采样，这样，精度提升的幅度更大。
实验结果
本申请应用上述方法在WISDM和PAMAP2两个数据集上进行实验，这两个数据集都是在HAR(人体活动识别：human activity recognition)领域的经典常用数据集。实验使用的基线网络结构为C(32)->L(64)->M->L(128)->M->FC，其中C表示传统的卷积网络层，L表示使用的是乐高滤波器替代的卷积网络层，M表示最大池化层，FC表示全连接层。最后的损失函数使用的是交叉熵损失，因此没有在全连接层后面添加指数归一化层。其中，每一个卷积层实际包含了三个部分：二维卷积计算层，批标准化层，线性整流函数层。
在实验中，首先验证了混合分块层的有效性，以及混合分块层起作用的位置。在具体实验中，超参数包括混合分块层放置的位置，和分块的大小，进行对比实验以得到最终表现最好的超参数值。
在全监督学习的模式下，使用亚当优化器来进行优化，损失函数是交叉熵损失，并且使用小批量梯度下降的方法进行更新优化。上述两个数据集根据目的性的不同，所作的实验也不同，因此不同数据集的具体实验设置在下面两个小节展开详细叙述。
【混合分块层的有效性验证：使用数据集WISDM】
实验使用的数据集是WISDM (参见J. R. Kwapisz, G. M. Weiss, and S. A.Moore, “Activity recognition using cell phone accelerometers,” ACM SigKDDExplorations Newsletter, vol. 12, no. 2, pp. 74–82, 2011)，该数据集包含了来自36个使用者的1098207个样本，数据由嵌入在移动手机的加速度计收集得到。在可监督的模式下，移动手机被固定在主导侧的前腿口袋里面。每一个使用者都会做出6种主要的行为活动，分别是：行走, 慢跑, 上楼梯，下楼梯, 坐下和站立。加速度计的采样频率为20Hz。
在实验中，采用滑动窗口策略对数据进行划分处理，其中滑动窗口大小为10s，重叠率为90%。因为WISDM数据存在很严重的类别不平衡, 为了加快实验进程，对整个数据集进行下采样，得到大小为15%并且没有类别不平衡的数据。网络在大小为200的批大小下进行训练，使用亚当优化器进行优化，设置学习率为0.00005，每100次迭代降低10%的学习率。最大的训练迭代数为500，设置早期中断为20,连续20次迭代的最小损失不再出现就停止训练。
实验先对基线网络结构使用测试采样后的数据集进行了8次重复实验，得到用作比较的精度的均值，再使用全部数据集进行实验，得到下面的结果：
表1. 基线网络结果，使用WISDM数据集
表2. 混合分块层测试结果，使用WISDM数据集
表3. 混合分块层在第三层的分块大小测试结果，使用WISDM数据集
根据表1-3，可以看出，将混合分块层放置在第三层卷积层之后的网络，其表现性能明显高于基线。全连接层之前的混合分块层处理可以确保信息传递，从而提高分类器的性能。此外，分块太小时，在第三层之后需要的参数量过大，不能进行实验，因此在改进实验设置之后单独对第三层进行了测试实验。
表3中罗列出了放在第三层的网络的训练结果。发现训练精度都能保持在97%以上，可见将混合分块层单独放置在第三层能对分类精度带来显著提高。
根据表4的结果，可以看出，在混合分块层复合使用场景中，也并没有比单独使用混合分块层的网络表现更好。层数为1+2的网络精度为92.4%,明显低于基线的96.16%。但是层数为2+3的网络精度为97%。
表4. 混合分块层复合使用测试结果，使用WISDM数据集
此外，实验显示，使用不同的分块大小会对实验结果产生影响。由于滑动窗口大小为200，为了均匀划分通道，分块大小被设置为5、10、25和50。对于使用相同位置的混合分块层网络，识别精度随着分块大小的减小而继续增加。
【混合分块层效率验证：使用数据集PAMAP2】
本次实验使用的数据集是PAMAP2 (参见A. Reiss and D. Stricker,“Introducing a new benchmarked dataset for activity monitoring,” in 2012 16thInternational Symposium on Wearable Computers. IEEE, 2012, pp. 108–109)，该数据集有18个不同的动作类型，包括躺下、坐下、站立、看电视、用电脑等日常动作。所有的数据是由9个参与者分别佩戴3个惯性测量单元传感器和1个心率监测器产生的。其中惯性测量单元传感器分别佩戴在主导侧的手腕、脚踝和胸口，采样频率是100Hz，心率检测器采样频率为9Hz。
为了与参照1（参见J. R. Kwapisz, G. M. Weiss, and S. A. Moore,“Activity recognition using cell phone accelerometers,” ACM SigKDDExplorations Newsletter, vol. 12, no. 2, pp. 74–82, 2011）中基线的结果对比（参照1基线的精度为91.26%，存储为7.93MB），对数据集进行33.3Hz的下采样。设置滑动窗口为5.12s，重叠率为78%。滑动窗口处理之后一共得到24537个样本。此次实验中，除去基线的网络不需要混合分块层，其余网络添加的混合分块层都会放置在第三层的位置。网络的初始学习率为0.000005，批大小为512，使用预热值为3,在预热之后设置学习率为0.0005，使用亚当优化器，每50次迭代学习率降低50%，总共运行200次迭代。
表5. 混合分块层测试结果，使用PAMAP2数据集
根据表5，发现使用混合分块层的网络相比基线的网络能够稳定至少提高4%左右的精度，对于18种类别的分类器而言，94%左右的精度相对而言是一个很不错的结果。
【采样实验】
实验中，在提取的特征在进入混合分块层处理的前后，分别进行了邻近上采样和下采样,上下采样的比例分别是2和0.5，即特征进入混合分块层后，其尺寸大小会变为原来的两倍，再进行混合分块层处理，处理结束后，再进行邻近下采样,尺寸大小再缩小一半，使得进出前后的尺寸大小不变。如图5所示（纵坐标表示精度，横坐标表示训练的代(epoch)），进行混合分块层处理的前后采用上下采样之后，精度提升的幅度会更大。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称并不构成对该单元本身的限定。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种增强时间序列的特征表达性的方法，用于可穿戴设备，其特征在于，包括：
接收至少一个通道的输入特征，所述输入特征为卷积神经网络根据来自穿戴式传感器的至少一个通道的时序数据提取的特征；
将每个通道的输入特征划分为多个分块；
对于每个通道，利用编码器将所述多个分块进行编码；
对于每个通道，将每个分块表达为所述通道内通过编码器后的多个分块的融合结果；
对包括多个融合结果的每个通道利用解码器进行解码，得到包括通道全局信息的多个解码分块；
对于每个通道，将所述多个解码分块合并，从而得到与所述输入特征具有相同格式的输出特征。
2.根据权利要求1所述的方法，其特征在于，所述穿戴式传感器包括加速度计、陀螺仪、磁力计、心率传感器、血压传感器中的一种或多种。
3.根据权利要求1所述的方法，其特征在于，所述输出特征用于与所述输入特征叠加并送至所述卷积神经网络的全连接输出层。
4.根据权利要求1所述的方法，其特征在于，所述编码器包括两个线性函数层以及一个线性整流激活函数层。
5.根据权利要求4所述的方法，其特征在于，将每个分块表达为所述通道内通过编码器后的多个分块的融合结果，包括：将每个分块表达为所述通道内通过编码器后的多个分块的加权线性组合。
6.根据权利要求5所述的方法，其特征在于，将每个分块表达为所述通道内通过编码器后的多个分块的加权线性组合，包括：
利用各分块的均值编码和标准差编码构造各分块的编码信息组合；
利用各分块之间的编码信息组合的余弦相似度得到相似度分数；
将所述相似度分数进行指数归一化得到注意力分数；
利用所述注意力分数将每个分块表达为所述通道内通过编码器后的多个分块的加权线性组合。
7.根据权利要求1所述的方法，其特征在于，所述编码器与所述解码器具有相同的结构。
8.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据权利要求1-7中任一项所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211436879 | 2022-11-16 | ||
| CN2022114368795 | 2022-11-16 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116070172A true CN116070172A (zh) | 2023-05-05 |
| CN116070172B CN116070172B (zh) | 2023-06-02 |
Family
ID=86176996
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310212150.8A Active CN116070172B (zh) | 2022-11-16 | 2023-03-07 | 增强时间序列的特征表达性的方法 |
| CN202310212151.2A Active CN116108403B (zh) | 2022-11-16 | 2023-03-07 | 一种具有注意力机制的浅层卷积神经网络结构及优化方法和电子设备 |
| CN202310212146.1A Active CN116070104B (zh) | 2022-11-16 | 2023-03-07 | 一种实时监测康复行为的方法及可穿戴设备 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310212151.2A Active CN116108403B (zh) | 2022-11-16 | 2023-03-07 | 一种具有注意力机制的浅层卷积神经网络结构及优化方法和电子设备 |
| CN202310212146.1A Active CN116070104B (zh) | 2022-11-16 | 2023-03-07 | 一种实时监测康复行为的方法及可穿戴设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (3) | CN116070172B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113139499A (zh) * | 2021-05-10 | 2021-07-20 | 中国科学院深圳先进技术研究院 | 一种基于轻量注意力卷积神经网络的步态识别方法和*** |
| CN113674334A (zh) * | 2021-07-06 | 2021-11-19 | 复旦大学 | 基于深度自注意力网络和局部特征编码的纹理识别方法 |
| CN114120172A (zh) * | 2021-10-29 | 2022-03-01 | 北京百度网讯科技有限公司 | 基于视频的目标检测方法、装置、电子设备及存储介质 |
| US20220121871A1 (en) * | 2020-10-16 | 2022-04-21 | Tsinghua University | Multi-directional scene text recognition method and system based on multi-element attention mechanism |
| CN115018512A (zh) * | 2022-04-21 | 2022-09-06 | 国网湖南省电力有限公司 | 基于Transformer神经网络的窃电检测方法及装置 |
| CN115018855A (zh) * | 2022-06-02 | 2022-09-06 | 北京理工大学 | 一种基于血管特征引导的视盘和视杯分割方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11426098B2 (en) * | 2020-03-02 | 2022-08-30 | PROVA Innovations Ltd. | System and method for gait monitoring and improvement |
| CN111723662B (zh) * | 2020-05-18 | 2023-07-11 | 南京师范大学 | 一种基于卷积神经网络的人体姿态识别方法 |
| CN112052688B (zh) * | 2020-09-09 | 2022-12-02 | 青岛大学 | 一种基于语义的行为生成方法 |
| CN112801901B (zh) * | 2021-01-21 | 2023-08-18 | 北京交通大学 | 基于分块多尺度卷积神经网络的图像去模糊算法 |
| WO2022205685A1 (zh) * | 2021-03-29 | 2022-10-06 | 泉州装备制造研究所 | 一种基于轻量化网络的交通标志识别方法 |
| CN112990116B (zh) * | 2021-04-21 | 2021-08-06 | 四川翼飞视科技有限公司 | 基于多注意力机制融合的行为识别装置、方法和存储介质 |
-
2023
- 2023-03-07 CN CN202310212150.8A patent/CN116070172B/zh active Active
- 2023-03-07 CN CN202310212151.2A patent/CN116108403B/zh active Active
- 2023-03-07 CN CN202310212146.1A patent/CN116070104B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220121871A1 (en) * | 2020-10-16 | 2022-04-21 | Tsinghua University | Multi-directional scene text recognition method and system based on multi-element attention mechanism |
| CN113139499A (zh) * | 2021-05-10 | 2021-07-20 | 中国科学院深圳先进技术研究院 | 一种基于轻量注意力卷积神经网络的步态识别方法和*** |
| CN113674334A (zh) * | 2021-07-06 | 2021-11-19 | 复旦大学 | 基于深度自注意力网络和局部特征编码的纹理识别方法 |
| CN114120172A (zh) * | 2021-10-29 | 2022-03-01 | 北京百度网讯科技有限公司 | 基于视频的目标检测方法、装置、电子设备及存储介质 |
| CN115018512A (zh) * | 2022-04-21 | 2022-09-06 | 国网湖南省电力有限公司 | 基于Transformer神经网络的窃电检测方法及装置 |
| CN115018855A (zh) * | 2022-06-02 | 2022-09-06 | 北京理工大学 | 一种基于血管特征引导的视盘和视杯分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| 徐细梦: "基于特征融合与深度学习的手势识别方法研究", 《中国优秀硕士学位论文全文数据库》, pages 4 - 5 * |
| 王廷银;林明贵;陈达;吴允平;: "基于北斗RDSS的核辐射监测应急通讯方法", 计算机***应用, no. 12 * |
| 闫昭宇;王晶;: "结合深度卷积循环网络和时频注意力机制的单通道语音增强算法", 信号处理, no. 06 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116108403B (zh) | 2023-06-16 |
| CN116070104A (zh) | 2023-05-05 |
| CN116070104B (zh) | 2023-06-16 |
| CN116070172B (zh) | 2023-06-02 |
| CN116108403A (zh) | 2023-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Qin et al. | Imaging and fusing time series for wearable sensor-based human activity recognition | |
| Nair et al. | Human activity recognition using temporal convolutional network | |
| Ihianle et al. | A deep learning approach for human activities recognition from multimodal sensing devices | |
| Yang et al. | Deep convolutional neural networks on multichannel time series for human activity recognition. | |
| CN110287825B (zh) | 一种基于关键骨骼点轨迹分析的摔倒动作检测方法 | |
| Mim et al. | GRU-INC: An inception-attention based approach using GRU for human activity recognition | |
| WO2021139337A1 (zh) | 基于深度学习模型的步态识别方法、装置和计算机设备 | |
| CN105518710B (zh) | 视频检测方法、视频检测***以及计算机程序产品 | |
| CN109497990B (zh) | 一种基于典型相关分析的心电信号身份识别方法及*** | |
| CN114596619B (zh) | 基于视频流的情感分析方法、装置、设备及存储介质 | |
| Bai et al. | Motion2Vector: Unsupervised learning in human activity recognition using wrist-sensing data | |
| CN105228033A (zh) | 一种视频处理方法及电子设备 | |
| CN106651978A (zh) | 人脸图像预测方法及*** | |
| CN113111842A (zh) | 一种动作识别方法、装置、设备及计算机可读存储介质 | |
| CN106295675A (zh) | 一种高准确性的基于智能手机的行为识别方法 | |
| WO2021120007A1 (zh) | 一种基于红外图像序列的睡眠质量评估***和方法 | |
| CN109446897A (zh) | 基于图像上下文信息的场景识别方法及装置 | |
| Khan et al. | Convolutional neural networks as means to identify apposite sensor combination for human activity recognition | |
| CN116070172B (zh) | 增强时间序列的特征表达性的方法 | |
| CN109740418A (zh) | 一种基于多加速度传感器的瑜伽动作识别方法 | |
| Li et al. | 3d human skeleton data compression for action recognition | |
| CN115546491A (zh) | 一种跌倒报警方法、***、电子设备及存储介质 | |
| Dai et al. | An associate memory model of facial expressions and its application in facial expression recognition of patients on bed | |
| CN114626405A (zh) | 基于肌电信号的实时身份识别方法、装置及电子设备 | |
| Zheng et al. | Using machine learning techniques to optimize fall detection algorithms in smart wristband |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |