CN116257142B - 基于多模态数据特征化的安全监测方法及终端 - Google Patents

基于多模态数据特征化的安全监测方法及终端 Download PDF

Info

Publication number
CN116257142B
CN116257142B CN202310530726.5A CN202310530726A CN116257142B CN 116257142 B CN116257142 B CN 116257142B CN 202310530726 A CN202310530726 A CN 202310530726A CN 116257142 B CN116257142 B CN 116257142B
Authority
CN
China
Prior art keywords
data
feature
characteristic
layer
wearer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310530726.5A
Other languages
English (en)
Other versions
CN116257142A (zh
Inventor
赖必贵
倪政齐
俞煌
陈凤至
郑晓东
陈梨香
钟连连
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Yixinhai Information Technology Co ltd
Original Assignee
Fujian Yixinhai Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Yixinhai Information Technology Co ltd filed Critical Fujian Yixinhai Information Technology Co ltd
Priority to CN202310913708.5A priority Critical patent/CN116954376A/zh
Priority to CN202310530726.5A priority patent/CN116257142B/zh
Publication of CN116257142A publication Critical patent/CN116257142A/zh
Application granted granted Critical
Publication of CN116257142B publication Critical patent/CN116257142B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种基于多模态数据特征化的安全监测方法及终端，包括特征嵌入：将多模态数据转换为预设的特征数据，并进行Embed()函数嵌入；特征对齐：将嵌入后的各特征数据进行同步和对齐；特征提取：通过深层神经网络从经过特征对齐的特征数据中提取有意义的特征。本发明通过将多模态数据转换为预设的特征数据，并进行Embed()函数特征嵌入，使多模态数据之间的相关性得到充分体现，然后将嵌入后的各所述特征数据进行特征对齐，使各特征数据再不同模态间有可比性，最后通过深层神经网络学习，提取出准确、具有意义的高维特征，整体通过结合多模态数据和深入的方法结构，得到较为准确的监测数据以进行事件研判，提高近电手环健康监测的准确性和效率。

Description

基于多模态数据特征化的安全监测方法及终端
技术领域
本发明涉及电力施工安全监测技术领域，尤其涉及一种基于多模态数据特征化的安全监测方法及终端。
背景技术
现有通过设计一种近电手环，集近电报警、健康监测和远程管理等功能为一体，以解决电力施工中的触电问题，但目前业内采用手环监测的研判方法，大部分采用直接使用公式方法进行业务判定或直接设置数值区间阈值进行研判，通常存在以下缺点：
缺点1：数值公式研判方法设计比较主观，无法在环境因素变化中进行动态调整研判任务，造成研判不准确。
缺点2：区间阈值研判存在数值划分比较生硬，只能针对特定数值进行判定，无法进行多种数值进行联合研判，也会造成研判结果单一，不准确。
发明内容
本发明所要解决的技术问题是：提供一种基于多模态数据特征化的安全监测方法及终端，通过对多模态数据进行特征化处理，提高近电手环进行健康监测的准确性和效率。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于多模态数据特征化的安全监测方法，包括步骤：
S1、将多模态数据转换为预设的特征数据，并进行Embed()函数特征嵌入；
S2、将嵌入后的各所述特征数据进行特征对齐；
S3、将对齐后的所述特征数据经深层神经网络训练后提取出特征层被激活且特征热图数值大于阈值的特征；
S4、根据提取到的特征，进行事件研判。
为了解决上述技术问题，本发明采用的另一个技术方案为：
一种基于多模态数据特征化的安全监测终端，包括存储器、处理器和存储在存储器上并可在处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现以下步骤：
S1、将多模态数据转换为预设的特征数据，并进行Embed()函数特征嵌入；
S2、将嵌入后的各所述特征数据进行特征对齐；
S3、将对齐后的所述特征数据经深层神经网络训练后提取出特征层被激活且特征热图数值大于阈值的特征；
S4、根据提取到的特征，进行事件研判。
本发明的有益效果在于：通过将多模态数据转换为预设的特征数据，并进行Embed()函数特征嵌入，使得多模态数据之间的相关性得到充分体现，然后将嵌入后的各所述特征数据进行特征对齐，使得各特征数据再不同模态间有可比性，最后通过深层神经网络学习，从经过特征对齐的所述特征数据中提取出特征热图明显、准确、具有意义的高维特征，即整体通过结合多模态数据和深入的方法结构，得到较为准确的监测数据，以进行后续的事件研判，有助于提高近电手环健康监测的准确性和效率。
附图说明
图1为本发明实施例的一种基于多模态数据特征化的安全监测方法的流程图；
图2为本发明实施例的一种基于多模态数据特征化的安全监测方法的模块原理图；
图3是本发明实施例的一种基于多模态数据特征化的安全监测终端的结构示意图。
标号说明：
1、一种基于多模态数据特征化的安全监测终端；2、存储器；3、处理器。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
请参照图1及图2，一种基于多模态数据特征化的安全监测方法，包括步骤：
S1、将多模态数据转换为预设的特征数据，并进行Embed()函数特征嵌入；
S2、将嵌入后的各所述特征数据进行特征对齐；
S3、将对齐后的所述特征数据经深层神经网络训练后提取出特征层被激活且特征热图数值大于阈值的特征；
S4、根据提取到的特征，进行事件研判。
由上述描述可知，本发明的有益效果在于：通过将多模态数据转换为预设的特征数据，并进行Embed()函数特征嵌入，使得多模态数据之间的相关性得到充分体现，然后将嵌入后的各所述特征数据进行特征对齐，使得各特征数据再不同模态间有可比性，最后通过深层神经网络学习，从经过特征对齐的所述特征数据中提取出特征热图明显、准确、具有意义的高维特征，即整体通过结合多模态数据和深入的方法结构，得到较为准确的监测数据，以进行后续的事件研判，有助于提高近电手环健康监测的准确性和效率。
进一步地，所述步骤S1之前还包括：
S0、实时获取近电手环采集到的多模态数据，所述多模态数据包括佩戴者的心率、佩戴者的血氧饱和度、所处的位置、佩戴者的六轴姿态、所处位置的气压、佩戴者的近电体温及佩戴者的血压。
由上述描述可知，近电手环实时采集的多模态数据涉及佩戴者的心率、血氧饱和度、位置、六轴姿态、位置所在的气压、体温及血压等多方面生理参数，而各项生理参数作为后续进行特征化计算的输入，实现对电力施工中工作人员工作过程的全程监护管理，确保工作人员的安全。
进一步地，所述步骤S1具体为：
S11、将所述多模态数据以预设的特征数据进行表示，具体为：
设所述心率为A次/分钟；
设所述血氧饱和度为B；
设所述位置为P，格式记为(x,y,z)；
设所述六轴姿态为S，格式记为(S R,S K,S H,S x,S y,S z)，其中S R为左右倾斜度、S K为前后倾斜度、S H为左右摇摆度、S x为x轴方向加速度、S y为y轴方向加速度、S z为z轴方向加速度；
设所述气压为M，单位为kPa；
设所述近电体温为T℃；
设血压为Q，格式记为(Q 1,Q 2)，Q 1为收缩压，Q 2为舒张压；
S12、各所述多模态数据的特征嵌入记为A'、B'、P'、S'、M'、T'和Q'，嵌入表示为：Y=Embed(X)，其中X为各所述特征数据的原始输入，Y为各所述特征数据嵌入后的表示；
Embed方法如下：
（1）；
式中，W m,n为所述特征数据的权重，采用随机正态分布初始化，范围为0到1，X n为所述特征数据的原始输入，n表示所述特征数据的维数，N为所有所述特征数据中维度最大的所述特征数据的维数，0m为所述特征数据嵌入后在n维度的输出，m∈(0,5)，不同模态的所述特征数据的维数不同，得到：
（2）；
即Y的矩阵大小为1×6。
由上述描述可知，特征嵌入基于近电手环采集到的各模态数据，即实际上是由近电手环上的不同模态的传感器中获取的，每一种模态数据都具有独特的特征，为了特征在不同模态之间具有可比性，因此需要先将这些数据转化为对应的数值+单位的表述方式，然后将具体的特征数据通过Embed()函数进行嵌入，输出为大小为1×6的矩阵结构的特征数据，以便进行后续的特征对齐。
进一步地，所述步骤S2具体为：
S21、将嵌入后的各所述特征数据映射到相同的数据空间：
（3）；
式中，c代表七种所述特征数据的种类A'、B'、P'、S'、M'、T'和Q'，c∈(0,6)，即矩阵Y映射形成7×6的矩阵Y'；
S22、对各所述特征数据进行特征交叉：
（4）；
式中，0<=i<6，得到结构为6×6的矩阵F；
S23、将矩阵F中的单个交叉特征进行堆叠，得到最终矩阵F'：
（5）；
式中，j∈(0,4)，即最终得到结构为5×6×6的矩阵F'。
由上述描述可知，除了将不同模态的各特征数据进行嵌入输出为矩阵一定的结构后，为了统一和匹配不同模态的数据以提高识别的准确度，还需要将各特征数据进行对齐，以映射到相同的数据空间，以便在进一步的处理过程中被统一识别；同时对映射到相同数据空间的特征数据进行特征交叉和单个交叉特征的堆叠，实现了特征在空间上的约束，相似的不同模态特征在空间上会比较靠近，无关的特征在空间距离和分布上尽量远离，并在后续的深层神经网络模型训练后逐步实现。
进一步地，所述步骤S3具体为：
S31、设置特征提取层，所述特征提取层自下而上依次包括第一常规卷积层、第一常规激活函数层、第二常规卷积层、第二常规激活函数层、第三常规卷积层和第三常规激活函数层，各所述特征提取层定义如下：
设所述第一常规卷积层、所述第二常规卷积层均为5通道输入和5通道输出，输入的特征图大小为6×6，卷积核为1×1；
设所述第三常规卷积层为5通道输入和1通道输出，输入的特征图大小为6×6，卷积核为1×1；
设所述第一常规激活函数层、所述第二常规激活函数层和所述第三常规激活函数层均采用relu(X)函数：
（6）；
S32、从被激活的所述特征提取层中提取出特征热图数值大于阈值的特征。
由上述描述可知，通过设置三层卷积层和三层激活函数层构成的六层特征提取层，构建神经网络模型进行大量训练，从而能够从进行了特征嵌入和特征对齐的特征数据中学习处更具准确性和高维的特征，使各模态的特征数据具有更好的拟合特性，比简单的公式函数或者直接采用区间设置判断具有更好的适应性。
请参照图3，一种基于多模态数据特征化的安全监测终端，包括存储器、处理器和存储在存储器上并可在处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现以下步骤：
S1、将多模态数据转换为预设的特征数据，并进行Embed()函数特征嵌入；
S2、将嵌入后的各所述特征数据进行特征对齐；
S3、将对齐后的所述特征数据经深层神经网络训练后提取出特征层被激活且特征热图数值大于阈值的特征；
S4、根据提取到的特征，进行事件研判。
由上述描述可知，本发明的有益效果在于：基于同一技术构思，配合上述的一种基于近电手环的多模态数据特征化方法，提供一种基于多模态数据特征化的安全监测终端，通过将多模态数据转换为预设的特征数据，并进行Embed()函数特征嵌入，使得多模态数据之间的相关性得到充分体现，然后将嵌入后的各所述特征数据进行特征对齐，使得各特征数据再不同模态间有可比性，最后通过深层神经网络学习，从经过特征对齐的所述特征数据中提取出特征热图明显、准确、具有意义的高维特征，即整体通过结合多模态数据和深入的方法结构，得到较为准确的监测数据，以进行后续的事件研判，有助于提高近电手环健康监测的准确性和效率。
进一步地，所述步骤S1之前还包括：
S0、实时获取近电手环采集到的多模态数据，所述多模态数据包括佩戴者的心率、佩戴者的血氧饱和度、所处的位置、佩戴者的六轴姿态、所处位置的气压、佩戴者的近电体温及佩戴者的血压。
由上述描述可知，近电手环实时采集的多模态数据涉及佩戴者的心率、血氧饱和度、位置、六轴姿态、位置所在的气压、体温及血压等多方面生理参数，而各项生理参数作为后续进行特征化计算的输入，实现对电力施工中工作人员工作过程的全程监护管理，确保工作人员的安全。
进一步地，所述步骤S1具体为：
S11、将所述多模态数据以预设的特征数据进行表示，具体为：
设所述心率为A次/分钟；
设所述血氧饱和度为B；
设所述位置为P，格式记为(x,y,z)；
设所述六轴姿态为S，格式记为(S R,S K,S H,S x,S y,S z)，其中S R为左右倾斜度、S K为前后倾斜度、S H为左右摇摆度、S x为x轴方向加速度、S y为y轴方向加速度、S z为z轴方向加速度；
设所述气压为M，单位为kPa；
设所述近电体温为T℃；
设血压为Q，格式记为(Q 1,Q 2)，Q 1为收缩压，Q 2为舒张压；
S12、各所述多模态数据的特征嵌入记为A'、B'、P'、S'、M'、T'和Q'，嵌入表示为：Y=Embed(X)，其中X为各所述特征数据的原始输入，Y为各所述特征数据嵌入后的表示；
Embed方法如下：
（1）；
式中，W m,n为所述特征数据的权重，采用随机正态分布初始化，范围为0到1，X n为所述特征数据的原始输入，n表示所述特征数据的维数，N为所有所述特征数据中维度最大的所述特征数据的维数，0m为所述特征数据嵌入后在n维度的输出，m∈(0,5)，不同模态的所述特征数据的维数不同，得到：
（2）；
式中，m∈(0,5)，即Y的矩阵大小为1×6。
由上述描述可知，特征嵌入基于近电手环采集到的各模态数据，即实际上是由近电手环上的不同模态的传感器中获取的，每一种模态数据都具有独特的特征，为了特征在不同模态之间具有可比性，因此需要先将这些数据转化为对应的数值+单位的表述方式，然后将具体的特征数据通过Embed()函数进行嵌入，输出为大小为1×6的矩阵结构的特征数据，以便进行后续的特征对齐。
进一步地，所述步骤S2具体为：
S21、将嵌入后的各所述特征数据映射到相同的数据空间：
（3）；
式中，c代表七种所述特征数据的种类A'、B'、P'、S'、M'、T'和Q'，c∈(0,6)，即矩阵Y映射形成7×6的矩阵Y'；
S22、对各所述特征数据进行特征交叉：
（4）；
式中，0<=i<6，得到结构为6×6的矩阵F；
S23、将矩阵F中的单个交叉特征进行堆叠，得到最终矩阵F'：
（5）；
式中，j∈(0,4)，即最终得到结构为5×6×6的矩阵F'。
由上述描述可知，除了将不同模态的各特征数据进行嵌入输出为矩阵一定的结构后，为了统一和匹配不同模态的数据以提高识别的准确度，还需要将各特征数据进行对齐，以映射到相同的数据空间，以便在进一步的处理过程中被统一识别；同时对映射到相同数据空间的特征数据进行特征交叉和单个交叉特征的堆叠，实现了特征在空间上的约束，相似的不同模态特征在空间上会比较靠近，无关的特征在空间距离和分布上尽量远离，并在后续的深层神经网络模型训练后逐步实现。
进一步地，所述步骤S3具体为：
S31、设置特征提取层，所述特征提取层自下而上依次包括第一常规卷积层、第一常规激活函数层、第二常规卷积层、第二常规激活函数层、第三常规卷积层和第三常规激活函数层，各所述特征提取层定义如下：
设所述第一常规卷积层、所述第二常规卷积层均为5通道输入和5通道输出，输入的特征图大小为6×6，卷积核为1×1；
设所述第三常规卷积层为5通道输入和1通道输出，输入的特征图大小为6×6，卷积核为1×1；
设所述第一常规激活函数层、所述第二常规激活函数层和所述第三常规激活函数层均采用relu(X)函数：
（6）；
S32、从被激活的所述特征提取层中提取出特征热图数值大于阈值的特征。
由上述描述可知，通过设置三层卷积层和三层激活函数层构成的六层特征提取层，构建神经网络模型进行大量训练，从而能够从进行了特征嵌入和特征对齐的特征数据中学习处更具准确性和高维的特征，使各模态的特征数据具有更好的拟合特性，比简单的公式函数或者直接采用区间设置判断具有更好的适应性。
本发明提供的一种基于多模态数据特征化的安全监测方法及终端，适用于在电力施工中根据工作人员佩戴的近电手环采集到的多模态数据进行近电报警、健康监测和远程管理。以下结合实施例具体说明。
请参照图1，本发明的实施例一为：
一种基于多模态数据特征化的安全监测方法，如图1所示，包括步骤：
S1、将多模态数据转换为预设的特征数据，并进行Embed()函数特征嵌入，使得多模态数据之间的相关性得到充分体现。
S2、将嵌入后的各特征数据进行特征对齐，使得各特征数据再不同模态间有可比性。
S3、将对齐后的特征数据经深层神经网络训练后提取出特征层被激活且特征热图数值大于阈值的特征；
S4、根据提取到的特征，进行事件研判。
即整体通过结合多模态数据和深入的方法结构，得到较为准确的监测数据，以进行后续的事件研判，有助于提高近电手环健康监测的准确性和效率。
请参照图2，本发明的实施例二为：
一种基于多模态数据特征化的安全监测方法，在上述实施例一的基础上，在本实施例中，如图2所示，步骤S1之前还包括：
S0、实时获取近电手环采集到的多模态数据，多模态数据包括佩戴者的心率、佩戴者的血氧饱和度、所处的位置、佩戴者的六轴姿态、所处位置的气压、佩戴者的近电体温及佩戴者的血压。
即在本实施例中，近电手环实时采集的多模态数据涉及佩戴者的心率、血氧饱和度、位置、六轴姿态、位置所在的气压、体温及血压等多方面生理参数，而各项生理参数作为后续进行特征化计算的输入，实现对电力施工中工作人员工作过程的全程监护管理，确保工作人员的安全。
其中，在本实施例中，特征嵌入基于近电手环采集到的各模态数据，即实际上是由近电手环上的不同模态的传感器中获取的，每一种模态数据都具有独特的特征，为了特征在不同模态之间具有可比性，需要先将这些数据转化为对应的数值+单位的表述方式，然后将具体的特征数据通过Embed()函数进行嵌入，即步骤S1具体为：
S11、将多模态数据以预设的特征数据进行表示，具体为：
设心率为A次/分钟；
设血氧饱和度为B；
设位置为P，格式记为(x,y,z)；
设六轴姿态为S，格式记为(S R,S K,S H,S x,S y,S z)，其中S R为左右倾斜度、S K为前后倾斜度、S H为左右摇摆度、S x为x轴方向加速度、S y为y轴方向加速度、S z为z轴方向加速度；
设气压为M，单位为kPa；
设近电体温为T℃；
设血压为Q，格式记为(Q 1,Q 2)，Q 1为收缩压，Q 2为舒张压。
S12、各多模态数据的特征嵌入记为A'、B'、P'、S'、M'、T'和Q'，嵌入表示为：Y=Embed(X)，其中X为各特征数据的原始输入，Y为各特征数据嵌入后的表示。
Embed方法如下：
（1）；
式中，W m,n为特征数据的权重，采用随机正态分布初始化，范围为0到1，X n为特征数据的原始输入，n表示特征数据的维数，N为所有特征数据中维度最大的特征数据的维数，0m为特征数据嵌入后在n维度的输出，m∈(0,5)，不同模态的特征数据的维数不同，然后输出1×6的矩阵Y：
（2）；
即最终输出为大小为1×6的一维矩阵结构的特征数据，以便进行后续的特征对齐。
同时，在本实施例中，除了将不同模态的各特征数据进行嵌入输出为矩阵一定的结构后，为了统一和匹配不同模态的数据以提高识别的准确度，还需要将各特征数据进行对齐，以映射到相同的数据空间，以便在进一步的处理过程中被统一识别，即步骤S2具体为：
S21、将嵌入后的各特征数据映射到相同的数据空间：
（3）；
式中，c代表七种特征数据的种类A'、B'、P'、S'、M'、T'和Q'，c∈(0,6)，即矩阵Y映射形成7×6的矩阵Y'。
S22、对各特征数据进行特征交叉：
（4）；
式中，0<=i<6，得到结构为6×6的矩阵F；
S23、将矩阵F中的单个交叉特征进行堆叠，得到最终矩阵F'：
（5）；
式中，j∈(0,4)，即最终得到结构为5×6×6的矩阵F'。
即在特征对齐步骤中增加对映射到相同数据空间的特征数据进行特征交叉和单个交叉特征的堆叠，能实现特征在空间上的约束，即相似的不同模态特征在空间上会比较靠近，无关的特征在空间距离和分布上尽量远离，并在后续的深层神经网络模型训练后逐步实现。
因此，在本实施例中，步骤S3具体为：
S31、设置特征提取层，特征提取层自下而上依次包括第一常规卷积层、第一常规激活函数层、第二常规卷积层、第二常规激活函数层、第三常规卷积层和第三常规激活函数层，各特征提取层定义如下：
设第一常规卷积层、第二常规卷积层均为5通道输入和5通道输出，输入的特征图大小为6×6，卷积核为1×1；
设第三常规卷积层为5通道输入和1通道输出，输入的特征图大小为6×6，卷积核为1×1；
设第一常规激活函数层、第二常规激活函数层和第三常规激活函数层均采用relu(X)函数：
（6）。
S32、从被激活的特征提取层中提取出特征热图数值大于阈值的特征。
即通过设置三层卷积层和三层激活函数层构成的六层特征提取层，构建神经网络模型进行大量训练，从而能够从进行了特征嵌入和特征对齐的特征数据中学习处更具准确性和高维的特征，使各模态的特征数据具有更好的拟合特性，比简单的公式函数或者直接采用区间设置判断具有更好的适应性；其中特征提取能力主要通过大量数据常规反向传播训练达到，其特征意义与数据和模型权重有关系，是模型学习到数据的特征提取能力，比如在特定数据输入后某些特征层出现明显激活，在特征热图比较明显即特征有意义，在本实施例中，阈值可以根据实际需要而设置，在此不做限定。
请参照图3，本发明的实施例三为：
一种基于多模态数据特征化的安全监测终端1，包括存储器2、处理器3以及存储在存储器2是上并可在处理器3上执行的计算机程序，在本实施例中，处理器3执行计算机程序时实现上述实施例一至或实施例二中的步骤。
综上所述，本发明提供的一种基于多模态数据特征化的安全监测方法及终端，具有以下有益效果：
1、通过特征嵌入、特征对齐和特征提取有效结合多种模态间的融合关系，得到较为准确的监测数据，提高了后续进行事件研判的预测结果的准确性，减少了误判，使得判断更符合数据分布；
2、特征提取基于深度神经网络模型训练，对于特征数据具备很好的拟合特性，比简单的公式函数或者直接采用区间设置判断有更好的适应性；
3、多种模态数据间的潜在关系在进行特征对齐中进行了特征交叉，实现了特征在空间上的约束，即相似的不同模态特征在空间上会比较靠近，无关的特征在空间距离和分布上尽量远离，并在后续的深层神经网络模型训练后逐步实现。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种基于多模态数据特征化的安全监测方法，其特征在于，包括步骤：
S0、实时获取近电手环采集到的多模态数据，所述多模态数据包括佩戴者的心率、佩戴者的血氧饱和度、所处的位置、佩戴者的六轴姿态、所处位置的气压、佩戴者的近电体温及佩戴者的血压；
S1、将多模态数据转换为预设的特征数据，并进行Embed()函数特征嵌入，具体包括：
S11、将所述多模态数据以预设的特征数据进行表示，具体为：
设所述心率为A次/分钟；
设所述血氧饱和度为B；
设所述位置为P，格式记为(x,y,z)；
设所述六轴姿态为S，格式记为(S R,S K,S H,S x,S y,S z)，其中S R为左右倾斜度、S K为前后倾斜度、S H为左右摇摆度、S x为x轴方向加速度、S y为y轴方向加速度、S z为z轴方向加速度；
设所述气压为M，单位为kPa；
设所述近电体温为T℃；
设血压为Q，格式记为(Q 1,Q 2)，Q 1为收缩压，Q 2为舒张压；
S12、各所述多模态数据的特征嵌入记为A'、B'、P'、S'、M'、T'和Q'，嵌入表示为：Y=Embed(X)，其中X为各所述特征数据的原始输入，Y为各所述特征数据嵌入后的表示；
Embed方法如下：
（1）；
式中，W m,n为所述特征数据的权重，采用随机正态分布初始化，范围为0到1，X n为所述特征数据的原始输入，n表示所述特征数据的维数，N为所有所述特征数据中维度最大的所述特征数据的维数，0m为所述特征数据嵌入后在n维度的输出，m∈(0,5)，不同模态的所述特征数据的维数不同，得到；
（2）；
即Y的矩阵大小为1×6；
S2、将嵌入后的各所述特征数据进行特征对齐，具体包括：
S21、将嵌入后的各所述特征数据映射到相同的数据空间：
（3）；
式中，c代表七种所述特征数据的种类A'、B'、P'、S'、M'、T'和Q'，c∈(0,6)，即矩阵Y映射形成7×6的矩阵Y'；
S22、对各所述特征数据进行特征交叉：
（4）；
式中，0<=i<6，得到结构为6×6的矩阵F；
S23、将矩阵F中的单个交叉特征进行堆叠，得到最终矩阵F'：
（5）；
式中，j∈(0,4)，即最终得到结构为5×6×6的矩阵F'；
S3、将对齐后的所述特征数据经深层神经网络训练后提取出特征层被激活且特征热图数值大于阈值的特征；
S4、根据提取到的特征，进行事件研判。
2.根据权利要求1所述的一种基于多模态数据特征化的安全监测方法，其特征在于，所述步骤S3具体为：
S31、设置特征提取层，所述特征提取层自下而上依次包括第一常规卷积层、第一常规激活函数层、第二常规卷积层、第二常规激活函数层、第三常规卷积层和第三常规激活函数层，各所述特征提取层定义如下：
设所述第一常规卷积层、所述第二常规卷积层均为5通道输入和5通道输出，输入的特征图大小为6×6，卷积核为1×1；
设所述第三常规卷积层为5通道输入和1通道输出，输入的特征图大小为6×6，卷积核为1×1；
设所述第一常规激活函数层、所述第二常规激活函数层和所述第三常规激活函数层均采用relu(X)函数：
（6）；
S32、从被激活的所述特征提取层中提取出特征热图数值大于阈值的特征。
3.一种基于多模态数据特征化的安全监测终端，其特征在于，包括存储器、处理器和存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
S0、实时获取近电手环采集到的多模态数据，所述多模态数据包括佩戴者的心率、佩戴者的血氧饱和度、所处的位置、佩戴者的六轴姿态、所处位置的气压、佩戴者的近电体温及佩戴者的血压；
S1、将多模态数据转换为预设的特征数据，并进行Embed()函数特征嵌入，具体包括：
S11、将所述多模态数据以预设的特征数据进行表示，具体为：
设所述心率为A次/分钟；
设所述血氧饱和度为B；
设所述位置为P，格式记为(x,y,z)；
设所述六轴姿态为S，格式记为(S R,S K,S H,S x,S y,S z)，其中S R为左右倾斜度、S K为前后倾斜度、S H为左右摇摆度、S x为x轴方向加速度、S y为y轴方向加速度、S z为z轴方向加速度；
设所述气压为M，单位为kPa；
设所述近电体温为T℃；
设血压为Q，格式记为(Q 1,Q 2)，Q 1为收缩压，Q 2为舒张压；
S12、各所述多模态数据的特征嵌入记为A'、B'、P'、S'、M'、T'和Q'，嵌入表示为：Y=Embed(X)，其中X为各所述特征数据的原始输入，Y为各所述特征数据嵌入后的表示；
Embed方法如下：
（1）；
式中，W m,n为所述特征数据的权重，采用随机正态分布初始化，范围为0到1，X n为所述特征数据的原始输入，n表示所述特征数据的维数，N为所有所述特征数据中维度最大的所述特征数据的维数，0m为所述特征数据嵌入后在n维度的输出，m∈(0,5)，不同模态的所述特征数据的维数不同，得到；
（2）；
即Y的矩阵大小为1×6；
S2、将嵌入后的各所述特征数据进行特征对齐，具体包括：
S21、将嵌入后的各所述特征数据映射到相同的数据空间：
（3）；
式中，c代表七种所述特征数据的种类A'、B'、P'、S'、M'、T'和Q'，c∈(0,6)，即矩阵Y映射形成7×6的矩阵Y'；
S22、对各所述特征数据进行特征交叉：
（4）；
式中，0<=i<6，得到结构为6×6的矩阵F；
S23、将矩阵F中的单个交叉特征进行堆叠，得到最终矩阵F'：
（5）；
式中，j∈(0,4)，即最终得到结构为5×6×6的矩阵F'；
S3、将对齐后的所述特征数据经深层神经网络训练后提取出特征层被激活且特征热图数值大于阈值的特征；
S4、根据提取到的特征，进行事件研判。
4.根据权利要求3所述的一种基于多模态数据特征化的安全监测终端，其特征在于，所述步骤S3具体为：
S31、设置特征提取层，所述特征提取层自下而上依次包括第一常规卷积层、第一常规激活函数层、第二常规卷积层、第二常规激活函数层、第三常规卷积层和第三常规激活函数层，各所述特征提取层定义如下：
设所述第一常规卷积层、所述第二常规卷积层均为5通道输入和5通道输出，输入的特征图大小为6×6，卷积核为1×1；
设所述第三常规卷积层为5通道输入和1通道输出，输入的特征图大小为6×6，卷积核为1×1；
设所述第一常规激活函数层、所述第二常规激活函数层和所述第三常规激活函数层均采用relu(X)函数：
（6）；
S32、从被激活的所述特征提取层中提取出特征热图数值大于阈值的特征。
CN202310530726.5A 2023-05-12 2023-05-12 基于多模态数据特征化的安全监测方法及终端 Active CN116257142B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310913708.5A CN116954376A (zh) 2023-05-12 2023-05-12 一种安全监测方法、终端及其在近电手环中的应用
CN202310530726.5A CN116257142B (zh) 2023-05-12 2023-05-12 基于多模态数据特征化的安全监测方法及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310530726.5A CN116257142B (zh) 2023-05-12 2023-05-12 基于多模态数据特征化的安全监测方法及终端

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310913708.5A Division CN116954376A (zh) 2023-05-12 2023-05-12 一种安全监测方法、终端及其在近电手环中的应用

Publications (2)

Publication Number Publication Date
CN116257142A CN116257142A (zh) 2023-06-13
CN116257142B true CN116257142B (zh) 2023-07-21

Family

ID=86682862

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310913708.5A Pending CN116954376A (zh) 2023-05-12 2023-05-12 一种安全监测方法、终端及其在近电手环中的应用
CN202310530726.5A Active CN116257142B (zh) 2023-05-12 2023-05-12 基于多模态数据特征化的安全监测方法及终端

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310913708.5A Pending CN116954376A (zh) 2023-05-12 2023-05-12 一种安全监测方法、终端及其在近电手环中的应用

Country Status (1)

Country Link
CN (2) CN116954376A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200317A (zh) * 2020-09-28 2021-01-08 西南电子技术研究所（中国电子科技集团公司第十研究所） 多模态知识图谱构建方法
CN112287126A (zh) * 2020-12-24 2021-01-29 中国人民解放军国防科技大学 一种适于多模态知识图谱的实体对齐方法及设备
CN112488900A (zh) * 2020-11-30 2021-03-12 福建省亿鑫海信息科技有限公司 一种深度学习训练图片加密解密方法
CN114386515A (zh) * 2022-01-13 2022-04-22 合肥工业大学 基于Transformer算法的单模态标签生成和多模态情感判别方法
WO2022267976A1 (zh) * 2021-06-21 2022-12-29 浙江师范大学 多模态知识图谱的实体对齐方法、装置及存储介质
CN115797830A (zh) * 2022-11-24 2023-03-14 南通大学 基于同源异构信息的多感知视频异常事件检测方法及设备
CN115831217A (zh) * 2022-11-23 2023-03-21 四川大学 基于多模态融合的染色质拓扑关联结构域边界预测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200317A (zh) * 2020-09-28 2021-01-08 西南电子技术研究所（中国电子科技集团公司第十研究所） 多模态知识图谱构建方法
CN112488900A (zh) * 2020-11-30 2021-03-12 福建省亿鑫海信息科技有限公司 一种深度学习训练图片加密解密方法
CN112287126A (zh) * 2020-12-24 2021-01-29 中国人民解放军国防科技大学 一种适于多模态知识图谱的实体对齐方法及设备
WO2022267976A1 (zh) * 2021-06-21 2022-12-29 浙江师范大学 多模态知识图谱的实体对齐方法、装置及存储介质
CN114386515A (zh) * 2022-01-13 2022-04-22 合肥工业大学 基于Transformer算法的单模态标签生成和多模态情感判别方法
CN115831217A (zh) * 2022-11-23 2023-03-21 四川大学 基于多模态融合的染色质拓扑关联结构域边界预测方法
CN115797830A (zh) * 2022-11-24 2023-03-14 南通大学 基于同源异构信息的多感知视频异常事件检测方法及设备

Also Published As

Publication number Publication date
CN116257142A (zh) 2023-06-13
CN116954376A (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
US11281262B2 (en) Detecting a gesture made by a person wearing a wearable electronic device
CN107153871B (zh) 基于卷积神经网络和手机传感器数据的跌倒检测方法
EP2432390B1 (en) Activity monitoring device and method
CN103637782B (zh) 一种基于智能终端的人体健康监控***及方法
CN110363090A (zh) 智能心脏疾病检测方法、装置及计算机可读存储介质
CN104799831A (zh) 一种用于情感监测的可穿戴设备
Jensen et al. Unobtrusive and energy-efficient swimming exercise tracking using on-node processing
CN101695444A (zh) 一种足部加速度信息采集***及其加速度信息采集方法
CN116257142B (zh) 基于多模态数据特征化的安全监测方法及终端
CN107280660A (zh) 一种心脏信号远程监测***及方法
TWI829944B (zh) 虛擬化身臉部表情產生系統和虛擬化身臉部表情產生方法
Lee et al. Mobile embedded health-care system working on wireless sensor network
CN108089710A (zh) 一种电子设备控制方法、装置及电子设备
CN108618765B (zh) 基于脉搏波和人体三维姿态的心脑血管疾病突发风险实时监测***及方法
CN107292841A (zh) 模式化图像处理技术
Wenzheng Human activity recognition based on acceleration sensor and neural network
WO2023273834A1 (zh) 一种检测方法及相关设备
KR102265706B1 (ko) 개체 관찰정보의 입력 및 공유 서비스를 제공하는 방법, 및 컴퓨터 판독 가능한 저장 매체
US11341412B1 (en) Systems and methods for constructing motion models based on sensor data
CN116595349A (zh) 基于近电智慧手环多模态数据的任务研判方法及终端
Wang et al. Fall detection based on convolutional neural networks using smart insole
Gao et al. Safety helmet detection based on YOLOV4-M
Radhimeenakshi et al. Remote heart risk monitoring system based on efficient neural network and evolutionary algorithm
JP4961172B2 (ja) 情報選択システム
CN107480692A (zh) 一种基于主成份分析的人体行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant