CN111401393A - 数据处理方法及装置、电子设备及存储介质 - Google Patents

数据处理方法及装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111401393A
CN111401393A CN201910000534.7A CN201910000534A CN111401393A CN 111401393 A CN111401393 A CN 111401393A CN 201910000534 A CN201910000534 A CN 201910000534A CN 111401393 A CN111401393 A CN 111401393A
Authority
CN
China
Prior art keywords
data
weight
sample
sample data
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910000534.7A
Other languages
English (en)
Other versions
CN111401393B (zh
Inventor
李杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Communications Ltd Research Institute filed Critical China Mobile Communications Group Co Ltd
Priority to CN201910000534.7A priority Critical patent/CN111401393B/zh
Publication of CN111401393A publication Critical patent/CN111401393A/zh
Application granted granted Critical
Publication of CN111401393B publication Critical patent/CN111401393B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种数据处理方法及装置、电子设备及存储介质。所述数据处理方法,包括:获取监控对象的第一监测数据;基于所述第一监测数据与第一样本数据,得到第一权重;基于第一权重和第二权重满足的约束条件,确定第二权重;基于第二权重及第二样本数据,确定出第二监测数据,其中,所述第二样本数据为所述第一样本数据的降维数据;所述第二监测数据为所述第一监测数据的降维数据。

Description

数据处理方法及装置、电子设备及存储介质
技术领域
本发明涉及信息技术领域,尤其涉及一种数据处理方法及装置、电子设备及存储介质。
背景技术
数据降维是:将高维度的数据经过数据处理转换为低维度的数据,从而减少一条数据的数据量,减少应用该数据的计算量,并提升数据效率。一方面,在数据降维的过程中,会伴随一些信息量的损失,如何在数据降维的过程中,减少信息量的损失,使得降维后的数据依然能够提供所需的信息量;另一方面,相关技术中利用神经网络等深度学习模型进行数据降维,深度学习模型的自身的训练且深度学习模型在数据降维过程中的训练,自身也会导致大量的计算量,如此,即便降维之后的数据量减少了,但是引入了大量的数据降维带来的计算量,总体的数据计算量的减少并不明显,即降维效果并不明显。
发明内容
本发明实施例期望提供一种数据处理方法及装置、电子设备及存储介质。
本发明的技术方案是这样实现的:
一种数据处理方法,包括:
获取监控对象的第一监测数据;
基于所述第一监测数据与第一样本数据,得到第一权重;
基于第一权重和第二权重满足的约束条件,确定第二权重;
基于第二权重及第二样本数据,确定出第二监测数据,其中,所述第二样本数据为所述第一样本数据的降维数据;所述第二监测数据为所述第一监测数据的降维数据。
基于上述方案,所述基于所述第一监测数据与第一样本数据,得到第一权重,包括:
根据调优参数,得到位于取值区间内的第一权重。
基于上述方案,位于所述取值区间内的所述第一权重,满足如下函数关系:
Figure BDA0001933377710000021
其中,pj|i为第i个所述第一监测数据到第j个所述第一样本数据的所述第一权重;n为所述第一样本数据的总个数;H为预先设定的约束参数。
基于上述方案,H的取值在1到7之间。
基于上述方案,所述根据调优参数,得到位于取值区间内的第一权重,包括:
Figure BDA0001933377710000022
其中,pj|i为第i个所述第一监测数据到第j个所述第一样本数据的所述第一权重;σi所述调优参数;Ai为第i个所述第一监测数据;Ni为所述第一样本数据中K个与Ai最近的第一样本数据的数据集合;Xk为第k个所述第一监测数据。
基于上述方案,所述基于第一权重和第二权重满足的约束条件,确定第二权重,包括:
采用如下函数关系,确定所述第二权重;
Figure BDA0001933377710000023
Rw为所述第二监测数据和所述第二样本数据的数据维度;pj|i为第i个所述第一监测数据到第j个所述第一样本数据的所述第一权重;n为所述第一样本数据的总个数;Bi为第i个所述第二监测数据。
基于上述方案,所述基于第二权重及第二样本数据,确定出第二监测数据,包括:
按照如下函数关系,基于所述第二权重及所述第二样本数据确定出所述第二监测数据;
Figure BDA0001933377710000031
qj/i为第i个所述第一监测数据到第j个所述第二样本数据的所述第二权重;Yk为第k个所述第二监测数据;n为所述第二样本数据的总个数;Yj为第k个所述第二监测数据;Bi为第i个所述第二监测数据。
基于上述方案,所述方法还包括:
将所述第二监测数据输入到训练后的深度学习模型,得到所述第二监测数据的识别信息,其中,所述深度学习模型为以所述第二样本数据为样本训练得到的。
一种数据处理装置,包括:
第一监测数据模块,用于获取监控对象的第一监测数据;
第一权重模块,用于基于所述第一监测数据与第一样本数据,得到第一权重;
第二权重模块,用于基于第一权重和第二权重满足的约束条件,确定第二权重;
第二监测数据模块,用于基于第二权重及第二样本数据,确定出第二监测数据,其中,所述第二样本数据为所述第一样本数据的降维数据;所述第二监测数据为所述第一监测数据的降维数据。
一种电子设备,其特征在于,包括:
存储器,
处理器,与所述存储器连接,用于通过执行位于所述存储器上的计算机可执行指令,实现前述一个或多个技术方案提供的数据处理方法。
一种计算机存储介质,所述计算机存储介质存储有计算机可执行指令,所述计算机可执行指令被处理器执行后,能够实现前述一个或多个技术方案提供的数据处理方法。
本发明实施例提供的技术方案,在采集到监控对象的第一监测数据之后,会与样本数据集中的第一样本数据计算出第一权重,然后基于第一权重和第二权重所满足的约束条件会得到第二权重,最后结合第二权重、第一样本数据降维后的第二样本数据,将得到降维后的第二监测数据,采用这种数据降维方式,相对于利用深度学习模型进行数据降维,具有不用训练降维模型,且仅引入了第一权重和第二权重为中间变量,中间变量少,计算量小且速率快。与此同时,参照第一样本数据和第一样本数据降维后的第二样本数据进行降维,如此,可以利用样本数据的降维减少需要保留的信息量的损失,从而提升了降维效果。
附图说明
图1为本发明实施例提供的第一种数据处理方法的流程示意图;
图2为本发明实施例提供的第二种数据处理方法的流程示意图;
图3为本发明实施例提供的一种数据处理装置的结构示意图;
图4为本发明实施例提供的一种数据降维后的效果示意图;
图5为本发明实施例提供的另一种数据处理装置的结构示意图;
图6为本发明实施例提供的第三种数据处理方法的流程示意图。
具体实施方式
以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。
如图1所示,本实施例提供一种数据处理方法,包括:
步骤S110:获取监控对象的第一监测数据;
步骤S120:基于所述第一监测数据与第一样本数据,得到第一权重;
步骤S130:基于第一权重和第二权重满足的约束条件,确定第二权重;
步骤S140:基于第二权重及第二样本数据,确定出第二监测数据,其中,所述第二样本数据为所述第一样本数据的降维数据;所述第二监测数据为所述第一监测数据的降维数据。
本实施例提供一种数据处理方法,在本实施例中,会获取监控对象的第一监测数据,该第一监测数据可为降维之前的原始数据,可为来自对监控对象进行监控的监控设备,例如,监控对象佩戴的传感器。若所述监控对象为可活动物体,则所述第一监测数据可为监控对象佩戴的运动传感器检测的运动数据。例如,所述运动数据包括:加速度传感器检测的加速度数据等。若所述监控对象为生命体,所述第一监测数据可为监控对象佩戴的生命体征传感器检测的生理信号。所述生理信号可包括:心跳信号或呼吸信号等。在一些实施例中,所述第一监测数据还可包括:监控用户的网络行为数据,该网络行为数据包括:用户使用网络时各种操作伴随的数据,例如,使用社交应用产生的社交行为数据,利用购物软件的网络购物行为数据、例如,使用阅读应用产生的网络阅读行为数据。当然以上仅是对第一监测数据的举例,具体实现时不局限于上述任意一种举例。
在本实施例中,所述第一监测数据相对于降维生成的第二监测数据是具有更高的数据维度的。例如,第一监测数据的数据维度为第一维度,所述第二监测数据的数据维度为第二维度,所述第一维度大于所述第二维度。若所述第一维度为J,则一条所述第一监测数据包括J个元素。
在本实施例中,所述第一样本数据和所述第一监测数据具有同样的数据维度,所述第二样本数据与所述第二监测数据具有同样的数据维度。
所述第二样本数据为所述第一样本数据的降维数据,如此,例如,对第一样本数据进行降维运算,得到所述第二样本数据。所述降维运算包括但不限于以下至少之一:
分布领域嵌入(SNE)算法;
t-分布领域嵌入(tSNE)算法;
主成成分分析(PCA)算法。
通过降维算法将第一样本数据降维处理之后,得到第二样本数据。
在本实施例中的步骤S120中将基于第一监测数据和第一样本数据得到一个权重,该权重又可以称之降维的参考变量。具体如,所述第一权重是基于第一监测数据与所述第一样本数据之间的距离确定的,此处的距离可称之为第一距离。例如,所述第一权重与所述第一距离正相关,即所述第一监测数据与所述第一样本数据之间的距离越大,表明所述第一监测数据与所述第一样本数据之间的差异越大,则所述第一权重越大。在一些实施例中,可以将所述第一监测数据和所述第一样本数据均视为向量,通过向量的点积求取所述第一距离。所述第一距离可为欧式距离。
在本实施例中,所述第二权重可是基于第二监测数据和第二样本数据计算得到的另一个参考变量。同样地,所述第二权重可与所述第二监测数据和所述第二样本数据之间的距离正相关的,此处的距离可为第二距离。第二距离的求取的可选方式,与第二距离类似。
在一些实施例中,基于第一监测数据和第一样本数据计算第一权重的第一函数关系,与基于第二监测数据和第二样本数据计算第二权重的第二函数关系可以相同。但是在一些实施例中,考虑到第一监测数据和第二监测数据的维度差异,第一函数关系和第二函数关系可不同。
但是在本实施例中,第一权重和第二权重满足预定的约束条件,若求取出了第一权重,再基于已知的约束条件,就可以求取出第二权重。
在求取出第二权重之后,就可以以第二权重和第二样本数据为已知量,输入到第二函数关系中,求取出第二监测数据,如此,就反向求取出了所述第一监测数据降维之后的第二监测数据。在本实施例中,求取所述第一监测数据的降维数据(第二监测数据)可以不再拘泥于神经网络等深度学习模型,从而减少了模型训练所产生的计算量,且计算涉及的中间变量仅包括第一权重及第二权重,具有计算量小及效率高的特点。且在降维的过程中,是参照第一样本数据和第一样本数据降维之后的第二样本数据来实现的,减少降维过程中需要保留的信息的丢失,确保了降维后的第二监测数据的信息量丢失。
在一些实施例中,所述方法还包括:
步骤S150:将所述第二监测数据输入到训练后的深度学习模型,得到所述第二监测数据的识别信息,其中,所述深度学习模型为以所述第二样本数据训练的。
在本实施例中,所述第二样本数据为训练深度学习模型的样本数据,如此,使用第二样本数据训练得到的深度学习模型,由于第二监测数据是比照第二样本数据降维生成的,该深度学习模型对第二监测数据具有很高的识别度,能够很好的基于第二监测数据得到所需的输出结果,例如,分类结果和/或聚类结果等。
例如,第一监测数据为运动数据为例,则第二监测数据也为运动数据,所述深度学习模型是以第二样本数据(同样是运动数据)进行训练的,如此,深度学习模型可以通过第二监测数据的处理,识别出第一监测数据所表征的动作类型和/或动作幅度等识别结果。
在一些实施例中,所述步骤S110可包括:根据调优参数,得到位于取值区间内的第一权重;例如,根据调优参数、及所述第一监测数据与所述第一样本数据之间的第一距离,得到位于取值区间内的第一权重。
所述第一距离可以用于表征所述第一监测数据与所述第一样本数据之间的差异度或相似度。所述调优参数可预先设定的或者计算的。通过调优参数的引入,可以使得第一权重的取值不至于过大或过小,而是位于预设取值区间内,方便后续的第二权重及第二监测数据的处理。
在一些实施例中,位于所述取值区间内的第一权重,满足如下函数关系:
Figure BDA0001933377710000081
其中,pj|i为第i个所述第一监测数据到第j个所述第一样本数据的所述第一权重;n为所述第一样本数据的总个数;H为预先设定的约束参数。
在本实施例中,所述H可为预先确定的,例如,H的取值在1到7之间。在还有一些实施例中,H的取值在1到5之间,或,H的取值在1到4之间。在一些实施例中,所述H还可为任意正数。通过pj|i的取值区间的设置,可以反向推导出调优参数的取值范围。例如,在一些实施例中,可以取第一监测数据中的一条或多条数据,确定出所述调优参数,一但调优参数确定之后,可以用于所有第一监测数据的第一权重的计算。
在一些实施例中,所述根据调优参数及所述第一距离,得到位于取值区间内的第一权重,包括:
Figure BDA0001933377710000082
其中,σi所述调优参数;Ai为第i个所述第一监测数据;Ni为所述第一样本数据中K个与Ai最近的第一样本数据的数据集合;Xk为第k个所述第一监测数据。
在本发明实施例中,函数关系中数学符号||||表示的两个向量之间的绝对值。绝对值的平方可表示为两个向量之间的距离。
在一些实施例中,所述步骤S130可包括:
采用如下函数关系,确定所述第二权重;
Figure BDA0001933377710000083
Rw为所述第二监测数据和所述第二样本数据的数据维度;pj|i为第i个所述第一监测数据到第j个所述第一样本数据的所述第一权重;n为所述第一样本数据的总个数;Bi为第i个所述第二监测数据。
所述Rw可为2或3等;例如,需要将所述第二监测数据降维之后映射到二维空间,则Rw为2;若需要将第二监测数据降维之后映射到三维空间,则Rw为3。
通过上述约束条件,就可以求取出所述第二权重。在一些实施例中,也可以通过如下函数关系,得到所述第二权重:
Figure BDA0001933377710000091
在本函数关系中的参数的含义可以函数关系
Figure BDA0001933377710000092
中的含义。
所述步骤S140可包括:
按照如下函数关系,基于所述第二权重及所述第二样本数据确定出所述第二监测数据;
Figure BDA0001933377710000093
qj/i为第i个所述第一监测数据到第j个所述第二样本数据的所述第二权重;Yk为第k个所述第二监测数据;n为所述第二样本数据的总个数;Yj为第k个所述第二监测数据;Bi为第i个所述第二监测数据。
在已知qj/i、Yk及Yj的情况下,就可以简便的求取出Bi;从而获得了Ai的降维数据Bi
如图3所示,本实施例提供一种数据处理装置,包括:
第一监测数据模块110,用于获取监控对象的第一监测数据;
第一权重模块120,用于基于所述第一监测数据与第一样本数据,得到第一权重;
第二权重模块130,用于基于第一权重和第二权重满足的约束条件,确定第二权重;
第二监测数据模块140,用于基于第二权重及第二样本数据,确定出第二监测数据,其中,所述第二样本数据为所述第一样本数据的降维数据;所述预设函数关系为:表征所述第二样本数据与所述第二样本数据之间的第二距离,与所述第二权重之间关联关系的函数关系;所述第二监测数据为所述第一监测数据的降维数据。
在一些实施例提供的所述第一监测数据模块110、第一权重模块120、第二权重模块130及第二监测数据模块140可为程序模块,所述程序模块被处理器执行之后,能够实现上述各个模块的功能。
在另一些实施例中,所述第一监测数据模块110、第一权重模块120、第二权重模块130及第二监测数据模块140可为软硬结合模块,所述软硬结合模块可包括各种类型的可编程阵列;所述可编程阵列包括但不限于现场可编程阵列或复杂可编程阵列。
在还有一些实施例中,所述第一监测数据模块110、第一权重模块120、第二权重模块130及第二监测数据模块140可为纯硬件模块,例如,专用集成电路等。
在一些实施例中,所述第一权重模块120,具体用于根据调优参数,得到位于取值区间内的第一权重。
在一些实施例中,位于所述取值区间内的所述第一权重,满足如下函数关系:
Figure BDA0001933377710000101
其中,pj|i为第i个所述第一监测数据到第j个所述第一样本数据的所述第一权重;n为所述第一样本数据的总个数;H为预先设定的约束参数。
在一些实施例中,H的取值在1到7之间。
在一些实施例中,所述第一权重模块120,具体用于根据如下函数关系及所述调优参数得到位于所述取值区间内的所述第一权重:
Figure BDA0001933377710000111
其中,σi所述调优参数;Ai为第i个所述第一监测数据;Ni为所述第一样本数据中K个与Ai最近的第一样本数据的数据集合;Xk为第k个所述第一监测数据。
在一些实施例中,所述第二权重模块130,具体用于采用如下函数关系,确定所述第二权重;
Figure BDA0001933377710000112
Rw为所述第二监测数据和所述第二样本数据的数据维度;pj|i为第i个所述第一监测数据到第j个所述第一样本数据的所述第一权重;n为所述第一样本数据的总个数;Bi为第i个所述第二监测数据。
在还有一些实施例中,所述第二监测数据模块140,具体用于按照如下函数关系,基于所述第二权重及所述第二样本数据确定出所述第二监测数据;
Figure BDA0001933377710000113
qj/i为第i个所述第一监测数据到第j个所述第二样本数据的所述第二权重;Yk为第k个所述第二监测数据;n为所述第二样本数据的总个数;Yj第k个所述第二监测数据;Bi为第i个所述第二监测数据。
在还有一些实施例中,所述装置还包括:
识别信息模块,用于将所述第二监测数据输入到训练后的深度学习模型,得到所述第二监测数据的识别信息,其中,所述深度学习模型为以所述第二样本数据为样本训练得到的。
以下结合上述任意实施例提供几个具体示例:
本发明基于穿戴在监控对象身上各部位上的运动传感器实现动作识别以及运动数据处理与分析。首先,会事先穿戴各类运动传感器,进而收集到指定运动下的数据,并相应地标注上述数据的运动类别;利用流形学习中的tSNE算法将上述数据进行降维,并将所得到的降维后的样本数据并保存;进行动作识别时,在同样的位置穿戴相应的动作传感器,将收集到的动作数据以时序的形式进行数据降维处理,并利用降维后的数据进行分类从而实现动作识别。另外,可以将获得的降维数据收集并分析,进而做到对运动规律的统计。
本示例提出一种基于流数据降维的动作识别算法,可包括以下步骤:
S1.样本数据收集以及降维数据生成:收集在指定动作(例如:站、走、趟、坐)下的所有穿戴传感器所采集到的数据,利用流形学习中的tSNE算法,选择合适的参数将上述样本数据降维(降维后数据维度为2维),使的降维后的样本数据尽可能按照不同动作类别分开(或采用各类聚类衡量指标,例如ARI等);
S2.动作数据降维以及动作识别:当收集到新的运动数据后,提出一种基于近邻的流形学***面中结合样本数据的降维结果,利用KNN实现动作识别;
S3.运动数据分析:一般情况下由于采集到的运动数据维度很高,如果不做处理无法直观的观测数据的规律,本发明中通过数据降维,将高维运动数据呈现在2维平面中,方便直观分析。
其中,步骤S1中,记收集到的原始样本数据集为X={X1,...,Xn},对应的运动标签为L={l1,...,ln}。经过tSNE降维后的数据记为Y={Y1,...,Yn},在步骤S2中会基于上述数据进行数据降维。
在步骤S2中,记新收集到的运动数据为Ai,本发明中的降维算法便是基于tSNE降维后的结果实现的,如果其他的降维结果更好的也可以换成其他的。计算Ai到样本数据集X中各点的权重pj|i
Figure BDA0001933377710000131
其中,pj|i为第i个所述第一监测数据到第j个所述第一样本数据的所述第一权重;Ni是在样本数据集中距离Ai最近的K个元素所构成的集合。另外事先确定一个正数H(一般考虑在1到5之间),使得选取合适的σi,让
Figure BDA0001933377710000132
计算得到pj|i后,记为Bi新数据Ai降维后的结果,定义在低维空间中Bi到Y各点的权重qj/i
Figure BDA0001933377710000133
为求得降维后的数据Bi,构造如下的目标函数:
Figure BDA0001933377710000134
同过对上述目标函数求解便能得到新收集到的运动数据Ai的降维后的结果。图4所示为一个二维平面内包含的降低后的数据示意图。在图4中标号0至9为10个不同运动类型的数据。
因为在每个样本数据都对应了相应的动作类别,所以通过在低维空间训练KNN算法,进而对新数据的降维Bi进行推断,在实现动作识别的同时大幅降低了计算成本。另外在步骤S3中的数据分析环节,可以根据降维后的数据绘制二维直方图,以便分析各类动作的分布规律。
如图5所示,本示例提供另一种数据处理装置,包括:
存储模块,可以用于存储第一样本数据及第二样本数据;
传感器模块,用于获取前述第一监测数据,例如,包括降维之前的运动数据;
数据降维模块,用于对原始的高维数据进行降维处理,得到低维度的数据。
动作识别模块,可以用于对降维后的数据进行识别,例如,对降低维度之后的运动数据进行动作类型的识别等;
动作分析模块,可以用于根据降低维度后的数据进行数据分析,和/或,对动作识别模块输出的识别结果进行分析,获得所需的分析结果。
如图6所示,本示例基于图5所示的数据处理装置,提供一种数据处理方法,可包括:
传感器模块收集运动数据;
集合样本数据集(包括所述第一样本数据和第二样本数据的数据集)进行数据降维;
利用低维空间中的算法进行推断及动作识别,获得识别结果;
结合已有数据进行动作分析。此处的,已有数据包括:样本数据集中的数据和/或降维后的第二监测数据。
本示例提出一种基于流数据降维的动作识别、分析的方法以及***,该***提出的动作识别算法大大的提高了动作识别的准确度,另外在实现动作识别的同时,同过对原始数据的降维处理更可以直观有效的进行数据分析。首先,本发明提出了一套针对高维数据的降维算法,该算法同现有专利有明显不同,并且降维效果也有所提高,另外该降维算法亦适用于流数据场景;另外,本发明基于上述降维算法解决动作识别问题,并且可以根据降维后的结果对运动规律进行相关分析。上述均为本法的欲保护点与关键点。
本发明实施例还提供一种计算机存储介质,所述计算机存储介质存储有计算机可执行指令;所述计算机可执行指令被执行后,能够实现前述一个或多个技术方案提供的数据处理方法;例如,如图1至图2及图6所示的方法。所述计算机存储介质可为非瞬间存储介质。
本实施例还提供一种电子设备,可运行前述任意技术方案提供的表格识别的方法,包括:
存储器,用于存储信息;
处理器,与所述存储器连接,用于通过执行位于所述处理器上的计算机可执行指令,控能够实现前述一个或多个技术方案提供的数据处理方法;例如,如图1至图2及图6所示的方法。所述计算机存储介质可为非瞬间存储介质。
所述通信接口可为各种类型的网络接口,可以用于信息的收发。
该存储器可为各种类型的存储器,可为随机存储器、只读存储器、闪存等。所述存储器可用于信息存储,例如,存储计算机可执行指令等。所述计算机可执行指令可为各种程序指令,例如,目标程序指令和/或源程序指令等。
所述处理器可为各种类型的处理器,例如,中央处理器、微处理器、数字信号处理器、可编程阵列、数字信号处理器、专用集成电路或图像处理器等。
所述处理器可以通过总线与所述存储器连接。所述总线可为集成电路总线等。
在一些实施例中,所述图像设备还可包括:通信接口,该通信接口可包括:网络接口、例如,局域网接口、收发天线等。所述通信接口同样与所述处理器连接,能够用于信息收发。
在一些实施例中,所述电子设备还可包括:人机交互接口,该人机交互接口可包括:键盘和/或鼠标等方便用户与电子设备交互信息。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个***,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理模块中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种数据处理方法,其特征在于,包括:
获取监控对象的第一监测数据;
基于所述第一监测数据与第一样本数据,得到第一权重;
基于第一权重和第二权重满足的约束条件,确定第二权重;
基于第二权重及第二样本数据,确定出第二监测数据,其中,所述第二样本数据为所述第一样本数据的降维数据;所述第二监测数据为所述第一监测数据的降维数据。
2.根据权利要求1所述的方法,其特征在于,
所述基于所述第一监测数据与第一样本数据,得到第一权重,包括:
根据调优参数,得到位于取值区间内的第一权重。
3.根据权利要求2所述的方法,其特征在于,
位于所述取值区间内的所述第一权重,满足如下函数关系:
Figure FDA0001933377700000011
其中,pj|i为第i个所述第一监测数据到第j个所述第一样本数据的所述第一权重;n为所述第一样本数据的总个数;H为预先设定的约束参数。
4.根据权利要求3所述的方法,其特征在于,
H的取值在1到7之间。
5.根据权利要求2所述的方法,其特征在于,
所述根据调优参数,得到位于取值区间内的第一权重,包括:
Figure FDA0001933377700000012
其中,pj|i为第i个所述第一监测数据到第j个所述第一样本数据的所述第一权重;σi所述调优参数;Ai为第i个所述第一监测数据;Ni为所述第一样本数据中K个与Ai最近的第一样本数据的数据集合;Xk为第k个所述第一监测数据。
6.根据权利要求1所述的方法,其特征在于,所述基于第一权重和第二权重满足的约束条件,确定第二权重,包括:
采用如下函数关系,确定所述第二权重;
Figure FDA0001933377700000021
其中,Rw为所述第二监测数据和所述第二样本数据的数据维度;pj|i为第i个所述第一监测数据到第j个所述第一样本数据的所述第一权重;n为所述第一样本数据的总个数;Bi为第i个所述第二监测数据。
7.根据权利要求1所述的方法,其特征在于,
所述基于第二权重及第二样本数据,确定出第二监测数据,包括:
按照如下函数关系,基于所述第二权重及所述第二样本数据确定出所述第二监测数据:
Figure FDA0001933377700000022
其中,qj/i为第i个所述第一监测数据到第j个所述第二样本数据的所述第二权重;Yk为第k个所述第二监测数据;n为所述第二样本数据的总个数;Yj为第k个所述第二监测数据;Bi为第i个所述第二监测数据。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述第二监测数据输入到训练后的深度学习模型,得到所述第二监测数据的识别信息,其中,所述深度学习模型为以所述第二样本数据为样本训练得到的。
9.一种数据处理装置,其特征在于,包括:
第一监测数据模块,用于获取监控对象的第一监测数据;
第一权重模块,用于基于所述第一监测数据与第一样本数据,得到第一权重;
第二权重模块,用于基于第一权重和第二权重满足的约束条件,确定第二权重;
第二监测数据模块,用于基于第二权重及第二样本数据,确定出第二监测数据,其中,所述第二样本数据为所述第一样本数据的降维数据;所述第二监测数据为所述第一监测数据的降维数据。
10.一种电子设备,其特征在于,包括:
存储器,
处理器,与所述存储器连接,用于通过执行位于所述存储器上的计算机可执行指令,实现权利要求1至8任一项提供的方法。
11.一种计算机存储介质,所述计算机存储介质存储有计算机可执行指令,所述计算机可执行指令被处理器执行后,能够实现权利要求1至8任一项提供的方法。
CN201910000534.7A 2019-01-02 2019-01-02 数据处理方法及装置、电子设备及存储介质 Active CN111401393B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910000534.7A CN111401393B (zh) 2019-01-02 2019-01-02 数据处理方法及装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910000534.7A CN111401393B (zh) 2019-01-02 2019-01-02 数据处理方法及装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111401393A true CN111401393A (zh) 2020-07-10
CN111401393B CN111401393B (zh) 2023-04-07

Family

ID=71413094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910000534.7A Active CN111401393B (zh) 2019-01-02 2019-01-02 数据处理方法及装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111401393B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015158198A1 (zh) * 2014-04-17 2015-10-22 北京泰乐德信息技术有限公司 一种基于神经网络自学习的故障识别方法及***
CN108596630A (zh) * 2018-04-28 2018-09-28 招商银行股份有限公司 基于深度学习的欺诈交易识别方法、***及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015158198A1 (zh) * 2014-04-17 2015-10-22 北京泰乐德信息技术有限公司 一种基于神经网络自学习的故障识别方法及***
CN108596630A (zh) * 2018-04-28 2018-09-28 招商银行股份有限公司 基于深度学习的欺诈交易识别方法、***及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
高飞等: "基于样本类别确定度的半监督分类", 《北京航空航天大学学报》 *
黄红兵: "宏流形学习及其在监督分类中的应用", 《遥感信息》 *

Also Published As

Publication number Publication date
CN111401393B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
Bargshady et al. Enhanced deep learning algorithm development to detect pain intensity from facial expression images
CN108595585B (zh) 样本数据分类方法、模型训练方法、电子设备及存储介质
Jordao et al. Novel approaches to human activity recognition based on accelerometer data
CN113158793B (zh) 一种基于多特征融合的多类运动想象脑电信号识别方法
Le et al. Robust hand detection in vehicles
US20110282828A1 (en) Method of identification and devices thereof
KR20170091963A (ko) 근전도 신호를 이용한 동작 분류 방법 및 장치
CN103886341A (zh) 基于特征组合的步态行为识别方法
CN111954250B (zh) 一种轻量级Wi-Fi行为感知方法和***
CN104616002A (zh) 用于年龄段判断的面部识别设备
CN111914643A (zh) 一种基于骨骼关键点检测的人体动作识别方法
CN115482498A (zh) 基于视频的智慧养老监控***及其方法
US20230022206A1 (en) Infrared image sequence-based sleep quality evaluation system and method
CN113435432B (zh) 视频异常检测模型训练方法、视频异常检测方法和装置
Lederman et al. Alternating diffusion for common manifold learning with application to sleep stage assessment
CN116311539B (zh) 基于毫米波的睡眠动作捕捉方法、装置、设备及存储介质
CN111931616A (zh) 基于移动智能终端传感器设备的情绪识别方法及***
CN112052816A (zh) 基于自适应图卷积对抗网络的人体行为预测方法及***
CN110598599A (zh) 基于Gabor原子分解的人体异常步态检测方法和装置
CA2773925A1 (en) Method and systems for computer-based selection of identifying input for class differentiation
CN111063438B (zh) 一种基于红外图像序列的睡眠质量评估***和方法
Zhang et al. ATMLP: Attention and Time Series MLP for Fall Detection
CN111401393B (zh) 数据处理方法及装置、电子设备及存储介质
CN113837390A (zh) 一种模态信息补全方法、装置及设备
Dong et al. Scene-oriented hierarchical classification of blurry and noisy images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant