CN114818788A - 基于毫米波感知的追踪目标状态识别方法和装置 - Google Patents

基于毫米波感知的追踪目标状态识别方法和装置 Download PDF

Info

Publication number
CN114818788A
CN114818788A CN202210360722.2A CN202210360722A CN114818788A CN 114818788 A CN114818788 A CN 114818788A CN 202210360722 A CN202210360722 A CN 202210360722A CN 114818788 A CN114818788 A CN 114818788A
Authority
CN
China
Prior art keywords
state
data
target
point cloud
millimeter wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210360722.2A
Other languages
English (en)
Inventor
周安福
曾宪林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202210360722.2A priority Critical patent/CN114818788A/zh
Publication of CN114818788A publication Critical patent/CN114818788A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供一种基于毫米波感知的追踪目标状态识别方法和装置，方法包括：基于毫米波雷达接收到的毫米波信号实时获取点云数据；基于获得的点云数据进行目标追踪，确定追踪目标的空间坐标数据；对预定长度的时间窗口内的、与追踪目标相关的点云数据按帧进行数据拆分，基于拆分的数据生成各帧数据对应的多维数据矩阵；并将多维数据矩阵输入至预训练的神经网络模型，该神经网络模型包括多层卷积层、LSTM网络层和全连接分类器，由全连接分类器输出追踪目标的状态的预测结果，追踪目标的状态包括多种动作状态；基于追踪目标状态预测结果和预先建立的有限状态机确定追踪目标的最终状态。

Description

基于毫米波感知的追踪目标状态识别方法和装置
技术领域
本发明涉及毫米波感知技术领域，尤其涉及一种基于毫米波感知的追踪目标状态识别方法和装置。
背景技术
毫米波技术可以提供亚毫米级的精确度并且可以穿透某些特定材料，例如塑料、衣物等，且不易受雨、雾、灰尘和雪等环境条件的影响。毫米波同时还可作为一种极有价值的感知技术，可以检测目标并提供这些目标的距离，速度和角度。毫米波传感器已广泛用于自动驾驶、工业、无人机和医学应用等领域。各种毫米波感知技术，如基于毫米波的手势识别、步态识别以及心跳呼吸识别等，可以为用户提供更加智能、便捷、有趣的产品体验，随着5G技术的飞速发展与成熟，毫米波无线模块将被广泛地安装在手机、可穿戴设备及更多的物联网设备上。
基于毫米波技术可以实现非接触式的无需摄像机的人员状态识别，其具有隐私保护、舒适性好、被动监测等优点。现有的状态识别还包括基于视频的状态识别技术、基于可穿戴传感器的状态识别技术和基于RF信号的状态识别技术。
其中，基于视频的状态识别技术需要在感知范围内安装摄像装置，通过连续的视频拍摄，捕捉目标的连续动作变化，再利用目标检测等算法检测每一帧中目标的位置，通过状态识别算法提取连续在多帧中，目标完成的动作，通常选用机器学习或深度学习方法进行状态识别。由于基于视频的状态识别技术会用到摄像设备，因此对于一些敏感环境，如卧室、浴室等环境，会存在隐私泄露的风险，用户接受度较低，同时成本较高。并且基于视频的方法对于光线要求较高，且在烟雾、雨雪等不良环境中不能工作。
基于可穿戴设备的状态识别技术需要用户主动佩戴相关传感器设备，通过陀螺仪、加速度传感器等仪器来捕捉用户肢体或躯干的变化，通过数据去噪、处理和分析，可以得到用户在不同状态中的传感器信号变化曲线，通过与状态曲线模板匹配或其他识别方式来对用户状态进行识别。但是佩戴传感器会影响用户体验感，舒适度较低，数据收集的连续性依赖于用户的配合度。此外还存在设备充电、定期维护等额外负担。且传感器由于佩戴在用户的不同部位，如手腕或脚踝等，获取的数据也主要关注完成某动作时该部位的变化，而不是关注用户的全身运动信息，所以可识别动作较少，准确率也不是很高，例如对于缓慢跌倒的识别率较低等。
基于RF(射频)信号的状态识别技术是通过雷达发射RF波，利用反射信号来获取目标的位置与状态。但用传统RF信号测得距离的分辨率远差于毫米波信号，定位与追踪不如毫米波精细。
目前还有利用调频连续波(FrequencyModulatedContinuousWave，FMCW)作为毫米波信号实现轨迹追踪及跌倒检测的技术，但目前这种技术仅限于识别有限的状态，如跌倒，也即可识别的状态比较单一，此外其基于点云数据信息利用阈值进行逻辑判断，准确率不够高。
虽然目前毫米波识别技术开始应用于人员状态识别，但如何更准确地实现更多种人员状态的识别，还是一个有待解决的问题。
发明内容
鉴于此，本发明实施例提供了一种基于毫米波感知的追踪目标状态识别方法和装置，以消除或改善现有技术中存在的一个或更多个缺陷。
本发明的一个方面提供了一种基于毫米波感知的追踪目标状态识别方法，该方法包括以下步骤：
基于毫米波雷达接收到的毫米波信号实时获取点云数据，所述点云数据包括各个检测点的空间坐标数据、多普勒速度信息和信噪比；
基于获得的点云数据进行目标追踪，确定追踪目标的空间坐标数据；
对预定长度的时间窗口内的、与所述追踪目标相关的点云数据按帧进行数据拆分，基于拆分的数据生成各帧数据对应的多维数据矩阵，所述多维数据矩阵至少包括多个属性的数据，所述多个属性的数据包括空间坐标属性以及以下属性中的至少一种：多普勒速度属性和信噪比属性；
将各帧数据对应的多维数据矩阵输入至预训练的神经网络模型，输出追踪目标状态预测结果，其中所述预训练的神经网络模型包括通道数与所述多维数据矩阵中数据的属性数相同的多通道数的多层卷积层、LSTM网络层和全连接分类器；各帧数据对应的多维数据矩阵中各个属性的数据分别输入至相应通道的多层卷积层，并输出各帧对应的特征序列作为所述LSTM网络层的输入，所述LSTM网络层的输出经融合后输入至所述全连接分类器，以由所述全连接分类器输出追踪目标的状态的预测结果，所述追踪目标的状态包括多种动作状态；
基于所述追踪目标状态预测结果和预先建立的有限状态机确定追踪目标的最终状态。
在本发明的一些实施例中，所述多层卷积层输出的各帧对应的特征序列为一维特征序列，所述全连接分类器输出追踪目标的状态的预测结果为各动作状态的预测概率值。
在本发明的一些实施例中，所述动作状态选自以下状态中的部分或全部：站、跌、走、跑、跳、坐和躺。
在本发明的一些实施例中，所述方法还包括：神经网络模型训练步骤。
在本发明的一些实施例中，所述多维数据矩阵的中心坐标为追踪目标的空间坐标，所述基于拆分的数据生成各帧数据对应的多维数据矩阵包括：
在当前帧的点云数据中的检测点的数量小于预定数目时，使用距离当前帧的目标中心点最近的前一帧的部分检测点进行空缺数据填充，直至当前帧的点云数据中的检测点的数量达到所述预定数目。
在本发明的一些实施例中，所述预先建立的有限状态机中含有以各动作状态为节点的各状态之间的变换关系以及状态预测概率最小阈值。
在本发明的一些实施例中，所述基于所述追踪目标状态预测结果和预先建立的有限状态机确定追踪目标的最终状态包括，
所述追踪目标的最终状态为符合状态之间的变换关系且预测概率值大于预设的概率阈值的状态，或者为不改变的状态。
在本发明的一些实施例中，所述方法还包括：基于有限状态机确定的追踪目标的最终状态，产生提示信息和/或向通信终端发送提示信息。
本发明的另一方面提供了一种基于毫米波感知的追踪目标状态识别装置，该装置包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述方法的步骤。
本发明的另一方面，还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如前所述方法的步骤。
本发明的基于毫米波感知的追踪目标状态识别方法和装置，能够在不受光线影响、无需佩戴传感器且没有隐私泄露风险的情况下进行追踪目标(如人)的动作状态的识别。
作为示例，追踪目标的状态识别可识别的状态可包含走、跑、坐、跳、躺、站和跌等，基本涵盖所有的常见动作状态。
在本发明一些实施例中，还可以实现多人实时状态监测，具有较高的准确率和较强的实用性。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。
图1为本发明一实施例中基于毫米波的人员状态识别方法流程示意图。
图2为本发明一实施例中基于毫米波的人员状态识别过程示意图。
图3为现有技术中毫米波雷达信号分析流程示意图。
图4为基于毫米波雷达进行聚类追踪算法流程示意图。
图5为本发明一实施例中用于状态识别的神经网络模型示意图。
图6为本发明一实施例中有限状态机结构图结构示意图。
图7为本发明一实施例中有限状态机的3种出边示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
本发明提出了一种基于毫米波的非接触式状态识别方法和对应的装置。由于使用毫米波实现状态感知,在毫米波感知范围内，无需用户佩戴任何可穿戴设备或传感器，便可对用户的动作状态进行实时识别，可识别的状态可覆盖大多数常见状态，如包括走、跑、坐、躺、跳、站和跌等动作状态。图1为本发明一实施例中基于毫米波的人员状态识别方法的流程示意图，图2所示为本发明一实施例的基于毫米波的人员状态识别过程示意图。如图2所示，本实施例首先基于毫米波雷达探测到的原始信号(毫米波信号)生成点云数据，点云数据中含有检测点的空间坐标、多普勒数据和信噪比等原始信息，然后基于点云数据通过聚类追踪算法进行聚类，识别出各个追踪目标(如被测人员)用于进行目标定位和追踪，然后利用本发明建立的用于状态识别的神经网络模型(动作分类算法)来进行动作分类，得到追踪目标状态预测结果(如目标处于各个状态的概率)，然后基于追踪目标状态预测结果和预先建立的有限状态机确定追踪目标的最终状态，从而完成状态识别。如图1所示，本发明一实施例的基于毫米波的人员状态识别方法包括以下步骤S1-S5：
步骤S1,基于毫米波雷达接收到的毫米波信号实时获取点云数据。
所述点云数据可包括各个检测点的空间坐标数据、多普勒速度信息和信噪比等信息。
作为示例，毫米波雷达为德州仪器(Texas Instruments,TI)毫米波雷达IWR6843，其为FMCW毫米波雷达，但本发明并不限于此。毫米波雷达设备具有3个发射天线和4个接收天线。毫米波雷达连续发射毫米波，雷达发出的毫米波经人的身体反射后，被雷达的接收天线收，接收的原始信号在雷达中进行信号处理，生成点云数据。生成的点运数据包含与被测人员检测点相关的一些特征值。
图3为现有毫米波雷达信号的分析流程示意图。如图3所示所示,经过TI毫米波雷达IWR 6843的距离处理、Capon波束形成器、目标检测和多普勒估算等步骤，将毫米波雷达接收到的原始信号处理成包含各检测点的空间坐标x、y、z，多普勒速度信息和信噪比等特征值的点云数据。由于图3为现有的点云数据生成过程，在此不做详细赘述。
在本发明实施例中，所说的反射雷达毫米波的也可以是人类之外的其他动物、仿生机器人等，但本发明并不限于这些举例，还可以是任何需要检测状态变化的被测对象。
步骤S2,基于获得的点云数据进行目标追踪，确定追踪目标的空间坐标数据。
更具体地，对点云数据进行聚类，基于聚类结果可确定被测人员以及各被测人员对应的点云数据。基于各被测人员的点云数据可对被测人员进行定位和轨迹追踪。
图4为对点云数据进行聚类追踪算法流程示意图。如图4所示，将处理生成的每一帧的点云数据送入聚类追踪算法中，通过追踪算法将新一帧的点关联到可追踪单元上或者聚为新的一类，并通过基于扩展卡曼滤波的更新算法来修正目标的位置，以实现被测人员的区分、定位与追踪。然后通过UART串口输出目标数据，包括每个被测人员的标识ID和点云数据，其中点云数据包含追踪目标(被测人员)点云的空间坐标x、y、z、点云的多普勒速度信息、点云的信噪比等。在得到追踪目标点云的位置、多普勒速度、信噪比等信息后，后续可将数据逐帧输入进动作分类算法，实现对动作的分类；并进一步将得到的分类预测结果和预测概率输入进有限状态机，有限状态机根据自身结构进行逻辑判断，得到目标的最终状态。因此，聚类后得到的以上数据将作为状态识别算法的数据源。由于追踪算法为现有点云数据处理中成熟的算法，在此不做详述。
基于步骤S2，本发明还可以用来进行感知区域内人数的确认、人流量的计算等。
步骤S3，对预定长度的时间窗口内的、与追踪目标相关的点云数据按帧进行数据拆分，基于拆分的数据生成各帧数据对应的多维数据矩阵。
所述多维数据矩阵至少包括多个属性的数据，所述多个属性的数据包括空间坐标属性以及以下属性中的至少一种：多普勒速度数据和信噪比数据。
在本发明实施例中，着重解决的是如何使用毫米波雷达提取的目标点云数据准确地进行人员状态识别。为了解决这一问题，本发明将点云数据按照空间和属性进行了拆分，并设计了一个神经网络(Neural Network,NN)模型，用于提取点云数据的空间特征与时序特征，最后通过分类器进行准确的状态识别。本发明提出的点云数据按照空间和属性进行拆分，能够解决数据杂糅带来的特征模糊问题，能够使神经网络提取点云数据在空间和时间维度的特征更加高效。
本发明进一步要解决的是如何在复杂的现实情况下维持目标的状态信息，达到状态保持与迁移目的，实现长时间的状态持续监测，提高状态识别的准确率。为此，本发明还提出了使用有限状态机(Finite State Machine，FSM)维护目标状态信息的方法，将用户所处的状态抽象成FSM的结点，将引起状态转换的动作抽象成FSM的边，将状态的区分问题化归为对于状态转换动作的分类问题，状态机根据神经网络的输出和自身结构利用逻辑判断的方式完成状态迁移，得到目标的最终状态，如后面步骤S5中所描述的。本发明提出的基于有限状态机的人员状态识别方法，通过将人员的状态抽象成FSM的点，将引起状态变化的动作抽象成FSM的边，准确且高效的维护了人员的动作状态信息。
作为示例，在本步骤中，可对长度为n帧的时间窗口内的、与追踪目标相关的点云数据按帧进行数据拆分，基于拆分的数据生成各帧数据对应的多维数据矩阵(如4维数据矩阵)，作为预训练的神经网络模型的输入，如图5所示。
时间窗口用于维护每个被测人员预设时间段的数据，时间窗口大小的为n帧，包含了每个被测人员相关的最近n帧的点云数据信息，例如包括点云数据的空间坐标x、y、z，多普勒速度信息，信噪比这五个属性的信息。实践中，n的取值为10效果相对较好，但本发明并不限于此，还可以是5、15、20等大于或小于10的数值，可以基于实际的应用场景做到实时性和检测效果的均衡。作为示例，每个被测人员的点云聚类范围为一个2m*2m*2m的立方体(本发明并不限于此)，将分辨粒度取为4cm(基于分辨率，也可以是其他数值)，则每个方向都有50个粒度单位；以被测人员经过追踪算法之后的追踪目标的空间位置信息为多维数据矩阵的中心坐标，记作x0、y0、z0。将被测人员的点云数据信息根据空间粒度逐帧拆分整理，用按空间粒度逐帧拆分生成的信息及点云数据的五个属性建立一个50*50*50*5的4维数据矩阵。遍历所有的点云数据，根据各检测点的空间坐标x、y、z与中心坐标x0、y0、z0的差值，计算出各检测点在数据矩阵的空间坐标(i，j，k)，将空间坐标i、j、k、多普勒速度、信噪比五个属性填入数据矩阵对应的位置。
在本发明一实施例中，所述基于拆分的数据生成各帧数据对应的多维数据矩阵包括：在当前帧的点云数据中的检测点的数量小于预定数目时，使用距离当前帧的目标中心点最近的前一帧的部分检测点进行空缺数据填充，直至当前帧的点云数据中的检测点的数量达到所述预定数目。举例来说，在没有数据填充的位置将其值设置为0；如果当前帧的点云数据过少，则可采用数据重用的方式，取离当前帧目标中心点最近(欧氏距离最短)的前一帧中的部分点云数据进行空缺数据填充，直至点的个数达到预定数量，如64个。
步骤S4,将各帧数据对应的多维数据矩阵输入至预训练的神经网络模型，输出追踪目标状态预测结果。
其中，预训练的神经网络模型包括通道数与所述多维数据矩阵中数据的属性数相同的多通道数的多层卷积层、长短期记忆(LSTM，Long Short-Term Memory，LSTM)网络层和全连接分类器；各帧数据对应的多维数据矩阵中各个属性的数据分别输入至相应通道的多层卷积层，并输出各帧对应的特征序列作为所述LSTM网络层的输入，所述LSTM网络层的输出经融合后输入至所述全连接分类器，以由所述全连接分类器输出追踪目标的状态的预测结果，所述追踪目标的状态包括多种动作状态。本发明实施例的神经网络架构，卷积层用于提取点云各属性在空间维度的特征，LSTM网络用于提取点云在时间维度的特征，用于更精确地进行分类。
作为示例，将步骤S3中生成的含有5个属性的多维数据矩阵(如4维数据矩阵)输入至5通道卷积层，用类似RGB图像的特征提取方式，提取每一帧中点云数据各个属性的空间特征，将具有点云数据5个属性的数据矩阵的看做5个通道，采用5通道的卷积层对进行特征提取，对时间窗口内的每一帧数据进行上述的卷积过程，5通道的卷积层执行卷积后输出总的特征序列X0、X1…Xn-1；卷积后的特征序列进入LSTM网络层，因为被测人员的动作在时间维度具有连续性，将卷积后的特征序列X0、X1…Xn-1输入进LSTM网络层能够学习到点云数据在时间维度的特征，输出时序特征h0,h1,…,hn-1；将LSTM网络层的输出的时序特征进行特征融合，连接成一个向量并将该向量输入进全连接分类器进行分类，得到结果处在多种动作状态(多种动作状态可选自以下状态中的部分或全部：站、跌、走、跑、跳、坐和躺)中的一个的具体分类结果及其预测概率值。
在本发明实施例中，时间窗口大小n、数据矩阵维度数、数据矩阵的属性数、点云聚类范围的分辨粒度、空缺数据填充个数可以根据需要进行适应性调整，而不限于如上示例。
将点云数据按照空间坐标对x、y、z、多普勒速度信息、信噪比五个属性进行空间拆分整理，并分别进行卷积提特征，不仅能够提取出点云数据空间维度的特征，还能够避免不同属性之间的干扰，保证每个属性的特征正确、高效的提取，还可以避免属性杂糅导致的特征模糊。
在本发明一实施例中，追踪目标状态识别方法还包括训练步骤，用于基于事先准备的训练集数据对模型进行训练。
步骤S5,基于所述追踪目标状态预测结果和预先建立的有限状态机确定追踪目标的最终状态。
本发明提出的基于有限状态机的人员状态识别方法，将人员的状态抽象成FSM(有限状态机)的点，将引起状态变化的动作抽象成FSM的边，可以准确且高效的维护被测人员的状态信息，排除状态识别的神经网络输出中不准确的分类预测结果。
预先建立的有限状态机中含有以各动作状态为节点的各状态之间的变换关系以及状态预测概率最小阈值。图6为本发明一实施例中有限状态机结构图结构示意图。如图6所示，有限状态机定义了目标在感知场景范围内所有可能的状态，包括走、跑、坐、跳、躺、站和跌，每个状态对应有限状态机上的一个节点；有限状态机同时还定义了状态转移的条件，如图7所示，每条边对应一种状态转移条件，从A到B的单向边表示只能由状态A转移到状态B，从C到D的双向边表示在满足条件的情况下，状态C和状态D之间可以相互转移，从E到E的自旋边表示未发生状态转移动作，状态保持不变，除自旋边外，每条边都对应一种动作和一个概率最小阈值θ，概率最小阈值可基于经验设定为0.75，但本发明并不限于此。概率最小阈值为可调节参数，可根据需要进行调节。
当得到神经网络模型的输出之后，将得到的分类预测结果和预测概率输入进有限状态机，有限状态机会根据自身结构进行逻辑判断后得到追踪目标最终的状态：追踪目标的最终状态为符合状态之间的变换关系且预测概率值大于预设的概率最小阈值的状态，或者为不改变的状态。有限状态机会检查当前所处状态对应节点的所有出边对应的动作和概率值与得到的神经网络模型的输出是否匹配，当匹配成功(出边对应的动作符合状态之间的变换关系且预测概率值大于预设的概率最小阈值)时，认为该分类预测结果准确，状态沿着出边发生转移，输出被测人员运动状态；当所有的出边都失配时，状态沿自旋边保持不变，输出被测人员状态未发生变化。
上述可知，本发明通过毫米波雷达实现了非接触式的状态识别，本发明提出的状态识别算法采用有限状态机(FiniteStateMachine，FSM)和神经网络(NeuralNetwork,NN)作为工具，将用户所处的状态抽象成FSM的结点，将引起状态转换的动作抽象成FSM的边，将状态的区分问题化归为对于状态转换动作的分类问题；使用神经网络对动作进行分类，将毫米波雷达采集的点云数据，包括位置、多普勒、信噪比等，作为神经网络模块的输入，神经网络模块给出分类预测结果和预测概率；有限状态机根据上述输出和自身结构利用逻辑判断的方式完成状态迁移，得到目标的最终状态，便可对用户的实时状态进行识别，包括走、跑、坐、躺、跳、站和跌等。
利用本发明提出的基于毫米波的非接触式状态识别方法，场景中出现的所有被测人员都按照下述步骤进行状态识别：当追踪单元在感知场景中首次出现时，***会为该被测人员在有限状态机定位一个节点，用于维护该被测人员的状态信息，其初始状态默认设置为站，对应有限状态机上的初始状态节点。当获取的被测人员数据达到了时间窗口大小设定的帧数n时，将被测人员相关数据处理后输入到神经网络模型中进行动作分类，在经过神经网络模型分类后，得到动作分类的预测结果及其预测概率，将神经网络模型的输出作为有限状态机的输入；有限状态机状态机检查当前所处状态对应的节点的所有的出边，用神经网络模型的输出和出边上定义的条件进行匹配，如果匹配成功，则沿着边进行状态转移，如果所有边都匹配失配，则自旋，经过上述步骤，状态机输出目标的最终状态。
本发明通过选用具有一定穿透能力的毫米波，能够不受光线强弱、烟雾、雨雪等不良环境的影响，可以达到多场景应用；无需佩戴传感器或可穿戴设备，可以为用户提供更舒适的使用体验；且感知区域内无需安装摄像头，没有隐私泄露风险；可检测的状态包含走、跑、坐、跳、躺、站和跌，基本涵盖所有的常见状态，可以提供更全面的用户活动数据；由于毫米波雷达可以连续发送FMCW毫米波，还可以实现在复杂的现实情况下维持目标的状态信息，达到状态保持与迁移目的，实现长时间人员轨迹追踪和状态连续监测，避免非连续监测存在的偶然性，提供更加客观的用户活动数据；同时还可以实现多人实时状态监测，具有较高的准确率和较强的实用性，解决了传统方法存在的一些弊端。
本发明可以应用于多种不同的情境。举例来说，这些场景可包括：1)家庭成员的家居活动习惯分析。例如可以通过长期记录家庭成员的活动轨迹和状态，通过大数据分析，对人员提出个性化健康指导建议，如久坐提醒等，进行家庭成员的家居活动习惯分析；2)智能家居控制与节能。例如可以根据用户的位置和状态，结合物联网控制***，在用户回家或夜间起夜时，自动开启灯光***，在用户睡觉或离开房间时自动关闭空调或灯光***，还可根据不同人数和活动状态对空调档位、灯光强弱信息智能调节，为用户提供更加便捷智能和舒适的生活环境，同时还可以防止电力浪费，达到节能环保的效果；3)用户健康状态监测。例如可以通过监测用户起夜次数和时间，分析用户的睡眠质量，进而反映其健康状况，为医生诊疗提供客观的数据。此外，还可用于检测家庭成员是否跌倒，特别是对于独居老人家庭，老人摔倒后可在第一时间通过软件、短信等发送提示信息通知家人或护工提供救助。以上仅为本发明应用场景的一些举例，本发明并不限于此。
在本发明的一些实施例中，所述基于毫米波感知的追踪目标状态识别方法还包括：基于有限状态机确定的追踪目标的最终状态，产生提示信息和/或向通信终端发送提示信息。也即在判断最终状态为跌倒状态等危险状态或其他需要提示的状态时，会自动提示信息和/或自动向事先关联的通信终端发送提示信息，从而可以使得可以第一时间获知该状态并采取相应的措施，起到保障人员安全等作用。
此外，除了居家使用外，根据本发明***露隐私、穿透性强的特性，本发明还可结合其他设备用于医院内人员状态监测，如需要保护隐私的卫生间、病房等，还可以用于更衣室或其他需要保护隐私的区域，以便在保护隐私的同时及时为人员提供救助；本发明还可用于其他不能安装摄像头的区域，如保密机构、银行等，可以实现对进入感知区域的被测人员进行状态、轨迹检测，通过结合其它设备还可以实现在不符合预设条件时，当检测到感知区域有人员运动轨迹或动作时进行提示。
与上述方法相应地，本发明还提供了一种基于毫米波感知的追踪目标状态识别装置，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述方法的步骤。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述边缘计算服务器部署方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、***和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于毫米波感知的追踪目标状态识别方法，其特征在于，该方法包括以下步骤：
基于毫米波雷达接收到的毫米波信号实时获取点云数据，所述点云数据包括各个检测点的空间坐标数据、多普勒速度信息和信噪比；
基于获得的点云数据进行目标追踪，确定追踪目标的空间坐标数据；
对预定长度的时间窗口内的、与所述追踪目标相关的点云数据按帧进行数据拆分，基于拆分的数据生成各帧数据对应的多维数据矩阵，所述多维数据矩阵至少包括多个属性的数据，所述多个属性的数据包括空间坐标属性以及以下属性中的至少一种：多普勒速度属性和信噪比属性；
将各帧数据对应的多维数据矩阵输入至预训练的神经网络模型，输出追踪目标状态预测结果，其中所述预训练的神经网络模型包括通道数与所述多维数据矩阵中数据的属性数相同的多通道的多层卷积层、LSTM网络层和全连接分类器；各帧数据对应的多维数据矩阵中各个属性的数据分别输入至相应通道的多层卷积层，并输出各帧对应的特征序列作为所述LSTM网络层的输入，所述LSTM网络层的输出经融合后输入至所述全连接分类器，以由所述全连接分类器输出追踪目标的状态的预测结果，所述追踪目标的状态包括多种动作状态；
基于所述追踪目标状态预测结果和预先建立的有限状态机确定追踪目标的最终状态。
2.根据权利要求1所述的方法，其特征在于，所述多层卷积层输出的各帧对应的特征序列为一维特征序列，所述全连接分类器输出追踪目标的状态的预测结果为各动作状态的预测概率值。
3.根据权利要求1所述的方法，其特征在于，所述动作状态选自以下状态中的部分或全部：站、跌、走、跑、跳、坐和躺。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：神经网络模型训练步骤。
5.根据权利要求1所述的方法，其特征在于，所述多维数据矩阵的中心坐标为追踪目标的空间坐标，所述基于拆分的数据生成各帧数据对应的多维数据矩阵包括：
在当前帧的点云数据中的检测点的数量小于预定数目时，使用距离当前帧的目标中心点最近的前一帧的部分检测点进行空缺数据填充，直至当前帧的点云数据中的检测点的数量达到所述预定数目。
6.根据权利要求2所述的方法，其特征在于，所述预先建立的有限状态机中含有以各动作状态为节点的各状态之间的变换关系以及状态预测概率最小阈值。
7.根据权利要求6所述的方法，其特征在于，所述基于所述追踪目标状态预测结果和预先建立的有限状态机确定追踪目标的最终状态包括：
所述追踪目标的最终状态为符合状态之间的变换关系且预测概率值大于预设的概率阈值的状态，或者为不改变的状态。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于有限状态机确定的追踪目标的最终状态，产生提示信息和/或向通信终端发送提示信息。
9.一种基于毫米波感知的追踪目标状态识别装置，包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如权利要求1至8中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至8中任一项所述方法的步骤。
CN202210360722.2A 2022-04-07 2022-04-07 基于毫米波感知的追踪目标状态识别方法和装置 Pending CN114818788A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210360722.2A CN114818788A (zh) 2022-04-07 2022-04-07 基于毫米波感知的追踪目标状态识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210360722.2A CN114818788A (zh) 2022-04-07 2022-04-07 基于毫米波感知的追踪目标状态识别方法和装置

Publications (1)

Publication Number Publication Date
CN114818788A true CN114818788A (zh) 2022-07-29

Family

ID=82534889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210360722.2A Pending CN114818788A (zh) 2022-04-07 2022-04-07 基于毫米波感知的追踪目标状态识别方法和装置

Country Status (1)

Country Link
CN (1) CN114818788A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115909503A (zh) * 2022-12-23 2023-04-04 珠海数字动力科技股份有限公司 一种基于人体关键点的跌倒检测方法和***
CN117158967A (zh) * 2023-07-25 2023-12-05 北京邮电大学 一种基于毫米波感知的人员压力无感连续监测方法及***
CN117503092A (zh) * 2023-10-13 2024-02-06 中国人民解放军总医院第八医学中心 一种基于毫米波的icu谵妄风险实时评估方法
CN117557977A (zh) * 2023-12-28 2024-02-13 安徽蔚来智驾科技有限公司 环境感知信息获取方法、可读存储介质及智能设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115909503A (zh) * 2022-12-23 2023-04-04 珠海数字动力科技股份有限公司 一种基于人体关键点的跌倒检测方法和***
CN115909503B (zh) * 2022-12-23 2023-09-29 珠海数字动力科技股份有限公司 一种基于人体关键点的跌倒检测方法和***
CN117158967A (zh) * 2023-07-25 2023-12-05 北京邮电大学 一种基于毫米波感知的人员压力无感连续监测方法及***
CN117158967B (zh) * 2023-07-25 2024-06-04 北京邮电大学 一种基于毫米波感知的人员压力无感连续监测方法及***
CN117503092A (zh) * 2023-10-13 2024-02-06 中国人民解放军总医院第八医学中心 一种基于毫米波的icu谵妄风险实时评估方法
CN117557977A (zh) * 2023-12-28 2024-02-13 安徽蔚来智驾科技有限公司 环境感知信息获取方法、可读存储介质及智能设备
CN117557977B (zh) * 2023-12-28 2024-04-30 安徽蔚来智驾科技有限公司 环境感知信息获取方法、可读存储介质及智能设备

Similar Documents

Publication Publication Date Title
Luo et al. Temporal convolutional networks for multiperson activity recognition using a 2-d lidar
Dang et al. Sensor-based and vision-based human activity recognition: A comprehensive survey
Deep et al. A survey on anomalous behavior detection for elderly care using dense-sensing networks
CN114818788A (zh) 基于毫米波感知的追踪目标状态识别方法和装置
Shojaei-Hashemi et al. Video-based human fall detection in smart homes using deep learning
Mitchell Data fusion: concepts and ideas
CN108171278B (zh) 一种基于运动训练数据的运动模式识别方法和***
Hernandez-Penaloza et al. A multi-sensor fusion scheme to increase life autonomy of elderly people with cognitive problems
Jannat et al. Efficient Wi-Fi-based human activity recognition using adaptive antenna elimination
CN108662728B (zh) 信息处理方法、信息处理装置以及记录介质
CN115345908B (zh) 一种基于毫米波雷达的人体姿态识别方法
CN110456320A (zh) 一种基于自由空间步态时序特征的超宽带雷达身份识别方法
CN110991559B (zh) 一种室内人员行为非接触式协同感知方法
Li et al. Collaborative fall detection using smart phone and Kinect
CN115205891A (zh) 人员行为识别模型训练方法、行为识别方法及装置
CN112684430A (zh) 一种室内老人行走健康检测方法、***、存储介质、终端
Ma et al. Human motion gesture recognition based on computer vision
Kabir et al. CSI-IANet: An inception attention network for human-human interaction recognition based on CSI signal
Akilandeswari et al. Design and development of an indoor navigation system using denoising autoencoder based convolutional neural network for visually impaired people
Jain et al. Ambient intelligence-based multimodal human action recognition for autonomous systems
Yu et al. An intelligent implementation of multi-sensing data fusion with neuromorphic computing for human activity recognition
CN116626596A (zh) 一种基于毫米波雷达的社交意图识别方法及***
Thakur Vital sign monitoring based on remote PPG and WiFi
CN117520862B (zh) 一种基于rfid技术与切割菲涅尔区原理的手势识别方法
Memmesheimer On the recognition of human activities and the evaluation of its imitation by robotic systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination