发明内容
针对现有技术中的上述不足,本发明提供一种基于毫米波雷达点云的跌倒姿态识别方法及***。
为了达到上述发明目的,本发明采用的技术方案为:
一方面,一种基于毫米波雷达点云的跌倒姿态识别方法,包括以下步骤:
S1、采集毫米波雷达点云,并进行预处理,得到目标有效点云集;
S2、将目标有效点云集中各目标点云数据转换为待测人员空间位置坐标,并根据待测人员空间位置坐标构建三维笛卡尔坐标系;
S3、根据三维笛卡尔坐标系,计算目标有效点云集中各目标点云数据的重心坐标;
S4、根据各目标点云数据的重心坐标与目标有效点云集识别待测人员当前的跌倒姿态。
优选地,步骤S1具体包括以下分步骤:
S11、采集毫米波雷达点云,并判断毫米波雷达点云中是否缺失帧数据,若是则对缺失数据进行数据填充,并进入步骤S12;否则进入步骤S12;
S12、判断毫米波雷达点云各帧数据中点云数目是否满足预设点云检测数量,若是则融合不少于一帧的毫米波雷达点云数据,得到毫米波雷达点云数据集;否则返回步骤S11;
S13、利用基于密度的噪声应用空间聚类方法对毫米波雷达点云数据集进行聚类,得到目标有效点云集。
优选地,步骤S13具体包括以下分步骤:
A1、计算毫米波雷达点云数据集中各点云与其他点云间的欧式距离,其计算式表示为:
其中,dist(.)为欧式距离,X为毫米波雷达点云数据集,Y为毫米波雷达点云数据集X中除第i点xi的子集,yi为子集Y中第i点数据,Np为各帧毫米波雷达点云数据内点云数目,n为融合的毫米波雷达点云数据,(n·Np)为目标点云总数;
A2、根据欧式距离构建毫米波雷达点云数据集中各点云的k-距离集合;
A3、根据各点云的k-距离集合构建k-距离曲线图,以曲线拐点确定邻域半径;
A4、确定毫米波雷达点云数据集中各点在邻域半径中的数目,并计算各数目的期望,并将期望作为聚类中邻域半径内数据点个数的最优值,得到目标有效点云集,其中期望的计算式表示为:
其中,pi为第i点数据在邻域半径ε内点的个数,MinPts为数学期望。
优选地,步骤S2具体为:
根据空间极坐标到标准空间坐标的映射关系,将目标有效点云集中各点云数据转换为待测人员空间位置坐标,并根据待测人员空间位置坐标以毫米波雷达装置为坐标原点构建三维笛卡尔坐标系,其中空间极坐标到标准空间坐标的映射关系表示为:
其中,f为映射关系;
为空间极坐标,(x,y,z)为标准空间坐标,cos(.)为余弦函数,sin(.)为正弦函数,s为径向距离。
优选地,步骤S4具体包括以下分步骤:
S41、检测当前姿态,并判断当前姿态是否满足预设条件,若满足则进入步骤S42;否则,删除该组数据,重新计算当前姿态;
S42、根据各目标点云数据的重心坐标计算当前重心竖向速度分量,并判断重心竖向速度分量是否满足第一预设阈值,若满足则认为当前待测人员具有竖直方向运动趋势,并进入步骤S43;否则认为当前待测人员没有跌倒趋势;
S43、根据各目标点云数据计算各目标点云数据间实际高度,得到当前待测人员的重心高度,其计算式表示为:
其中,hg为当前待测人员的重心高度,H为雷达安装高度,zi为目标点云高度,Np为各帧毫米波雷达点云数据内点云数目,n为融合的毫米波雷达点云数据帧数;
S44、判断当前待测人员的重心高度是否满足第二预设阈值,若满足则认为当前待测人员具有躺下姿态趋势,并进入步骤S45;否则认为当前待测人员没有跌倒趋势;
S45、根据目标有效点云集计算最大宽度比,并判断最大宽度比是否满足第三预设阈值,若满足则认为当前待测人员具有躺下姿态,并进入步骤S46;否则认为当前待测人员没有跌倒趋势;
S46、判断当前待测人员的目标点的高度是否满足预设第四预设阈值,若满足则认为当前待测人员跌倒;否则认为当前待测人员没有跌倒趋势。
优选地,步骤S41中预设条件表示为:
St=St-1=St-2=…=St-n
其中,St为t时刻检测到的人体姿态,n为融合的毫米波雷达点云数据。
优选地,步骤S42中当前重心竖向速度分量的计算式表示为:
其中,Vz为当前重心竖向速度分量,V为径向速度,Np为各帧毫米波雷达点云数据内点云数目,n为融合的毫米波雷达点云数据,sinθ为目标点云俯仰角的正弦值。
优选地,步骤S45中最大宽度比的计算方式包括以下步骤:
B1、对目标有效点云集进行二次聚类,得到二次聚类处理后目标有效点云集;
B2、将二次聚类处理后目标有效点云集中各点云数据转换为三维笛卡尔坐标系下的数据集,并得到各点云所在区域;其中各点云所在区域满足
B3、根据各点云所在区域计算二次聚类处理后目标有效点云集的最大宽度比,表示为:
其中,Rh为最大宽度比,max(.)为最值函数,xmax,xmin分别为二次聚类处理后目标有效点云集M”中的各点云在x轴坐标上的最大值、最小值;ymax,ymin分别为二次聚类处理后目标有效点云集M”中的各点云在y轴坐标上的最大值、最小值;zmax,zmin分别为二次聚类处理后目标有效点云集M”中的各点云在z轴坐标上的最大值、最小值。
第二方面,一种基于毫米波雷达点云的跌倒姿态识别***,包括:
目标有效点云集构建模块,用于采集毫米波雷达点云,并进行预处理,得到目标有效点云集;
坐标系构建模块,用于将目标有效点云集中各目标点云数据转换为待测人员空间位置坐标,并根据待测人员空间位置坐标构建三维笛卡尔坐标系;
重心坐标计算模块,用于根据三维笛卡尔坐标系,计算目标有效点云集中各目标点云数据的重心坐标;
跌倒姿态识别模块,用于根据各目标点云数据的重心坐标与目标有效点云集识别待测人员当前的跌倒姿态。
第三方面,一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现任一项所述的基于毫米波雷达点云的跌倒姿态识别方法的步骤。
本发明具有以下有益效果:
通过采集毫米波雷达点云,并进行预处理,得到目标有效点云集,并将目标有效点云集中各目标点云数据转换为待测人员空间位置坐标,并根据待测人员空间位置坐标构建三维笛卡尔坐标系,结合三维笛卡尔坐标系计算目标有效点云集中各目标点云数据的重心坐标;并根据重心坐标识别待测人员当前的跌倒姿态;通过毫米波雷达技术,保证了跌倒姿势识别地准确性,最大限度地保证了待测人员地隐私安全,有效地解决了现有的跌倒检测方法所存在的隐私性低、稳定性低、准确性低、舒适性低等问题;能够应用于养老机构、酒店或居家跌倒预警***,有效降低跌倒事故带来的风险。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
一方面,如图1所示,本发明实施例提供一种基于毫米波雷达点云的跌倒姿态识别方法,包括以下步骤:
S1、采集毫米波雷达点云,并进行预处理,得到目标有效点云集;
本发明实施例中,根据房间的矩形结构长宽比(X0:Y0)选取合适的安装高度H、方向以及俯仰角度,使得毫米波雷达装置的工作盲区趋于较小范围;更具体地,本发明实施例中房间长宽相近,安装方式采用侧装方式如图2,安装高度为1.7m,安装俯仰角为0°。
如图3所示,优选地,步骤S1具体包括以下分步骤:
S11、采集毫米波雷达点云,并判断毫米波雷达点云中是否缺失帧数据,若是则对缺失数据进行数据填充,并进入步骤S12;否则进入步骤S12;
本发明实施例中,点云数据由毫米波雷达装置按帧发送,每帧毫米波雷达点云数据的获取方法为:毫米波雷达装置首先通过合成器生成一个线性调频脉冲信号并由发射天线发射,由接收天线捕捉扫描区域内的物体对该线性调频脉冲的反射线性调频脉冲,再由混频器将发射天线与接收天线的信号合并到一起,生成一个中频信号;
中频信号沿着距离维进行傅里叶变换和沿着多普勒维进行傅里叶变换,即可得到距离多普勒矩阵(Range-Doppler Matrix,RDM),在距离多普勒矩阵中,首先沿着多普勒维进行单元格平均恒虚警检测,再沿着距离维进行单元格平均恒虚警检测,针对被检测的单元格,在空间维即接收天线间进行傅里叶变换,即可实现该单元格的到达角估计;通过被检测单元格的距离、速度、角度,即可得到该单元格的点的表示(r,φ,θ,V),其中r为目标点云与坐标原点之间的距离、φ为方位角、θ为俯仰角、V为该点的径向速度,所有单元格的点的表示组成毫米波雷达点云数据。每一次线性调频脉冲信号发射、接收以及信号处理得到毫米波雷达点云数据的过程构成一个完整的帧周期。雷达连续发射线性调频信号即得到毫米波雷达点云连续数据帧。
本发明实施例中,假设一帧毫米波雷达点云连续数据包含Np个目标点,每一个目标点包含(r,φ,θ,V)四维信息以及信噪比(signal-noise ratio,SNR)共5个字段,若每一字段的长度为l字节,则每一帧毫米波雷达数据的长度应该为:
L=5·Np·l
当毫米波雷达点云数据帧的长度l0<L时,则认为该数据帧存在缺失数据现象,此时应当在保证数据不错位的前提下对缺失位置进行数据填充。
S12、判断毫米波雷达点云各帧数据中点云数目是否满足预设点云检测数量,若是则融合不少于一帧的毫米波雷达点云数据,得到毫米波雷达点云数据集;否则返回步骤S11;
本发明实施例中,统计每帧毫米波雷达点云数据帧长度l0,当各帧毫米波雷达点云数据内点云数目Np未达到预设点云检测数量M时,不能保证检测精度,则需融合n帧毫米波雷达点云数据以提高识别准确度,得到目标点云总数为(n·Np)的毫米波雷达点云数据集M。
S13、利用基于密度的噪声应用空间聚类方法对毫米波雷达点云数据集进行聚类,得到目标有效点云集。
本发明实施例中,聚类方法采用基于密度的噪声应用空间聚类(DBSCAN)。相比于k-means聚类方法,DBSCAN聚类方法不需提前设定集群数,而在毫米波雷达点云数据中通常无法确定集群数,而且对于密度异常值检测也十分准确,可以准确识别出毫米波雷达点云数据中的离群值,能够实现集群以及去除噪点的效果;聚类分析中设置两个主要参数:ε(Epsilon)用于定义点周围的邻域搜索半径,DBSCAN聚类方法通过检查有效点云数据集X中的每个对象的ε邻域来寻找聚类,如果一个点的ε邻域至少包含MinPts个相邻点,则DBSCAN将该点标识为核心点。MinPts为核心点所需的最小相邻点数,集群簇中核心点的ε邻域必须至少包含MinPts个相邻点,而边界点的ε邻域可以包含少于MinPts的相邻点。
如图4所示,优选地,步骤S13具体包括以下分步骤:
A1、计算毫米波雷达点云数据集中各点云与其他点云间的欧式距离,其计算式表示为:
其中,dist(.)为欧式距离,X为毫米波雷达点云数据集,Y为毫米波雷达点云数据集X中除第i点xi的子集,yi为子集Y中第i点数据,Np为各帧毫米波雷达点云数据内点云数目,n为融合的毫米波雷达点云数据,(n·Np)为目标点云总数;
本发明实施例中,目标有效点云数据集
对于X中任意一点x
i,计算点x
i到集合X去除点x
i后的子集
中所有点之间的欧式距离。
A2、根据欧式距离构建毫米波雷达点云数据集中各点云的k-距离集合;
本发明实施例中,将所求得的距离按照从小到大的顺序排序,假设排序后的距离集合为
其中d
k为点x
i到集合Y中所有点之间距离第k近的元素,则称d
k为k-距离(k-distance)。对于目标有效点云数据集X中所有点x
i都通过欧式距离计算公式计算出k-距离,最后得到所有点的k-距离集合
A3、根据各点云的k-距离集合构建k-距离曲线图,以曲线拐点确定邻域半径;
本发明实施例中,对集合E进行升序排序并绘制k-距离曲线图(k-distancegraph),通过观察k-距离曲线图,将曲线的拐点位置(knee)所对应的k-距离值确定为邻域半径ε的值,因为拐点的邻域是数据集中的点开始逐渐减少到异常值(噪声)区域的区域。
A4、确定毫米波雷达点云数据集中各点在邻域半径中的数目,并计算各数目的期望,并将期望作为聚类中邻域半径内数据点个数的最优值,得到目标有效点云集,其中期望的计算式表示为:
其中,pi为第i点数据在邻域半径ε内点的个数,MinPts为数学期望,式中将MinPts参数设置为50,ε参数设置为0.5。
本发明实施例中,在邻域半径ε确定的情况下,统计数据集中每个点的ε邻域内点的数目,然后对整个数据集X中每个点的ε邻域内的点的数目求数学期望得到MinPts,此时的MinPts为每个聚类中核心对象ε邻域内的数据点个数的最优值。
S2、将目标有效点云集中各目标点云数据转换为待测人员空间位置坐标,并根据待测人员空间位置坐标构建三维笛卡尔坐标系;
优选地,步骤S2具体为:
根据空间极坐标到标准空间坐标的映射关系,将目标有效点云集中各点云数据转换为待测人员空间位置坐标,并根据待测人员空间位置坐标以毫米波雷达装置为坐标原点构建三维笛卡尔坐标系,其中空间极坐标到标准空间坐标的映射关系表示为:
其中,f为映射关系;
为空间极坐标,(x,y,z)为标准空间坐标,cos(.)为余弦函数,sin(.)为正弦函数,s为径向距离。
如图5所示,为本发明实施例中毫米波雷达装置坐标系;图6所示,为本发明实施例中三维笛卡尔坐标系下的毫米波雷达点云数据。
S3、根据三维笛卡尔坐标系,计算目标有效点云集中各目标点云数据的重心坐标;
优选地,步骤S3具体为:
根据三维笛卡尔坐标系,计算目标有效点云集中各目标点云数据的重心坐标,其中重心坐标的计算式表示为:
其中,xg为目标重心坐标的x轴坐标,xi为目标有效点云集M中第i个点的x轴坐标,Np为各帧毫米波雷达点云数据内点云数目,n为融合的毫米波雷达点云数据。
其中,y轴及z轴坐标计算方式同上。
S4、根据各目标点云数据的重心坐标与目标有效点云集识别待测人员当前的跌倒姿态。
如图7所示,优选地,步骤S4具体包括以下分步骤:
S41、检测当前姿态,并判断当前姿态是否满足预设条件,若满足则进入步骤S42;否则,删除该组数据,重新计算当前姿态;
优选地,步骤S41中预设条件表示为:
St=St-1=St-2=…=St-n
其中,St为t时刻检测到的人体姿态,n为融合的毫米波雷达点云数据。
本条件表示当前时刻帧检测的姿态结果和前(n·s)帧的姿态检测结果相同,这样可以消除一些对于过渡帧即姿态变化过程内毫米波雷达点云数据帧的误判。
S42、根据各目标点云数据的重心坐标计算当前重心竖向速度分量,并判断重心竖向速度分量是否满足第一预设阈值,若满足则认为当前待测人员具有竖直方向运动趋势,并进入步骤S43;否则认为当前待测人员没有跌倒趋势;
优选地,步骤S42中当前重心竖向速度分量的计算式表示为:
其中,Vz为当前重心竖向速度分量,V为径向速度,Np为各帧毫米波雷达点云数据内点云数目,n为融合的毫米波雷达点云数据,sinθ为目标点云俯仰角的正弦值。
本发明实施例中,假设人体在1秒内重心高度下降至最低点,则认为当前被测目标具有跌倒风险,即当所述点云的竖直方向速度分量Vz>Vmax,其中Vmax为点云竖直方向速度分量的最大速度阈值,且为了避免对正常活动的误判,需要进一步对重心高度进行判断。
S43、根据各目标点云数据计算各目标点云数据间实际高度,得到当前待测人员的重心高度,其计算式表示为:
其中,hg为当前待测人员的重心高度,H为雷达安装高度,zi为目标点云高度,Np为各帧毫米波雷达点云数据内点云数目,n为融合的毫米波雷达点云数据帧数;
S44、判断当前待测人员的重心高度是否满足第二预设阈值,若满足则认为当前待测人员具有躺下姿态趋势,并进入步骤S45;否则认为当前待测人员没有跌倒趋势;
本发明实施例中当所述重心高度hg满足条件hg<Ccenter·H,其中Ccenter为重心高度阈值系数,则认为被测目标当前处于一个较低高度,将所述被测目标标记为疑似躺下姿态。为了区分被测目标的下蹲动作,需进一步对目标点云z轴坐标值域进行检测。
S45、根据目标有效点云集计算最大宽度比,并判断最大宽度比是否满足第三预设阈值,若满足则认为当前待测人员具有躺下姿态,并进入步骤S46;否则认为当前待测人员没有跌倒趋势;
如图8所示,步骤S45中最大宽度比的计算方式包括以下步骤:
B1、对目标有效点云集进行二次聚类,得到二次聚类处理后目标有效点云集;
B2、将二次聚类处理后目标有效点云集中各点云数据转换为三维笛卡尔坐标系下的数据集,并得到各点云所在区域;
本发明实施例中,为了更精确地描述毫米波雷达所对应的当前姿态,本实施例对目标有效点云集进行二次DBSCAN聚类分析,得到二次DBSCAN聚类后的目标有效点云集,并将其转换为空间坐标系L中点云所在区域S,使得二次DBSCAN聚类后的目标有效点云集中任一点云P(x,y,z)满足:
其中,xmax,xmin分别为二次DBSCAN聚类后的目标有效点云集中的点云在x轴坐标最大值、最小值;ymax,ymin分别为二次DBSCAN聚类后的目标有效点云集中的点云在y轴坐标最大值、最小值;zmax,zmin分别为二次DBSCAN聚类后的目标有效点云集中的点云在在z轴坐标上的最大值、最小值。
B3、根据各点云所在区域计算二次聚类处理后目标有效点云集的最大宽度比,表示为:
其中,Rh为最大宽度比,max(.)为最值函数,xmax,xmin分别为二次聚类处理后目标有效点云集M”中的各点云在x轴坐标上的最大值、最小值;ymax,ymin分别为二次聚类处理后目标有效点云集M”中的各点云在y轴坐标上的最大值、最小值;zmax,zmin分别为二次聚类处理后目标有效点云集M”中的各点云在z轴坐标上的最大值、最小值。
本发明实施例中,当二次DBSCAN聚类后的目标有效点云集中点云的最大高宽比Rh<Clie,其中Clie为所述二次DBSCAN聚类后的目标有效点云集中点云卧躺姿态标记阈值系数,则认为被测目标处于躺下姿态;为了避免对正常就寝行为误判,需进一步对所述目标点云是否与地面接触进行检测。
S46、判断当前待测人员的目标点的高度是否满足预设第四预设阈值,若满足则认为当前待测人员跌倒;否则认为当前待测人员没有跌倒趋势。
本发明实施例中,判断目标点的实际高度是否小于第四预设阈值,即:hi<Clow·H的点数Nz,其中Clow为所述有效目标点云近地面标记阈值系数,当满足条件的目标点云个数Nz>Cpoint·(n·Np),其中Cpoint为目标点云标记数量阈值系数,则认为被测目标与地面接触,即被测目标当前姿态被判断为跌倒;各点实际高度hi计算公式为:hi=H+zi;其中,第四预设阈值可包含高度阈值(此处的高度阈值不同于重心点的高度阈值。通常高于重心点的高度阈值)或在高度阈值下的点云数目,可用于判断处于较低高度的点云数目,在正常站立情况下,较低高度的点云数目较少,而跌倒状态则较低高度的点云数目较多。
第二方面,本发明实施例中提供一种基于毫米波雷达点云的跌倒姿态识别***,包括:
目标有效点云集构建模块,用于采集毫米波雷达点云,并进行预处理,得到目标有效点云集;
坐标系构建模块,用于将目标有效点云集中各目标点云数据转换为待测人员空间位置坐标,并根据待测人员空间位置坐标构建三维笛卡尔坐标系;
重心坐标计算模块,用于根据三维笛卡尔坐标系,计算目标有效点云集中各目标点云数据的重心坐标;
跌倒姿态识别模块,用于根据各目标点云数据的重心坐标与目标有效点云集识别待测人员当前的跌倒姿态。
本发明实施例中提供的一种基于毫米波雷达点云的跌倒姿态识别***包含上述一种基于毫米波雷达点云的跌倒姿态识别方法的全部有益效果。
第三方面,本发明实施例中提供一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现任一项所述的基于毫米波雷达点云的跌倒姿态识别方法的步骤。
本发明实施例中提供的一种电子设备包含上述一种基于毫米波雷达点云的跌倒姿态识别方法的全部有益效果。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。