CN114550299A - 基于视频的老年人日常生活活动能力评估***和方法 - Google Patents

基于视频的老年人日常生活活动能力评估***和方法 Download PDF

Info

Publication number
CN114550299A
CN114550299A CN202210175737.1A CN202210175737A CN114550299A CN 114550299 A CN114550299 A CN 114550299A CN 202210175737 A CN202210175737 A CN 202210175737A CN 114550299 A CN114550299 A CN 114550299A
Authority
CN
China
Prior art keywords
action
joint
user
evaluation
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210175737.1A
Other languages
English (en)
Inventor
肖文栋
屈莹
刘璐瑶
王换元
王易坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202210175737.1A priority Critical patent/CN114550299A/zh
Publication of CN114550299A publication Critical patent/CN114550299A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开一种基于视频的老年人日常生活活动能力评估***和方法，应用计算机视觉技术自动、客观、快速的完成评估过程。基于视频数据计算人体关节骨架位置，排除体型、衣物的影响，进行动作识别，提出基于注意力机制的关节活动能力评估方法，结合动作识别结果进行日常生活活动能力评估。本发明的优点是：有效节约人力和资源成本，通过机器信息化的处理和计算，完成评估过程，有效排除人体主观因素影响，评估结果更加客观准确。

Description

基于视频的老年人日常生活活动能力评估***和方法
技术领域
本发明涉及老年人日常生活活动能力评估技术领域，特别涉及一种基于视频的老年人日常生活活动能力评估***和方法。
背景技术
推进养老服务业健康发展过程中，老年人能力评估是准确量化、规范化提供养老服务的基础。通过老年人能力评估，能真正掌握老年人各方面需求，合理分配有限资源，科学规划市场供给，制订照护计划与服务提供、建设养老机构、培养养老专业人才等；通过老年人能力评估，明确养老服务市场供需情况，保障老年人权益。除对养老服务整体良性发展有促进作用外，老年人能力评估对政府机关、行业协会、养老机构和老年人(家属)也有十分重要意义。首先可以真实了解老人生活状况和服务需求、科学判断老人健康状况和生活自理能力，合理分配有限养老资源，有利于构建老年人基础信息平台，动态观察老年人的健康状况，具有科研价值。
目前为了充分利用人力资源，老人入住养老院时，首先会进行ADL评估，根据ADL评估结果将老人安排到不同院区，进行对应等级照料。ADL(Activities of Daily Living)指一个人为了满足日常生活的需要每天所进行的必要活动。ADL 分为基础性日常活动(BADL)和工具性日常活动(IADL)两类。BADL指人维持最基本生存、生活所必需的每天反复进行的活动，包括自理和功能性移动两大类活动；其中自理活动指进食、梳妆、洗漱、如厕、更衣等；功能性移动指翻身、从床上坐起、转移、行走、驱动轮椅、上下楼梯等。IADL指人维持独立生活必要的活动，包括使用电话、购物、做饭、家务处理、使用交通工具、处理突发事件及社区内休闲活动等。
ADL评估的目的是对老人(患者)身体功能、家庭状况、社会环境进行收集，分析老人(患者)障碍程度与正常标准的差别，为指定照料(康复治疗)方案提供依据，为判定照料(康复治疗)效果提供客观数据。现如今，ADL评估还是通过评估师来完成，一位老人的ADL评估往往需要两名评估师一起记录完成，并且目前我国评估师的人才资源很紧缺，在中小城镇的养老院中很少配有专业评估师，评估的过程需要两名评估师根据量表现场打分，最后根据打分结果分析照护等级。这项工作消耗大量人力、时间成本，且评估结果具有主观臆断，易产生分歧，让计算机代替人完成评估工作，可以节约资源、提高效率。
当前大多数ADL评估都是通过量表的方式，即根据老人对量表中内容的完成程度进行人为打分，具体评估方式有五种，分别是：传统评估法、综合指数评估法、动作能力测定方式、实际状况调查方式、动作分解评估法。传统评估法就是将能力粗略的分为能和不能。综合指数评估法包括Barthel指数和Kenny指数。动作能力测定方式(ASADLE)指测定老人(患者)两次动作所用时间的平均值，比如穿脱衣服，并记录。实际状况调查方式有Katz指数和功能独立性评定(FIM)。动作分解评估法(Klein-Bell)，即分解动作、分别计分，比如穿开身衣，左手传入袖口记2分、左肘穿入袖口记2分、把衣服拉到左肩上记2分。
目前医学上进行ADL评估主要采用巴氏指数和Katz指数，巴氏指数和Katz 指数实质上也是量表，Barthel Index(巴氏指数)评估包括进食、洗澡、修饰、穿衣、控制大小便、用厕所、床椅转移、平地走45米、上下楼梯10项内容，每项可以自理记10分、稍依赖记5分、较大依赖和完全依赖记0分，满分100分，其中>60分为良，60-40分为中，<40分为差。BarthelIndex(巴氏指数)评估的评定简单、可信度高、灵敏度高、使用广泛。Katz指数包括沐浴、更衣、使用厕所、转移、大小便控制、进食6项，评定标准分为A、B、C、D、E、F、G 7级，其中A级表示6项动作完全自理，B级表示仅1项依赖，C级表示仅沐浴和其余5 项之一依赖，D级表示仅沐浴、更衣和其余4项之一依赖，E级表示仅沐浴、更衣、使用厕所和其余3项之一依赖，F级表示前4项及其余2项之一依赖，G级表示6 项动作完全依赖。但是可以看出，评估指数中是否依赖及依赖程度的判定具有较大的人为主观情感，缺乏机器判定的客观性。对评估师的要求较高，需要经过专业培训，需要较大人力和设施资源成本。
现有技术可以实现老年人日常生活活动能力评估，且评估较为全面细致，但是受人为主观因素影响较大，并且老人日常生活活动能力的依赖程度没有明确定义，评估结果完全是评估师根据人眼观察给出，人体主观判定中包含较大人为情感，且缺乏量化性，无法判断对错，比如评估过程中两名评估师的结果存在分歧、意见相左时，无法判定两名评估师孰对孰错，甚至双方坚持各抒己见时，评估过程将无法继续。
并且这一过程需要耗费较大人力成本和资源设施，首先评估师需要经过人才培训、其次评估过程需要确定场地。目前在我国养老服务体系中，能力评估师是相对匮乏的，远不及养老机构的数量，即并不是所有养老机构都配备有专业评估师，不能满足行业标准。
目前日常生活能力评估***仅将纸质评估报告保存到电脑***中，***主要实现信息管理；改变以纸质存档人工评估的工作方式，便于评估数据的统计、查询与存档，设计图形用户界面，汇总、统计评估信息，没有改变评估过程消耗资源、主观臆断的本质。
发明内容
本发明针对现有技术的缺陷，提供一种基于视频的老年人日常生活活动能力评估***和方法。
为实现以上发明目的，本发明采取的技术方案如下：
一种基于视频的老年人日常生活活动能力评估***，包括：物理层、数据处理层、模型提取层、动作识别层和能力评估层；
物理层通过摄像头采集动作视频；
数据处理层进行视频数据预处理，包括标注、去噪、压缩和规范化；提高数据质量、提取关键帧、在不影响运行结果的情况下缩短计算时间；
模型提取层分析视频片段、提取关键点、在每一帧中定位身体的不同部位、绘制二维人体关键点骨架图像；
动作识别层分析身体部位随时间的运动，预测并分类视频中执行的动作；能力评估层提取动作序列，进行评估预处理，判断动作序列是否完成。
能力评估层将用户动作序列与标准姿势进行对比，计算用户动作序列与标准姿势之间的欧氏距离，判断最小欧式距离是否大于规定阈值，如果大于，则判定出现“动作缺失”或“动作次序错误”，判定动作未完成，如果小于等于阈值，则判定“动作序列正确完成”；将正确动作序列进行分割，分离出静态动作和动态动作；同时基于注意力机制定位重点关节，对重点关节进行细节评价，通过四个指标进行评估，即关节角度相似度、动作中心时间相似度、动作持续时间相似度、动态动作关节平均角速度相似度，分别判定动作是否准确、按时、动作节奏是否正确、力度是否合适，综合以上四点进行日常生活活动能力评估，判断其独立及依赖程度。
进一步地，动作识别层的ADL识别方法，包括以下步骤：
S1、构建数据集；
首先构建原子性动作数据集，即完成人体日常生活活动所需要的代表性必备动作，包括：进食、坐立平衡、转移、上下楼梯四个方面。采集12个对象，从4 个角度拍摄视频，分别执行以上四类动作，重复5次。
S2、人体2D姿态估计；
首先在每一帧中定位身体各个部位，分析身体不同部位随时间的运动，对视频中人体关节点进行估计。
基于Keypoint RCNN架构和特征金字塔网络进行人体关节点检测，首先将输入视频转化为图像，提取视频中所有帧，对图像进行池化，基于池化后的图像检测人体关节的粗略位置，将不同大小特征图量化为固定大小，选取特征图中的最大值作为全连接层的固定输入特征，将全连接层分为两个全连接层，一个全连接层表示为关节点的边界框，用4个变量表示该边界，分别是中心点的横纵坐标、以及宽高，另一个全连接层表示该关节点的置信分数，利用置信分数过滤错误的关节点。针对同一个关节点被检测出多遍的问题，利用置信分数过滤掉分数较低的关节点，仅绘制具有高置信度的人体关节点。
将关节连接起来形成肢体骨骼结构，连接视频所有帧中的关节点绘制骨骼。为提高后续识别和评估的准确性，设置骨骼置信度，基于关节点得分分配骨骼得分，将两个关节点的最低置信分数作为骨骼分数。并定义好的骨骼为骨骼得分大于任意关节点的最大置信度。
S3、原子性动作识别；
关节点动作分类是基于pytorch框架训练的LSTM模型。训练输入数据包含每帧18个关节点和相关动作标签，32帧连续序列用于识别原子性动作，一个32 帧的样本序列是大小为32*36的多维数组，如下所示：
Figure BDA0003520157370000061
每行包含18个关节点的x、y值，共有32行。
进一步地，LSTM模型的初始隐藏维度设置为50，使用PyTorch Lightning进行训练。使用Adam优化器，配置ReduceLROnPlateau调度器，根据损失函数的值降低学习率。
进一步地，能力评估层的ADL评估方法，包括以下步骤：
S1、评估预处理；
提取前期的动作识别序列，判断动作序列是否正确完成，将用户动作序列与标准姿势进行对比，计算用户动作序列与标准姿势的欧氏距离，判断最小欧式距离dmin是否大于规定阈值，如果大于，则认为“动作缺失”或“动作次序错误”，判定动作未完成，如果小于等于阈值，则判定“动作序列正确完成”。为后续分割及细节评估做准备，如果动作未完成，直接评估为依赖，不进行后续工作。
S2、评估动作分割；
将用户动作序列与标准姿势进行对比，计算标准姿势与用户动作序列的欧氏距离，搜索最小欧式距离dmin，加正偏移量Δl得到dp，基于dp横坐标对应的t1、t2，若与动作序列相同，则判定为静态，若与动作序列不同，则判定为动态动作。
S3、基于注意力机制的动作细节评估；
引入注意力机制并设置全局注意力模型，使得在评估过程中，计算当前动作主要涉及的发力关节点，为后续关节的细节评估节约计算成本。
动作细节评估是反映用户动作空间角度误差和延时误差，从静态动作和动态动作两方面设置四项评价指标，分别是：关节点角度相似度、中心时间相似度、持续时间相似度、平均角速度相似度。
关节角度相似度：计算用户各个关节角度与标准动作各个关节角度的差值，衡量用户动作与标准动作的相似程度，其中静态动作计算时，需计算组成用户静态动作所有姿势关节角度的平均值，与组成标准动作所有姿势关节角度的平均值进行比较，得到两者的相似程度，即
Figure BDA0003520157370000071
ds——用户静态动作关节角度相似度；
n——用户静态动作的总帧数；
ci——用户静态动作第i个姿势的关节角度向量；
b——标准姿势向量；而动态动作因为用户动作与标准动作序列长度不一，采用动态时间规整算法；
中心时间相似度：计算用户动作与标准动作中心时间tc的差值，即ec＝tc-t′c，反映用户动作的时间累积误差；其中
Figure BDA0003520157370000072
ec——动作中心时间相似度；
tc——用户动作中心时间；
t′c——标准动作中心时间；
fstart——用户动作的起始帧数；
fend——用户动作的终止帧数；
τ——动作捕捉设备的采样频率；
持续时间相似度：计算用户动作与标准动作持续时间ts的差值，即es＝ts-t′s，反映用户单个动作的持续时间误差；其中
Figure BDA0003520157370000081
t′s——标准动作持续时间；
ts——用户动作持续时间；
动态动作关节平均角速度相似度：计算用户动态动作关节平均角速度与标准动态动作关节平均角速度的欧式距离，反映动态动作中单个关节角速度的误差；即
Figure BDA0003520157370000082
ew——动态动作关节平均角速度相似度；
n——用户动态动作序列的总帧数；
ei——动态动作中第i个姿势的关节角度向量；
w′——标准关节平均角速度；
通过原子性动作的组合及其关节点的细节评估指标，评估老年人日常生活活动能力。
与现有技术相比，本发明的优点在于：
考虑到现实生活中当老年人入住养老机构时，对其自身进行日常生活活动能力评估时的人力和资源成本，以及评估过程中评估师的主观感情判断，通过计算机视觉技术自动完成老年人ADL评估过程。有效节约人力和资源成本，并通过机器信息化的处理和计算，完成评估过程，有效排除人体主观因素的影响，使得评估结果客观准确。
通过姿态估计算法找到视频中人体的骨骼表示，排除不同个体对评估结果的影响，通过原子性动作的结合实现日常生活活动中复杂动作的表示与识别，通过注意力机制对相应关节点进行细节评估，提高动作能力评估的准确性。
附图说明
图1是本发明实施例老年人日常生活活动能力评估***架构图。
图2是本发明实施例老年人日常生活活动能力评估方法技术方案结构图。
图3是本发明实施例循环神经网络结构图；
图4是本发明实施例ADL评估预处理流程图；
图5是本发明实施例ADL评估动作分割流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下根据附图并列举实施例，对本发明做进一步详细说明。
本发明整体***架构包括五部分：物理层——传感器层、数据处理层、模型提取层、动作识别层、能力评估层，其中数据处理层包含标注、去噪、压缩、规范化四个步骤，如图1所示。技术方案主要包含ADL识别和评估两部分，其中识别部分包括二维姿态估计模块和原子性动作识别模块，ADL评估包括评估预处理模块、评估动作分割模块、重点关节定位模块、动作细节评估模块；如图2所示。
在物理层通过摄像头采集动作视频；在数据处理层进行视频数据预处理，提高数据质量、提取关键帧、在不影响运行结果的情况下缩短计算时间；在模型提取层分析视频片段、提取关键点、在每一帧中定位身体不同部位、绘制二维人体关键点骨架图像，骨骼是人类姿势的高级表示，基于骨架的动作识别可以避免从视频中提取繁琐信息且可以明确地模拟动作动态，减少不同体型和衣物的影响；在动作识别层分析身体部位随时间的运动，预测并分类出视频中的动作；在能力评估层提取动作序列，进行评估预处理，判断动作序列是否完成，如果出现“动作缺失”或“动作次序错误”，判定动作未完成；将正确动作序列进行分割，分离出静态动作和动态动作；同时基于注意力机制定位重点关节点，对重点关节进行细节评价，通过四个指标进行评估，即关节角度相似度、动作中心时间相似度、动作持续时间相似度、动态动作关节平均角速度相似度，分别判定动作是否准确、是否按时、动作节奏是否正确、力度是否合适，综合以上四点进行日常生活活动能力评估，判断独立及依赖程度。
1、动作识别层的ADL识别
1.1构建数据集
首先构建本发明所需要的原子性动作数据集，主要是完成人体日常生活活动所需要的代表性必备动作，包括：进食、坐立平衡、转移、上下楼梯四个方面。采集12个对象，从4个角度拍摄视频，分别执行以上四类动作，重复5次。
1.2人体2D姿态估计
为进行动作分类，首先在每一帧中定位身体的各个部位，分析身体不同部位随时间的运动。人体骨骼数据是活动的高级表示方法，可以精确的表示人体姿态，有效排除个体对原子性动作识别的影响。因此首先对视频中人体关节点进行估计。
基于Keypoint RCNN架构和特征金字塔网络进行人体关节点检测，将输入的视频转化为图像，提取视频中所有帧，对图像进行池化，基于池化后的图像检测人体关节的粗略位置，将不同大小的特征图量化为固定大小，选取特征图中的最大值作为后续全连接层的固定输入特征，将全连接层分为两个全连接层，一个表示为关节点的边界框，用4个变量表示该边界，分别是中心点的横纵坐标、以及宽高，另一个表示该关节点的置信分数，利用置信分数过滤错误的关节点。针对同一个关节点被检测出多遍的问题，根据置信分数过滤掉分数较低的关节点，仅绘制具有高置信度的人体关节点。
将关节连接起来形成肢体骨骼结构，因为视频中人体骨骼结构是相同的，需要在全局范围内设置连接，连接视频所有帧中关节点绘制骨骼。为后续识别和评估的准确性，设置骨骼置信度，基于关节点得分分配骨骼得分，将两个关节点的最低置信分数作为骨骼分数。并定义好的骨骼为骨骼得分大于任意关节点最大置信度。
1.3原子性动作识别
用于关节点的动作分类是基于pytorch框架训练的LSTM模型。训练输入数据包含每帧18个关节点和相关动作标签，32帧连续序列用于识别特定原子性动作，一个32帧的样本序列是大小为32*36的多维数组，如下所示：
Figure BDA0003520157370000111
每行包含18个关节点的x、y值，共有32行。
LSTM模型的初始隐藏维度设置为50，使用PyTorch Lightning进行训练。使用Adam优化器，配置ReduceLROnPlateau调度器，以根据损失函数的值降低学习率。
LSTM网络是一种循环神经网络(RNN)，能够学习序列预测问题中的顺序依赖性。如图3所示，RNN具有重复的神经网络模块链。LSTM具有重复神经网络模块链的循环神经网络。
在NN(神经网络)中：x0，x1，…xt是输入，h0，h1，…ht是预测，在时间t(ht)的每个预测都取决于先前预测和当前输入xt。RNN会记住先前信息并以最佳方式处理当前输入。但是RNN的缺点是不能记住长期依赖。LSTM也有类似的链式结构，但它的神经网络模块可以处理长期依赖关系。
2、能力评估层的ADL评估
2.1评估预处理
提取前期动作识别序列，判断动作序列是否正确完成，将用户动作序列与标准姿势进行对比，计算用户动作序列与标准姿势的欧氏距离，判断其最小欧式距离dmin是否大于规定阈值，如果大于，则认为“动作缺失”或“动作次序错误”，判定动作未完成。为后续分割及细节评估做准备，如果动作未完成，直接评估为依赖，不进行后续工作，具体流程如图4所示。
2.2评估动作分割
人体日常生活活动中的必要动作都是由静态动作和动态动作组成，如：坐下可分为站立(静态动作)和坐下(动态动作)；转移可分为站立(静态动作)和行走(动态动作)。因此动作分割为静态和动态动作是有必要及符合科学规范的。需要将用户动作序列与标准姿势进行对比，计算用户动作序列与标准姿势的欧氏距离，搜索最小欧式距离dmin，加正偏移量Δl得到dp，基于dp横坐标对应的t1、t2，得到此刻的静态动作，若与动作序列相同，则判定为静态，若与动作序列不同，则判定为动态动作。具体流程如图5所示。
2.3基于注意力机制的动作细节评估
引入注意力机制并设置全局注意力模型，使得在评估的过程中，得到当前动作主要涉及的发力关节点，为后续关节的细节评估节约计算成本。
动作细节评估是反映用户动作空间角度误差和延时误差，从静态动作和动态动作两方面设置四项评价指标分别是：关节点角度相似度、中心时间相似度、持续时间相似度、平均角速度相似度。
关节角度相似度：计算用户各个关节角度与标准动作各个关节角度的差值，衡量用户动作与标准动作的相似程度，反映用户动作的准确程度，其中静态动作计算时，需计算组成用户静态动作所有姿势关节角度的平均值，与组成标准动作所有姿势关节角度的平均值进行比较，得到两者的相似程度，即
Figure BDA0003520157370000131
Figure BDA0003520157370000132
而动态动作因为用户动作与标准动作序列长度不一，需采用动态时间规整算法。
中心时间相似度：计算用户动作与标准动作中心时间tc的差值，即ec＝tc-t′c，反映用户动作的时间累积误差。其中
Figure BDA0003520157370000133
持续时间相似度：计算用户动作与标准动作持续时间ts的差值，即es＝ts-t′s，反映用户单个动作的持续时间误差。其中
Figure BDA0003520157370000134
动态动作关节平均角速度相似度：计算用户动态动作关节平均角速度与标准动态动作关节平均角速度的欧式距离，反映动态动作中单个关节角速度的误差。即
Figure BDA0003520157370000135
通过原子性动作的组合及其关节点的细节评估指标，评估老年人日常生活活动能力。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (4)

1.一种基于视频的老年人日常生活活动能力评估***，其特征在于，包括：物理层、数据处理层、模型提取层、动作识别层和能力评估层；
物理层通过摄像头采集动作视频；
数据处理层进行视频数据预处理，包括标注、去噪、压缩和规范化；提高数据质量、提取关键帧、在不影响运行结果的情况下缩短计算时间；
模型提取层分析视频片段、提取关键点、在每一帧中定位出身体的不同部位、绘制二维人体关键点骨架图像；
动作识别层分析身体部位随时间的运动，预测或分类出视频中的动作；能力评估层提取动作序列，进行评估预处理，判断动作序列是否完成；
能力评估层将用户动作序列与标准姿势进行对比，计算标准姿势与用户动作序列的欧氏距离，判断最小欧式距离是否大于规定阈值，如果大于，则判定“动作缺失”或“动作次序错误”，判定动作未完成，如果小于等于阈值，则认为“动作序列正确”；将正确动作序列进行分割，分离出静态动作和动态动作；同时基于注意力机制定位重点关节点，对重点关节进行细节评价，通过四个指标进行评估，即关节角度相似度、动作中心时间相似度、动作持续时间相似度、动态动作关节平均角速度相似度，分别判定动作是否准确、按时、动作节奏是否正确、力度是否合适，综合以上四点进行日常生活活动能力评估，判断老年人独立及依赖程度。
2.根据权利要求1所述的老年人日常生活活动能力评估***，其特征在于：动作识别层的ADL识别方法，包括以下步骤：
S1、构建数据集；
构建所需要的原子性动作数据集，完成人体日常生活活动所需要的代表性必备动作，包括：进食、坐立平衡、转移、上下楼梯四个方面；采集12个对象，从4个角度拍摄视频，分别执行以上四类动作，重复5次；
S2、人体2D姿态估计；
为了进行动作分类，在每一帧中定位身体的各个部位，分析身体不同部位随时间的运动，对视频中人体关节点进行估计。
基于Keypoint RCNN架构和特征金字塔网络进行人体关节点检测，首先将输入的视频转化为图像，提取视频中所有帧；对图像进行池化；基于池化后的图像检测人体关节的粗略位置，将不同大小的特征图量化为固定大小，选取特征图中的最大值作为全连接层的固定输入特征，将全连接层分为两个全连接层，一个全连接层表示为关节点的边界框，用4个变量表示该边界，分别是中心点的横纵坐标、以及宽高，另一个全连接层表示该关节点的置信分数；基于置信分数过滤错误的关节点；针对同一个关节点被检测出多遍的问题，过滤置信分数较低的关节点，仅绘制具有高置信度的人体关节点；
将关节连接起来形成肢体骨骼结构，连接视频中所有帧的关节点绘制骨骼；为后续识别和评估的准确性，设置骨骼置信度，基于关节点得分分配骨骼得分，两个关节点的最低置信分数作为骨骼分数；并定义好的骨骼为骨骼得分大于任意关节点最大置信度；
S3、原子性动作识别；
用于关节点的动作分类是基于pytorch框架训练的LSTM模型；训练输入数据包含每帧18个关节点和相关动作标签，32帧连续序列用于识别特定原子性动作，一个32帧的样本序列是大小为32*36的多维数组，如下所示：
Figure FDA0003520157360000021
每行包含18个关节点的x、y值，共有32行。
3.根据权利要求2所述的老年人日常生活活动能力评估***，其特征在于：LSTM模型的初始隐藏维度设置为50，使用PyTorch Lightning进行训练；使用Adam优化器，配置ReduceLROnPlateau调度器，基于损失函数的值降低学习率。
4.根据权利要求1所述的老年人日常生活活动能力评估***，其特征在于：能力评估层的ADL评估方法，包括以下步骤：
S1、评估预处理；
提取前期动作识别序列，判断动作序列是否正确完成，将用户动作序列与标准姿势进行对比，计算标准姿势与用户动作序列的欧氏距离，判断最小欧式距离dmin是否大于规定阈值，如果大于，则判定“动作缺失”或“动作次序错误”，判定动作未完成，如果小于等于阈值，则判定“动作序列正确完成”；为后续分割及细节评估做准备，如果动作未完成，直接评估为依赖，不进行后续工作；
S2、评估动作分割；
将用户动作序列与标准姿势进行对比，计算标准姿势与用户动作序列的欧氏距离，搜索最小欧式距离dmin，加正偏移量Δl得到dp，基于dp横坐标对应的t1、t2，得到此刻的静态动作，若与动作序列相同，判定为静态，若与动作序列不同，判定为动态动作；
S3、基于注意力机制的动作细节评估；
引入注意力机制并设置全局注意力模型，在评估过程中，计算完成当前动作主要涉及的发力关节点，为后续关节的细节评估节约计算成本；
动作细节评估是反映用户动作空间角度误差和延时误差，从静态动作和动态动作两方面设置四项评价指标分别是：关节点角度相似度、中心时间相似度、持续时间相似度、平均角速度相似度；
关节角度相似度：计算用户各个关节角度与标准动作各个关节角度的差值，衡量用户动作与标准动作的相似程度，其中静态动作计算时，需计算组成用户静态动作所有姿势关节角度的平均值，与组成标准动作所有姿势关节角度的平均值进行比较，得到两者的相似程度，即
Figure FDA0003520157360000041
ds——用户静态动作关节角度相似度；
n——用户静态动作的总帧数；
ci——用户静态动作第i个姿势的关节角度向量；
b——标准姿势向量；而动态动作因为用户动作与标准动作序列长短不一，采用动态时间规整算法；
中心时间相似度：计算用户动作与标准动作中心时间tc的差值，即ec＝tc-t′c，反映用户动作的时间累积误差；其中
Figure FDA0003520157360000042
ec——动作中心时间相似度；
tc——用户动作中心时间；
t′c——标准动作中心时间；
fstart——用户动作的起始帧数；
fend——用户动作的终止帧数；
τ——动作捕捉设备的采样频率；
持续时间相似度：计算用户动作与标准动作持续时间ts的差值，即es＝ts-t′s，反映用户单个动作的持续时间误差；其中
Figure FDA0003520157360000043
t′s——标准动作持续时间；
ts——用户动作持续时间；
动态动作关节平均角速度相似度：计算用户动态动作关节平均角速度与标准动态动作关节平均角速度的欧式距离，反映动态动作中单个关节角速度的误差；即
Figure FDA0003520157360000051
ew——动态动作关节平均角速度相似度；
n——用户动态动作序列的总帧数；
ei——动态动作中第i个姿势的关节角度向量；
w′——标准关节平均角速度；
通过原子性动作的组合及其关节点的细节评估指标，评估出老年人日常生活活动能力。
CN202210175737.1A 2022-02-25 2022-02-25 基于视频的老年人日常生活活动能力评估***和方法 Pending CN114550299A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210175737.1A CN114550299A (zh) 2022-02-25 2022-02-25 基于视频的老年人日常生活活动能力评估***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210175737.1A CN114550299A (zh) 2022-02-25 2022-02-25 基于视频的老年人日常生活活动能力评估***和方法

Publications (1)

Publication Number Publication Date
CN114550299A true CN114550299A (zh) 2022-05-27

Family

ID=81679531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210175737.1A Pending CN114550299A (zh) 2022-02-25 2022-02-25 基于视频的老年人日常生活活动能力评估***和方法

Country Status (1)

Country Link
CN (1) CN114550299A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114931743A (zh) * 2022-06-15 2022-08-23 康键信息技术（深圳）有限公司 运动评估方法、运动评估装置、电子设备和可读存储介质
CN115223240A (zh) * 2022-07-05 2022-10-21 北京甲板智慧科技有限公司 基于动态时间规整算法的运动实时计数方法和***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114931743A (zh) * 2022-06-15 2022-08-23 康键信息技术（深圳）有限公司 运动评估方法、运动评估装置、电子设备和可读存储介质
CN115223240A (zh) * 2022-07-05 2022-10-21 北京甲板智慧科技有限公司 基于动态时间规整算法的运动实时计数方法和***

Similar Documents

Publication Publication Date Title
WO2018120964A1 (zh) 一种基于深度信息和骨骼信息的姿势矫正方法
CN112861624A (zh) 一种人体姿态检测方法、***、存储介质、设备及终端
CN101561868B (zh) 基于高斯特征的人体运动情感识别方法
CN107767935A (zh) 基于人工智能的医学影像分类处理***及方法
CN114550299A (zh) 基于视频的老年人日常生活活动能力评估***和方法
CN110135242B (zh) 基于低分辨率红外热成像深度感知的情绪识别装置及方法
CN110991268B (zh) 一种基于深度图像的帕金森手部运动量化分析方法和***
CN110197235B (zh) 一种基于独特性注意力机制的人体活动识别方法
CN110503077A (zh) 一种基于视觉的实时人体动作分析方法
WO2020224433A1 (zh) 基于机器学习的目标对象属性预测方法及相关设备
CN110575663A (zh) 一种基于人工智能的体育辅助训练方法
CN110659677A (zh) 一种基于可移动传感器组合设备的人体跌倒检测方法
CN110490109A (zh) 一种基于单目视觉的在线人体康复动作识别方法
CN114358194A (zh) 基于姿态跟踪的孤独症谱系障碍异常肢体行为检测方法
CN115661856A (zh) 一种基于Lite-HRNet的自定义康复训练监测与评估方法
CN115316982A (zh) 一种基于多模态传感的肌肉形变智能检测***及方法
CN113974612B (zh) 一种卒中患者上肢运动功能自动化评估方法与***
Yang et al. Automatic detection pipeline for accessing the motor severity of Parkinson’s disease in finger tapping and postural stability
Sim et al. Improving the accuracy of erroneous-plan recognition system for Activities of Daily Living
CN115147768B (zh) 一种跌倒风险评估方法及***
CN116543455A (zh) 建立帕金森症步态受损评估模型、使用方法、设备及介质
CN116110122A (zh) 一种隐私场景下的护理行为识别方法
Masullo et al. Sit-to-stand analysis in the wild using silhouettes for longitudinal health monitoring
CN113768471A (zh) 一种基于步态分析的帕金森疾病辅助诊断***
CN113255462A (zh) 步态评分方法、***、计算机程序产品及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination