CN117204845A - 一种用于步态康复训练的听觉提示方法、装置及*** - Google Patents
一种用于步态康复训练的听觉提示方法、装置及*** Download PDFInfo
- Publication number
- CN117204845A CN117204845A CN202310926711.0A CN202310926711A CN117204845A CN 117204845 A CN117204845 A CN 117204845A CN 202310926711 A CN202310926711 A CN 202310926711A CN 117204845 A CN117204845 A CN 117204845A
- Authority
- CN
- China
- Prior art keywords
- user
- preset
- gait
- image data
- beat
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005021 gait Effects 0.000 title claims abstract description 91
- 238000012549 training Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000008859 change Effects 0.000 claims abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 210000003127 knee Anatomy 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 206010056242 Parkinsonian gait Diseases 0.000 abstract description 10
- 238000001514 detection method Methods 0.000 abstract description 8
- 210000002683 foot Anatomy 0.000 description 18
- 230000008014 freezing Effects 0.000 description 9
- 238000007710 freezing Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 4
- 210000002414 leg Anatomy 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 208000024891 symptom Diseases 0.000 description 4
- 210000000689 upper leg Anatomy 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 206010017577 Gait disturbance Diseases 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001020 rhythmical effect Effects 0.000 description 2
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 208000027089 Parkinsonian disease Diseases 0.000 description 1
- 206010034010 Parkinsonism Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004770 neurodegeneration Effects 0.000 description 1
- 208000015122 neurodegenerative disease Diseases 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Landscapes
- Rehabilitation Tools (AREA)
Abstract
本发明提供了一种用于步态康复训练的听觉提示方法、装置及***，涉及康复训练技术领域，所述用于步态康复训练的听觉提示方法包括：获取用户影像数据；基于所述用户影像数据，采用第一预设模型，判断用户是否处于走路状态；若是，则获取用户的步态角度；当所述步态角度处于预设角度范围内时，实时输出节拍固定的声音提示；当所述步态角度处于所述预设角度范围之外时，实时输出节拍变化的声音提示。本发明无需用户佩戴传感器，能提高冻结步态检测的准确性以及对不同需求用户的适应性。
Description
技术领域
本发明涉及康复训练技术领域，具体而言，涉及一种用于步态康复训练的听觉提示方法、装置及***。
背景技术
帕金森病又称为振颤麻痹，是一种神经***退行性疾病，其主要表现症状分为运动型和非运动型两种症状，其中，运动症状主要表现为步态冻结、步态紊乱、步长和速度减少。帕金森的中晚期最常见的症状是步态冻结，步态冻结是指用户在行走时突然出现的、暂时性的、无法自发开始或继续步行的症状。步态冻结通常表现为用户的脚似乎被“黏住”或者“卡住”，导致他们无法前进或产生小步、快速的踏步动作，有时甚至会出现抬腿抬不起来的情况，这严重影响了用户的生活质量。
听觉提示是步态训练的一种辅助手段。在现有技术中，通常采用IMU惯性传感器检测帕金森冻结步态的发生，再给予听觉提示。然而，这种方法需要用户佩戴多个传感器，佩戴繁琐，不方便用户进行日常训练，其次，由于这种传感器***针对不同用户的灵敏性不同，导致对不同用户的步态冻结检测准确性不同，此外，这种方法通常输出固定节拍的声音提示，无法适应具有不同状态、不同需求的用户。
可见，现有的采用IMU惯性传感器检测帕金森冻结步态的方法存在佩戴繁琐、准确性不足以及无法适应不同需求的用户的问题。
发明内容
本发明解决的问题是如何提高冻结步态检测的准确性以及对不同需求用户的适应性。
为解决上述问题，本发明提供一种用于步态康复训练的听觉提示方法，包括：
获取用户影像数据；
基于所述用户影像数据，采用第一预设模型，判断用户是否处于走路状态；
若是，则获取用户的步态角度；
当所述步态角度处于预设角度范围内时，实时输出节拍固定的声音提示；当所述步态角度处于所述预设角度范围之外时，实时输出节拍变化的声音提示。
可选地，所述实时输出节拍变化的声音提示包括：
以用户的步频为初始声音节拍，按照预设幅度控制声音节拍递增，直至声音节拍达到预设上限值后，返回执行所述以用户的步频为初始声音节拍，按照预设幅度控制声音节拍递增的操作。
可选地，所述实时输出节拍固定的声音提示包括：
根据用户的步频，生成第一声音节拍；
按照所述第一声音节拍，实时输出节拍固定的声音提示。
可选地，所述预设角度范围包括[-N°，N°]，其中，N∈[23，27]。
可选地，所述获取用户影像数据之后，还包括：
当处于走路状态判断模式时，执行所述基于所述用户影像数据，采用第一预设模型，判断用户是否处于走路状态；
当处于抖动状态判断模式时，基于所述用户影像数据，采用第二预设模型，判断用户是否处于抖动状态，若是，则基于用户的步频生成第二声音节拍，按照所述第二声音节拍，输出即时的节拍固定的声音提示。
可选地，所述用于步态康复训练的听觉提示方法还包括：
从所述用户影像数据中，获取预设时间窗口内的所有视频帧；
遍历所述预设时间窗口内的每一个视频帧，检测左脚和右脚的状态，并按照所述预设时间窗口内视频帧间的顺序，生成相应的状态序列；
统计所述预设时间窗口相应的状态序列中，满足预设顺序的子序列的数量；
根据所述满足预设顺序的子序列的数量，生成用户的步频。
可选地，所述第一预设模型、所述第二预设模型均基于UNet网络生成；所述基于所述用户影像数据，采用第一预设模型，判断用户是否处于走路状态包括：
采用MediaPipe框架中的人体姿态追踪算法对所述用户影像数据中的人体关键点进行定位，获得所述用户影像数据中的人体关键点像素坐标数据；
将所述用户影像数据和所述人体关键点像素坐标数据，输入至所述第一预设模型，输出用户是否处于走路状态的判断结果；
所述基于所述用户影像数据，采用第二预设模型，判断用户是否处于抖动状态包括：
采用MediaPipe框架中的人体姿态追踪算法对所述用户影像数据中的人体关键点进行定位，获得所述用户影像数据中的人体关键点像素坐标数据；
将所述用户影像数据和所述人体关键点像素坐标数据，输入至所述第二预设模型，输出用户是否处于抖动状态的判断结果。
可选地，所述获取用户的步态角度包括：
采用如下公式计算所述步态角度：
α＝arccosα，
其中，α指所述步态角度，(x1，y1)、(x2，y2)分别指脚跟坐标、膝盖坐标，(x0，y0)指横坐标x0与脚跟横坐标x1相同、纵坐标y0与膝盖纵坐标y2相同的坐标点。
本发明还提出一种听觉提示装置，包括：
数据采集模块，其用于获取用户影像数据；
算法模块，其用于基于所述用户影像数据，采用第一预设模型，判断用户是否处于走路状态；若是，则获取用户的步态角度；
听觉提示模块，其用于当所述步态角度处于预设角度范围内时，实时输出节拍固定的声音提示；当所述步态角度处于所述预设角度范围之外时，实时输出节拍变化的声音提示。
本发明还提出一种听觉提示***，包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现如上所述的用于步态康复训练的听觉提示方法。
与现有技术相比，本发明至少具有如下有益效果：
通过用户影像数据分辨用户是否出现冻结步态，无需用户佩戴传感器，避免用户产生紧张或畏惧情绪，提高步态检测的便利性，便于家庭康复训练，且不采用传感器特征检测冻结步态，可规避上述传感器灵敏性或准确性的缺陷，提高冻结步态检测的准确性。此外，还通过步态角度识别用户步态是否正常，当步态角度处于预设角度范围内时，实时输出节拍固定的声音提示，当步态角度处于所述预设角度范围之外时，实时输出节拍变化的声音提示，从而根据用户步态情况给出不同的声音节拍，以提高对不同需求用户的适应性。
附图说明
图1为本发明实施例所述用于步态康复训练的听觉提示方法一流程示意图；
图2为基于MediaPipe姿势识别的关键点定位的示意图；
图3为在节拍固定的声音提示下的走路情况；
图4为在节拍变化的声音提示下的走路情况；
图5为本发明实施例所述用于步态康复训练的听觉提示方法另一流程示意图；
图6为本发明实施例所述用于步态康复训练的听觉提示方法中步频计算流程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。应当理解的是，本发明的附图及实施例仅用于示例性作用，并非用于限制本发明的保护范围。本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”；术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”；术语“可选地”表示“可选的实施例”。其他术语的相关定义将在下文描述中给出。
如图1，本发明实施例所述用于步态康复训练的听觉提示方法，包括：
步骤S100，获取用户影像数据。
用户影像数据，可以为包含用户整个人体的图像数据和/或视频数据。其中，图像数据格式包括但不限于JPEG、PNG、BMP、GIF、TIFF等，视频数据格式包括但不限于MP4、AVI、MOV、MKV、FLV、WMV等。
获取用户影像数据，可以指从预置数据库中读取用户影像数据，也可指接收用户影像数据采集装置(摄像头)发送的用户影像数据。
步骤S200，基于用户影像数据，采用第一预设模型，判断用户是否处于走路状态。
第一预设模型可采用卷积神经网络模型，基于用户影像数据，判断用户是否处于走路状态。
一实施方式中，第一预设模型基于UNet网络生成，指训练好的UNet模型。步骤S200包括：
采用MediaPipe框架中的人体姿态追踪算法对所述用户影像数据中的人体关键点进行定位，获得所述用户影像数据中的人体关键点像素坐标数据；将所述用户影像数据和所述人体关键点像素坐标数据，输入至所述第一预设模型，输出用户是否处于走路状态的判断结果。
MediaPipe是一个开源的跨平台框架，用于构建机器学习管道的框架，主要用于处理视频、音频等时间序列数据。采用MediaPipe框架中的人体姿态追踪算法BlazePose(BlazePose:On-device Real-time Body Pose tracking)对用户影像数据中的人体关键点进行定位，可提取如图2所示的人体33个关键点，包括左膝、右膝、左脚踝、右脚踝、左脚跟、右脚跟、左脚趾、右脚趾等关键点。随后将用户影像数据和人体关键点像素坐标数据输入至第一预设模型，输出用户是否处于走路状态的判断结果。
若用户并非处于走路状态，比如处于坐立或者站立静止状态，则返回执行步骤S100，继续判断用户是否处于走路状态。
步骤S300，若是，则获取用户的步态角度。
若用户处于走路状态，则获取用户的步态角度。
步态角度，指大腿与垂直方向的夹角。具体地，可采用如下公式计算步态角度：
α＝arccosα
其中，α指步态角度，(x1，y1)、(x2，y2)分别指脚跟坐标、膝盖坐标，(x0，y0)指横坐标x0与脚跟横坐标x1相同、纵坐标y0与膝盖纵坐标y2相同。
步骤S400，当步态角度处于预设角度范围内时，实时输出节拍固定的声音提示；步骤S500，当步态角度处于预设角度范围之外时，实时输出节拍变化的声音提示。
其中，预设角度范围包括[-N°，N°]，其中，N∈[23，27]。具体地，N可取25°。预设角度范围为大多数人正常行走时的步态角度变化范围，若步态角度处于预设角度范围内，则说明用户的行走姿势相对正常，若步态角度处于预设角度范围之外，比如，大于25°或小于-25°，则用户的行走姿势可能不正常，可能存在行走不稳定、不平衡或肢体问题。通过步态角度识别用户步态是否正常，并基于识别结果输出不同的声音提示。
实时输出节拍固定的声音提示，即持续输出节拍固定的声音提示(参考图3)。可选地，实时输出节拍固定的声音提示具体包括：根据用户的步频，生成第一声音节拍；按照所述第一声音节拍，实时输出节拍固定的声音提示。
其中，可将用户的步频或者步频的±10％，作为第一声音节拍。从而可以根据用户步态情况确定声音提示的节拍，使声音提示更适合当前的用户，更符合用户个性化的需求。
实时输出节拍变化的声音提示，即持续输出节拍变化的声音提示。例如，可以输出节拍时快时慢的声音提示。一实施方式中，参考图4，所述实时输出节拍变化的声音提示包括：以用户的步频为初始声音节拍，按照预设幅度控制声音节拍递增，直至声音节拍达到预设上限值后，返回执行所述以用户的步频为初始声音节拍，按照预设幅度控制声音节拍递增的操作。
其中，预设幅度可选为2bmp，预设上限值可选为20bmp。
当声音节拍递增至预设上限值后，节拍回到初始声音节拍上，再递增，递增至预设上限值后再次返回，周而复始的进行下去。
通过给步态角度处于预设角度范围之外的异常步态的用户，实时输出节拍规律性变化的听觉提示，变化的声音节拍可提高用户的专注力，使用户在正常步频基础上进一步进行步频的提高。
现有的采用IMU传感器的方法一方面存在传感器佩戴繁琐的问题，另一方面，其分析步态冻结发生时候的传感器特征，从而得到步态冻结发生的特征，但针对不同的用户，冻结步态发生时，其传感器的特征并不一致，导致IMU传感器***检测步态冻结的适用性大大降低，因而可能出现用户出现步态冻结，但IMU传感器***没有给予听觉提示，或者用户没有出现步态冻结，但却有听觉提示输出，也即灵敏性/准确性存在明显缺陷。
本发明实施例，通过用户影像数据分辨用户是否出现冻结步态，无需用户佩戴传感器，避免用户产生紧张或畏惧情绪，提高步态检测的便利性，便于家庭康复训练，且不采用传感器特征检测冻结步态，可规避上述传感器灵敏性或准确性的缺陷，提高冻结步态检测的准确性。此外，还通过步态角度识别用户步态是否正常，当步态角度处于预设角度范围内时，实时输出节拍固定的声音提示，当步态角度处于所述预设角度范围之外时，实时输出节拍变化的声音提示，从而根据用户步态情况给出不同的声音节拍，以提高对不同需求用户的适应性。
可选地，参考图5，步骤S100之后，还包括：
当处于走路状态判断模式时，执行步骤S200-S500。
当处于抖动状态判断模式时，执行：步骤S600，基于所述用户影像数据，采用第二预设模型，判断用户是否处于抖动状态；步骤S700，若是，则基于用户的步频生成第二声音节拍，按照所述第二声音节拍，输出即时的节拍固定的声音提示；若否，则返回获取用户影像数据，基于用户影像数据，采用第二预设模型，判断用户是否处于抖动状态的操作。
其中，第二预设模型基于UNet网络生成。
所述基于所述用户影像数据，采用第二预设模型，判断用户是否处于抖动状态包括：采用MediaPipe框架中的人体姿态追踪算法对所述用户影像数据中的人体关键点进行定位，获得所述用户影像数据中的人体关键点像素坐标数据；将所述用户影像数据和所述人体关键点像素坐标数据，输入至所述第二预设模型，输出用户是否处于抖动状态的判断结果。
其中人体姿态追踪算法为BlazePose(BlazePose:On-device Real-time BodyPose tracking)算法。
输出即时的节拍固定的声音提示，指在检测到出现步态冻结时，给予节拍固定的声音提示。
可由用户在走路状态判断模式和抖动状态判断模式中选择一种。由于对不同用户而言，有些用户适合于在走路的时候听到节律性听觉提示，以改善步态，而有些用户并不需要在走路的时候听到声音，而是希望自己出现步态冻结症状的时候，通过节律性听觉提示从而改善步态，因此，由用户选择模式可以满足用户个性化的需求。
对于第一预设模型/第二预设模型的训练，包括：
训练数据集的构建：采集原始影像数据，采用MediaPipe框架中的人体姿态追踪算法，对原始影像数据中的每帧图像检测大腿与垂直方向的夹角，当大腿与垂直方向的夹角在-30°～30°之间的时候判断为走路状态，当大腿与垂直方向的夹角在-10°～10°之间，以及脚步与水平方向的夹角在0°～5°之间的时候判断为抖动状态。采集一定量的帕金森用户的走路影像数据，冻结步态的腿部抖动影像数据以及非走路、非抖动的影像数据，其中，影像数据包括图像和视频，还包括采用MediaPipe框架中的人体姿态追踪算法在影像数据中标定人体关键点像素坐标。
将走路影像数据、腿部抖动影像数据以及非走路、非抖动的影像数据放入三个不同的文件夹，对该三类数据设置类别标签，对每个图像进行缩放，同时对照片数据进行裁剪、放大、缩小、对比度等操作扩充数据集，按照9：1的比例划分数据集，其中9为训练集，1为验证集。
基于走路影像数据和非走路、非抖动的影像数据，训练UNet网络模型，生成第一预设模型，将训练效果比较好的模型导出为MediaPipe支持的格式；基于腿部抖动影像数据以及非走路、非抖动的影像数据，训练UNet网络模型，生成第二预设模型，将训练效果比较好的模型导出为MediaPipe支持的格式。
可选地，参考图6，所述用于步态康复训练的听觉提示方法还包括：
步骤S1，从用户影像数据中，获取预设时间窗口内的所有视频帧。
预设时间窗口为预先设定的固定值，比如，可设置为一秒钟，再根据视频的帧率确定预设时间窗口的所有视频帧，例如，如果视频的帧率是30帧每秒，一秒钟的预设时间窗口包含30个视频帧。
步骤S2，遍历预设时间窗口内的每一个视频帧，检测左脚和右脚的状态，并按照预设时间窗口内视频帧间的顺序，生成相应的状态序列。
为左脚着地、左脚离地、右脚着地、右脚离地分别定义为特定的状态，比如定义左脚着地为状态1，左脚离地为状态2，右脚着地为状态3，右脚离地为状态4。遍历预设时间窗口内的每一个视频帧，检测左脚和右脚的状态之后，记录每一个视频帧对应的状态，生成相应的状态序列，其中，左脚、右脚的状态可通过图像处理技术和MediaPipe检测获得。比如，假设连续四个视频帧的状态分别为1、2、3、4，则可得到状态序列为[1,2,3,4]。
步骤S3，统计预设时间窗口相应的状态序列中，满足预设顺序的子序列的数量。
其中，预设顺序，指预先设置的对应一步的序列顺序，也即满足预设顺序，就代表一步。
预设时间窗口相应的状态序列，即预设时间窗口所有视频帧对应的状态序列，统计出预设时间窗口相应的状态序列中满足预设顺序的子序列的数量，即可统计出预设时间窗口内的步数。
步骤S4，根据满足预设顺序的子序列的数量，生成用户的步频。
根据满足预设顺序的子序列的数量计算出用户的步频。
一实施方式中，步频定义为每分钟迈出的步数，则采用如下公式计算用户的步频：步频＝(步数/时间窗口长度(秒))×60。
相比人工测算步频，本发明实施例可以实现步频的自动计算，可降低人为失误，提高步频计算的准确性。
本发明实施例中，所述听觉提示装置包括：
数据采集模块，其用于获取用户影像数据；
算法模块，其用于基于所述用户影像数据，采用第一预设模型，判断用户是否处于走路状态；若是，则获取用户的步态角度；
听觉提示模块，其用于当所述步态角度处于预设角度范围内时，实时输出节拍固定的声音提示；当所述步态角度处于所述预设角度范围之外时，实时输出节拍变化的声音提示。
可选地，听觉提示模块，其还用于在执行所述实时输出节拍变化的声音提示时，具体执行：以用户的步频为初始声音节拍，按照预设幅度控制声音节拍递增，直至声音节拍达到预设上限值后，返回执行所述以用户的步频为初始声音节拍，按照预设幅度控制声音节拍递增的操作。
可选地，听觉提示模块，其还用于在执行所述实时输出节拍固定的声音提示包时，具体执行：根据用户的步频，生成第一声音节拍；按照所述第一声音节拍，实时输出节拍固定的声音提示。
可选地，所述预设角度范围包括[-N°，N°]，其中，N∈[23，27]。
可选地，当处于抖动状态判断模式时，由算法模块基于所述用户影像数据，采用第二预设模型，判断用户是否处于抖动状态，若是，则基于用户的步频生成第二声音节拍，并由听觉提示模块按照所述第二声音节拍，输出即时的节拍固定的声音提示。
可选地，算法模块还用于：从所述用户影像数据中，获取预设时间窗口内的所有视频帧；
遍历所述预设时间窗口内的每一个视频帧，检测左脚和右脚的状态，并按照所述预设时间窗口内视频帧间的顺序，生成相应的状态序列；
统计所述预设时间窗口相应的状态序列中，满足预设顺序的子序列的数量；
根据所述满足预设顺序的子序列的数量，生成用户的步频。
可选地，所述第一预设模型、所述第二预设模型均基于UNet网络生成；算法模块具体用于在执行所述基于所述用户影像数据，采用第一预设模型，判断用户是否处于走路状态时，具体执行：采用MediaPipe框架中的人体姿态追踪算法对所述用户影像数据中的人体关键点进行定位，获得所述用户影像数据中的人体关键点像素坐标数据；将所述用户影像数据和所述人体关键点像素坐标数据，输入至所述第一预设模型，输出用户是否处于走路状态的判断结果；在执行所述基于所述用户影像数据，采用第二预设模型，判断用户是否处于抖动状态时，具体执行：采用MediaPipe框架中的人体姿态追踪算法对所述用户影像数据中的人体关键点进行定位，获得所述用户影像数据中的人体关键点像素坐标数据；将所述用户影像数据和所述人体关键点像素坐标数据，输入至所述第二预设模型，输出用户是否处于抖动状态的判断结果。
可选地，算法模块还用于：采用如下公式计算所述步态角度：
α＝arccosα，
其中，α指所述步态角度，(x1，y1)、(x2，y2)分别指脚跟坐标、膝盖坐标，(x0，y0)指横坐标x0与脚跟横坐标x1相同、纵坐标y0与膝盖纵坐标y2相同的坐标点。
本发明实施例中的听觉提示***，包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现如上所述的用于步态康复训练的听觉提示方法。
其中，听觉提示***可实施为手机、电脑等。因而通过手机、电脑等即可进行居家的康复训练，从而提高康复训练的便利性。
其相对于现有技术的优点与上述用于步态康复训练的听觉提示方法类似，此处不赘述。
虽然本发明披露如上，但本发明的保护范围并非仅限于此。本领域技术人员在不脱离本发明的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。
Claims (10)
1.一种用于步态康复训练的听觉提示方法，其特征在于，包括：
获取用户影像数据；
基于所述用户影像数据，采用第一预设模型，判断用户是否处于走路状态；
若是，则获取用户的步态角度；
当所述步态角度处于预设角度范围内时，实时输出节拍固定的声音提示；当所述步态角度处于所述预设角度范围之外时，实时输出节拍变化的声音提示。
2.如权利要求1所述的用于步态康复训练的听觉提示方法，其特征在于，所述实时输出节拍变化的声音提示包括：
以用户的步频为初始声音节拍，按照预设幅度控制声音节拍递增，直至声音节拍达到预设上限值后，返回执行所述以用户的步频为初始声音节拍，按照预设幅度控制声音节拍递增的操作。
3.如权利要求1或2所述的用于步态康复训练的听觉提示方法，其特征在于，所述实时输出节拍固定的声音提示包括：
根据用户的步频，生成第一声音节拍；
按照所述第一声音节拍，实时输出节拍固定的声音提示。
4.如权利要求1或2所述的用于步态康复训练的听觉提示方法，其特征在于，所述预设角度范围包括[-N°，N°]，其中，N∈[23，27]。
5.如权利要求1或2所述的用于步态康复训练的听觉提示方法，其特征在于，所述获取用户影像数据之后，还包括：
当处于走路状态判断模式时，执行所述基于所述用户影像数据，采用第一预设模型，判断用户是否处于走路状态；
当处于抖动状态判断模式时，基于所述用户影像数据，采用第二预设模型，判断用户是否处于抖动状态，若是，则基于用户的步频生成第二声音节拍，按照所述第二声音节拍，输出即时的节拍固定的声音提示。
6.如权利要求5所述的用于步态康复训练的听觉提示方法，其特征在于，还包括：
从所述用户影像数据中，获取预设时间窗口内的所有视频帧；
遍历所述预设时间窗口内的每一个视频帧，检测左脚和右脚的状态，并按照所述预设时间窗口内视频帧间的顺序，生成相应的状态序列；
统计所述预设时间窗口相应的状态序列中，满足预设顺序的子序列的数量；
根据所述满足预设顺序的子序列的数量，生成用户的步频。
7.如权利要求5所述的用于步态康复训练的听觉提示方法，其特征在于，所述第一预设模型、所述第二预设模型均基于UNet网络生成；所述基于所述用户影像数据，采用第一预设模型，判断用户是否处于走路状态包括：
采用MediaPipe框架中的人体姿态追踪算法对所述用户影像数据中的人体关键点进行定位，获得所述用户影像数据中的人体关键点像素坐标数据；
将所述用户影像数据和所述人体关键点像素坐标数据，输入至所述第一预设模型，输出用户是否处于走路状态的判断结果；
所述基于所述用户影像数据，采用第二预设模型，判断用户是否处于抖动状态包括：
采用MediaPipe框架中的人体姿态追踪算法对所述用户影像数据中的人体关键点进行定位，获得所述用户影像数据中的人体关键点像素坐标数据；
将所述用户影像数据和所述人体关键点像素坐标数据，输入至所述第二预设模型，输出用户是否处于抖动状态的判断结果。
8.如权利要求1或2所述的用于步态康复训练的听觉提示方法，其特征在于，所述获取用户的步态角度包括：
采用如下公式计算所述步态角度：
α＝arccosα，
其中，α指所述步态角度，(x1，y1)、(x2，y2)分别指脚跟坐标、膝盖坐标，(x0，y0)指横坐标x0与脚跟横坐标x1相同、纵坐标y0与膝盖纵坐标y2相同的坐标点。
9.一种听觉提示装置，其特征在于，包括：
数据采集模块，其用于获取用户影像数据；
算法模块，其用于基于所述用户影像数据，采用第一预设模型，判断用户是否处于走路状态；若是，则获取用户的步态角度；
听觉提示模块，其用于当所述步态角度处于预设角度范围内时，实时输出节拍固定的声音提示；当所述步态角度处于所述预设角度范围之外时，实时输出节拍变化的声音提示。
10.一种听觉提示***，其特征在于，包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现如权利要求1至8中任一项所述的用于步态康复训练的听觉提示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310926711.0A CN117204845A (zh) | 2023-07-26 | 2023-07-26 | 一种用于步态康复训练的听觉提示方法、装置及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310926711.0A CN117204845A (zh) | 2023-07-26 | 2023-07-26 | 一种用于步态康复训练的听觉提示方法、装置及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117204845A true CN117204845A (zh) | 2023-12-12 |
Family
ID=89039650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310926711.0A Pending CN117204845A (zh) | 2023-07-26 | 2023-07-26 | 一种用于步态康复训练的听觉提示方法、装置及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117204845A (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4571680A (en) * | 1981-05-27 | 1986-02-18 | Chyuan Jong Wu | Electronic music pace-counting shoe |
| CN101004938A (zh) * | 2005-12-06 | 2007-07-25 | 索尼株式会社 | 用于再现音频信号的设备和方法 |
| CN106344031A (zh) * | 2016-08-29 | 2017-01-25 | 常州市钱璟康复股份有限公司 | 一种基于声音反馈的步态训练与评估*** |
| KR20180035179A (ko) * | 2016-09-28 | 2018-04-05 | (주)포크레인쥬스 | 리듬청각자극(ras)을 활용한 보행 재활 서비스 제공방법 및 시스템 |
| CN108836347A (zh) * | 2018-05-10 | 2018-11-20 | 中国科学院宁波材料技术与工程研究所 | 帕金森患者康复训练方法和*** |
| KR101911221B1 (ko) * | 2017-06-27 | 2018-12-28 | 대한민국 | 복합 자극을 통한 보행 패턴 훈련 및 의도 분석 시스템과, 방법 |
| CN111195385A (zh) * | 2018-11-17 | 2020-05-26 | 中国科学院宁波材料技术与工程研究所 | 帕金森患者步态冻结症状康复训练方法和*** |
| CN111195189A (zh) * | 2018-11-17 | 2020-05-26 | 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 | 帕金森患者步态冻结症状康复训练方法和*** |
| CN211328003U (zh) * | 2019-10-28 | 2020-08-25 | 林春 | 一种辅助帕金森患者步态训练设备 |
| CN112617807A (zh) * | 2020-12-31 | 2021-04-09 | 中国科学院合肥物质科学研究院 | 一种预防和解除帕金森病患者冻结步态的装置和方法 |
| CN113599773A (zh) * | 2021-09-22 | 2021-11-05 | 上海海压特智能科技有限公司 | 基于节律性视觉刺激的步态康复训练***及训练方法 |
| US20210345947A1 (en) * | 2016-04-14 | 2021-11-11 | MedRhythms, Inc. | Systems and methods for augmented neurologic rehabilitation |
| WO2022271660A1 (en) * | 2021-06-21 | 2022-12-29 | Starkey Laboratories, Inc. | Ear-wearable systems for gait analysis and gait training |
| CN115624719A (zh) * | 2022-10-12 | 2023-01-20 | 国家康复辅具研究中心 | 一种步态反馈实现方法和装置 |
| CN115715717A (zh) * | 2022-11-10 | 2023-02-28 | 中国人民解放军总医院第四医学中心 | 一种旋转成形步态纠正假肢***及其方法 |
| CN116077889A (zh) * | 2021-09-22 | 2023-05-09 | 上海海压特智能科技有限公司 | 基于节律性听觉刺激的步态康复训练***及训练方法 |
| KR20230086874A (ko) * | 2021-12-08 | 2023-06-16 | ㈜ 한국공학기술연구원 | 3d 신체 정밀 추적 기술을 이용한 재활 훈련 시스템 |
-
2023
- 2023-07-26 CN CN202310926711.0A patent/CN117204845A/zh active Pending
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4571680A (en) * | 1981-05-27 | 1986-02-18 | Chyuan Jong Wu | Electronic music pace-counting shoe |
| CN101004938A (zh) * | 2005-12-06 | 2007-07-25 | 索尼株式会社 | 用于再现音频信号的设备和方法 |
| US20210345947A1 (en) * | 2016-04-14 | 2021-11-11 | MedRhythms, Inc. | Systems and methods for augmented neurologic rehabilitation |
| CN106344031A (zh) * | 2016-08-29 | 2017-01-25 | 常州市钱璟康复股份有限公司 | 一种基于声音反馈的步态训练与评估*** |
| KR20180035179A (ko) * | 2016-09-28 | 2018-04-05 | (주)포크레인쥬스 | 리듬청각자극(ras)을 활용한 보행 재활 서비스 제공방법 및 시스템 |
| KR101911221B1 (ko) * | 2017-06-27 | 2018-12-28 | 대한민국 | 복합 자극을 통한 보행 패턴 훈련 및 의도 분석 시스템과, 방법 |
| CN108836347A (zh) * | 2018-05-10 | 2018-11-20 | 中国科学院宁波材料技术与工程研究所 | 帕金森患者康复训练方法和*** |
| CN111195385A (zh) * | 2018-11-17 | 2020-05-26 | 中国科学院宁波材料技术与工程研究所 | 帕金森患者步态冻结症状康复训练方法和*** |
| CN111195189A (zh) * | 2018-11-17 | 2020-05-26 | 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 | 帕金森患者步态冻结症状康复训练方法和*** |
| CN211328003U (zh) * | 2019-10-28 | 2020-08-25 | 林春 | 一种辅助帕金森患者步态训练设备 |
| CN112617807A (zh) * | 2020-12-31 | 2021-04-09 | 中国科学院合肥物质科学研究院 | 一种预防和解除帕金森病患者冻结步态的装置和方法 |
| WO2022271660A1 (en) * | 2021-06-21 | 2022-12-29 | Starkey Laboratories, Inc. | Ear-wearable systems for gait analysis and gait training |
| CN113599773A (zh) * | 2021-09-22 | 2021-11-05 | 上海海压特智能科技有限公司 | 基于节律性视觉刺激的步态康复训练***及训练方法 |
| CN116077889A (zh) * | 2021-09-22 | 2023-05-09 | 上海海压特智能科技有限公司 | 基于节律性听觉刺激的步态康复训练***及训练方法 |
| KR20230086874A (ko) * | 2021-12-08 | 2023-06-16 | ㈜ 한국공학기술연구원 | 3d 신체 정밀 추적 기술을 이용한 재활 훈련 시스템 |
| CN115624719A (zh) * | 2022-10-12 | 2023-01-20 | 国家康复辅具研究中心 | 一种步态反馈实现方法和装置 |
| CN115715717A (zh) * | 2022-11-10 | 2023-02-28 | 中国人民解放军总医院第四医学中心 | 一种旋转成形步态纠正假肢***及其方法 |
Non-Patent Citations (1)
| Title |
|---|
| 汪毅等: ""节拍步行与音乐步行对老年前期女性的影响"", 《中国体育科技》, vol. 59, no. 06, 30 June 2023 (2023-06-30), pages 62 - 71 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8213678B2 (en) | System and method of analyzing the movement of a user | |
| US9036018B2 (en) | Facial expression recognition systems and methods and computer program products thereof | |
| US8824802B2 (en) | Method and system for gesture recognition | |
| Dikovski et al. | Evaluation of different feature sets for gait recognition using skeletal data from Kinect | |
| JP2006350577A (ja) | 動作分析装置 | |
| JP4844670B2 (ja) | 映像処理装置および映像処理方法 | |
| KR20130118647A (ko) | 운동량에 따른 멀티미디어 운동 컨텐츠의 디스플레이 방법 및 이를 적용한 멀티미디어 장치 | |
| KR101642854B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 기록 매체 | |
| KR20210128943A (ko) | 인공신경망을 이용한 스포츠 자세를 비교 및 교정하는 장치 및 방법 | |
| Martindale et al. | Smart annotation tool for multi-sensor gait-based daily activity data | |
| CN111611876A (zh) | 一种基于大数据分析的步姿矫正方法及其*** | |
| CN114513694A (zh) | 评分确定方法、装置、电子设备和存储介质 | |
| WO2021192906A1 (ja) | 算出方法 | |
| CN117204845A (zh) | 一种用于步态康复训练的听觉提示方法、装置及*** | |
| US20230133579A1 (en) | Visual attention tracking using gaze and visual content analysis | |
| Bakar et al. | Computer vision-based hand deviation exercise for rehabilitation | |
| JP2005230068A (ja) | 運動支援方法と、その装置 | |
| JP7356927B2 (ja) | 肌解析方法、肌解析システム及び肌解析プログラム | |
| WO2021192908A1 (ja) | 追跡方法 | |
| KR20210146265A (ko) | 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체 | |
| JP2009189671A (ja) | 歩行周期検出方法、歩行周期検出装置、および歩行周期検出プログラム | |
| KR20210067590A (ko) | 골프에 관한 콘텐츠를 추천하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체 | |
| CN117707746B (zh) | 一种互动全息数据的调度方法和*** | |
| Phoophuangpairoj | Frame-based analysis of knee extension exercises using a smartphone accelerometer | |
| WO2021192907A1 (ja) | 出力方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |