CN116431004B - 康复机器人交互行为的控制方法及*** - Google Patents

康复机器人交互行为的控制方法及*** Download PDF

Info

Publication number
CN116431004B
CN116431004B CN202310635568.XA CN202310635568A CN116431004B CN 116431004 B CN116431004 B CN 116431004B CN 202310635568 A CN202310635568 A CN 202310635568A CN 116431004 B CN116431004 B CN 116431004B
Authority
CN
China
Prior art keywords
rehabilitation
feature
matrix
classification
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310635568.XA
Other languages
English (en)
Other versions
CN116431004A (zh
Inventor
盛振文
王桂云
盛明
何静
王素琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Xiehe University
Original Assignee
Shandong Xiehe University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Xiehe University filed Critical Shandong Xiehe University
Priority to CN202310635568.XA priority Critical patent/CN116431004B/zh
Publication of CN116431004A publication Critical patent/CN116431004A/zh
Application granted granted Critical
Publication of CN116431004B publication Critical patent/CN116431004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Physiology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Veterinary Medicine (AREA)
  • Evolutionary Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Cardiology (AREA)
  • Mathematical Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Primary Health Care (AREA)
  • Software Systems (AREA)
  • Dermatology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Computing Systems (AREA)
  • Epidemiology (AREA)
  • Pulmonology (AREA)

Abstract

本申请涉及康复机器人技术领域，其具体地公开了一种康复机器人交互行为的控制方法及***，其首先获取被监测患者在预定时间段的肌电信号、在所述预定时间段内多个预定时间点的呼吸频率值和心率值，以及，所述被监测患者的康复进程文本描述；然后，通过人工智能和深度学习技术进行所述患者的肌电信号、呼吸频率值和心率值的时序协同关联特征和所述患者的康复进程文本描述的语义理解特征之间的关联性特征分布信息的充分表达，以此来准确地进行患者的康复状态检测评估，从而根据患者当前康复需求，选择合适的康复任务类型，实现更精准的康复机器人交互行为控制。

Description

康复机器人交互行为的控制方法及***
技术领域
本申请涉及康复机器人技术领域，且更为具体地，涉及一种康复机器人交互行为的控制方法及***。
背景技术
目前，康复机器人在实现患者康复过程中起到了重要作用，康复机器人的应用已经成为康复治疗中越来越重要的组成部分。但由于每个患者的身体状态和康复进程都是不同的，因此如何实现个性化的康复服务一直是一个挑战。传统的康复机器人控制方法通常是通过固定的康复任务模板，缺乏个性化的康复任务，难以满足患者的个性化康复训练需求。
因此，期望一种优化的康复机器人交互行为的控制方案。
发明内容
本申请提供一种康复机器人交互行为的控制方法及***，其首先获取被监测患者在预定时间段的肌电信号、在所述预定时间段内多个预定时间点的呼吸频率值和心率值，以及，所述被监测患者的康复进程文本描述；然后，通过人工智能和深度学习技术进行所述患者的肌电信号、呼吸频率值和心率值的时序协同关联特征和所述患者的康复进程文本描述的语义理解特征之间的关联性特征分布信息的充分表达，以此来准确地进行患者的康复状态检测评估，从而根据患者当前康复需求，选择合适的康复任务类型，实现更精准的康复机器人交互行为控制。
第一方面，提供了一种康复机器人交互行为的控制方法，所述方法包括：获取被监测患者在预定时间段的肌电信号，以及，在所述预定时间段内多个预定时间点的呼吸频率值和心率值；对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值；将所述多个预定时间点的呼吸频率值和心率值，以及，所述多个肌电频域统计特征值排列为参数聚合矩阵；将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量；获取所述被监测患者的康复进程文本描述；对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量；对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵；对分类特征矩阵进行特征优化以得到优化分类特征矩阵；以及，将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示推荐的康复任务类型标签。
第二方面，提供了一种康复机器人交互行为的控制***，所述***包括：数据获取模块，用于获取被监测患者在预定时间段的肌电信号，以及，在所述预定时间段内多个预定时间点的呼吸频率值和心率值；频域变换模块，用于对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值；排列矩阵模块，用于将所述多个预定时间点的呼吸频率值和心率值，以及，所述多个肌电频域统计特征值排列为参数聚合矩阵；卷积编码模块，用于将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量；文本获取模块，用于获取所述被监测患者的康复进程文本描述；语义编码模块，用于对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量；关联编码模块，用于对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵；特征优化模块，用于对分类特征矩阵进行特征优化以得到优化分类特征矩阵；以及，分类模块，用于将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示推荐的康复任务类型标签。
第三方面，提供了一种芯片，该芯片包括输入输出接口、至少一个处理器、至少一个存储器和总线，该至少一个存储器用于存储指令，该至少一个处理器用于调用该至少一个存储器中的指令，以执行第一方面中的方法。
第四方面，提供了一种计算机可读介质，用于存储计算机程序，所述计算机程序包括用于执行上述第一方面中的方法。
第五方面，提供了一种包括指令的计算机程序产品，当计算机运行所述计算机程序产品的所述指时，所述计算机执行上述第一方面中的方法。
本申请提供的一种康复机器人交互行为的控制方法及***，其首先获取被监测患者在预定时间段的肌电信号、在所述预定时间段内多个预定时间点的呼吸频率值和心率值，以及，所述被监测患者的康复进程文本描述；然后，通过人工智能和深度学习技术进行所述患者的肌电信号、呼吸频率值和心率值的时序协同关联特征和所述患者的康复进程文本描述的语义理解特征之间的关联性特征分布信息的充分表达，以此来准确地进行患者的康复状态检测评估，从而根据患者当前康复需求，选择合适的康复任务类型，实现更精准的康复机器人交互行为控制。
附图说明
图1是本申请实施例的康复机器人交互行为的控制方法的示意性流程图。
图2是本申请实施例的康复机器人交互行为的控制方法的模型架构的示意图。
图3是本申请实施例的康复机器人交互行为的控制方法中对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量的示意性流程图。
图4是本申请实施例的康复机器人交互行为的控制方法中将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示推荐的康复任务类型标签的示意性流程图。
图5是本申请实施例的康复机器人交互行为的控制***的示意性框图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
这里由于涉及到基于深度学习的深度神经网络模型，下面先对本申请实施例可能涉及的深度神经网络模型的相关术语和概念进行介绍。
在深度神经网络模型中，隐藏层可以是卷积层和池化层。卷积层对应的一组权重值被称为滤波器，也被称为卷积核。滤波器和输入特征值都被表示为一个多维矩阵，对应地，表示成多维矩阵的滤波器也称为滤波器矩阵，表示成多维矩阵的输入特征值也称为输入特征矩阵，当然，除了可以输入特征矩阵，也可以输入特征图像，特征向量，这里只是以输入特征矩阵进行举例。卷积层的运算称为卷积运算，该卷积运算指的是，输入特征矩阵的一部分特征值与滤波器矩阵的权重值进行内积操作。
深度神经网络模型中每一个卷积层的运算过程可以被编成软件，然后通过在运算装置中运行该软件，得到每层网络的输出结果，即输出特征矩阵。例如，软件通过滑动窗口的方式，以每层网络的输入特征矩阵的左上角为起点，以滤波器大小为窗口，每次从特征值矩阵中提取一个窗口的数据与滤波器进行内积操作。当输入特征矩阵的右下角窗口的数据与滤波器完成内积操作后，便可得到每层网络的一个二维的输出特征矩阵。软件重复上述过程，直至产生每层网络的整个输出特征矩阵。
卷积层运算的过程为，将一个滤波器大小的窗口滑动过整个输入图像(即输入特征矩阵)，在每个时刻对窗口内覆盖的输入特征值与该滤波器进行内积运算，其中，窗口滑动的步长为1。具体地，以输入特征矩阵的左上角为起点，以滤波器大小为窗口，窗口滑动的步长为1，每次从特征值矩阵中提取一个窗口的输入特征值与滤波器进行内积操作，当输入特征矩阵的右下角的数据与滤波器完成内积操作后，便可得到该输入特征矩阵的一个二维的输出特征矩阵。
由于常常需要减少训练参数的数量，因此卷积层之后常常需要周期性的引入池化层，在图像处理过程中，池化层的唯一目的就是减少图像的空间大小。池化层可以包括平均池化算子和/或最大池化算子，以用于对输入图像进行采样得到较小尺寸的图像。平均池化算子可以在特定范围内对图像中的像素值进行计算产生平均值作为平均池化的结果。最大池化算子可以在特定范围内取该范围内值最大的像素作为最大池化的结果。另外，就像卷积层中用权重矩阵的大小应该与图像尺寸相关一样，池化层中的运算符也应该与图像的大小相关。通过池化层处理后输出的图像尺寸可以小于输入池化层的图像的尺寸，池化层输出的图像中每个像素点表示输入池化层的图像的对应子区域的平均值或最大值。
由于实际在深度神经网络中需要模拟的函数往往是非线性的，而前面卷积和池化只能模拟线性函数，为了在深度神经网络模型中，引入非线性因素，以增加整个网络的表征能力，在池化层过后还会设置有激活层，激活层中设置有激活函数，常用的激励函数有sigmoid、tanh、ReLU函数等。
如上所述，康复机器人的应用已经成为康复治疗中越来越重要的组成部分。但由于每个患者的身体状态和康复进程都是不同的，因此如何实现个性化的康复服务一直是一个挑战。传统的康复机器人控制方法通常是通过固定的康复任务模板，缺乏个性化的康复任务，难以满足患者的个性化康复训练需求。因此，期望一种优化的康复机器人交互行为的控制方案。
相应地，考虑到在实际进行康复机器人的交互行为控制过程中，为了保证康复机器人提供的康复训练满足患者的个性化需求，机器人***则需要基于患者当前的身体状态和康复进程，选择合适的康复任务和场景。因此，在本申请的技术方案中，期望基于患者的肌电信号，以及呼吸频率值和心率值来综合进行分析，并对患者的康复进程文本描述进行语义理解，以此来进行康复任务类型的推荐。应可以理解，这里，患者的肌电信号、呼吸频率值和心率值参数能够提供关于患者身体状态的有用信息，例如肌电信号可以反映患者肌肉的运动情况和运动强度等，而呼吸频率值和心率值则可反映患者的生理状况和身体健康情况，而患者的康复进程文本描述能够帮助识别和了解患者正在接受的康复项目，推测其需要进行的具体康复任务类型。但是，由于所述患者的肌电信号、以及呼吸频率值和心率值之间具有着时序的协同关联特征，并且其与患者的康复进程文本描述的语义理解特征之间具有着关联性的特征信息。因此，在此过程中，难点在于如何进行所述患者的肌电信号、呼吸频率值和心率值的时序协同关联特征和所述患者的康复进程文本描述的语义理解特征之间的关联性特征分布信息的充分表达，以此来准确地进行患者的康复状态检测评估，从而根据患者当前康复需求，选择合适的康复任务类型，实现更精准的康复机器人交互行为控制。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述患者的肌电信号、呼吸频率值和心率值的时序协同关联特征和所述患者的康复进程文本描述的语义理解特征之间的关联性特征分布信息提供了新的解决思路和方案。
具体地，在本申请的技术方案中，首先，获取被监测患者在预定时间段的肌电信号，以及，在所述预定时间段内多个预定时间点的呼吸频率值和心率值。应可以理解，对于康复机器人交互行为的控制，需要考虑患者当前的身体状态和康复进程等因素，而所述肌电信号、所述呼吸频率值和所述心率值参数能够提供关于所述被监测患者的身体状态有用信息。具体来说，所述肌电信号可以反映患者肌肉的运动情况和运动强度等，而所述呼吸频率值和所述心率值则可反映患者的生理状况和身体健康情况。因此，获取所述被监测患者在预定时间段的肌电信号和呼吸频率值和心率值等参数，能够帮助康复机器人更好地了解患者当前的身体情况，并根据身体情况选择合适的康复任务和场景，从而实现针对性更强、效果更好的康复机器人交互行为控制。
接着，考虑到由于所述肌电信号为时域连续信号，其在采集的过程中极易受到噪声干扰，导致对于所述肌电信号的分析精度下降，影响后续的康复任务类型推荐。并且，还考虑到由于所述呼吸频率值和所述心率值为离散信号，为了能够更准确地捕捉这三者数据之间的时域协同关联特征信息，在本申请的技术方案中，进一步对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值，并将所述多个预定时间点的呼吸频率值和心率值，以及，所述多个肌电频域统计特征值排列为参数聚合矩阵，以此来整合所述患者的肌电信号、呼吸频率值和心率值在时序上的分布信息。
然后，使用在隐含关联特征提取方面具有优异表现的作为过滤器的卷积神经网络模型来进行所述参数聚合矩阵的特征挖掘，以提取出所述患者的肌电信号、呼吸频率值和心率值在时间维度上的时序协同关联特征分布信息，从而得到参数关联特征向量。
进一步地，为了能够提高对于所述被监测患者的康复进程分析，需要获取所述被监测患者的康复进程文本描述，以更好地理解和分析患者当前状态下需要进行的康复任务类型。应可以理解，在进行康复机器人交互行为控制时，仅考虑所述患者的肌电信号、呼吸频率值和心率值等参数可能无法完全反映该患者当前的康复需求和实际情况。而通过获取所述被监测患者的康复进程文本描述，可以进一步识别和了解该患者正在接受的康复项目，推测其需要进行的具体康复任务类型，例如提高某个关节灵活性、改善特定运动能力和恢复步态等，从而根据患者当前康复需求，选择合适的康复任务和场景，并最终实现更精准的康复机器人交互行为控制。
接着，考虑到由于所述被监测患者的康复进程文本描述是由多个词组成的，并且各个词之间具有着上下文的语义关联关系，因此，为了能够进行所述被监测患者的康复进程文本描述的语义理解，以此来提高康复任务类型的推荐精准度，在本申请的技术方案中，需要进一步对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器中进行编码，以提取出所述被监测患者的康复进程文本描述中基于全局的上下文语义关联特征信息，从而得到康复进程语义理解特征向量。
然后，对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵，以此来表示所述患者的各参数时序协同关联特征和所述患者康复进程的语义理解特征之间的关联性特征分布信息，这样能够有利于进行患者当前康复状态的检测评估。进一步地，再将所述分类特征矩阵通过分类器中进行分类处理，以得到用于表示推荐的康复任务类型标签的分类结果。也就是，在本申请的技术方案中，所述分类器的标签为推荐的康复任务类型标签，因此，在得到所述分类结果后，可基于所述分类结果来进行康复任务的推荐。例如，如果患者正在恢复步态，机器人可以选择模拟步态运动并提供支持。
特别地，在本申请的技术方案中，对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码得到所述分类特征矩阵时，在逐位置关联编码的情况下，例如，所述分类特征矩阵的每个行向量可以看作为所述参数关联特征向量的每个特征值与所述康复进程语义理解特征向量整体的关联特征向量，或者，所述分类特征矩阵的每个列向量可以看作为参数关联特征向量整体与所述康复进程语义理解特征向量的每个特征值的关联特征向量。因此，以前一种情况为例，所述分类特征矩阵可以被看作为各个行特征向量拼接得到的特征矩阵，由此，在将所述分类特征矩阵作为整体通过分类器进行分类回归时，期望通过提高所述分类特征矩阵的特征分布的整体性来提升分类效果。
基于此，本申请的申请人对所述分类特征矩阵，例如记为进行向量谱聚类代理学习融合优化，表示为：
其中， 是所述分类特征矩阵，/>是所述优化分类特征矩阵，/>表示所述分类特征矩阵的各个行特征向量，且/>是所述分类特征矩阵的每两个相应行特征向量之间的距离组成的距离矩阵，/>是/>与/>之间的距离，/>表示矩阵的指数运算，所述矩阵的指数运算表示以矩阵中各个位置特征值为幂的自然指数函数值，/>和分别表示按位置点乘和矩阵加法。
这里，在所述分类特征矩阵的各个行特征向量拼接后通过分类器进行分类回归时，由于各个行特征向量的内部类回归语义特征会与合成噪声特征发生混淆，从而导致有意义的类回归语义特征与噪声特征之间分界的模糊性，因此，所述向量谱聚类代理学习融合优化通过引入用于表示特征向量间的空间布局和语义相似性的谱聚类代理学习，来利用类回归语义特征和类回归场景之间的关联的概念化信息，对各个行特征向量间的潜在关联属性进行隐性监督传播，从而提高合成特征的整体分布依赖性，由此提升所述分类特征矩阵通过分类器进行分类回归的分类效果。这样，能够准确地进行患者的康复状态检测评估，从而根据患者当前康复需求，选择合适的康复任务类型，实现更精准的康复机器人交互行为控制。
以上在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
图1是本申请实施例的康复机器人交互行为的控制方法的示意性流程图。如图1所示，所述康复机器人交互行为的控制方法，包括：S110，获取被监测患者在预定时间段的肌电信号，以及，在所述预定时间段内多个预定时间点的呼吸频率值和心率值；S120，对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值；S130，将所述多个预定时间点的呼吸频率值和心率值，以及，所述多个肌电频域统计特征值排列为参数聚合矩阵；S140，将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量；S150，获取所述被监测患者的康复进程文本描述；S160，对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量；S170，对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵；S180，对分类特征矩阵进行特征优化以得到优化分类特征矩阵；以及，S190，将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示推荐的康复任务类型标签。
图2是本申请实施例的康复机器人交互行为的控制方法的模型架构的示意图。如图2所示，所述康复机器人交互行为的控制方法的模型架构的输入分别为被监测患者在预定时间段的肌电信号、在所述预定时间段内多个预定时间点的呼吸频率值和心率值，以及，所述被监测患者的康复进程文本描述。首先，对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值。然后，将所述多个预定时间点的呼吸频率值和心率值，以及，所述多个肌电频域统计特征值排列为参数聚合矩阵。接着，将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量。同时，对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量。再然后，对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵，并对分类特征矩阵进行特征优化以得到优化分类特征矩阵。最后，将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示推荐的康复任务类型标签。
步骤S110，获取被监测患者在预定时间段的肌电信号，以及，在所述预定时间段内多个预定时间点的呼吸频率值和心率值。应理解，于康复机器人交互行为的控制，需要考虑患者当前的身体状态和康复进程等因素，而所述肌电信号、所述呼吸频率值和所述心率值参数能够提供关于所述被监测患者的身体状态有用信息。具体来说，所述肌电信号可以反映患者肌肉的运动情况和运动强度等，而所述呼吸频率值和所述心率值则可反映患者的生理状况和身体健康情况。因此，获取所述被监测患者在预定时间段的肌电信号和呼吸频率值和心率值等参数，能够帮助康复机器人更好地了解患者当前的身体情况，并根据身体情况选择合适的康复任务和场景，从而实现针对性更强、效果更好的康复机器人交互行为控制。
步骤S120，对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值。应理解，考虑到由于所述肌电信号为时域连续信号，其在采集的过程中极易受到噪声干扰，导致对于所述肌电信号的分析精度下降，影响后续的康复任务类型推荐，因此，对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值。
步骤S130，将所述多个预定时间点的呼吸频率值和心率值，以及，所述多个肌电频域统计特征值排列为参数聚合矩阵。应理解，考虑到由于所述呼吸频率值和所述心率值为离散信号，为了能够更准确地捕捉这三者数据之间的时域协同关联特征信息，在本申请的技术方案中，进一步将所述多个预定时间点的呼吸频率值和心率值，以及，所述多个肌电频域统计特征值排列为参数聚合矩阵，以此来整合所述患者的肌电信号、呼吸频率值和心率值在时序上的分布信息。
步骤S140，将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量。应理解，考虑到所述患者的肌电信号、呼吸频率值和心率值在时序上蕴含丰富的信息，而作为过滤器的卷积神经网络模型在隐含关联特征提取方面具有优异表现，因此，使用作为过滤器的卷积神经网络模型来进行所述参数聚合矩阵的特征挖掘，以提取出所述患者的肌电信号、呼吸频率值和心率值在时间维度上的时序协同关联特征分布信息，从而得到参数关联特征向量。
可选地，在本申请一实施例中，将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量，包括：使用所述卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：基于卷积核对所述输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行基于特征矩阵的全局均值池化处理以生成池化特征图；以及，对所述池化特征图中各个位置的特征值进行非线性激活以生成激活特征图；其中，所述卷积神经网络模型的最后一层的输出为所述参数关联特征向量，所述卷积神经网络模型的第二层至最后一层的输入为上一层的输出，所述卷积神经网络模型的输入为所述参数聚合矩阵。
可选地，在本申请的另一实施例中，将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量，包括：使用所述作为特征提取器的卷积神经网络模型以如下公式对所述参数聚合矩阵进行处理以得到所述参数关联特征向量；
其中，所述公式为：
其中，为第/>层卷积神经网络模型的输入，/>为第/>层卷积神经网络模型的输出，/>为第/>层卷积神经网络模型的过滤器，且/>为第/>层卷积神经网络模型的偏置矩阵，/>表示非线性激活函数，且/>表示对特征图的每个特征矩阵进行局部特征池化操作。
步骤S150，获取所述被监测患者的康复进程文本描述。应理解，为了能够提高对于所述被监测患者的康复进程分析，需要获取所述被监测患者的康复进程文本描述，以更好地理解和分析患者当前状态下需要进行的康复任务类型。应可以理解，在进行康复机器人交互行为控制时，仅考虑所述患者的肌电信号、呼吸频率值和心率值等参数可能无法完全反映该患者当前的康复需求和实际情况。而通过获取所述被监测患者的康复进程文本描述，可以进一步识别和了解该患者正在接受的康复项目，推测其需要进行的具体康复任务类型，例如提高某个关节灵活性、改善特定运动能力和恢复步态等，从而根据患者当前康复需求，选择合适的康复任务和场景，并最终实现更精准的康复机器人交互行为控制。
步骤S160，对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量。应理解，考虑到由于所述被监测患者的康复进程文本描述是由多个词组成的，并且各个词之间具有着上下文的语义关联关系，因此，为了能够进行所述被监测患者的康复进程文本描述的语义理解，以此来提高康复任务类型的推荐精准度，在本申请的技术方案中，需要进一步对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器中进行编码，以提取出所述被监测患者的康复进程文本描述中基于全局的上下文语义关联特征信息，从而得到康复进程语义理解特征向量。
图3是本申请实施例的康复机器人交互行为的控制方法中对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量的示意性流程图。可选地，在本申请一实施例中，对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量，包括：S210，对所述被监测患者的康复进程文本描述进行分词处理以得到康复词序列；S220，将所述康复词序列通过所述语义编码器的词嵌入层以得到康复词嵌入向量的序列；S230，将所述康复词嵌入向量的序列通过所述语义编码器的基于转换器的Bert模型以得到多个康复词语义特征向量；以及，S240，将所述多个康复词语义特征向量进行级联以得到所述康复进程语义理解特征向量。
步骤S170，对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵。应理解，对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵，以此来表示所述患者的各参数时序协同关联特征和所述患者康复进程的语义理解特征之间的关联性特征分布信息，这样能够有利于进行患者当前康复状态的检测评估，
可选地，在本申请一实施例中，对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵，包括：以如下关联编码公式对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到所述分类特征矩阵；其中，所述关联编码公式为：
其中表示向量相乘，/>表示所述分类特征矩阵，/>表示所述参数关联特征向量，/>表示所述康复进程语义理解特征向量，/>表示所述康复进程语义理解特征向量的转置。
步骤S180，对分类特征矩阵进行特征优化以得到优化分类特征矩阵。应理解，本申请的技术方案中，对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码得到所述分类特征矩阵时，在逐位置关联编码的情况下，例如，所述分类特征矩阵的每个行向量可以看作为所述参数关联特征向量的每个特征值与所述康复进程语义理解特征向量整体的关联特征向量，或者，所述分类特征矩阵的每个列向量可以看作为参数关联特征向量整体与所述康复进程语义理解特征向量的每个特征值的关联特征向量。因此，以前一种情况为例，所述分类特征矩阵可以被看作为各个行特征向量拼接得到的特征矩阵，由此，在将所述分类特征矩阵作为整体通过分类器进行分类回归时，期望通过提高所述分类特征矩阵的特征分布的整体性来提升分类效果。
可选地，在本申请一实施例中，对分类特征矩阵进行特征优化以得到优化分类特征矩阵，包括：以如下优化公式对所述分类特征矩阵进行向量谱聚类代理学习融合优化以得到所述优化分类特征矩阵；其中，所述优化公式为：
其中， 是所述分类特征矩阵，/>是所述优化分类特征矩阵，/>表示所述分类特征矩阵的各个行特征向量，且/>是所述分类特征矩阵的每两个相应行特征向量之间的距离组成的距离矩阵，/>是/>与/>之间的距离，/>表示矩阵的指数运算，所述矩阵的指数运算表示以矩阵中各个位置特征值为幂的自然指数函数值，/>和分别表示按位置点乘和矩阵加法。
这里，在所述分类特征矩阵的各个行特征向量拼接后通过分类器进行分类回归时，由于各个行特征向量的内部类回归语义特征会与合成噪声特征发生混淆，从而导致有意义的类回归语义特征与噪声特征之间分界的模糊性，因此，所述向量谱聚类代理学习融合优化通过引入用于表示特征向量间的空间布局和语义相似性的谱聚类代理学习，来利用类回归语义特征和类回归场景之间的关联的概念化信息，对各个行特征向量间的潜在关联属性进行隐性监督传播，从而提高合成特征的整体分布依赖性，由此提升所述分类特征矩阵通过分类器进行分类回归的分类效果。这样，能够准确地进行患者的康复状态检测评估，从而根据患者当前康复需求，选择合适的康复任务类型，实现更精准的康复机器人交互行为控制。
步骤S190，将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示推荐的康复任务类型标签。应理解，在本申请的技术方案中，所述分类器的标签为推荐的康复任务类型标签，因此，在得到所述分类结果后，可基于所述分类结果来进行康复任务的推荐。例如，如果患者正在恢复步态，机器人可以选择模拟步态运动并提供支持。
图4是本申请实施例的康复机器人交互行为的控制方法中将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示推荐的康复任务类型标签的示意性流程图。可选地，在本申请一实施例中，将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示推荐的康复任务类型标签，包括：S310，将所述优化分类特征矩阵按照行向量或列向量展开为分类特征向量；S320，使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到全连接编码特征向量；以及，S330，将所述全连接编码特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
可选地，在本申请另一实施例中，将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示推荐的康复任务类型标签，包括：将所述优化分类特征矩阵按照行向量或列向量展开为分类特征向量；以及，使用所述分类器以如下分类公式对所述分类特征向量进行处理以得到所述分类结果；
其中，所述分类公式为：
其中为所述分类特征向量，/>和/>分别为第/>个分类对应的权重和偏置向量，表示以向量中各个位置的特征值为幂的自然指数函数值，/>是所述分类特征向量的特征值。
综上，本申请提供的一种康复机器人交互行为的控制方法，其首先获取被监测患者在预定时间段的肌电信号、在所述预定时间段内多个预定时间点的呼吸频率值和心率值，以及，所述被监测患者的康复进程文本描述；然后，通过人工智能和深度学习技术进行所述患者的肌电信号、呼吸频率值和心率值的时序协同关联特征和所述患者的康复进程文本描述的语义理解特征之间的关联性特征分布信息的充分表达，以此来准确地进行患者的康复状态检测评估，从而根据患者当前康复需求，选择合适的康复任务类型，实现更精准的康复机器人交互行为控制。
图5是本申请实施例的康复机器人交互行为的控制***的示意性框图。如图5所示，所述康复机器人交互行为的控制***100，包括：数据获取模块110，用于获取被监测患者在预定时间段的肌电信号，以及，在所述预定时间段内多个预定时间点的呼吸频率值和心率值；频域变换模块120，用于对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值；排列矩阵模块130，用于将所述多个预定时间点的呼吸频率值和心率值，以及，所述多个肌电频域统计特征值排列为参数聚合矩阵；卷积编码模块140，用于将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量；文本获取模块150，用于获取所述被监测患者的康复进程文本描述；语义编码模块160，用于对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量；关联编码模块170，用于对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵；特征优化模块180，用于对分类特征矩阵进行特征优化以得到优化分类特征矩阵；以及，分类模块190，用于将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示推荐的康复任务类型标签。
可选地，在本申请一实施例中，所述卷积编码模块140，用于：使用所述卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：基于卷积核对所述输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行基于特征矩阵的全局均值池化处理以生成池化特征图；以及对所述池化特征图中各个位置的特征值进行非线性激活以生成激活特征图；其中，所述卷积神经网络模型的最后一层的输出为所述参数关联特征向量，所述卷积神经网络模型的第二层至最后一层的输入为上一层的输出，所述卷积神经网络模型的输入为所述参数聚合矩阵。
可选地，在本申请一实施例中，所述语义编码模块160，包括：分词处理单元，用于对所述被监测患者的康复进程文本描述进行分词处理以得到康复词序列；词嵌入单元，用于将所述康复词序列通过所述语义编码器的词嵌入层以得到康复词嵌入向量的序列；转换器编码单元，用于将所述康复词嵌入向量的序列通过所述语义编码器的基于转换器的Bert模型以得到多个康复词语义特征向量；以及，级联单元，用于将所述多个康复词语义特征向量进行级联以得到所述康复进程语义理解特征向量。
可选地，在本申请一实施例中，所述关联编码模块170，用于：以如下关联编码公式对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到所述分类特征矩阵；其中，所述关联编码公式为：
其中表示向量相乘，/>表示所述分类特征矩阵，/>表示所述参数关联特征向量，/>表示所述康复进程语义理解特征向量，/>表示所述康复进程语义理解特征向量的转置。
可选地，在本申请一实施例中，所述特征优化模块180，用于：以如下优化公式对所述分类特征矩阵进行向量谱聚类代理学习融合优化以得到所述优化分类特征矩阵；
其中，所述优化公式为：
其中， 是所述分类特征矩阵，/>是所述优化分类特征矩阵，/>表示所述分类特征矩阵的各个行特征向量，且/>是所述分类特征矩阵的每两个相应行特征向量之间的距离组成的距离矩阵，/>是/>与/>之间的距离，/>表示矩阵的指数运算，所述矩阵的指数运算表示以矩阵中各个位置特征值为幂的自然指数函数值，/>和分别表示按位置点乘和矩阵加法。
可选地，在本申请一实施例中，所述分类模块190，包括：分类特征向量获取单元，用于将所述优化分类特征矩阵按照行向量或列向量展开为分类特征向量；全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到全连接编码特征向量；以及，分类结果获取单元，用于将所述全连接编码特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
这里，本领域技术人员可以理解，上述康复机器人交互行为的控制***中的各个模块或单元的具体操作已经在上面参考图1到图4的康复机器人交互行为的控制方法的描述中得到了详细介绍，并因此，将省略其重复描述。
本发明实施例还提供一种芯片***，芯片***包括至少一个处理器，当程序指令在该至少一个处理器中执行时，使得本申请实施例提供的方法得以实现。
本发明实施例还提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得，该计算机执行上述方法实施例的方法。
本发明实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

Claims (10)

1.一种康复机器人交互行为的控制方法，其特征在于，包括：
获取被监测患者在预定时间段的肌电信号，以及，在所述预定时间段内多个预定时间点的呼吸频率值和心率值；
对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值；
将所述多个预定时间点的呼吸频率值和心率值，以及，所述多个肌电频域统计特征值排列为参数聚合矩阵；
将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量；
获取所述被监测患者的康复进程文本描述；
对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量；
对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵；
对所述分类特征矩阵进行特征优化以得到优化分类特征矩阵；
以及将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示推荐的康复任务类型标签。
2.根据权利要求1所述的康复机器人交互行为的控制方法，其特征在于，将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量，包括：使用所述卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：
基于卷积核对所述输入数据进行卷积处理以生成卷积特征图；
对所述卷积特征图进行基于特征矩阵的全局均值池化处理以生成池化特征图；
以及对所述池化特征图中各个位置的特征值进行非线性激活以生成激活特征图；
其中，所述卷积神经网络模型的最后一层的输出为所述参数关联特征向量，所述卷积神经网络模型的第二层至最后一层的输入为上一层的输出，所述卷积神经网络模型的输入为所述参数聚合矩阵。
3.根据权利要求2所述的康复机器人交互行为的控制方法，其特征在于，对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量，包括：
对所述被监测患者的康复进程文本描述进行分词处理以得到康复词序列；
将所述康复词序列通过所述语义编码器的词嵌入层以得到康复词嵌入向量的序列；
将所述康复词嵌入向量的序列通过所述语义编码器的基于转换器的Bert模型以得到多个康复词语义特征向量；
以及将所述多个康复词语义特征向量进行级联以得到所述康复进程语义理解特征向量。
4.根据权利要求3所述的康复机器人交互行为的控制方法，其特征在于，对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵，包括：
以如下关联编码公式对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到所述分类特征矩阵；
其中，所述关联编码公式为：
其中表示向量相乘，/>表示所述分类特征矩阵，/>表示所述参数关联特征向量，/>表示所述康复进程语义理解特征向量，/>表示所述康复进程语义理解特征向量的转置。
5.根据权利要求4所述的康复机器人交互行为的控制方法，其特征在于，对所述分类特征矩阵进行特征优化以得到优化分类特征矩阵，包括：
以如下优化公式对所述分类特征矩阵进行向量谱聚类代理学习融合优化以得到所述优化分类特征矩阵；
其中，所述优化公式为：
其中， 是所述分类特征矩阵，/>是所述优化分类特征矩阵，/>表示所述分类特征矩阵的各个行特征向量，且/>是所述分类特征矩阵的每两个相应行特征向量之间的距离组成的距离矩阵，/>是/>与/>之间的距离，/>表示矩阵的指数运算，所述矩阵的指数运算表示以矩阵中各个位置特征值为幂的自然指数函数值，和/>分别表示按位置点乘和矩阵加法。
6.根据权利要求5所述的康复机器人交互行为的控制方法，其特征在于，将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示推荐的康复任务类型标签，包括：
将所述优化分类特征矩阵按照行向量或列向量展开为分类特征向量；
使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到全连接编码特征向量；以及将所述全连接编码特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
7.一种康复机器人交互行为的控制***，其特征在于，包括：
数据获取模块，用于获取被监测患者在预定时间段的肌电信号，以及，在所述预定时间段内多个预定时间点的呼吸频率值和心率值；
频域变换模块，用于对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值；
排列矩阵模块，用于将所述多个预定时间点的呼吸频率值和心率值，以及，所述多个肌电频域统计特征值排列为参数聚合矩阵；
卷积编码模块，用于将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量；
文本获取模块，用于获取所述被监测患者的康复进程文本描述；
语义编码模块，用于对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量；
关联编码模块，用于对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵；
特征优化模块，用于对分类特征矩阵进行特征优化以得到优化分类特征矩阵；
以及分类模块，用于将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示推荐的康复任务类型标签。
8.根据权利要求7所述的康复机器人交互行为的控制***，其特征在于，所述关联编码模块，用于：
以如下关联编码公式对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到所述分类特征矩阵；
其中，所述关联编码公式为：
其中表示向量相乘，/>表示所述分类特征矩阵，/>表示所述参数关联特征向量，/>表示所述康复进程语义理解特征向量，/>表示所述康复进程语义理解特征向量的转置。
9.根据权利要求8所述的康复机器人交互行为的控制***，其特征在于，所述特征优化模块，用于：
以如下优化公式对所述分类特征矩阵进行向量谱聚类代理学习融合优化以得到所述优化分类特征矩阵；
其中，所述优化公式为：
其中， 是所述分类特征矩阵，/>是所述优化分类特征矩阵，/>表示所述分类特征矩阵的各个行特征向量，且/>是所述分类特征矩阵的每两个相应行特征向量之间的距离组成的距离矩阵，/>是/>与/>之间的距离，/>表示矩阵的指数运算，所述矩阵的指数运算表示以矩阵中各个位置特征值为幂的自然指数函数值，和/>分别表示按位置点乘和矩阵加法。
10.根据权利要求9所述的康复机器人交互行为的控制***，其特征在于，所述分类模块，包括：
分类特征向量获取单元，用于将所述优化分类特征矩阵按照行向量或列向量展开为分类特征向量；
全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到全连接编码特征向量；
以及分类结果获取单元，用于将所述全连接编码特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
CN202310635568.XA 2023-06-01 2023-06-01 康复机器人交互行为的控制方法及*** Active CN116431004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310635568.XA CN116431004B (zh) 2023-06-01 2023-06-01 康复机器人交互行为的控制方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310635568.XA CN116431004B (zh) 2023-06-01 2023-06-01 康复机器人交互行为的控制方法及***

Publications (2)

Publication Number Publication Date
CN116431004A CN116431004A (zh) 2023-07-14
CN116431004B true CN116431004B (zh) 2023-08-29

Family

ID=87080007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310635568.XA Active CN116431004B (zh) 2023-06-01 2023-06-01 康复机器人交互行为的控制方法及***

Country Status (1)

Country Link
CN (1) CN116431004B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117577270B (zh) * 2024-01-15 2024-04-26 吉林大学 患者的智能化营养管理方法及***

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101507700B1 (ko) * 2015-01-27 2015-04-07 박찬흠 손 동작 인식에 의한 컴퓨터 재활 치료 방법
CN105213153A (zh) * 2015-09-14 2016-01-06 西安交通大学 基于脑肌信息变阻抗的下肢康复机器人控制方法
CN111931717A (zh) * 2020-09-22 2020-11-13 平安科技（深圳）有限公司 基于语义和图像识别的心电信息提取方法及装置
CN115116592A (zh) * 2022-07-28 2022-09-27 天津市天津医院 医院综合信息管理***及其管理方法
CN115500843A (zh) * 2022-09-14 2022-12-23 云南大学 基于零样本学习与对比学习的睡眠阶段分期方法
CN115564203A (zh) * 2022-09-23 2023-01-03 杭州国辰智企科技有限公司 基于多维数据协同的设备实时性能评估***及其方法
CN115624321A (zh) * 2022-11-08 2023-01-20 深圳市鑫一代科技有限公司 一种台式健康监测仪
CN115660569A (zh) * 2022-09-07 2023-01-31 杭州聚医智联科技有限公司 居家养老智慧管理平台及其方法
CN115830718A (zh) * 2023-02-14 2023-03-21 福建中医药大学 基于步态识别预测康复训练效果的数据处理***
CN115981470A (zh) * 2022-12-29 2023-04-18 杭州叶蓁科技有限公司 基于特征联合编码的手势识别方法及其***
CN116189865A (zh) * 2023-03-30 2023-05-30 浙江大学 医院预约登记管理***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9075796B2 (en) * 2012-05-24 2015-07-07 International Business Machines Corporation Text mining for large medical text datasets and corresponding medical text classification using informative feature selection

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101507700B1 (ko) * 2015-01-27 2015-04-07 박찬흠 손 동작 인식에 의한 컴퓨터 재활 치료 방법
CN105213153A (zh) * 2015-09-14 2016-01-06 西安交通大学 基于脑肌信息变阻抗的下肢康复机器人控制方法
CN111931717A (zh) * 2020-09-22 2020-11-13 平安科技（深圳）有限公司 基于语义和图像识别的心电信息提取方法及装置
CN115116592A (zh) * 2022-07-28 2022-09-27 天津市天津医院 医院综合信息管理***及其管理方法
CN115660569A (zh) * 2022-09-07 2023-01-31 杭州聚医智联科技有限公司 居家养老智慧管理平台及其方法
CN115500843A (zh) * 2022-09-14 2022-12-23 云南大学 基于零样本学习与对比学习的睡眠阶段分期方法
CN115564203A (zh) * 2022-09-23 2023-01-03 杭州国辰智企科技有限公司 基于多维数据协同的设备实时性能评估***及其方法
CN115624321A (zh) * 2022-11-08 2023-01-20 深圳市鑫一代科技有限公司 一种台式健康监测仪
CN115981470A (zh) * 2022-12-29 2023-04-18 杭州叶蓁科技有限公司 基于特征联合编码的手势识别方法及其***
CN115830718A (zh) * 2023-02-14 2023-03-21 福建中医药大学 基于步态识别预测康复训练效果的数据处理***
CN116189865A (zh) * 2023-03-30 2023-05-30 浙江大学 医院预约登记管理***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于词向量和深度学习模型的医疗数据分析方法研究;金玮;《万方数据库》;全文 *

Also Published As

Publication number Publication date
CN116431004A (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
US20210374474A1 (en) Method, apparatus, and electronic device for training neural network model
Yger et al. Riemannian approaches in brain-computer interfaces: a review
CN107784293B (zh) 一种基于全局特征和稀疏表示分类的人体行为识别方法
CN108288051B (zh) 行人再识别模型训练方法及装置、电子设备和存储介质
CN110929622A (zh) 视频分类方法、模型训练方法、装置、设备及存储介质
CN113326835B (zh) 一种动作检测方法、装置、终端设备和存储介质
CN111597946B (zh) 图像生成器的处理方法、图像生成方法及装置
CN113095370B (zh) 图像识别方法、装置、电子设备及存储介质
CN111325750B (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN116431004B (zh) 康复机器人交互行为的控制方法及***
CN109508686B (zh) 一种基于层次化特征子空间学习的人体行为识别方法
CN116563302B (zh) 智慧医疗信息管理***及其方法
CN112489129A (zh) 位姿识别模型训练方法、装置、位姿识别方法和终端设备
CN113569805A (zh) 动作识别方法、装置、电子设备和存储介质
CN113143295A (zh) 基于运动想象脑电信号的设备控制方法及终端
CN113592769B (zh) 异常图像的检测、模型的训练方法、装置、设备及介质
CN114996495A (zh) 一种基于多原型和迭代增强的单样本图像分割方法及装置
CN111242068A (zh) 基于视频的行为识别方法、装置、电子设备和存储介质
CN111383217B (zh) 大脑成瘾性状评估的可视化方法、装置及介质
CN116631619A (zh) 术后弯腿训练监控***及其方法
CN115358975A (zh) 一种对脑肿瘤分割深度学习网络进行可解释分析的方法
CN114359657A (zh) 脑图谱构建及神经环路检测的方法和相关产品
CN112560712A (zh) 基于时间增强图卷积网络的行为识别方法、装置及介质
Shanqing et al. A multi-level feature weight fusion model for salient object detection
CN113569867A (zh) 一种图像处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant