CN117747101A - 一种认知康复机器人***及其控制方法 - Google Patents
一种认知康复机器人***及其控制方法 Download PDFInfo
- Publication number
- CN117747101A CN117747101A CN202311716557.0A CN202311716557A CN117747101A CN 117747101 A CN117747101 A CN 117747101A CN 202311716557 A CN202311716557 A CN 202311716557A CN 117747101 A CN117747101 A CN 117747101A
- Authority
- CN
- China
- Prior art keywords
- user
- server
- mixed reality
- training
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001149 cognitive effect Effects 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012360 testing method Methods 0.000 claims abstract description 54
- 238000011156 evaluation Methods 0.000 claims abstract description 51
- 238000004891 communication Methods 0.000 claims abstract description 7
- 238000012854 evaluation process Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 100
- 230000009471 action Effects 0.000 claims description 41
- 230000008569 process Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 8
- 230000004424 eye movement Effects 0.000 claims description 8
- 210000001747 pupil Anatomy 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 9
- 230000003993 interaction Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000019771 cognition Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000008188 pellet Substances 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 238000013142 basic testing Methods 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种认知康复机器人***及其控制方法，该***包括：终端设备、混合现实设备及服务器，终端设备及混合现实设备均与服务器通信连接；终端设备用于在用户的初步测试通过时，接收用户的能力评估内容信息，将能力评估内容信息发送至混合现实设备；混合现实设备用于基于能力评估内容信息显示对应的评估场景，并在评估过程中采集用户的实时图像，将实时图像发送至服务器；服务器用于接收混合现实设备发送的实时图像，基于实时图像确定用户当前状态，基于接收到的连续多张实时图像对应的用户当前状态进行能力评估，并将能力评估结果发送至终端设备。本发明实现了基于检测到的用户当前状态对用户进行自动能力评估，提升了评估效率及准确度。
Description
技术领域
本发明涉及康复机器人技术领域，尤其是涉及一种认知康复机器人***及其控制方法。
背景技术
现有的认知康复机器人在对用户进行能力评估时，通常采用量表评估，且通常需要人为参与下的互动，需要投入大量的人力和物力，评估方式效率较低，能力评估结果相对主观，评估准确度较低。
发明内容
有鉴于此，本发明的目的在于提供一种认知康复机器人***及其控制方法，实现了基于检测到的用户注视点位置、手部位置或手势对用户进行自动能力评估，评估方式便捷，提升了评估效率及准确度。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种认知康复机器人***，包括：终端设备、混合现实设备及服务器，所述终端设备及所述混合现实设备均与所述服务器通信连接；
所述终端设备用于在用户的初步测试通过时，接收所述用户的能力评估内容信息，将所述能力评估内容信息发送至所述混合现实设备；
所述混合现实设备用于基于所述能力评估内容信息显示对应的评估场景，并在评估过程中采集用户的实时图像，将所述实时图像发送至所述服务器，以使所述服务器进行能力评估；
所述服务器用于接收所述混合现实设备发送的实时图像，基于所述实时图像确定用户当前状态，基于接收到的连续多张所述实时图像对应的用户当前状态进行能力评估，并将所述能力评估结果发送至所述终端设备；其中，所述用户当前状态包括注视点位置、手部位置和手势中的任意一种或多种。
进一步，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述用户当前状态包括注视点位置；
所述服务器还用于基于所述实时图像确定用户的当前注视点位置，基于所述当前注视点位置为原点发出射线，将所述射线与所述混合现实设备显示的目标模型进行碰撞检测，以判断用户是否在注视所述目标模型，基于所述混合现实设备连续发送的所述实时图像确定所述用户注视所述目标模型的总注视时长及连续注视所述目标模型的最长连续注视时长，基于所述最长连续注视时长及所述总注视时长评估注意力能力。
进一步，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述用户当前状态包括手势和手部位置，所述实时图像包括RGB图像和深度图像；
所述混合现实设备还用于显示目标模型，并发出动作指令；
所述服务器还用于在所述动作指令为抓握目标模型时，基于预先训练得到的手势识别模型识别所述实时图像中用户的手势，当所述手势为抓握手势时，计算各指尖位置对应的中心点位置，记为平均位置，当所述平均位置位于所述目标模型的包围盒内部时确定手势正确，记录当前时间为手势完成时间，基于发出所述动作指令时的开始时间及所述手势完成时间评估手眼协调能力。
进一步，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述用户当前状态包括手部位置；
所述服务器还用于在所述动作指令为触碰目标模型时，识别连续多张所述实时图像中用户伸出手指的关节位置，当所述关节位置从所述目标模型的包围盒外部移动至所述目标模型的包围盒内部时确定动作触碰动作正确，记录当前时间为触碰动作完成时间，基于发出所述动作指令时的开始时间及所述触碰动作完成时间评估手眼协调能力。
进一步，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述服务器还用于基于所述能力评估结果生成对应的训练任务，并将所述训练任务发送至所述混合现实设备；
所述混合现实设备用于显示所述训练任务对应的训练场景，并发出训练指令，在训练过程中采集用户的训练图像，将所述训练图像发送至所述服务器；其中，所述训练图像包括RGB图像和深度图像；
所述服务器还用于基于所述训练图像及所述训练指令判断所述用户的每个训练动作是否正确，并在所述训练任务完成后确定训练动作正确率，并将所述训练动作正确率发送至所述终端设备，以使所述终端设备显示所述训练动作正确率。
进一步，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述服务器还用于在新用户使用时将眼动校准指令发送至所述混合现实设备；
所述混合现实设备还用于在接收到所述眼动校准指令时，显示校准画面，并采集用户的眼部图像，将所述眼部图像发送至所述服务器；
所述服务器用于接收所述眼部图像，并基于所述眼部图像确定所述注视点位置的识别偏差量。
进一步，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述校准画面包括多个校准点；
所述服务器还用于基于所述眼部图像识别瞳孔区域的中心点坐标，得到注视点位置，计算所述注视点位置与所述校准点之间的距离，当所述距离小于预设距离阈值时确定用户正在注视所述校准点，记录用户注视所述校准点时的注视点坐标，基于所述注视点坐标及所述校准点的设定坐标所述注视点位置的识别偏差量。
进一步，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述混合现实设备还用于在接收到测试指令时显示测试画面并发出语音测试指令，采集用户的测试图像，并将所述测试图像发送至所述服务器；
所述服务器还用于基于所述测试图像判断用户动作是否正确，在用户动作正确时确定用户的初步测试通过。
进一步，本发明实施例提供了第一方面的第八种可能的实施方式，其中，所述混合现实设备包括头戴式混合现实设备，所述终端设备包括计算机和/或移动终端。
第二方面，本发明实施例还提供了一种认知康复机器人***的控制方法，应用于第一方面任一项所述的认知康复机器人***，所述认知康复机器人***的控制方法包括：
在用户的初步测试通过时，基于所述终端设备接收所述用户的能力评估内容信息；
将所述能力评估内容信息发送至所述混合现实设备，以使所述混合现实设备基于所述能力评估内容信息显示对应的评估场景，并在评估过程中采集用户的实时图像；
将所述实时图像发送至所述服务器，以使所述服务器基于所述实时图像确定用户当前状态，基于接收到的连续多张所述实时图像对应的用户当前状态进行能力评估，并将所述能力评估结果发送至所述终端设备；其中，所述用户当前状态包括注视点位置、手部位置和手势中的任意一种或多种。
本发明实施例提供了一种认知康复机器人***及其控制方法，该认知康复机器人***包括：终端设备、混合现实设备及服务器，终端设备及混合现实设备均与服务器通信连接；终端设备用于在用户的初步测试通过时，接收用户的能力评估内容信息，将能力评估内容信息发送至混合现实设备；混合现实设备用于基于能力评估内容信息显示对应的评估场景，并在评估过程中采集用户的实时图像，将实时图像发送至服务器，以使服务器进行能力评估；服务器用于接收混合现实设备发送的实时图像，基于实时图像确定用户当前状态，基于接收到的连续多张实时图像对应的用户当前状态进行能力评估，并将能力评估结果发送至终端设备；其中，用户当前状态包括注视点位置、手部位置和手势中的任意一种或多种。本发明通过在用户初步测试通过后进一步基于混合现实设备显示评估场景，并采集用户的实时图像以根据多张实时图像对应用户的状态变化情况对用户进行能力评估，实现了基于检测到的用户注视点位置、手部位置或手势对用户进行自动能力评估，评估方式便捷，提升了评估效率及准确度。
本发明实施例的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明实施例的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的一种认知康复机器人***结构示意图；
图2a示出了本发明实施例所提供的一种校准画面示意图；
图2b示出了本发明实施例所提供的另一种校准画面示意图；
图3a示出了本发明实施例所提供的一种手势动作交互测试示意图；
图3b示出了本发明实施例所提供的一种根据环境音识别方位测试示意图；
图4示出了本发明实施例所提供的一种认知康复机器人***的控制方法流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
目前，计算机技术的发展，尤其是混合现实技术、动作捕捉技术以及研究捕捉技术的发展为认知康复评估以及训练带来了更多的可能性。目前采用计算机技术开发的认知康复训练***的技术方案主要是通过混合现实技术构建认知康复训练场景，并辅以外设来捕捉用户的注意力和肢体动作相关的数据，将多种数据融合进行综合评估和训练。现有的康复机器人设备通常存在以下缺点：
1、体积较大，占用较大的面积、便携性差且价格昂贵，难以用于居家训练。
2、集成度差，通常一个训练***仅应用了眼动、手势和特殊外设中一个或几个，且需要兼顾不同设备的接口并进行整合设计，无法进行全方位的认知评估和训练。
3、可移动性差，缺乏空间立体声环境，缺乏空间感官的评估及训练。
为改善上述问题，本发明实施例提供的一种认知康复机器人***及其控制方法，以下对本发明实施例进行详细介绍。
本实施例提供了一种认知康复机器人***，参见图1所示的认知康复机器人***结构示意图，该认知康复机器人***包括：终端设备11、混合现实设备12及服务器13，终端设备11及混合现实设备12均与服务器13通信连接，终端设备11还与混合现实设备12通信连接；
上述终端设备11用于在用户的初步测试通过时，接收用户的能力评估内容信息，将能力评估内容信息发送至混合现实设备；
上述初步测试可以是对用户听力、认知和执行能力的基本测试，当用户存在听力、认知或执行能力障碍时，无法进行能力评估及训练，初步测试不通过；当用户听力、认知和执行能力均测试通过时，确定初步测试通过。
上述能力评估内容信息可以是用户输入的，也可以是根据用户的基本信息及历史评估或训练信息自动生成的个性化评估内容；该能力评估内容信息包括能力评估类型和/或评估场景信息，该能力评估类型包括量表评估、注意力能力评估及手眼协调能力评估。
混合现实设备12用于基于能力评估内容信息显示对应的评估场景，并在评估过程中采集用户的实时图像，将实时图像发送至服务器，以使服务器进行能力评估；
终端设备将能力评估内容信息发送至混合现实设备后，混合现实设备根据该能力评估内容信息中包括的评估类型或评估场景显示该评估内容对应的场景画面，以使开始进行互动评估。上述混合现实设备上设置有图像传感器，在评估过程中，基于图像传感器实时采集用户的实时图像，该实时图像包括用户的眼部或手部图像，将连续采集的实时图像发送至服务器。
服务器13用于接收混合现实设备发送的实时图像，基于实时图像确定用户当前状态，基于接收到的连续多张实时图像对应的用户当前状态进行能力评估，并将能力评估结果发送至终端设备；其中，用户当前状态包括注视点位置、手部位置和手势中的任意一种或多种。
服务器在接收到实时图像后，基于预先训练得到的神经网络模型识别实时图像中的用户当前状态，通过对连续多张实时图像进行识别可以得到用户的状态变化信息，通过判断该状态变化信息与能力评估内容应当对应的状态变化的相似度情况，可以完成能力评估，用户的评估内容完成度越高则能力评估值越高。服务器完成能力评估后，将能力评估结果发送至终端设备，以使终端设备将该用户的能力评估结果展示给用户。
本实施例提供的上述认知康复机器人***，通过在用户初步测试通过后进一步基于混合现实设备显示评估场景，并采集用户的实时图像以根据多张实时图像对应用户的状态变化情况对用户进行能力评估，实现了基于检测到的用户注视点位置、手部位置或手势对用户进行自动能力评估，评估方式便捷，提升了评估效率及准确度。
在一个实施例中，上述用户当前状态包括注视点位置；服务器还用于基于实时图像确定用户的当前注视点位置，基于当前注视点位置为原点发出射线，将射线与混合现实设备显示的目标模型进行碰撞检测，以判断用户是否在注视目标模型，基于混合现实设备连续发送的实时图像确定用户注视目标模型的总注视时长及连续注视目标模型的最长连续注视时长，基于最长连续注视时长及总注视时长评估注意力能力。
上述目标模型为混合现实设备显示的虚拟模型，为准确评估用户的注意力能力，该目标模型可以为移动状态，当混合现实设备开始显示移动的目标模型时，提示用户注视该目标模型，同时开始采集用户的实时图像，该实时图像包括眼部图像，基于预先训练得到的注视点识别模型识别实时图像中用户的当前注视点位置，设识别得到用户的当前注视点位置的二维坐标为T(x，y)，将该坐标值转换为由虚拟相机发射出去的一条射线R，该射线可以用原点Rp和射线方向Rd表示。设目标模型的位置为Pt，由于上述目标模型可能为不规则模型，以该目标模型的几何中心为球心构建一个设定半径r的碰撞球，使用射线R与目标模型的碰撞球进行碰撞检测，在一种具体的实施方式中，可以计算当前时刻t目标模型的位置Pt距离射线的距离L：
L＝||Pt-Rp-((Pt-Rp)·Rd)Rd||
若L≤r，则射线R与目标模型的碰撞球发生碰撞，即用户正在注视目标模型，否则表明用户并未在注视目标模型。根据评估过程中采集的全部实时图像可以得到用户注视目标模型的总注视时长Tf，以及用户连续注视目标模型的最长连续注视时长Tm，设评估过程总耗时为Ttotal，计算Tf/Ttotal，该Tf/Ttotal可以作为评价用户注意力能力的指标，Tm可以作为评价用户连续注意力能力的指标。Tf/Ttotal越高则用户注意力能力越高，Tm越高则用户连续注意力能力越高。
在一个实施例中，用户当前状态包括手势和手部位置，实时图像包括RGB图像和深度图像；
上述混合现实设备还用于显示目标模型，并发出动作指令；混合现实设备可以采集所需场景的实物图像，将该实物图像传输至服务器使服务器基于该实物图像进行三维建模，得到所需场景的虚拟模型，将该虚拟目标发送至混合现实设备，以使混合现实设备显示该虚拟模型对应的虚拟场景，并发出该场景下对应的动作指令，上述目标模型可以是虚拟场景中任意形状的三维模型。
上述服务器还用于在动作指令为抓握目标模型时，基于预先训练得到的手势识别模型识别实时图像中用户的手势，当手势为抓握手势时，计算各指尖位置对应的中心点位置，记为平均位置，当平均位置位于目标模型的包围盒内部时确定手势正确，记录当前时间为手势完成时间，基于发出动作指令时的开始时间及手势完成时间评估手眼协调能力。
上述实时图像包括用户的手部图像，将RGB(即彩色图像)图像和深度图像输入预先训练得到的手势识别模型中进行手势识别，识别得到手势类型及各指尖及各关节的三维坐标位置，当手势为抓握手势时，以目标模型的几何中心为中心设置一个可进行交互的虚拟包围盒，计算5个手指指尖位置的中心点位置，记为平均位置Pavg，若该平均位置Pavg在目标模型的包围盒内部，表明用户正在抓握目标模型，确定用户手势正确，设混合现实设备发出动作指令的时刻为T1，检测到用户手势正确的时刻为T2，则可以将发出动作指令时的开始时间及手势完成时间之间的时间差T2-T1，作为对用户手眼协调能力及反应能力的评价指标，该时间差越小，表明用户的手眼协调能力及反应能力越好。
在一个实施例中，用户当前状态包括手部位置；服务器还用于在动作指令为触碰目标模型时，识别连续多张实时图像中用户伸出手指的关节位置，当关节位置从目标模型的包围盒外部移动至目标模型的包围盒内部时确定动作触碰动作正确，记录当前时间为触碰动作完成时间，基于发出动作指令时的开始时间及触碰动作完成时间评估手眼协调能力。
将RGB(即彩色图像)图像和深度图像输入预先训练得到的手势识别模型中进行手势识别，识别得到手势类型及各指尖及各关节的三维坐标位置，当用户的手势为伸出手指时，获取用户伸出手指的关节位置Pindex，若两次连续实时图像中检测到伸出手指的关节位置Pindex从目标模型的包围盒外部移动至目标模型的包围盒内部，确定用户触碰了目标模型，记录伸出手指的关节位置位于包围盒内部时的时间，即触碰动作完成时间，发出动作指令时的开始时间与触碰动作完成时间的时间差可以作为对用户手眼协调能力及反应能力的评价指标，该时间差越小，表明用户的手眼协调能力及反应能力越好。
目标模型的包围盒可以采用中心点坐标C(x，y，z)和三个坐标轴上的延伸向量E(x，y，z)表示，对某个顶点P(x，y，z)在包围盒内外的判定方法如下：
Z＝P-C
若|Zx|＞Ex，或|Zy|＞Ey，或|Zz|＞Zz，则表明顶点P在包围盒的外部，否则顶点P在包围盒的内部。
在一种实施方式中，对于用户的能力评估还可以包括交互式的量表内容评估。可以将传统的认知评估量表内容进行电子化需求重构，将传统问询及填表评估转化为对用户的实时交互评估。可以将量表中所有的评估项进行分解、归类和组合。诸如，可以将量表中的图片以三维模型的形式进行展现，量表中描述的场景情节通过三维动画的形式展现，量表中所需要的交互(例如绘画、选择、抓握、拖动等)通过手势完成。以蒙特利尔认知评估量表(MoCA)的交互式转化为例，可以将传统MoCA量表中连线测试转化为空间中的连线测试，将传统量表中的节点转化为空间中可交互的物体，用户可以在空中通过抓取和拖动的方式进行连线，***可以进行自动的评分。
在用户的能力评估结束后，可以根据用户的各项能力评估结果生成归一化能力值，以根据该归一化能力值为用户生成个性化的训练任务。
在一个实施例中，上述服务器还用于基于能力评估结果生成对应的训练任务，并将训练任务发送至混合现实设备；上述服务器也可以接收终端设备发送的用户的历史能力评估结果，根据历史能力评估结果生成对应的训练任务。
混合现实设备用于显示训练任务对应的训练场景，并发出训练指令，在训练过程中采集用户的训练图像，将训练图像发送至服务器；其中，训练图像包括RGB图像和深度图像；
服务器还用于基于训练图像及训练指令判断用户的每个训练动作是否正确，并在训练任务完成后确定训练动作正确率，并将训练动作正确率发送至终端设备，以使终端设备显示训练动作正确率。
在根据用户的能力评估结果生成对应的训练任务时，可以对于用户能力评估较低的能力增加较多的训练内容，以提升该类型的能力。诸如，当用户的手眼协调能力较低时，增加较多的协调能力训练内容，当用户的注意力能力较低时，在训练任务中增加较多的注意力训练内容。
根据颗粒化的游戏元素、用户的初步测试及能力评估结果动态生成训练游戏内容。颗粒化的游戏元素可以是飞翔的小鸟、行驶的小汽车、爬行的昆虫、不同颜色的几何体和三维立体的加减乘除计算题等。***可以赋予每一个游戏元素至少一种标签，该标签与具体的训练场景相关。例如飞翔的小鸟标签是注意力，计算题的标签是计算能力，几何体的标签是基础认知能力等。在生成训练游戏内容时，***根据用户的评估结果，即各项能力的归一化分值进行训练游戏内容的生成，假设用户共进行了N项能力的评估测试，第i项能力名称为Ai，其归一化的评估得分为Si，0≤Si≤1，若指定用户只针对能力Ai进行训练，***将会从标签为Ai的游戏元素中随机选取并组合形成训练任务；若指定用户进行Ai，Aj和Ak等多个认知功能的训练，可以以各个功能分值的倒数为权重选择不同数量的标签游戏素材进行组合，构成训练任务。假设需要选择的游戏元素数量为M，则标签为Ai的游戏元素数量为
在进行认知训练时，深度传感器和RGB传感器采集到的视频流信息将会通过网络传输至服务器。预先训练好的物体识别神经网络模型以接收到的RGB视频流为输入，识别训练图像中的物体，例如桌面、书本等物体；深度传感器捕捉的深度信息在服务器上进行基于点云的三维重建，构建真实环境下的表面模型。服务器对建模及识别结果进行编码压缩发送至混合现实设备，使混合现实设备获得视野范围内真实环境的表面模型以及可识别物体的三维位置信息。可以实现虚拟元素与表面模型进行交互，例如将虚拟的三维球体放置在桌面上；此外，***也可以利用识别到的物体信息，给用户提出操作指令，指导用户完成指定动作，例如将红色的小球放在桌面的书本上。由于服务器已经提前获知桌面和书本的三维坐标位置，可以自动判断用户的训练动作是否正确。
服务器通过判断用户的每个训练动作是否正确，可以计算得到训练动作正确率，将训练动作正确率发送至终端设备，以使终端设备显示训练动作正确率。同时，当用户的某项能力的正确率越高时，对应的能力评分也相应升高，后续生成的针对此项能力的训练内容也会越来越少，而正确率较低的训练动作对应的训练内容会不断增加，从而起到集中锻炼弱项的效果。
在一个实施例中，本实施例提供的混合现实设备包括头戴式混合现实设备，终端设备包括计算机和/或移动终端。
在一个实施例中，服务器还用于在新用户使用时将眼动校准指令发送至混合现实设备；
混合现实设备还用于在接收到眼动校准指令时，显示校准画面，并采集用户的眼部图像，将眼部图像发送至服务器；
服务器用于接收眼部图像，并基于眼部图像确定注视点位置的识别偏差量。
在一个实施例中，上述校准画面包括多个校准点；服务器还用于基于眼部图像识别瞳孔区域的中心点坐标，得到注视点位置，计算注视点位置与校准点之间的距离，当距离小于预设距离阈值时确定用户正在注视校准点，记录用户注视校准点时的注视点坐标，基于注视点坐标及校准点的设定坐标注视点位置的识别偏差量。
由于每位用户的眼距、眼睛高度以及佩戴头显时的可视范围的不同，用户在初次佩戴头显时需要进行眼动校准，确保***可以正确地检测到用户注视点的位置。上述校准画面中包括多个校准点，该校准点可以是圆球形状或其他形状，多个校准点均匀分布在校准画面中。
在一种具体的实施方式中，参见如图2a和图2b所示的校准画面示意图，上述校准画面可以包括分布于画面边界的4个发光的圆球，如图2a所示，混合现实设备可以语音提示用户调整头戴式混合现实设备的佩戴位置和方式，确保用户可以同时看到4个圆球，然后通过语音提示用户依次注视4个圆球，直到圆球消失，每个圆球在用户注视1秒钟后消失。通过在头戴式混合现实设备内部安装两个面向佩戴者眼睛的摄像头采集用户的眼睛的局部画面，基于卷积神经网络(Convolutional Neural Network，CNN)的机器学习方法检测用户瞳孔所在的区域，并计算瞳孔区域的中心位置在画面中的坐标位置，将该位置映射为屏幕坐标中的位置，该位置即为用户的注视点坐标，用户注视点位置可以用二维坐标值(Gx，Gy)表示。通过计算用户注视点的位置与目标圆球的二维坐标的距离判断用户的是否正在注视目标圆球，假设目标圆球的二维坐标点为(sx，sy)，则用户注视点位置与该圆球之间的距离d为：
若d＜ε，表明用户正在注视该目标圆球，否则用户没有在注视该目标圆球，其中ε是一个预设的判断阈值。服务器在每次接收到图像时就会进行一次用户注视点位置与校准点的位置检测，若上次检测为未注视而此次检测为注视，则记录此时的时间为tenter；若上次检测为注视而此次检测为未注视，则记录此时的时间为tleave，则此次对该小球的注视时间tfocus＝tleave-tenter；若tfocus＞1.0，则该位置的小球校准结束，否则需要对tfocus重新开始计时。
上述校准画面可以包括两个，如图2b所示，该校准画面中包括呈等边三角形分布的三个发光的圆球，圆球1的位置位于画面正中偏上，圆球2和圆球3分别坐落于画面左下方和右下方，混合现实设备通过语音提示用户依次注视三个圆球直至三个圆球消失。
在上述7个校准点的校准过程中，校准点的坐标位置是确定的，注视点识别算法计算得到的坐标值(Gx，Gy)与校准点实际的坐标位置存在一定的偏差，该偏差可以用二维向量(dx，dy)表示。当7个校准点的注视过程结束后，可以将7个校准点对应的偏差向量作为该用户的校准结果数据(即注视点位置的识别偏差量)保存。在实际的使用中，当***检测到用户在注视某个坐标位置P时，需要通过线性插值算法将该用户校准过程中存储下来的7个校准点的偏移量进行加权插值，得到位置P对应的偏移量D，最终得到的用户注视位置T＝P+D。
在一个实施例中，上述混合现实设备还用于在接收到测试指令时显示测试画面并发出语音测试指令，采集用户的测试图像，并将测试图像发送至服务器；
服务器还用于基于测试图像判断用户动作是否正确，在用户动作正确时确定用户的初步测试通过。
为了让用户在进行能力评估及训练前熟悉***设备及训练的基础操作，确保当用户听到操作指令时，可以正确理解指令，并且能够通过正确的操作方法执行指令。可以在能力评估之前对用户进行初步测试，确保用户在完全熟悉了训练设备的基础操作之后再进行认知评估及训练，以排除对设备或者操作不熟悉而导致的评估和训练结果偏差。
上述初步测试可以包括语音指令的理解和执行、手势动作交互及根据环境音识别方位。
在进行语音指令的理解和执行测试时，可以通过语音指示用户先后举起并注视左手和右手，若用户正确做出动作，则通过测试，否则测试失败。
在进行手势动作交互测试时，参见如图3a所示的手势动作交互测试示意图，可以随机在用户左侧和右侧的虚拟空间中放置发光的圆球体，并从圆球体的位置发出声音，并指示用户通过声音的来源找到发光体，若用户可以马上沿着正确的方位找到对应的球体，则测试通过，否则测试失败。
在进行根据环境音识别方位测试时，参见如图3b所示的根据环境音识别方位测试示意图，可以在用户视野前方放置红色和绿色两个虚拟的三维小球，语音提示要求用户分别用左手握住红色小球，用右手握住绿色小球。若用户可以正确操作，则测试通过，否则测试失败。
本实施例提供的上述认知康复机器人***，通过一个训练***可以实现对用户认知能力、手眼协调能力的评估及训练，集成度较高；通过采用头戴式混合现实设备，***设备体积小、移动性强且便携性好；可以为用户提供较多的训练项目，包含了注视点追踪、手势识别和立体环境声等，相对于传统训练设备对用户的评估维度更高、方式更加多元化；可以基于用户的能力评估结果及训练准确度动态生成和调整训练内容，相对与传统训练方法更加智能，时效性和效率更高。
本实施例提供了一种认知康复机器人***的控制方法，应用于上述实施例提供的认知康复机器人***，参见图4所示的认知康复机器人***的控制方法流程图，该方法包括以下步骤：
步骤S402，在用户的初步测试通过时，基于终端设备接收用户的能力评估内容信息；
步骤S404，将能力评估内容信息发送至混合现实设备，以使混合现实设备基于能力评估内容信息显示对应的评估场景，并在评估过程中采集用户的实时图像；
步骤S406，将实时图像发送至服务器，以使服务器基于实时图像确定用户当前状态，基于接收到的连续多张实时图像对应的用户当前状态进行能力评估，并将能力评估结果发送至终端设备；
其中，用户当前状态包括注视点位置、手部位置和手势中的任意一种或多种。
认知康复机器人***的控制方法的软件程序启动后，通过tcp协议与服务器建立链接，以用于后续的数据交换功能。同时，查找在线的混合现实设备，若与服务器成功建立链接，同时会查询服务器上已经连接的混合现实设备，将两者的结果合并起来，得到了可控制的***终端的集合。
本实施例提供的上述认知康复机器人***的控制方法，通过在用户初步测试通过后进一步基于混合现实设备显示评估场景，并采集用户的实时图像以根据多张实时图像对应用户的状态变化情况对用户进行能力评估，实现了基于检测到的用户注视点位置、手部位置或手势对用户进行自动能力评估，评估方式便捷，提升了评估效率及准确度。
本实施例所提供的方法，其实现原理及产生的技术效果和前述实施例相同，为简要描述，方法实施例部分未提及之处，可参考前述***实施例中相应内容。
本发明实施例提供了一种电子设备，电子设备包括处理器、存储器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例提供的方法的步骤。
本发明实施例提供了一种计算机可读介质，其中，所述计算机可读介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使所述处理器实现上述实施例所述的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。
本发明实施例所提供的认知康复机器人***及其控制方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种认知康复机器人***，其特征在于，包括：终端设备、混合现实设备及服务器，所述终端设备及所述混合现实设备均与所述服务器通信连接；
所述终端设备用于在用户的初步测试通过时，接收所述用户的能力评估内容信息，将所述能力评估内容信息发送至所述混合现实设备；
所述混合现实设备用于基于所述能力评估内容信息显示对应的评估场景，并在评估过程中采集用户的实时图像，将所述实时图像发送至所述服务器，以使所述服务器进行能力评估；
所述服务器用于接收所述混合现实设备发送的实时图像，基于所述实时图像确定用户当前状态，基于接收到的连续多张所述实时图像对应的用户当前状态进行能力评估，并将所述能力评估结果发送至所述终端设备；其中，所述用户当前状态包括注视点位置、手部位置和手势中的任意一种或多种。
2.根据权利要求1所述的认知康复机器人***，其特征在于，所述用户当前状态包括注视点位置；
所述服务器还用于基于所述实时图像确定用户的当前注视点位置，基于所述当前注视点位置为原点发出射线，将所述射线与所述混合现实设备显示的目标模型进行碰撞检测，以判断用户是否在注视所述目标模型，基于所述混合现实设备连续发送的所述实时图像确定所述用户注视所述目标模型的总注视时长及连续注视所述目标模型的最长连续注视时长，基于所述最长连续注视时长及所述总注视时长评估注意力能力。
3.根据权利要求1所述的认知康复机器人***，其特征在于，所述用户当前状态包括手势和手部位置，所述实时图像包括RGB图像和深度图像；
所述混合现实设备还用于显示目标模型，并发出动作指令；
所述服务器还用于在所述动作指令为抓握目标模型时，基于预先训练得到的手势识别模型识别所述实时图像中用户的手势，当所述手势为抓握手势时，计算各指尖位置对应的中心点位置，记为平均位置，当所述平均位置位于所述目标模型的包围盒内部时确定手势正确，记录当前时间为手势完成时间，基于发出所述动作指令时的开始时间及所述手势完成时间评估手眼协调能力。
4.根据权利要求3所述的认知康复机器人***，其特征在于，所述用户当前状态包括手部位置；
所述服务器还用于在所述动作指令为触碰目标模型时，识别连续多张所述实时图像中用户伸出手指的关节位置，当所述关节位置从所述目标模型的包围盒外部移动至所述目标模型的包围盒内部时确定动作触碰动作正确，记录当前时间为触碰动作完成时间，基于发出所述动作指令时的开始时间及所述触碰动作完成时间评估手眼协调能力。
5.根据权利要求1所述的认知康复机器人***，其特征在于，所述服务器还用于基于所述能力评估结果生成对应的训练任务，并将所述训练任务发送至所述混合现实设备；
所述混合现实设备用于显示所述训练任务对应的训练场景，并发出训练指令，在训练过程中采集用户的训练图像，将所述训练图像发送至所述服务器；其中，所述训练图像包括RGB图像和深度图像；
所述服务器还用于基于所述训练图像及所述训练指令判断所述用户的每个训练动作是否正确，并在所述训练任务完成后确定训练动作正确率，并将所述训练动作正确率发送至所述终端设备，以使所述终端设备显示所述训练动作正确率。
6.根据权利要求1所述的认知康复机器人***，其特征在于，所述服务器还用于在新用户使用时将眼动校准指令发送至所述混合现实设备；
所述混合现实设备还用于在接收到所述眼动校准指令时，显示校准画面，并采集用户的眼部图像，将所述眼部图像发送至所述服务器；
所述服务器用于接收所述眼部图像，并基于所述眼部图像确定所述注视点位置的识别偏差量。
7.根据权利要求6所述的认知康复机器人***，其特征在于，所述校准画面包括多个校准点；
所述服务器还用于基于所述眼部图像识别瞳孔区域的中心点坐标，得到注视点位置，计算所述注视点位置与所述校准点之间的距离，当所述距离小于预设距离阈值时确定用户正在注视所述校准点，记录用户注视所述校准点时的注视点坐标，基于所述注视点坐标及所述校准点的设定坐标所述注视点位置的识别偏差量。
8.根据权利要求1所述的认知康复机器人***，其特征在于，所述混合现实设备还用于在接收到测试指令时显示测试画面并发出语音测试指令，采集用户的测试图像，并将所述测试图像发送至所述服务器；
所述服务器还用于基于所述测试图像判断用户动作是否正确，在用户动作正确时确定用户的初步测试通过。
9.根据权利要求1所述的认知康复机器人***，其特征在于，所述混合现实设备包括头戴式混合现实设备，所述终端设备包括计算机和/或移动终端。
10.一种认知康复机器人***的控制方法，其特征在于，应用于权利要求1-9任一项所述的认知康复机器人***，所述认知康复机器人***的控制方法包括：
在用户的初步测试通过时，基于所述终端设备接收所述用户的能力评估内容信息；
将所述能力评估内容信息发送至所述混合现实设备，以使所述混合现实设备基于所述能力评估内容信息显示对应的评估场景，并在评估过程中采集用户的实时图像；
将所述实时图像发送至所述服务器，以使所述服务器基于所述实时图像确定用户当前状态，基于接收到的连续多张所述实时图像对应的用户当前状态进行能力评估，并将所述能力评估结果发送至所述终端设备；其中，所述用户当前状态包括注视点位置、手部位置和手势中的任意一种或多种。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311716557.0A CN117747101A (zh) | 2023-12-13 | 2023-12-13 | 一种认知康复机器人***及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311716557.0A CN117747101A (zh) | 2023-12-13 | 2023-12-13 | 一种认知康复机器人***及其控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117747101A true CN117747101A (zh) | 2024-03-22 |
Family
ID=90255617
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311716557.0A Pending CN117747101A (zh) | 2023-12-13 | 2023-12-13 | 一种认知康复机器人***及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117747101A (zh) |
-
2023
- 2023-12-13 CN CN202311716557.0A patent/CN117747101A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110890140B (zh) | 基于虚拟现实的自闭症康复训练及能力评估***及方法 | |
| CN102331840B (zh) | 基于回环运动的用户选择和导航 | |
| CN102184020B (zh) | 用于操纵用户界面的姿势和姿势修改 | |
| US20090258703A1 (en) | Motion Assessment Using a Game Controller | |
| KR101643020B1 (ko) | 애니메이션을 체이닝하는 방법 및 애니메이션 블렌딩 장치 | |
| Qian et al. | Portal-ble: Intuitive free-hand manipulation in unbounded smartphone-based augmented reality | |
| US20160314620A1 (en) | Virtual reality sports training systems and methods | |
| CN106139564A (zh) | 图像处理方法和装置 | |
| KR102377561B1 (ko) | 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 장치 및 방법 | |
| CN109545003A (zh) | 一种显示方法、装置、终端设备及存储介质 | |
| Kirakosian et al. | Near-contact person-to-3d character dance training: Comparing ar and vr for interactive entertainment | |
| JP2009018127A (ja) | 学習支援装置および学習支援方法 | |
| US20230256297A1 (en) | Virtual evaluation tools for augmented reality exercise experiences | |
| CN109144598A (zh) | 基于手势的电子面罩人机交互方法与*** | |
| CN117747101A (zh) | 一种认知康复机器人***及其控制方法 | |
| Pai et al. | Home Fitness and Rehabilitation Support System Implemented by Combining Deep Images and Machine Learning Using Unity Game Engine. | |
| CN102591456B (zh) | 对身体和道具的检测 | |
| JP2006123153A (ja) | コミュニケーションロボット用開発支援装置および開発支援プログラム | |
| US11998798B2 (en) | Virtual guided fitness routines for augmented reality experiences | |
| JP2021099666A (ja) | 学習モデルの生成方法 | |
| Li et al. | Fitness coach: Design and implementation of a smart mirror based on automatic image recognition and action model comparison | |
| US11836329B2 (en) | Intelligent authoring for virtual reality | |
| CN117369649B (zh) | 基于本体感觉的虚拟现实交互***及方法 | |
| TWI817074B (zh) | 認知協調訓練裝置及系統 | |
| CN117423166B (zh) | 一种根据人体姿态图像数据的动作识别方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |