CN109243575B - 一种基于移动交互和增强现实的虚拟针灸方法及*** - Google Patents
一种基于移动交互和增强现实的虚拟针灸方法及*** Download PDFInfo
- Publication number
- CN109243575B CN109243575B CN201811083904.XA CN201811083904A CN109243575B CN 109243575 B CN109243575 B CN 109243575B CN 201811083904 A CN201811083904 A CN 201811083904A CN 109243575 B CN109243575 B CN 109243575B
- Authority
- CN
- China
- Prior art keywords
- virtual
- acupuncture
- coordinate system
- controller
- glasses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 17
- 230000003993 interaction Effects 0.000 title claims abstract description 15
- 238000001467 acupuncture Methods 0.000 claims abstract description 33
- 239000011521 glass Substances 0.000 claims abstract description 26
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 230000003238 somatosensory effect Effects 0.000 claims abstract description 14
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 201000010099 disease Diseases 0.000 claims abstract description 12
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 12
- 230000009471 action Effects 0.000 claims abstract description 7
- 238000003745 diagnosis Methods 0.000 claims abstract description 6
- 230000000007 visual effect Effects 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims abstract description 4
- 230000009466 transformation Effects 0.000 claims abstract 4
- 239000002245 particle Substances 0.000 claims description 9
- 210000003811 finger Anatomy 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000003780 insertion Methods 0.000 claims description 6
- 230000037431 insertion Effects 0.000 claims description 6
- 208000024891 symptom Diseases 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 210000003813 thumb Anatomy 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 claims description 2
- 238000004088 simulation Methods 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 208000004998 Abdominal Pain Diseases 0.000 description 2
- 206010012735 Diarrhoea Diseases 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 208000001848 dysentery Diseases 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- 206010010774 Constipation Diseases 0.000 description 1
- 208000005392 Spasm Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 235000007183 paleface Nutrition 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H39/00—Devices for locating or stimulating specific reflex points of the body for physical therapy, e.g. acupuncture
- A61H39/08—Devices for applying needles to such points, i.e. for acupuncture ; Acupuncture needles or accessories therefor
- A61H39/086—Acupuncture needles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Rehabilitation Therapy (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Primary Health Care (AREA)
- Urology & Nephrology (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Physical Education & Sports Medicine (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Pain & Pain Management (AREA)
- Finger-Pressure Massage (AREA)
Abstract
本发明提出了一种基于移动交互和增强现实的虚拟针灸方法及***。该方法分为扩增现实、诊断子***、坐标系***及其转换、手势位置和方向的捕捉、碰撞检测及视觉反馈五个模块。其中扩增现实通过佩戴AR设备，将实验人体模型投影到真实世界中。为了能在虚拟环境中的操作能够传输到现实环境中执行，需要坐标系***进行坐标转换。诊断子***通过反向传播算法来构建IFPN模型学习不同疾病和治疗穴位之间的对应关系。手势捕捉通过固定在AR眼镜的Leap Motion体感控制器来实现，通过捕获到的数据，可以计算出手的动作及位置。通过碰撞检测，来获取针灸针的接触点，进而通过视觉反馈来加以引导，使参与者了解动作的准确性。
Description
技术领域
本发明涉及一种虚拟针灸技术，具体涉及一种基于移动交互和增强现实的虚拟针灸方法及***。
背景技术
针灸是一种治疗疾病或通过刺激相关穴位来维持人体健康的药物治疗。针灸只能在真正的病人或人造人体模型上进行。而人造人体模型提供有限的视角，它提供的力反馈不够真实。因此开发出一种提供丰富的信息，使能够识别不同的穴位的***，意义十分重大。
目前有不少虚拟针灸的***，但仍然有很多问题有待解决或值得进一步的研究。其一是接触式的方法。通过使用操纵杆远程操纵虚拟针进行针灸，或者使用触摸屏远程操纵。但由于视觉受限并且交互，操纵可能不正确。其二，非接触式的方法。通过将物理标记放在身体部位上以跟踪人手并远程控制来实现针灸。但是，如果标记被遮挡，这些方法将可能失败。因此有一种解决方案是采用Kinect来追踪操作人员的手，用区间卡尔曼滤波器和粒子滤波器来控制机器人操纵器。但是人们自然会在现实生活中使用最好的姿势，所以它并不完美。
发明内容
为解决上述问题，本发明提供一种基于移动交互和增强现实的虚拟针灸方法及***。本发明通过使用AR穿戴设备来实现现实世界和虚拟界面的连接。在这种情况下，打破用户运动的限制。此外，可以在不考虑映射关系的情况下关注现实世界中发生的事情。这种方法还提供了一种更自然的人机交互方式。操作员可以在更准确和自由的任何方向上查看模拟人体，更准确地操作进行针灸。
本发明是通过如下技术方案来实现的。
一种基于移动交互和增强现实的虚拟针灸方法，其包括以下步骤：
S1、扩增现实，投射实验人体模型到实验环境中；
S2、通过使用反向传播算法来构建Intelligent Fuzzy Petri Net(智能模糊Petri网，简称：IFPN)模型，以实现诊断子***；
S3、通过使用Leap Motion体感控制器获得手坐标；
S4、通过坐标系***及其转换，实现虚拟与现实场景的结合；
S5、手的位置和方向的预估和捕捉；
S6、碰撞检测和视觉反馈。
进一步地，步骤S1中的扩增现实通过佩戴AR设备，将虚拟人体模型投影到真实环境中；操作者通过佩戴AR眼镜将模拟人体投影到真实世界中，使用虚拟针灸来进行针灸。
进一步地，在步骤S2中，通过计算机把针灸的数字描述与数字化的解剖图谱相结合，对模拟人体定位3D穴位；智能模糊Petri网广泛用于推理、评估等领域；所述智能模糊Petri网有一个输出位置和一个输入位置；IFPN模型是将直觉模糊集理论与Petri网(feature pyramid networks)理论相结合形成的；首先疾病的症状使用反向传播算法对一组数据进行训练学习，训练后得到IFPN模型中输入位置对输出位置的权重；将DynamicCertainty Factor(动态确定性因素)引入IFPN模型,将IFPN模型转换为后向树；在后向树中，获得症状对疾病的重要性因子，来识别疾病。
进一步地，步骤S3，通过Leap Motion体感控制器和摄影机可以检测到手掌，手指的存在。Leap Motion控制器可以自行计算手势和动作。Leap Motion控制器使用右侧笛卡尔坐标系。以所述控制器中的中心为原点。X轴平行于设备一侧的长边，Z轴与设备的另一侧平行，形成与Leap Motion的面重叠的平面，Y轴垂直于所述平面，方向向上。以所述控制器的框架被定义为XlYlZ1坐标。所述控制器的视觉范围是倒锥形，一旦检测到手掌和手指，一个不可见的定义为XhYhZh的坐标***(其原点位于手掌中心)将被构建以数字化手的位置和方向。又在XhYhZh坐标***中的原点定义的手部运动需要被转化为XlYlZ1中手的相对位置和方向的数据。当这些数据到达服务器时，服务器将尝试解释它的含义转化为全局坐标系。
进一步地，通过设置一个相似性转换，并将它转化为一个偏差公式，获得转换参数矢量的最小二乘解，得到两个坐标系之间的关系，实现虚拟与现实的转换。互联网也需要计算该动作在现实世界中如何进行。互联网从谷歌HoloLens眼镜得到手的高度，方向和位置的数据，计算出现实世界中的手心的位置。在与Leap Motion控制器中的数据结合，得到现实世界中的坐标。为了传输真实世界的图像以在谷歌HoloLens眼镜渲染的虚拟场景上显示，需要校准真实世界坐标和AR眼镜坐标。使用单幅图像的交互式场景结构建模算法在现实场景中注册模拟人体，得到虚拟对象和现实场景之间的关系，为了使用户能够与虚拟对象交互，Leap Motion和HoloLens之间的关系需要进一步配置。因为Leap Motion可以捕捉每个人手的每个关节点。此外，为了建立HoloLens和Leap Motion的坐标，需要至少三个非共线性的共同点。首先使用微软HoloLens全息眼镜观察校准框，计算HoloLens坐标系中上表面的四个角点(x1，x2，x3，x4)的位置。然后用用户的拇指指尖触摸四个角点，可以通过Leap Motion控制器计算Leap Motion坐标系中的位置(x1'，x2'，x3'，x4')，得到(x1，x2，x3，x4)与(x1'，x2'，x3'，x4')的关系。
进一步地，步骤S5使用Kalman Filter(卡尔曼滤波器)进行手心的位置估算，用Kalman Filter算法重写区间卡尔曼滤波器实现去噪；PF(粒子滤波)是使用相应的归一化权重中的有限数量的随机状态样本来估计真实后验的次优分辨率；在时间t_k后密度近似值为
其中δ()为单位脉冲函数，N是样本数，
是第i个粒子的归一化权重，
是第i个粒子，然而在这种情况下，PF的准确性不高，因为k太高；为了改进这种情况，对于两个位置迭代之间的时间差，位置差的总和用于获得粒子的权重，而不是tk时的立即位置差，然后，在可能性计算中使用与第i个粒子的估计值和计算值的累积位置差，当累积误差最小时，位置正确的可能性最高；最后，基于可能性计算的值，能够获得标准化的权重。
进一步地，步骤S6中，针灸***过程可看为质点-弹簧模型，因此一个质点与弹簧的碰撞可以看为针灸过程的良好近似。当针扎入皮肤时，受到的内力包括弹簧力即周围质点对其拉力和虚拟弹簧力即在控制点附加的原始长度为0的虚拟弹簧形变后产生的力。弹簧弹力F可通过与该质点周围M邻域集合的弹簧确定。由于针灸治疗过程中需要通过针灸针的旋转达到治疗的目的，针灸针在沿着一个方向旋转的过程中，皮肤切线方向上受到一个摩擦力，其大小与皮肤生理参数以及施加在针上的旋转外力相关。知道这些力的大小后，利用虚拟针的颜色的实时变化，使操作者了解自己操作的准确度，调整自己的***速度与旋转速度，提高操作的准确性。
实现权利要求1所述的一种基于移动交互和增强现实的虚拟针灸方法的***，其包括AR设备、Leap Motion体感控制器和计算机；所述AR设备包括微软HoloLens全息眼镜；所述戴AR设备，用于将实验人体模型投影到真实世界中，操作者通过佩戴AR眼镜使用虚拟针进行针灸；Leap Motion体感控制器用于检测手掌、手指的存在、手势位置和手势动作；所述微软HoloLens全息眼镜用于观察校准框，计算HoloLens坐标系中上表面的四个角点(x1，x2，x3，x4)的位置；所述计算机用于通过使用反向传播算法来构建Intelligent FuzzyPetri Net(智能模糊Petri网，简称：IFPN)模型，以实现诊断子***
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明使用了增强现实的方法，实现了现实世界与虚拟界面的连接，操作人员可以拥有良好的沉浸感。
2、本发明中的诊断子***可以反馈丰富的信息和提示给操作人员，操作人员不需要有先验知识，通过使用练习便可以实现针灸操作
3、本发明提供了一种更自然的人机交互方式，操作员可以更自然和准确的在任何方向上观察虚拟人体，采取更准确的操作。
附图说明
图1为虚拟针灸***流程图。
图2为用于诊断的IFPN模型。
图3为生成的后向树。
图4a、图4b为手部到世界坐标系示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合附图并通过举例，对本发明的技术方案进行详细说明，需指出的是，以下若有未特别详细说明的过程或符号，均是本领域技术人员可参照现有技术上理解或实现的。
本实例的虚拟针灸方法采用的***包括AR眼镜，Leap Motion体感控制器、计算机；该方法的流程如图1所示，通过步骤实现：
S1、通过佩戴AR眼镜实现的。首先将虚拟人体模型投影到真实环境中，操作者可以通过佩戴AR眼镜使用虚拟针灸来进行针灸，将实验人体模型投影到真实世界中。
S2、该步骤在计算机上实现的。智能模糊Petri网(feature pyramid networks)广泛用于推理、评估等领域。它有一个输出位置和一个输入位置。IFPN模型是将直觉模糊集理论与Petri网理论相结合形成的。首先疾病的症状使用反向传播算法对一组数据进行训练学习，训练后得到IFPN模型，如图2所示。在模型中，输入位置对输出位置的权重。将DCF引入IFPN模型,将IFPN转换为后向树，如图3所示。在后向树中，获得症状对疾病的重要性因子，来识别疾病。
在下面的案例中，IFPN用于识别三种常见疾病，即痉挛，痢疾和腹泻。图2为一个IFPN模型，图3是IFPN转换生成的后向树。通过使用反向传播算法学习，获得描述输入位置对输出位置决定性的重要性的权重，用符号w1,w2,...,w21表示。
通过总结案例研究的学习重量。每个权重指示输入位置对IFPN元素中的输出位置的重要性因子。例如，w1＝0.617237意味着相对于其他输入位置p2(频繁腹泻)，p6(舌红苔黄)，p8(脉搏快速)和p9(脉搏微弱)，位置p1(腹痛)对于输出位置p16(痢疾)的重要性因子是0.617237，而w15＝0.09821意味着p10(面部苍白)相对于其他输入位置p1(腹痛)，p3(粪便干燥)，p7(舌白苔白)，p9(弱脉搏)到输出位置p14(虚寒便秘)的重要性因子为0.09821
S3、Leap Motion控制器可以检测手指手心，接收到数据后，可以自行计算手势位置和动作，知道手是如何移动。再将手部数据转换为全局坐标系，如图4a、图4b所示的(IMU为是测量物体三轴姿态角(或角速率)以及加速度的装置)，为手部到世界坐标系示意图。
S4、通过设置一个相似性转换，并将它转化为一个偏差公式，获得转换参数矢量的最小二乘解，得到两个坐标系之间的关系，实现转换。互联网也需要计算该动作在现实世界中如何进行。互联网从微软HoloLens眼镜得到手的高度，方向和位置的数据，计算出现实世界中的手心的位置。在与Leap Motion中的数据结合，得到现实世界中的坐标。为了传输真实世界的图像以在微软HoloLens眼镜渲染的虚拟场景上显示，需要校准真实世界坐标和AR眼镜坐标。我们需要在现实场景中注册模拟人体，得到虚拟对象和现实场景之间的关系，为了使用户能够与虚拟对象交互，Leap Motion和微软HoloLens眼镜之间的关系需要进一步配置。因为Leap Motion可以捕捉每个人手的每个关节点。此外，为了建立微软HoloLens眼镜和Leap Motion的坐标，需要至少三个非共线性的共同点。首先使用微软HoloLens全息眼镜观察校准框，计算微软HoloLens眼镜坐标系中上表面的四个角点(x1，x2，x3，x4)的位置。然后用用户的拇指指尖触摸四个角点，可以通过Leap Motion计算Leap Motion坐标系中的位置(x1'，x2'，x3'，x4')，得到(x1，x2，x3，x4)与(x1'，x2'，x3'，x4')的关系。
S5、使用IKF进行位置估算，用Kalman Filter算法重写区间卡尔曼滤波器实现去噪。使用改进的IPF进行定向估算，对于时间段，位置差的总和用于获得权重。
S6、针灸***过程可看为质点-弹簧模型，因此一个质点与弹簧的碰撞可以看为针灸过程的良好近似。当针扎入皮肤时，受到的内力包括弹簧力即周围质点对其拉力和虚拟弹簧力即在控制点附加的原始长度为0的虚拟弹簧形变后产生的力。弹簧弹力F可通过与该质点周围M邻域集合的弹簧确定。由于针灸治疗过程中需要通过针灸针的旋转达到治疗的目的，针灸针在沿着一个方向旋转的过程中，皮肤切线方向上受到一个摩擦力，其大小与皮肤生理参数以及施加在针上的旋转外力相关。知道这些力的大小后，利用虚拟针的颜色的实时变化，使操作者了解自己操作的准确度，调整自己的***速度与旋转速度，提高操作的准确性。
综上所述，本发明已如说明书及图示内容，以上仅是本发明的具体步骤，对本发明的保护范围不构成任何限制。
Claims (6)
1.一种基于移动交互和增强现实的虚拟针灸方法，其特征在于，包括以下步骤：
S1、扩增现实，投射实验人体模型到实验环境中；
S2、通过使用反向传播算法来构建IFPN模型，以实现诊断子***；
S3、通过使用Leap Motion体感控制器获得手坐标；
S4、通过坐标系***及其转换，实现虚拟与现实场景的结合；
S5、手的位置和方向的预估和捕捉；使用Kalman Filter进行手心的位置估算，用KalmanFilter算法重写区间卡尔曼滤波器实现去噪；在时间t_k后密度近似值为
其中δ()为单位脉冲函数，N是样本数，
是第i个粒子的归一化权重，
是第i个粒子；然后，在可能性计算中使用与第i个粒子的估计值和计算值的累积位置差，最后，基于可能性计算的值，获得标准化的权重；
S6、碰撞检测和视觉反馈：针灸***过程看为质点-弹簧模型，一个质点与弹簧的碰撞视为针灸过程；当针扎入皮肤时，受到的内力包括弹簧力即周围质点对其拉力和虚拟弹簧力即在控制点附加的原始长度为0的虚拟弹簧形变后产生的力；弹簧弹力F通过与质点周围M邻域集合的弹簧确定；针灸治疗过程中需要通过针灸针的旋转达到治疗的目的，针灸针在沿着一个方向旋转的过程中，皮肤切线方向上受到一个摩擦力，其大小与皮肤生理参数以及施加在针上的旋转外力相关；知道力的大小，并利用虚拟针的颜色的实时变化，使操作者了解自己操作的准确度，调整自己的***速度与旋转速度，提高操作的准确性。
2.根据权利要求1所述的一种基于移动交互和增强现实的虚拟针灸方法，其特征在于，步骤S1中的扩增现实通过佩戴AR设备，将实验人体模型投影到真实世界中，操作者通过佩戴AR眼镜使用虚拟针进行针灸。
3.根据权利要求1所述的一种基于移动交互和增强现实的虚拟针灸方法，其特征在于，在步骤S2中，通过计算机把针灸的数字描述与数字化的解剖图谱相结合，对模拟人体定位3D穴位；所述IFPN 有一个输出位置和一个输入位置；IFPN模型是将直觉模糊集理论与Petri网理论相结合形成的；首先疾病的症状使用反向传播算法对一组数据进行训练学习，训练后得到IFPN模型中输入位置对输出位置的权重；将Dynamic Certainty Factor引入IFPN模型,将IFPN模型转换为后向树；在后向树中，获得症状对疾病的重要性因子，来识别疾病。
4.根据权利要求1所述的一种基于移动交互和增强现实的虚拟针灸方法，其特征在于，步骤S3中，通过Leap Motion体感控制器来检测手掌，手指的存在；所述体感控制器自行计算手势和动作；所述体感控制器使用右侧笛卡尔坐标系，以所述控制器为中心原点，X轴平行于设备一侧的长边，Z轴与设备的另一侧平行，形成与所述控制器的面重叠的平面，Y轴垂直于所述平面，方向向上；以所述控制器的框架定义为XlYlZ1坐标；所述控制器的视觉范围是倒锥形，一旦检测到手掌和手指，将构建一个定义为XhYhZh且原点位于手掌中心的坐标***，以数字化手的位置和方向；在XhYhZh坐标***中的原点定义的手部运动需要被转化为XlYlZ1坐标中手的相对位置和方向的数据；将以上数据传输到服务器，服务器读取数据的含义转化为全局坐标系。
5.根据权利要求1所述的一种基于移动交互和增强现实的虚拟针灸方法，其特征在于，步骤S4中，通过设置一个相似性转换，并将所述设置转化为一个偏差公式，获得转换参数矢量的最小二乘解，得到Leap Motion控制器使用的坐标系和现实世界的全局坐标系之间的空间位置关系，实现虚拟与现实的转换；互联网从谷歌HoloLens眼镜获得手的高度，方向和位置的数据，计算出现实世界中的手心的位置；在与所述控制器中的数据结合，得到真实世界坐标；通过校准真实世界坐标和AR眼镜坐标，以便传输真实世界的图像在谷歌HoloLens眼镜渲染的虚拟场景上显示；使用单幅图像的交互式场景结构建模算法在现实场景中注册模拟人体，得到虚拟对象和现实场景之间的关系，通过进一步配置Leap Motion体感控制器和谷歌HoloLens眼镜之间的关系，操作使用户能够与虚拟对象交互；同时所述控制器捕捉人手的每个关节点；通过至少三个非共线性的共同点，建立谷歌HoloLens眼镜和LeapMotion的坐标，首先使用微软HoloLens全息眼镜观察校准框，计算HoloLens坐标系中上表面的四个角点(x1，x2，x3，x4)的位置；然后用用户的拇指指尖触摸四个角点，可以通过LeapMotion体感控制器计算Leap Motion坐标系中的位置(x1'，x2'，x3'，x4')，得到(x1，x2，x3，x4)与(x1'，x2'，x3'，x4')的关系。
6.实现权利要求1所述的一种基于移动交互和增强现实的虚拟针灸方法的***，其特征在于，包括AR设备、Leap Motion体感控制器和计算机；所述AR设备包括微软HoloLens全息眼镜；所述AR设备，用于将实验人体模型投影到真实世界中，操作者通过佩戴AR眼镜使用虚拟针进行针灸；Leap Motion体感控制器用于检测手掌、手指的存在、手势位置和手势动作；所述微软HoloLens全息眼镜用于观察校准框，计算HoloLens坐标系中上表面的四个角点(x1，x2，x3，x4)的位置；所述计算机用于通过使用反向传播算法来构建IFPN模型，以实现诊断子***。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811083904.XA CN109243575B (zh) | 2018-09-17 | 2018-09-17 | 一种基于移动交互和增强现实的虚拟针灸方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811083904.XA CN109243575B (zh) | 2018-09-17 | 2018-09-17 | 一种基于移动交互和增强现实的虚拟针灸方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109243575A CN109243575A (zh) | 2019-01-18 |
| CN109243575B true CN109243575B (zh) | 2022-04-22 |
Family
ID=65059560
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811083904.XA Expired - Fee Related CN109243575B (zh) | 2018-09-17 | 2018-09-17 | 一种基于移动交互和增强现实的虚拟针灸方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109243575B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109917911B (zh) * | 2019-02-20 | 2021-12-28 | 西北工业大学 | 一种基于信息物理交互的振动触觉反馈装置设计方法 |
| CN111429569B (zh) * | 2020-03-30 | 2022-07-26 | 华南理工大学 | 一种基于5g+增强现实的人体解剖教学方法 |
| CN112532801A (zh) * | 2020-12-04 | 2021-03-19 | 上海影创信息科技有限公司 | 基于热分布检测的vr设备的安全防护方法和*** |
| CN114446442B (zh) * | 2022-02-24 | 2022-08-05 | 湖南省万卓医疗器械有限公司 | 一种基于智能控制的子午流注针灸理疗仪 |
| CN116646052B (zh) * | 2023-06-28 | 2024-02-09 | 西安交通大学医学院第二附属医院 | 一种基于三维人体模型的辅助针灸定位***与方法 |
| CN117434571B (zh) * | 2023-12-21 | 2024-03-15 | 绘见科技(深圳)有限公司 | 基于单天线确定设备绝对位姿的方法、mr设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101799717A (zh) * | 2010-03-05 | 2010-08-11 | 天津大学 | 基于手部行为捕捉的人机交互方法 |
| CN106327983A (zh) * | 2016-09-06 | 2017-01-11 | 成都华域天府数字科技有限公司 | 一种针灸定穴辅助教学*** |
| CN106523393A (zh) * | 2016-11-18 | 2017-03-22 | 山东科技大学 | 一种用于井下排水***的故障诊断方法 |
| CN106650251A (zh) * | 2016-12-14 | 2017-05-10 | 南京信息工程大学 | 一种针灸力反馈形变模型的建模方法 |
| CN107221000A (zh) * | 2017-04-11 | 2017-09-29 | 天津大学 | 基于增强现实的针灸穴位可视化平台及其图像处理方法 |
| CN107993545A (zh) * | 2017-12-15 | 2018-05-04 | 天津大学 | 基于虚拟现实技术的小儿针灸训练仿真***及仿真方法 |
-
2018
- 2018-09-17 CN CN201811083904.XA patent/CN109243575B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101799717A (zh) * | 2010-03-05 | 2010-08-11 | 天津大学 | 基于手部行为捕捉的人机交互方法 |
| CN106327983A (zh) * | 2016-09-06 | 2017-01-11 | 成都华域天府数字科技有限公司 | 一种针灸定穴辅助教学*** |
| CN106523393A (zh) * | 2016-11-18 | 2017-03-22 | 山东科技大学 | 一种用于井下排水***的故障诊断方法 |
| CN106650251A (zh) * | 2016-12-14 | 2017-05-10 | 南京信息工程大学 | 一种针灸力反馈形变模型的建模方法 |
| CN107221000A (zh) * | 2017-04-11 | 2017-09-29 | 天津大学 | 基于增强现实的针灸穴位可视化平台及其图像处理方法 |
| CN107993545A (zh) * | 2017-12-15 | 2018-05-04 | 天津大学 | 基于虚拟现实技术的小儿针灸训练仿真***及仿真方法 |
Non-Patent Citations (3)
| Title |
|---|
| A Fuzzy Petri Nets System for Heart Disease Diagnosis;Hussin Attya Lafta et al.;《Journal of Babylon University》;20171231;第25卷(第2期);第317-328页 * |
| 基于BP算法的IFPN参数优化方法;郑寇全等;《控制与决策》;20131231;第28卷(第12期);第1779-1785页 * |
| 基于双Leap Motion的三维可视化交互方法研究;孙国道等;《计算机辅助设计与图形学学报》;20180731;第30卷(第07期);第1268-1275页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109243575A (zh) | 2019-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109243575B (zh) | 一种基于移动交互和增强现实的虚拟针灸方法及*** | |
| JP7273880B2 (ja) | 仮想オブジェクト駆動方法、装置、電子機器及び可読記憶媒体 | |
| CN101579238B (zh) | 人体运动捕获三维再现***及其方法 | |
| CN106346485B (zh) | 基于人手运动姿态学习的仿生机械手的非接触式控制方法 | |
| Ueda et al. | A hand-pose estimation for vision-based human interfaces | |
| CN105252532A (zh) | 动作捕捉机器人协同柔性姿态控制的方法 | |
| CN201431466Y (zh) | 人体运动捕获三维再现*** | |
| Cordella et al. | Patient performance evaluation using Kinect and Monte Carlo-based finger tracking | |
| CN106873787A (zh) | 一种用于虚拟手术仿真教学的手势交互***及方法 | |
| CN103529944A (zh) | 一种基于Kinect的人体动作识别方法 | |
| CN103112007A (zh) | 基于混合传感器的人机交互方法 | |
| CN108334198B (zh) | 基于增强现实的虚拟雕塑方法 | |
| TW202026846A (zh) | 動作捕捉方法 | |
| WO2024094227A1 (zh) | 一种基于卡尔曼滤波和深度学习的手势姿态估计方法 | |
| Silva et al. | Sensor data fusion for full arm tracking using myo armband and leap motion | |
| JP2023507241A (ja) | 随意のデュアルレンジ運動学を用いたプロキシコントローラスーツ | |
| Maycock et al. | Robust tracking of human hand postures for robot teaching | |
| Scherfgen et al. | Estimating the pose of a medical manikin for haptic augmentation of a virtual patient in mixed reality training | |
| CN113496168B (zh) | 手语数据采集方法、设备、存储介质 | |
| Ángel-López et al. | Kinematic hand analysis using motion capture technology | |
| CN111369626A (zh) | 基于深度学习的无标志点上肢运动分析方法及*** | |
| WO2019152566A1 (en) | Systems and methods for subject specific kinematic mapping | |
| White et al. | A virtual reality application for stroke patient rehabilitation | |
| Nonnarit et al. | Hand tracking interface for virtual reality interaction based on marg sensors | |
| TW201619754A (zh) | 醫用影像物件化介面輔助解說控制系統及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220422 |