CN107908000B - 一种带有超声虚拟触觉的混合现实*** - Google Patents
一种带有超声虚拟触觉的混合现实*** Download PDFInfo
- Publication number
- CN107908000B CN107908000B CN201711211889.8A CN201711211889A CN107908000B CN 107908000 B CN107908000 B CN 107908000B CN 201711211889 A CN201711211889 A CN 201711211889A CN 107908000 B CN107908000 B CN 107908000B
- Authority
- CN
- China
- Prior art keywords
- ultrasonic
- unit
- polymeric membrane
- transparent
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 32
- 230000003321 amplification Effects 0.000 claims abstract description 13
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims abstract description 9
- 238000004891 communication Methods 0.000 claims abstract description 7
- 230000007613 environmental effect Effects 0.000 claims abstract description 7
- 238000009434 installation Methods 0.000 claims abstract description 4
- 239000012528 membrane Substances 0.000 claims description 65
- 210000003128 head Anatomy 0.000 claims description 29
- 239000000499 gel Substances 0.000 claims description 22
- 230000000694 effects Effects 0.000 claims description 12
- 238000002834 transmittance Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 9
- 230000005284 excitation Effects 0.000 claims description 6
- 230000004438 eyesight Effects 0.000 claims description 6
- KWGKDLIKAYFUFQ-UHFFFAOYSA-M lithium chloride Chemical compound [Li+].[Cl-] KWGKDLIKAYFUFQ-UHFFFAOYSA-M 0.000 claims description 6
- 239000000463 material Substances 0.000 claims description 6
- 238000002604 ultrasonography Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000005094 computer simulation Methods 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 claims description 3
- 230000008602 contraction Effects 0.000 claims description 3
- 230000005684 electric field Effects 0.000 claims description 3
- 229920006351 engineering plastic Polymers 0.000 claims description 3
- 239000000017 hydrogel Substances 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 229920002401 polyacrylamide Polymers 0.000 claims description 3
- 229920000642 polymer Polymers 0.000 claims description 3
- 210000001525 retina Anatomy 0.000 claims description 3
- 238000009738 saturating Methods 0.000 claims description 3
- 239000000741 silica gel Substances 0.000 claims description 3
- 229910002027 silica gel Inorganic materials 0.000 claims description 3
- NIXOWILDQLNWCW-UHFFFAOYSA-M Acrylate Chemical compound [O-]C(=O)C=C NIXOWILDQLNWCW-UHFFFAOYSA-M 0.000 claims description 2
- 238000003909 pattern recognition Methods 0.000 claims description 2
- 238000006116 polymerization reaction Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000001360 synchronised effect Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 239000003292 glue Substances 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- SMZOUWXMTYCWNB-UHFFFAOYSA-N 2-(2-methoxy-5-methylphenyl)ethanamine Chemical compound COC1=CC=C(C)C=C1CCN SMZOUWXMTYCWNB-UHFFFAOYSA-N 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 244000062793 Sorghum vulgare Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003989 dielectric material Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 125000004185 ester group Chemical group 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 235000019713 millet Nutrition 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000026683 transduction Effects 0.000 description 1
- 238000010361 transduction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种带有超声虚拟触觉的混合现实***，包括头戴式光学设备、超声虚拟触觉设备、便携式数据处理终端；头戴式光学设备具有安装接口可以与超声虚拟触觉设备集成，其包括透明衍射式平显、虚拟图像产生单元、现实场景采集单元及辅助单元如通讯接口、电源管理等；超声虚拟触觉设备包括全透明超声相控阵、驱动单元、功率放大单元和阻抗匹配单元；便携式数据处理终端采取分立构架，通过无线网络连接头戴式光学设备和超声虚拟触觉设备，实现信息的双向通信、物理环境重、空间位置提取、虚拟图像生成与融合、声场参数计算等功能；本发明为混合现实***提供了高柔性、非接触式的虚拟触觉实施方式，实现人体对再造环境视觉和触觉感知的同步。
Description
技术领域
本发明属于混合现实相关技术领域，具体涉及一种带有超声虚拟触觉的混合现实***。
背景技术
混合现实技术(Mixed reality,MR)是虚拟现实(Virtual reality,VR)技术与增强现实(Augmented Reality,AR)技术融合后的进一步发展，其通过合并现实和虚拟世界而产生了新的可视化环境，实现物理和数字对象共存，实时互动，同时在新的可视化环境里为用户提供交互反馈的信息回路，从而增强用户的真实体验。
目前这种技术大多使用头戴式光学设备(如hololens,magic leap等)将具有特定功能的图形增加到用户感知的视觉信息中(包括人眼看到的真实物理世界和计算机构建的虚拟世界)。当虚拟的功能图形生成后，用户可通过按键(真实或虚拟的)、手指或其他交互式设备对其操作，进行互动。然而当前的混合现实技术的研究和发展多着重于视觉感知方面，在与虚拟视觉交互过程中的触觉感知技术上的进展较为缓慢。用户不能感知不同操作的效果，交互方式缺少精确的互动性，用户的沉浸感不强。考虑到虚拟触觉在混合现实技术中不可替代的作用，其是唯一既可接收环境输入又可以对视觉信息输出的感知通道，可极大增强混合现实技术用户的体验效果，提升对当前视觉环境的认识效果。
触觉作为获取物体质地、纹理等信息的唯一信息通道，是人类认识世界的重要手段。目前，国内外实现对虚拟物体的触觉感知主要借助可穿戴设备，通过各种制动器与人体接触来模拟触觉信号。例如通过压电或静电振动器来改变接触面的摩擦系数，通过电磁或液压元件改变接触面的形貌。这些传统方法难以用于具有高开放性、高柔性虚拟对象的混合现实技术。近年来涌现的超声触觉反馈技术通过相控阵超声在空气中合成目标声场，利用声波的辐射力效应非接触地在用户皮肤表面产生震动触觉。超声触觉的实施，硬件上依赖于由多个压电式或电容式超声换能器组成的阵列，而现有超声换能器的光学特性决定其只能用于简单图像交互中，无法在不影响混合现实***中光学设备的情况下得到应用。
发明内容
为了克服上述现有技术存在的问题，本发明的目的在于提供一种带有超声虚拟触觉的混合现实***，解决混合现实技术中缺乏真实、可靠的信息双向传递通道，无法准确交互，用户缺乏沉浸感等问题，实现人体对再造环境视觉和触觉感知的同步，提升用户体验。本发明以光学全透明介电材料超声换能器单元为基础构建适用于混合现实***的超声相控阵，从而方便地将超声虚拟触觉设备集成于混合现实***中广泛应用的头戴式光学设备；超声虚拟触觉设备与计算机图像设备共享生成虚拟画面的空间位置，便于超声虚拟触觉设备根据图像特征设置各超声换能器单元的工作参数，在虚拟画面处生成目标声场；声场通过声辐射力的作用将虚拟触觉非接触地引于人体表面。整个***具有结构紧凑、算法易于实现、高柔性、操作方便等诸多特点。
为了实现上述发明目的，本发明采用如下技术方案：
一种带有超声虚拟触觉的混合现实***，包括头戴式光学设备1、超声虚拟触觉设备2、便携式数据处理终端3；所述头戴式光学设备1具有安装接口能够与具有高透光性的超声虚拟触觉设备2集成；所述便携式数据处理终端3采取分立构架，能随身携带于用户的任意位置，通过无线网络与头戴式光学设备1和超声虚拟触觉设备2相连。
所述头戴式光学设备1包括头盔101、透明衍射式平显102、虚拟图像产生单元103、现实场景采集单元104及辅助单元105如通讯接口、电源管理等；透明衍射式平显102、虚拟图像产生单元103、现实场景采集单元104及辅助单元105通过可拆卸接口与头盔101相连。
所述超声虚拟触觉设备2包括依次相连的全透明超声相控阵201、阻抗匹配单元202、功率放大单元203和驱动单元204；全透明超声相控阵201的振元数量决定了阻抗匹配单元202、功率放大单元203、驱动单元204中通道的数量。
所述便携式数据处理终端3通过无线网络与头戴式光学设备1、超声虚拟触觉设备2相连，接收头戴式光学设备1采集的环境信息，进行图像和声场的数据处理，并将所有需要输出的信息发送至头戴式光学设备1和超声虚拟触觉设备2。
所述的头盔101作为***中所有部件的机械连接框架，由敷有硅胶外层的工程塑料制成，在保证强度的同时减轻了重量、提高了人体佩戴的舒适性；
所述的透明衍射式平显102安装于头盔101的正前部，具有平面构型，用户双眼透过其观察外部环境的同时，将虚拟图像产生单元103投射的图像发射到用户的视网膜中；
所述的虚拟图像产生单元103安装在头盔右侧，其接收便携式数据处理终端3发送的虚拟图像数据和现实场景建模数据，充分融合的图像经过数字光处理后(Digital lightprocessing)投射到透明衍射式平显102上，用户从而在视觉上感受到混合现实环境；
所述现实场景采集单元104包括安装于头盔101前部的双目摄像头、数据采集模块、存储模块和装于头盔101四周的姿态传感器；双目摄像头和数据采集模块用于实时采集外部真实景象，姿态传感器用于获取用户头部在物理空间内的姿态；
所述辅助单元105包括为头戴式光学设备1中的所有单元供电的电源模块，实现头戴式光学设备1中的所有单元通讯的总线，实现头戴式光学设备1、超声虚拟触觉设备2和便携式数据处理终端3间信息传递的无线模块。
所述全透明超声相控阵201是由m行n列的透明介电超声换能器单元组成的矩形阵列，各透明介电超声换能器单元之间无间隔连接；全透明超声相控阵201的几何尺寸与透明衍射式平显102相同，并堆叠于透明衍射式平显102的前方；工作时各透明介电超声换能器单元输出具有***设定幅值和相位参数的超声信号，在目标位置合成声场；
所述的阻抗匹配单元202共有m×n个通道，每个通道实时采样电路中的电流和电压，并分析负载的阻抗特性，从而对阻抗匹配网络进行调整，保证作为负载的透明介电超声换能器单元处于最优工作状态；
所述的功率放大单元203共有m×n个通道，每个通道将驱动单元204中对应通道输出的信号进行放大，并输出给阻抗匹配单元202中的对应通道；
所述的驱动单元204共有m×n个通道，每个通道根据便携式数据处理终端3发送的参数，输出正弦电信号给功率放大单元203的相应通道。
所述的便携式数据处理终端3通过无线网络接收现实场景采集单元104采集的环境信息图像和用户头部在物理空间内的姿态信息，采用基于立体视觉的三维重建方法对真实环境进行建模，得到用户在真实环境中的3D空间计算机模型和头部位置姿态，同时根据用户的选择提取存储好的虚拟图像数据，并将虚拟图像与真实环境建模数据充分融合发送给头戴式光学设备1中虚拟图像产生单元103；然后根据虚拟图像的特征及其在物理空间中的位置计算出用于产生虚拟触觉的合成超声场；进而根据全透明超声相控阵201与目标声场的相对位置，计算出各声源的幅值和相位参数以及对应介电超声换能器单元的驱动参数；最后将整个全透明超声相控阵201的工作参数发送至超声虚拟触觉设备2中的驱动单元204。
进一步的，所述的透明介电超声换能器单元具有推挽式结构，包括支撑圈401、上固定压环402、下固定压环403、上介电高分子膜404、下介电高分子膜405以及环形凝胶电极406；其中支撑圈401、上固定压环402、下固定压环403均由高透光性亚克力材料制成；支撑圈401内径4cm，外径5cm，高度为3cm；上介电高分子膜404和下介电高分子膜405厚度为0.1mm,并通过上固定压环402、下固定压环403与支撑圈401的过盈配合固定在支撑圈401的上、下表面；内径为2cm，外径为4cm的环形凝胶电极分别粘贴在上介电高分子膜404和下介电高分子膜405的上下表面，上介电高分子膜404和下介电高分子膜405内部无凝胶电极覆盖的区域连接在一起，最终形成推挽式结构；
所述上介电高分子膜404和下介电高分子膜405采用具有高透光性的丙烯酸酯基高分子聚合物；
所述环形凝胶电极406可采用较低聚合度、低模量加有氯化锂的聚丙烯酰胺水凝胶或透明离子凝胶。
所述透明介电超声换能器单元采用推挽式输出的工作方式，正弦激励信号的正半周期加载于上介电高分子膜404，从而在上介电高分子膜404敷有凝胶电极的区域产生沿膜厚度方向的极化电场；介电高分子膜404敷有凝胶电极的区域受到麦克斯韦应力的作用总应力减少，从而导致下介电高分子膜405收缩，上介电高分子膜404扩张，上介电高分子膜404和下介电高分子膜405连接区域向下介电高分子膜405一侧运动；同理正弦激励信号的负半周期加载于下介电高分子膜405时，上介电高分子膜404和下介电高分子膜405连接区域向上介电高分子膜404一侧运动，从而形成周期性震动，产生超声波。
进一步的，根据目标声场特性以及全透明超声相控阵201相对位置，获取各声源的幅值和相位参数时，本发明考虑了用户手势操作的散射效应对目标声场的影响，通过模式识别获得了控制点的密度函数和声压值，然后在非自由空间计入散射体的传递函数基础上，应用逆滤波得到相控阵各阵元对应的声源参数，从而使合成声场产生更贴近预期的触觉感受。
本发明和现有技术相比，具有如下有益效果：
1、本发明由于采用了由透明介电高分子材料和凝胶电极构成的透明介电超声换能器单元，所组成的相控阵换能器阵列具有高透光性，与混合现实***中头戴式光学设备组和时，不会影响摄像头、衍射屏显等光学设备的工作。
2、本发明在实施超声虚拟触觉时，声场合成算法中考虑了手的散射效应对目标声场的影响，通过模式识别和逆匹配滤波消除了散射声场的叠加，使合成声场产生更贴近预期的触觉感受。
3、本发明所述***带有自动化的阻抗匹配电路，可以根据相控阵探头各振元的特征阻抗自动设置各阻抗匹通道节点的匹配参数，保证相控阵探头迅速进入理想工作状态。
4、透明介电超声换能器单元构型简单、成本低、易于制备。
5、***结构紧凑、算法易于实现、适应性强。
附图说明
图1是一种带有超声虚拟触觉的混合现实***外形、功能模块示意图。
图2是一种带有超声虚拟触觉的混合现实***中头戴式光学设备1的功能示意图。
图3是一种带有超声虚拟触觉的混合现实***中超声虚拟触觉设备2的功能示意图。
图4全透明超声相控阵的外形示意图。
图5一种带有超声虚拟触觉的混合现实***中数据处理终端3的数据流向示意图。
图6是全透明介电超声换能器单元的结构示意图。
具体实施方式
以下结合附图及具体实施例，对本发明作进一步的详细描述。
如图1所示，本发明一种带有超声虚拟触觉的混合现实***，包括头戴式光学设备1、超声虚拟触觉设备2、便携式数据处理终端3；所述头戴式光学设备1具有安装接口可以与具有高透光性的超声虚拟触觉设备2集成；所述便携式数据处理终端3采取分立构架，可随身携带于用户的任意位置，通过无线网络与头戴式光学设备1和超声虚拟触觉设备2相连。
如图2所示，所述头戴式光学设备1包括头盔101、透明衍射式平显102、虚拟图像产生单元103、现实场景采集单元104及辅助单元105如通讯接口、电源管理等；透明衍射式平显102、虚拟图像产生单元103、现实场景采集单元104及辅助单元105通过可拆卸接口与头盔101相连。
所述的头盔101作为***中所有部件的机械连接框架，由敷有硅胶外层的工程塑料制成，在保证强度的同时减轻了重量、提高了人体佩戴的舒适性；
所述的透明衍射式平显102安装于头盔101的正前部，具有平面构型，用户双眼透过其观察外部环境的同时，将虚拟图像产生单元103投射的图像发射到用户的视网膜中；
所述的虚拟图像产生单元103安装在头盔右侧，其接收便携式数据处理终端3发送的虚拟图像数据和现实场景建模数据，充分融合的图像经过数字光处理后(Digital lightprocessing)投射到透明衍射式平显102上，用户从而在视觉上感受到混合现实环境；
所述现实场景采集单元104包括安装于头盔101前部的双目摄像头、数据采集模块、存储模块和装于头盔101四周的姿态传感器；双目摄像头和数据采集模块用于实时采集外部真实景象，姿态传感器用于获取用户头部在物理空间内的姿态；
所述辅助单元105包括为头戴式光学设备1中的所有单元供电的电源模块，实现头戴式光学设备1中的所有单元通讯的总线，实现头戴式光学设备1、超声虚拟触觉设备2和便携式数据处理终端3间信息传递的无线模块。
如图3所示，所述超声虚拟触觉设备2包括依次相连的全透明超声相控阵201、阻抗匹配单元202、功率放大单元203和驱动单元204；全透明超声相控阵201的振元数量决定了阻抗匹配单元202、功率放大单元203、驱动单元204中通道的数量。
如图4示，所述全透明超声相控阵201是由m行n列的透明介电超声换能器单元组成的矩形阵列，各透明介电超声换能器单元之间无间隔连接；全透明超声相控阵201的几何尺寸与透明衍射式平显102相同，并堆叠于透明衍射式平显102的前方；工作时各透明介电超声换能器单元输出具有***设定幅值和相位参数的超声信号，在目标位置合成声场；
所述的阻抗匹配单元202共有m×n个通道，每个通道实时采样电路中的电流和电压，并分析负载的阻抗特性，从而对阻抗匹配网络进行调整，保证作为负载的透明介电超声换能器单元处于最优工作状态；
所述的功率放大单元203共有m×n个通道，每个通道将驱动单元204中对应通道输出的信号进行放大，并输出给阻抗匹配单元202中的对应通道；
所述的驱动单元204共有m×n个通道，每个通道根据便携式数据处理终端3发送的参数，输出正弦电信号给功率放大单元203的相应通道。
如图5，所述的便携式数据处理终端3通过无线网络接收现实场景采集单元104采集的环境信息图像和用户头部在物理空间内的姿态信息，采用基于立体视觉的三维重建方法对真实环境进行建模，从而得到用户在真实环境的3D空间计算机模型和头部位置姿态，同时根据用户的选择提取存储好的虚拟图像数据，并将虚拟图像与真实环境建模数据充分融合后，发送给头戴式光学设备1中虚拟图像产生单元103；然后根据虚拟图像的特征及其在物理空间中的位置计算出用于产生虚拟触觉的合成超声场信息；进而根据全透明超声相控阵201与目标声场的相对位置，计算出各声源的幅值和相位参数以及对应介电超声换能器单元的驱动参数；最后将整个全透明超声相控阵201的工作参数发送至超声虚拟触觉设备2中的驱动单元204。
具体的讲，对于基于立体视觉的三维重建方法，便携式数据处理终端3根据采集的环境信息图像，选取现实场景中的特征结构、对象作为特征点，然后通对特征点匹配获得特征点对；再利用标定的相机参数得到特征点空间位置信息；进一步采用PMVS点云生成算法，剔除错误三维点对应的面片，得到真实环境的点云模型，重建曲面；最后通过映射算法建立真实环境中物体表面点与纹理图像像素点之间的对应关系，填充纹理图像像素，并将纹理图像覆盖到三维表面，得到真实环境的3D空间计算机模型。具体的讲，用户选择的虚拟图像可以是三维全息图像、一个或多个二维虚拟图像。便携式数据处理终端3根据计算获得的头部位置姿态，调取事先存储好的与用户选择一致的虚拟图像数据。
具体的讲，根据虚拟图像的特征及其在物理空间中的位置计算用于产生虚拟触觉的合成超声场信息方法是，将虚拟图像的边缘映射为超声场的边界，根据虚拟图像所对应物体的模量分布，获取声场的声压分布；根据所采用相控阵201中发射单元的总数m×n，确定声场控制点的个数(不大于m×n)及控制点分布位置。控制点分布可选用等间距采样或强度加权采样。
进一步的，根据目标声场特性以及全透明超声相控阵201相对位置，获取各声源的幅值和相位参数时，本发明考虑了用户手势操作的散射效应对目标声场的影响，通过模式识别获得了控制点的密度函数和声压值，然后在非自由空间计入散射体的传递函数基础上，应用逆滤波得到相控阵各阵元对应的声源参数，从而使合成声场产生更贴近预期的触觉感受。
如图6所示，透明介电超声换能器单元具有推挽式结构，包括支撑圈401、上固定压环402、下固定压环403、上介电高分子膜404、下介电高分子膜405以及环形凝胶电极406；其中支撑圈401、上固定压环402、下固定压环403均由高透光性亚克力材料制成；支撑圈401内径4cm，外径5cm，高度为3cm；上、下介电高分子膜404和405厚度为0.1mm,并通过上、下固定压环402、403与支撑圈401的过盈配合固定在支撑圈401的上、下表面；内径为2cm，外径为4cm的环形凝胶电极分别粘贴在上介电高分子膜404和下介电高分子膜405的上下表面，上介电高分子膜404和下介电高分子膜405内部无凝胶电极覆盖的区域连接在一起，最终形成推挽式结构；
所述上介电高分子膜404和下介电高分子膜405优先采用具有高透光性的丙烯酸酯基高分子聚合物；
所述环形凝胶电极406可采用较低聚合度、低模量加有氯化锂的聚丙烯酰胺水凝胶或透明离子凝胶。
所述透明介电超声换能器单元采用推挽式输出的工作方式，正弦激励信号的正半周期加载于上介电高分子膜404，从而在上介电高分子膜404敷有凝胶电极的区域产生沿膜厚度方向的极化电场；介电高分子膜404敷有凝胶电极的区域受到麦克斯韦应力的作用总应力减少，从而导致下介电高分子膜405收缩，上介电高分子膜404扩张，上介电高分子膜404和下介电高分子膜405连接区域向下介电高分子膜405一侧运动；同理正弦激励信号的负半周期加载于下介电高分子膜405时，上介电高分子膜404和下介电高分子膜405连接区域向上介电高分子膜404一侧运动，从而形成周期性震动，产生超声波。
Claims (7)
1.一种带有超声虚拟触觉的混合现实***，其特征在于：包括头戴式光学设备(1)、超声虚拟触觉设备(2)、便携式数据处理终端(3)；所述头戴式光学设备(1)具有安装接口能够与具有高透光性的超声虚拟触觉设备(2)集成；所述便携式数据处理终端(3)采取分立构架，能随身携带于用户的任意位置，通过无线网络与头戴式光学设备(1)和超声虚拟触觉设备(2)相连；
所述头戴式光学设备(1)包括头盔(101)、透明衍射式平显(102)、虚拟图像产生单元(103)、现实场景采集单元(104)及辅助单元(105)；透明衍射式平显(102)、虚拟图像产生单元(103)、现实场景采集单元(104)及辅助单元(105)通过可拆卸接口与头盔(101)相连；
所述超声虚拟触觉设备(2)包括依次相连的全透明超声相控阵(201)、阻抗匹配单元(202)、功率放大单元(203)和驱动单元(204)；全透明超声相控阵(201)的振元数量决定了阻抗匹配单元(202)、功率放大单元(203)、驱动单元(204)中通道的数量；
所述便携式数据处理终端(3)接收头戴式光学设备(1)采集的环境信息，进行图像和声场的数据处理，并将输出的信息发送至头戴式光学设备(1)和超声虚拟触觉设备(2)。
2.根据权利要求1所述的一种带有超声虚拟触觉的混合现实***，其特征在于：所述的头盔(101)作为***中所有部件的机械连接框架，由敷有硅胶外层的工程塑料制成；
所述的透明衍射式平显(102)安装于头盔(101)的正前部，具有平面构型，用户双眼透过其观察外部环境的同时，将虚拟图像产生单元(103)投射的图像发射到用户的视网膜中；
所述的虚拟图像产生单元(103)安装在头盔右侧，其接收便携式数据处理终端(3)发送的虚拟图像数据和现实场景建模数据，充分融合的图像经过数字光处理后投射到透明衍射式平显(102)上，用户从而在视觉上感受到混合现实环境；
所述现实场景采集单元(104)包括安装于头盔(101)前部的双目摄像头、数据采集模块、存储模块和头盔(101)四周的姿态传感器；双目摄像头和数据采集模块用于实时采集外部真实景象，姿态传感器用于获取用户头部在物理空间内的姿态；
所述辅助单元(105)包括为头戴式光学设备(1)中所有单元供电的电源模块，实现头戴式光学设备(1)中所有单元通讯的总线，实现头戴式光学设备(1)、超声虚拟触觉设备(2)和便携式数据处理终端(3)间信息传递的无线模块。
3.根据权利要求1所述的一种带有超声虚拟触觉的混合现实***，其特征在于：所述全透明超声相控阵(201)是由m行n列的透明介电超声换能器单元组成的矩形阵列，各透明介电超声换能器单元之间无间隔连接；全透明超声相控阵(201)的几何尺寸与透明衍射式平显(102)相同，并堆叠于透明衍射式平显(102)的前方；工作时各透明介电超声换能器单元输出具有***设定幅值和相位参数的超声信号，在目标位置合成声场；
所述的阻抗匹配单元(202)共有m×n个通道，每个通道实时采样电路中的电流和电压，并分析负载的阻抗特性，从而对阻抗匹配网络进行调整，保证作为负载的透明介电超声换能器单元处于最优工作状态；
所述的功率放大单元(203)共有m×n个通道，每个通道将驱动单元(204)中对应通道输出的信号进行放大，并输出给阻抗匹配单元(202)中的对应通道；
所述的驱动单元(204)共有m×n个通道，每个通道根据便携式数据处理终端(3)发送的参数，输出正弦电信号给功率放大单元(203)的相应通道。
4.根据权利要求3所述的一种带有超声虚拟触觉的混合现实***，其特征在于：所述的透明介电超声换能器单元具有推挽式结构，包括支撑圈(401)、上固定压环(402)、下固定压环(403)、上介电高分子膜(404)、下介电高分子膜(405)以及环形凝胶电极(406)；其中支撑圈(401)、上固定压环(402)、下固定压环(403)均由高透光性亚克力材料制成；支撑圈(401)内径4cm，外径5cm，高度为3cm；上介电高分子膜(404)和下介电高分子膜(405)厚度为0.1mm，并通过上固定压环(402)、下固定压环(403)与支撑圈(401)的过盈配合固定在支撑圈(401)的上、下表面；内径为2cm，外径为4cm的环形凝胶电极分别粘贴在上介电高分子膜(404)和下介电高分子膜(405)的上下表面，上介电高分子膜(404)和下介电高分子膜(405)内部无凝胶电极覆盖的区域连接在一起，最终形成推挽式结构；
所述的上介电高分子膜(404)和下介电高分子膜(405)采用具有高透光性的丙烯酸酯基高分子聚合物；
所述的环形凝胶电极(406)采用低聚合度、低模量加有氯化锂的聚丙烯酰胺水凝胶或透明离子凝胶。
5.根据权利要求4所述的一种带有超声虚拟触觉的混合现实***，其特征在于：所述的透明介电超声换能器单元采用推挽式输出的工作方式，正弦激励信号的正半周期加载于上介电高分子膜(404)，从而在上介电高分子膜(404)敷有凝胶电极的区域产生沿膜厚度方向的极化电场；介电高分子膜(404)敷有凝胶电极的区域受到麦克斯韦应力的作用总应力减少，从而导致下介电高分子膜(405)收缩，上介电高分子膜(404)扩张，上介电高分子膜(404)和下介电高分子膜(405)连接区域向下介电高分子膜(405)一侧运动；同理正弦激励信号的负半周期加载于下介电高分子膜(405)时，上介电高分子膜(404)和下介电高分子膜(405)连接区域向上介电高分子膜(404)一侧运动，从而形成周期性震动，产生超声波。
6.根据权利要求1所述的一种带有超声虚拟触觉的混合现实***，其特征在于：所述的便携式数据处理终端(3)通过无线网络接收现实场景采集单元(104)采集的环境信息图像和用户头部在物理空间内的姿态信息，采用基于立体视觉的三维重建方法对真实环境进行建模，从而得到用户在真实环境的3D空间计算机模型和头部位置姿态，同时根据用户的选择提取存储好的虚拟图像数据，并将虚拟图像与真实环境建模数据充分融合发送给头戴式光学设备(1)中虚拟图像产生单元(103)；然后根据虚拟图像的特征及其在物理空间中的位置计算出用于产生虚拟触觉的合成超声场；进而根据全透明超声相控阵(201)与目标声场的相对位置，计算出各声源的幅值和相位参数以及对应介电超声换能器单元的驱动参数；最后将整个全透明超声相控阵(201)的工作参数发送至超声虚拟触觉设备(2)中的驱动单元(204)。
7.根据权利要求6所述的一种带有超声虚拟触觉的混合现实***，其特征在于：根据目标声场特性以及全透明超声相控阵(201)相对位置，获取各声源的幅值和相位参数时，考虑了用户手势操作的散射效应对目标声场的影响，通过模式识别获得了控制点的密度函数和声压值，然后在非自由空间计入散射体的传递函数基础上，应用逆滤波得到相控阵各阵元对应的声源参数，从而使合成声场产生更贴近预期的触觉感受。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711211889.8A CN107908000B (zh) | 2017-11-27 | 2017-11-27 | 一种带有超声虚拟触觉的混合现实*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711211889.8A CN107908000B (zh) | 2017-11-27 | 2017-11-27 | 一种带有超声虚拟触觉的混合现实*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107908000A CN107908000A (zh) | 2018-04-13 |
| CN107908000B true CN107908000B (zh) | 2019-05-21 |
Family
ID=61848000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711211889.8A Expired - Fee Related CN107908000B (zh) | 2017-11-27 | 2017-11-27 | 一种带有超声虚拟触觉的混合现实*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107908000B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IT202000030749A1 (it) * | 2020-12-15 | 2022-06-15 | Thegg Domotica S R L | Metodo co-creativo e dispositivo haptico per la materioteca dinamica |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108563359B (zh) * | 2018-04-17 | 2021-05-25 | 中芯集成电路（宁波）有限公司 | 相控阵触控模组及触控设备 |
| WO2020072034A1 (en) * | 2018-10-01 | 2020-04-09 | Leia Inc. | Holographic reality system, multiview display, and method |
| FR3092680B1 (fr) * | 2019-02-08 | 2021-05-28 | Commissariat Energie Atomique | Dispositif de réalité virtuelle, augmentée ou mixte |
| CN109883743B (zh) * | 2019-02-21 | 2020-06-02 | 珠海格力电器股份有限公司 | 基于混合现实的电器测试方法和装置 |
| CN115079423A (zh) * | 2022-08-19 | 2022-09-20 | 歌尔股份有限公司 | 智能眼镜及其超声波触觉反馈方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101059717A (zh) * | 2006-04-21 | 2007-10-24 | 佳能株式会社 | 呈现从虚拟对象接收的触觉的信息处理方法和设备 |
| CN106291930A (zh) * | 2015-06-24 | 2017-01-04 | 联发科技股份有限公司 | 头戴式显示器 |
| CN107066096A (zh) * | 2017-04-10 | 2017-08-18 | 苏春 | 一种基于超声相控阵的触觉感知装置及方法 |
| US10088328B1 (en) * | 2016-01-05 | 2018-10-02 | Open Invention Network Llc | Navigation application providing supplemental navigation information |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2902550A1 (en) * | 2013-02-26 | 2014-09-04 | Butterfly Network, Inc. | Transmissive imaging and related apparatus and methods |
-
2017
- 2017-11-27 CN CN201711211889.8A patent/CN107908000B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101059717A (zh) * | 2006-04-21 | 2007-10-24 | 佳能株式会社 | 呈现从虚拟对象接收的触觉的信息处理方法和设备 |
| CN106291930A (zh) * | 2015-06-24 | 2017-01-04 | 联发科技股份有限公司 | 头戴式显示器 |
| US10088328B1 (en) * | 2016-01-05 | 2018-10-02 | Open Invention Network Llc | Navigation application providing supplemental navigation information |
| CN107066096A (zh) * | 2017-04-10 | 2017-08-18 | 苏春 | 一种基于超声相控阵的触觉感知装置及方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IT202000030749A1 (it) * | 2020-12-15 | 2022-06-15 | Thegg Domotica S R L | Metodo co-creativo e dispositivo haptico per la materioteca dinamica |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107908000A (zh) | 2018-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107908000B (zh) | 一种带有超声虚拟触觉的混合现实*** | |
| TWI581173B (zh) | 用以擴增實境及虛擬實境之目鏡系統及使用該系統之方法 | |
| CN101266546A (zh) | 一种实现操作***三维显示的方法和一种三维操作*** | |
| CN106502393B (zh) | 一种面向触摸屏的手指外骨架可穿戴式力触觉交互装置 | |
| CN111292427B (zh) | 骨骼位移信息获取方法、装置、设备及存储介质 | |
| WO2022012194A1 (zh) | 交互方法、装置、显示设备和存储介质 | |
| CN106128201B (zh) | 一种沉浸式视觉和离散力控制任务结合的注意力训练*** | |
| CN109343716A (zh) | 一种图像显示方法及装置、计算机可读存储介质 | |
| CN110147161A (zh) | 基于超声波相控阵的多指绳索力触觉反馈装置及其反馈方法 | |
| CN110515459A (zh) | 一种辅助盲人感知的超声波触觉反馈***及其方法 | |
| Xia | New advances for haptic rendering: state of the art | |
| CN102184342B (zh) | 一种虚实融合的手功能康复训练***及方法 | |
| CN107767462B (zh) | 一种非穿戴增强现实全息展示方法及展示*** | |
| Chen et al. | Digital medical education empowered by intelligent fabric space | |
| Colombo et al. | Mixed reality to design lower limb prosthesis | |
| CN106325615B (zh) | 一种电子设备及信息处理方法 | |
| CN111796717A (zh) | 柔性触觉反馈电子设备及触觉反馈方法 | |
| Mihelj et al. | Introduction to virtual reality | |
| Wei et al. | Conformal human–machine integration using highly bending-insensitive, unpixelated, and waterproof epidermal electronics toward metaverse | |
| CN106066689B (zh) | 基于ar或vr***的人机交互方法和装置 | |
| US20150022443A1 (en) | Process and Apparatus for Haptic Interaction with Visually Presented Data | |
| CN108536280B (zh) | 一种应用指垫的静电力和振动融合触觉再现装置及方法 | |
| CN104820492A (zh) | 一种三维触觉*** | |
| CN104510568A (zh) | 利用虚拟现实技术实现盲人可视化的方法 | |
| CN210109870U (zh) | 一种基于ar的模型重构*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190521 |