CN110070777B - 一种赫哲族鱼皮画仿真培训***及实现方法 - Google Patents
一种赫哲族鱼皮画仿真培训***及实现方法 Download PDFInfo
- Publication number
- CN110070777B CN110070777B CN201910511298.5A CN201910511298A CN110070777B CN 110070777 B CN110070777 B CN 110070777B CN 201910511298 A CN201910511298 A CN 201910511298A CN 110070777 B CN110070777 B CN 110070777B
- Authority
- CN
- China
- Prior art keywords
- virtual
- motion sensor
- fish skin
- leap motion
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 44
- 241000251468 Actinopterygii Species 0.000 title claims abstract description 29
- 238000004088 simulation Methods 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000010422 painting Methods 0.000 title claims abstract description 19
- 230000033001 locomotion Effects 0.000 claims abstract description 58
- 230000002452 interceptive effect Effects 0.000 claims abstract description 17
- 230000003993 interaction Effects 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 10
- 230000009471 action Effects 0.000 claims abstract description 5
- 238000005520 cutting process Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 10
- 238000004519 manufacturing process Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 241000276450 Hucho Species 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000009958 sewing Methods 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 238000009877 rendering Methods 0.000 claims description 2
- 230000002441 reversible effect Effects 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000009469 supplementation Effects 0.000 claims description 2
- 230000001502 supplementing effect Effects 0.000 claims description 2
- 241001154287 Hucho taimen Species 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 12
- 239000000463 material Substances 0.000 abstract description 8
- 210000004247 hand Anatomy 0.000 description 11
- 210000003811 finger Anatomy 0.000 description 9
- 210000005224 forefinger Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000002478 hand joint Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035943 smell Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种赫哲族鱼皮画仿真培训***及实现方法，将虚拟现实技术与手势捕捉技术相结合，通过leap Motion获取高精度手部动作识别用户的操作，并实时映射显示在虚拟现实场景反馈交互结果，旨在解决传统民族技艺鱼皮画传承与培训过程中诸多问题。本申请提供的虚拟现实交互显示***，允许用户通过自己的双手操纵虚拟手在虚拟现实场景下完成培训任务，大大的提高了训练的效率与真实程度，同时***使用的虚拟鱼皮素材不存在获取成本与时间限制等问题。经过测试***便携、可靠有效，可以大大节省培训成本。
Description
技术领域
本发明涉及教育培训和虚拟现实领域，具体涉及一种基于VR头显与leap Motion结合的赫哲族鱼皮画仿真培训***及实现方法。
背景技术
中国黑龙江省的赫哲族与俄罗斯的那乃族原本同宗同源，因历史原因使这个同一族体、同一文化、同一语言族系分属于中俄两国。近年来，由于中国赫哲族的不断汉化和俄罗斯那乃族的不断俄化，其跨界民族的非物质文化遗产已经濒临灭绝。特有的鱼皮衣制作技艺已被列入世界非物质文化遗产，作为一个没有文字的民族，服饰的纹样和图案便代表这个民族的文化精髓和艺术形式。在多元文化的冲击之下，由于文化继承人的流失、传承方式单一等多种原因，民族文化传承面临脱节甚至失传的危机。国内现有研究，大都集中在利用计算机技术展示虚拟文化遗产和传播传统文化方向，着重表现文化的视与听，具有一定局限性。
虚拟现实(VR)技术，是基于计算机图形学的技术，用户操纵输入设备建立虚拟场景和物品，通过输出设备看到、听到、触摸甚至闻到，用户在交互过程中会有很高的沉浸感。在虚拟现实与手势交互融合领域，所展示的环境是完全虚拟的，但通过使用精心设计和构建的虚拟现实***，用户不仅可以感觉到他们是在真实世界中，更能与虚拟世界交互反应，因此虚拟现实培训技术在工业制造、医疗培训、教育等行业内应用较为成熟。
发明内容
本申请提供一种赫哲族鱼皮画仿真培训***及实现方法，将虚拟现实技术与手势捕捉技术相结合，通过leap Motion获取高精度手部动作识别用户的操作，利用虚拟现实融合技术在虚拟现实场景，实时显示反馈交互结果。本申请提供的虚拟现实交互显示***，允许用户通过自己的双手操纵虚拟手在虚拟现实场景下完成培训任务，大大的提高了训练的完整度与真实程度，同时***使用的虚拟鱼皮素材不存在获取成本与时间限制等问题。
为实现上述目的，本申请的技术方案为：一种赫哲族鱼皮画仿真培训***，包括VR交互装置，所述VR交互装置，包括VR交互设备、立体声耳塞、多个***模块，每个***模块均对应有交互式仿真培训***虚拟场景模块；所述VR交互设备包括：虚拟现实头戴式显示器、leap Motion传感器、固定定位装置、计算机工作站，所述虚拟现实头戴式显示器，实现虚拟3D场景的实时展示、反馈结果的渲染达到沉浸式的真实感；leap Motion传感器实现对用户手部运动及关节运动数据的采集；所述固定定位装置，用于固定leap Motion传感器，实现leap Motion传感器与虚拟现实头戴式显示器的连接；所述计算机工作站，获取并分析leapMotion传感器传递的手部运动及关节运动数据，并将处理结果实时映射到虚拟现实头戴式显示器中，实现真实手部动作与虚拟手同步运动，达到所为即所见的效果。
优选地，多个***模块分别为仿真虚拟环境显示***模块、交互手势融合***模块和鱼皮模拟切割***模块。
优选地，所述的leap Motion传感器固定于虚拟现实头戴式显示器的表面中间偏下位置；
优选地，所述的交互式仿真培训***虚拟场景模块提供了学习与操作两个场景，能满足用户对鱼皮画制作过程的基本了解与基本的鱼皮画创作。
本申请还提供一种赫哲族鱼皮画仿真培训***实现方法，具体包括如下步骤：
获取对应所述VR交互设备的培训人员真实世界空间坐标，并变换到***中的虚拟世界坐标，具体包含以下步骤；
步骤1，计算leap Motion传感器的位姿：通过leap Motion传感器获取b1＝[1,0,0]T,b2＝[0,1,0]T,b3＝[0,0,1]T,b4＝[0,0,0]T四个虚拟坐标控制点，任意真实点Pi，表示为4个虚拟控制点的线性组合:
其中，aij为传感器的比例系数，bj为任意点的空间向量；
得到真实控制点在leapMotion传感器坐标系下的坐标集合：
其中向量c为{Pi}坐标集合，系数βi随参数NF变化，NF＝4；
βi＝|||b1-b2||2-||b3-b4||2|；
步骤2，计算leapMotion传感器的位姿的单应性矩阵变换，从实射影平面到射影平面的可逆变换，这种映射用矩阵相乘的方式表示，得到一个位姿估计：
Si＝Pi×W×M，W＝[R|T]
Si是表示二维图像的坐标，W由两部分组成，当前leap Motion传感器内参数矩阵的投影为R，T表示leap Motion传感器参数物理变换，均是3×3矩阵；M为leap Motion传感器相机的内部参数；
步骤3，实现坐标系转化，***引擎中使用的世界坐标系和leap Motion传感器坐标系均为左手坐标系，是使得X正方向为正右方,Y正方向为正上方,Z正方向为正前方，如上述公式得到Si
(xi，yi，zi)可得虚拟世界实际位置如下：
其中f为虚拟相机焦距，hi为虚拟相机到物体主轴的距离；
仿真虚拟环境显示***模块，通过真实环境图像采集，采用3Dmax进行建模并导入Unity3D中，构建真实虚拟场景；
交互手势融合***模块，利用leap Motion传感器获取用户手势动作，设计了四种交互手势(1.单手，拇指端向上和食指向下端，呈捏取状，用于捏取小块物体；2.双手，双手中指、食指与拇指向内捏合，用于双手拿去物体；3.单手，两食指轻合成圆环状，中指由下向上挺出，呈握笔状，用于手握刻刀与场景内物体交互；4.单手，五指张开向下捏合，呈抓取状态，用于手部与场景内物体交互)，实现交互仿真模拟赫哲族鱼皮画制作的全过程，最终将拼接的成果反馈给用户；
鱼皮模拟切割***模块，通过以下步骤实现鱼皮模型分割；
步骤1，首先为虚拟场景中模型添加碰撞器，因为两个对象有“碰撞体”发生碰撞时***才触发碰撞检测，计算碰撞关系；
步骤2，用户通过leapMotion传感器，同步控制虚拟场景中的虚拟工具；
步骤3，获取鱼皮模型的索引点列表、切割点与路径，判别边缘是否与平面相交，公式如下：
步骤4，确定切线的平面，对于三角形的每条边，如果终点跟起点不在一边，求边与平面的交点,需要生成一个新顶点，构造新顶点的线性插值公式如下：
x＝bc+a(1-c)
x是新顶点的位置，a、b为交线两端的点,新顶点被添加顶点索引列表与相邻网格顶点缓冲区中，确保所有部分能访问该顶点；
步骤5，确定切线的平面及相交的点，根据交叉边缘的每一端的顶点对新顶点的位置进行插值；
步骤6，对顶点间的连线进行顶点补充，将切开的剖面顶点进行排序并顺序连接,补面缝合切口，以此构建新的三角网格并缝合切面生成模型；
步骤7，通过虚拟相机投影生成UV填补截面网格；
步骤8，P点在三角形内，(u,v)必须满足条件u≥0,v≥0,u+v≤1，u、v体现了每个顶点对特定区域的权重贡献，(1-u-v)则是第三个权重，只要计算出u和v，则计算出每个顶点对P点的贡献，现在已知P1,P2,P3和P的坐标值，求解u和v，通过如下公式：
px＝(1-u-v)*P1x+u*P2x+v*P3x
py＝(1-u-v)*P1y+u*P2y+v*P3y
步骤9，生成新碰撞体，重复以上切割操作。
本申请还提供了一种赫哲族鱼皮画仿真培训***实施步骤如下：
步骤1，用户通过佩戴虚拟现实头戴式显示器并连接安装leap Motion传感器，直接登录交互式仿真培训***虚拟场景模块；
步骤2，用户姿态可随意变化，保证手部出现在人眼的可见范围即可同步映射驱动虚拟场景中的虚拟手；
步骤3，用户进入学习场景，可随意转换视角，通过控制手势，暂停播放观看学习视频；
步骤4，用户进入训练创作场景，驱动虚拟场景中的虚拟手利用场景中的工具，虚拟刻刀，虚拟剪子等对鱼皮进行艺术创作；
步骤5，用户操作完成后，可以执行保存、重置、退出场景等操作，结束时同时记录训练时间。
本发明的有益效果如下：
一方面，摆脱传统民族技艺培训需要大量实际操作，师徒言传身教等问题，突破了使用过程中时间地点设备耗材的局限，为用户提供了逼真的虚拟场景，对使用者培训学习有充足的帮助。
另一方面，本发明针对赫哲族鱼皮画工艺制作的需求，设计了更真实的场景，通过结合视觉触觉多重感官反馈，实现真实可靠地还原了鱼皮画切割制作的过程，有效的提高了学习的乐趣性和用户体验，加速了鱼皮画的创作，达到了民族文化传承教育目的；
最后，本申请突破了传统民族技艺教学培训的局限，极大地提高了培训过程中效率，对于民族文化教育传承方面具有深远影响。通过更高的沉浸感，用户可以获得更好的体验与训练结果，入手难度低，用户不需要专门的培训只需了解基本操作方法即可使用本***，如儿童、外来游客等均可学习使用，应用场景灵活广泛，其应用对民族文化保护与传承至关重要。在未来终将产生更好的民族文化培训成果，并作为一种民族技艺培训手段发挥更重要的作用。
附图说明
图1是本申请赫哲族鱼皮画仿真培训***及实现方法的框架图；
图2是VR交互设备布置示意图；
图3是本申请设计的常用手势示意图；
图4是本申请***的实施流程图。
具体实施方式
为详尽本发明技术内容、结构特征、所达成目的及功效，以下将结合说明书附图进行详细说明。
如图1所示，本发明将Leap Motion手部运动捕获、计算机图形模块、数据传输与转换、虚拟现实技术集合起来，提出了一种针对赫哲族鱼皮画制作工艺传承与教育培训的新方法。其包括两个部分，人体层和计算机层，人体层即由大脑直接相互作用的感知与操控两部分，对应的计算机层也有输入输出设备与之映射相互作用，利用Unity3D游戏开发引擎，搭建与日常生活息息相关的手部训练场景，用户发生操作时，首先由Leap Motion传感器捕获用户手部21个关节点空间三维位置信息，经过内部微处理器处理传输到电脑主机进行数据处理分析与模式识别，完成对场景中的虚拟手进行同步实时控制。接着利用虚拟现实头戴式显示器来渲染以增加用户训练过程的真实性、沉浸感。
本申请硬件组成部分主要包括：虚拟现实头戴式显示器1、leap Motion传感器2、显示器3、工作站主机4，各设备布置方式如图2所示。
虚拟现实头戴式显示器1，选用HTC Vive即可，并且有SteamVR提供的技术支持，使得设备操作简单易用；leap Motion传感器2；一只手，有29块骨头、29个关节、123根韧带、48条神经和30条动脉。leap Motion传感器2可追踪全部10只手指，精度高达1/100毫米。leapMotion传感器2以超过每秒200帧的速度追踪手部移动，实现对用户手部关节与手势的空间数据采集；工作站主机4，可选用专业工作站或者内存8G显卡4G显存以上的高性能电脑。
如照图3所示，为满足不同鱼皮画制作过程的操作需要，除了基本的点击、旋转等基本手势外，本申请设计了4个手势训练动作包括：数字1手势单手捏取，拇指端向上和食指向下端，呈捏取状，用于捏取小块物体；数字2双手捏合，双手中指、食指与拇指向内捏合，用于双手拿去物体；数字3单手持笔，两食指轻合成圆环状，中指由下向上挺出，呈握笔状，用于手握刻刀与场景内物体交互；数字4单手抓取，五指张开向下捏合，呈抓取状态，用于手部与场景内物体交互。工作站主机4，获取并分析leapMotion传感器传递的手部运动及关节运动数据，并将处理结果实时映射到头部虚拟现实显示器中，实现真实手部动作与虚拟手同步运动，达到所为即所见的效果。
以下结合参照图4对本发明进一步描述：
参照图4为本发明的实施流程图，以下简要叙述虚拟场景内容与主要流程：
S1，***预先加载虚拟场景，包括场景模型和可交互的虚拟工具与鱼皮材料。
S2，用户双手放到Leap Motion传感器正上方或者正前方位置，用户做出手势变化，Leap Motion识别姿势，直到识别并跟踪到用户双手后，用户便可以通过场景中的虚拟手，学习制作过程，并控制操作虚拟工具进行相应创作训练；
S3，用户进入创作阶段，根据当前训练中的文字和语音提示完成任务。LeapMotion检测到用户操纵虚拟手靠近并抓取虚拟鱼皮材料时，虚拟场景中的虚拟手便会拾起虚拟鱼皮，接着移动到工作台上，在Leap Motion检测到手指松开时，虚拟场景中的虚拟手便会将鱼皮材料放置在工作台上；
S4，接着用户操纵虚拟工具可以对鱼皮材料进行切割，镂刻等操作，创作结果可分享给他人学习交流，完成后可可选保存、重置或退出。
以上是本申请的优选实施方式，但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,还可以做出变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (2)
1.一种赫哲族鱼皮画仿真培训***实现方法，其特征在于，包括如下步骤：
步骤1，计算leap Motion传感器的位姿：通过leap Motion传感器获取b1＝[1,0,0]T,b2＝[0,1,0]T,b3＝[0,0,1]T,b4＝[0,0,0]T四个虚拟坐标控制点，任意真实点Pi，表示为4个虚拟控制点的线性组合:
其中，aij为传感器的比例系数，bj为任意点的空间向量；
得到真实控制点在leap Motion传感器坐标系下的坐标集合：
其中向量c为{Pi}坐标集合，系数βi随参数NF变化，NF＝4；βi＝|||b1-b2||2-||b3-b4||2|；
步骤2，计算leap Motion传感器的位姿的单应性矩阵变换，从实射影平面到射影平面的可逆变换，这种映射用矩阵相乘的方式表示，得到一个位姿估计：
Si＝Pi×W×M，W＝[R|T]
Si是表示二维图像的坐标，W由两部分组成，当前leap Motion传感器内参数矩阵的投影为R，T表示leap Motion传感器参数物理变换，均是3×3矩阵；M为leap Motion传感器相机的内部参数；
步骤3，实现坐标系转化，***引擎中使用的世界坐标系和leap Motion传感器坐标系均为左手坐标系，是使得X正方向为正右方,Y 正方向为正上方,Z正方向为正前方，如上述公式得到Si(xi，yi，zi)可得虚拟世界实际位置如下：
其中f为虚拟相机焦距，hi为虚拟相机到物体主轴的距离；
仿真虚拟环境显示***模块，通过真实环境图像采集，采用3Dmax进行建模并导入Unity3D中，构建真实虚拟场景；
交互手势融合***模块，利用leap Motion传感器获取用户手势动作，设计了四种交互手势，实现交互仿真模拟赫哲族鱼皮画制作的全过程，最终将拼接的成果反馈给用户；
鱼皮模拟切割***模块，实现鱼皮模型分割，通过以下步骤实现：
步骤1，首先为虚拟场景中模型添加碰撞器，因为两个对象有“碰撞体”发生碰撞时***才触发碰撞检测，计算碰撞关系；
步骤2，用户通过leap Motion传感器，同步控制虚拟场景中的虚拟工具；
步骤3，获取鱼皮模型的索引点列表、切割点与路径，判别边缘是否与平面相交，公式如下：
步骤4，确定切线的平面，对于三角形的每条边，如果终点跟起点不在一边，求边与平面的交点,需要生成一个新顶点，构造新顶点的线性插值公式如下：
x＝bc+a(1-c)
x是新顶点的位置，a、b为交线两端的点,新顶点被添加顶点索引列表与相邻网格顶点缓冲区中，确保所有部分能访问该顶点；
步骤5，确定切线的平面及相交的点，根据交叉边缘的每一端的顶点对新顶点的位置进行插值；
步骤6，对顶点间的连线进行顶点补充，将切开的剖面顶点进行排序并顺序连接,补面缝合切口，以此构建新的三角网格并缝合切面生成模型；
步骤7，通过虚拟相机投影生成UV填补截面网格；
步骤8，P点在三角形内，(u,v)必须满足条件u≥0,v≥0,u+v≤1，u、v体现了每个顶点对特定区域的权重贡献，(1-u-v)则是第三个权重，只要计算出u和v，则计算出每个顶点对P点的贡献，现在已知P1,P2,P3和P的坐标值，求解u和v，通过如下公式：
px＝(1-u-v)*P1x+u*P2x+v*P3x
py＝(1-u-v)*P1y+u*P2y+v*P3y
步骤9，生成新碰撞体，重复以上切割操作；
赫哲族鱼皮画仿真培训***包括VR交互装置，所述VR交互装置，包括VR交互设备、立体声耳塞、多个***模块，每个***模块均对应有交互式仿真培训***虚拟场景模块；所述VR交互设备包括：虚拟现实头戴式显示器、leap Motion传感器、固定定位装置、计算机工作站，所述虚拟现实头戴式显示器，实现虚拟3D场景的实时展示、反馈结果的渲染达到沉浸式的真实感；leap Motion传感器实现对用户手部运动及关节运动数据的采集；所述固定定位装置，用于固定leap Motion传感器，实现leap Motion传感器与虚拟现实头戴式显示器的连接；所述计算机工作站，获取并分析leap Motion传感器传递的手部运动及关节运动数据，并将处理结果实时映射到虚拟现实头戴式显示器中，实现真实手部动作与虚拟手同步运动，达到所为即所见的效果。
2.根据权利要求1所述一种赫哲族鱼皮画仿真培训***实现方法，其特征在于，所述多个***模块分别为仿真虚拟环境显示***模块、交互手势融合***模块和鱼皮模拟切割***模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910511298.5A CN110070777B (zh) | 2019-06-13 | 2019-06-13 | 一种赫哲族鱼皮画仿真培训***及实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910511298.5A CN110070777B (zh) | 2019-06-13 | 2019-06-13 | 一种赫哲族鱼皮画仿真培训***及实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110070777A CN110070777A (zh) | 2019-07-30 |
| CN110070777B true CN110070777B (zh) | 2021-07-09 |
Family
ID=67372788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910511298.5A Active CN110070777B (zh) | 2019-06-13 | 2019-06-13 | 一种赫哲族鱼皮画仿真培训***及实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110070777B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1530760A (zh) * | 2002-09-26 | 2004-09-22 | ��ʿ��Ƭ��ʽ���� | 图像形成方法及图像形成仪器，电子照相图像接收纸和电子照相印刷品 |
| US8531483B1 (en) * | 1999-04-06 | 2013-09-10 | Rodica Schileru | Method and system for providing virtual tour of a shopping mall via electronic maps |
| CN103325146A (zh) * | 2013-06-28 | 2013-09-25 | 北京航空航天大学 | 一种基于人体截面环数据的衣物面片三维映射方法 |
| CN105303605A (zh) * | 2015-10-26 | 2016-02-03 | 哈尔滨理工大学 | 一种基于力反馈的骨外科手术仿真*** |
| CN105518575A (zh) * | 2013-08-05 | 2016-04-20 | 微软技术许可有限责任公司 | 与自然用户界面的双手交互 |
| CN106406875A (zh) * | 2016-09-09 | 2017-02-15 | 华南理工大学 | 基于自然手势的虚拟数字雕塑方法 |
| CN107636585A (zh) * | 2014-09-18 | 2018-01-26 | 谷歌有限责任公司 | 通过在虚拟现实环境内部绘图而进行的三维时尚对象的产生 |
| CN108182728A (zh) * | 2018-01-19 | 2018-06-19 | 武汉理工大学 | 一种基于Leap Motion的在线体感三维建模方法及*** |
| CN109192272A (zh) * | 2018-11-26 | 2019-01-11 | 燕山大学 | 基于Leap Motion与VR相结合的手功能康复训练***及其实现方法 |
| CN109215117A (zh) * | 2018-09-12 | 2019-01-15 | 北京航空航天大学青岛研究院 | 基于ORB与U-net的花卉三维重建方法 |
| CN109243614A (zh) * | 2018-09-11 | 2019-01-18 | 深圳先进技术研究院 | 一种手术仿真方法、装置和*** |
| CN109395375A (zh) * | 2018-09-18 | 2019-03-01 | 华南理工大学 | 一种基于增强现实与移动交互的三维游戏接口设计方法 |
| CN109584348A (zh) * | 2018-10-29 | 2019-04-05 | 天津大学 | 一种基于虚拟现实技术的秦俑虚拟彩绘***的设计方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2610546B2 (ja) * | 1991-01-25 | 1997-05-14 | 株式会社小糸製作所 | 車輌用前照灯の反射鏡 |
| JP3632705B2 (ja) * | 1994-08-31 | 2005-03-23 | ソニー株式会社 | 対話型画像提供方法、サーバ装置、提供方法、ユーザ端末、受信方法、画像提供システム、および画像提供方法 |
| CN1730285A (zh) * | 2005-09-08 | 2006-02-08 | 郭大卫 | 三维立体仿真纸模型及其实现方法 |
| US20090058850A1 (en) * | 2007-09-04 | 2009-03-05 | Wey Fun | System and method for intuitive interactive navigational control in virtual environments |
| CN102142055A (zh) * | 2011-04-07 | 2011-08-03 | 上海大学 | 基于增强现实交互技术的真三维设计方法 |
| CN106126794B (zh) * | 2016-06-17 | 2019-07-05 | 北京航空航天大学 | 一种三角网格曲面下切割面动态调整的射线寻迹方法 |
| CN106226817B (zh) * | 2016-09-12 | 2018-02-23 | 电子科技大学 | 基于连续平行坐标的多属性地震数据可视化方法 |
| CN107085862B (zh) * | 2017-05-19 | 2019-11-08 | 东华大学 | 一种三维虚拟服装的立体剪裁方法 |
-
2019
- 2019-06-13 CN CN201910511298.5A patent/CN110070777B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8531483B1 (en) * | 1999-04-06 | 2013-09-10 | Rodica Schileru | Method and system for providing virtual tour of a shopping mall via electronic maps |
| CN1530760A (zh) * | 2002-09-26 | 2004-09-22 | ��ʿ��Ƭ��ʽ���� | 图像形成方法及图像形成仪器，电子照相图像接收纸和电子照相印刷品 |
| CN103325146A (zh) * | 2013-06-28 | 2013-09-25 | 北京航空航天大学 | 一种基于人体截面环数据的衣物面片三维映射方法 |
| CN105518575A (zh) * | 2013-08-05 | 2016-04-20 | 微软技术许可有限责任公司 | 与自然用户界面的双手交互 |
| CN107636585A (zh) * | 2014-09-18 | 2018-01-26 | 谷歌有限责任公司 | 通过在虚拟现实环境内部绘图而进行的三维时尚对象的产生 |
| CN105303605A (zh) * | 2015-10-26 | 2016-02-03 | 哈尔滨理工大学 | 一种基于力反馈的骨外科手术仿真*** |
| CN106406875A (zh) * | 2016-09-09 | 2017-02-15 | 华南理工大学 | 基于自然手势的虚拟数字雕塑方法 |
| CN108182728A (zh) * | 2018-01-19 | 2018-06-19 | 武汉理工大学 | 一种基于Leap Motion的在线体感三维建模方法及*** |
| CN109243614A (zh) * | 2018-09-11 | 2019-01-18 | 深圳先进技术研究院 | 一种手术仿真方法、装置和*** |
| CN109215117A (zh) * | 2018-09-12 | 2019-01-15 | 北京航空航天大学青岛研究院 | 基于ORB与U-net的花卉三维重建方法 |
| CN109395375A (zh) * | 2018-09-18 | 2019-03-01 | 华南理工大学 | 一种基于增强现实与移动交互的三维游戏接口设计方法 |
| CN109584348A (zh) * | 2018-10-29 | 2019-04-05 | 天津大学 | 一种基于虚拟现实技术的秦俑虚拟彩绘***的设计方法 |
| CN109192272A (zh) * | 2018-11-26 | 2019-01-11 | 燕山大学 | 基于Leap Motion与VR相结合的手功能康复训练***及其实现方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于Leap Motion和Unity3D的虚拟沙画手势识别及交互;宁亚楠，杨晓文，韩燮;《计算机工程与应用》;20171231;第202-206页 * |
| 基于Leap Motion小鼠卵巢切割模拟算法;李浩，杨猛，胡杰，焦昊，翟莹，郄薇，杨刚;《***仿真学报》;20160930(第 9 期);第2207-2213页 * |
| 基于单目视觉的非合作目标姿态测量研究;牛皓;《中国优秀硕士学位论文全文数据库信息科技辑》;20150228;第6-25页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110070777A (zh) | 2019-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| de Klerk et al. | Usability studies on building early stage architectural models in virtual reality | |
| Ueda et al. | A hand-pose estimation for vision-based human interfaces | |
| CN107728792B (zh) | 一种基于手势识别的增强现实三维绘图***及绘图方法 | |
| US11144112B2 (en) | Systems and methods for creating haptic proxies for use in virtual reality | |
| WO2019041900A1 (zh) | 增强现实环境中识别装配操作、模拟装配的方法和装置 | |
| CN106485973A (zh) | 基于虚拟现实技术的电力技能培训平台 | |
| CN110310541A (zh) | 一种空天地海一体化舰船通信网络虚拟仿真与实验教学平台 | |
| CN106293099A (zh) | 手势识别方法及*** | |
| CN113506377A (zh) | 一种基于虚拟漫游技术的教学培训方法 | |
| Tang et al. | Learning to create 3D models via an augmented reality smartphone interface | |
| Su et al. | Development of an effective 3D VR-based manipulation system for industrial robot manipulators | |
| CN106066690A (zh) | 基于体感技术的模拟插秧方法和装置 | |
| Valentini | Natural interface in augmented reality interactive simulations: This paper demonstrates that the use of a depth sensing camera that helps generate a three-dimensional scene and track user's motion could enhance the realism of the interactions between virtual and physical objects | |
| CN110070777B (zh) | 一种赫哲族鱼皮画仿真培训***及实现方法 | |
| Young et al. | A novel teaching and training system for industrial applications based on augmented reality | |
| Arora et al. | Introduction to 3d sketching | |
| CN107738256A (zh) | 一种手把手仿人示教机器人编程*** | |
| Kirakosian et al. | Immersive simulation and training of person-to-3d character dance in real-time | |
| Ha et al. | Automatic control of virtual mirrors for precise 3D manipulation in VR | |
| Kavakli et al. | Virtual hand: an interface for interactive sketching in virtual reality | |
| Murnane et al. | Learning from human-robot interactions in modeled scenes | |
| WO2024077518A1 (zh) | 基于增强现实的界面显示方法、装置、设备、介质和产品 | |
| Liu et al. | Virtual Flower Visualization System Based on Somatosensory Interaction | |
| Hasegawa et al. | Real-time synthesis of a humanlike agent in response to the user's moving image | |
| Patil | Overlaying virtual object into real world by using augmented reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |