CN107340853B - 一种基于虚拟现实与手势识别的远程呈现交互方法和*** - Google Patents

一种基于虚拟现实与手势识别的远程呈现交互方法和*** Download PDF

Info

Publication number
CN107340853B
CN107340853B CN201611025123.6A CN201611025123A CN107340853B CN 107340853 B CN107340853 B CN 107340853B CN 201611025123 A CN201611025123 A CN 201611025123A CN 107340853 B CN107340853 B CN 107340853B
Authority
CN
China
Prior art keywords
remote
user
space
local space
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201611025123.6A
Other languages
English (en)
Other versions
CN107340853A (zh
Inventor
裴明涛
李佩霖
梁玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201611025123.6A priority Critical patent/CN107340853B/zh
Publication of CN107340853A publication Critical patent/CN107340853A/zh
Application granted granted Critical
Publication of CN107340853B publication Critical patent/CN107340853B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明一种基于虚拟现实与手势识别的远程呈现交互方法和***,属于人机交互技术领域。***包括本地空间中的装备双目摄像头的远程呈现机器人和远程可交互装置，远程空间中的由VR眼镜、智能手机和双目摄像头组成的交互式VR眼镜，连接本地空间和远程空间的无线网络以及计算服务器。远程呈现机器人获取本地空间的两路实时视频图像，通过无线网络传送到远程空间中用户的智能手机上并分屏显示；用户通过VR眼镜和智能手机可以以虚拟现实的方式感知本地空间；远程空间中交互式VR眼镜上的双目摄像头获取用户的手势数据，根据用户手的位置以及具体手势与本地空间中的远程可交互装置进行交互。可以使用户获得真正的身临其境的感受和交互体验。

Description

一种基于虚拟现实与手势识别的远程呈现交互方法和***
技术领域
本发明涉及一种基于虚拟现实技术和手势识别技术的远程呈现交互方式的设计，尤其涉及一种基于虚拟现实与手势识别的远程呈现交互方法和***，属于人机交互技术领域。
背景技术
目前，出现了很多远程交互方式和***，例如视频会议、远程操作机器人以及远程呈现机器人等。这些***多采用传统的远程交互方式，即用户在远程空间中的用户界面上通过键盘、鼠标、操作杆以及图形界面来与本地空间进行交互。这些***通常是为特定的任务设计并且需要经过训练的操作员进行操作。
随着触屏技术的发展，一些远程交互***也采用平板电脑、智能手机以及其他移动装置作为交互设备，在现场视频图像上叠加图形用户界面，通过点击图形用户界面上的虚拟按钮来进行交互操作。此外还出现了基于可触摸现场实时视频图像的用户界面，通过远程呈现机器人获取本地空间现场实时视频图像，用户在远程空间通过可触摸现场实时视频图像的用户界面,直接触摸本地空间的现场实时视频图像，实现与本地空间中物体和环境的交互。
虚拟现实技术的发展，使得更加真实和具有现场感的交互方式成为可能。在一些虚拟现实***中，用户可以通过自然的手势与虚拟现实场景进行交互，但是还不能与真实的场景进行交互。
为实现更加具有沉浸感的远程呈现，我们致力于提出一种基于虚拟现实技术和手势识别技术的远程呈现交互方法和***。
发明内容
本发明的目的在于克服目前远程交互技术中存在的缺乏沉浸感，交互方式不直观的问题，提出了一种基于虚拟现实技术和手势识别技术的远程呈现交互方法和***。
本发明的核心思想在于：远程呈现机器人通过双目摄像头获取本地空间的两路实时视频图像，通过无线网络传输到远程空间中的用户的智能手机上并分屏显示；远程空间中的用户通过VR眼镜和智能手机可以以虚拟现实的方式感知本地空间，获得真正的身临其境的感受；用户需要与远程机器人交互时，需要将用户手势的实时视频数据传送给计算服务器，再进行手势识别来控制远程呈现机器人；当用户需要与远程可交互装置交互时，需要先识别该装置，建立视野中远程可交互装置的图像与实际远程可交互装置的对应关系，远程空间中交互式VR眼镜上的双目摄像头获取用户的手势数据并识别用户的手势，根据获取的手势数据，在手机屏幕上分屏显示的两路视频图像中，绘制出用户的虚拟手，用户可以通过移动自己的双手来控制虚拟手的移动，通过改变自己的手势来改变虚拟手的手势，从而可以使用虚拟手与本地空间中的远程可交互装置进行远程呈现交互。
一种基于虚拟现实技术和手势识别技术的远程呈现交互方法和***包括一种基于虚拟现实技术和手势识别技术的远程呈现交互方法和一种基于虚拟现实技术和手势识别技术的远程呈现交互***；一种基于虚拟现实技术和手势识别技术的远程呈现交互方法，简称本方法，一种基于虚拟现实技术和手势识别技术的远程呈现交互***，简称本***；
其中，本***包括本地空间、远程空间、连接本地空间与远程空间的无线网络以及计算服务器；其中，计算服务器可位于本地空间，也可以位于远程空间，还可以是任意联网的地点；本地空间中又包含远程呈现机器人和远程可交互装置；远程空间中又包含交互式VR眼镜，交互式VR眼镜又包括VR眼镜、智能手机以及双目摄像头；用户位于远程空间；
远程可交互装置具有三个属性:标识(id)、驱动器(actuator)、无线通讯网络；其中，标识是指独一无二的特征，可用计算机视觉的方法识别；
驱动器是指电机、继电器将电能到机械能或其它能量形式的转化；无线通讯网络包括Wifi；
其中，通过计算机视觉的方法识别远程可交互装置通常是通过提取图像特征进行识别，提取的图像特征包括颜色、纹理、表观和形状；如果上述图像特征相同，即识别外观相同的两个远程可交互装置时，需要识别装置所处的位置以区分这两个装置，或用定位技术获取装置的位置参数；比如，室内有两个窗帘，可以通过定位技术区分不同位置的窗帘，实现不同窗帘的控制；
远程可交互装置是完全独立的，可由用户远程直接控制，该装置的识别主要通过计算机视觉方法实现；
远程呈现机器人也是一种远程可交互装置，由移动底座和机器人头部组成，其中机器人头部装备有双目摄像头；
本***的各组成部分的连接关系如下：
本地空间和远程空间通过无线网络连接；计算服务器与本地空间和远程空间通过无线网络连接；
本***的各组成部分的功能如下：
计算服务器的功能是恢复用户手势及本地空间的三维信息以及进行手势识别；
本地空间中的远程可交互装置的功能是实现远程交互；其中，标识的功能是用于区分和识别装置；驱动器的功能是实现自动控制；无线通信网络的功能是实现远程可交互装置与互联网连接；
本地空间中的远程呈现机器人的功能是在本地空间移动，获取本地空间的实时视频图像；
远程空间中的交互式VR眼镜的功能是在远程空间提供给用户以虚拟现实的方式感知本地空间，并通过手势与本地空间中的远程可交互装置进行交互；
一种基于虚拟现实技术和手势识别技术的远程呈现交互方法，包括如下步骤：
步骤一、现场实时视频图像的获取；
具体为：通过远程呈现机器人在本地空间中移动来获取本地空间的现场实时视频图像，即：机器人头部装备的双目摄像头来获取两路本地空间的现场实时视频图像；
其中，两路本地空间的现场实时视频图像分别由双目摄像头的左方摄像头和右方摄像头拍摄得到；
步骤二、用户以虚拟现实的方式感知本地空间；
具体为：无线网络将步骤一中远程呈现机器人获取的两路现场实时视频图像传送到远程空间的智能手机上，并进行分屏显示，即智能手机的屏幕左方显示远程呈现机器人上的双目摄像头中左方摄像头拍摄的图像，智能手机的屏幕右方显示远程呈现机器人上的双目摄像头中右方摄像头拍摄的图像；远程空间中的用户通过VR眼镜和智能手机就可以以虚拟现实的方式感知本地空间，获得真正的身临其境的感受；
步骤三、根据用户需求决定通过手势与远程呈现机器人还是远程可交互装置进行交互，具体为；
3.A、若用户需求是与远程呈现机器人交互，则具体步骤为：
步骤3.A1通过交互式VR眼镜上的双目摄像头获取用户手势的两路实时视频数据；
步骤3.A2通过无线网络将获取的两路用户手势的实时视频数据发送给计算服务器；
步骤3.A3在计算服务器上利用立体视觉的方法恢复用户手势的三维信息，并进行手势识别；
步骤3.A4根据手势识别的结果来控制远程呈现机器人前进、后退、左转以及右转；
3.B、若用户需求是与远程可交互装置交互，则具体步骤为：
步骤3.B1通过交互式VR眼镜上的双目摄像头获取用户手势的两路实时视频数据；
步骤3.B2通过无线网络将获取的两路实时视频数据发送给计算服务器；
步骤3.B3在计算服务器上利用立体视觉的方法恢复用户手势的三维信息，并进行手势识别；同时远程呈现机器人获取的两路本地空间的视频数据也发送到计算服务器上，同样利用立体视觉的方法恢复本地空间的三维信息；
步骤3.B4在本地空间的三维信息中融入虚拟手的三维信息，并在对应的本地空间的二维图像中绘制出虚拟手；
具体为：通过恢复用户手势的三维信息，可以得到用户的手相对于用户的空间位置，根据用户的手相对于用户的空间位置可以得到虚拟手相对于远程呈现机器人的位置，从而可以在本地空间的三维信息中融入虚拟手的三维信息，并在对应的本地空间的二维图像中绘制出虚拟手；
步骤3.B5用户通过移动自己的双手来控制虚拟手的移动，根据本地空间的三维信息以及虚拟手的位置，判断虚拟手是否碰到了本地空间的远程可交互装置，并在虚拟手碰到本地空间的远程可交互装置时，使用步骤3.B3手势识别的结果来操作远程可交互装置；
至此，通过步骤一到步骤三，完成了一种基于虚拟现实技术和手势识别技术的远程呈现交互方法。
有益效果
本发明一种基于虚拟现实技术和手势识别技术的远程呈现交互方法，与现有技术相比，具有如下有益效果：
(1)本发明通过在远程呈现机器人上装备双目摄像头来获取本地空间的两路现场实时视频图像，通过无线网路传送到远程空间中的用户的手机上并分屏显示，用户可以通过VR眼镜以虚拟现实的方式来感知本地空间，真正给用户身临其境的感受；
(2)用户在远程空间通过交互式VR眼镜，可以通过移动自己的手来移动本地空间二维图像中绘出的虚拟手，来操作本地空间中的远程可交互装置，与现有技术相比，本发明所述方法就像在现场操作一样，更有现场感。
附图说明
图1是本发明一种基于虚拟现实与手势识别的远程呈现交互方法和***中远程呈现交互***组成；
图2是本发明一种基于虚拟现实与手势识别的远程呈现交互方法和***中的远程呈现机器人架构；
图3是本发明一种基于虚拟现实与手势识别的远程呈现交互方法和***交互式VR眼镜结构；
其中，图1远程呈现交互***组成，101是远程呈现机器人所处的本地空间，102是用户所处的远程空间，103和104是无线网络，105是互联网，106是本地空间中的可交互装置，107是远程呈现机器人，108是由VR眼镜，智能手机以及双目摄像头组成的交互式VR眼镜，109是用户，110是计算服务器，计算服务器可放置在本地空间或远程空间，或任何联网的地点；
图2远程呈现机器人架构，201为双目摄像头，202为移动底座；
图3交互式VR眼镜结构，301为智能手机，302为双目摄像头，303为VR眼镜。
具体实施方式
下面结合附图和实施例对本发明做进一步说明和详细描述。
实施例
本实施例详细阐述了本发明一种基于虚拟现实与手势识别的远程呈现交互方法和***在远程陪护情况下具体实施时的情况。
图1是一种基于虚拟现实与手势识别的远程呈现交互方法和***的***组成示意图，其中101是远程呈现机器人所处的本地空间，102是用户所处的远程空间，103和104是无线网络，105是互联网，无线网络与互联网用于连接本地空间合远程空间，106是本地空间中的可交互装置，107是远程呈现机器人，用于在本地空间中移动，获取本地空间的实时视频图像，108是由VR眼镜，智能手机以及双目摄像头组成的交互式VR眼镜，109是用户，110是计算服务器，计算服务器可放置在本地空间或远程空间，或任何联网的地点。
远程呈现机器人由双目摄像头和移动底座组成，如图2所示，其中双目摄像头201用于获取本地空间的两路实时视频图像，移动底座202用于机器人的移动。交互式VR眼镜由VR眼镜、智能手机以及双目摄像头组成，如图3所示，其中智能手机301用于接收双目摄像头201发送的两路视频图像并分屏显示，VR眼镜303与智能手机301一起为用户提供以虚拟现实的方式来感知本地空间，双目摄像头302用于捕获用户的手部数据用于与本地空间中的远程可交互装置进行交互。
用户通过双手做出指定的控制手势，控制远程呈现机器人移动至带有密码锁的房门门口；***自动识别密码锁，并建立密码锁的图像与实际密码锁的对应关系；用户通过VR眼镜看到本地空间中的门禁***密码键面板，就直接伸手(控制虚拟手)去按密码键，通过计算用户的手指的位置，并映射到重建的本地三维空间中，来判断用户按了哪个键。根据密码健图像和远程可交互装置建立的对应关系，可以通过无线网络向该装置的驱动器发送对应的控制指令，使该装置完成相应动作，实现基于手势的远程呈现交互。具体为：当用户输入正确的密码后，可以打开房门；用户通过指定的控制手势，控制远程呈现机器人进入房间，移动至灯的开关前；用户通过VR眼镜看到本地空间中的灯的开关，就直接伸手(控制虚拟手)去按开关，通过计算用户的手指的位置，并映射到重建的本地三维空间中，来判断用户的手指是否靠近开关，当用户的手指距离灯的开关较近时，根据灯的开关图像和远程可交互装置建立的对应关系，可以通过无线网络向该灯的驱动器发送开灯指令，从而可以打开房间中的灯。
以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

Claims (2)

1.一种基于虚拟现实技术和手势识别技术的远程呈现交互方法,其特征在于：包括如下步骤：
步骤一、现场实时视频图像的获取，具体为：通过远程呈现机器人在本地空间中移动来获取本地空间的现场实时视频图像，即：机器人头部装备的双目摄像头来获取两路本地空间的现场实时视频图像；
其中，两路本地空间的现场实时视频图像分别由双目摄像头的左方摄像头和右方摄像头拍摄得到；
步骤二、用户以虚拟现实的方式感知本地空间，具体为：无线网络将步骤一中远程呈现机器人获取的两路现场实时视频图像传送到远程空间的智能手机上，并进行分屏显示，即智能手机的屏幕左方显示远程呈现机器人上的双目摄像头中左方摄像头拍摄的图像，智能手机的屏幕右方显示远程呈现机器人上的双目摄像头中右方摄像头拍摄的图像；远程空间中的用户通过VR眼镜和智能手机就能够以虚拟现实的方式感知本地空间，获得真正的身临其境的感受；
步骤三、根据用户需求决定通过手势与远程呈现机器人还是远程可交互装置进行交互，具体为：
3.A、若用户需求是与远程呈现机器人交互，具体为：
步骤3.A1通过交互式VR眼镜上的双目摄像头获取用户手势的两路实时视频数据；
步骤3.A2通过无线网络将获取的两路用户手势的实时视频数据发送给计算服务器；
步骤3.A3在计算服务器上利用立体视觉的方法恢复用户手势的三维信息，并进行手势识别；
步骤3.A4根据手势识别的结果来控制远程呈现机器人前进、后退、左转以及右转；
3.B、若用户需求是与远程可交互装置交互，具体为：
步骤3.B1通过交互式VR眼镜上的双目摄像头获取用户手势的两路实时视频数据；
步骤3.B2通过无线网络将获取的两路实时视频数据发送给计算服务器；
步骤3.B3在计算服务器上利用立体视觉的方法恢复用户手势的三维信息，并进行手势识别；同时远程呈现机器人获取的两路本地空间的视频数据也发送到计算服务器上，同样利用立体视觉的方法恢复本地空间的三维信息；
步骤3.B4在本地空间的三维信息中融入虚拟手的三维信息，并在对应的本地空间的二维图像中绘制出虚拟手；
具体为：通过恢复用户手势的三维信息，可以得到用户的手相对于用户的空间位置，根据用户的手相对于用户的空间位置可以得到虚拟手相对于远程呈现机器人的位置，从而可以在本地空间的三维信息中融入虚拟手的三维信息，并在对应的本地空间的二维图像中绘制出虚拟手；
步骤3.B5用户通过移动自己的双手来控制虚拟手的移动，根据本地空间的三维信息以及虚拟手的位置，判断虚拟手是否碰到了本地空间的远程可交互装置，并在虚拟手碰到本地空间的远程可交互装置时，使用步骤3.B3手势识别的结果来操作远程可交互装置。
2.如权利要求1所述的一种基于虚拟现实技术和手势识别技术的远程呈现交互方法依托的远程呈现交互***,其特征在于：包括本地空间、远程空间、连接本地空间与远程空间的无线网络以及计算服务器；
其中，计算服务器可位于本地空间，也可以位于远程空间，还可以是任意联网的地点；本地空间中又包含远程呈现机器人和远程可交互装置；远程空间中又包含交互式VR眼镜，交互式VR眼镜又包括VR眼镜、智能手机以及双目摄像头；用户位于远程空间；远程可交互装置具有三个属性:标识、驱动器、无线通讯网络；
其中，标识是指独一无二的特征，可用计算机视觉的方法识别；驱动器是指电机、继电器将电能到机械能或其它能量形式的转化；无线通讯网络包括Wifi；
其中，通过计算机视觉的方法识别远程可交互装置通常是通过提取图像特征进行识别，提取的图像特征包括颜色、纹理、表观和形状；如果上述图像特征相同，即识别外观相同的两个远程可交互装置时，需要识别装置所处的位置以区分这两个装置，或用定位技术获取装置的位置参数；
本***的各组成部分的连接关系如下：
本地空间和远程空间通过无线网络连接；计算服务器与本地空间和远程空间通过无线网络连接；
本***的各组成部分的功能如下：
计算服务器的功能是恢复用户手势及本地空间的三维信息以及进行手势识别；
本地空间中的远程可交互装置的功能是实现远程交互；其中，标识的功能是用于区分和识别装置；驱动器的功能是实现自动控制；无线通信网络的功能是实现远程可交互装置与互联网连接；
本地空间中的远程呈现机器人的功能是在本地空间移动，获取本地空间的实时视频图像；
远程空间中的交互式VR眼镜的功能是在远程空间提供给用户以虚拟现实的方式感知本地空间，并通过手势与本地空间中的远程可交互装置进行交互。
CN201611025123.6A 2016-11-18 2016-11-18 一种基于虚拟现实与手势识别的远程呈现交互方法和*** Expired - Fee Related CN107340853B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611025123.6A CN107340853B (zh) 2016-11-18 2016-11-18 一种基于虚拟现实与手势识别的远程呈现交互方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611025123.6A CN107340853B (zh) 2016-11-18 2016-11-18 一种基于虚拟现实与手势识别的远程呈现交互方法和***

Publications (2)

Publication Number Publication Date
CN107340853A CN107340853A (zh) 2017-11-10
CN107340853B true CN107340853B (zh) 2020-04-14

Family

ID=60222423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611025123.6A Expired - Fee Related CN107340853B (zh) 2016-11-18 2016-11-18 一种基于虚拟现实与手势识别的远程呈现交互方法和***

Country Status (1)

Country Link
CN (1) CN107340853B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108211B (zh) * 2017-11-20 2021-06-25 福建天泉教育科技有限公司 一种在虚拟现实场景中进行远程交互的方法及终端
CN108399799A (zh) * 2018-02-11 2018-08-14 广州特种机电设备检测研究院 一种基于虚拟现实技术的电梯检验培训***及方法
US11366514B2 (en) 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
KR20210073603A (ko) 2018-11-09 2021-06-18 베크만 컬터, 인코포레이티드 선택적 데이터 제공을 갖는 서비스 안경
CN109391802A (zh) * 2018-12-20 2019-02-26 北京伊神华虹***工程技术有限公司 一种实现实时vr功能的方法和装置
WO2020135719A1 (zh) * 2018-12-29 2020-07-02 广东虚拟现实科技有限公司 虚拟内容的交互方法及***
CN109872519A (zh) * 2019-01-13 2019-06-11 上海萃钛智能科技有限公司 一种头戴式遥控装备及其遥控方法
US11983959B2 (en) 2019-04-18 2024-05-14 Beckman Coulter, Inc. Securing data of objects in a laboratory environment
CN110308797A (zh) * 2019-07-09 2019-10-08 西北工业大学 基于体感技术机械臂与虚拟现实技术的水下机器人环境交互***
EP3928192B1 (en) 2019-09-26 2023-10-18 Apple Inc. Wearable electronic device presenting a computer-generated reality environment
CN113661691B (zh) * 2019-09-27 2023-08-08 苹果公司 用于提供扩展现实环境的电子设备、存储介质和方法
CN110955328B (zh) * 2019-10-24 2022-10-04 北京小米移动软件有限公司 电子设备的控制方法、装置及存储介质
CN111438673B (zh) * 2020-03-24 2022-04-22 西安交通大学 基于立体视觉和手势控制的高空作业遥操作方法及***
CN111565307A (zh) * 2020-04-29 2020-08-21 昆明埃舍尔科技有限公司 一种基于mr远程空间同步指导方法和***
CN111716365B (zh) * 2020-06-15 2022-02-15 山东大学 基于自然行走的沉浸式远程交互***及方法
CN112276914B (zh) * 2020-12-28 2021-03-16 佛山冠博机械科技发展有限公司 一种基于ar技术的工业机器人及其人机交互方法
CN113934296B (zh) * 2021-10-11 2024-05-10 北京理工大学 一种基于视觉感知的盲人家电使用交互式辅助***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102699914A (zh) * 2012-05-15 2012-10-03 郑州大学 一种机器人
CN105045398A (zh) * 2015-09-07 2015-11-11 哈尔滨市一舍科技有限公司 一种基于手势识别的虚拟现实交互设备
CN105291138A (zh) * 2015-11-26 2016-02-03 华南理工大学 一种增强虚拟现实浸入感的视觉反馈平台
CN105922262A (zh) * 2016-06-08 2016-09-07 北京行云时空科技有限公司 机器人及其远程控制设备和方法
CN106101687A (zh) * 2016-07-25 2016-11-09 深圳市同盛绿色科技有限公司 Vr图像拍摄装置及其基于移动终端的vr图像拍摄***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6950534B2 (en) * 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US9643314B2 (en) * 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102699914A (zh) * 2012-05-15 2012-10-03 郑州大学 一种机器人
CN105045398A (zh) * 2015-09-07 2015-11-11 哈尔滨市一舍科技有限公司 一种基于手势识别的虚拟现实交互设备
CN105291138A (zh) * 2015-11-26 2016-02-03 华南理工大学 一种增强虚拟现实浸入感的视觉反馈平台
CN105922262A (zh) * 2016-06-08 2016-09-07 北京行云时空科技有限公司 机器人及其远程控制设备和方法
CN106101687A (zh) * 2016-07-25 2016-11-09 深圳市同盛绿色科技有限公司 Vr图像拍摄装置及其基于移动终端的vr图像拍摄***

Also Published As

Publication number Publication date
CN107340853A (zh) 2017-11-10

Similar Documents

Publication Publication Date Title
CN107340853B (zh) 一种基于虚拟现实与手势识别的远程呈现交互方法和***
CN107168537B (zh) 一种协同式增强现实的可穿戴作业指导方法及***
KR101918262B1 (ko) 혼합 현실 서비스 제공 방법 및 시스템
CN105760106B (zh) 一种智能家居设备交互方法和装置
CN104410883B (zh) 一种移动可穿戴非接触式交互***与方法
CN106468917B (zh) 一种可触摸现场实时视频图像的远程呈现交互方法和***
US20130063560A1 (en) Combined stereo camera and stereo display interaction
US20140257532A1 (en) Apparatus for constructing device information for control of smart appliances and method thereof
CN104656893B (zh) 一种信息物理空间的远程交互式操控***及方法
CN107741782B (zh) 一种设备虚拟漫游方法和装置
CN107452119A (zh) 虚拟现实实时导览方法及***
CN108255454B (zh) 一种拼接处理器和拼接处理器的可视化交互方法
CN107817701B (zh) 设备控制方法、装置、计算机可读存储介质及终端
CN104699233A (zh) 一种对屏幕进行操作控制的方法和***
CN106896920B (zh) 虚拟现实***、虚拟现实设备、虚拟现实控制装置及方法
CN103294024A (zh) 智能家居***控制方法
CN102929547A (zh) 智能终端无接触交互方法
JP2021078104A (ja) コンテキスト及びコンテンツを意識した３Ｄ手ジェスチャ視覚化を伴うＷｅｂベースリモートアシスタンスシステムに関するプログラム
WO2019028855A1 (zh) 一种虚拟显示装置、智能交互方法和云端服务器
CN109839827B (zh) 一种基于全空间位置信息的手势识别智能家居控制***
KR20150097049A (ko) 네추럴 ｕｉ를 이용한 자율서빙 로봇 시스템
CN105786361A (zh) 一种3d车载终端人机交互***
US20210245368A1 (en) Method for virtual interaction, physical robot, display terminal and system
CN114281190A (zh) 一种信息控制方法、装置、***、设备和存储介质
CN112099681B (zh) 基于三维场景应用的交互方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200414

Termination date: 20201118