CN107066082B - 显示方法和装置 - Google Patents

显示方法和装置 Download PDF

Info

Publication number
CN107066082B
CN107066082B CN201611254677.3A CN201611254677A CN107066082B CN 107066082 B CN107066082 B CN 107066082B CN 201611254677 A CN201611254677 A CN 201611254677A CN 107066082 B CN107066082 B CN 107066082B
Authority
CN
China
Prior art keywords
experiment
image
mentioned
target
laboratory apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611254677.3A
Other languages
English (en)
Other versions
CN107066082A (zh
Inventor
吴中勤
乔慧
李颖超
应倩
赵晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201611254677.3A priority Critical patent/CN107066082B/zh
Priority to US15/619,177 priority patent/US10497276B2/en
Publication of CN107066082A publication Critical patent/CN107066082A/zh
Application granted granted Critical
Publication of CN107066082B publication Critical patent/CN107066082B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)

Abstract

本申请公开了显示方法和装置。上述方法的一具体实施方式包括：获取实验环境图像；以增强现实方式在上述实验仪器图像上呈现指示在进行上述目标实验时实验仪器所处于的实验用状态的状态图像；响应于检测到用户的手势操作，基于上述手势操作与上述目标实验的实验操作的对应关系，确定上述实验操作的实验效果信息，其中，上述实验效果信息包括实验效果图像；以增强现实方式在已呈现上述状态图像的实验环境图像中呈现上述实验效果图像。该实施方式可以在现实环境图像上叠加虚拟的状态图像和实验效果图像，提高了显示的逼真程度。

Description

显示方法和装置
技术领域
本申请涉及计算机技术领域，具体涉及增强现实技术领域，尤其涉及显示方法和装置。
背景技术
在化学、生物、医疗、机械、汽修等专业领域，具有非常多的实验课程。实验课程的开设不仅需要准备昂贵的实验器材，而且如果出现操作失误则存在一定的危险。
然而，现有技术中可以给用户观看拍摄实验过程视频，以形成用户对实验的印象，对实验训练以播放实验视频的方式，存在着显示的逼真度低的问题。
发明内容
本申请的目的在于提出一种改进的显示方法和装置，来解决以上背景技术部分提到的技术问题。
第一方面，本申请提供了一种显示方法，上述方法包括：获取实验环境图像，其中，上述实验环境图像包括用于完成目标实验的实验仪器的实验仪器图像；以增强现实方式在上述实验仪器图像上呈现指示在进行上述目标实验时实验仪器所处于的实验用状态的状态图像；响应于检测到用户的手势操作，基于上述手势操作与上述目标实验的实验操作的对应关系，确定上述实验操作的实验效果信息，其中，上述实验效果信息包括实验效果图像；以增强现实方式在已呈现上述状态图像的实验环境图像中呈现上述实验效果图像。
在一些实施例中，上述实验效果信息包括声音效果信息；以及上述方法还包括：播放上述声音效果信息所指示的声音。
在一些实施例中，上述实验仪器图像包括用于承载上述目标实验所需的实验材料的实验仪器的图像；以及上述方法还包括：以增强现实方式在上述目标实验所需的实验仪器的实验仪器图像上呈现目标实验所需的实验材料的实验材料图像。
在一些实施例中，上述方法还包括：显示实验操作提示信息，以供上述用户根据上述实验操作提示信息进行实验操作。
在一些实施例中，上述方法还包括：获取用户选中的实验标识；将上述实验标识所指示的实验作为目标实验。
第二方面，本申请提供了一种显示装置，其特征在于，上述装置包括：获取单元，用于获取实验环境图像，其中，上述实验环境图像包括用于完成目标实验的实验仪器的实验仪器图像；第一呈现单元，用于以增强现实方式在上述实验仪器图像上呈现指示在进行上述目标实验时实验仪器所处于的实验用状态的状态图像；确定单元，用于响应于检测到用户的手势操作，基于上述手势操作与上述目标实验的实验操作的对应关系，确定上述实验操作的实验效果信息，其中，上述实验效果信息包括实验效果图像；第一显示单元，用于以增强现实方式在已呈现上述状态图像的实验环境图像中呈现上述实验效果图像。
在一些实施例中，上述实验效果信息包括声音效果信息；以及上述装置还包括：播放单元，用于播放上述声音效果信息所指示的声音。
在一些实施例中，上述实验仪器图像包括用于承载上述目标实验所需的实验材料的实验仪器的图像；以及上述装置还包括：第二呈现单元，以增强现实方式在上述目标实验所需的实验仪器的实验仪器图像上呈现目标实验所需的实验材料的实验材料图像。
在一些实施例中，上述装置还包括：第二显示单元，用于显示实验操作提示信息，以供上述用户根据上述实验操作提示信息进行实验操作。
在一些实施例中，上述装置还包括：实验标识获取单元，获取用户选中的实验标识；目标实验确定单元，将上述实验标识所指示的实验作为目标实验。
本申请提供的显示方法和装置，通过获取实验环境图像；以增强现实方式在上述实验仪器图像上呈现指示在进行上述目标实验时实验仪器所处于的实验用状态的状态图像；响应于检测到用户的手势操作，基于上述手势操作与上述目标实验的实验操作的对应关系，确定上述实验操作的实验效果信息，其中，上述实验效果信息包括实验效果图像；以增强现实方式在已呈现上述状态图像的实验环境图像中呈现上述实验效果图像，可以在现实环境图像上叠加虚拟的状态图像和实验效果图像，提高了显示的逼真程度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性***架构图；
图2是根据本申请的显示方法的一个实施例的流程图；
图3是根据本申请的显示方法的一个应用场景的示意图；
图4是根据本申请的显示方法的又一个实施例的流程图；
图5是根据本申请的显示装置的一个实施例的结构示意图；
图6是适于用来实现本申请实施例的增强现实设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的显示方法或显示装置的实施例的示例性***架构100。
如图1所示，***架构100可以包括增强现实设备101、102、103，网络104和服务器105。网络104用以在增强现实设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用增强现实设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。增强现实设备101、102、103上可以安装有呈现增强现实图像以及采集环境信息、人体手势信息的各种应用。
增强现实设备可以包括增强现实显示部件、扬声器、摄像头、传感器、中央处理器、图形处理器、通信部件等。虚拟现实显示部件、扬声器、摄像头、传感器、中央处理器、图形处理器、通信部件等可以集成在一个可穿戴增强现实设备中，如增强现实头盔上。增强现实显示部件、扬声器、摄像头、传感器、中央处理器、图形处理器、通信部件等中的一个或多个部件也可以与用户穿戴的用于显示增强现实图像的部件分离设置。
需要说明的是，服务器105在本***构架中是可选的。服务器提供的服务也可由增强现实设备中的中央处理器、图形处理器等部件替代完成。
服务器105可以是提供各种服务的服务器，例如对增强现实设备101、102、103上显示的实验环境图像进行构建的后台服务器。后台服务器可以对接收到的实验环境图像构建请求等数据进行分析等处理，并将处理结果(例如实验环境图像)反馈给增强现实设备。
需要说明的是，本申请实施例所提供的显示方法一般由增强现实设备101、102、103，执行一些步骤也可以由服务器105执行，相应地，显示装置一般设置于增强现实设备101、102、103中，一些单元或模块也可以设置于服务器105中。
应该理解，图1中的增强现实设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的增强现实设备、网络和服务器。
继续参考图2，其示出了根据本申请的显示方法的一个实施例的流程200。上述的显示方法，包括以下步骤：
步骤201，获取实验环境图像。
在本实施例中，显示方法运行于其上的电子设备(例如图1所示的增强现实设备)可以以各种方式获取实验环境图像。在这里，实验环境图像包括用于完成目标实验的实验仪器的实验仪器图像。
在本实施例的一些可选的实现方式中，可以利用增强现实设备上集成的各种摄像设备获取与用户眼睛所摄取的视野一致的实验环境信息，然后利用图像生成技术，对摄取的实验环境信息进行处理，得到实验环境图像。作为示例，用户视野范围内的实验环境可以包括墙面、桌子、放置在桌子上的剪刀等。
在本实施例中，上述实验环境图像可以是用于在用户的增强现实设备的显示部件上显示的实验环境图像，增强现实设备可以是例如增强现实头盔、增强现实眼镜等。
在本实施例中，上述目标实验可以是预先设置的此次需要完成的实验。作为示例，目标实验可以包括但不限于化学、生物、医疗、机械、汽修等专业领域的实验。
在本实施例的一些可选的实现方式中，上述电子设备可以首先获取用户选中的实验标识；再将上述实验标识所指示的实验作为目标实验。
在本实施例中，上述实验仪器可以是自然科学具体实验时用到的各种仪器。比如，常用的实验仪器有试管、烧杯、蒸发皿、坩埚、酒精灯、漏斗、培养皿、托盘天平、三棱镜、显微镜、载玻片、盖玻片等。
在本实施例中，上述实验仪器图像可以是用于完成目标实验的实验仪器的实验仪器图像。在这里，实验仪器图像可以是通过对摄取的物理实验仪器的图像处理得到，也可以是通过增强现实设备以增强现实方式添加虚拟的实验仪器图像得到。
在本实施例的一些可选的实现方式中，可以获取上述目标实验所需的实验仪器的实验仪器信息；根据上述实验仪器信息，以增强现实方式在上述实验环境图像中添加上述实验环境信息不存在的实验仪器的实验仪器图像。作为示例，完成目标实验需要3个试管，实验环境中物理试管只有两个，可以虚拟一个增强现实试管图像在实验环境图像中进行显示。
在本实施例的一些可选的实现方式中，可以利用单目摄像头或双目摄像头，对用户的视觉实时定位，获取与用户眼睛所摄取的视野一致的实验环境信息。
在本实施例的一些可选的实现方式中，可以利用实感技术获取与用户眼睛所摄取的视野一致的实验环境的三维点云数据，作为获取的实验环境信息。
在本实施例的一些可选的实现方式中，可以利用即时定位与地图构建技术(SLAM，Simultaneous Localization And Mapping)，对获取的实验环境信息进行处理，得到用于在用户的增强现实设备的显示部件(如增强现实眼镜)显示的实验环境图像。
步骤202，以增强现实方式在实验仪器图像上呈现指示在进行目标实验时实验仪器所处于的实验用状态的状态图像。
在本实施例中，上述电子设备可以以增强现实方式在实验仪器图像上呈现状态图像。在这里，状态图像可以是指示在进行目标实验时实验仪器所处于的实验用状态的状态图像。
在本实施例中，可以预先设置进行目标实验时实验仪器所处于的实验用状态的实验用状态信息。作为示例，在涉及燃烧的实验中，酒精灯的实验用状态为燃烧状态，为该涉及燃烧的实验预先设置有酒精灯的实验用状态信息为指示燃烧状态的信息。
在本实施例中，状态图像可以是预先设置的图像。可以预先设置状态图像集合，然后根据目标实验所需的状态图像从状态图像集合查找所需的状态图像，为上述实验仪器图像添加状态图像。
在本实施例的一些可选的实现方式中，状态图像所增添至的实验仪器图像，可以是实验环境中的物理实验仪器的实验仪器图像，也可以是经虚拟得到的增强现实实验仪器图像。
本领域技术人员可以理解，增强现实技术是一种将真实世界信息和虚拟世界信息无缝集成的技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息，声音，味道，触觉等)，通过计算机等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术，不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器(Head-mounted Displays，HMD)，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。增强现实技术包含了多媒体、增强现实建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等技术与手段。
在本实施例中，以增强现实方式显示状态图像可以是将虚拟的状态信息叠加到用户具有视觉沉浸感的实验环境图像中，并且具体地呈现在状态图像对应的实验仪器图像上。
步骤203，响应于检测到用户的手势操作，基于手势操作与目标实验的实验操作的对应关系，确定实验操作的实验效果信息。
在本实施例中，上述电子设备可以响应于检测到用户的手势操作，基于手势操作与目标实验的实验操作的对应关系，确定实验操作的实验效果信息。在这里，实验效果信息可以包括实验效果图像。
在本实施例中，目标实验可以包括一个或多个实验操作，并且预先设置有实验操作与手势操作的对应关系，实验操作预设有完成该实验操作所应出现的实验效果信息。
在本实施例中，可以通过各种可以利用增强现实设备上集成的各种手势识别设备检测用户的手势操作。
在本实施例的一些可选的实验方式中，可以利用手势传感器检测用户的手势操作。
在本实施例的一些可选的实验方式中，可以利用深度摄像机获取用户的手势操作的图像。
在本实施例的一些可选的实验方式中，可以利用单目或双目摄像头，再结合深度学习技术识别用户的手势操作。以基于双目视觉摄像头的手势操作识别为例，通过两个摄像头，利用双目立体视觉成像原理，通过两个摄像机来提取包括增强现实位置在内的信息进行手势的综合分析判断，建立的是手部的立体模型。首先从双目摄像头采集操作者手势动作的左右视觉图像，通过立体视觉算法生成深度图像。具体过程：经过立体标定后获取经过校准的立体图像对后，进行立体匹配，获得视差图像，再利用摄像机的内参数及外参数进行三角计算获取深度图像。然后对左(或右)视觉图像使用手势分割算法处理，分割出的人手所在的初始位置信息，并将该初始位置作为手势跟踪算法的起始位置。再使用手势跟踪算法对人手运动进行跟踪。再根据跟踪得到的结果进行手势的识别。
在本实施例的一些可选的实验方式中，可以根据上述目标实验的各个实验操作关联的预设手势操作，确定与上述手势操作匹配的实验操作；监测上述手势操作所针对的实验仪器图像所处于的位置；若上述位置位于预设目标位置，则确定与上述手势操作匹配的实验操作完成，其中，上述预设目标位置与上述手势操作匹配的实验操作相关联；响应于确定与上述手势操作匹配的实验操作完成，确定与完成的实验操作相关联的预设的实验效果信息。
在本实施例的一些可选的实验方式中，还可以显示实验操作提示信息，以供上述用户根据上述实验操作提示信息进行实验操作。可选地，可以在目标实验开始前，在增强现实设备的显示部件上显示目标实验的所有实验操作提示信息；还可以在目标实验的每一操作步骤开始前，在增强现实设备的显示部件上显示该步骤的实验操作提示信息。
步骤204，以增强现实方式在已呈现状态图像的实验环境图像中呈现实验效果图像。
在本实施例中，上述电子设备可以以增强现实方式在已呈现状态图像的实验环境图像中呈现实验效果图像。
在本实施例中，以增强现实方式在已呈现状态图像的实验环境图像中呈现实验效果图像，可以是将虚拟的实验效果图像叠加到用户具有视觉沉浸感的实验环境图像中，其中，实验效果图像上呈现状态图像，并且具体地将实验效果图像对应地呈现在实验仪器图像上。
继续参见图3，图3是根据本实施例的显示方法的应用场景的一个示意图。在图3的应用场景中，用户首先在预设实验中选择一个目标实验，例如选中“氢气燃烧连续***实验”；之后，增强现实设备可以获取实验环境图像，实验环境图像中包括实验仪器图像，例如图中的启普发生器、导管、硬质玻璃管和酒精灯；然后，上述增强现实设备以增强现实方式在上述实验仪器图像上呈现实验仪器的状态图像，状态图像是指示在进行上述目标实验时实验仪器所处于的实验用状态的图像，当然，呈现状态图像的同时也呈现实验环境图像，例如，在酒精灯的图像上呈现火苗图像；再后，上述增强现实设备响应于检测到用户的手势操作，基于上述手势操作与上述目标实验的实验操作的对应关系，确定上述实验操作的实验效果信息，例如，检测到用户打开导管上的夹子，则启普发生器中开始产生氢气；上述增强现实设备以增强现实方式在已呈现状态图像的实验环境图像中呈现实验效果图像，实验效果图像为酒精灯处的火苗为淡蓝色的火苗图像。
本申请的上述实施例提供的方法，通过获取实验环境图像；以增强现实方式在上述实验仪器图像上呈现指示在进行上述目标实验时实验仪器所处于的实验用状态的状态图像；响应于检测到用户的手势操作，基于上述手势操作与上述目标实验的实验操作的对应关系，确定上述实验操作的实验效果信息，其中，上述实验效果信息包括实验效果图像；以增强现实方式在已呈现上述状态图像的实验环境图像中呈现上述实验效果图像，可以在现实环境图像上叠加虚拟的状态图像和实验效果图像，提高了显示的逼真程度。
进一步参考图4，其示出了显示方法的又一个实施例的流程400。该显示方法的流程400，包括以下步骤：
步骤401，获取实验环境图像。
在本实施例中，显示方法运行于其上的电子设备(例如图1所示的增强现实设备)可以以各种方式获取实验环境图像。在这里，实验环境图像包括用于完成目标实验的实验仪器的实验仪器图像。
步骤402，以增强现实方式在目标实验所需的实验仪器的实验仪器图像上呈现目标实验所需的实验材料的实验材料图像。
在本实施例中，上述电子设备可以在本实施例中，显示方法运行于其上的电子设备(例如图1所示的增强现实设备)可以以增强现实方式在目标实验所需的实验仪器的实验仪器图像上呈现目标实验所需的实验材料的实验材料图像。
在本实施例中，目标实验所需的实验材料与目标实验所需的实验仪器不同。作为示例，对于化学实验，实验仪器可以是试管、烧杯、蒸发皿、坩埚、酒精灯等，实验材料可以是化学药品；对于生物实验，实验仪器可以是镊子、手术刀，实验材料可以是待解剖生物体。
作为示例，如果实验材料是某些具有危险性的实验药品，比如硫酸，可以在试管的试管图像上叠加指示液态的图像，避免使用硫酸这一物理实体。提高了实验的安全性。
步骤403，以增强现实方式在实验仪器图像上呈现指示在进行上述目标实验时实验仪器所处于的实验用状态的状态图像。
在本实施例中，上述电子设备可以以增强现实方式在实验仪器图像上呈现状态图像。在这里，状态图像可以是指示在进行目标实验时实验仪器所处于的实验用状态的状态图像。
步骤404，响应于检测到用户的手势操作，基于上述手势操作与上述目标实验的实验操作的对应关系，确定上述实验操作的实验效果信息。
在本实施例中，上述电子设备可以响应于检测到用户的手势操作，首先基于手势操作与目标实验的实验操作的对应关系，然后确定实验操作的实验效果信息。在这里，实验效果信息可以包括实验效果图像和声音效果信息。
在本实施例的一些可选的实现方式中，上述实验效果信息还包括嗅觉效果信息，例如，气味信息。
步骤405，以增强现实方式在已呈现上述状态图像的实验环境图像中呈现实验效果图像，并且以播放声音效果信息所指示的声音。
在本实施例中，上述电子设备可以以增强现实方式在已呈现上述状态图像的实验环境图像中呈现实验效果图像，并且以播放声音效果信息所指示的声音。
作为示例，在上述氢气燃烧***实验中，可以播放氢气燃烧***的微小但连续的“噗、噗”声。
从图4中可以看出，与图2对应的实施例相比，本实施例中的显示方法的流程400突出了以增强现实的方式增添实验材料图像，并且模拟实际实验的声音效果的步骤，由此，本实施例描述的方案可以提高实验的安全性和逼真程度。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种显示装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例上述的显示装置500包括：获取单元501、第一呈现单元502、确定单元503和第一显示单元504。其中，获取单元501，用于获取实验环境图像，其中，上述实验环境图像包括用于完成目标实验的实验仪器的实验仪器图像；第一呈现单元502，用于以增强现实方式在上述实验仪器图像上呈现指示在进行上述目标实验时实验仪器所处于的实验用状态的状态图像；确定单元503，用于响应于检测到用户的手势操作，基于上述手势操作与上述目标实验的实验操作的对应关系，确定上述实验操作的实验效果信息，其中，上述实验效果信息包括实验效果图像；第一显示单元504，用于以增强现实方式在已呈现上述状态图像的实验环境图像中呈现上述实验效果图像。
在本实施例中，显示装置500的获取单元501可以以各种方式获取实验环境图像。在这里，实验环境图像包括用于完成目标实验的实验仪器的实验仪器图像。
在本实施例中，显示装置500的第一呈现单元502可以以增强现实方式在实验仪器图像上呈现状态图像。在这里，状态图像可以是指示在进行目标实验时实验仪器所处于的实验用状态的状态图像。
在本实施例中，显示装置500的确定单元503可以响应于检测到用户的手势操作，首先基于手势操作与目标实验的实验操作的对应关系，然后确定实验操作的实验效果信息。在这里，实验效果信息可以包括实验效果图像。
在本实施例中，显示装置500的第一显示单元504可以以增强现实方式在已呈现状态图像的实验环境图像中呈现实验效果图像。
在本实施例的一些可选的实现方式中，上述实验效果信息可以包括声音效果信息；以及上述装置还可以包括：播放单元(未示出)，用于以增强现实方式播放上述声音效果信息所指示的声音。
在本实施例的一些可选的实现方式中，上述实验仪器图像可以包括用于承载上述目标实验所需的实验材料的实验仪器的图像；以及上述装置还可以包括：第二呈现单元(未示出)，用于以增强现实方式在上述目标实验所需的实验仪器的实验仪器图像上呈现目标实验所需的实验材料的实验材料图像。
在本实施例的一些可选的实现方式中，上述显示装置500还可以包括：第二显示单元(未示出)，用于显示实验操作提示信息，以供上述用户根据上述实验操作提示信息进行实验操作。
在本实施例的一些可选的实现方式中，上述显示装置500还可以包括：实验标识获取单元(未示出)，用于获取用户选中的实验标识；目标实验确定单元(未示出)，用于将上述实验标识所指示的实验作为目标实验。
本实施例的技术实现细节和技术效果可以参考本申请其他实施例中的说明，在此不再赘述。
下面参考图6，其示出了具有视图显示功能的增强现实设备600的硬件结构示意图。
如图6所示，增强现实设备600包括中央处理单元(CPU)601、存储器602、图形处理器(GPU)603、输入单元604、通信部分605和输出单元607，其中，CPU 601、存储器602、GPU603、输入单元604、通信部分605和输出单元606通过总线607彼此相连。在此，根据本申请的方法可以被实现为计算机程序，并且存储在存储器602中。增强现实设备600中的CPU601和/或GPU603通过调用存储器602中存储的上述计算机程序，来具体实现本申请的方法中限定的视图显示功能。在一些实现方式中，输入单元604可以是传感器、摄像头等可用于获取环境信息、手势信息的设备，输出单元606可以是显示屏等可用于显示视图的设备。由此，CPU 601和/或GPU603在调用上述计算机程序执行视图显示功能时，可以控制输入单元604从外部获取环境信息、手势信息，以及控制输出单元606对视图进行显示。通信部分605经由诸如因特网的网络执行通信处理。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、第一呈现单元、确定单元和第一显示单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“用于获取实验环境图像的单元”。
作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中上述装置中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当上述一个或者多个程序被一个设备执行时，使得上述设备：获取实验环境图像，其中，上述实验环境图像包括用于完成目标实验的实验仪器的实验仪器图像；以增强现实方式在上述实验仪器图像上呈现指示在进行上述目标实验时实验仪器所处于的实验用状态的状态图像；响应于检测到用户的手势操作，基于上述手势操作与上述目标实验的实验操作的对应关系，确定上述实验操作的实验效果信息，其中，上述实验效果信息包括实验效果图像；以增强现实方式在已呈现上述状态图像的实验环境图像中呈现上述实验效果图像。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种显示方法，其特征在于，所述方法包括：
获取实验环境图像，其中，所述实验环境图像包括用于完成目标实验的实验仪器的实验仪器图像；其中，所述获取实验环境图像包括：获取与用户眼睛所摄取的视野一致的实验环境信息，利用即时定位与地图构建技术对获取的实验环境信息进行处理，得到所述实验环境图像；
以增强现实方式在所述实验仪器图像上呈现指示在进行所述目标实验时实验仪器所处于的实验用状态的状态图像；
响应于检测到用户的手势操作，基于所述手势操作与所述目标实验的实验操作的对应关系，确定所述实验操作的实验效果信息，其中，所述实验效果信息包括实验效果图像；
以增强现实方式在已呈现所述状态图像的实验环境图像中呈现所述实验效果图像。
2.根据权利要求1所述的方法，其特征在于，所述实验效果信息还包括声音效果信息；以及
所述方法还包括：
播放所述声音效果信息所指示的声音。
3.根据权利要求2所述的方法，其特征在于，所述实验仪器图像包括用于承载所述目标实验所需的实验材料的实验仪器的图像；以及
所述方法还包括：
以增强现实方式在所述目标实验所需的实验仪器的实验仪器图像上呈现目标实验所需的实验材料的实验材料图像。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括：
显示实验操作提示信息，以供所述用户根据所述实验操作提示信息进行实验操作。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
获取用户选中的实验标识；
将所述实验标识所指示的实验作为目标实验。
6.一种显示装置，其特征在于，所述装置包括：
获取单元，用于获取实验环境图像，其中，所述实验环境图像包括用于完成目标实验的实验仪器的实验仪器图像；其中，所述获取实验环境图像包括：获取与用户眼睛所摄取的视野一致的实验环境信息，利用即时定位与地图构建技术对获取的实验环境信息进行处理，得到所述实验环境图像；
第一呈现单元，用于以增强现实方式在所述实验仪器图像上呈现指示在进行所述目标实验时实验仪器所处于的实验用状态的状态图像；
确定单元，用于响应于检测到用户的手势操作，基于所述手势操作与所述目标实验的实验操作的对应关系，确定所述实验操作的实验效果信息，其中，所述实验效果信息包括实验效果图像；
第一显示单元，用于以增强现实方式在已呈现所述状态图像的实验环境图像中呈现所述实验效果图像。
7.根据权利要求6所述的装置，其特征在于，所述实验效果信息还包括声音效果信息；以及
所述装置还包括：
播放单元，用于播放所述声音效果信息所指示的声音。
8.根据权利要求7所述的装置，其特征在于，所述实验仪器图像包括用于承载所述目标实验所需的实验材料的实验仪器的图像；以及
所述装置还包括：
第二呈现单元，以增强现实方式在所述目标实验所需的实验仪器的实验仪器图像上呈现目标实验所需的实验材料的实验材料图像。
9.根据权利要求6-8中任一项所述的装置，其特征在于，所述装置还包括：
第二显示单元，用于显示实验操作提示信息，以供所述用户根据所述实验操作提示信息进行实验操作。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
实验标识获取单元，用于获取用户选中的实验标识；
目标实验确定单元，用于将所述实验标识所指示的实验作为目标实验。
CN201611254677.3A 2016-12-30 2016-12-30 显示方法和装置 Active CN107066082B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201611254677.3A CN107066082B (zh) 2016-12-30 2016-12-30 显示方法和装置
US15/619,177 US10497276B2 (en) 2016-12-30 2017-06-09 Display method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611254677.3A CN107066082B (zh) 2016-12-30 2016-12-30 显示方法和装置

Publications (2)

Publication Number Publication Date
CN107066082A CN107066082A (zh) 2017-08-18
CN107066082B true CN107066082B (zh) 2018-10-02

Family

ID=59623918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611254677.3A Active CN107066082B (zh) 2016-12-30 2016-12-30 显示方法和装置

Country Status (2)

Country Link
US (1) US10497276B2 (zh)
CN (1) CN107066082B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108226404A (zh) * 2017-12-27 2018-06-29 广州安食通信息科技有限公司 一种智能食品检测***及其实现方法
US11694575B2 (en) * 2018-04-14 2023-07-04 The Trustees of the California State University Hands-on laboratory and demonstration equipment with a hybrid virtual/augmented environment, along with their methods of use
CN110755727B (zh) * 2018-07-26 2023-11-28 林信涌 可电耦接云端监控***的氢气产生器及其云端监控***
CN109215402B (zh) * 2018-10-18 2020-09-15 广州嘉影软件有限公司 基于ar的书上化学实验方法和***
US11361510B2 (en) 2018-10-21 2022-06-14 Oracle International Corporation Optimizing virtual data views using voice commands and defined perspectives
CN109550476B (zh) * 2018-12-05 2021-03-26 济南大学 一种双支智能实验试管套件及其应用
CN109545002B (zh) * 2018-12-05 2020-08-14 济南大学 一种用于虚拟实验的容器套件及其应用
CN109879252B (zh) * 2019-04-03 2022-05-13 济南大学 一种用于制备氯气的实物交互套件及其使用方法
CN110389664B (zh) * 2019-06-25 2020-09-01 浙江大学 一种基于增强现实的火灾场景模拟分析装置及方法
CN111753613B (zh) * 2019-09-18 2023-10-10 杭州海康威视数字技术股份有限公司 基于实验操作的图像分析方法、装置、设备及存储介质
CN111768439B (zh) * 2019-10-31 2024-02-02 杭州海康威视数字技术股份有限公司 一种确定实验评分的方法、装置、电子设备及介质
CN110928414A (zh) * 2019-11-22 2020-03-27 上海交通大学 三维虚实融合实验***
CN111105660B (zh) * 2019-11-27 2021-11-30 重庆特斯联智慧科技股份有限公司 一种用于消防演练的增强现实立体显示方法和***
CN111897461A (zh) * 2020-07-09 2020-11-06 北京国发天元信息技术有限公司 一种基于互联网的互动虚拟实验的实现方法
CN113672090A (zh) * 2021-08-25 2021-11-19 上海电气集团股份有限公司 一种结构力学试验交互的方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105702098A (zh) * 2016-04-22 2016-06-22 广东小天才科技有限公司 一种基于虚拟现实的化学实验方法、装置及***
CN106251752A (zh) * 2016-10-25 2016-12-21 深圳市科创数字显示技术有限公司 Ar和vr相结合的医学培训***
CN107067856A (zh) * 2016-12-31 2017-08-18 歌尔科技有限公司 一种医学模拟训练***和方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US10379607B2 (en) * 2012-07-30 2019-08-13 Agilent Technologies, Inc. Experimental chamber with computer-controlled display wall
WO2014183262A1 (en) * 2013-05-14 2014-11-20 Empire Technology Development Llc Detection of user gestures
KR20150024247A (ko) * 2013-08-26 2015-03-06 삼성전자주식회사 터치 스크린 디바이스에서 다수의 입력기구를 이용하는 애플리케이션을 실행하는 방법 및 터치 스크린 디바이스

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105702098A (zh) * 2016-04-22 2016-06-22 广东小天才科技有限公司 一种基于虚拟现实的化学实验方法、装置及***
CN106251752A (zh) * 2016-10-25 2016-12-21 深圳市科创数字显示技术有限公司 Ar和vr相结合的医学培训***
CN107067856A (zh) * 2016-12-31 2017-08-18 歌尔科技有限公司 一种医学模拟训练***和方法

Also Published As

Publication number Publication date
US20180190030A1 (en) 2018-07-05
CN107066082A (zh) 2017-08-18
US10497276B2 (en) 2019-12-03

Similar Documents

Publication Publication Date Title
CN107066082B (zh) 显示方法和装置
US20180357978A1 (en) Method and devices used for implementing augmented reality interaction and displaying
US10089794B2 (en) System and method for defining an augmented reality view in a specific location
US10991162B2 (en) Integrating a user of a head-mounted display into a process
CN107622524A (zh) 用于移动终端的显示方法和显示装置
CN106355153A (zh) 一种基于增强现实的虚拟对象显示方法、装置以及***
US10235806B2 (en) Depth and chroma information based coalescence of real world and virtual world images
KR20220012990A (ko) 인공 현실 시스템들을 위한 팔 응시-구동 사용자 인터페이스 요소 게이팅
CN112346572A (zh) 一种虚实融合实现方法、***和电子设备
KR20220018561A (ko) 사용자 인터페이스 요소들을 게이팅하기 위한 개인 어시스턴트 요소를 갖는 인공 현실 시스템들
US10955911B2 (en) Gazed virtual object identification module, a system for implementing gaze translucency, and a related method
JP6656382B2 (ja) マルチメディア情報を処理する方法及び装置
CN109545003A (zh) 一种显示方法、装置、终端设备及存储介质
KR20200098312A (ko) Vr을 이용한 다기종 비행 훈련 시뮬레이터
US20230123518A1 (en) Motion-based generation of applications in virtual reality and augmented reality systems
CN110741327B (zh) 基于增强现实及数字图像处理的泥胶玩具***及其方法
CN110109550A (zh) 一种vr沉浸式的系外行星探测演示***
CN110531865A (zh) 基于5g及mr技术的虚实场景操作平台及使用方法
US20210385299A1 (en) Method and apparatus for augmented reality interaction and presentation
KR20160005841A (ko) 모션인식과 증강현실을 기반으로 하는 실시간 반응형 인체학습시스템
CN109840948A (zh) 基于增强现实的目标物体的投放方法和装置
WO2017147826A1 (zh) 智能设备的图像处理方法及装置
JP6680886B2 (ja) マルチメディア情報を表示する方法及び装置
KR20180074182A (ko) 증강현실 시스템 구현 방법
Mathi Augment HoloLens’ Body Recognition and Tracking Capabilities Using Kinect

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant