CN104740869B - 一种融合真实环境的虚实结合的交互方法及*** - Google Patents

一种融合真实环境的虚实结合的交互方法及*** Download PDF

Info

Publication number
CN104740869B
CN104740869B CN201510137631.2A CN201510137631A CN104740869B CN 104740869 B CN104740869 B CN 104740869B CN 201510137631 A CN201510137631 A CN 201510137631A CN 104740869 B CN104740869 B CN 104740869B
Authority
CN
China
Prior art keywords
marginal point
true environment
dummy object
image
virtual content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510137631.2A
Other languages
English (en)
Other versions
CN104740869A (zh
Inventor
曹翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Calf Intention Science And Technology Ltd
Original Assignee
Beijing Calf Intention Science And Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Calf Intention Science And Technology Ltd filed Critical Beijing Calf Intention Science And Technology Ltd
Priority to CN201510137631.2A priority Critical patent/CN104740869B/zh
Publication of CN104740869A publication Critical patent/CN104740869A/zh
Priority to EP16767669.1A priority patent/EP3275514A4/en
Priority to PCT/CN2016/075591 priority patent/WO2016150292A1/zh
Priority to US15/697,449 priority patent/US10661157B2/en
Application granted granted Critical
Publication of CN104740869B publication Critical patent/CN104740869B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种融合真实环境的虚实结合的交互方法及***，能够达到真正的虚实结合的交互机制和体验。所述方法包括：步骤1，捕捉一帧真实环境的图像，确定该图像中的边缘点在前一帧图像与当前图像之间的运动状态；步骤2，检测虚拟内容中每个虚拟物体的周围是否存在所述边缘点，若存在，则基于所述边缘点的运动状态对所述虚拟物体施加相应的作用；步骤3，根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容和真实环境叠加显示，返回步骤1继续执行，直至虚实交互结束。所述***包括：确定边缘点运动单元，作用单元，显示单元。本发明适用于人机交互技术领域。

Description

一种融合真实环境的虚实结合的交互方法及***
技术领域
本发明涉及人机交互技术领域，特别是指一种融合真实环境的虚实结合的交互方法及***。
背景技术
电子游戏作为一种娱乐活动已遍布计算机、手机、游戏主机等各种可安装游戏的电子设备。现有的电子游戏主要由玩家(即：游戏用户)操纵电子设备上的触摸屏、游戏手柄、鼠标、键盘等输入装置与电子设备显示的游戏的虚拟内容进行交互，虚拟内容包括但不限于游戏中的场景、人物、道具等。这种交互方式下的游戏体验完全局限于电子设备中游戏本身涉及的虚拟内容，与玩家身边的真实环境没有建立联系。
近年来，为打破这一局限，出现了一些虚实结合的游戏探索，试图将真实环境和玩家的肢体动作引入游戏，以提升游戏体验。主要体现在体感游戏和增强现实游戏两方面。
体感游戏以微软开发的电子游戏平台(Xbox)游戏机上的Kinect相关游戏为代表，通过深度摄像头或其它传感装置及相应的算法，跟踪玩家全身或半身的肢体动作，并由此控制游戏中的虚拟人物的动作。此类游戏用玩家真实的身体动作代替了通常的游戏输入装置，但游戏显示的内容仍为游戏中的虚拟内容，没有达到真正的虚实结合体验。
增强现实游戏是通过在真实环境上叠加显示游戏中的虚拟内容达到虚实结合的效果。叠加显示可通过投影直接叠加在真实环境之上，或通过透视式头戴显示器(智能眼镜)将虚拟内容叠加在人眼与真实环境之间，或通过普通显示器同时显示摄像头拍摄到的真实环境与虚拟内容达到间接叠加的效果。其中前两种方式因需要专用设备，目前主要在研究探索阶段，最后一种方式对设备要求较低，在手机上已有一些实际游戏例子。
简单的增强现实游戏并不对真实环境作分析，真实环境仅仅作为游戏显示的背景，不与游戏中的虚拟内容进行交互；较为高级的增强现实游戏会实时识别和跟踪真实环境中的一些预设标志，如二维码、特定图片等，并将虚拟内容与这些标志在二维或三维空间中对齐显示，以加强虚实结合的感受，但除这些预设标志以外的真实环境依然只作为显示背景，对游戏自身交互不发生作用。因此目前的增强现实游戏的“虚实结合”基本上局限在视觉效果上，而游戏自身的交互机制与传统的“纯虚拟”游戏并无本质区别。也就是说，目前存在的体感游戏和增强现实游戏并没有达到真正的虚实结合的游戏交互机制和体验。
发明内容
本发明要解决的技术问题是提供一种融合真实环境的虚实结合的交互方法及***，以解决现有技术所存在的体感游戏和增强现实技术并没有达到真正的虚实结合的交互机制和体验的问题。
为解决上述技术问题，本发明实施例提供一种融合真实环境的虚实结合的交互方法，其特征在于，包括：
步骤1，捕捉一帧真实环境的图像，确定该图像中的边缘点在前一帧图像与当前图像之间的运动状态；
步骤2，检测虚拟内容中每个虚拟物体的周围是否存在所述边缘点，若存在，则基于所述边缘点的运动状态对所述虚拟物体施加相应的作用；
步骤3，根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容和真实环境叠加显示，返回步骤1继续执行，直至虚实交互结束。
可选地，所述捕捉一帧真实环境的图像，确定该图像中的边缘点在前一帧图像与当前图像之间的运动状态包括：
通过摄像装置捕捉一帧真实环境的图像；
对该图像进行边缘检测，确定该图像中的边缘点，所述边缘点对应于真实环境中相应物体的轮廓；
结合捕捉到的前一帧图像，确定每个被检测出的边缘点在前一帧图像与当前图像之间的运动状态。
可选地，所述对该图像进行边缘检测，确定该图像中的边缘点包括：
根据虚拟内容中预设的属性，对已捕捉的图像进行分割，提取出与预设的属性相对应的图像，所述预设的属性包括：用于指定与虚拟内容进行交互的存在于真实环境中的物体和/或其运动状态，所述真实环境中的物体包括：存在于自然界中的一切生物和非生物；
对提取的图像进行边缘检测，确定该图像中的边缘点。
可选地，所述结合捕捉到的前一帧图像，确定每个被检测出的边缘点在前一帧图像与当前图像之间的运动状态包括：
针对每个被检测出的边缘点，结合被捕捉到的前一帧图像，确定对应在所述边缘点上的真实环境中的物体上的点在前一帧图像与当前图像之间的运动状态。
可选地，所述检测虚拟内容中每个虚拟物体的周围是否存在所述边缘点，若存在，则基于所述边缘点的运动状态对所述虚拟物体施加相应的作用包括：
基于叠加显示的方式，检测虚拟内容中每个虚拟物体的周围是否有边缘点；
若有，则基于所述边缘点的运动状态模拟真实的物理定律，并结合所述虚拟物体的自身状态，将真实环境中与所述边缘点对应的物体的运动状态作用到所述虚拟物体上并产生相应的作用效果，所述虚拟物体的自身状态包括：虚拟内容中为虚拟物体设定的虚拟属性。
可选地，所述将真实环境中与所述边缘点对应的物体的运动状态作用到所述虚拟物体上并产生相应的作用效果包括：
将真实环境中与所述边缘点对应的物体的运动状态以物理方式作用到所述虚拟物体上并产生相应的作用效果；或者，
将真实环境中与所述边缘点对应的物体的运动状态以超越物理方式作用到所述虚拟物体上并产生相应的作用效果；
所述将真实环境中与所述边缘点对应的物体的运动状态以物理方式作用到所述虚拟物体上并产生相应的作用效果包括：
通过模拟真实的物理定律，利用真实环境中的物体去碰撞、击打虚拟物体；或者，
将真实环境中的物体作为攻击、防御或引导工具帮助虚拟物体越过障碍物；或者，
虚拟物体在玩家设定的场景里运动，并与玩家设定的场景以及玩家进行交互；
所述将真实环境中与所述边缘点对应的物体的运动状态以超越物理方式作用到所述虚拟物体上并产生相应的作用效果包括：利用真实环境中的物体去扭曲、压矮虚拟物体。
可选地，所述基于所述边缘点的运动状态对所述虚拟物体施加相应的作用包括：
当虚拟物体的周围存在边缘点时，则基于所述边缘点的运动状态及虚拟内容中预设的规则，并结合所述虚拟物体的自身状态，将真实环境中与所述边缘点对应的物体的运动状态作用到所述虚拟物体上并产生相应的作用效果。
可选地，所述根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容和真实环境叠加显示包括：
根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容与真实环境进行叠加，完整地显示在屏幕上；或者，
根据虚拟内容中预设的属性，将虚拟内容与真实环境的部分区域进行叠加显示；或者，
根据虚拟内容中预设的属性，将真实环境只显示在屏幕或虚拟场景中的一部分区域。
另一方面，本发明实施例还提供一种融合真实环境的虚实结合的交互***，包括：
确定边缘点运动单元，用于捕捉一帧真实环境的图像，确定该图像中的边缘点在前一帧图像与当前图像之间的运动状态；
作用单元，用于检测虚拟内容中每个虚拟物体的周围是否存在所述边缘点，若存在，则基于所述边缘点的运动状态对所述虚拟物体施加相应的作用；
显示单元，用于根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容和真实环境叠加显示，返回检测边缘点单元继续执行，直至虚实交互结束。
可选地，所述确定边缘点运动单元包括：
捕捉模块，用于通过摄像装置捕捉一帧真实环境的图像；
检测模块，用于对该图像进行边缘检测，确定该图像中的边缘点，所述边缘点对应于真实环境中相应物体的轮廓；
确定边缘点运动模块：用于结合捕捉到的前一帧图像，确定每个被检测出的边缘点在前一帧图像与当前图像之间的运动状态。
可选地，所述检测模块包括：
分割子模块，用于根据虚拟内容中预设的属性，对已捕捉的图像进行分割，提取出与预设的属性相对应的图像，所述预设的属性包括：用于指定与虚拟内容进行交互的存在于真实环境中的物体和/或其运动状态，所述真实环境中的物体包括：存在于自然界中的一切生物和非生物；
检测子模块，用于对提取的图像进行边缘检测，确定该图像中的边缘点。
可选地，所述确定边缘点运动模块，还用于针对每个被检测出的边缘点，结合被捕捉到的前一帧图像，确定对应在所述边缘点上的真实环境中的物体上的点在前一帧图像与当前图像之间的运动状态。
可选地，所述作用单元包括：
边缘点判断模块，用于基于叠加显示的方式，检测虚拟内容中每个虚拟物体的周围是否有边缘点；
第一作用模块，用于当虚拟物体的周围存在边缘点时，则基于所述边缘点的运动状态模拟真实的物理定律，并结合所述虚拟物体的自身状态，将真实环境中与所述边缘点对应的物体的运动状态作用到所述虚拟物体上并产生相应的作用效果，所述虚拟物体的自身状态包括：虚拟物体自身具有的虚拟属性。
可选地，所述第一作用模块包括：
第一作用子模块：用于将真实环境中与所述边缘点对应的物体的运动状态以物理方式作用到所述虚拟物体上并产生相应的作用效果；或者，
第二作用子模块：用于将真实环境中与所述边缘点对应的物体的运动状态以超越物理方式作用到所述虚拟物体上并产生相应的作用效果；
所述第一作用子模块：用于通过模拟真实的物理定律，利用真实环境中的物体去碰撞、击打虚拟物体；或者，
将真实环境中的物体作为攻击、防御或引导工具帮助虚拟物体越过障碍物；或者，
虚拟物体在玩家设定的场景里运动，并与玩家设定的场景以及玩家进行交互；
所述第二作用子模块：用于利用真实环境中的物体去扭曲、压矮虚拟物体。
可选地，所述作用单元包括：
第二作用模块，用于当虚拟物体的周围存在边缘点时，则基于所述边缘点的运动状态及虚拟内容中预设的规则，并结合所述虚拟物体的自身状态，将真实环境中与所述边缘点对应的物体的运动状态作用到所述虚拟物体上并产生相应的作用效果。
可选地，所述显示单元包括：
第一显示模块，用于根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容与真实环境进行叠加，完整地显示在屏幕上；或者，
第二显示模块，用于根据虚拟内容中预设的属性，将虚拟内容与真实环境的部分区域进行叠加显示；或者，
第三显示模块，用于根据虚拟内容中预设的属性，将真实环境只显示在屏幕或虚拟场景中的一部分区域。
本发明的上述技术方案的有益效果如下：
上述方案中，通过反复捕捉真实环境的帧图像，并确定该图像中的边缘点在前一帧图像与当前图像之间的运动状态，通过边缘点的运动状态对虚拟内容中的虚拟物体施加相应的作用，最后，根据所述边缘点对所述虚拟物体产生的作用效果，将所述虚拟内容和真实环境叠加显示，这样，真实环境中的任意物体都能直接地对虚拟物体施加相应的作用，以达到真正的虚实结合的交互机制和体验，与现有存在的某些增强现实技术需识别跟踪特定的预设标志不同，本发明不需要对于真实环境中的物体的先验知识。
附图说明
图1为本发明实施例提供的融合真实环境的虚实结合的交互方法的方法流程图；
图2为真实环境中的手与虚拟内容中的鼠标进行交互的示意图；
图3为真实环境中的手与虚拟内容中的人进行交互的示意图；
图4为真实环境中的手与虚拟内容中的人及路进行交互的示意图；
图5为真实环境中的手与虚拟内容中的人以超越物理作用进行交互的示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的体感游戏和增强现实技术并没有达到真正的虚实结合的交互机制和体验的问题，提供一种融合真实环境的虚实结合的交互方法及***。
实施例一
参看图1所示，本发明实施例提供的一种融合真实环境的虚实结合的交互方法，包括：
步骤1，捕捉一帧真实环境的图像，确定该图像中的边缘点在前一帧图像与当前图像之间的运动状态；
步骤2，检测虚拟内容中每个虚拟物体的周围是否存在所述边缘点，若存在，则基于所述边缘点的运动状态对所述虚拟物体施加相应的作用；
步骤3，根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容和真实环境叠加显示，返回步骤1继续执行，直至虚实交互结束。
本发明实施例所述的融合真实环境的虚实结合的交互方法，通过反复捕捉真实环境的帧图像，并确定该图像中的边缘点在前一帧图像与当前图像之间的运动状态，通过边缘点的运动状态对虚拟内容中的虚拟物体施加相应的作用，最后，根据所述边缘点对所述虚拟物体产生的作用效果，将所述虚拟内容和真实环境叠加显示，这样，真实环境中的任意物体都能直接地对虚拟物体施加相应的作用，以达到真正的虚实结合的交互机制和体验，与现有存在的某些增强现实技术需识别跟踪特定的预设标志不同，本发明不需要对于真实环境中的物体的先验知识。
本发明实施例中所提及的真实环境中的物体包括存在于自然界中的一切生物和非生物，例如，具有生命的植物、动物(包括高级动物：人)及其运动状态，不具有生命的桌子、椅子、鼠标、图画等；同样的，虚拟内容中的虚拟物体包括存在于虚拟内容中的一切生物和非生物，也就是说，本发明不仅仅可用于游戏中具有增强现实性质的交互场景，也可应用于任何其它具有增强现实性质的交互场景。
在前述融合真实环境的虚实结合的交互方法的具体实施方式中，可选地，所述捕捉一帧真实环境的图像，确定该图像中的边缘点在前一帧图像与当前图像之间的运动状态包括：
通过摄像装置捕捉一帧真实环境的图像；
对该图像进行边缘检测，确定该图像中的边缘点，所述边缘点对应于真实环境中相应物体的轮廓；
结合捕捉到的前一帧图像，确定每个被检测出的边缘点在前一帧图像与当前图像之间的运动状态。
本发明实施例中，例如，可以通过安装在电子设备(例如，手机、平板、笔记本电脑、台式电脑等)上的摄像头或者相机捕捉一帧真实环境的图像，利用边缘检测算法对捕捉的图像进行边缘检测，得到所述图像中的边缘点，该边缘点对应于真实环境中相应的物体的轮廓。
在前述融合真实环境的虚实结合的交互方法的具体实施方式中，可选地，所述对该图像进行边缘检测，确定该图像中的边缘点包括：
根据虚拟内容中预设的属性，对已捕捉的图像进行分割，提取出与预设的属性相对应的图像，所述预设的属性包括：用于指定与虚拟内容进行交互的存在于真实环境中的物体和/或其运动状态，所述真实环境中的物体包括：存在于自然界中的一切生物和非生物；
对提取的图像进行边缘检测，确定该图像中的边缘点。
本发明实施例中，以电子游戏为例，可以通过设定属性指定真实环境中哪些物体或者哪些运动状态能够对虚拟内容中的虚拟内容施加作用，例如，可以设定只有玩家的肢体动作才能对虚拟内容施加动作，捕捉的图像中其他的内容不能对虚拟内容施加作用，此时，需对已捕捉的图像进行分割，提取出与玩家的肢体动作相关的图像，剔除捕捉的图像中非玩家肢体的部分，紧接着，再对提取的图像进行边缘检测，确定该图像中的边缘点，所述边缘点对应于真实环境中相应玩家的轮廓。
在前述融合真实环境的虚实结合的交互方法的具体实施方式中，可选地，所述结合捕捉到的前一帧图像，确定每个被检测出的边缘点在前一帧图像与当前图像之间的运动状态包括：
针对每个被检测出的边缘点，结合被捕捉到的前一帧图像，确定对应在所述边缘点上的真实环境中的物体上的点在前一帧图像与当前图像之间的运动状态。
本发明实施例中，对于每个被检测出的边缘点，结合被捕捉到的前一帧图像，确定每个边缘点在前一帧图像与当前图像之间的运动状态，所述边缘点的运动状态包括：边缘点是否运动、边缘点的运动方向及运动速率等，该边缘点的运动状态能够反映与所述边缘点对应的真实环境中的物体局部运动，真实环境中的同一物体在不同局部位置上可能运动都不相同。
在前述融合真实环境的虚实结合的交互方法的具体实施方式中，可选地，所述检测虚拟内容中每个虚拟物体的周围是否存在所述边缘点，若存在，则基于所述边缘点的运动状态对所述虚拟物体施加相应的作用包括：
基于叠加显示的方式，检测虚拟内容中每个虚拟物体的周围是否有边缘点；
若有，则基于所述边缘点的运动状态模拟真实的物理定律，并结合所述虚拟物体的自身状态，将真实环境中与所述边缘点对应的物体的运动状态作用到所述虚拟物体上并产生相应的作用效果，所述虚拟物体的自身状态包括：虚拟物体自身具有的虚拟属性。
本发明实施例中，基于真实环境和虚拟内容叠加显示的方式，检测虚拟内容中每个虚拟物体的周围是否存在边缘点，如存在边缘点，则基于该边缘点的运动状态模拟真实的物理定律，并结合该虚拟物体的自身状态，将在真实环境中与所述边缘点对应的物体的运动状态作用到所述虚拟物体上并产生相应的作用效果，所述虚拟物体的自身状态包括：虚拟内容中为虚拟物体设定的虚拟属性，例如，虚拟物体的位置信息、运动方向、运动速率及虚拟内容中为虚拟物体设定的其它属性。
在前述融合真实环境的虚实结合的交互方法的具体实施方式中，可选地，所述将真实环境中与所述边缘点对应的物体的运动状态作用到所述虚拟物体上并产生相应的作用效果包括：
将真实环境中与所述边缘点对应的物体的运动状态以物理方式作用到所述虚拟物体上并产生相应的作用效果；或者，
将真实环境中与所述边缘点对应的物体的运动状态以超越物理方式作用到所述虚拟物体上并产生相应的作用效果；
所述将真实环境中与所述边缘点对应的物体的运动状态以物理方式作用到所述虚拟物体上并产生相应的作用效果包括：
通过模拟真实的物理定律，利用真实环境中的物体去碰撞、击打虚拟物体；或者，
将真实环境中的物体作为攻击、防御或引导工具帮助虚拟物体越过障碍物；或者，
虚拟物体在玩家设定的场景里运动，并与玩家设定的场景以及玩家进行交互；
所述将真实环境中与所述边缘点对应的物体的运动状态以超越物理方式作用到所述虚拟物体上并产生相应的作用效果包括：利用真实环境中的物体去扭曲、压矮虚拟物体。
本发明实施例中，能够将真实环境中与所述边缘点对应的物体的运动状态以物理方式作用到所述虚拟物体上并产生相应的作用效果，例如，参看图2所示，在虚实交互场景中，手为真实环境中的物体，鼠标是存在于虚拟内容中的虚拟物体，可以通过摄像头捕捉手在真实环境中的运动，例如，碰撞、按键、滚动等，并通过本发明模拟真实的物理定律将手在真实环境的运动作用到鼠标这个虚拟物体上并产生相应的按键输入、滚轮输入等操作。
本发明实施例中，以电子游戏交互为例，参看图3所示，手为真实环境中的物体，人是存在于游戏中的虚拟物体，通过本发明，虚拟内容中的人能够着落在手上或者在手上跳动；参看图4所示，手为真实环境中的物体，人和道路是存在于游戏中的虚拟物体，在冒险游戏中，可以在玩家的手的帮助下让虚拟人物通过沟壑、翻越障碍；玩家还可以将自己的手作为防御工具来抵档敌方射出的弓箭，或者玩家利用真实环境中的存在的工具(例如，棍、弹珠等)去攻击敌方；玩家还可以用纸笔画出任意的游戏场景来模拟物理游戏，虚拟物体在玩家设定的游戏场景里运动并和玩家所画的图画交互，与此同时，玩家还可用手或真实环境中的任意其它物体与虚拟物体进行交互。
本发明实施例中，能够将真实环境中与所述边缘点对应的物体的运动状态以超越物理方式作用到所述虚拟物体上并产生相应的作用效果，例如，以电子游戏交互为例，参看图5所示，手为真实环境中的物体，人是存在于游戏中的虚拟物体，能够通过玩家的手将虚拟内容中的人压矮以通过隧道；还能够将虚拟人物放在手中进行晃动或者以超越物理作用的方式将虚拟物体进行扭曲，使其情绪激昂以提高战斗力。
本发明实施例中，基于增强现实的叠加显示基础上，使真实环境中的物体直接对所作用的虚拟内容中的虚拟内容以一种与物理作用一致、相似，或超越物理作用的方式施加作用，以达到真正虚实结合的交互机制和体验。
本发明实施例中，还根据虚拟内容设计的需要，例如：游戏设计的需要，可以排除真实环境中不相关物体的作用，限制只有指定的物体(例如：玩家的手、玩家的全身或任何其他部分肢体)才能对对虚拟物体施加作用。总之，真实环境中的任意物体，无论是静止的还是运动的，都可对虚拟物体施加作用，实现紧密无缝的虚实结合的体验，不需要对于真实环境中的物体的先验知识。
在前述融合真实环境的虚实结合的交互方法的具体实施方式中，可选地，所述基于所述边缘点的运动状态对所述虚拟物体施加相应的作用包括：
当虚拟物体的周围存在边缘点时，则基于所述边缘点的运动状态及虚拟内容中预设的规则，并结合所述虚拟物体的自身状态，将真实环境中与所述边缘点对应的物体的运动状态作用到所述虚拟物体上并产生相应的作用效果。
本发明实施例中，不仅仅可以根据边缘点运动模拟真实的物理定律对虚拟物体施加相应的作用，还能够按照虚拟内容中预设的规则，将边缘点的运动状态施加在虚拟物体上。
在前述融合真实环境的虚实结合的交互方法的具体实施方式中，可选地，所述根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容和真实环境叠加显示包括：
根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容与真实环境进行叠加，完整地显示在屏幕上；或者，
根据虚拟内容中预设的属性，将虚拟内容与真实环境的部分区域进行叠加显示；或者，
根据虚拟内容中预设的属性，将真实环境只显示在屏幕或虚拟场景中的一部分区域。
本发明实施例中，不仅可以将摄像头拍摄到的真实环境完整地与虚拟内容进行叠加，显示在整个屏幕上；还可以将提取出的真实环境图像的部分区域与虚拟内容进行叠加显示；以电子游戏交互为例，还可以将真实环境的图像只显示在屏幕或虚拟场景(例如，游戏场景)的某一部分，例如屏幕的左上角、右上角、左下方或者对应我方游戏人物的区域。
实施例二
本发明还提供一种融合真实环境的虚实结合的交互***的具体实施方式，由于本发明提供的融合真实环境的虚实结合的交互***与前述融合真实环境的虚实结合的交互方法的具体实施方式相对应，该融合真实环境的虚实结合的交互***可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述融合真实环境的虚实结合的交互方法具体实施方式中的解释说明，也适用于本发明提供的融合真实环境的虚实结合的交互***的具体实施方式，在本发明以下的具体实施方式中将不再赘述。
本发明实施例还提供一种融合真实环境的虚实结合的交互***，包括：
确定边缘点运动单元，用于捕捉一帧真实环境的图像，确定该图像中的边缘点在前一帧图像与当前图像之间的运动状态；
作用单元，用于检测虚拟内容中每个虚拟物体的周围是否存在所述边缘点，若存在，则基于所述边缘点的运动状态对所述虚拟物体施加相应的作用；
显示单元，用于根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容和真实环境叠加显示，返回检测边缘点单元继续执行，直至虚实交互结束。
本发明实施例所述的融合真实环境的虚实结合的交互***，通过反复捕捉真实环境的帧图像，并确定该图像中的边缘点在前一帧图像与当前图像之间的运动状态，通过边缘点的运动状态对虚拟内容中的虚拟物体施加相应的作用，最后，根据所述边缘点对所述虚拟物体产生的作用效果，将所述虚拟内容和真实环境叠加显示，这样，真实环境中的任意物体都能直接地对虚拟物体施加相应的作用，以达到真正的虚实结合的交互机制和体验，与现有技术中存在的某些增强现实技术需识别跟踪特定的预设标志不同，本发明不需要对于真实环境中的物体的先验知识。
在前述融合真实环境的虚实结合的交互***的具体实施方式中，可选地，所述确定边缘点运动单元包括：
捕捉模块，用于通过摄像装置捕捉一帧真实环境的图像；
检测模块，用于对该图像进行边缘检测，确定该图像中的边缘点，所述边缘点对应于真实环境中相应物体的轮廓；
确定边缘点运动模块：用于结合捕捉到的前一帧图像，确定每个被检测出的边缘点在前一帧图像与当前图像之间的运动状态。
在前述融合真实环境的虚实结合的交互***的具体实施方式中，可选地，所述检测模块包括：
分割子模块，用于根据虚拟内容中预设的属性，对已捕捉的图像进行分割，提取出与预设的属性相对应的图像，所述预设的属性包括：用于指定与虚拟内容进行交互的存在于真实环境中的物体和/或其运动状态，所述真实环境中的物体包括：存在于自然界中的一切生物和非生物；
检测子模块，用于对提取的图像进行边缘检测，确定该图像中的边缘点。
在前述融合真实环境的虚实结合的交互***的具体实施方式中，可选地，所述确定边缘点运动模块，还用于针对每个被检测出的边缘点，结合被捕捉到的前一帧图像，确定对应在所述边缘点上的真实环境中的物体上的点在前一帧图像与当前图像之间的运动状态。
在前述融合真实环境的虚实结合的交互***的具体实施方式中，可选地，所述作用单元包括：
边缘点判断模块，用于基于叠加显示的方式，检测虚拟内容中每个虚拟物体的周围是否有边缘点；
第一作用模块，用于当虚拟物体的周围存在边缘点时，则基于所述边缘点的运动状态模拟真实的物理定律，并结合所述虚拟物体的自身状态，将真实环境中与所述边缘点对应的物体的运动状态作用到所述虚拟物体上并产生相应的作用效果，所述虚拟物体的自身状态包括：虚拟内容中为虚拟物体设定的虚拟属性。
在前述融合真实环境的虚实结合的交互***的具体实施方式中，可选地，所述第一作用模块包括：
第一作用子模块：用于将真实环境中与所述边缘点对应的物体的运动状态以物理方式作用到所述虚拟物体上并产生相应的作用效果；或者，
第二作用子模块：用于将真实环境中与所述边缘点对应的物体的运动状态以超越物理方式作用到所述虚拟物体上并产生相应的作用效果；
所述第一作用子模块：用于通过模拟真实的物理定律，利用真实环境中的物体去碰撞、击打虚拟物体；或者，
将真实环境中的物体作为攻击、防御或引导工具帮助虚拟物体越过障碍物；或者，
虚拟物体在玩家设定的场景里运动，并与玩家设定的场景以及玩家进行交互；
所述第二作用子模块：用于利用真实环境中的物体去扭曲、压矮虚拟物体。
在前述融合真实环境的虚实结合的交互***的具体实施方式中，可选地，所述作用单元包括：
第二作用模块，用于当虚拟物体的周围存在边缘点时，则基于所述边缘点的运动状态及虚拟内容中预设的规则，并结合所述虚拟物体的自身状态，将真实环境中与所述边缘点对应的物体的运动状态作用到所述虚拟物体上并产生相应的作用效果。
在前述融合真实环境的虚实结合的交互***的具体实施方式中，可选地，所述显示单元包括：
第一显示模块，用于根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容与真实环境进行叠加，完整地显示在屏幕上；或者，
第二显示模块，用于根据虚拟内容中预设的属性，将虚拟内容与真实环境的部分区域进行叠加显示；或者，
第三显示模块，用于根据虚拟内容中预设的属性，将真实环境只显示在屏幕或虚拟场景中的一部分区域。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种融合真实环境的虚实结合的交互方法，其特征在于，包括：
步骤1，捕捉一帧真实环境的图像，利用边缘检测算法对捕捉的图像进行边缘检测，得到所述图像中的边缘点，结合捕捉到的前一帧图像，确定每个被检测出的边缘点在前一帧图像与当前图像之间的运动状态；
步骤2，检测虚拟内容中每个虚拟物体的周围是否存在所述边缘点，若存在，则基于所述边缘点的运动状态对所述虚拟物体施加相应的作用；
其中，所述步骤2包括：
具体为：基于叠加显示的方式，检测虚拟内容中每个虚拟物体的周围是否有边缘点；
若有，则基于所述边缘点的运动状态模拟真实的物理定律，并结合所述虚拟物体的自身状态，将真实环境中与所述边缘点对应的物体的运动状态作用到所述虚拟物体上并产生相应的作用效果，所述虚拟物体的自身状态包括：虚拟内容中为虚拟物体设定的虚拟属性；
其中，所述将真实环境中与所述边缘点对应的物体的运动状态作用到所述虚拟物体上并产生相应的作用效果包括：
将真实环境中与所述边缘点对应的物体的运动状态以物理方式作用到所述虚拟物体上并产生相应的作用效果；或者，
将真实环境中与所述边缘点对应的物体的运动状态以超越物理方式作用到所述虚拟物体上并产生相应的作用效果；
所述将真实环境中与所述边缘点对应的物体的运动状态以物理方式作用到所述虚拟物体上并产生相应的作用效果包括：
通过模拟真实的物理定律，利用真实环境中的物体去碰撞、击打虚拟物体；或者，
将真实环境中的物体作为攻击、防御或引导工具帮助虚拟物体越过障碍物；或者，
虚拟物体在玩家设定的场景里运动，并与玩家设定的场景以及玩家进行交互；
所述将真实环境中与所述边缘点对应的物体的运动状态以超越物理方式作用到所述虚拟物体上并产生相应的作用效果包括：利用真实环境中的物体去扭曲、压矮虚拟物体；
步骤3，根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容和真实环境叠加显示，返回步骤1继续执行，直至虚实交互结束；
其中，所述根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容和真实环境叠加显示包括：
根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容与真实环境进行叠加，完整地显示在屏幕上；或者，
根据虚拟内容中预设的属性，将虚拟内容与真实环境的部分区域进行叠加显示；或者，
根据虚拟内容中预设的属性，将真实环境只显示在屏幕或虚拟场景中的一部分区域。
2.根据权利要求1所述的方法，其特征在于，所述对该图像进行边缘检测，确定该图像中的边缘点包括：
根据虚拟内容中预设的属性，对已捕捉的图像进行分割，提取出与预设的属性相对应的图像，所述预设的属性包括：用于指定与虚拟内容进行交互的存在于真实环境中的物体和/或其运动状态，所述真实环境中的物体包括：存在于自然界中的一切生物和非生物；
对提取的图像进行边缘检测，确定该图像中的边缘点。
3.根据权利要求1所述的方法，其特征在于，所述结合捕捉到的前一帧图像，确定每个被检测出的边缘点在前一帧图像与当前图像之间的运动状态包括：
针对每个被检测出的边缘点，结合被捕捉到的前一帧图像，确定对应在所述边缘点上的真实环境中的物体上的点在前一帧图像与当前图像之间的运动状态。
4.根据权利要求1所述的方法，其特征在于，所述基于所述边缘点的运动状态对所述虚拟物体施加相应的作用包括：
当虚拟物体的周围存在边缘点时，则基于所述边缘点的运动状态及虚拟内容中预设的规则，并结合所述虚拟物体的自身状态，将真实环境中与所述边缘点对应的物体的运动状态作用到所述虚拟物体上并产生相应的作用效果。
5.一种融合真实环境的虚实结合的交互***，其特征在于，包括：
确定边缘点运动单元，用于捕捉一帧真实环境的图像，利用边缘检测算法对捕捉的图像进行边缘检测，得到所述图像中的边缘点，结合捕捉到的前一帧图像，确定每个被检测出的边缘点在前一帧图像与当前图像之间的运动状态；
作用单元，用于检测虚拟内容中每个虚拟物体的周围是否存在所述边缘点，若存在，则基于所述边缘点的运动状态对所述虚拟物体施加相应的作用；
其中，所述作用单元包括：
边缘点判断模块，用于基于叠加显示的方式，检测虚拟内容中每个虚拟物体的周围是否有边缘点；
第一作用模块，用于当虚拟物体的周围存在边缘点时，则基于所述边缘点的运动状态模拟真实的物理定律，并结合所述虚拟物体的自身状态，将真实环境中与所述边缘点对应的物体的运动状态作用到所述虚拟物体上并产生相应的作用效果，所述虚拟物体的自身状态包括：虚拟内容中为虚拟物体设定的虚拟属性；
其中，所述第一作用模块包括：
第一作用子模块：用于将真实环境中与所述边缘点对应的物体的运动状态以物理方式作用到所述虚拟物体上并产生相应的作用效果；或者，
第二作用子模块：用于将真实环境中与所述边缘点对应的物体的运动状态以超越物理方式作用到所述虚拟物体上并产生相应的作用效果；
所述第一作用子模块：用于通过模拟真实的物理定律，利用真实环境中的物体去碰撞、击打虚拟物体；或者，
将真实环境中的物体作为攻击、防御或引导工具帮助虚拟物体越过障碍物；或者，
虚拟物体在玩家设定的场景里运动，并与玩家设定的场景以及玩家进行交互；
所述第二作用子模块：用于利用真实环境中的物体去扭曲、压矮虚拟物体；
显示单元，用于根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容和真实环境叠加显示，返回检测边缘点单元继续执行，直至虚实交互结束；
其中，所述显示单元包括：
第一显示模块，用于根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容与真实环境进行叠加，完整地显示在屏幕上；或者，
第二显示模块，用于根据虚拟内容中预设的属性，将虚拟内容与真实环境的部分区域进行叠加显示；或者，
第三显示模块，用于根据虚拟内容中预设的属性，将真实环境只显示在屏幕或虚拟场景中的一部分区域。
6.根据权利要求5所述的***，其特征在于，所述检测模块包括：
分割子模块，用于根据虚拟内容中预设的属性，对已捕捉的图像进行分割，提取出与预设的属性相对应的图像，所述预设的属性包括：用于指定与虚拟内容进行交互的存在于真实环境中的物体和/或其运动状态，所述真实环境中的物体包括：存在于自然界中的一切生物和非生物；
检测子模块，用于对提取的图像进行边缘检测，确定该图像中的边缘点。
7.根据权利要求5所述的***，其特征在于，所述确定边缘点运动模块，还用于针对每个被检测出的边缘点，结合被捕捉到的前一帧图像，确定对应在所述边缘点上的真实环境中的物体上的点在前一帧图像与当前图像之间的运动状态。
8.根据权利要求5所述的***，其特征在于，所述作用单元包括：
第二作用模块，用于当虚拟物体的周围存在边缘点时，则基于所述边缘点的运动状态及虚拟内容中预设的规则，并结合所述虚拟物体的自身状态，将真实环境中与所述边缘点对应的物体的运动状态作用到所述虚拟物体上并产生相应的作用效果。
CN201510137631.2A 2015-03-26 2015-03-26 一种融合真实环境的虚实结合的交互方法及*** Expired - Fee Related CN104740869B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510137631.2A CN104740869B (zh) 2015-03-26 2015-03-26 一种融合真实环境的虚实结合的交互方法及***
EP16767669.1A EP3275514A4 (en) 2015-03-26 2016-03-04 Virtuality-and-reality-combined interactive method and system for merging real environment
PCT/CN2016/075591 WO2016150292A1 (zh) 2015-03-26 2016-03-04 一种融合真实环境的虚实结合的交互方法及***
US15/697,449 US10661157B2 (en) 2015-03-26 2017-09-07 Method and system incorporating real environment for virtuality and reality combined interaction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510137631.2A CN104740869B (zh) 2015-03-26 2015-03-26 一种融合真实环境的虚实结合的交互方法及***

Publications (2)

Publication Number Publication Date
CN104740869A CN104740869A (zh) 2015-07-01
CN104740869B true CN104740869B (zh) 2018-04-03

Family

ID=53581466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510137631.2A Expired - Fee Related CN104740869B (zh) 2015-03-26 2015-03-26 一种融合真实环境的虚实结合的交互方法及***

Country Status (4)

Country Link
US (1) US10661157B2 (zh)
EP (1) EP3275514A4 (zh)
CN (1) CN104740869B (zh)
WO (1) WO2016150292A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104740869B (zh) 2015-03-26 2018-04-03 北京小小牛创意科技有限公司 一种融合真实环境的虚实结合的交互方法及***
US9928656B2 (en) 2015-09-11 2018-03-27 Futurewei Technologies, Inc. Markerless multi-user, multi-object augmented reality on mobile devices
CN106373187B (zh) * 2016-06-28 2019-01-11 上海交通大学 基于ar的二维图像转换至三维场景的实现方法
CN106390454A (zh) * 2016-08-31 2017-02-15 广州麦驰网络科技有限公司 一种现实场景虚拟游戏***
CN106492461A (zh) * 2016-09-13 2017-03-15 广东小天才科技有限公司 一种增强现实ar游戏的实现方法及装置、用户终端
CN107333057A (zh) * 2017-06-16 2017-11-07 光锐恒宇（北京）科技有限公司 一种应用中的交互实现方法和装置
US20190066385A1 (en) * 2017-08-31 2019-02-28 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
TWI635255B (zh) * 2017-10-03 2018-09-11 宏碁股份有限公司 物體追蹤方法及系統
US10916059B2 (en) 2017-12-06 2021-02-09 Universal City Studios Llc Interactive video game system having an augmented virtual representation
CN108090968B (zh) * 2017-12-29 2022-01-25 光锐恒宇（北京）科技有限公司 增强现实ar的实现方法、装置和计算机可读存储介质
CN108079577A (zh) * 2018-01-05 2018-05-29 玛雅国际文化发展有限公司 一种游乐场的管理***及管理方法
CN108519816A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 信息处理方法、装置、存储介质及电子设备
CN108509043B (zh) * 2018-03-29 2021-01-15 联想(北京)有限公司 一种交互控制方法及***
CN109254649A (zh) * 2018-08-02 2019-01-22 东南大学 一种基于封闭式座舱的高效交互***
CN111103967A (zh) * 2018-10-25 2020-05-05 北京微播视界科技有限公司 虚拟对象的控制方法和装置
CN111142402B (zh) * 2018-11-05 2023-12-15 百度在线网络技术（北京）有限公司 仿真场景构建方法、装置和终端
CN109544694A (zh) * 2018-11-16 2019-03-29 重庆邮电大学 一种基于深度学习的增强现实***虚实混合建模方法
CN111258413A (zh) * 2018-11-30 2020-06-09 北京字节跳动网络技术有限公司 虚拟对象的控制方法和装置
CN110384919B (zh) * 2019-07-17 2023-11-21 咪咕互动娱乐有限公司 一种显示控制方法、终端及计算机可读存储介质
US11017609B1 (en) * 2020-11-24 2021-05-25 Horizon Group USA, INC System and method for generating augmented reality objects

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202142008U (zh) * 2011-03-30 2012-02-08 廖礼士 互动式装置
CN102364486A (zh) * 2011-08-29 2012-02-29 大连明江咨询服务有限公司 一种模拟篮球运动的方法
JP2013000208A (ja) * 2011-06-14 2013-01-07 Sony Computer Entertainment Inc オブジェクト制御プログラム、オブジェクト制御プログラムを記憶したコンピュータ読み取り可能な記録媒体、オブジェクト制御装置、オブジェクト制御方法
KR20140043522A (ko) * 2012-09-21 2014-04-10 숭실대학교산학협력단 투명 양면형 디스플레이 제어 장치 및 그 제어 방법
KR20140059109A (ko) * 2012-11-07 2014-05-15 삼성전자주식회사 Hci 시스템 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100167820A1 (en) * 2008-12-29 2010-07-01 Houssam Barakat Human interface device
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US20120170800A1 (en) * 2010-12-30 2012-07-05 Ydreams - Informatica, S.A. Systems and methods for continuous physics simulation from discrete video acquisition
US9724600B2 (en) * 2011-06-06 2017-08-08 Microsoft Technology Licensing, Llc Controlling objects in a virtual environment
EP2813069A4 (en) * 2012-02-08 2016-12-07 Intel Corp CREATING AN ADVANCED REALITY WITH A REAL SCENE
GB2500416B8 (en) * 2012-03-21 2017-06-14 Sony Computer Entertainment Europe Ltd Apparatus and method of augmented reality interaction
CN102974100B (zh) * 2012-11-28 2016-01-13 广州代代星电子科技有限公司 可用于体感游戏的游戏***
CN104740869B (zh) * 2015-03-26 2018-04-03 北京小小牛创意科技有限公司 一种融合真实环境的虚实结合的交互方法及***
CA3062541C (en) * 2017-05-05 2022-01-11 Unity IPR ApS Contextual applications in a mixed reality environment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202142008U (zh) * 2011-03-30 2012-02-08 廖礼士 互动式装置
JP2013000208A (ja) * 2011-06-14 2013-01-07 Sony Computer Entertainment Inc オブジェクト制御プログラム、オブジェクト制御プログラムを記憶したコンピュータ読み取り可能な記録媒体、オブジェクト制御装置、オブジェクト制御方法
CN102364486A (zh) * 2011-08-29 2012-02-29 大连明江咨询服务有限公司 一种模拟篮球运动的方法
KR20140043522A (ko) * 2012-09-21 2014-04-10 숭실대학교산학협력단 투명 양면형 디스플레이 제어 장치 및 그 제어 방법
KR20140059109A (ko) * 2012-11-07 2014-05-15 삼성전자주식회사 Hci 시스템 및 방법

Also Published As

Publication number Publication date
US20170361216A1 (en) 2017-12-21
US10661157B2 (en) 2020-05-26
EP3275514A1 (en) 2018-01-31
WO2016150292A1 (zh) 2016-09-29
EP3275514A4 (en) 2018-10-10
CN104740869A (zh) 2015-07-01

Similar Documents

Publication Publication Date Title
CN104740869B (zh) 一种融合真实环境的虚实结合的交互方法及***
CN105279795B (zh) 基于3d标记的增强现实***
KR101481880B1 (ko) 휴대용 실감형 상호작용을 위한 시스템
US8907982B2 (en) Mobile device for augmented reality applications
Huynh et al. Art of defense: a collaborative handheld augmented reality board game
US20190238755A1 (en) Method and apparatus for push interaction
KR101692335B1 (ko) 증강현실 영상표시 시스템 및 증강현실 영상표시 방법
Tan et al. Augmented reality games: A review
CN106464773B (zh) 增强现实的装置及方法
CN108805766B (zh) 一种ar体感沉浸式教学***和方法
KR101410410B1 (ko) 체감형 학습 장치 및 방법
CN104881128A (zh) 基于实物在虚拟现实场景中显示目标图像的方法及***
KR20180028764A (ko) 증강현실을 이용한 유아 학습 장치 및 방법
JP2017534135A (ja) モバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法
Roccetti et al. Day and night at the museum: intangible computer interfaces for public exhibitions
KR20140088286A (ko) Nui 장치를 이용한 온라인 게이트볼 게임 서비스 시스템 및 방법
JP6217004B2 (ja) 移動制御装置及びプログラム
Chhor et al. Breakout: Design and evaluation of a serious game for health employing intel realsense
Tregel et al. StreetConqAR: Augmented Reality Anchoring in Pervasive Games
Sung et al. X-portal: Mixed reality for body engagement in new first person game experience
Fukuda et al. Improvement in the fun of the board game by AR introduction (In the case of Japanese Board Game “Sugoroku”)
KR100607046B1 (ko) 체감형 게임용 화상처리 방법 및 이를 이용한 게임 방법
KR102520841B1 (ko) 당구 시뮬레이션 장치 및 그 방법
CN110384919B (zh) 一种显示控制方法、终端及计算机可读存储介质
CN106708256B (zh) 基于opencv和easyar的虚拟按键触发方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180403

Termination date: 20210326