CN102884492A - 增强现实的指向装置 - Google Patents

增强现实的指向装置 Download PDF

Info

Publication number
CN102884492A
CN102884492A CN2011800115902A CN201180011590A CN102884492A CN 102884492 A CN102884492 A CN 102884492A CN 2011800115902 A CN2011800115902 A CN 2011800115902A CN 201180011590 A CN201180011590 A CN 201180011590A CN 102884492 A CN102884492 A CN 102884492A
Authority
CN
China
Prior art keywords
camera
image
augmented reality
point
catches
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800115902A
Other languages
English (en)
Inventor
李汶基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN102884492A publication Critical patent/CN102884492A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种能够将增强现实的特定位置输入到计算机的指向装置。本发明包括：相机，其拍摄用以产生增强现实图像的特征点或标记的照片；以及图像处理器，其识别由所述相机所拍摄的所述特征点或所述标记，且输出指示所述增强现实中的特定位置的位置信息。鼠标游标图像可在从所述图像处理器所输出的所述位置处合成为增强现实图像。

Description

增强现实的指向装置
技术领域
本发明涉及在增强现实空间中指出点的指向装置。
发明内容
技术问题
本发明的目标为提供在增强现实空间中指出点的直观且容易的指向装置。
技术解决方案
本发明包括：第一相机，其捕捉包含特征点的图像以便产生增强现实场景；第二相机，其捕捉包含所述特征点的图像；以及图像处理部分，其通过比较在所述第一相机与所述第二相机所捕捉的图像之间的特征点而产生指向信号，其中指向点对应于所述增强现实空间中的虚拟对象与所述第二相机的视线(光轴)的交点。
发明的效果
通过使用本发明的指向装置(如激光指针)，非常容易且直观地选择增强现实空间中的点。
附图说明
图1为本发明的实施例。
图2为相机坐标系和世界坐标系。
图3为具有包含相机的头戴式显示器的本发明的其它实施例。
具体实施方式
鼠标为广泛使用的桌上型计算机的指向装置。操纵杆用作玩计算机游戏的指向装置。此些常规指向装置经开发以在计算机屏幕中指出点。增强现实技术提供真实世界和虚拟场景。举例来说，智能电话的相机可用以捕捉场景以产生增强现实场景。此增强现实(augmented reality)技术为如下技术：捕捉真实世界、从所捕捉图像提取特征点、计算在相机与所捕捉场景之间的3维相对位置和方向，以及通过虚拟对象的透视投影将虚拟3维对象合成为所捕捉图像，如同虚拟对象存在于真实世界中。特征点可为经印刷矩形的转角点或者自然对象或纹理的转角点(cornerpoint)。经印刷矩形是由ArtoolKit使用，ArtoolKit为众所周知的增强现实软件开发套件。使用自然特征点的增强现实技术被称为无标记增强现实(markerless augmented reality)。可在乔治克雷恩(Georg Klein)和大卫莫瑞(David Murray)的论文“用于小AR工作空间的并行追踪和映射(Parallel Tracking and Mapping for small AR Workspaces)”中找到无标记增强现实
(http://www.robots.ox.ac.uk/～gk/publications/KleinMurray2007ISMA R.pdf)。以上论文解释了从视频流提取特征点、从特征点计算相机位置以及实时地合成增强现实场景的技术。本发明的增强现实的特征点包含自然特征点和非自然特征点两者。
增强现实软件包含以下映射和追踪：映射为从视频流提取对象的标记或转角的特征点，计算来自相机的特征点的3维位置和方向以及存储此些3维位置和方向作为映射数据；追踪为通过比较当前视频流的特征点与映射数据中的特征点而计算相机的3维位置(x，y，z)和方向(像片旋角(yaw)，航向倾角(pitch)，旁向倾角(roll))从特征点计算相机位置可由为众所周知的图像处理库的opencv的函数solvePnP进行。solvePnP的PnP意谓透视N点问题，其为从相对位置已知的n点的所捕捉图像计算相机位置的算法，且更详细描述可在
http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/MARBL E/high/pia/solving.htm中找到。本发明并不限制用于计算相机位置和方向的算法。
位于特征点当中的3维虚拟对象可通过使用由此算法或某一等效算法所计算的相机位置和方向来透视投影(perspective projection)，且可用视频流传输来合成虚拟对象的经投影图像。此经投影虚拟对象可由人眼感觉为如同真实对象。
通过使用增强现实技术，可看见计算机游戏的3维人物在真实世界中到处行走。本增强现实技术中的大部分集中于在不与使用者和虚拟对象互动的情况下由3维计算机制图法合成真实场景与虚拟对象。有必要提供有效方式来与增强现实空间中的虚拟对象互动，以便在增强现实中玩游戏。本发明的目标为提供有效且直观的指向装置(如同激光指针)来与增强现实中的虚拟对象互动。
实施例1
本实施例在图1中解释可用人工标记(MK)用于增强现实的指向装置。仅为便利起见而在本实施例中使用人工标记(mk)，且在真实实施中使用任何标记或自然地貌将为良好的。
在图1中，由增强现实的计算机制图法所产生的虚拟对象(CGS、CGE)为地球(CGE)围绕太阳(CGS)旋转且本发明的指向装置为手持式相机(TC)，其中相机的光轴(视线(viewing vector))如同激光指针般指向太阳(CGS)。
图2展示两个相机(AC、TC)的相机坐标系和标记(MK)的世界坐标系。在图2中，用于增强现实的第一相机(AC)的坐标系是由x1、y1、z1表示，用于指向操作的第二相机(TC)的坐标系是由x2、y2、z2表示，以及标记(mk)的世界坐标系是由xw、yw、zw表示。用于指向操作的第二相机(TC)的光轴(视线(viewing vector))为z2轴。
本实施例的指向装置包括：
第一相机(AC)，其捕捉特征点的场景，此些特征点的形状和大小如图1中所示为已知的(例如，工具套件的矩形的顶点)；
第二相机(TC)，其捕捉相同场景用于指向操作，其中第一相机和第二相机的位置为不同的；
以及图像处理部分
识别两个图像之间的相应特征点，其中第一图像由第一相机捕捉且第二图像由第二相机捕捉，
从此识别计算两个相机之间的3维相对位置和方向，
以及基于两个相机之间的此3维相对位置和方向而产生指向信号。
相机与标记的特征点之间的相对3维位置和方向可通过使用图像处理库“opencv”的函数“solvePnP”来确定。用于产生对应于在两个相机之间的相对位置和方向的指向信号的方法为如下：
用由第一相机所捕捉的输入图像通过使用solvePnP而计算标记与第一相机之间的相对3维位置和方向，其中图像含有标记且标记大小和形状为已知的。
类似地，用由第二相机所捕捉的输入图像通过使用solvePnP而计算此标记与第二相机之间的相对3维位置和方向，其中图像含有同一标记。
通过使用两个相机相对于同一标记的相对位置和方向，两个相机之间的相对位置和方向可得以确定，且第二相机的位置和方向可表示于第一相机的坐标系中。在图2中，点(QQ)为z2轴(第二相机的光轴或视线(viewing vector))与标记平面(xw-yw平面)的交点。
交点(QQ)可由透视投影(perspective projection)投影为第一相机的图像，且经投影点可被视为增强现实空间中指向游标的位置。如果在第二相机(TC)与交点(QQ)之间存在虚拟对象(CGS)(如图1中所示)，那么新的交点(图1中的PP)可被视为增强现实空间中指向游标的位置，且推荐在交点(PP)处合成虚拟鼠标游标图像(AW)用于增强现实图像。
图像处理部分可从由第一相机所捕捉的图像识别标记(MK)，且可通过使用世界坐标系和由经检测标记所确定的透视投影而合成虚拟对象(CGS、CGE)，且合成图像可显示于显示器(DS)上。推荐使得用于指向操作的第二相机作为手持式遥控器形相机，此相机具有如左和右鼠标按钮的输入按钮(BTL、BTR)。通过调整第二相机的查看方向，可指向增强现实空间的虚拟对象(CGS、CGE)。
推荐第一相机(AC)包含于眼镜型显示器(DS)(头戴式显示器或近眼显示器)中，使得第一相机可在眼镜型显示器(DS)的佩戴者的眼睛的查看方向(图2中的z1轴方向)上捕捉图像。图像处理部分可为执行于智能电话、桌上型计算机或DSP(数字信号处理器)或某专用硬件中的软件。通过佩戴包含第一相机(AC)且控制第二相机(TC)的查看方向的方向的眼镜型显示器(DS)，可指向增强现实空间中的任意点。换句话说，改变第二相机的查看方向导致改变虚拟鼠标游标(AW)的位置(图1中的PP)。以下情况为可能的：通过如点击鼠标按钮而按压相机(TC)的按钮来选择虚拟对象，且通过拖放(drag and drop)在增强现实空间中移动虚拟对象。通过触发枪形第二相机(TC)的按钮而射击增强现实游戏的虚拟怪物也是可能的。智能电话或pc相机的相机可用作本实施例的相机(AC、TC)，且智能电话或桌上型计算机的显示器可用作本实施例的显示器(DS)。
实施例2
以上实施例1的第一相机可用如图3中所示的立体相机(AC 1、AC2)替换。在图3中，立体相机安装于眼镜型显示器上，其中由立体相机所捕捉的立体图像显示于眼镜型显示器上。可在http://www.vuzix.com/consumer/products_wrap920ar.html上找到具有立体相机的此眼镜型显示器，http://www.vuzix.com/consumer/products_wrap920ar.html为用于福济斯(vuzix)的产品(WRAP 920AR)的网页。
使用者也可用两个枪形第二相机(TC1、TC2)玩射击游戏。

Claims (8)

1.一种指向装置，其包括：
第一相机部分，其包含用于捕捉特征点的第一图像的第一相机(AC)；
第二相机部分，其包含用于捕捉所述特征点的第二图像的第二相机(TC)；
以及图像处理部分，其用于通过识别由第一相机所捕捉的图像的特征点和由第二相机所捕捉的图像的特征点而计算所述第一相机与所述第二相机之间的相对位置和方向。
2.根据权利要求1所述的指向装置，其特征在于
所述图像处理部分在第一相机的视野中产生对应于所述第二相机的查看方向的指向信号，其中所述查看方向是从在第一相机与第二相机之间的所述相对位置和方向计算。
3.根据权利要求1所述的指向装置，其特征在于
所述图像处理部分通过使用在所述第一相机与由第一相机所捕捉的图像的特征点之间的相对位置和方向而合成用于增强现实的虚拟对象。
4.根据权利要求2所述的指向装置，其特征在于
所述图像处理部分合成虚拟指向游标图标(AW)，其中虚拟指向游标图标(AW)的位置对应于所述指向信号。
5.根据权利要求1所述的指向装置，其特征在于
所述第一相机部分为包含相机的眼镜型显示器，其中所述相机在其佩戴者的查看方向上捕捉图像。
6.根据权利要求5所述的指向装置，其特征在于
眼镜型显示器的所述相机为在其佩戴者的两眼前方的立体相机。
7.一种指向方法，其包括：
捕捉特征点的第一图像用于增强现实；
捕捉所述特征点的第二图像用于指向；以及
通过识别第一图像和第二图像的相应特征点而计算在第一相机与第二相机之间的相对位置和方向；
通过使用在第一相机与第二相机之间的所述相对位置和方向而在第二相机的视野中产生对应于第一相机的查看方向的指向信号。
8.一种存储有用于执行指向方法的计算机程序的计算机可读记录媒体，其中所述指向方法包括：
捕捉特征点的第一图像用于增强现实；
捕捉所述特征点的第二图像用于指向；以及
通过识别第一图像和第二图像的相应特征点而计算在第一相机与第二相机之间的相对位置和方向；
通过使用在第一相机与第二相机之间的所述相对位置和方向而在第二相机的视野中产生对应于第一相机的查看方向的指向信号。
CN2011800115902A 2010-03-01 2011-02-28 增强现实的指向装置 Pending CN102884492A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR10-2010-0018300 2010-03-01
KR20100018300 2010-03-01
KR10-2010-0020172 2010-03-07
KR20100020172 2010-03-07
KR10-2010-0025001 2010-03-21
KR20100025001 2010-03-21
PCT/KR2011/001375 WO2011108827A2 (ko) 2010-03-01 2011-02-28 증강현실의 포인팅 장치

Publications (1)

Publication Number Publication Date
CN102884492A true CN102884492A (zh) 2013-01-16

Family

ID=44542698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800115902A Pending CN102884492A (zh) 2010-03-01 2011-02-28 增强现实的指向装置

Country Status (5)

Country Link
US (1) US20120319949A1 (zh)
JP (1) JP2013521544A (zh)
KR (1) KR101171660B1 (zh)
CN (1) CN102884492A (zh)
WO (1) WO2011108827A2 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9083322B2 (en) 2011-07-12 2015-07-14 Fairchild Semiconductor Corporation Subsonic test signal generation technique
CN107402000A (zh) * 2016-05-19 2017-11-28 赫克斯冈技术中心 用于相对于测量仪器参照显示装置的***和方法
CN110083227A (zh) * 2013-06-07 2019-08-02 索尼互动娱乐美国有限责任公司 在头戴式***内产生增强虚拟现实场景的***和方法
CN110959132A (zh) * 2017-05-27 2020-04-03 李汶基 使用反射镜的眼镜型透明显示器
TWI744610B (zh) * 2018-03-01 2021-11-01 宏達國際電子股份有限公司 場景重建系統、方法以及非暫態電腦可讀取媒體

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101371831B1 (ko) * 2011-09-30 2014-03-26 이문기 스테레오 영상 기반 영상처리 시스템
US9524436B2 (en) * 2011-12-06 2016-12-20 Microsoft Technology Licensing, Llc Augmented reality camera registration
US9310882B2 (en) 2012-02-06 2016-04-12 Sony Computer Entertainment Europe Ltd. Book object for augmented reality
US9966075B2 (en) 2012-09-18 2018-05-08 Qualcomm Incorporated Leveraging head mounted displays to enable person-to-person interactions
JP6138949B2 (ja) * 2012-10-22 2017-05-31 ムン キ イ， 差分カメラを利用した映像処理装置
US9734582B2 (en) 2013-02-21 2017-08-15 Lg Electronics Inc. Remote pointing method
KR20140120000A (ko) * 2013-04-01 2014-10-13 한국전자통신연구원 3차원공간의 분석을 통한 입체영상 자막 생성 장치 및 방법
US20150339855A1 (en) * 2014-05-20 2015-11-26 International Business Machines Corporation Laser pointer selection for augmented reality devices
RU2576781C1 (ru) * 2015-03-06 2016-03-10 Владимир Евгеньевич Афоньшин Способ оценки критической частоты слияния световых мельканий
KR102304023B1 (ko) * 2015-04-03 2021-09-24 한국과학기술원 증강현실 기반 인터렉티브 저작 서비스 제공 시스템
US10409443B2 (en) * 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
KR101696558B1 (ko) * 2015-12-02 2017-01-13 에스케이 주식회사 증강현실형 hmd를 활용한 독서/학습 보조 시스템 및 방법
KR102559625B1 (ko) * 2016-01-25 2023-07-26 삼성전자주식회사 증강 현실 출력 방법 및 이를 지원하는 전자 장치
RU2657386C1 (ru) * 2017-07-24 2018-06-13 Валерий Витальевич Роженцов Способ ранжирования спортсменов по разрешающей способности зрительных событий во времени
US10835809B2 (en) 2017-08-26 2020-11-17 Kristina Contreras Auditorium efficient tracking in auditory augmented reality
US11262854B2 (en) 2017-09-25 2022-03-01 Hewlett-Packard Development Company, L.P. Sensing movement of a hand-held controller
GB2580915B (en) * 2019-01-29 2021-06-09 Sony Interactive Entertainment Inc Peripheral tracking system and method
KR102218843B1 (ko) * 2019-11-19 2021-02-22 광운대학교 산학협력단 스테레오 카메라를 이용한 중첩 레이어 기반의 멀티 카메라 증강현실 방송시스템 및 그 제공 방법
US11294461B2 (en) 2020-01-24 2022-04-05 Magic Leap, Inc. Content movement and interaction using a single controller
JP2023040322A (ja) * 2020-02-28 2023-03-23 株式会社Ｎｔｔドコモ コンテンツ共有システム及び端末
US11119570B1 (en) * 2020-10-29 2021-09-14 XRSpace CO., LTD. Method and system of modifying position of cursor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6972734B1 (en) * 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
US20060050087A1 (en) * 2004-09-06 2006-03-09 Canon Kabushiki Kaisha Image compositing method and apparatus

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830389A (ja) * 1994-07-12 1996-02-02 Saifuaa Shiya:Kk 三次元マウス装置および三次元画像データ・指令入力装置
JPH10198506A (ja) * 1997-01-13 1998-07-31 Osaka Gas Co Ltd 座標検出システム
JP4242529B2 (ja) * 1999-10-27 2009-03-25 オリンパス株式会社 関連情報呈示装置及び関連情報呈示方法
KR100446236B1 (ko) * 2001-07-02 2004-08-30 엘지전자 주식회사 비접촉식 3차원 무선 조이스틱
JP3849030B2 (ja) 2004-04-23 2006-11-22 国立大学法人 和歌山大学 カメラキャリブレーション装置及び方法
KR20050108569A (ko) * 2004-05-12 2005-11-17 이종원 증강현실에서 텐저블 인터페이스를 이용한 모델링 시스템
JP4933164B2 (ja) * 2005-07-01 2012-05-16 キヤノン株式会社 情報処理装置、情報処理方法、プログラムおよび記憶媒体
JP4777182B2 (ja) * 2006-08-01 2011-09-21 キヤノン株式会社 複合現実感提示装置及びその制御方法、プログラム
KR100944721B1 (ko) * 2007-11-14 2010-03-03 조정환 카메라와 광원을 이용한 3차원 좌표지정장치
JP5423406B2 (ja) * 2010-01-08 2014-02-19 ソニー株式会社 情報処理装置、情報処理システム及び情報処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6972734B1 (en) * 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
US20060050087A1 (en) * 2004-09-06 2006-03-09 Canon Kabushiki Kaisha Image compositing method and apparatus

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9083322B2 (en) 2011-07-12 2015-07-14 Fairchild Semiconductor Corporation Subsonic test signal generation technique
CN110083227A (zh) * 2013-06-07 2019-08-02 索尼互动娱乐美国有限责任公司 在头戴式***内产生增强虚拟现实场景的***和方法
CN110083227B (zh) * 2013-06-07 2022-08-23 索尼互动娱乐美国有限责任公司 在头戴式***内产生增强虚拟现实场景的***和方法
CN107402000A (zh) * 2016-05-19 2017-11-28 赫克斯冈技术中心 用于相对于测量仪器参照显示装置的***和方法
CN107402000B (zh) * 2016-05-19 2020-07-03 赫克斯冈技术中心 用于将显示装置相对于测量仪器相互关联的方法和***
CN110959132A (zh) * 2017-05-27 2020-04-03 李汶基 使用反射镜的眼镜型透明显示器
CN110959132B (zh) * 2017-05-27 2022-06-14 李汶基 眼镜型显示器及可变焦距眼镜型显示器
TWI744610B (zh) * 2018-03-01 2021-11-01 宏達國際電子股份有限公司 場景重建系統、方法以及非暫態電腦可讀取媒體

Also Published As

Publication number Publication date
JP2013521544A (ja) 2013-06-10
KR20110099176A (ko) 2011-09-07
US20120319949A1 (en) 2012-12-20
WO2011108827A3 (ko) 2012-01-12
WO2011108827A2 (ko) 2011-09-09
KR101171660B1 (ko) 2012-08-09

Similar Documents

Publication Publication Date Title
CN102884492A (zh) 增强现实的指向装置
US10732725B2 (en) Method and apparatus of interactive display based on gesture recognition
US10089794B2 (en) System and method for defining an augmented reality view in a specific location
US20100302145A1 (en) Virtual desktop coordinate transformation
CN104508600A (zh) 三维用户界面装置及三维操作方法
CN104662587A (zh) 三维用户界面装置以及三维操作方法
KR20140010616A (ko) 3ｄ 가상 객체에 대한 조작 처리 장치 및 방법
JP5656514B2 (ja) 情報処理装置及び方法
JP2009258884A (ja) ユーザインタフェイス
Bellarbi et al. A 3d interaction technique for selection and manipulation distant objects in augmented reality
WO2014111947A1 (en) Gesture control in augmented reality
US9122346B2 (en) Methods for input-output calibration and image rendering
EP3309713B1 (en) Method and device for interacting with virtual objects
US11501577B2 (en) Information processing apparatus, information processing method, and storage medium for determining a contact between objects
US10345595B2 (en) Head mounted device with eye tracking and control method thereof
Abdelnaby et al. Augmented reality maintenance training with intel depth camera
JP2019046472A (ja) 画像処理装置、画像処理方法
US20230367403A1 (en) Terminal device, virtual object manipulation method, and virtual object manipulation program
Nivedha et al. Enhancing user experience through physical interaction in handheld augmented reality
Wu et al. Capturing reality for a billiards simulation
US20240221240A1 (en) Display device, method of controlling display device, and computer-readable storage medium
Liu et al. A cross-platform framework for physics-based collaborative augmented reality
WO2023058545A1 (ja) 情報処理装置および方法、プログラム
Chang et al. A²FinPose: An Artificial Intelligence and Augmented Reality-Based Finger Gesture Recognition System for the Human-Machine Interface of Head-mounted Near-Eye Displays
Chun et al. A vision-based hand haptic interaction for the control of a deformable virtual object in AR

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130116