CN109668545B - 用于头戴式显示装置的定位方法、***以及定位*** - Google Patents
用于头戴式显示装置的定位方法、***以及定位*** Download PDFInfo
- Publication number
- CN109668545B CN109668545B CN201711000385.1A CN201711000385A CN109668545B CN 109668545 B CN109668545 B CN 109668545B CN 201711000385 A CN201711000385 A CN 201711000385A CN 109668545 B CN109668545 B CN 109668545B
- Authority
- CN
- China
- Prior art keywords
- reference object
- image
- positioner
- head
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004891 communication Methods 0.000 claims abstract description 23
- 230000033001 locomotion Effects 0.000 claims description 43
- 230000004044 response Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000013500 data storage Methods 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Length Measuring Devices By Optical Means (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种用于头戴式显示装置的定位方法及其***与***,上述的方法包括下列步骤。提供***以设置于头戴式显示装置上,其中***包括影像撷取装置以及通信接口,***通过通信接口与头戴式显示装置连接。于操作空间中,由***利用影像撷取装置撷取参考物件的影像,以产生第一参考物件影像。由***根据第一参考物件影像,计算头戴式显示装置与参考物件的相对位置,进而取得头戴式显示装置于操作空间中的定位信息。由***将定位信息传送至头戴式显示装置。
Description
技术领域
本发明涉及一种定位方法、***以及定位***,且特别涉及一种用于头戴式显示装置的定位方法、***以及定位***。
背景技术
头戴式显示装置以往大多使用在军事用途,但随着显示器、陀螺仪、空间感应器等关键零组件的科技先进发展、制造成本降低与微型轻量化,使得例如虚拟现实(VirtualReality,VR)、增强现实(Augmented Reality,AR)、混合现实(Mixed Reality,MR)等头戴式显示装置开始走进一般消费市场,提供消费者完全不同于一般平面显示器的视觉感官享受。以虚拟现实而言,通过近眼显示器提供双眼具有视差的二张影像,配合陀螺仪及动作感应器,可创造出具有真实影像、声音以及其它感官上的拟真世界,以在有限空间中复制出真实环境或是虚构场景。因此,使用者得以融入、探索以及操控虚拟现实环境而感觉仿佛身历其境。
一般虚拟现实***中的体感设备的定位方式主要是采用由外向内追踪技术(outside-in tracking)以及由内向外追踪技术(inside-out tracking),以在固定空间中通过红外线LED元件或者是搭配摄影机进行追踪定位。然而,上述两种技术皆需要较高的硬件成本,架设的困难度较高且空间定位的程序较复杂。
发明内容
有鉴于此,本发明提供一种用于头戴式显示装置的定位方法、***以及定位***,其可在无须于操作空间中架设额外的定位设备的前提下,以成本低廉以及简易的方式来进行头戴式显示装置的定位。
在本发明的一实施例中,上述的方法包括下列步骤。提供***以设置于头戴式显示装置上,其中***包括影像撷取装置以及通信接口,***通过通信接口与头戴式显示装置连接。于操作空间中,由***利用影像撷取装置撷取参考物件的影像,以产生第一参考物件影像。由***根据第一参考物件影像,计算头戴式显示装置与参考物件的相对位置,进而取得头戴式显示装置于操作空间中的定位信息。由***将定位信息传送至头戴式显示装置。
在本发明的一实施例中,上述的***包括影像撷取装置、通信接口、数据储存装置以及处理器,其中处理器耦接影像撷取装置、通信接口以及储存装置。影像撷取装置用以于操作空间中撷取参考物件的影像,以产生第一参考物件影像。通信接口用以与头戴式显示装置建立连线。数据储存装置用以储存数据。处理器用以根据第一参考物件影像,计算头戴式显示装置与参考物件的相对位置,进而取得头戴式显示装置于操作空间中的定位信息,以及通过通信接口传送定位信息至头戴式显示装置。
在本发明的一实施例中,上述的***包括参考物件、***以及头戴式显示装置,其中***设置于头戴式显示装置上并且与头戴式显示装置连接。***用以于操作空间中,撷取参考物件的影像,以产生第一参考物件影像,根据第一参考物件影像,计算头戴式显示装置与参考物件的相对位置,进而取得头戴式显示装置于操作空间中的定位信息,以及传送定位信息至头戴式显示装置。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合附图说明书附图作详细说明如下。
附图说明
图1为根据本发明一实施例所绘示的定位***的示意图。
图2A为根据本发明的一实施例所绘示的定位方法的流程图。
图2B为根据本发明的一实施例所绘示的球面坐标的示意图。
图3A为根据本发明的一实施例所绘示的定位方法的初始化设定流程图。
图3B为根据本发明的一实施例所绘示的初始化定位方法的示意图。
图4为根据本发明一实施例所绘示的***的方块图。
图5A为根据本发明的一实施例所绘示的定位方法的流程图。
图5B为根据本发明的一实施例所绘示的目前影像的示意图。
图6A为根据本发明的一实施例所绘示的定位方法的情境示意图。
图6B为根据本发明的一实施例所绘示的定位方法的情境示意图。
附图标记说明:
100:定位***
110:参考物件
120:***
130:虚拟现实头戴装置
S:操作空间
S202~S206、S302~S312、S502~S522:步骤
P:点
r:径向距离
θ:倾斜角度
平面旋转角度
O:原点位置
A、B、C、D:角落位置
410:影像撷取装置
420:运动感测器
430:时间产生器
440:通信接口
450:数据储存装置
460:处理器
d2、d3、d5、d6:距离
C:中心点
110’:参考物件的影像
Img、Img61~Img66:参考物件影像
FOV:视野
具体实施方式
本发明的部分实施例接下来将会配合附图来详细描述,以下的描述所引用的元件符号,当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部分,并未公开所有本发明的可实施方式。更确切的说,这些实施例只是本发明的专利申请范围中的方法以及***的范例。
为利于具体说明,以下说明内容以及图1至图6B仅将以头戴式显示装置中的一种虚拟现实装置为范例做说明,但不用以限制本发明的应用产品领域,例如也可适用在增强现实或混合实镜等各种头戴式显示装置上。图1为根据本发明一实施例所绘示的定位***的示意图,但此仅是为了方便说明,并不用以限制本发明。首先图1先介绍定位***中的所有构件以及配置关系,详细功能将配合图2一并公开。
请参照图1,定位***100包括参考物件110、***120以及VR头戴装置130,其中***120设置于VR头戴装置130上。在本实施例中,定位***100将在操作空间S中针对VR头戴装置130进行定位。值得一提的是,本发明所提及的操作空间S较常为室内空间,包括全封闭或不完全封闭的室内空间,但也不排除可以指具有实体或虚拟边界的户外空间,只要能设置参考物件110以及可定义出边界即可满足本发明所指的操作空间S。
在本实施例中,参考物件110为具有可识别方向性的图形、图片、照片等影像。***120至少包括影像撷取装置、通信接口、处理器以及数据储存装置,其是基于影像分析的方式来达到定位功能,而硬件构件的详细内容将于后续进行说明。
针对参考物件110,以图形而言,其可以例如是无对称轴的图形或是只有一条对称轴的线对称图形。另一方面,具有两条以上对称轴的图形等较不易于识别其方向性的图形(例如圆形、矩形等)则将不会被采用。以图片、照片而言,则是需要一定数量的特征点以利于***120进行影像辨识。值得一提的是,在***120出厂前,其可例如是内建支援数个图形于储存装置,而此些图形亦会储存于例如是云端伺服器,以便于使用者自行下载以及列印出而成为参考物件110。如此一来,可以确保***120在后续执行定位方法时对每一个图形的辨识达到优化的效能,且因可掌握所支援的图形,故***120更可以使用较低阶的处理器以降低硬件成本。
在另一实施例中,参考物件110亦可以是操作空间S中所选择的特定物件,不论是二维或三维物件,最好均满足如上述的具可识别方向性以及多个特征点。在***120进行定位之前,将会针对特定物件进行拍摄并且上传至例如是云端伺服器以进行特征点辨识,并且云端伺服器再将特征点辨识的结果回传至***120并且储存于***120的储存装置,亦可在后续执行定位方法时达到优化的效能。
VR头戴装置130可以是实作成头戴显示器或是眼镜。VR头戴装置130至少包括整合显示器以及通信接口。显示器例如是液晶显示器(Liquid-Crystal Display,LCD)、发光二极管(Light-Emitting Diode,LED)显示器(例如OLED显示器或Micro LED显示器)或其他类似装置。VR头戴装置130会通过通信接口自***120取得本身的定位信息,再通过通信接口以现有的无线或有线方式再将定位信息输出至主机(未绘示),而主机会依据定位信息将与该定位信息关联的VR影像内容传送给VR头戴装置130的显示器呈现。值得一提的是,上述实施例是VR头戴装置130与主机(例如电脑)分离的分离式***,而本发明另一实施例中VR头戴装置130与主机是整合在一起而为单一整合***。
图2为根据本发明的一实施例所绘示的定位方法的流程图,而图2的步骤可以是以图1所绘示的定位***100来实现。在本实施例中,参考物件110为具有特殊图样的影像并且固定于操作空间S中的天花板。在另一实施例中,参考物件110亦可以是固定于操作空间S中垂直平面的墙面并且建议高于***120的水平高度,以达到较佳的影像辨识效果。必须先说明的是,由于***120是设置于VR头戴装置130上并且两者之间仅存在一个已知的距离,因此在以下的描述当中,***120的位置将假设等同于VR头戴装置130的位置。
请同时参照图1以及图2,首先,***120将撷取参考物件110的影像,以产生第一参考物件影像(步骤S202)。接着,***120将根据第一参考物件影像,计算VR头戴装置130与参考物件110的相对位置,进而取得VR头戴装置130于操作空间S的定位信息(步骤S204)。在此的相对位置可以例如是以VR头戴装置130与参考物件110之间的距离、相对于水平面的倾斜角度以及平面旋转角度来表示,而定位信息可以是以操作空间S的绝对位置来表示。
详细来说,基于影像的成像,当***120与参考物件110之间的距离越近时,第一参考物件影像中的参考物件将会越大,而当***120与参考物件110之间的距离越远时,第一参考物件影像中的参考物件将会越小。***120可以利用此关系计算出VR头戴装置130与参考物件110之间的距离。另一方面,当***120与参考物件110之间相对于水平方向具有倾斜角度时,第一参考物件影像中的参考物件将会因***120撷取影像的视角不同(angle of view)而产生不同程度的变形。因此,***120可以利用第一参考物件影像中的参考物件的变形程度计算出VR头戴装置130与参考物件110之间的倾斜角度。此外,***120可以利用第一参考物件影像中的参考物件的呈现方位计算出***120与参考物件110之间的平面旋转角度。
***120所计算出的VR头戴装置130与参考物件110的相对位置可以是表示成球面坐标(spherical coordinate),即其中r、θ、/>分别为***120与参考物件110之间的径向距离、倾斜角度以及平面旋转角度。***120会更进一步地将/>转换成操作空间S的定位信息,例如表示成直角坐标(Cartesian coordinate),即(x,y,z)。之后,***120将传送定位信息至VR头戴装置130(步骤S206),以用于后续VR头戴装置130针对VR影像内容的显示。以图2B根据本发明之一实施例所绘示的球面坐标示意图来说,假设P点的球面坐标为/>则P点的绝对坐标可以是以来表示。
相较于一般用于虚拟现实的定位***需要较高的硬件成本及其架设的困难度,本实施例中的使用者仅需在操作空间S中设置参考物件110以及简单的步骤即可完成定位***100的初始化设定。具体来说,图3A为根据本发明之一实施例所绘示的定位方法的初始化设定流程图,图3B为根据本发明之一实施例所绘示的操作空间的平面示意图。
请先同时参照图1、图3A,在完成参考物件110的设置后,VR头戴装置130将与***120连线(步骤S302)。在本实施例中,VR头戴装置130可以是对应一个应用程序,其记录前次连线的***120。当此应用程序启动时,当VR头戴装置130尚未与***120连线时,应用程序将会与***120要求建立连线。假设应用程序并未记录前次连线的***120或者是需要连线至其它***,则可于应用程序的输入接口提供使用者来选择输入。
接着,***120将自正向于参考物件110的原点位置撷取参考物件110的影像,以产生参考物件影像(步骤S304),并且VR头戴装置130将取得VR头戴装置130与参考物件110之间的距离,以取得原点位置坐标(步骤S306)。假设参考物件110是设置于天花板上,则原点位置可以是在参考物件110的正下方,也就是说使用者将戴着VR头戴装置130站在参考物件110的正下方,以让***120得以正向地撷取到参考物件110的影像。当***120撷取并且辨识出参考物件110的影像时,可由VR头戴装置130的应用程序输入接口将要求使用者手动输入VR头戴装置130与参考物件110之间的距离,或者是通过参考物件110的影像大小,在参考物件110的实际大小为已知的前提下来判断出VR头戴装置130与参考物件110之间的距离。以图3B为例,假设O为原点位置,而其坐标为(0,0,z0),其中z0为VR头戴装置130位于原点位置O时与参考物件110之间的距离。
由于当***120撷取并且辨识出参考物件110的影像之后,***120将锁定该参考物件110位置并持续且动态地追踪该参考物件110。接着,当使用者戴着VR头戴装置130并依序移动至空间S的多个角落时,***120将自操作空间S的多个角落位置分别撷取参考物件110的影像,以产生分别对应于各个角落位置的角落参考物件影像(步骤S308),并且由VR头戴装置130取得各个角落位置坐标(步骤S310)。当***120于各个角落位置撷取并且辨识出参考物件110的影像时,可由VR头戴装置130的应用程序输入接口将要求使用者输入角落位置坐标,或者是通过参考物件110的影像大小,在参考物件110的实际大小为已知的前提下来判断出角落位置坐标。以图3B为例,假设A、B、C以及D分别为四个角落位置,而其坐标则分别为(x1,y1,z0)、(x2,y2,z0)、(x3,y3,z0)以及(x4,y4,z0)。其它位置于操作空间S的坐标可以是以现有的内插法(interpolation)等方式来推算而出,于此则不再详述。
附带说明的是,VR头戴装置130可利用四个角落位置及其坐标定义出操作空间S中使用者可活动的边界,以避免沉浸于虚拟现实世界中的使用者碰撞到墙壁或是实际物体。之后,VR头戴装置130将传送原点坐标以及所有角落坐标至***(步骤S312),以完成初始化设定。
基于使用者在使用VR头戴装置130往往会不断地移动而导致***120的影像撷取装置无法实时地撷取到参考物件110的影像,因此在以下的实施例中,将导入检测VR头戴装置130的移动而对应地自动控制***120快速反应与追踪的机制,以使得定位方法更为精确。
图4为根据本发明一实施例所绘示的***120的方块图,但此仅是为了方便说明,并不用以限制本发明。首先图4先介绍***120中的所有构件以及配置关系,详细功能将配合图5一并公开。
请参照图4,***120包括影像撷取装置410、运动感测器420、时间产生器430、通信接口440、数据储存装置450以及处理器460。
影像撷取装置410用以撷取其前方的影像并且包括具有透镜以及感光元件的摄像镜头。感光元件用以感测进入透镜的光线,进而产生影像。感光元件可以例如是电荷耦合元件(charge coupled device,CCD)、互补性氧化金属半导体(complementary metal-oxidesemiconductor,CMOS)元件或其他元件,本发明不在此设限。影像撷取装置410的视野(field of view,FOV)可以是120度,然而本发明不限于此。
运动感测器420可以是由加速度计(accelerometer)、陀螺仪(gyroscope)、磁强计(magnetometer)等组合而成以检测VR头戴装置130或***本身的移动以及旋转的感测器。但当然,亦不排除只包含加速度计、陀螺仪、磁强计的其一或其二,端视实际规格需求与成本而定。
时间产生器430用以提供时间,其可以例如是实时时钟(real-time clock,RTC)等可输出精确时间的电子装置或集成电路。
通信接口440用以与VR头戴装置130进行数据传输,其可以例如是蓝牙(Bluetooth)等支援近距离且具有低功耗、低成本特性的无线传输通信接口。在其它实施例中,通信接口440亦可以是USB等连接接口,以与VR头戴装置130进行有线连接。
数据储存装置450用以存储器映象、数据、缓冲数据、永久数据以及用来执行处理器460的功能的编译程序码,其可以是任意型式的非暂态性、挥发性、非挥发性的存储器,例如动态随机存取存储器(dynamic random access memory,DRAM)、随机存取存储器(randomaccess memory,RAM)、快闪存储器(flash memory)、硬盘或其他类似装置、集成电路及其组合。
处理器460用以控制***120的整体运作,其可以是场式可程序闸阵列(FieldProgrammable Array,FPGA)、可编程逻辑装置(Programmable Logic Device,PLD)、特殊应用集成电路(Application Specific Integrated Circuits,ASIC)、中央处理单元(Central Processing Unit,CPU)、应用处理器(Application Processor,AP),或是其他可编程的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(DigitalSignal Processor,DSP)、图形处理器(Graphics Processing Unit,GPU)或其他类似装置、晶片、集成电路及其组合。
附带说明的是,本领域具通常知识者应明了***120还包括用以提供***120所需电源的电池单元。此外,***120更可包括用以承载影像撷取装置410伺服单元,其是由处理器460所控制。伺服单元可包括用以控制影像撷取装置410进行X轴方向移动的X轴伺服以及用以控制影像撷取装置410进行Z轴方向移动的Z轴伺服。
图5A为根据本发明的一实施例所绘示的定位方法的流程图。图5A的步骤可以是以图1所绘示的定位***100来实现。
请同时参照图1、图4以及图5A,首先,***120的影像撷取装置410将撷取前方的影像,以产生目前影像(步骤S502),运动感测器420将检测***120的移动以及旋转,以产生目前动作数据(步骤S504),并且时间产生器430将产生目前时间数据(步骤S506)。在此的目前影像为影像撷取装置410所撷取到包含参考物件110的影像。目前动作数据为同一时点***120相对于水平面的角度差以及***120的加速度。目前时间数据可以是上述时点的时间戳(timestamp)。
***120的处理器460在读取目前影像、目前动作数据以及目前时间数据后,将根据目前影像计算影像撷取装置410与参考图像110的相对坐标,以产生目前相对坐标(步骤S508),并且根据目前动作数据校正目前相对坐标,从而产生VR头戴装置130的目前定位信息(步骤S510)。接着,通信接口440则会将目前时间数据以及VR头戴装置130的目前定位信息传送至VR头戴装置130(步骤S512)。具体来说,假设影像撷取装置410与参考图像110的目前相对坐标可以表示成而处理器460将取得***120相对于水平面的角度差为/>并且例如是通过伺服单元取得影像撷取装置410所旋转的角度为/>VR头戴装置130的目前相对坐标将校正/> 处理器460将更进一步地将校正后的目前相对坐标转换成直角坐标,即Pvr=(xvr,yvr,zvr),以成为目前定位信息。
另一方面,为了使影像撷取装置410与参考物件110保持最佳视野(即,确保参考物件110的影像位于所撷取到的影像的中心点附近),影像撷取装置410需持续地追踪参考物件110。因此,当VR头戴装置130快速移动时,处理器460可预测并且调整影像撷取装置410的移动轨迹,以避免失去针对参考物件的追踪。
详细来说,***120的处理器460将会计算目前影像中的特定图像与中心点之间的距离,以产生目前距离(步骤S514)。具体来说,以5B根据本发明的一实施例所绘示的目前影像的示意图来说,目前影像Img中的参考图像110’与中心点C之间的目前距离可表示成
接着,处理器460将计算目前动作数据与先前动作数据之间的差值,以产生目前差值(步骤S516),并且判断目前差值是否大于预设差值(步骤S518)。然而,在移动影像撷取装置410之前,处理器460需要判断VR头戴装置的移动速度来决定移动影像撷取装置410的距离,因此将会计算目前动作数据与先前动作数据之间的差值D(t-1,t),以判断此差值是否大于预设差值S,其中t为目前时间数据。此预设差值为门槛值,其与***120的***反应时间以及影像撷取装置410的FOV相关。当***120的***反应时间越快时,则预设差值越大,反之则越小。当影像撷取装置410的FOV越大,则预设差值越大,反之则越小。
基此,当目前差值大于预设差值时(即,D=(t-1,t)>S),影像撷取装置410将以目前距离的倍数移动(步骤S520),其中此倍数可以表示成SD,其中SD>1(例如是1.5)。在此情况下代表使用者以较快的速度移动VR头戴装置130,因此影像撷取装置410的移动将加大成为其代表当VR头戴装置130的移动速度越快时,影像撷取装置410的移动距离越大,反之则越小。
当目前差值不大于预设差值时(即,D=(t-1,t)<S),影像撷取装置410将以目前距离移动(步骤S522)。在此情况下代表使用者以较慢的速度移动VR头戴装置130,因此影像撷取装置410的移动则为成为
影像撷取装置410经移动后,所补捉到的视角将会不同,则流程将回到步骤S502,影像撷取装置410将重新撷取前方的影像。
图6A~图6B为根据本发明的一实施例所绘示的定位方法的情境示意图。
请先参照图6A,在此的影像撷取装置410的FOV为40度,因此参考物件110将会在所撷取的影像中呈现较大的尺寸。当使用者的头向上正对参考图像110时,影像撷取装置410所撷取到的影像Img61中的参考物件110’则将位于中心点C。当使用者的头往左倾例如是30度时,影像撷取装置410所撷取到的影像Img62中的参考物件110’则将在中心点C的右边并且距离d2的位置。当使用者的头往右倾例如是30度时,影像撷取装置410所撷取到的影像Img63中的参考物件110’则将在中心点C的左边并且距离d3的位置。
请再参照图6B,在此的影像撷取装置410的FOV为120度,因此参考物件110将会在所撷取的影像中呈现较小的尺寸。当使用者的头正对参考图像110时,影像撷取装置410所撷取到的影像Img64中的参考物件110’则将位于中心点C。当使用者的头往左倾例如是30度时,影像撷取装置410所撷取到的影像Img65中的参考物件110’则将在中心点C的右边并且距离d5的位置。当使用者的头往右倾例如是30度时,影像撷取装置410所撷取到的影像Img66中的参考物件110’则将在中心点C的左边并且距离d6的位置。
因此,即使使用者的头倾斜相同的角度,FOV的不同将使得d2>d5以及d3>d6。简单来说,当FOV越大时,则代表S值越大,反之则越小。假设预设差值为S并且可以设定为影像的1/4距离。当FOV为40度时,d2以及d3皆大于S,因此需要乘上一个大于1的倍数SD(例如是1.5),以确保参考物件110’于影像中可以位于中心点C。以下表1将具体说明针对图6A~图6B的情境时影像撷取装置410所需移动的角度。
表1
附带一提的是,以使用者的头以加速度a往左移动30度并且参考物件110’与中心点C的距离为d2为例,若***120的***反应时间快2倍,则参考物件110’与中心点C的距离将会成为d2/2<S。也就是说***120的***对于预设距离S的容忍度将会加大。
综上所述,本发明所提出用于头戴式显示装置的定位方法、***与定位***,其针对操作空间中的参考物件来进行影像撷取,以利用所撷取到的影像来计算头戴式显示装置与参考物件的相对位置,进而取得头戴式显示装置于操作空间中的定位信息。如此一来,本发明可在无须于操作空间中架设额外的定位设备,以成本低廉以及简易的方式来进行头戴式显示装置的定位,以增强本发明在实际应用中的适用性。
虽然本发明已以实施例公开如上,然其并非用以限定本发明,任何所属技术领域技术人员,在不脱离本发明的精神和范围内,当可作些许的变动与润饰,故本发明的保护范围当视后附的权利要求所界定者为准。
Claims (19)
1.一种用于头戴式显示装置在操作空间中定位的定位方法,该操作空间固定设置有参考物件且定义出边界,该参考物件为具有可识别方向性的图形或二维或三维物件,该方法包括下列步骤:
提供***以设置于该头戴式显示装置上,其中该***包括影像撷取装置以及通信接口,该***通过该通信接口与该头戴式显示装置连接;
于该操作空间中,由该***利用该影像撷取装置撷取该操作空间中的参考物件的影像,以产生第一参考物件影像;
由该***根据该第一参考物件影像,计算该头戴式显示装置与该参考物件的表示成球面坐标的相对位置,进而取得该头戴式显示装置于该操作空间中的定位信息,其中,该***锁定该参考物件位置并持续且动态地追踪该参考物件;以及
由该***传送该定位信息至该头戴式显示装置,其中在由该***撷取该参考物件的该影像,以产生该第一参考物件影像的步骤之前,该方法还包括下列步骤:
由该***自正向于该参考物件的原点位置撷取该参考物件的影像,以产生对应于该原点位置的原点参考物件影像,并且由该头戴式显示装置取得该***与该参考物件之间的距离,以取得该原点位置的原点坐标;
由该***自该操作空间的多个角落位置撷取该参考物件的影像,以产生分别对应于各所述角落位置的角落参考物件影像,并且由该头戴式显示装置取得各所述角落位置的角落坐标;以及
由该头戴式显示装置传送该原点坐标以及所述角落坐标至该***。
2.如权利要求1所述的方法,其中该参考物件为具有方向性的图像并且设置于该操作空间中的顶面或是垂直侧面。
3.如权利要求1所述的方法,其中该头戴式显示装置与该参考物件的该相对位置关联于该头戴式显示装置与该参考物件之间的径向距离、相对于水平面的倾斜角度以及水平旋转角度,而该头戴式显示装置的该定位信息关联于该头戴式显示装置于该操作空间中的绝对位置。
4.如权利要求1所述的方法,其中由该头戴式显示装置取得各所述角落位置的该角落坐标的步骤之后,该方法还包括:
由该头戴式显示装置根据各所述角落位置的该角落坐标定义该头戴式显示装置于该操作空间中的活动边界。
5.如权利要求1所述的方法,其中该***还包括运动感测器以及时间产生器,而该方法还包括:
由该***利用该运动感测器检测该***的移动以及旋转,以产生目前动作数据;以及
由该***利用该时间产生器产生对应于该目前动作数据的目前时间数据。
6.如权利要求5所述的方法,其中由该***根据该第一参考物件影像,计算该头戴式显示装置与该参考物件的该相对位置,进而取得该头戴式显示装置于该操作空间中的该定位信息的步骤包括:
由该***根据目前影像计算该头戴式显示装置与该参考物件的目前相对坐标;以及
由该***根据该目前动作数据校正该目前相对坐标,以计算该头戴式显示装置与该参考物件的该相对位置。
7.如权利要求6所述的方法,其中由该***根据该目前动作数据校正该相对坐标,以计算该头戴式显示装置与该参考物件的该相对位置的步骤包括:
由该***取得该影像撷取装置撷取该参考物件影像时的旋转角度以及相对于水平面的角度差;
由该***根据该旋转角度以及该角度差,校正该相对坐标,以设定为该相对位置。
8.如权利要求5所述的方法,其中由该***传送该定位信息至该头戴式显示装置的步骤之后,该方法还包括:
由该***计算该参考物件影像中的该参考物件与影像中心点之间的距离,以产生目前距离,其中该影像中心点为该参考物件影像的中心点;
由该***计算该目前动作数据与先前动作数据之间的差值,以产生目前差值;以及
由该***根据该目前差值以及该目前距离,移动该影像撷取装置。
9.如权利要求8所述的方法,其中由该***根据该目前差值以及该目前距离,移动该影像撷取装置的步骤包括:
由该***判断该目前差值是否大于预设差值;
当该目前差值大于预设差值时,以该目前距离的倍数移动该影像撷取装置,其中该倍数大于1;以及
当该目前差值不大于预设差值时,以该目前距离移动该影像撷取装置。
10.如权利要求9所述的方法,其中该预设差值关联于该***的***反应时间,当该***的该***反应时间越大时,该预设差值越大。
11.如权利要求9所述的方法,其中该预设差值关联于该影像撷取装置的视野范围,当该影像撷取装置的该视野范围越大时,该预设差值越大。
12.一种***,用于头戴式显示装置在操作空间中的定位,该***设置于头戴式显示装置上,包括:
影像撷取装置,用以于固定设置有作为具有可识别方向性的图形或二维或三维物件的参考物件且定义出边界的该操作空间中撷取参考物件的影像,以产生第一参考物件影像;
通信接口,用以与该头戴式显示装置建立连线;
储存装置,用以储存数据;
处理器,耦接该影像撷取装置、该通信接口以及该储存装置,用以根据该第一参考物件影像,计算该头戴式显示装置与该参考物件的表示成球面坐标的相对位置,进而取得该头戴式显示装置于该操作空间中的定位信息,其中,该***锁定该参考物件位置并持续且动态地追踪该参考物件,以及通过该通信接口传送该定位信息至该头戴式显示装置,其中在由该***撷取该参考物件的该影像,以产生该第一参考物件影像的步骤之前,还包括:
由该***自正向于该参考物件的原点位置撷取该参考物件的影像,以产生对应于该原点位置的原点参考物件影像,并且由该头戴式显示装置取得该***与该参考物件之间的距离,以取得该原点位置的原点坐标;
由该***自该操作空间的多个角落位置撷取该参考物件的影像,以产生分别对应于各所述角落位置的角落参考物件影像,并且由该头戴式显示装置取得各所述角落位置的角落坐标;以及
由该头戴式显示装置传送该原点坐标以及所述角落坐标至该***。
13.如权利要求12所述的***,其中该参考物件为具有方向性的图像并且设置于该操作空间中的顶面或是垂直侧面。
14.如权利要求12所述的***,还包括:
运动感测器,耦接该处理器,用以检测该***的移动以及旋转,以产生目前动作数据;以及
时间产生器,耦接该处理器,用以产生对应于该目前动作数据的目前时间数据,其中
该处理器根据目前影像计算该头戴式显示装置与该参考物件的目前相对坐标,并且根据该目前动作数据校正该目前相对坐标,以计算该头戴式显示装置与该参考物件的该相对位置。
15.如权利要求14所述的***,还包括:
伺服单元,其中该处理器更计算该参考物件影像中的该参考物件与影像中心点之间的距离,以产生目前距离,计算该目前动作数据与先前动作数据之间的差值,以产生目前差值,以及根据该目前差值以及该目前距离,控制该伺服单元移动该影像撷取装置其中该影像中心点为该参考物件影像的中心点。
16.一种定位***,包括:
头戴式显示装置;
***,用于头戴式显示装置在操作空间中的定位,该***设置于该头戴式显示装置上并且与该头戴式显示装置连接,用以于固定设置有作为具有可识别方向性的图形或二维或三维物件的参考物件且定义出边界的该操作空间中,撷取参考物件的影像,以产生第一参考物件影像,根据该第一参考物件影像,计算该头戴式显示装置与该参考物件的表示成球面坐标的相对位置,进而取得该头戴式显示装置于该操作空间中的定位信息,其中,该***锁定该参考物件位置并持续且动态地追踪该参考物件,以及传送该定位信息至该头戴式显示装置,其中在由该***撷取该参考物件的该影像,以产生该第一参考物件影像的步骤之前,还包括:
由该***自正向于该参考物件的原点位置撷取该参考物件的影像,以产生对应于该原点位置的原点参考物件影像,并且由该头戴式显示装置取得该***与该参考物件之间的距离,以取得该原点位置的原点坐标;
由该***自该操作空间的多个角落位置撷取该参考物件的影像,以产生分别对应于各所述角落位置的角落参考物件影像,并且由该头戴式显示装置取得各所述角落位置的角落坐标;以及
由该头戴式显示装置传送该原点坐标以及所述角落坐标至该***。
17.如权利要求16所述的定位***,其中该参考物件为具有方向性的图像并且设置于该操作空间中的顶面或是垂直侧面。
18.如权利要求16所述的定位***,其中该***更用以检测该***的移动以及旋转,以产生目前动作数据,产生对应于该目前动作数据的目前时间数据,根据目前影像计算该头戴式显示装置与该参考物件的目前相对坐标,并且根据该目前动作数据校正该目前相对坐标,以计算该头戴式显示装置与该参考物件的该相对位置。
19.如权利要求18所述的定位***,其中该***更计算该参考物件影像中的该参考物件与影像中心点之间的距离,以产生目前距离,计算该目前动作数据与先前动作数据之间的差值,以产生目前差值,以及根据该目前差值以及该目前距离,控制伺服单元移动该影像撷取装置,其中该影像中心点为该参考物件影像的中心点。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW106135189 | 2017-10-13 | ||
TW106135189A TWI642903B (zh) | 2017-10-13 | 2017-10-13 | 用於頭戴式顯示裝置的定位方法、***以及定位系統 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109668545A CN109668545A (zh) | 2019-04-23 |
CN109668545B true CN109668545B (zh) | 2024-02-09 |
Family
ID=65431881
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711000385.1A Active CN109668545B (zh) | 2017-10-13 | 2017-10-24 | 用于头戴式显示装置的定位方法、***以及定位*** |
Country Status (3)
Country | Link |
---|---|
US (1) | US10380761B2 (zh) |
CN (1) | CN109668545B (zh) |
TW (1) | TWI642903B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3345184A1 (en) * | 2015-09-02 | 2018-07-11 | THOMSON Licensing | Method, apparatus and system for facilitating navigation in an extended scene |
TWI736857B (zh) * | 2019-03-07 | 2021-08-21 | 國立臺南藝術大學 | 凌空旋轉式體感裝置及包含該裝置之虛擬實境體感系統 |
TWI704376B (zh) * | 2019-07-19 | 2020-09-11 | 宏碁股份有限公司 | 視角校正方法、虛擬實境顯示系統與運算裝置 |
TWI730482B (zh) * | 2019-10-31 | 2021-06-11 | 大陸商南京深視光點科技有限公司 | 平面動態偵測系統及偵測方法 |
US11574447B2 (en) * | 2020-08-19 | 2023-02-07 | Htc Corporation | Method for capturing real-world information into virtual environment and related head-mounted device |
CN115682924A (zh) * | 2021-07-23 | 2023-02-03 | 宏达国际电子股份有限公司 | 无线位置标定装置、显示***与穿戴装置 |
US11783449B2 (en) * | 2021-12-09 | 2023-10-10 | Htc Corporation | Method for adjusting displayed content based on host posture, host, and computer readable storage medium |
US20240005553A1 (en) * | 2022-05-26 | 2024-01-04 | Htc Corporation | Method for pose correction and host |
US20240168289A1 (en) * | 2022-11-17 | 2024-05-23 | Htc Corporation | Head-mounted display device, tracking system, and tracking method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102149436B (zh) * | 2008-05-30 | 2014-08-06 | 美国索尼电脑娱乐有限责任公司 | 利用图像分析和超声波通信对控制器三维定位的确定 |
CN104951117A (zh) * | 2014-03-27 | 2015-09-30 | 纬创资通股份有限公司 | 利用影像辨识产生相对应信息的影像处理***及相关方法 |
JP5991423B2 (ja) * | 2013-02-21 | 2016-09-14 | 富士通株式会社 | 表示装置、表示方法、表示プログラムおよび位置設定システム |
CN106415671A (zh) * | 2014-06-03 | 2017-02-15 | Metaio有限公司 | 用于呈现与真实对象相关的数字信息的方法和*** |
TW201734954A (zh) * | 2016-03-24 | 2017-10-01 | Mitsubishi Electric Corp | 資料處理裝置、資料處理方法以及資料處理程式產品 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10228242B2 (en) * | 2013-07-12 | 2019-03-12 | Magic Leap, Inc. | Method and system for determining user input based on gesture |
NZ773818A (en) * | 2015-03-16 | 2022-07-29 | Magic Leap Inc | Methods and systems for diagnosing and treating health ailments |
CN105354820B (zh) * | 2015-09-30 | 2018-05-22 | 深圳多新哆技术有限责任公司 | 调整虚拟现实图像的方法及装置 |
CN105867611A (zh) * | 2015-12-29 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 虚拟现实***中的空间定位方法、装置及*** |
TWI688879B (zh) * | 2016-01-22 | 2020-03-21 | 宏達國際電子股份有限公司 | 虛擬實境環境中與真實世界互動的方法、系統與記錄媒體 |
CN106643699B (zh) * | 2016-12-26 | 2023-08-04 | 北京互易科技有限公司 | 一种虚拟现实***中的空间定位装置和定位方法 |
US10503247B2 (en) * | 2017-05-09 | 2019-12-10 | Microsoft Technology Licensing, Llc | Calibration of stereo cameras and handheld object |
US10416837B2 (en) * | 2017-06-26 | 2019-09-17 | Facebook, Inc. | Virtual reality safety bounding box |
-
2017
- 2017-10-13 TW TW106135189A patent/TWI642903B/zh active
- 2017-10-24 CN CN201711000385.1A patent/CN109668545B/zh active Active
- 2017-12-28 US US15/856,073 patent/US10380761B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102149436B (zh) * | 2008-05-30 | 2014-08-06 | 美国索尼电脑娱乐有限责任公司 | 利用图像分析和超声波通信对控制器三维定位的确定 |
JP5991423B2 (ja) * | 2013-02-21 | 2016-09-14 | 富士通株式会社 | 表示装置、表示方法、表示プログラムおよび位置設定システム |
CN104951117A (zh) * | 2014-03-27 | 2015-09-30 | 纬创资通股份有限公司 | 利用影像辨识产生相对应信息的影像处理***及相关方法 |
CN106415671A (zh) * | 2014-06-03 | 2017-02-15 | Metaio有限公司 | 用于呈现与真实对象相关的数字信息的方法和*** |
TW201734954A (zh) * | 2016-03-24 | 2017-10-01 | Mitsubishi Electric Corp | 資料處理裝置、資料處理方法以及資料處理程式產品 |
Also Published As
Publication number | Publication date |
---|---|
US10380761B2 (en) | 2019-08-13 |
TWI642903B (zh) | 2018-12-01 |
CN109668545A (zh) | 2019-04-23 |
US20190114803A1 (en) | 2019-04-18 |
TW201915445A (zh) | 2019-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109668545B (zh) | 用于头戴式显示装置的定位方法、***以及定位*** | |
US10645284B2 (en) | Image processing device, image processing method, and recording medium storing program | |
US10198146B2 (en) | Information processing apparatus, information processing method, and recording medium | |
CA2888943C (en) | Augmented reality system and method for positioning and mapping | |
US8660362B2 (en) | Combined depth filtering and super resolution | |
US9261954B2 (en) | Display control device, display control method, and recording medium | |
US10037614B2 (en) | Minimizing variations in camera height to estimate distance to objects | |
EP3586315B1 (en) | Method and apparatus for displaying image based on user motion information | |
KR20190108181A (ko) | 구면 비디오 편집 | |
US11062422B2 (en) | Image processing apparatus, image communication system, image processing method, and recording medium | |
US11272153B2 (en) | Information processing apparatus, method for controlling the same, and recording medium | |
CN109743892A (zh) | 虚拟现实内容的显示方法和装置 | |
US10672191B1 (en) | Technologies for anchoring computer generated objects within augmented reality | |
WO2019080047A1 (zh) | 增强现实图像的实现方法、装置、终端设备和存储介质 | |
KR102190743B1 (ko) | 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법 | |
CN115769261A (zh) | 低功率视觉跟踪*** | |
CN112308981A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
US20200342833A1 (en) | Head mounted display system and scene scanning method thereof | |
US20200252594A1 (en) | Device for displaying content and operation method therefor | |
CN114201028B (zh) | 扩增实境***与其锚定显示虚拟对象的方法 | |
JP2017184025A (ja) | 通信端末、画像通信システム、画像送信方法、画像表示方法、及びプログラム | |
JP7118383B1 (ja) | 表示システム、表示方法、及び表示プログラム | |
KR102402046B1 (ko) | 콘텐츠를 제공하기 위한 방법 및 이를 위한 장치 | |
TWI779332B (zh) | 擴增實境系統與其錨定顯示虛擬物件的方法 | |
WO2024055683A1 (zh) | 一种增强现实方法和计算装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |