CN111354088A - 环境地图建立方法以及其*** - Google Patents

Abstract

一种环境地图建立方法以及其***。此方法通过头戴式显示器撷取多个撷取影像。接着，计算头戴式显示器的视野方向及移动方向，并根据头戴式显示器的视野方向以及移动方向决定对应至撷取影像的重要性地图。最后，根据重要性地图接合撷取影像产生全景影像。

Description

环境地图建立方法以及其***

技术领域

本发明是有关于一种混合实境的技术，且特别是有关于一种环境地图建立方法以及其***。

背景技术

混合实境(Mixed Reality，MR)是一种利用计算机模拟技术结合真实世界和虚拟世界产生三维空间中混合世界的技术。藉由将虚拟画面显示在用户配戴的头戴式显示器上，用户可同时观看到真实世界的物理实体和数字虚拟物体共存，而可提供一个以视觉为主且结合听觉、触觉等感知的混合环境。体验混合实境的用户如同身处在真实世界，并可以与混合环境中的虚拟对象互动。

为了渲染出符合真实世界的虚拟物体，在建立混合环境时需要先建立真实世界的光线数据。在传统的建立流程中，混合实境装置会在用户进入应用内容前先执行建立工具，并且需要用户将摄影机或头戴式显示器的标定器与一组匹配点对齐来建立光线数据。然而，这样的建立流程需要花费建立时间，并且用户在操作头戴式显示器时往往不容易与匹配点对齐。

发明内容

本发明提供一种环境地图建立的方法、***以及记录媒体，其可线上即时产生环境地图(environment map)。

本发明提供一种环境地图建立方法，所述方法包括下列步骤。通过头戴式显示器撷取多个撷取影像。计算撷取头戴式显示器的视野方向及移动方向。根据头戴式显示器的视野方向以及移动方向决定对应至撷取影像的重要性地图。以及根据重要性地图接合撷取影像产生全景影像。

在本发明的一实施例中，上述的计算头戴式显示器的视野方向及移动方向的步骤包括：分析撷取影像中的影像内容以检测头戴式显示器的视野方向及移动方向。

在本发明的一实施例中，上述的计算头戴式显示器的视野方向及移动方向的步骤包括：通过运动传感器检测用户配戴头戴式显示器的视野方向，并且通过***定位配戴头戴式显示器的用户的移动方向。

在本发明的一实施例中，上述的根据头戴式显示器的视野方向以及移动方向决定对应至撷取影像的重要性地图的步骤包括：根据视野方向以及移动方向决定撷取影像中各像素对应的重要性参数。根据重要性参数建立对应各撷取影像的重要性图框。以及整合重要性图框产生重要性地图。

在本发明的一实施例中，上述的根据重要性地图接合撷取影像产生全景影像的步骤包括：根据重要性图框中重要性参数对应的分辨率接合撷取影像产生全景影像。

在本发明的一实施例中，上述的环境地图建立方法，还包括下列步骤：在重要性地图中设定的重要性参数的比例大于预设比例阈值时结束影像接合程序。

在本发明的一实施例中，上述的环境地图建立方法，还包括下列步骤：撷取头戴式显示器的移动距离。以及根据头戴式显示器的视野方向、移动方向以及移动距离决定对应至撷取影像的重要性地图。

在本发明的一实施例中，上述的环境地图建立方法，还包括下列步骤：在接合撷取影像时记录对应至全景影像的接合区域及未接合区域。以及根据接合区域及未接合区域扩散全景影像并产生环境地图。

在本发明的一实施例中，上述的根据接合区域及未接合区域扩散全景影像并产生环境地图的步骤还包括：在用于扩散的像素位置超过全景影像的边界时，映射像素位置取得对应的提取像素，并根据提取像素扩散全景影像。

本发明的混合实境***包括头戴式显示器、储存装置以及计算装置。储存装置储存一个或多个指令。计算装置，连接头戴式显示器及储存装置，经配置以执行所述指令以：通过所述头戴式显示器撷取多个撷取影像。计算头戴式显示器的视野方向及移动方向。根据头戴式显示器的视野方向以及移动方向决定对应至撷取影像的重要性地图。以及根据重要性地图接合撷取影像产生全景影像。

本发明还提供一种非暂时性计算机可读记录媒体，经配置以记录程序，其中所述程序通过计算装置中的处理器载入以执行以下步骤：通过头戴式显示器撷取多个撷取影像。计算头戴式显示器的视野方向及移动方向。计算装置根据头戴式显示器的视野方向以及移动方向决定对应至撷取影像的重要性地图。以及计算装置根据重要性地图接合撷取影像产生全景影像。

为让本案的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是依照本发明一实施例所绘示的混合实境***的方块图。

图2是依照本发明一实施例所绘示的环境地图建立的方法的流程图。

图3是依照本发明一实施例所绘示的视野方向及移动方向的示意图。

图4A至4D是依照本发明一实施例所绘示的产生全景影像的范例。

图5A至5B是依照本发明一实施例所绘示的更新全景影像的范例。

图6是依照本发明一实施例所绘示的环境地图建立的方法的流程图。

图7是依照本发明一实施例所绘示的占用地图的示意图。

图8是依照本发明一实施例所绘示的影像扩散的范例。

图9是依照本发明一实施例所绘示的影像扩散的范例。

图10是依照本发明一实施例所绘示的扩散接缝位置的示意图。

图11是依照本发明一实施例所绘示的三维球体的接缝位置的范例。

图12是依照本发明一实施例所绘示的扩散接缝位置的示意图。

图13是依照本发明一实施例所绘示的三维球体的接缝位置的范例。

符号说明

10：混合实境***

12：头戴式显示器

121：影像撷取设备

122：运动传感器

14：储存装置

16：计算装置

18：***

301、302、303：位置

Vc1、Vc2：视野方向

Vt1、Vt2：移动方向

420、421、422、423：重要性图框

430、431、432、433、530、531：全景影像

501、502、503、504、1101、1102、1301、1302：框

540、541：重要性地图

730：占用地图

701、801：接合区域

702、802：未接合区域

830、831：环境地图

910、911：图框

P1、P2、P3、P4：提取像素

1100：三维球体

O：中点

S202～S208、S602～S604：步骤

具体实施方式

本发明根据头戴式显示器的视野方向及移动方向建立对应至撷取影像的重要性地图，并且根据重要性地图接合撷取影像建立环境地图。藉此，可在线上阶段产生环境地图，减少用户进入混合实境的应用程序前所花费的时间，达到即时建立环境地图的目的。

图1是依照本发明一实施例所绘示的混合实境***的方块图。请参照图1，本实施例的混合实境***10包括头戴式显示器12、储存装置14以及计算装置16，以上装置的功能分述如下。

头戴式显示器12例如是液晶显示器(Liquid-Crystal Display，LCD)、发光二极管(Light-Emitting Diode，LED)显示器或其他合适类型的显示器，其以头盔或眼镜的型式制造，而可供用户穿戴于头部。头戴式显示器12中还额外配置影像撷取设备121以及重力传感器、陀螺仪等运动传感器122。影像撷取设备121可以是任何有感光耦合元件(chargecoupled device，CCD)镜头、互补性氧化金属半导体(complementary metal oxidesemiconductor transistors，CMOS)镜头或红外线镜头(infrared lens)的相机，但本发明不限于此。影像撷取设备121可以是一个或多个，并且配置于头戴式显示器12上，其例如是配置在用户配戴头戴式显示器12时视线的前方，而可拍摄用户视线前方的影像。运动传感器122则能够检测用户头部的转动或倾斜角度，并且可将感测数据反馈至计算装置16，计算装置16可据以计算用户头部的视野方向和移动速度。

储存装置14可以是任何型态的固定式或可移动式随机存取存储器(randomaccess memory，RAM)、只读存储器(read-only memory，ROM)、闪存(flash memory)或类似元件或上述元件的组合。在本实施例中，储存装置14用以储存数据及可由计算装置16执行的程序，这些程序包括一个或多个指令。

计算装置16例如是文件服务器、数据库服务器、应用程序服务器、工作站或个人计算机等具有运算能力的装置，其中包括处理器。处理器例如是中央处理单元(CentralProcessing Unit，CPU)，或是其他可编程的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可编程控制器、特殊应用集成电路(Application Specific Integrated Circuits，ASIC)、可编程逻辑设备(Programmable Logic Device，PLD)或其他类似装置或这些装置的组合。计算装置16连接头戴式显示器12及储存装置14，其会从储存装置14载入程序，据以执行本发明环境地图建立的方法。

混合实境***10更可额外配置***18，用以定位配戴该头戴式显示器的用户。***18连接计算装置16，其例如包括雷射或红外线的发射器及接收器，并可用以侦测三维空间中物体的距离。***18搭配配置于物体(例如头戴式显示器12)上的多个标定器，即可定位出该物体于三维空间中的位置。***18可放置于用户活动空间的角落，其不仅可定位出用户于三维空间中的位置，亦可界定出此活动空间的边界。此边界的位置可在用户接近边界时在头戴式显示器12中显示，藉此提示用户避免走出活动空间或碰撞位于活动空间之外的物体。计算装置16可通过有线或无线的方式与***18连接以供数据传输。

需说明的是，在一实施例中，储存装置14与计算装置16是独立于头戴式显示器12之外而分开设置，并以有线或无线的方式与头戴式显示器12连接以传输数据。在此实施例中，储存装置14可配置在计算装置16中。而在另一实施例中，储存装置14与计算装置16可集成于头戴式显示器12中，并与头戴式显示器12通过传输线连接以相互传输数据，本发明不在此限制。本发明的环境地图建立的方法的详细步骤在下文描述。

图2是依照本发明一实施例所绘示的环境地图建立的方法的流程图。参考图2，本发明实施例的方法适用于图1的混合实境***10，以下即搭配混合实境***10中的各项元件说明本实施例环境地图建立的方法的详细步骤。

首先，计算装置16通过头戴式显示器12撷取多个撷取影像(步骤S202)。详细而言，计算装置16控制影像撷取设备121撷取头戴式显示器12视野前方的真实世界的影像。接着，计算装置16计算头戴式显示器12的视野方向及移动方向(步骤S204)。在一实施例中，头戴式显示器12的视野方向及移动方向可以是利用影像撷取设备121撷取到多个的影像计算得出。于此，计算装置16可分析撷取影像中的影像内容以检测头戴式显示器12的视野方向及移动方向。具体而言，计算装置16可分析撷取影像的影像内容以直接地检测影像内容的视野(FOV)的视野方向及移动方向，并设定为头戴式显示器12的视野方向及移动方向。举例而言，计算装置16可使用影像辨识分析撷取影像中特征点的位移及变形量来决定头戴式显示器12的旋转或倾斜角度及前后移动的变化，并根据变化量计算出头戴式显示器12的视野方向及移动方向。

在另一实施例中，计算装置16通过运动传感器122检测用户配戴头戴式显示器12的视野方向，并且计算装置16通过***18定位配戴头戴式显示器12的用户的移动方向。具体而言，计算装置16可以接收运动传感器122感测到的头戴式显示器12的转动或倾斜角度，并且根据转动或倾斜角度计算头戴式显示器12的视野方向。另一方面，混合实境***10中还可利用***18侦测用户于三维空间中的移动方向。***18例如是配置在房间中相对的两个角落，而可定位出配戴头戴式显示器12的用户在此房间中的位置，并将定位信息提供给计算装置16。在取得头戴式显示器12的定位信息后，计算装置16可判断出用户在房间中的移动方向。

在又一实施例中，计算装置16可融合以上多种定位技术来获取头戴式显示器12的视野方向及移动方向，本发明不在此限制。

之后，计算装置16根据头戴式显示器12的视野方向以及移动方向决定对应至撷取影像的重要性地图(步骤S206)。其中，计算装置16根据视野方向以及移动方向决定撷取影像中各像素对应的重要性参数，根据重要性参数建立对应各撷取影像的重要性图框，并且整合重要性图框产生重要性地图。具体而言，当头戴式显示器12的视野方向及移动方向越接近，新的撷取影像与起始位置的撷取影像的位移误差(translation error)就越小，则新的撷取影像对于起始位置的重要性越高。另一方面，视野方向及移动方向差距越远，新的撷取影像与起始位置的撷取影像的位移误差就越大，则新的撷取影像对于起始位置的重要性越低。计算装置16记录撷取影像的重要性的方式例如是将对应至撷取影像的重要性图框中重要性最大的像素的重要性参数设定为1，重要性最小的像素的重要性参数设定为0，而各像素所对应的重要性参数可以在范围0～1之间。

详细而言，图3是依照本发明一实施例所绘示的视野方向及移动方向的示意图。请参照图3，头戴式显示器12从位置301向左前方位移至位置302，并且头戴式显示器12的视野方向Vc1与移动方向Vt1同样位移至左前方，则代表此时头戴式显示器12的移动方向Vt1与视野方向Vc1接近。另外，头戴式显示器12从位置301向右位移至位置303，然而头戴式显示器12的视野方向Vc2转向后方，代表用户在移动时视野方向Vc2与移动方向Vt2相差接近90度。则此时头戴式显示器12的移动方向Vt2与视野方向Vc2差距较远。换句话说，若移动方向与视野方向之间的角度越大，则表示两者的差距越远，此时所撷取到的影像对于位置301来说重要性越低。

在另一实施例中，计算装置16除了头戴式显示器12的视野方向及移动方向之外，还同时考虑头戴式显示器12的移动距离来判断撷取影像的重要性。具体而言，计算装置16撷取头戴式显示器12的移动距离。接着，计算装置16根据头戴式显示器12的视野方向、移动方向以及移动距离决定对应至撷取影像的重要性地图。当头戴式显示器12的移动距离离起始位置越短，新的撷取影像与起始位置的撷取影像的位移误差就越小，则撷取影像对于起始位置的重要性越高。而移动距离离起始位置越长，新的撷取影像与起始位置的撷取影像的位移误差就越大，则撷取影像对于起始位置的重要性越低。在一实施例中，撷取头戴式显示器12的移动距离是利用影像撷取设备121撷取到多个的影像计算得出。在另一实施例中，可利用***18侦测影像撷取设备121于三维空间中的移动方向，并计算出移动距离。本发明不在此限制取得移动距离的方法。

最后，计算装置16根据重要性地图接合撷取影像产生全景影像(步骤S208)。在取得撷取影像及撷取图像对应起始位置的重要性地图后，计算装置16可根据重要性地图接合(map)撷取影像为全景影像。具体而言，计算装置16可根据重要性图框中重要性参数对应的分辨率接合撷取影像产生全景影像。于此，撷取图像对应重要性图框中重要性参数越接近1的像素以越高分辨率的影像接合，对应重要性图框中重要性参数接近0的像素以越低分辨率的影像接合。在一实施例中，若重要性参数为0，则不根据该像素对应的撷取影像部分更新全景影像。另一方面，若重要性参数为1，则根撷取影像的原始分辨率更新全景影像。对应至各重要性参数的影像分辨率可经由一连串的事先测试与分析而决定，并将其保存于储存装置14之中。

需先说明的是，本实施例中所描述的头戴式显示器12的视野方向、移动方向以及移动距离可以不同的起始位置作为原点进行计算。因此各撷取影像在对应不同的起始位置将会有不同的重要性，而产生不同的重要性图框。据此，可针对不同起始位置(原点)计算产生不同的环境地图。在本实施例中，以接合图3中位置301的全景影像为例，以下说明接合全景影像的详细内容。

图4A至4D是依照本发明一实施例所绘示的产生全景影像的范例。请同时参照图3及图4A，以位置301作为起始位置，影像撷取设备121在起始位置撷取现实世界的影像。由于头戴式显示器12没有移动，所撷取到的影像不会产生位移误差。因此计算装置16可设定对应至撷取影像的重要性图框420中所有像素的值为1，代表各像素皆具有重要性。此时计算装置16可根据重要性图框420接合撷取影像为全景影像430。

接着，请同时参照图3及图4B，此时用户向右方移动至位置303，并且看向移动方向的左方，亦即，头戴式显示器12的视野方向对应至位置301的前方，而移动方向则对应至位置301的右方。换句话说，视野方向及移动方向之间的角度为90度。在本实施例中，影像撷取设备121在位置303撷取现实世界的影像。由于头戴式显示器12已产生移动位移，所撷取到的影像将产生位移误差，因此计算装置16根据视野方向及移动方向的差距决定对应至撷取影像的重要性图框421。在本实施例中，视野方向及移动方向之间的角度为90度，由于视野方向及移动方向的差距大，代表此时撷取到的影像的重要性较低。计算装置16可设定对应至撷取影像的重要性图框421中所有像素的重要性参数为0，代表各像素皆不具重要性。此时计算装置16可根据重要性图框421接合撷取影像为全景影像431。具体而言，因为撷取图像对应的重要性图框421中所有像素的重要性参数为0，本实施例撷取到的影像将不会用来更新全景影像。

请同时参照图3及图4C，此时用户向右方移动至位置303，并且看向移动方向的前方，亦即，头戴式显示器12的视野方向及移动方向同样对应至位置301的右方。换句话说，视野方向及移动方向之间的角度为0度。在本实施例中，影像撷取设备121在位置303撷取现实世界的影像。由于头戴式显示器12已产生移动位移，所撷取到的影像将产生位移误差，因此计算装置16根据视野方向及移动方向的差距决定对应至撷取影像的重要性图框422。在本实施例中，视野方向及移动方向之间的角度为0度，由于视野方向及移动方向的差距小，代表此时撷取到的影像的重要性较高。计算装置16可设定对应至撷取影像中接近影像中心的像素的重要性参数为1，并且从影像中心至影像边缘的像素的重要性参数往0递减，而产生例如图4C中的重要性图框422。此时计算装置16可根据重要性图框422接合撷取影像为全景影像432。具体而言，计算装置16根据撷取图像对应的重要性图框422中的重要性参数，以不同分辨率的撷取影像接合该撷取影像至全景影像。

请同时参照图3及图4D，此时用户向右方移动至位置303，并且看向移动方向的前方，并且用户的移动距离比图4C中用户的移动距离短。亦即，头戴式显示器12的视野方向及移动方向同样对应至位置301的右方，代表视野方向及移动方向之间的角度为0度。在本实施例中，影像撷取设备121在位置303撷取现实世界的影像。计算装置16可设定对应至撷取影像中接近影像中心的像素的重要性参数为1，并且从影像中心至影像边缘的像素的重要性参数往0递减，而产生例如图4D中的重要性图框423。然而与图4C相比，本实施例的用户移动距离较图4C的用户近，代表此时撷取到的影像的重要性较高。因此与重要性图框422相比，重要性图框423中撷取图像对应的像素的重要性参数大于重要性图框422中撷取图像对应的像素的重要性参数。此时，计算装置16可根据重要性图框423接合撷取影像为全景影像433。具体而言，计算装置16根据撷取图像对应的重要性图框423中的重要性参数，以不同分辨率的撷取影像接合该撷取影像至全景影像。

计算装置16除了依据上述条件接合撷取影像外，当用户在空间中多次来回走动后，计算装置16还可以根据对应的重要性参数较高的影像更新全景影像。举例而言，图5A至5B是依照本发明一实施例所绘示的更新全景影像的范例。在影像撷取设备121撷取多张撷取影像并且计算装置16产生各张撷取图像对应的重要性图框后，计算装置16可取得例如图5A中的重要性地图540以及全景影像530。从全景影像530及重要性地图540中可看出，全景影像530中与重要性地图540的框501对应的框502所包括的影像是采用较低分辨率的撷取影像接合。接着，影像撷取设备121会持续撷取更多张撷取影像，并且计算装置16产生各张撷取图像对应的重要性图框。若新产生的重要性图框与全景影像中原先以较低分辨率的撷取影像接合的部分有对应且重要性参数较高的像素，则计算装置16根据新撷取的重要性参数较高的影像更新全景影像。举例而言，请参照图5B，重要性地图541的框503的位置对应至图5A中重要性地图540的框501。由于影像撷取设备121新撷取到的撷取图像对应的重要性参数较原先用于接合的撷取影像的重要性参数高，因此对应至相同像素的新重要性参数可取代原有的重要性参数。计算装置16将根据新的撷取影像的重要性图框将新撷取到的影像接合至全景影像中，以产生更新的全景影像531。于此，全景影像531的框504(对应框503)中的影像在全景影像更新后具有比原先更高的分辨率，而使全景影像531具有更好的质量。

本案还提供自动化的程序，例如自动终止接合程序。在本实施例中，计算装置16整合所有重要性图框为重要性地图，检查重要性地图中所有像素的重要性参数，并且在重要性地图中设定的重要性参数的比例大于预设比例阈值时结束影像接合(stitching)程序。也就是说，当全景影像的质量到达可接受的质量时，接合程序将自动终止。举例而言，计算装置16若判断重要性地图中大于特定重要性参数(例如0.8)的重要性参数的比例大于预设比例阈值(例如80％)，则计算装置16提早终止接合程序以节省头戴式显示器12的效能。

在利用本案提供的接合程序接合撷取影像所产生的全景影像中，头戴式显示器12尚未扫描到的部分将保持黑色，例如图5B中全景影像531的黑色区域。若是以预先执行建立工具的现有技术建立环境地图时，此黑色区域并不影响建立程序，因为用户会持续扫描影像直到环境地图建立完成后才进入应用程序。然而，在本案即时建立环境地图的方案中，若全景影像存在黑色区域，将会在实际应用环境地图时影响虚拟物体的反射及即时照明(real-time lighting)。因此，在本发明一实施例中，产生全景影像后，计算装置16还会对全景影像进行扩散(diffusion)及模糊(blurring)，以建立更可反应现实世界的环境地图。

图6是依照本发明一实施例所绘示的环境地图建立的方法的流程图。请参照图6，计算装置16在接合撷取影像时记录对应至全景影像的接合区域及未接合区域(步骤S602)。接着，计算装置16根据接合区域及未接合区域扩散全景影像并产生环境地图(步骤S604)。具体而言，图7是依照本发明一实施例所绘示的占用地图的示意图。请参照图7，计算装置16在接合撷取影像时记录接合区域701的像素及未接合区域702的像素的占用值(occupationvalue)，并产生占用地图(occupation map)730。在本实施例中，接合区域701的像素的占用值例如记录为1，并且未接合区域702的像素的占用值记录例如为0。接着，计算装置16利用已知的影像扩散算法根据占用地图将接合区域对应的撷取影像扩散至未接合区域以产生环境地图。例如，计算装置16可以侦测接合区域701的边界，并且根据边界像素与未接合区域的像素值进行内插来扩散边界像素，本发明不在此限制影像扩散的方法。

举例而言，图8是依照本发明一实施例所绘示的影像扩散的范例。请参照图8，计算装置16将接合区域801对应的撷取影像扩散至未接合区域802以产生环境地图830。而在反复进行多次扩散后，计算装置16可将全景影像扩散为例如环境地图831。本发明实施例通过对全景影像直接执行扩散操作，可以更直接及快速的产生环境地图。并且，经由扩散操作，将扩散后的影像作为环境地图来反射虚拟物体时，可以让虚拟物体获得更好的对应真实世界的反射。图9是依照本发明一实施例所绘示的影像扩散的范例。请参照图9，其中图框910中的木桶是利用未经扩散操作的环境地图反射，而图框911中的木桶是利用经扩散操作的环境地图反射，于此，因此图框911中的木桶可获得更符合真实世界的反射。

在产生环境地图时，环境地图可以视为是平面地图。而当要将产生的环境地图用于物体反射或其他用途时，必须把环境地图通过折叠及黏贴投影至三维球体。此时若不处理环境地图左右两端的接缝处，在将三维球体用于反射时会看到明显不连续的接缝。基此，计算装置16在扩散全景影像时，会同时考虑左右及上下接缝位置用于扩散的提取像素(fetched pixel)。具体而言，计算装置16在用于扩散的像素位置超过全景影像的边界时，映射像素位置取得对应的提取像素，并根据提取像素扩散全景影像。

针对左右接缝位置，图10是依照本发明一实施例所绘示的扩散接缝位置的示意图。图11是依照本发明一实施例所绘示的三维球体的接缝位置的范例。请参照图11，计算装置16将环境地图投影至三维球体1100后产生接缝处，如框1101包括的部分所示。为了解决接缝问题，请参照图10，在扩散时若要提取超过右边界的提取像素(fetched pixel)P1，则计算装置16会提取左边界对应位置的提取像素P2进行扩散。上述方法可平滑化环境地图的接缝位置，如图11中框1102包括的部分所示。

此外，上述步骤固定了左右两边界的接缝处。而对于极点，当环境地图被折迭及投影至三维球体时，极点(事实上只是一个点)应该从影像的上下边界处的所有像素模糊。为了容易计算，极点可视为边界的中点。针对极点位置，图12是依照本发明一实施例所绘示的扩散接缝位置的示意图。图13是依照本发明一实施例所绘示的三维球体的接缝位置的范例。请参照图12，计算装置16将环境地图投影至三维球体产生接缝处，如框1301包括的部分所示。为了解决接缝问题，请参照图12，在扩散时若要提取超过上边界的提取像素(fetchedpixel)P3(0,1)，则计算装置16会根据中点O(0.5,1)映射提取对应位置的提取像素P4(1,1)进行扩散。上述方法可平滑化环境地图的极点，如图13中框1302包括的部分所示。

综上所述，本发明提供的环境地图建立方法及混合实境***可根据头戴式显示器的视野方向及移动方向建立对应至撷取影像的重要性图框，并且根据重要性图框接合撷取影像建立全景环境地图。此外，还可以扩散建立的全景环境地图中未接合区域的影像。藉此，利用扩散后的影像作为环境地图来反射虚拟物体时，可以让虚拟物体获得更好的对应真实世界的反射。藉此，可在线上阶段即时建立环境地图，减少用户进入混合实境的应用程序前执行建立工具所需的时间。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所附的权利要求书所界定者为准。

Claims (10)

1.一种环境地图建立方法，包括：

通过头戴式显示器撷取多个撷取影像；

计算所述头戴式显示器的视野方向及移动方向；

根据所述头戴式显示器的所述视野方向以及所述移动方向决定对应至所述撷取影像的重要性地图；以及

根据所述重要性地图接合所述撷取影像产生全景影像。

2.根据权利要求1所述的环境地图建立方法，其中计算所述头戴式显示器的所述视野方向及所述移动方向的步骤包括：

分析所述撷取影像中的影像内容以检测所述头戴式显示器的所述视野方向及所述移动方向。

3.根据权利要求1所述的环境地图建立方法，其中计算所述头戴式显示器的所述视野方向及所述移动方向的步骤包括：

通过运动传感器检测用户配戴所述头戴式显示器的所述视野方向，并且通过***定位配戴所述头戴式显示器的用户的所述移动方向。

4.根据权利要求1所述的环境地图建立方法，其中根据所述头戴式显示器的所述视野方向以及所述移动方向决定对应至所述撷取影像的所述重要性地图的步骤包括：

根据所述视野方向以及所述移动方向决定所述撷取影像中各像素对应的重要性参数；

根据所述重要性参数建立对应各所述撷取影像的重要性图框；以及

整合所述重要性图框产生所述重要性地图。

5.根据权利要求4所述的环境地图建立方法，其中根据所述重要性地图接合所述撷取影像产生所述全景影像的步骤包括：

根据所述重要性图框中所述重要性参数对应的分辨率接合所述撷取影像产生所述全景影像。

6.根据权利要求4所述的环境地图建立方法，所述方法还包括：

在所述重要性地图中设定的所述重要性参数的比例大于预设比例阈值时结束影像接合程序。

7.根据权利要求1所述的环境地图建立方法，所述方法还包括：

撷取所述头戴式显示器的移动距离；以及

根据所述头戴式显示器的所述视野方向、所述移动方向以及所述移动距离决定对应至所述撷取影像的所述重要性地图。

8.根据权利要求1所述的环境地图建立方法，所述方法还包括：

在接合所述撷取影像时记录对应至所述全景影像的接合区域及未接合区域；以及

根据所述接合区域及所述未接合区域扩散所述全景影像并产生环境地图。

9.根据权利要求8所述的环境地图建立方法，其中根据所述接合区域及所述未接合区域扩散所述全景影像并产生所述环境地图的步骤还包括：

在用于扩散的像素位置超过所述全景影像的边界时，映射所述像素位置取得对应的提取像素，并根据所述提取像素扩散所述全景影像。

10.一种混合实境***，包括：

头戴式显示器；

储存装置，储存一个或多个指令；以及

计算装置，连接所述头戴式显示器及所述储存装置，经配置以执行所述指令以：

通过所述头戴式显示器撷取多个撷取影像；

计算所述头戴式显示器的视野方向及移动方向；

根据所述头戴式显示器的所述视野方向以及所述移动方向决定对应至所述撷取影像的重要性地图；以及

根据所述重要性地图接合所述撷取影像产生全景影像。

Images