CN110647301B - 增强现实***及其影像显示方法 - Google Patents

Abstract

本发明提供一种影像显示方法，适用于利用标记图定位虚拟物体的增强现实***。所述影像显示方法包括：取得现实影像，其中现实影像包括标记图所在的第一影像以及第二影像，其中标记图包括已知图样；基于已知图样与第一影像之间的相对关系，将第二影像的延伸影像取代现实影像中的第一影像，以产生显示影像；以及显示显示影像。据此，能够避免增强现实的影像中包括标记图而导致整体影像看起来不自然。此外，使用上述方法的增强现实***亦被提出。

Description

增强现实***及其影像显示方法

技术领域

本发明涉及一种增强现实***及其影像显示方法。

背景技术

增强现实(Augmented Reality，AR)是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。一般来说，增强现实可以分成两个主要阶段：影像辨识的阶段以及根据辨识的结果来将对应的增强现实内容叠加在影像上并显示的阶段。

图8显示传统的增强现实技术的示意图。请参考图8，在传统的增强现实技术中会对影像进行影像辨识来确认影像中标记图10的位置，其中标记图可以是二维码或简单的图片等等。当标记图10的位置确认后，虚拟物体20便会根据标记图10的位置来显示，使得用户可以看到如图8所示的景象。

然而，为了在增强现实的景象中定位所要叠加的虚拟物体，这些标记图(例如，图8中作为标记图10的白色区块)常常会遮蔽到原有的现实背景而造成整体的显示影像不自然。据此，如何能够提出一种增强现实的影像显示方法来让显示影像不会受到标记图的影响，是本领域技术人员所共同致力的目标。

发明内容

有鉴于此，本发明提出一种增强现实***及其影像显示方法，能够产生适当的影像来取代标记图，使得用户所看到得增强现实影像更加自然。

根据本发明的实施例，影像显示方法适用于利用标记图定位虚拟物体的增强现实***，并且包括以下步骤：取得现实影像，其中现实影像包括标记图所在的第一影像以及第二影像，其中标记图包括已知图样；基于已知图样与第一影像之间的相对关系，将第二影像的延伸影像取代现实影像中的第一影像，以产生显示影像；以及显示显示影像。

在根据本发明的实施例的影像显示方法中，还包括以下步骤：根据第一影像在现实影像中的位置，在显示影像中显示虚拟物体。

在根据本发明的实施例的影像显示方法中，上述的已知图样包括多个特征点，并且所述多个特征点之间具有已知位置关系。

在根据本发明的实施例的影像显示方法中，上述基于已知图样与第一影像之间的相对关系，将第二影像的延伸影像取代现实影像中的第一影像，以产生显示影像的步骤包括以下步骤：对现实影像进行影像辨识，以识别现实影像中的第一影像、第二影像以及所述多个特征点；以及根据已知位置关系以及所述多个特征点在现实影像中的多个位置，找出相对关系。

在根据本发明的实施例的影像显示方法中，上述根据已知位置关系以及所述多个特征点在现实影像中的所述多个位置，找出相对关系的步骤包括以下步骤：根据已知位置关系以及所述多个特征点在现实影像中的所述多个位置，建立转换矩阵。

在根据本发明的实施例的影像显示方法中，上述基于已知图样与第一影像之间的相对关系，将第二影像的延伸影像取代现实影像中的第一影像，以产生显示影像的步骤还包括以下步骤：利用转换矩阵转换现实影像；根据经转换的第二影像建立第三影像；在经转换的现实影像中，利用第三影像取代经转换的第一影像以得到显示前影像；以及利用转换矩阵反转换显示前影像，以得到显示影像。

在根据本发明的实施例的影像显示方法中，上述转换矩阵为单应矩阵。

在根据本发明的实施例的影像显示方法中，上述延伸影像为经反转换的第三影像。

在根据本发明的实施例的影像显示方法中，上述根据经转换的第二影像建立第三影像的步骤包括以下步骤：根据经转换的第二影像进行材质合成，以建立第三影像。

在根据本发明的实施例的影像显示方法中，上述延伸影像是利用材质合成技术来建立。

从另一观点来看，根据本发明的实施例，增强现实***包括影像获取装置、影像显示装置以及处理器。影像获取装置用以捕获现实影像。处理器耦合于影像获取装置以及影像显示装置，并且用以：取得现实影像，其中现实影像包括标记图所在的第一影像以及第二影像，其中标记图包括已知图样；基于已知图样与第一影像之间的相对关系，将第二影像的延伸影像取代现实影像中的第一影像，以产生显示影像；以及通过影像显示装置显示显示影像。

附图说明

包含附图以便进一步理解本发明，且附图并入本说明书中并构成本说明书的一部分。附图说明本发明的实施例，并与描述一起用于解释本发明的原理。

图1显示本发明一实施例中增强现实***的框图；

图2显示本发明一实施例中影像显示方法的流程图；

图3显示本发明一实施例中取得现实影像的示意图；

图4显示本发明一实施例中转换现实影像的示意图；

图5显示本发明一实施例中显示前影像的示意图；

图6显示本发明一实施例中显示影像的示意图；

图7显示本发明一实施例中在显示影像中叠加虚拟物体的示意图；

图8显示传统的增强现实技术的示意图。

具体实施方式

现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同元件符号在图式和描述中用来表示相同或相似部分。

图1显示本发明一实施例中增强现实(Augmented Reality，AR)***的框图。

请参考图1，增强现实***100包括影像获取装置110、处理器120以及影像显示装置130，其中，处理器120耦合于影像获取装置110以及影像显示装置130。增强现实***100是利用包括已知图样的标记图来定位虚拟物体的***。详细来说，处理器120会对影像获取装置110所拍摄到的影像进行影像辨识来找出标记图在影像中的位置，同时处理器120可解析标记图所对应的虚拟物体并取得其三维立体空间位置，随后处理器120会参考标记图在影像中的位置来叠加虚拟物体并且将其通过影像显示装置130加以显示。在一些实施例中，标记图的已知图样例如是二维码或预设的简单图片，本发明并不在此限制。

影像获取装置110用以捕获影像。在一些实施例中，影像获取装置110例如是深度摄影机(depth camera)或立体摄影机，或任何具有电荷耦合器件(Charge coupleddevice，CCD)镜头或互补金属氧化物半导体晶体管(Complementary metal oxidesemiconductor transistors，CMOS)镜头等的摄影机、照相机，本发明并不在此限制。

处理器120用以分析并处理影像获取装置110所捕获的影像，并且通过影像显示装置130来显示增强现实的影像，以完成增强现实***100的影像显示方法。在一些实施例中，处理器120例如是中央处理单元(Central Processing Unit，CPU)，或是其他可编程的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital SignalProcessor，DSP)、可编程控制器、专用集成电路(Application Specific IntegratedCircuits，ASIC)、可编程逻辑装置(Programmable Logic Device，PLD)、现场可编程门阵列(Field-programmable Gate Array，FPGA)或其他类似装置或这些装置的组合，本发明并不在此限制。

影像显示装置130用以接收来自处理器120的影像信号并对应地显示影像，以使得用户能够看到影像显示装置130所显示的影像。在一些实施例中，影像显示装置130例如是液晶显示器(Liquid Crystal Display，LCD)或发光二极管(Light Emitting Diode，LED)等平面显示器、或者为投影显示器、抑或是软性显示器(soft display)等，本发明并不在此限制。

图2显示本发明一实施例中影像显示方法的流程图。

图2中的影像显示方法适用于图1中的增强现实***100，故以下将参照图1的增强现实***100的各元件来对图2的影像显示方法加以说明。

请参照图2，在步骤S210中，处理器120会取得现实影像，其中现实影像包括标记图所在的第一影像以及第二影像。具体来说，处理器120会通过影像获取装置110来进行拍摄，以取得影像获取装置110的视野范围内的现实影像。

在一些实施例中，影像获取装置110的视野范围内例如包括棋盘格样式的桌面以及设置于桌面上的标记图。因此，影像获取装置110会拍摄到如图3所示的现实影像RI1，其中包括标记图所在的第一影像IMG1以及包括未被标记图所遮蔽的桌面的第二影像IMG2。在图3的实施例中，标记图的已知图样例如为正方形的二维码或图片，并且其中包括已知位置关系的多个特征点(为了清晰地显示，在附图中并未将二维码与图片内容示出)。必须说明的是，本发明并未限制标记图的已知图样。

值得一提的是，由于影像获取装置110的拍摄角度以及透视(perspective)原理等因素，第一影像IMG1可能不会完全相同于标记图的已知图样。举例来说，虽然已知图样是正方形，但在图3所示的现实影像RI1中的第一影像IMG1却显示为梯形。另一方面，倘若影像获取装置110是以另一个拍摄角度来进行拍摄，则处理器120还可能取得如图4所示的现实影像RI2，其中的第一影像IMG1是显示为两两边长皆不互相平行的四边形。

请参照图2，在步骤S220中，处理器120会基于已知图样与第一影像之间的相对关系，来将第二影像的延伸影像取代现实影像中的第一影像，以产生显示影像。具体来说，处理器120会根据已知图样与第一影像之间的相对关系来将第二影像进行适当的延伸以填补或取代掉第一影像，以避免增强现实的影像中会包括标记图而使整体影像看起来不自然。

详细来说，处理器120首先会对现实影像进行影像辨识，以识别出现实影像中的第一影像、第二影像以及标记图的已知图样的多个特征点。随后，处理器120会根据多个特征点之间的已知位置关系以及多个特征点在现实影像中的多个位置，找出已知图样与第一影像之间的相对关系。在一些实施例中，上述的相对关系例如是表示为转换矩阵。通过转换矩阵，处理器120能够将现实影像中的各个像素进行转换，且经转换的第一影像将会相同于标记图的已知图样。换句话说，经转换的现实影像可以视为是将影像获取装置110的镜头正对标记图时所获取的影像，因此在经转换的现实影像中，标记图的已知图样并不会产生形变。

在将现实影像通过转换矩阵进行转换后，处理器120会根据经转换的第二影像来进行延伸或扩展以建立第三影像，然后利用此第三影像在经转换的现实影像中取代经转换的第一影像以得到不包括标记图的显示前影像。最后，处理器120会再次利用转换矩阵来将显示前影像进行反转换，以得到不包括标记图的显示影像。以下将利用图4、图5与图6来举实施例对上述流程进行详细说明。

请先参照图4，处理器120首先会对现实影像RI2进行影像辨识，以识别出现实影像RI2中的第一影像IMG1、第二影像IMG2以及标记图的已知图样的多个特征点P1、P2、P3、P4，其中，已知图样的多个特征点例如为正方形的四个角点，但本发明并不限于此。随后，处理器120会根据已知图样的多个特征点的已知位置关系(例如，正方形四个角点的位置)以及现实影像RI2中的多个特征点P1、P2、P3、P4的位置，来建立转换矩阵，以使现实影像RI2经由转换矩阵转换后，经转换的第一影像IMG’会相同于已知图样。

详细来说，处理器120可例如先设定经转换后的多个特征点P1’、P2’、P3’、P4’的座标，然后根据方程式“p’＝Hp”来得到转换矩阵H。其中，p’是用以表示经转换后的多个特征点P1’、P2’、P3’、P4’的座标，而p是用以表示多个特征点P1、P2、P3、P4在现实影像RI2中的座标。在一些实施例中，转换矩阵H为单应矩阵(Homography Matrix)，但本发明并不限于此。值得一提的是，为了能够求解以得到转换矩阵，在一些实施例中，特征点的数量不小于3个。然而，本发明并不在此限制特征点的具体数量。

如图4所示，在得到了已知图样与第一影像IMG1之间的相对关系(例如，转换矩阵H)之后，处理器120可利用此相对关系来转换现实影像RI2以得到经转换的现实影像RI2’，其中包括经转换的第一影像IMG1’以及经转换的IMG2’，且经转换的第一影像IMG1’会相同于标记图的已知图样。

随后，如图5所示，处理器120会根据经转换的第二影像IMG2’来进行延伸或扩展以建立第三影像IMG3，然后利用此第三影像IMG3在经转换的现实影像RI2’中取代经转换的第一影像IMG1’以得到不包括标记图的显示前影像PRE-DI。在一些实施例中，处理器120例如是基于经转换的第二影像IMG2’的影像内容，来进行材质合成(texture synthesis)以建立第三影像IMG3。在另一些实施例中，处理器120例如是基于经转换的第二影像IMG2’的影像内容，利用人工智能算法来将其延伸或扩展，以建立第三影像IMG3。然而，本发明并不在此限制根据经转换的第二影像IMG2’建立第三影像IMG3时的具体手段，本领域技术人员可依其需求或能力来将其实现。

最后，处理器120会再次利用已知图样与第一影像IMG1之间的相对关系(例如，转换矩阵H)，来将显示前影像PRE-DI进行反转换，以得到显示影像DI。如图6所示，显示影像DI中包括现实影像RI2中的第二影像IMG2以及第二影像IMG2的延伸影像IMG-EXT(即，将第三影像IMG3进行反转换后所得到的影像)，而且显示影像DI中不包括标记图。

请再参照图2，在步骤S230中，处理器120会显示显示影像，并且在步骤S240中，根据第一影像在现实影像中的位置，在显示影像中渲染上虚拟物体。具体来说，处理器120会通过影像显示装置130显示其所建立的显示影像以及虚拟物体，以在利用标记图定位虚拟物体的同时，不在增强现实的影像中显示出标记图。

请同时参照图4、图6与图7，处理器120在取得了包括标记图所在的第一影像IMG1的现实影像RI2后，例如会根据前述段落所介绍的方式来产生显示影像DI，并通过影像显示装置130来加以显示。除了会通过影像显示装置130来显示显示影像DI之外，处理器120同时还会根据第一影像IMG1在现实影像RI2中的位置BLK来在显示影像DI渲染上虚拟物体OB。如此一来，用户将能够通过影像显示装置130看到如图7所示，同时包括显示影像DI以及虚拟物体OB的增强现实影像USR-VIEW。

在一些实施例中，不同的标记图内容例如会对应到不同的虚拟物体，而处理器120则会根据现实影像中的标记图的内容来对应地渲染不同的虚拟物体。

举例而言，处理器120所取得的现实影像中的标记图例如是二维码，并且此二维码是对应到特定的网址或文件存放地址。处理器120在取得现实影像后除了会产生不包括标记图的显示影像DI之外，还例如会连接到标记图所对应的网址或文件存放地址以取得虚拟物体，再将所取得的虚拟物体渲染于标记图对应的位置上。

举另一例子，处理器120所取得的现实影像中包括多个标记图，例如是二维码，并且不同的二维码分别对应到不同的网址或文件存放地址。因此，处理器120在取得现实影像后除了会产生不包括标记图的显示影像DI之外，还例如会利用二维码来查找各个标记图所对应的虚拟物体，再将所找到的虚拟物体分别渲染于各自的标记图对应的位置上。

综上所述，本发明实施例所提出的增强现实***及其影像显示方法通过取得现实影像中的标记图影像与标记图的已知图样之间的相对关系，来将现实影像中除了标记图影像之外的部分进行适当的延伸，以遮蔽现实影像中的标记图影像。据此，能够在利用标记图定位虚拟物体的同时，避免在增强现实影像中显示出标记图影像，使得增强现实影像看上去更加自然。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (18)

1.一种影像显示方法，适用于利用标记图定位虚拟物体的增强现实***，其特征在于，包括：

取得现实影像，其中该现实影像包括设置有该标记图的第一影像以及未设置有该标记图的第二影像，其中该标记图包括已知图样；

基于该已知图样与该第一影像之间的相对关系，对未设置有该标记图的该第二影像进行影像延伸处理，以产生延伸影像；

使用该延伸影像来取代该现实影像中的该标记图，以产生显示影像；以及

显示该显示影像，

其中对未设置有该标记图的该第二影像进行影像延伸处理，以产生该延伸影像，以及使用该延伸影像来取代该现实影像中的该标记图，以产生该显示影像的步骤包括：

利用转换矩阵转换该现实影像；

根据经转换的该第二影像建立第三影像；

在经转换的该现实影像中，利用该第三影像取代经转换的该第一影像以得到不包括该标记图的显示前影像；以及

利用该转换矩阵反转换该显示前影像，以得到该显示影像。

2.根据权利要求1所述的影像显示方法，其特征在于，还包括：

根据该第一影像在该现实影像中的位置，在该显示影像中渲染该虚拟物体。

3.根据权利要求1所述的影像显示方法，其特征在于，该已知图样包括多个特征点，并且所述多个特征点之间具有已知位置关系。

4.根据权利要求3所述的影像显示方法，其特征在于，基于该已知图样与该第一影像之间的该相对关系的步骤包括：

对该现实影像进行影像辨识，以识别该现实影像中的该第一影像、该第二影像以及所述多个特征点；以及

根据该已知位置关系以及所述多个特征点在该现实影像中的多个位置，找出该相对关系。

5.根据权利要求4所述的影像显示方法，其特征在于，根据该已知位置关系以及所述多个特征点在该现实影像中的所述多个位置，找出该相对关系的步骤包括：

根据该已知位置关系以及所述多个特征点在该现实影像中的所述多个位置，建立转换矩阵。

6.根据权利要求1所述的影像显示方法，其特征在于，该转换矩阵为单应矩阵。

7.根据权利要求1所述的影像显示方法，其特征在于，该延伸影像为经反转换的该第三影像。

8.根据权利要求6所述的影像显示方法，其特征在于，根据经转换的该第二影像建立该第三影像的步骤包括：

根据经转换的该第二影像进行材质合成，以建立该第三影像。

9.根据权利要求1所述的影像显示方法，其特征在于，该延伸影像是利用材质合成技术或人工智能算法来建立。

10.一种增强现实***，其特征在于，包括：

影像获取装置，用以捕获现实影像；

影像显示装置；以及

处理器，耦合于该影像获取装置以及该影像显示装置，并且用以：

取得该现实影像，其中该现实影像包括设置有标记图的第一影像以及未设置有该标记图的第二影像，其中该标记图包括已知图样；

基于该已知图样与该第一影像之间的相对关系，对未设置有该标记图的该第二影像进行影像延伸处理，以产生延伸影像；

使用该延伸影像来取代该现实影像中的该标记图，以产生显示影像；以及

通过该影像显示装置显示该显示影像，

其中该处理器对未设置有该标记图的该第二影像进行影像延伸处理，以产生该延伸影像，以及使用该延伸影像来取代该现实影像中的该标记图，以产生该显示影像时，包括：

利用转换矩阵转换该现实影像；

根据经转换的该第二影像建立第三影像；

在经转换的该现实影像中，利用该第三影像取代经转换的该第一影像以得到不包括该标记图的显示前影像；以及

利用该转换矩阵反转换该显示前影像，以得到该显示影像。

11.根据权利要求10所述的增强现实***，其特征在于，该处理器还用以：

根据该第一影像在该现实影像中的位置，通过该影像显示装置在该显示影像中渲染虚拟物体。

12.根据权利要求10所述的增强现实***，其特征在于，该已知图样包括多个特征点，并且所述多个特征点之间具有已知位置关系。

13.根据权利要求12所述的增强现实***，其特征在于，基于该已知图样与该第一影像之间的该相对关系包括：

对该现实影像进行影像辨识，以识别该现实影像中的该第一影像、该第二影像以及所述多个特征点；以及

根据该已知位置关系以及所述多个特征点在该现实影像中的多个位置，找出该相对关系。

14.根据权利要求13所述的增强现实***，其特征在于，当该处理器根据该已知位置关系以及所述多个特征点在该现实影像中的所述多个位置，找出该相对关系时，包括：

据该已知位置关系以及所述多个特征点在该现实影像中的所述多个位置，建立转换矩阵。

15.根据权利要求10所述的增强现实***，其特征在于，该转换矩阵为单应矩阵。

16.根据权利要求10所述的增强现实***，其特征在于，该延伸影像为经反转换的该第三影像。

17.根据权利要求10所述的增强现实***，其特征在于，当该处理器根据经转换的该第二影像建立该第三影像时，包括：

根据经转换的该第二影像进行材质合成，以建立该第三影像。

18.根据权利要求10所述的增强现实***，其特征在于，该延伸影像是利用材质合成技术或人工智能算法来建立。