CN110798610A - 影像显示***与影像显示方法 - Google Patents

Abstract

本发明提出一种影像显示***，包括控制装置、影像捕获设备、处理器以及显示器。控制装置取得控制讯号，影像捕获设备根据控制讯号移动至观察点并且在观察点捕获第一影像，处理器根据立体房屋室内模型、立体房屋室内模型中对应观察点的观察位置以及第一影像产生室内影像，并且显示器显示室内影像。其中，观察点与立体房屋室内模型中的观察位置是同步移动。此外，一种影像显示方法亦被提出。

Description

影像显示***与影像显示方法

【技术领域】

本发明是有关于一种影像显示方法，且特别是有关于一种可模拟室内影像的影像显示***与影像显示方法。

【背景技术】

建商在贩卖预售屋时常会设立展售中心或接待中心来向客户展示房屋的环境、建造方式或内外空间等等。一般来说，在制作预售屋模型时建商常会把预售屋隔壁的邻地以绿地的方式呈现。然而，预售屋隔壁的邻地可能是同期建案的另一栋大楼、加油站、电塔甚至是墓地，这些可能性都会成为购屋者心中的疑虑。

除了周围环境之外，房屋实际建成后的高度、窗外景色与采光都是重要的考虑。举例来说，实际建成后的房屋高度与窗外景色可能与邻房的栋距有关，而栋距过近容易产生压迫感。此外，好的采光会提升整体室内的好感度，而不好的采光可能会导致光线不充足或西晒等问题。因此，一种能够表现出房屋实际建成后，用户在屋内真实感受的***，是房屋的买卖双方所共同追求的目标。

【发明内容】

有鉴于此，本发明提供一种影像显示***与影像显示方法，能够模拟出真实的室内影像。

本发明的影像显示***，包括控制装置、影像捕获设备、处理器以及显示器。控制装置取得控制讯号。影像捕获设备耦接于控制装置，并根据控制讯号移动至观察点并且在观察点捕获第一影像。处理器耦接于影像捕获设备，并根据立体房屋室内模型、立体房屋室内模型中对应观察点的观察位置以及第一影像产生室内影像。显示器耦接于处理器并显示室内影像。其中，观察点与立体房屋室内模型中的观察位置是同步移动。

在本发明的一实施例中，上述的室内影像包括窗户影像以及非窗户影像，窗户影像对应于第一影像，而非窗户影像对应于立体房屋室内模型。

在本发明的一实施例中，上述的处理器在产生室内影像时，根据立体房屋室内模型中的窗户位置以及观察位置决定立体房屋室内模型的窗户视野部分与非窗户视野部分，根据第一影像产生窗户影像，并且根据非窗户视野部分产生非窗户影像。

在本发明的一实施例中，上述的处理器根据时间信息、影像捕获设备的当前位置以及立体房屋室内模型中的窗户位置将室内光线渲染于室内影像中。

在本发明的一实施例中，上述的控制讯号包括对应观察点的位置参数以及对应视线角度的角度参数。控制装置包括定位装置以及方向传感器，其中定位装置用以取得位置参数，并且方向传感器用以取得角度参数。

在本发明的一实施例中，当处理器判断第一影像中包括另一影像捕获设备，处理器根据所述另一影像捕获设备在第一影像中的位置将虚拟人物渲染于室内影像中。

本发明的影像显示方法包括以下步骤：取得控制讯号；根据控制讯号控制影像捕获设备移动至观察点；利用影像捕获设备在观察点捕获第一影像；根据立体房屋室内模型、立体房屋室内模型中对应观察点的观察位置以及第一影像产生室内影像，其中观察点与观察位置同步移动；以及显示室内影像。

在本发明的一实施例中，上述的室内影像包括窗户影像以及非窗户影像，窗户影像对应于第一影像，并且非窗户影像对应于立体房屋室内模型。

在本发明的一实施例中，上述的根据立体房屋室内模型、立体房屋室内模型中对应观察点的观察位置以及第一影像产生室内影像的步骤包括：根据立体房屋室内模型中的窗户位置以及观察位置决定立体房屋室内模型的窗户视野部分与非窗户视野部分；根据第一影像产生窗户影像；以及根据非窗户视野部分产生非窗户影像。

在本发明的一实施例中，上述的影像显示方法更包括：根据时间信息、影像捕获设备的当前位置以及立体房屋室内模型中的窗户位置将室内光线渲染于该室内影像中。

在本发明的一实施例中，上述的控制讯号包括对应观察点的位置参数以及对应视线角度的角度参数，其中取得控制讯号的步骤包括：利用定位装置取得位置参数；以及利用方向传感器取得角度参数。

在本发明的一实施例中，上述的影像显示方法更包括：判断第一影像中是否包括另一影像捕获设备；以及当第一影像中包括另一影像捕获设备，根据所述另一影像捕获设备在第一影像中的位置将虚拟人物渲染于室内影像中。

基于上述，本发明实施例所提出的影像显示***与影像显示方法利用控制装置来控制影像捕获设备取得观察点的实际影像，在合成实际影像与立体房屋室内模型以产生室内影像。据此，能够模拟出在观察点看到的实际景象。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。

【附图说明】

图1绘示本发明一实施例中影像显示***的概要方块图。

图2绘示本发明一实施例中影像显示***的使用情境示意图。

图3绘示本发明一实施例中影像显示方法的流程图。

图4绘示本发明第一实施例中产生室内影像的示意图。

图5绘示本发明第二实施例中产生室内影像的示意图。

图6绘示本发明第三实施例中产生室内影像的示意图。

图7绘示本发明一实施例中影像捕获设备拍摄到另一影像捕获设备的示意图。

【具体实施方式】

图1绘示本发明一实施例中影像显示***的概要方块图；图2绘示本发明一实施例中影像显示***的使用情境示意图。

请参照图1与图2，影像显示***100包括控制装置110、影像捕获设备120、处理器130以及显示器140。在一些实施例中，控制装置110、处理器130以及显示器140位于展售中心SC，影像捕获设备120位于建筑预定地BD_RSV上方。用户USR可在展售中心SC透过控制装置110来控制其在模拟盖好后的预售屋(例如采三维建模方式，以建立立体房屋)中的观察位置与视线角度，透过影像捕获设备120与处理器130的协作，显示器140会对应地显示出在盖好后的预售屋中，从所述观察位置与视线角度所能观看到的室内影像。由于立体房屋室内模型可以包括不同的室内装潢，且具体应用可根据实际情况进行配置，并可用不同方式取得，故在此不赘述。然而，本发明并不限于上述实施例的使用情境。

控制装置110耦接于影像捕获设备120，用以接收和传送控制讯号S，以控制影像捕获设备120移动到指定的观察点来拍摄影像。在一些实施例中，控制讯号S包括用以控制用户USR所欲观看的位置的位置参数，位置参数例如包括楼层参数与屋内观察位置的二维坐标参数等。当用户USR透过控制装置110输入楼层参数来调整其所欲观看的楼层时，影像捕获设备120会移动到建筑预定地BD_RSV上方对应于该楼层的高度；当用户USR透过控制装置110输入坐标参数来在特定楼层中移动观察位置时，影像捕获设备120会固定高度地在建筑预定地BD_RSV上方对应地平移位置。在一些实施例中，控制讯号S更包括用以控制用户USR的视线角度的角度参数。当用户USR透过控制装置110输入角度参数来调整其所欲观看的视线角度时，影像捕获设备120则会对应地转动。然而，本发明并不在此限制用以控制影像捕获设备120移动或转动的控制参数的具体型式。在其他实施例中，控制讯号S亦可例如是仅包括一个经度、纬度与高度的三维坐标参数。

在一些实施例中，控制装置110包括输入设备，例如键盘、鼠标、摇杆、麦克风或触摸屏等，用户USR可使用输入设备来控制其所欲观看的楼层、观察位置或视线角度，而影像捕获设备120则会对应地移动或转动。

在一些实施例中，控制装置110包括定位装置以及方向传感器等，其中定位装置用以侦测用户USR在展售中心SC中的位置与高度，而方向传感器用以侦测用户USR的朝向(orientation)。在一些实施例中，定位装置例如是包括设置在展售中心的多个影像捕获设备以及处理器，藉由多个影像捕获设备所捕获包括用户USR的影像以及各个影像捕获设备的位置，处理器便能够计算得到用户USR在展售中心SC中的位置与高度，以取得位置参数。举例来说，当用户USR在展售中心SC从楼层F1移动到楼层F2时，定位装置可以取得位置参数，进而控制影像捕获设备120从对应于楼层F1的高度移动到对应于楼层F2的高度。在一些实施例中，方向传感器例如是以陀螺仪来实作，当用户将方向传感器配戴在身上并旋转时，陀螺仪便能够取得角度参数。在一些实施例中，定位装置与方向传感器例如是以九轴传感器来实作，当用户USR将九轴传感器配戴在身上并在展售中心SC中移动或转动时，九轴传感器便能够根据用户USR的移动或转动来提供位置参数或角度参数。然而，本发明并不限于此。

影像捕获设备120耦接于处理器130，用以取得其视野范围内的影像，并且将其所取得的影像传送至处理器130。在一些实施例中，影像捕获设备120例如以无人机来实作，无人机受控制装置110的控制而可移动到指定的观察点OB以在该处取得影像。在一些实施例中，影像捕获设备120例如是以无人机搭载全景摄像机，用以根据控制讯号移动到指定观察点OB取得全视角影像。而在一些实施例中，例如可以是以无人机搭载旋转平台与非全景摄像机，用以根据控制讯号移动到指定观察点OB，并且转动到指定角度来取得非全视角的影像。

处理器130耦接于显示器140。处理器130可例如是中央处理单元(CentralProcessing Unit，CPU)，或是其他可程序化之一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可程序化控制器、特殊应用集成电路(Application Specific Integrated Circuits，ASIC)、可程序化逻辑设备(Programmable Logic Device，PLD)或其他类似装置或这些装置的组合，用以接收来自影像捕获设备120的影像，并且进行计算以将该影像与立体房屋室内模型进行结合，以模拟出较贴近真实环境的室内影像。

显示器140包括多个显示像素，其例如是液晶显示器(Liquid-Crystal Display，LCD)、发光二极管(Light-Emitting Diode，LED)显示器或其他合适种类的显示器，用以接收来自处理器130的讯号以显示二维或三维的室内影像，本发明不在此限。

在一些实施例中，控制装置100、影像捕获设备120、处理器130以及显示器140例如分别实作成独立的装置。在一些实施例中，显示器140例如是与控制装置110、处理器130整合来实作为移动式电子装置，例如，以智能型手机的应用程序来实作。在一些实施例中，显示器140例如是与控制装置110整合来实作为头戴式显示器，例如，将九轴传感器整合在头戴式显示器中。然而，本发明并不限制影像显示***100的具体实作方式。

图3绘示本发明一实施例中影像显示方法的流程图。

图3实施例中的影像显示方法可藉由图1实施例中的影像显示***100的各项组件来协作完成，故以下将引用影像显示***100的各项组件来说明本实施例的影像显示方法。

在步骤S110中，控制装置110会收发控制讯号S。控制装置110取得控制讯号S的细节已于前述段落举实施例说明，故以下不再重复赘述。在步骤S120中，影像捕获设备120会根据控制讯号S移动至观察点OB，并且在步骤S130中，影像捕获设备120会在观察点OB捕获第一影像IMG1。在步骤S140中，处理器130会根据立体房屋室内模型、立体房屋室内模型中对应观察点OB的观察位置OB’以及第一影像IMG1来产生结合室外真实环境影像的室内影像。在步骤S150中，显示器140会显示该室内影像，以让用户USR能看到更贴近真实的样貌。

在一些实施例中，立体房屋室内模型例如是不包括家具或摆设的室内格局的立体模型。在一些实施例中，立体房屋室内模型例如是包括家具及摆设的立体模型。值得一提的是，本发明并不在此限制立体房屋室内模型的细节与来源，应用本发明者可依其需求来实作之。举例而言，立体房屋室内模型可以是唯一记录在储存装置(未绘示)中，也可以是对应于不同位置参数而记录有多个立体房屋室内模型在储存装置中。例如，多个第一位置参数对应于第一立体房屋室内模型，而多个第二位置参数对应于第二立体房屋室内模型等等。举另一例而言，立体房屋室内模型可以是处理器130透过网络模块(未绘示)来下载得到。

此外，值得一提的是，指定的观察点OB对应于在立体房屋室内模型中的观察位置OB’。举例来说，当观察点OB位于预售屋盖好后，楼层F2的大门入口时，观察位置OB’会位于对应楼层F2的立体房屋室内模型中的大门入口处。此外，用户USR在透过控制装置110控制立体房屋室内模型中的观察位置OB’时，影像捕获设备120会跟着移动到对应的观察点OB。因此，在立体房屋室内模型中的观察位置OB’与观察点OB是同步地移动。

以下将举实施例说明处理器130产生室内影像的方式。为了方便表示，图4到图6中将以二维的横切面来表示立体房屋室内模型。

图4绘示本发明一实施例中产生室内影像的示意图。

在一些实施例中，影像捕获设备120例如搭载全景摄像机的无人机。影像捕获设备120会根据控制讯号S移动到指定的观察点OB捕获全视角影像作为第一影像IMG1。

如图4所示，处理器130例如根据立体房屋室内模型sect中的观察位置OB’与窗户位置W1、W2、W3，将立体房屋室内模型sect区分为窗户视野部份R1与非窗户视野部份R2。详细来说，在观察位置OB’朝向窗户视野部分R1的任一处看去的视线都能够看到窗户位置W1、W2、W3，而不会被其他障碍物所阻挡；而在观察位置OB’朝向非窗户视野部分R2的任一处看去的视线都无法看到窗户位置W1、W2、W3，可能是因为该方向没有窗户或是被立体房屋室内模型的家具、摆设或格局所阻挡。随后，处理器130会计算观察点OB与观察位置OB’重合，且第一影像IMG1的朝向对齐立体房屋室内模型sect的朝向时，将非窗户视野部分R2投影并迭加到第一影像IMG1上所产生的第二影像IMG2。更明确地说，所产生的第二影像IMG2也是全视角影像，且其中包括原第一影像IMG1所构成的窗户影像以及立体房屋室内模型sect的非窗户视野部分所构成的非窗户影像。接着，处理器130会根据控制讯号S中的角度参数，来从第二影像IMG2中捕获出对应于视野范围FOV的部分影像以作为室内影像，以提供显示器140来显示。

明确地说，上述的视野范围FOV例如是显示器140所显示的室内影像的视野范围。因此，视野范围FOV的尺寸是关联于显示器140的规格，而视野范围FOV的方向则是关联于角度参数。如此一来，用户可以藉由调整角度参数来控制视野范围FOV的方向，进而看到不同的室内影像。

图5绘示本发明第二实施例中产生室内影像的示意图。

在一些实施例中，影像捕获设备120例如为搭载全景摄像机的无人机。影像捕获设备120会根据控制讯号S移动到指定的观察点OB捕获全视角影像作为第一影像IMG1。

如图5所示，处理器130例如会先根据控制讯号S中的角度参数，来从第一影像IMG1中捕获出对应于视野范围FOV的部分影像。随后，将观察点OB与观察位置OB’重合，并且使第一影像IMG1的朝向对齐立体房屋室内模型sect的朝向后，再根据立体房屋室内模型sect中的观察位置OB’、窗户位置W1、W2、W3以及视野范围FOV来取得立体房屋室内模型sect的窗户视野部份R1与非窗户视野部份R2。最后，将上述的立体房屋室内模型sect的非窗户视野部分R2投影并迭加到从第一影像IMG1捕获的对应于视野范围FOV的部分影像上，以形成室内影像，以供显示器140显示。详细来说，室内影像中包括部分的第一影像IMG1所构成的窗户影像以及立体房屋室内模型sect的非窗户视野部分R2所构成的非窗户影像。

图6绘示本发明第三实施例中产生室内影像的示意图。

在一些实施例中，影像捕获设备120例如为搭载旋转平台与非全景的摄像机的无人机。影像捕获设备120会根据控制讯号S的位置参数移动到指定的观察点OB，并利用旋转平台根据控制讯号S的角度参数旋转到特定角度(例如，用户USR的视线角度)来捕获非全视角的第一影像IMG1。

图6的非全视角的第一影像IMG1例如相同于图5实施例中从第一影像IMG1所捕获的对应于视野范围FOV的部分影像，而图6中的非全视角的第一影像IMG1的影像范围则例如为视野范围FOV。如图6所示，处理器130会使第一影像IMG1的朝向对齐立体房屋室内模型sect的朝向后，再根据立体房屋室内模型sect中的观察位置OB’、窗户位置W1、W2、W3以及视野范围FOV来取得立体房屋室内模型sect中的窗户视野部份R1与非窗户视野部份R2。最后，将上述的立体房屋室内模型sect的非窗户视野部分R2投影并迭加到第一影像IMG1上，以形成室内影像，以供显示器140显示。详细来说，室内影像中包括部分的第一影像IMG1所构成的窗户影像以及立体房屋室内模型sect的非窗户视野部分R2所构成的非窗户影像。

如此一来，显示器140能够同时以立体房屋室内模型来显示出室内影像中非窗户影像的部分，以及以影像捕获设备120所拍摄的第一影像IMG1来显示出室内影像中窗户影像的部分。

在一些实施例中，在建立室内影像时，处理器130会先根据时间信息、影像捕获设备120的当前位置以及立体房屋室内模型中的窗户位置来将光线渲染于室内影像中。

举例来说，处理器130会根据当前时间或用户USR所输入的时间来取得时间信息，并且根据位置参数或设置于影像捕获设备120的定位***(例如但不限于，全球定位***)来取得影像捕获设备120的当前位置。据此，处理器130便能够估算出对应于时间信息与影像捕获设备120的当前位置的日照方向，并进一步使用光线追踪(ray tracing)等算法来根据日照方向以及立体房屋室内模型中的窗户位置来将光线渲染于立体房屋室内模型中，例如改变立体房屋室内模型的色温、产生立体房屋室内模型中的光影等等。接着，处理器130可例如再根据图4至图6实施例所介绍的方法，来使用加入光线后的立体房屋室内模型产生室内影像，以贴近真实的日照情况。

在一些实施例中，处理器130更判断影像捕获设备110所拍摄的第一影像IMG1中是否有其他影像捕获设备。若有，则根据第一影像IMG1中的其他影像捕获设备在第一影像IMG1中的位置，决定是否将虚拟人物渲染于室内影像中。

图7绘示本发明一实施例中影像捕获设备拍摄到另一影像捕获设备的示意图。

请参照图7，当影像捕获设备120所拍摄的第一影像IMG1中出现另一台影像捕获设备120’时，表示可能有另一个用户USR’也正在观看对应同一个建筑预定地BD_RSV的房屋的室内影像，也就是有另外一个用户USR’也一起在看同一间房屋。

因此，在一些实施例中，处理器130例如会判断所述另一台影像捕获设备120’是否进入第一影像IMG1中对应视野范围FOV的部分，若是，则在室内影像中对应所述另一台影像捕获设备120’的位置渲染上虚拟人物，以覆盖另一台影像捕获设备120’的影像并且模拟出其他用户正在一起看屋的效果。

以图4实施例为例，如前段落所述，处理器130例如会根据控制讯号S中的角度参数来捕获出第一影像IMG1中对应于视野范围FOV的部分。当另一影像捕获设备120’出现在全视角的第一影像IMG1的某一位置，且此位置位于第一影像IMG1中对应于视野范围FOV的部分内(例如，第一影像IMG1中对应于视野范围FOV部分的正中央)，处理器130便会根据所述另一影像捕获设备120’在第一影像IMG1中的位置，将虚拟人物渲染到室内影像中对应的位置(例如，室内影像的正中央)。

综上所述，本发明实施例所提出的影像显示***与影像显示方法利用控制装置来控制影像捕获设备取得观察点的实际影像，再合成实际影像与立体房屋室内模型以产生室内影像，因此能够模拟出在观察点看到的实际景象。在本发明的一些实施例中，更根据当前的日照信息将窗外的光线渲染到室内影像中，以模拟出更加真实地具光影的室内影像。此外，在本发明的一些实施例中，更将所拍摄到的另一台影像捕获设备模拟为虚拟人物，因此能够避免在室内影像中突兀地出现另一台影像捕获设备，使室内影像更加自然。基于本发明的数个实施例，消费者得以享受由增强现实(Augmented Reality，AR)技术来实现的「远程看屋」的良好体验。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视后附的申请专利范围所界定者为准。

Claims (12)

1.一种影像显示***，其特征在于，包括：

控制装置，用以收发控制讯号；

影像捕获设备，耦接于该控制装置，根据该控制讯号移动至观察点并且在该观察点捕获第一影像；

处理器，耦接于该影像捕获设备，根据立体房屋室内模型、该立体房屋室内模型中对应该观察点的观察位置以及该第一影像产生室内影像，其中该观察点与该观察位置同步移动；以及

显示器，耦接于该处理器，显示该室内影像。

2.如权利要求1所述的影像显示***，其特征在于，该室内影像包括窗户影像以及非窗户影像，该窗户影像对应于该第一影像，而该非窗户影像对应于该立体房屋室内模型。

3.如权利要求2所述的影像显示***，其特征在于，该处理器在产生该室内影像时，根据该立体房屋室内模型中的窗户位置以及该观察位置决定该立体房屋室内模型的窗户视野部分与非窗户视野部分，根据该第一影像产生该窗户影像，并且根据该非窗户视野部分产生该非窗户影像。

4.如权利要求1所述的影像显示***，其特征在于，该处理器根据时间信息、该影像捕获设备的当前位置以及该立体房屋室内模型中的窗户位置将光线渲染于该室内影像中。

5.如权利要求1至4任一项所述的影像显示***，其特征在于，该控制讯号包括对应该观察点的位置参数以及对应视线角度的角度参数，其中该控制装置包括：

定位装置，用以取得该位置参数；以及

方向传感器，用以取得该角度参数。

6.如权利要求5所述的影像显示***，其特征在于，当该处理器判断该第一影像中包括另一影像捕获设备，根据该另一影像捕获设备在该第一影像中的位置将虚拟人物渲染于该室内影像中。

7.一种影像显示方法，其特征在于，包括：

取得控制讯号；

根据该控制讯号控制影像捕获设备移动至观察点；

利用该影像捕获设备在该观察点捕获第一影像；

根据立体房屋室内模型、该立体房屋室内模型中对应该观察点的观察位置以及该第一影像产生室内影像，其中该观察点与该观察位置同步移动；以及

显示该室内影像。

8.如权利要求7所述的影像显示方法，其特征在于，该室内影像包括窗户影像以及非窗户影像，该窗户影像对应于该第一影像，而该非窗户影像对应于该立体房屋室内模型。

9.如权利要求8所述的影像显示方法，其特征在于，根据该立体房屋室内模型、该立体房屋室内模型中对应该观察点的该观察位置以及该第一影像产生该室内影像的步骤包括：

根据该立体房屋室内模型中的窗户位置以及该观察位置决定该立体房屋室内模型的窗户视野部分与非窗户视野部分；

根据该第一影像产生该窗户影像；以及

根据该非窗户视野部分产生该非窗户影像。

10.如权利要求7所述的影像显示方法，其特征在于，更包括：

根据时间信息、该影像捕获设备的当前位置以及该立体房屋室内模型中的窗户位置将光线渲染于该室内影像中。

11.如权利要求7至10任一项所述的影像显示方法，其特征在于，该控制讯号包括对应该观察点的位置参数以及对应视线角度的角度参数，其中取得该控制讯号的步骤包括：

利用定位装置取得该位置参数；以及

利用方向传感器取得该角度参数。

12.如权利要求11所述的影像显示方法，其特征在于，更包括：

判断该第一影像中是否包括另一影像捕获设备；以及

当该第一影像中包括该另一影像捕获设备，根据该另一影像捕获设备在该第一影像中的位置将虚拟人物渲染于该室内影像中。

Images