TWI669682B - 影像處理系統及影像處理方法 - Google Patents

Abstract

一種影像處理系統，包含：一攝像機、一定位裝置、一姿態估測裝置以及一處理器。攝像機用以拍攝一真實環境。定位裝置用以偵測攝像機的一攝像位置。姿態估測裝置用以偵測攝像機的一攝像姿態。處理器用以依據時間資訊及緯度資訊以推知一光源資訊，並依據攝像位置、攝像姿態、對應真實環境的真實環境資訊、光源資訊及一第一虛擬物體之一第一虛擬資訊及一光源追蹤(ray tracing)演算法，以將真實環境的倒影呈現在第一虛擬物體上。

Description

影像處理系統及影像處理方法

本案是有關於一種影像處理系統及影像處理方法，且特別是有關於一種應用於擴增實境之影像處理系統及影像處理方法。

一般而言，在擴增實境技術中，容易產生虛擬物體與真實環境不融合或虛擬物體不夠真實的現象。此種缺陷通常是因為在渲染(rendering)虛擬物體時，沒有參考真實環境的狀況而導致。例如，在使用者觀看擴增實境的場景時，虛擬物體的光影沒有跟著攝像機的方向或角度而調整。

因此，如何使虛擬物體在擴增實境中，更貼近真實環境，已成為須解決的問題之一。

根據本案之一方面，提供一種影像處理系統，包含：一攝像機、一定位裝置、一姿態估測裝置以及一處理器。攝像機用以拍攝一真實環境。定位裝置用以偵測攝像機的一攝像位置。姿態估測裝置用以偵測攝像機的一攝像姿態。處理器用以依據一時間資訊及一緯度資訊以推知一光源資訊，並依據攝像位置、攝像姿態、對應真實環境的真實環境資訊、光源資訊、一第一虛擬物體之一第一虛擬資訊及一光源追蹤(ray tracing)演算法，以將真實環境的倒影呈現在第一虛擬物體上。

根據本案之另一方面，提供一種影像處理方法包含：藉由一攝影機拍攝一真實環境；藉由一定位裝置偵測攝像機的一攝像位置；藉由一姿態估測裝置偵測攝像機的一攝像姿態；藉由一處理器依據一時間資訊及一緯度資訊推知一光源資訊；以及藉由處理器依據攝像位置、攝像姿態、對應真實環境的真實環境資訊、光源資訊、一第一虛擬物體之一第一虛擬資訊及一光源追蹤(ray tracing)演算法，以將真實環境的倒影呈現在第一虛擬物體上。

綜上，本案的影像處理系統及影像處理方法應用攝像位置、攝像姿態、真實環境資訊、光源資訊及虛擬物體之虛擬資訊及光源追蹤演算法，以考量太陽在世界座標的位置、光源色溫、攝像機的位置及其擺放方向、真實物體的材質及/或反射率、虛擬物體的材質及/或反射率等因素配合光源追蹤演算法，使真實環境的倒影呈現在虛擬物體上，使得擴增實境中的虛擬物體可以呈現更貼近真實的光影樣貌。

請參閱第1A圖，第1A圖為根據本案一實施例繪示的一種影像處理系統100a的方塊圖。於一實施例中，影像處理系統100a包含一攝像機10、一定位裝置20、一姿態估測裝置30及一處理器40。於一實施例中，處理器40分別耦接攝像機10、定位裝置20以及姿態估測裝置30。

於一實施例中，攝像機10可以是電荷耦合元件(Charge Coupled Device，CCD)或互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor，CMOS)。定位裝置20可以是全球定位***（Global Positioning System，GPS）***，全球定位******可用以取得攝像機10的位置資訊。姿態估測裝置30可以由慣性量測單元(Inertial measurement unit，IMU)以實現，慣性量測單元可以偵測攝像機10的朝向(例如朝向北邊或南邊、仰角或俯角)。處理器40可以被實施為微控制單元(microcontroller)、微處理器(microprocessor)、數位訊號處理器(digital signal processor)、特殊應用積體電路(application specific integrated circuit，ASIC)或一邏輯電路。

請參閱第1B圖，第1B圖為根據本案另一實施例繪示的一種影像處理系統100b的方塊圖。相較於第1A圖的影像處理系統100a，第1B圖的影像處理系統100b更包含一顯示器50，處理器40耦接顯示器50。顯示器50可以是手持電子裝置(例如手機、平板)的顯示裝置或是頭戴式裝置中的顯示裝置。於一實施例中，攝像機10、定位裝置20、姿態估測裝置30、處理器40以及顯示器50可整合於單一裝置(如：手持式電子裝置)當中。

請參閱第2圖，第2圖為根據本案一實施例繪示的一種影像處理方法200的流程圖。以下詳述本案影像處理方法200的流程。影像處理方法200中所提及的元件可由第1A圖或第1B圖所述的元件實現之。

於步驟210中，攝像機10拍攝一真實環境。

於一實施例中，對應真實環境的一真實環境資訊係由一精密地圖以取得，真實環境資訊包含真實環境中每個真實物體之一三維資訊、一反射率、一顏色或一材質資訊。例如，攝像機10拍攝一辦公室場景時，處理器40可依據對應辦公室場景的精密地圖，得知辦公室場景中的桌子、椅子、窗戶等真實物體各別的三維資訊、反射率、顏色或材質等資訊。

於一實施例中，真實環境資訊中的材質資訊及反射率可以應用於進行渲染時，作為光源追蹤(ray tracing)的參考，以確認真實環境及或虛擬物體上有來自何種方向之光線。

於步驟220中，定位裝置20偵測攝像機10的一攝像位置。

於一實施例中，定位裝置20為全球定位******，可用以取得攝像機10的一攝像位置(如攝像機10的GPS資訊)。

於步驟230中，姿態估測裝置30偵測攝像機10的一攝像姿態。

於一實施例中，姿態估測裝置30為慣性量測單元，慣性量測單元可以偵測攝像機10的朝向(例如朝向北邊或南邊、仰角或俯角)，藉此可以得知攝像機10的攝像姿態。

上述步驟210~230的次序可以依實際實施調整。

於步驟240中，處理器40依據時間資訊(如當下的時間及日期)及緯度資訊(如攝像機10所在的緯度)以推知一光源資訊。於一實施例中，時間資訊及緯度資訊可藉由定位裝置20取得，亦可以藉由網路取得。

於一實施例中，當處理器40由定位裝置20或網路得知時間資訊及緯度資訊時，可推算出或以查表方式取得光源資訊。其中，光源資訊包含一光源位置(如太陽在世界座標的位置)或一色溫資訊(如光源顏色)。

於一實施例中，處理器40可建立天氣對應色溫資訊的表格，例如記錄大晴天早上、大晴天晚上、陰天早上、陰天晚上等天氣狀況及對應之時段的色溫，使得當處理器40取得時間資訊及緯度資訊時，可以得知該地點的天氣且透過查表以取得色溫資訊。

於步驟250中，處理器40依據攝像位置、攝像姿態、真實環境資訊、光源資訊及一虛擬物體之一虛擬資訊及一光源追蹤(ray tracing)演算法，以將真實環境的倒影呈現在虛擬物體上。

於一實施例中，處理器40可由前述步驟210~240可取得攝像位置、攝像姿態、真實環境資訊、光源資訊及虛擬物體之虛擬資訊，於步驟250中，可將此些資訊及光源追蹤演算法一併考量，以將真實環境的倒影呈現在虛擬物體上。於一實施例中，由於精密地圖中包含真實物體的顏色，故可將帶有顏色的倒影呈現在虛擬物體上，以使得擴增實境中的虛擬物體可以呈現更貼近真實的光影樣貌。

以下敘述光源追蹤演算法的應用方式。

請參閱第3圖，第3圖為根據本案一實施例繪示的一種應用光源追蹤演算法的示意圖。於一實施例中，虛擬物體OBJ1的虛擬資訊為事先預設之資訊，虛擬資訊包含虛擬物體OBJ1之一虛擬位置及虛擬物體OBJ1之一反射率。

於第3圖中，處理器40應用光源追蹤演算法，以推算出顯示器50a每個像素(例如位置P1、P2)應呈現的亮度與顏色。於此例中，人眼位置P0可以置換為攝像機10的位置，光源追蹤演算法是指計算由人眼位置P0所看到的，由顯示器50a上每個像素位置(例如位置P1、P2)射出一射線，並且計算射線打到真實環境EN及虛擬物體OBJ1上的反射、折射及/或陰影效應。基於射線在空間中反射、折射路徑，顯示器50a上的每個像素都與一個光線資訊對應。

例如，處理器40模擬由位置P1射出一射線，此射線打到真實環境EN(例如：鏡子60)後，再從真實環境EN產生一反射射線打到虛擬物體OBJ1，接著從虛擬物體OBJ1產生另一反射射線打到光源SC1，藉此，處理器40可推算位置P1應顯示的亮度及色溫。

又例如，處理器40模擬由位置P2射出一射線，此射線打到虛擬物體OBJ1之地面陰影處SD2，再從地面陰影SD2產生一反射射線打到虛擬物體OBJ1及光源SC2，藉此，處理器40可推算位置P2應顯示的亮度及色溫。

在第3圖所繪示的空間中，實際上具有更多條光源的反射、折射、漫射或陰影(例如為陰影SD1、SD2)，為方便解釋，僅繪示上述例子中所涉及的部分射線為例。

接著，以下敘述處理器40依據攝像位置、攝像姿態、真實環境資訊、光源資訊、虛擬物體之虛擬資訊及光源追蹤演算法，以將真實環境的倒影呈現在虛擬物體上之例以及將虛擬物體的倒影呈現在另一虛擬物體上之例。

請參閱第4~6圖，第4~6圖為根據本案一實施例繪示的一種應用影像處理方法的示意圖。需特別說明的是，第4圖中箭頭的方向是光源追蹤演算法的計算方向，其與光源SC’的實際照射方向相反。於第4圖中，虛擬物體OBJa為一顆虛擬的光滑金屬球，其懸空地位於底板FL之上，此外，光源SC’打光到真實環境EN’及虛擬物體OBJa上，而真實環境EN’亦再反射光線到虛擬物體OBJa上，使得虛擬物體OBJa上呈現真實環境EN’的倒影，接著，虛擬物體OBJa上的光線再反射至攝像機10。基於上述內容並應用光源追蹤演算法，處理器40可以依據攝像位置(例如攝像機10的擺放位置)、攝像姿態(例如攝像機10的朝向)、真實環境EN’的真實環境資訊、光源SC’的光源資訊及虛擬物體OBJa之虛擬資訊，以得知光源SC’及真實環境EN’於虛擬物體OBJa上所產生的影響，以將真實環境EN’的倒影呈現在虛擬物體OBJa上。

於第5圖中，其與第4圖為類似的原理，於此例中，虛擬物體OBJa為一顆虛擬的光滑金屬球，其放置於底板FL之上，光源SC’打光到牆面WL1~WL4(即真實環境)及虛擬物體OBJa上，而牆面WL1~WL4亦再反射光線到虛擬物體OBJa上，接著，虛擬物體OBJa上的光線再反射至攝像機10。基於上述內容並應用光源追蹤演算法，處理器40可以依據攝像位置(例如攝像機10的擺放位置)、攝像姿態(例如攝像機10的朝向)、真實環境(例如牆面WL1~WL4)的真實環境資訊、光源SC’的光源資訊及虛擬物體OBJa之虛擬資訊，以得知光源SC’及牆面WL1~WL4於虛擬物體OBJa上所產生的影響，藉此將牆面WL1~WL4的倒影呈現在虛擬物體OBJa上，並呈現虛擬物體OBJa的虛擬陰影SDa。

於一實施例中，當真實環境(例如為牆面WL1~WL4)的倒影呈現在虛擬物體(例如為虛擬物體OBJa)上後，將此虛擬物體稱為一渲染物體，第1B圖中的顯示器50用以同時呈現該真實環境及該渲染物體。

於第6圖中，其與第5圖為類似的原理，於此例中，虛擬物體OBJa、OBJb皆為虛擬的光滑金屬球，其放置於底板FL之上，光源SC’打光到牆面WL1~WL4(真實環境)及虛擬物體OBJa、OBJb上，而牆面WL1~WL4亦再反射光線到虛擬物體OBJa、OBJb上。於一實施例中，反射至虛擬物體OBJa及OBJb其中一者的光線亦可再反射至另一者上，使得虛擬物體OBJb的倒影會呈現於虛擬物體OBJa上或虛擬物體OBJa的倒影會呈現於虛擬物體OBJb上。

換言之，對於虛擬物體OBJa而言，處理器40可以依據攝像位置(例如攝像機10的擺放位置)、攝像姿態(例如攝像機10的朝向)、真實環境(例如牆面WL1~WL4)的真實環境資訊、光源SC’的光源資訊及虛擬物體OBJa、OBJb各自之虛擬資訊及光源追蹤演算法，以得知光源SC’、牆面WL1~WL4及虛擬物體OBJb於虛擬物體OBJa上所產生的影響，以將牆面WL1~WL4及虛擬物體OBJb的倒影呈現在虛擬物體OBJa上，並呈現虛擬物體OBJa的虛擬陰影SDa。

另一方面，對於虛擬物體OBJb而言，處理器40可以依據攝像位置(例如攝像機10的擺放位置)、攝像姿態(例如攝像機10的朝向)、真實環境(例如牆面WL1~WL4)的真實環境資訊、光源SC’的光源資訊及虛擬物體OBJa、OBJb各自之虛擬資訊及光源追蹤演算法，以得知光源SC’、牆面WL1~WL4及虛擬物體OBJa於虛擬物體OBJb上所產生的影響，以將牆面WL1~WL4及虛擬物體OBJa的倒影呈現在虛擬物體OBJb上，並呈現虛擬物體OBJb的虛擬陰影SDb。

於一實施例中，當真實環境(例如為牆面WL1~WL4)的倒影呈現在虛擬物體(例如虛擬物體OBJa)上，將此虛擬物體稱為一渲染物體。當此虛擬物體的倒影呈現在另一虛擬物體(例如虛擬物體OBJb)上，此另一虛擬物體亦為一渲染物體。第1B圖中的顯示器50可用以同時呈現該真實環境及該些渲染物體。藉此，可使得擴增實境中的多個虛擬物體皆可呈現更貼近真實的光影樣貌。

綜上，本案的影像處理系統及影像處理方法應用攝像位置、攝像姿態、真實環境資訊、光源資訊及虛擬物體之虛擬資訊及光源追蹤演算法，以考量太陽在世界座標的位置、光源色溫、攝像機的位置及其擺放方向、真實物體的材質及/或反射率、虛擬物體的材質及/或反射率等因素配合光源追蹤演算法，使真實環境的倒影呈現在虛擬物體上，使得擴增實境中的虛擬物體可以呈現更貼近真實的光影樣貌。

雖然本案已以實施例揭露如上，然其並非用以限定本案，任何熟習此技藝者，在不脫離本案之精神和範圍內，當可作各種之更動與潤飾，因此本案之保護範圍當視後附之申請專利範圍所界定者為準。

100a、100b‧‧‧影像處理系統

10‧‧‧攝像機

20‧‧‧定位裝置

30‧‧‧姿態估測裝置

40‧‧‧處理器

200‧‧‧影像處理方法

210~250‧‧‧步驟

OBJ1、OBJa、OBJb‧‧‧虛擬物體

P0‧‧‧人眼位置

P1、P2‧‧‧位置

50、50a‧‧‧顯示器

60‧‧‧鏡子

EN、EN’‧‧‧真實環境

SC1、SC2、SC’‧‧‧光源

SD1、SD2、SDa、SDb‧‧‧陰影

FL‧‧‧底板

WL1~WL4‧‧‧牆面

為讓本揭示內容之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖示之說明如下： 第1A圖為根據本案一實施例繪示的一種影像處理系統的方塊圖； 第1B圖為根據本案另一實施例繪示的一種影像處理系統的方塊圖； 第2圖為根據本案一實施例繪示的一種影像處理方法的流程圖； 第3圖為根據本案一實施例繪示的一種應用影像處理方法的示意圖； 第4圖為根據本案一實施例繪示的一種應用影像處理方法的示意圖； 第5圖為根據本案一實施例繪示的一種應用影像處理方法的示意圖；以及 第6圖為根據本案一實施例繪示的一種應用影像處理方法的示意圖。

Claims (14)

1. 一種影像處理系統，包含： 一攝像機，用以拍攝一真實環境； 一定位裝置，用以偵測該攝像機的一攝像位置； 一姿態估測裝置，用以偵測該攝像機的一攝像姿態；以及 一處理器，用以依據一時間資訊及一緯度資訊以推知一光源資訊，並依據該攝像位置、該攝像姿態、對應該真實環境的一真實環境資訊、該光源資訊、一第一虛擬物體之一第一虛擬資訊及一光源追蹤(ray tracing)演算法，以將該真實環境的倒影呈現在該第一虛擬物體上。
2. 如請求項1所述之影像處理系統，其中該真實環境資訊係由一精密地圖以取得，該真實環境資訊包含真實環境中每個真實物體之一三維資訊、一反射率、一顏色或一材質資訊。
3. 如請求項1所述之影像處理系統，其中該光源資訊包含一光源位置或一色溫資訊。
4. 如請求項1所述之影像處理系統，其中該第一虛擬資訊包含該第一虛擬物體之一虛擬位置及該第一虛擬物體之一反射率。
5. 如請求項1所述之影像處理系統，其中該真實環境的倒影呈現在該第一虛擬物體上後，該第一虛擬物體成為一第一渲染物體，該影像處理系統更包含： 一顯示器，用以同時顯示該真實環境及該第一渲染物體。
6. 如請求項1所述之影像處理系統，其中該處理器更用以依據該攝像位置、該攝像姿態、該光源資訊、該第一虛擬物體的該第一虛擬資訊、一第二虛擬物體的一第二虛擬資訊及該光源追蹤演算法，以將該第一虛擬物體的倒影呈現在該第二虛擬物體上，其中該第二虛擬資訊包含該第二虛擬物體之一虛擬位置及該第二虛擬物體之一反射率。
7. 如請求項6所述之影像處理系統，其中該真實環境的倒影呈現在該第一虛擬物體上後，該第一虛擬物體成為一第一渲染物體，該第一虛擬物體的倒影呈現在該第二虛擬物體上後，該第二虛擬物體成為一第二渲染物體，該影像處理系統更包含： 一顯示器，用以同時顯示該真實環境、該第一渲染物體以及該第二渲染物體。
8. 一種影像處理方法，包含： 藉由一攝影機拍攝一真實環境； 藉由一定位裝置偵測該攝像機的一攝像位置； 藉由一姿態估測裝置偵測該攝像機的一攝像姿態； 藉由一處理器依據一時間資訊及一緯度資訊推知一光源資訊；以及 藉由該處理器依據該攝像位置、該攝像姿態、對應該真實環境的一真實環境資訊、該光源資訊、一第一虛擬物體之一第一虛擬資訊及一光源追蹤(ray tracing)演算法，以將該真實環境的倒影呈現在該第一虛擬物體上。
9. 如請求項8所述之影像處理方法，其中該真實環境資訊係由一精密地圖以取得，該真實環境資訊包含真實環境中每個真實物體之一三維資訊、一反射率、一顏色或一材質資訊。
10. 如請求項8所述之影像處理方法，其中該光源資訊包含一光源位置或一色溫資訊。
11. 如請求項8所述之影像處理方法，其中該第一虛擬資訊包含該第一虛擬物體之一虛擬位置及該第一虛擬物體之一反射率。
12. 如請求項8所述之影像處理方法，其中該真實環境資訊的倒影呈現在該第一虛擬物體上後，該第一虛擬物體成為一第一渲染物體，該影像處理方法更包含： 藉由一顯示器以同時顯示該真實環境及該第一渲染物體。
13. 如請求項8所述之影像處理方法，更包含： 藉由該處理器依據該攝像位置、該攝像姿態、該光源資訊、該第一虛擬物體的該第一虛擬資訊、一第二虛擬物體的一第二虛擬資訊及該光源追蹤演算法，以將該第一虛擬物體的倒影呈現在該第二虛擬物體上，其中該第二虛擬資訊包含該第二虛擬物體之一虛擬位置及該第二虛擬物體之一反射率。
14. 如請求項13所述之影像處理方法，其中該真實環境的倒影呈現在該第一虛擬物體上後，該第一虛擬物體成為一第一渲染物體，該第一虛擬物體的倒影呈現在該第二虛擬物體上後，該第二虛擬物體成為一第二渲染物體，該影像處理方法更包含： 藉由一顯示器同時顯示該真實環境、該第一渲染物體及該第二渲染物體。