TW202422476A

TW202422476A - 生成並排三維影像的方法及電腦裝置

Info

Publication number: TW202422476A
Application number: TW111144516A
Authority: TW
Inventors: 佑和; 徐文正; 林士豪; 譚馳澔
Original assignee: 宏碁股份有限公司
Filing date: 2022-11-22
Publication date: 2024-06-01

Abstract

提供一種基於原始影像生成並排三維影像的方法，其包含以下步驟：創建3D網格；基於估算出的原始影像之深度資訊，更新3D網格的左網格區及右網格區；基於左眼位置將左網格區的每一網格頂點投影到並排3D影像之座標系統上，及基於右眼位置將右網格區的每一網格頂點投影到並排3D影像之座標系統上；以及基於原始影像，對投影在並排3D影像之座標系統上的左網格區及右網格區進行著色，以取得並排3D影像。

Description

生成並排三維影像的方法及電腦裝置

本發明大致涉及影像處理技術，特別涉及並排(side-by-side)三維(3D)影像的生成。

並排3D影像是由兩個並排對齊的影像所組成。這兩個影像看似相同，實則略有不同，分別模擬我們用左眼及右眼看到的兩個影像。兩個影像之間的差異經過大腦的整合及處理，可讓觀賞者感知到3D效果。

並排3D影像通常是顯示在穿戴式裝置上，諸如 3D/VR眼鏡或頭戴式顯示器。為了在裸視立體顯示裝置上顯示並排的3D影像，需要影像渲染流水線中的更多技術，例如眼睛追踪(eye tracking)及影像編織(或交錯)。在某些應用情境中，例如虛擬實境 (VR)畫面或立體3D遊戲，使用者的位置(當然還有使用者的眼睛)可能會頻繁且迅速地變化。每當使用者的位置改變時，需要重新計算要顯示的畫面，這會消耗相當大的運算資源。

有鑑於上述問題，希望有一種方法及電腦裝置，能比傳統方法更有效率地生成並排3D影像。

本揭露之一實施例提供一種基於原始影像生成並排(side-by-side)三維(3D)影像的方法。該方法是由電腦裝置所執行。該方法包含以下步驟：創建3D網格；基於估算出的原始影像之深度資訊，更新3D網格的左網格區及右網格區；基於左眼位置將左網格區的每一網格頂點投影到並排3D影像之座標系統上，及基於右眼位置將右網格區的每一網格頂點投影到並排3D影像之座標系統上；以及基於原始影像，對投影在並排3D影像之座標系統上的左網格區及右網格區進行著色，以取得並排3D影像。

在某些實施例中，創建3D網格的步驟包含創建由三個彼此相鄰的網格頂點所構成之三角形的紋理(texture)。

在某些實施例中，基於原始影像，對投影在並排3D影像之座標系統上的左網格區及右網格區進行著色，以取得並排3D影像的步驟，包含將原始影像的色彩紋理插捕(interpolate)到投影在並排3D影像之座標系統上的左網格區及右網格區。

本揭露之一實施例提供一種基於原始影像生成並排3D影像的電腦裝置。該電腦裝置包含中央處理單元(CPU)及圖形處理單元(GPU)。CPU設置以運行程式以請求GPU執行上述方法的步驟。

本揭露的方法及電腦裝置提供一種新穎的影像處理技術，藉由在同一網格上同時渲染左視圖及右視圖以生成並排影像，取代將左眼及右眼分開渲染兩次然後再對齊它們的作法。藉由僅將資源(舉例來說，網格模型、深度資訊、色彩紋理…等)載入GPU一次，可節省 CPU 呼叫次數。此外，可降低CPU呼叫與硬體執行之間出現同步問題的可能性。

以下敘述列舉本發明的多種實施例，但並非意圖限制本發明內容。實際的發明範圍，是由申請專利範圍所界定。

在以下所列舉的各實施例中，將以相同的標號代表相同或相似的元件或組件。

應理解的是，說明書中所使用的用語「包含」及「包括」指示特定技術特徵、數值、方法步驟、程序操作、元件及/或組件之存在，但並不排除額外的技術特徵、數值、方法步驟、程序操作、元件、組件或上述的任意組合。

在本說明書中以及申請專利範圍中的序號，例如「第一」、「第二」等等，僅是為了方便說明，彼此之間並沒有順序上的先後關係。

第1圖是繪示用以生成並排3D影像120的示例傳統作法之概念流程的示意圖。在繪示出的示例中，是以網格模型定義影像中物件的形狀與深度(例如：山)。

如第1圖所示，創建出的網格101包含在X-Y平面上依序排列的複數個三角形(可替換為其他種類的多邊形)，每個三角形具有一組頂點。藉由為網格101中的每個三角形的頂點賦予特定高度(即，沿著Z軸方向的尺度)，網格101會被更新為已更新網格102。該特定高度是取決於從原始影像擷取的深度資訊100，並且儲存在深度緩衝區(亦稱為「z緩衝區」)中。然後，藉由對已更新網格102中的三角形進行著色，以生成左眼影像103(即，人類左眼的視圖)。同樣地，創建出的網格111包含在X-Y平面上依序排列的複數個三角形(可替換為其他種類的多邊形)，每個三角形具有一組頂點。藉由為網格111中的每個三角形的頂點賦予特定高度(即，沿Z軸方向的尺度)，網格111會被更新為已更新網格112。該特定高度是取決於從原始影像捕獲的深度資訊100，並且儲存在深度緩衝區中。然後，藉由基於原始影像10的色彩紋理對已更新網格112中的三角形進行著色，以生成右眼影像113(即，人類右眼的視圖)。左眼影像103與右眼影像113看似相同，實則略有不同。最後，藉由並排對齊左眼影像103及右眼影像113，以生成單個並排3D影像120。並排3D影像120的左部是來自左眼影像103，而並排3D影像120的右部是來自右眼影像113。

從第1圖中可見，並排3D影像120是透過繪製畫面兩次而生成的，每隻眼睛各一次，這意味著用以繪製並排3D影像120的某些資源，會是僅繪製左眼影像103或僅繪製右眼影像113的兩倍。舉例來說，網格101及網格111是使用相同的網格模型所創建，因此網格模型從記憶體中載入了兩次。取得已更新網格102及112所需的原始影像10的深度資訊100是相同的，但是它從深度緩衝區中載入了兩次，為已更新網格102及112每者各一次。色彩紋理(舉例來說，取得左眼影像103及右眼影像113所需的原始影像10的每個像素的RGB值)也從記憶體中載入了兩次，用以已更新網格102及112每者各一次。

第2圖是根據本揭露之實施例繪示生成並排3D影像203的概念流程的示意圖。在此示例中，網格201是以兩倍於網格101及111的寬度所創建的更大網格。將網格201更新為已更新網格202所需的原始影像10的深度資訊100，與用以取得已更新網格102或112所需的原始影像10之深度資訊100相同。已更新網格201的左右部分，分別為左眼及右眼所準備。因此，並排3D影像203可藉由直接對單個已更新網格202的左右部分進行著色而取得，而不需要分別繪製左眼影像及右眼影像然後再對齊它們。如此一來，原始影像10的網格模型、深度資訊100及色彩紋理等資源，僅載入了一次，而不必載入兩次。

第3圖是根據本揭露之實施例繪示用以生成並排三維(3D)影像的電腦裝置300的示意方塊圖。如第3圖所示，電腦裝置300包含中央處理單元(CPU)301、圖形處理單元(GPU)302、輸入裝置303及儲存裝置304等元件，它們透過系統匯流排305彼此耦接。

電腦裝置300是能夠執行運算任務的電子裝置，諸如個人電腦(包含桌上型電腦、筆記型電腦及平板電腦)，或伺服器電腦。

CPU 301是一種通用處理器，設置以運行儲存在儲存裝置304中的圖形驅動程式307及應用程式308。根據本揭露之實施例，CPU 301更設置以運行儲存在儲存裝置304中的第一程式309，以請求GPU 304執行用以生成並排三維(3D)影像的方法之步驟。之後將參考第4圖敘述該方法之步驟。

GPU 302可以是專門設計以執行電腦圖形運算及影像處理的電子電路，用以減輕通用的中央處理單元(CPU)的負擔。因此，GPU 302用於圖形運算及影像處理，比起通用CPU 301更有效率。

輸入裝置303可包含鍵盤、滑鼠、觸控式面板等任何能夠接收觀賞者控制命令的裝置，但本發明並不對此限定。在一實施例中，輸入裝置303允許觀賞者啟用/停用3D畫面，換言之，允許觀賞者在顯示器的2D模式與3D模式之間進行切換。在另一實施例中，輸入裝置303允許觀賞者調整(增加或減少)瞳距(interpupillary distance；IPD)參數設定，瞳距參數設定涉及3D網格如何投影到並排3D影像的座標系統上。

儲存裝置304可以是非揮發性儲存裝置，諸如硬碟、固態硬碟(SSD)、快閃記憶體或唯讀記憶體，但本揭露並不對此限定。根據本發明之實施例，儲存裝置304用以儲存圖形驅動程式307、應用程式308及第一程式309。

圖形驅動程式307是一組軟體程式，允許安裝有應用程式308的作業系統(例如Windows、Linux、MacOS…等)與GPU 303進行通訊。

應用程式308可以是任何給觀賞者提供視覺化影像或畫面的軟體程式，諸如游戲、影音/多媒體播放程式、網頁瀏覽器(例如當觀賞者使用它在YouTube之類的線上影音平台或Twitter之類的社群媒體上觀賞影片時)、相片觀賞程式或其他視覺娛樂應用程式。

在第3圖的示例情境中，由於顯示裝置是在同一螢幕中呈現左眼影像及右眼影像(即，如前所述的第一影像及第二影像)的裸視立體顯示裝置310，所以GPU 302更設置以基於並排影像(例如第1圖中的並排影像120及第2圖中的並排影像203)執行交錯(或編織)程序，以生成立體影像。產生立體影像後，GPU 302透過傳輸介面306將立體影像傳送至裸視立體顯示裝置310。

傳輸介面306可包含有線傳輸介面及/或無線傳輸介面。有線傳輸介面可包含高畫質多媒體介面(High Definition Multimedia Interface；HDMI)、DisplayPort(DP)介面、嵌入式DisplayPort(eDP)介面、通用序列匯流排(Universal Serial Bus；USB)介面、USB Type-C介面、Thunderbolt介面、數位影音介面(Digital Video Interface；DVI)或其組合。無線傳輸介面可包含第五代(5G)無線系統、藍牙、WiFi、近場通訊(Near Field Communication；NFC)介面等，但本揭露並不對此限定。

裸視立體顯示裝置310是能讓觀賞者在不使用穿戴式裝置(諸如3D/VR眼鏡或頭盔)的情況下顯示立體影像的顯示裝置。裸視立體顯示裝置310可包含顯示控制器311及顯示面板312。顯示控制器311用以根據來自電腦裝置300的顯示模式控制信號，切換顯示面板312的顯示模式(例如，如前所述允許觀賞者透過輸入裝置303在2D模式及3D模式之間進行切換。顯示面板320可以使用本揭露技術領域中任何合適的裸視立體技術以實現裸視立體視覺的效果，諸如視差屏障(parallax barrier)、雙凸透鏡(lenticular lenses)、定向背光(directional backlight)、積分成像(integral imaging)…等，於此不再贅述。藉此，響應於裸視立體顯示裝置310接收到立體影像，藉由在顯示面板上顯示立體影像，可將應用程式的立體3D畫面呈現給觀賞者。

第4圖是根據本揭露之實施例用以基於原始影像生成並排三維(3D)影像的方法400的流程圖。方法400可由電腦裝置執行，例如第3圖中的電腦裝置300。電腦裝置300的CPU 301用以運行第一程式309，以請求GPU 302執行方法400的步驟。如第4圖所示，方法400可包含步驟401-405。

於步驟401，創建3D網格(例如第2圖中的網格201)。然後，方法400進行到步驟402。

於步驟402，估算原始影像的深度資訊。然後，方法400進行到步驟403。

於步驟403，基於估算出的原始影像之深度資訊，更新3D網格的左網格區及右網格區。然後，方法400進行到步驟404。

於步驟404，基於左眼位置(即，觀賞者左眼的位置)將左網格區的每一網格頂點投影到並排3D影像之座標系統上，以及基於右眼位置(即觀賞者右眼的位置)將右網格區的每一網格頂點投影到並排3D影像之座標系統上。然後，方法400進行到步驟405。

於步驟405，基於原始影像，對投影在並排3D影像之座標系統上的左網格區及右網格區進行著色，以取得並排3D影像。

在某些實施例中，步驟401包含創建由三個彼此相鄰的網格頂點所構成之三角形的紋理(texture)的操作。舉例來說，如第2圖所示，網格201包含複數個頂點及複數個三角形。每個三角形是由三個彼此相鄰的網格頂點所構成，並具有對應的紋理。當創建網格時，每個三角形的紋理作為一種資料結構，也將被創建(或初始化)。

在進一步的實施例中，深度資訊可表示為深度圖(depth map)、視差圖(parallax map)或點雲(point cloud)的形式，本揭露並不對此限定。可以在步驟402中使用基於卷積神經網路(convolution neural network；CNN)的模型以估算深度資訊，但本揭露並不對此限定。

在某些實施例中，於步驟404所使用的左眼位置及右眼位置，可使用任何已知的眼睛追蹤(eye tracking)技術來測量，本揭露並不對此限定。

在某些實施例中，步驟405可更包含將原始影像的色彩紋理插捕(interpolate)到投影在並排3D影像之座標系統上的左網格區及右網格區的操作。色彩紋理可以用多種色彩空間的格式表示，諸如RGB、YUV、YCbCr、CMYK、sRGB、HSV…等，本揭露並不對此限定。

在某些實施例中，可藉由執行交錯(或編織)程序，基於在步驟405所取得的並排3D影像生成立體影像。然後，將立體影像發送給裸視立體顯示裝置，以顯示立體影像。

本揭露所提供方法及演算法之步驟，可藉由執行處理器而直接應用以硬體及軟體模組或其組合。軟體模組(包含執行指令及相關資料)及其他資料可儲存在資料記憶體中，像是隨機存取記憶體(RAM)、快閃記憶體、唯讀記憶體(ROM)、可抹除可程式唯讀記憶體(EPROM)、電子可抹除可程式唯讀記憶體(EEPROM)、暫存器、硬碟、行動硬碟、CD-ROM、DVD，或本領域中任何其他電腦可讀取儲存媒體格式。舉例來說，儲存媒體可耦接機器裝置，像是電腦/處理器(為方便敘述，於本揭露中以處理器所代表)。處理器可從儲存媒體讀取資訊(例如程式碼)，以及可將資訊寫入儲存媒體。儲存媒體可整合處理器。特定應用積體電路(ASIC)包含處理器及儲存媒體。觀察設備包含ASIC。換句話說，處理器及儲存媒體包含在觀察設備中，而並非直接連接觀察設備。此外，在某些實施例中，任何電腦程式適用的產品包含可讀取儲存媒體，其中儲存媒體包含關於一或多個所揭露實施例的程式碼。在某些實施例中，電腦程式產品可包含封裝材料。

以上段落採用多種態樣作敘述。顯然地，本文之教示可以多種方式實現，而在示例中所揭露之任何特定架構或功能僅是一種代表性的情況。根據本文之教示，本領域應理解，可獨立實作本文所揭露之各個態樣，或者合併實作兩種以上之態樣。

雖然本揭露已以實施例敘述如上，然其並非用以限定本揭露，任何熟習此技藝者，在不脫離本揭露之精神及範圍內，當可作些許之更動與潤飾，因此發明之保護範圍當視後附之申請專利範圍所界定者為準。

10:原始影像 100:深度資訊 101:網格 102:已更新網格 103:左眼影像 111:網格 112:已更新網格 113:右眼影像 120:並排3D影像 201:網格 202:已更新網格 203:並排3D影像 300:電腦裝置 301:CPU 302:GPU 303:輸入裝置 304:儲存裝置 305:系統匯流排 306:傳輸介面 307:圖形驅動程式 308:應用程式 309:第一程式 310:裸視立體顯示裝置 311:顯示控制器 312:顯示面板 400:方法 401-405:步驟

本揭露將可從以下示範的實施例之敘述搭配附帶的圖式更佳地理解。此外，應被理解的是，在本揭露之流程圖中，各區塊的執行順序可被改變，且/或某些區塊可被改變、刪減或合併。第1圖是繪示用以生成並排3D影像的示例傳統作法之概念流程的示意圖。第2圖是根據本揭露之實施例繪示生成並排3D影像的概念流程的示意圖。第3圖是根據本揭露之實施例繪示用以生成並排三維(3D)影像的電腦裝置的示意方塊圖。第4圖是根據本揭露之實施例用以基於原始影像生成並排三維(3D)影像的方法的流程圖。

400:方法

401-405:步驟

Claims

一種生成並排(side-by-side)三維(3D)影像的方法，該並排3D影像是基於一原始影像所生成，該方法由一電腦裝置所執行，包括以下步驟：創建一3D網格(mesh)，其中該3D網格包括一左網格區及一右網格區，且該左網格區及該右網格區各自具有複數個網格頂點；估算該原始影像的深度資訊；基於估算出的該原始影像之該深度資訊，更新該3D網格的該左網格區及該右網格區；基於一左眼位置將該左網格區的每一網格頂點投影到該並排3D影像之一座標系統上，及基於一右眼位置將該右網格區的每一網格頂點投影到該並排3D影像之該座標系統上；以及基於該原始影像，對投影在該並排3D影像之該座標系統上的該左網格區及該右網格區進行著色，以取得該並排3D影像。
如請求項1之方法，其中創建該3D網格的步驟，包括：創建由三個彼此相鄰的該網格頂點所構成之一三角形的紋理(texture)。
如請求項1之方法，其中基於該原始影像，對投影在該並排3D影像之該座標系統上的該左網格區及該右網格區進行著色，以取得該並排3D影像的步驟，包括：將該原始影像的色彩紋理插捕(interpolate)到投影在該並排3D影像之該座標系統上的該左網格區及該右網格區。
如請求項1之方法，更包括：基於該並排3D影像生成一立體影像，及將該立體影像發送給一裸視立體顯示裝置以顯示該立體影像。
一種生成並排(side-by-side)三維(3D)影像的電腦裝置，該並排3D影像是基於一原始影像所生成，該電腦裝置包括一中央處理單元(CPU)及一圖形處理單元(GPU)，其中該CPU設置以運行一程式以請求該GPU執行以下步驟：創建一3D網格(mesh)，其中該3D網格包括一左網格區及一右網格區，且該左網格區及該右網格區各自具有複數個網格頂點；估算該原始影像的深度資訊；基於估算出的該原始影像之該深度資訊，更新該3D網格的該左網格區及該右網格區；基於一左眼位置將該左網格區的每一網格頂點投影到該並排3D影像之一座標系統上，及基於一右眼位置將該右網格區的每一網格頂點投影到該並排3D影像之該座標系統上；以及基於該原始影像，對投影在該並排3D影像之該座標系統上的該左網格區及該右網格區進行著色，以取得該並排3D影像。
如請求項5之電腦裝置，其中創建該3D網格的步驟包括：創建由三個彼此相鄰的該網格頂點所構成之一三角形的紋理(texture)。
如請求項5之電腦裝置，其中基於該原始影像，對投影在該並排3D影像之該座標系統上的該左網格區及該右網格區進行著色，以取得該並排3D影像的步驟，包括：將該原始影像的色彩紋理插捕(interpolate)到投影在該並排3D影像之該座標系統上的該左網格區及該右網格區。
如請求項5之電腦裝置，其中該CPU更設置以請求該GPU基於該並排3D影像生成一立體影像，及將該立體影像發送給一裸視立體顯示裝置以顯示該立體影像。