TWI526992B

TWI526992B - 擴充實境中基於深度攝影機之遮蔽效果優化方法

Info

Publication number: TWI526992B
Application number: TW104101890A
Authority: TW
Inventors: 瞿志行; 黃柏源
Original assignee: 國立清華大學
Priority date: 2015-01-21
Filing date: 2015-01-21
Publication date: 2016-03-21
Also published as: US20160210787A1; US9818226B2; TW201627950A; CN105809667A; CN105809667B

Description

擴充實境中基於深度攝影機之遮蔽效果優化方法

本發明是有關於一種遮蔽效果優化方法，且特別是有關於一種擴充實境中基於深度攝影機之遮蔽效果優化方法。

近來，深度感測技術應用逐漸普及，目前已成功的應用於娛樂產業，基於其人體追蹤與動作辨識功能，提供嶄新的人機互動方式。最常見深度攝影原理為使用紅外光，投射至目標場景，照射物體並產生隨機散斑(Laser Speckle)，再透過感應鏡頭取得散斑資料，並由內部晶片計算深度值。然而紅外光投射至場景物體上時，可能會因光線或物體材質等因素，使散斑不完整，深度值無法正確取得，尤其在物體邊緣格外嚴重。另外，在連續取得深度資料時，由於散斑隨機產生，會導致每次所取得之深度資料不一致，甚至是缺少資料點，使得深度影像會不穩定跳動。

擴增實境(Augmented reality，AR)技術，旨在將虛擬物件與現實世界結合，並進行互動，提升用戶的使用體驗；若結合深度攝影機與擴增實境，以深度攝影機擷取真實世界場景資訊，則會出現虛擬模型與深度資料間的互動，如遮蔽(occlusion)情形；為了顯示虛擬模型遮蔽效果，一般作法直接將深度資料，以目前攝影機視角，與模型進行深度緩衝(Z-buffer)運算，截掉被遮蔽部分，得知模型在目前視角被場景物件遮蔽情形。但是，此作法會受到深度攝影機精度與解析度影響，若深度攝影機精度不足，通常會產生以下問題。第一，深度資料點流失，破損處無法遮蔽虛擬物件。第二，遮蔽邊緣不平整。第三，連續畫面的差異導致遮蔽邊緣跳動。這些問題都會大幅地影響遮蔽效果。

因此，本發明之一個目的係提供一種擴充實境中基於深度攝影機之遮蔽效果優化方法，解決深度資料點流失、遮蔽邊緣不平整及遮蔽邊緣跳動的問題。

為達上述目的，本發明提供一種擴充實境中基於深度攝影機之遮蔽效果優化方法，用於一擴增實境系統中，所述擴增實境系統包含一個或多個深度攝影機以及一個或多個二維攝影機，所述方法包含以下步驟：利用所述一個或多個深度攝影機拍攝一場景及於所述場景中的一物體而取得初始深度資料，並利用所述一個或多個二維攝影機拍攝所述場景及所述物體而取得二維影像資料；對所述初始深度資料進行修補而獲得修補過的深度資料；依據所述修補過的深度資料與一虛擬模型進行一深度緩衝運算，以取得所述物體與所述虛擬模型的一遮蔽關係，而依據所述二維影像資料及所述虛擬模型產生一被遮蔽區域影像；依據所述被遮蔽區域影像估算一區域近似多邊形；以及依據所述區域近似多邊形、所述二維影像資料及所述虛擬模型產生一遮蔽結果。

藉由本發明，能針對基於深度攝影機的虛擬實境應用，優化虛擬模型與深度資料間的遮蔽結果。此方法能有效解決目前深度攝影機所遇到的深度資料點流失、遮蔽邊緣不平整、連續畫面間變異三項問題，並分別提供可調整之參數，以因應不同的需求。

為讓本發明之上述內容能更明顯易懂，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下。

A‧‧‧被遮蔽區域影像

B _i(p)‧‧‧鄰近點群

D31、D32、D33‧‧‧二維影像資料

D41、D42、D43‧‧‧初始深度資料

N‧‧‧法向量

p、q‧‧‧點

ε‧‧‧半徑

▽I‧‧‧輸入影像灰階值的梯度值

Ω‧‧‧欲修補區域

δΩ‧‧‧欲修補區域的輪廓

S1至S6‧‧‧步驟

10‧‧‧顯示器

20‧‧‧計算機

31、32、33‧‧‧二維攝影機

41、42、43‧‧‧深度攝影機

50‧‧‧場景

60‧‧‧物體

70‧‧‧標記元件

80‧‧‧虛擬模型

100‧‧‧擴增實境系統

圖1顯示依據本發明較佳實施例之使用遮蔽效果優化方法的系統的示意圖。

圖2顯示依據本發明較佳實施例之遮蔽效果優化方法的流程圖。

圖3A與圖3B顯示修補遺失深度資料點所使用的模型之一例子。

圖4A與圖4B分別顯示深度影像修補之前與之後的結果。

圖5顯示提取被遮蔽區域形狀的示意圖。

圖6A與圖6B顯示使用遮蔽效果優化方法之前及之後的結果之一例子。

圖7A至圖7C顯示調整參數D之近似多邊形的結果。

圖8A與圖8B顯示使用遮蔽效果優化方法之前及之後的結果之另一例子。

圖9A與圖9B顯示使用遮蔽效果優化方法之前及之後的結果之另一例子。

圖10A與圖10B顯示不同的P值所對應的遮蔽效果。

圖1顯示依據本發明較佳實施例之使用遮蔽效果優化方法的系統的示意圖。圖2顯示依據本發明較佳實施例之遮蔽效果優化方法的流程圖。如圖1與圖2所示，本實施例之擴充實境中基於深度攝影機之遮蔽效果優化方法是用於一擴增實境系統100中。擴增實境系統100包含一個或多個深度攝影機41、42、43，以及一個或多個二維攝影機31、32、33。此外，擴增實境系統100可以更包含一個計算機20及一顯示器10。計算機20連接至顯示器10、深度攝影機41、42、43以及二維攝影機31、32、33。連接方式可以是透過有線或無線方式達成。於一例子中，計算機20與顯示器10的組合為桌上型電腦、工作站、或筆記型電腦。於另一例子中，計算機20與顯示器10的組合為一台手機、平板電腦。於又另一例子中，計算機20與顯示器10是分開的兩個裝置，譬如計算機20是一使用者的手機或電腦，顯示器10是另一使用者的手機或電腦。舉例而言，房屋仲介業者所持有的行動裝置可以安裝有高階軟體來執行遮蔽效果優化方法，將最後展示的遮蔽結果傳至買家的行動裝置來參考。深度攝影機以及二維攝影機的位置可以是固定或可即時移動的，透過本發明的方法亦可達到即時移動攝影機所產生的遮蔽結果。

於圖1中，是以三個深度攝影機41、42、43以及三個二維攝影機31、32、33作為例子作說明，因為使用多台深度攝影機在作視角校正後，可以讓深度資料更全面完整，以提升遮蔽精準度，而使用多台二維攝影機可以配合多台深度攝影機切換各視角的遮蔽結果。但是於其他例子中，深度攝影機及二維攝影機的數目及配置方式亦可以作適當調整。或者，深度攝影機及二維攝影機可以整合成單一攝影機系統。

上述遮蔽效果優化方法包含以下步驟S1至S6。值得注意的是，步驟S5可以依據設計考量而刪除。

於步驟S1，利用所述一個或多個深度攝影機41、42、43拍攝一場景50及於所述場景50中的一物體60而取得初始深度資料D41、D42及D43，並利用所述一個或多個二維攝影機31、32、33拍攝所述場景50及所述物體60而取得二維影像資料D31、D32及D33。場景50中也可以置放一個標記元件70，以供計算機20利用標記元件70上的圖案來進行定位及標記。標記元件70的其中一參考點可以被利用來當作虛擬模型80的基準點。然而，標記元件70並非是必要的元件，亦可利用其他方式或使用者調整的方式來改變虛擬模型80的基準點。

為便於說明起見，係以深度攝影機41及二維攝影機31作為例子來說明。具有通常知識者可以理解到可以利用影像整合的方式來處理多個深度攝影機及多個二維攝影機的資料。

於步驟S2，對所述初始深度資料D41、D42及D43進行修補而獲得修補過的深度資料，以下舉一例子作說明。圖3A與圖3B顯示修補遺失深度資料點所使用的模型之一例子。如圖3A與圖3B所示，為解決資料破損的問題，首先是執行步驟(a)：將所述初始深度資料進行標準化，譬如是標準化至0(譬如是全白)至255(譬如是全黑)之間的值，以將所述初始深度資料轉換成單通道灰階影像資料；然後執行步驟(b)：對所述單通道灰階影像資料進行修補，以填補所述單通道灰階影像資料中缺少深度值的資料點，獲得修補過的單通道灰階影像資料；接著，執行步驟(c)：將所述修補過的單通道灰階影像資料轉換成深度值，以獲得所述修補過的深度資料。

在上述步驟(b)中，舉例而言，可以採用快速行進方法(Fast Marching Method)，先對單通道灰階影像資料設定一欲修補區域Ω，所述欲修補區域的輪廓為δΩ，逐次將δΩ修補，一圈一圈由外至內修補完成，其中δΩ中的欲修補點為p，所述欲修補點的修補值由式(1)決定：其中給定半徑ε內鄰近點群為B _i(p)，q為B _i(p)的其中一點，I為輸入影像灰階值，▽I為I的梯度值，w為鄰近有值點群對點p之權重；其中，權重w由式(2)的三個因子決定，其中dir代表越靠近一法向量N的點有較大影響；dst代表越近點有較大影響；lev代表離輪廓線越近的有值點(表示不需修補之區域的點(non-inpaint point))有較大影響，其中有值點群是有多個有值點所構成的群組，T為代表點到δΩ的距離，d ₀與T₀值為1，

圖4A與圖4B分別顯示深度影像修補之前與之後的結果。在圖4A中仍有許多相當黑的點所構成的區塊，特別是在物體60與標記元件70的邊緣及場景的邊緣。透過上述的影像修補方法，可以將這些缺少深度資料的區塊修復，獲得圖4B的結果。上述方法只是修補的一個例子，具有通常知識者可以輕易理解到可以採用其他方式來進行影像修補。

於步驟S3，依據所述修補過的深度資料與虛擬模型80進行一深度緩衝運算，以取得所述物體60與所述虛擬模型的一遮蔽關係，而以目前二維攝影機(譬如是31)的視角而言，依據所述二維影像資料及所述虛擬模型產生一被遮蔽區域影像。由於虛擬模型是存在於計算機20中，所以其深度資料都是已知，故可以輕易與物體60的深度資料作比對，而獲得遮蔽關係，譬如是物體60的哪些部分是在虛擬模型之前，哪些部分是在虛擬模型之後。然後，將場景50的二維影像與虛擬模型80的二維影像作計算，可以產生被遮蔽區域影像。

圖5顯示提取被遮蔽區域形狀的示意圖。被遮蔽區域影像A的結果如圖5所示，儘管深度資料經過修復流程，仍發現被遮蔽區域影像A出現破損，邊緣也不平整。因此，還需要進一步改善，透過先找出被遮蔽區域影像A的形狀，並進行幾何計算，取得較完整的物體60的部分輪廓。

於步驟S4，這步驟要解決邊緣不平整問題，依據所述被遮蔽區域影像A估算一區域近似多邊形。舉例而言，首先依目前視角，取出被遮蔽區域影像A的大概形狀。然後，依據邊緣偵測法來找出被遮蔽區域影像A的輪廓。以下以Canny邊緣偵測法作為非限制例來作說明。

首先需將輸入影像進行高斯濾波(Gaussian filter)，給定標準差σ，以及濾波器的大小k，以式(3)建立k*k離散方陣，並將之與影像像素值進行卷積運算。

然後，尋找影像中梯度與方向，透過式(4)之濾波器，找出每個像素之梯度與方向。

接著，依非最大值刪除(Non-maximum suppression)原則，每一個像素在k*k的方框內，沿著梯度方向，找出梯度最大值將其保留；此步驟能使找出之邊緣更為清晰。

然後，給定兩個閥值T _low與T _high，若像素梯度值低於T _low則不取；若像素梯度值大於T _high，則取之作為邊緣，鄰近點中若梯度強度大於T _low者，則也取之作為邊緣；依此方式，逐步完成輪廓搜尋。

首先，依據邊緣偵測法找出所述被遮蔽區域影像之輪廓而獲得二值圖(即邊緣為白，非邊緣為黑)。然後，依據所述二值圖提取所述被遮蔽區域影像之所述輪廓的點，去除過短的輪廓，僅保留所述被遮蔽區域影像之最外圍的輪廓，以獲得一保留輪廓。接著，依據所述保留輪廓計算出所述區域近似多邊形，此步驟譬如可以透過曲線擬合(curve fitting)或直線擬合(straight line fitting)的方式達成。於一例子中，先給定一條由多線段組成的線，透過給定的直接最大距離(D)，去除不需要的點，找出點數較少且與所述保留輪廓具有外觀相近的線段，並簡化所述線段為原始線段點的一個子集，如此可以獲得區域近似多邊形。

於另一例子中，優先選擇凸包(Convex Hull)，這是因為凸包能平滑被遮蔽區域之輪廓，且確保完全覆蓋原形狀。此例子之計算近似的形狀流程如下。針對輪廓的點計算近似多邊形，判斷其形狀為凸(Convex)或凹(Concave)。若為凸，則取其凸包來描述其形狀。若為凹，則取其近似多邊形來描述其形狀。近似多邊形亦可透過曲線擬合或直線擬合的方式達成。

於步驟S5，判斷是否執行移動平均法，若否則進行步驟S6，若是則回到步驟S1。移動平均法的判斷可以是依據使用者輸入的指令，或依據輪流顯示的方式進行，或是於顯示器10上以開啟另一個畫面的方式進行。計算出的區域近似多邊形，即為平滑後的物體被真實場景遮蔽後的區域形狀。為解決連續畫面的差異，導致遮蔽邊緣跳動問題，可以針對最後的區域近似多邊形的結果，採用移動平均法(Moving average)，將目前結果與前結果，共n次作平均，並給定一機率(P)作為閾值，並判斷在n個區域近似多邊形的畫面中，像素的有值機率大於P，才被列為所述區域近似多邊形，其中n為大於1的正整數。所謂的有值機率，是指像素值經過多次平均後，大於某一特定值的機率。譬如第一像素兩次的值255與255經過2次平均後，獲得255，第二像素值兩次的值255與0經過2次平均後，獲得127.5。255(第一像素值)與127.5(第二像素值)大於127.5(特定值)的機率大於0.9(機率)，才被列為所述區域近似多邊形，也就是只有第一像素被列為所述區域近似多邊形。因此，P值越大，區域近似多邊形的面積就越大。

因此，於步驟S5，若需使用移動平均法，則重複步驟S1至S4達到(n-1)次，以獲得n個區域近似多邊形，並將所述n個區域近似多邊形進行平均，以獲得所述區域近似多邊形。

若不採用移動平均法或者是重複次數已經到達預設次數，則直接於步驟S6，依據所述區域近似多邊形、所述二維影像資料及所述虛擬模型產生一遮蔽結果。此遮蔽結果並非是純粹的影像疊合，而是加入深度資料判斷所產生的結果，如同真實場景加入對應於虛擬模型的真實模型所產生的遮蔽結果。

圖6A與圖6B顯示使用遮蔽效果優化方法之前及之後的結果之一例子。值得注意的是，於步驟S3中，更依據所述二維影像資料及所述虛擬模型產生一未被遮蔽影像(圖6A)，所述未被遮蔽影像係為所述虛擬模型與所述物體疊合的二維影像，於本例子中是以虛擬模型80的二維影像直接覆蓋場景的二維影像。且於步驟S6中，係利用所述二維影像資料的對應部分填充所述區域近似多邊形，並將填充的所述區域近似多邊形的影像覆蓋回所述未被遮蔽影像，以獲得所述遮蔽結果，如圖6B所示。

將填充的所述區域近似多邊形的影像，覆蓋回所述未被遮蔽影像，可以以淡出動畫方式、閃爍方式、重複淡入淡出動畫方式進行，以讓使用者瞭解虛擬物件的哪些部分被遮蔽。

除了上述覆蓋方法以外，於其他例子中，亦可利用所述二維影像資料的對應部分來截斷所述虛擬模型的影像，並將截斷的所述虛擬模型的影像與所述二維影像資料疊合以獲得所述遮蔽結果。亦即，將圖6A的虛擬模型80的二維影像與物體60重疊的部分先截斷，然後產生另一虛擬模型的二維影像，將另一虛擬模型的二維影像與場景的二維影像資料予以疊合，亦可以獲得上述遮蔽結果。

圖7A至圖7C顯示調整參數D之近似多邊形的結果。透過調整上述的直接最大距離(D)值的大小，可以調整近似多邊型的平滑程度，D值越大，捨去越多頂點，多邊形之邊數目越少；反之，D值越小，捨去越少頂點，多邊形之邊數目越多；如圖7A至圖7C所示，所採用的D值分別為0.5、2.5、4.5像素寬，可發現遮蔽邊緣線段是隨著D值的增加而越來越平滑。

圖8A與圖8B顯示使用遮蔽效果優化方法之前及之後的結果之另一例子。圖9A與圖9B顯示使用遮蔽效果優化方法之前及之後的結果之另一例子。圖8A與圖8B的遮蔽物體為凸形物體，圖9A與圖9B的遮蔽物體為凹形物體。藉由本發明的遮蔽效果優化方法都可以獲得相當良好的遮蔽效果。

圖10A與圖10B顯示不同的P值所對應的遮蔽效果。如圖10A與圖10B所示，在上述移動平均法中，由於物體的邊緣跳動與平滑化的影響，優化後的結果，可能有遮蔽邊緣與物體之間的密合度不佳的情形。對於此情形，可透過調整P值，提升遮蔽邊緣與彩色圖片之間的密合程度。不同P值可以對應到不同的效果。若給定較大的P值，則超過閾值的像素多，遮蔽範圍(區域近似多邊形)越大；反之，若給定較小的P值，則超過閾值的像素少，遮蔽範圍越小。圖10A與圖10B的P值分別為0.9與0.1，可見圖10A有較大的遮蔽區域，使遮蔽範圍大於物體本身，而看到後方的場景(請參見物體60的左邊緣與上邊緣)。

藉由本發明之上述實施例，能針對基於深度攝影機的虛擬實境應用，優化虛擬模型與深度資料間的遮蔽結果。此方法能有效解決目前深度攝影機所遇到的深度資料點流失、遮蔽邊緣不平整、連續畫面間的變異三項問題，並分別提供可調整之參數，以因應不同的需求。

在較佳實施例之詳細說明中所提出之具體實施例僅用以方便說明本發明之技術內容，而非將本發明狹義地限制於上述實施例，在不超出本發明之精神及以下申請專利範圍之情況，所做之種種變化實施，皆屬於本發明之範圍。

S1至S6‧‧‧方法步驟

Claims

一種擴充實境中基於深度攝影機之遮蔽效果優化方法，用於一擴增實境系統中，所述擴增實境系統包含一個或多個深度攝影機以及一個或多個二維攝影機，所述方法包含以下步驟：(a)利用所述一個或多個深度攝影機拍攝一場景及於所述場景中的一物體而取得初始深度資料，並利用所述一個或多個二維攝影機拍攝所述場景及所述物體而取得二維影像資料；(b)對所述初始深度資料進行修補，以將缺少深度資料的區塊修復，而獲得修補過的深度資料；(c)依據所述修補過的深度資料與一虛擬模型進行一深度緩衝運算，以取得所述物體與所述虛擬模型的一遮蔽關係，而依據所述二維影像資料及所述虛擬模型產生一被遮蔽區域影像；(d)依據所述被遮蔽區域影像估算一區域近似多邊形；以及(e)依據所述區域近似多邊形、所述二維影像資料及所述虛擬模型產生一遮蔽結果。
如申請專利範圍第1項所述之遮蔽效果優化方法，其中所述步驟(b)包含：(b1)將所述初始深度資料進行標準化，以轉換成單通道灰階影像資料；(b2)對所述單通道灰階影像資料進行修補，以填補所述單通道灰階影像資料中缺少深度值的資料點，獲得修補過的單通道灰階影像資料；以及 (b3)將所述修補過的單通道灰階影像資料轉換成深度值，以獲得所述修補過的深度資料。
如申請專利範圍第2項所述之遮蔽效果優化方法，其中於所述步驟(b2)中：設定一欲修補區域Ω，所述欲修補區域的輪廓為δΩ，逐次將δΩ修補，一圈一圈由外至內修補完成，其中δΩ中的欲修補點為p，所述欲修補點的修補值由式(1)決定：其中給定半徑ε內鄰近點群為B _i(p)，q為B _i(p)的其中一點，I為輸入影像灰階值，▽I為I的梯度值，w為鄰近有值點群對點p之權重；其中，權重w由式(2)的三個因子決定，其中dir代表越靠近一法向量的點有較大影響；dst代表越近點有較大影響；lev代表離輪廓線越近的有值點有較大影響，其中T為代表點到δΩ的距離，d ₀與T₀值為1，
如申請專利範圍第2項所述之遮蔽效果優化方法，其中所述步驟(d)包含： (d1)依據邊緣偵測法找出所述被遮蔽區域影像之輪廓而獲得二值圖；(d2)依據所述二值圖提取所述被遮蔽區域影像之所述輪廓的點，去除過短的輪廓，僅保留所述被遮蔽區域影像之最外圍的輪廓，以獲得一保留輪廓；以及(d3)依據所述保留輪廓計算出所述區域近似多邊形。
如申請專利範圍第4項所述之遮蔽效果優化方法，其中所述步驟(d3)係透過以下而達成：給定一條由多線段組成的線，透過給定的直接最大距離，去除不需要的點，找出點數較少且與所述保留輪廓具有外觀相近的線段，並簡化所述線段為原始線段點的一個子集。
如申請專利範圍第1項所述之遮蔽效果優化方法，更包含以下步驟：(f)在步驟(e)以前，重複步驟(a)至(d)達到(n-1)次，以獲得n個區域近似多邊形，並將所述n個區域近似多邊形進行平均，以獲得所述區域近似多邊形，其中n為大於1的正整數。
如申請專利範圍第6項所述之遮蔽效果優化方法，其中在所述步驟(f)中，更給定一機率(P)作為閾值，並判斷在n個區域近似多邊形的畫面中，像素的有值機率大於P，才被列為所述區域近似多邊形。
如申請專利範圍第1項所述之遮蔽效果優化方法，其中於所述步驟(c)中，更依據所述二維影像資料及所述虛擬模型產生一未被遮蔽影像，所述未被遮蔽影像係為所述虛擬模型與所述物體疊合的二維影像，且於所述步驟(e)中，係利用所述二維影像資料的對應部分填充所述區域近似多邊形，並將填充的所述區域近似多邊形的影像覆蓋回所述未被遮蔽影像，以獲得所述遮蔽結果。
如申請專利範圍第1項所述之遮蔽效果優化方法，其中將填充的所述區域近似多邊形的影像，覆蓋回所述未被遮蔽影像係以淡出動畫方式進行。
如申請專利範圍第1項所述之遮蔽效果優化方法，其中於所述步驟(e)中，係利用所述二維影像資料的對應部分來截斷所述虛擬模型的影像，並將截斷的所述虛擬模型的影像與所述二維影像資料疊合以獲得所述遮蔽結果。