TWI804001B - 具時序平滑性之破碎深度圖補正系統 - Google Patents

Abstract

一種影像模擬系統，包括影像擷取電路、記憶體以及處理器。影像擷取電路用以擷取影像。記憶體用以儲存多個指令以及一破碎深度圖。處理器連接影像擷取電路，並存取多個指令以進行下列操作：依據該影像產生四聯通圖以及分類參數，其中分類參數相關於該影像中的背景以及前景；依據分類參數調整四聯通圖，並依據調整後的四聯通圖產生引導遮罩，其中引導遮罩用以指示影像中的背景以及前景；以及依據影像、引導遮罩以及破碎深度圖產生特效影像，其中特效影像用以在影像中模擬與破碎深度圖對應的天氣。

Description

具時序平滑性之破碎深度圖補正系統

本揭示有關於一種影像處理技術，且特別是有關於具時序平滑性之破碎深度圖補正系統。

近年來得益於深度學習在電腦視覺領域的快速發展，許多以往難以用方程式描述的複雜問題都能夠利用卷積神經網路來得到不錯的成果。然而，當需要在街景影像產生天氣效果時，目前技術套用在街景影像上面都會產生各式各樣的問題，導致我們合成的效果並不理想。因此，要如何在影像上模擬出接近真實的天氣效果是本領域技術人員急欲解決的問題。

本揭示的一態樣揭露一種影像模擬系統，包括影像擷取電路、記憶體以及處理器。影像擷取電路用以擷取影像。記憶體用以儲存多個指令以及一破碎深度圖。處理器連接影像擷取電路，並存取多個指令以進行下列操作：依據該影像產生四聯通圖以及分類參數，其中分類參數相關於該影像中的背景以及前景；依據分類參數調整四聯通圖，並依據調整後的四聯通圖產生引導遮罩，其中引導遮罩用以指示影像中的背景以及前景；以及依據影像、引導遮罩以及破碎深度圖產生特效影像，其中特效影像用以在影像中模擬與破碎深度圖對應的天氣。

基於上述，本揭示實施例可依據影像的分類參數以及四聯通圖產生引導遮罩，並利用引導遮罩優化由深度預測產生的深度圖以明確分辨出影像中的前景以及背景，進而防止影像中接近地面的部分的深度會與地面的深度混淆。

參照第1圖，第1圖是本揭示的影像模擬系統100的方塊圖。於一實施例中，影像模擬系統100包括影像擷取電路110、記憶體120以及處理器130。影像擷取電路110用以擷取影像。記憶體120用以儲存多個指令以及破碎深度圖。處理器130連接影像擷取電路110以及記憶體120，並用以存取這些指令。

在一些實施例中，影像模擬系統100可由電腦、伺服器或處理中心建立。在一些實施例中，影像擷取電路110可以是用以擷取影像的攝影機或可以連續拍照之照相機。在一些實施例中，處理器120可由處理單元、中央處理單元或計算單元實現。在一些實施例中，破碎深度圖可以是與道路上可能會產生的特定天氣對應的深度圖。例如，道路上的下雨、霧氣、下雪或冰雹的深度圖。

在一些實施例中，影像模擬系統100並不限於包括影像擷取電路110、記憶體120以及處理器130，影像模擬系統100可以進一步包括操作以及應用中所需的其他元件，舉例來說，影像模擬系統100可更包括輸出介面(例如，用於顯示資訊的顯示面板)、輸入介面(例如，觸控面板、鍵盤、麥克風、掃描器或快閃記憶體讀取器)以及通訊電路(例如，WiFi通訊模型、藍芽通訊模型、無線電信網路通訊模型等)。

參照第2圖，第2圖是本揭示的影像模擬方法的流程圖。第2圖所示實施例的方法適用於第1圖的影像模擬系統100，但不以此為限。為方便及清楚說明起見，下述同時參照第1圖以及第2圖，以影像模擬系統100中各元件之間的作動關係來說明第2圖所示影像模擬方法的詳細步驟。

在一實施例中，影像模擬方法包括步驟S210~S230，這些步驟皆可藉由處理器130執行。首先，於步驟S210中，擷取影像，並依據影像產生四聯通圖以及分類參數，其中分類參數相關於該影像中的背景以及前景。

在一些實施例中，可對影像執行語意分割處理以產生語意分割影像，並依據語意分割影像產生分別與影像的多個像素對應的多個分類標籤。接著，可依據多個像素的RGB值產生與多個數值類別對應的直方圖，並依據多個數值類別以及多個分類標籤產生分類參數。

在一些實施例中，可依據語意分割影像產生影像中的多個像素之間的權重。接著，可將多個像素做為四聯通圖中的節點，並將這些權重對應於四聯通圖中的各節點之間的連線，其中四聯通圖中的節點依序對應於影像中的像素（例如，四聯通圖中的第一列的節點對應於影像中的第一列的像素）。

在一些實施例中，可將多個數值類別做為多個輔助節點，並將多個輔助節點連接到四聯通圖中與之對應的節點以產生調整四聯通圖。

在一些實施例中，多個分類標籤包括前景標籤、後景標籤以及未確定標籤。在一些實施例中，可從與多個數值類別中的各者對應的前景標籤的數量以及未確定標籤的數量之中選擇最小標籤數量。接著，可將多個數值類別各自的最小標籤數量相加以產生最小總和值，並依據最小總和值以及分類成本參數產生分類參數。

再者，於步驟S220中，依據分類參數調整四聯通圖，並依據調整後的四聯通圖產生引導遮罩，其中引導遮罩用以指示影像中的背景以及前景。

在一些實施例中，可依據多個像素中的各者的RGB值以及多個像素中的各者的周圍的像素的RGB值產生平滑參數。接著，可依據多個像素中的各者的平滑參數以及分類參數調整四聯通圖。

在一些實施例中，可將影像由RGB域轉換至HSV域以產生影像的HSV數值。接著，可依據影像的HSV數值以及陰影數值範圍進行距離運算以產生影像的多個像素的陰影機率。接著，可依據多個像素的陰影機率調整分類參數以及平滑參數，並依據調整後的平滑參數以及調整後的分類參數調整多個分類標籤以及四聯通圖。

在一些實施例中，陰影數值範圍可包括色相通道的數值範圍、飽和度通道的數值範圍以及明度通道的數值範圍，其中這些數值範圍可以是依據過往經驗當中取得的陰影的平均值、人工給定的陰影的預設值、或是隨機數值。

在一些實施例中，可對調整後的平滑參數以及調整後的分類參數對四聯通圖進行最大流最小分割運算以調整分別與影像的多個像素對應的多個分類標籤，並依據調整後的多個分類標籤以及四聯通圖產生引導遮罩。

再者，於步驟S230中，依據影像、引導遮罩以及破碎深度圖產生特效影像，其中特效影像用以在影像中模擬與氣候影像對應的天氣。

在一些實施例中，可依據影像產生深度圖，並利用引導遮罩以及深度圖在影像上產生與破碎深度圖對應的天氣。

在一些實施例中，可藉由影像擷取電路110擷取在影像前一幀的另一影像。在一些實施例中，可依據影像產生深度圖，並依據深度圖產生點雲圖。接著，可從點雲圖中辨識與影像中的地平線對應的虛擬地面位置，並依據虛擬地面位置調整引導遮罩。接著，依據影像、另一影像、調整後的引導遮罩以及深度圖產生時序參數以及邊緣參數，其中時序參數用以解決影像與另一影像之間的深度不連續，且邊緣參數用以強化該影像以及另一影像的深度的邊緣強化。接著，可依據時序參數以及邊緣參數調整深度圖，並依據調整後的深度圖以及破碎深度圖產生特效影像。

在一些實施例中，可依據時序參數以及邊緣參數進行共軛梯度下降處理以調整深度圖。

在一些實施例中，可依據破碎深度圖產生稀疏點雲圖，並依據調整後的深度圖將稀疏點雲圖與影像進行合成以產生特效影像。

藉由上述步驟，可對分類參數進行調整以防止在背景中接近地面的部分的深度會與地面的深度混淆，以利用調整後的分類參數產生引導遮罩。此外，更可對平滑參數進行調整以防止影像中的物件邊緣的雜訊。另外，更可對時序參數以及邊緣參數進行調整以解決影像與前一幀的另一影像之間的深度不連續以及強化該影像以及另一影像的深度的邊緣強化。

以下以記憶體120中的實際模型做為例子以進一步對上述流程進行說明。同時參照第3圖，第3圖是依據本揭示一些實施例的影像模擬方法的示意圖。在一實施例中，記憶體120更可包括預處理模型PPM、遮罩產生模型MGM以及時序平滑畫模型TSSM。處理器130可執行這些模型以執行上述第2圖中的步驟。

首先，預處理模型PPM可對由影像擷取電路110所產生的影像IMG進行預處理，其中影像IMG屬於RGB影像，且預處理包括語意分割處理（例如藉由UperNet處理）、深度預測處理（例如藉由MegaDepth處理）以及點雲投射處理（例如藉由PCL處理）。

詳細而言，預處理模型PPM可對影像IMG進行語意分割處理以產生語意分割影像SI，其中語意分割影像SI中相同的物件具有相同的權重。接著，預處理模型PPM可對影像IMG進行深度預測處理以產生深度圖DI。接著，預處理模型PPM可對深度圖DI進行點雲投射處理以產生虛擬地面圖GDI，其中虛擬地面圖GDI中的虛擬地面位置具有較地的灰階值。藉此，預處理模型PPM可將語意分割影像SI以及深度圖DI輸入至遮罩產生模型MGM，並將深度圖DI以及虛擬地面圖GDI輸入至時序平滑化模型TSSM。

再者，遮罩產生模型MGM可將語意分割影像SI中屬於地面的像素辨識為前景，並把非地面的像素辨識為後景，以及將前景以及後景交界處的像素進一步辨識為未確定區域。接著，遮罩產生模型MGM可依據語意分割影像SI產生影像IMG中的像素的四聯通圖，其中影像IMG中的像素分別對應於四聯通圖中的節點，且四聯通圖中的屬於相同物件的像素之間的連線會有越高的關聯值。

再者，遮罩產生模型MGM可依據影像IMG產生紅色通道、綠色通道以及藍色通道的16個類別的直方圖，其中直方圖的尺寸為16x16x16，且直方圖中的數值類別也是16x16x16。接著，遮罩產生模型MGM可將與這些數值類別對應的16x16x16個輔助節點連接至四聯通圖中的對應的單元。舉例而言，紅色通道的一個數值類別的數值範圍為0~30，且在四聯通圖中與此數值範圍對應的節點可連接至此數值類別的輔助節點。

再者，遮罩產生模型MGM可利用以下公式(1)計算所有輔助節點的分類成本的總合（即，分類參數）。

…(1)

其中E1為分類參數，βk是預先設定的第k個輔助節點的分類成本參數，S是各輔助節點所連接的具有前景標籤的節點的像素的數量，S’是各輔助節點所連接的具有背景標籤的節點的像素的數量，min(,)為取出最小值的函數，以及N為輔助節點的數量（例如上述的16x16x16個）。

舉例而言，以第k個輔助節點為例。同時參照第4圖，第4圖是依據本揭示一些實施例的輔助節點以及分類標籤的示意圖。於第4圖中，有1個連接的節點的像素具有後景標籤，有2個連接的節點的像素具有未確定標籤，以及有4個節點的像素具有前景標籤。因此，可以取1以及4之中的最小值與上述β進行乘積以計算出第k個輔助節點的分類成本為β。基於此，若在第k個輔助節點中的所有節點的分類標籤至多具有一種標籤（前景或後景標籤），將可使分類成本最小化（即為0）。

參照回第3圖，遮罩產生模型MGM可以以下公式(2)計算各像素的平滑項，並將平滑項的總合做為平滑參數。

…(2)

其中E2為1個像素的平滑項，Vp為1個像素的RGB值，Vq為此像素周圍的其中一個像素的RGB值，以及σ為所有像素的統計上的變異數。值得注意的是，由上述公式(2)可得知，從1個像素可以計算出4個平滑項，並可將這些平滑項相加以做為平滑參數，其中這些平滑項呈現高斯分佈，相鄰兩個像素顏色越相近其平滑項就越小，且反之平滑項就越大。藉由此平滑參數可大大消除像素的分類標籤出現錯誤的情況。

再者，遮罩產生模型MGM可預先設定一般陰影在影像中的HSV域的陰影數值範圍。例如，色相通道的數值範圍設定為50~250，飽和度通道的數值範圍設定為0~70，以及明度通道的數值範圍設定為25~100。

再者，遮罩產生模型MGM可將影像IMG由RGB域轉換至HSV域以產生影像的HSV數值。接著，遮罩產生模型MGM可依據影像的HSV數值以及陰影數值範圍進行距離運算以產生影像IMG的多個像素的陰影機率，並可依據這些陰影機率產生一個機率圖。

舉例而言，參照第5圖，第5圖是依據本揭示一些實施例的與陰影機率對應的機率圖的示意圖。如第5圖所示，可依據上述像素的陰影機率將不同的陰影機率對應於不同的灰度值以產生機率圖，其中越接近白色的區域越有可能是陰影。

參照回第3圖，遮罩產生模型MGM可依據上述陰影機率調整公式(1)中的βk的數值如以下公式(3)。

…(3)

其中ShadowProbk為與第k個輔助節點對應的所有像素的陰影機率。換言之，在陰影機率越高的地方就越不受分類參數的影響，而只受到上述平滑項的控制。

再者，遮罩產生模型MGM可依據上述像素的陰影機率產生陰影參數如以下公式(4)。

…(4)

其中E3為陰影參數，ShadowProbp為像素的陰影機率，模糊像素為具有不明確標籤且周圍的像素具有背景標籤的像素，以及ShadowProbq為像素的周圍的像素的陰影機率。值得注意的是，針對其他像素，像素周圍存在4個像素，故可產生4個陰影參數。基於上述，陰影參數E3將可降低原本語意分割中的地面交界處的成本，讓最終的交界處落在語意分割的邊緣而不是陰影的邊緣。

再者，遮罩產生模型MGM可依據各像素的陰影參數以及一個預設的調整參數調整上述的平滑參數如以下公式(5)。

…(5)

其中E2’為調整後的平滑參數，以及w為調整參數。藉由上述調整參數w，將可控制陰影以及影像IMG的顏色之間的關係。

再者，遮罩產生模型MGM可對E1、各像素的調整後的平滑參數E2’、多個輔助節點以及四聯通圖中的關聯值進行最大流最小分割運算以產生調整後的分類標籤以及調整後的四聯通圖。接著，遮罩產生模型MGM可依據調整後的分類標籤以及調整後的四聯通圖產生二元引導遮罩GM，其中二元引導遮罩GM中與背景標籤對應的位置的數值可被設定為0，且二元引導遮罩GM中與前背景標籤對應的位置的數值可被設定為1。藉此，遮罩產生模型MGM可將二元引導遮罩GM輸入至時序平滑化模型TSSM。

再者，時序平滑化模型TSSM可預先儲存影像IMG以及影像IMG前一幀的另一影像IMG’。時序平滑化模型TSSM可從點雲圖中辨識與影像IMG中的地平線對應的虛擬地面位置，並依據虛擬地面位置調整二元引導遮罩GM，進而利用調整後的二元引導遮罩GM對深度圖DI進行濾波以產生過濾後的深度圖DI。

再者，時序平滑化模型TSSM可依據影像IMG前一幀的另一影像IMG’產生光度參數如以下公式(6)。

dx…(6)

其中x為在影像IMG中的各像素的位置，O為位置x的各像素預期輸出的深度值，warp(,)是使用光流映射函數（DIS flow）對原始未處理過的影片經過計算得到的前後幀之間每個相素的位移（即，warp(O’)為計算位置x的像素預期輸出的深度值O以及x的像素預期輸出的前一幀的深度值O’之間每個相素的位移），以及w(x)為如以下公式(7)所示。

…(7)

其中λ為預設的參數，V為在影像IMG中的位置x的像素的RGB值。在位置x的像素上如果和前一幀的顏色差距越多，越可能在物體的交界處，這就越不需要被平滑化。

再者，當連續影像持續播放時間拉長時，從上一幀投影過來的資訊會不停的疊加，導致整體深度趨近於某個數值。因此，時序平滑化模型TSSM可調整光度參數以產生時序參數如以下公式(8)。

…(8)

其中E3為時序參數，P為深度圖DI中與位置x對應的深度值，以及s為0.1。這將使得預期得到的深度值O與深度圖DI中的深度值P之間的差距不會太大，且s的數值將不會使原本預期的數值偏離太大。

再者，時序平滑化模型TSSM可對深度圖DI中與位置x對應的深度值P以及周圍的像素的深度值進行梯度計算以產生邊緣參數如以下公式(9)。

…(9)

其中

為位置x的各像素預期輸出的深度值的梯度值，

為深度圖DI中與位置x對應的深度值的梯度值，以及e為如以下公式(10)所示。

…(10)

由公式(10)可得知，當像素的周圍存在邊界的時候時，e為0，這代表當前的數值完全與邊界無關，反之則為-1。

再者，時序平滑化模型TSSM可將時序參數E3以及邊緣參數E4相加。由於相加之後的各項次皆為平方項，故可以視為是一個矩陣的最小二乘法的問題。藉此，時序平滑化模型TSSM可利用共軛梯度下降處理以疊代出預期輸出的深度值，並將深度圖DI中的深度值調整為這些預期輸出的深度值。

最後，時序平滑化模型TSSM可依據預先儲存的破碎深度圖產生稀疏點雲圖（例如利用動態恢復結構處理（Structure from Motion，SfM）），並依據調整後的深度圖將稀疏點雲圖與影像IMG進行合成以產生特效影像SYI。

綜上所述，本揭示實施例的影像模擬系統可依據影像的分類參數以及四聯通圖產生引導遮罩，並利用引導遮罩優化由深度預測產生的深度圖以明確分辨出影像中的前景以及背景，進而防止影像中接近地面的部分的深度會與地面的深度混淆。此外，更可利用時序參數以及邊緣參數在時序上對深度進行平滑化以及邊緣強化，以防止時序上的深度由於沒有連續性所導致的閃爍的情況。藉此，可有效地在影像上模擬出接近真實的天氣效果。

雖然本揭示的特定實施例已經揭露有關上述實施例，此些實施例不意欲限制本揭示。各種替代及改良可藉由相關領域中的一般技術人員在本揭示中執行而沒有從本揭示的原理及精神背離。因此，本揭示的保護範圍由所附申請專利範圍確定。

100：影像模擬系統 110：影像擷取電路 120：記憶體 130：處理器 S210~S230：步驟 PPM：預處理模型 MGM：遮罩產生模型 TSSM：時序平滑化模型 IMG：影像 IMG’：另一影像 SI：語意分割影像 DI：深度圖 GDI：虛擬地面圖 GM：引導遮罩 SYI：特效影像 k：第k個輔助節點

第1圖是本揭示的影像模擬系統的方塊圖。 第2圖是本揭示的影像模擬方法的流程圖。 第3圖是依據本揭示一些實施例的影像模擬方法的示意圖。 第4圖是依據本揭示一些實施例的輔助節點以及分類標籤的示意圖。 第5圖是依據本揭示一些實施例的與陰影機率對應的機率圖的示意圖。

100：影像模擬系統 110：影像擷取電路 120：記憶體 130：處理器

Claims (9)

1. 一種影像模擬系統，包括：一影像擷取電路，用以擷取一影像；一記憶體，用以儲存多個指令以及一破碎深度圖；以及一處理器，連接該影像擷取電路，並存取該些指令以進行下列操作：依據該影像產生一四聯通圖以及一分類參數，其中分類參數相關於該影像中的一背景以及一前景；依據該分類參數調整該四聯通圖，並依據調整後的該四聯通圖產生一引導遮罩，其中該引導遮罩用以指示該影像中的該背景以及該前景；以及依據該影像、該引導遮罩以及該破碎深度圖產生一特效影像，其中該特效影像用以在該影像中模擬與該破碎深度圖對應的天氣，其中依據該影像產生該四聯通圖以及該分類參數的操作更包括：對該影像執行語意分割處理以產生一語意分割影像，並依據該語意分割影像產生分別與該影像的多個像素對應的多個分類標籤；以及依據該些像素的RGB值產生與多個數值類別對應的一直方圖，並依據該些數值類別以及該些分類標籤產生該分類參數。
2. 如請求項1所述之影像模擬系統，其中該些分類標籤包括一前景標籤、一後景標籤以及一未確定標籤， 其中依據該些數值類別以及該些分類標籤產生該分類參數的操作包括：從與該些數值類別中的各者對應的該前景標籤的數量以及該未確定標籤的數量之中選擇一最小標籤數量；以及將該些數值類別各自的該最小標籤數量相加以產生一最小總和值，並依據該最小總和值以及一分類成本參數產生該分類參數。
3. 如請求項1所述之影像模擬系統，其中依據該分類參數調整該四聯通圖的操作包括：依據該些像素中的各者的RGB值以及該些像素中的該各者的周圍的像素的RGB值產生一平滑參數；以及依據該些像素中的該各者的該平滑參數以及該分類參數調整該四聯通圖。
4. 如請求項3所述之影像模擬系統，其中依據該分類參數調整該四聯通圖的操作包括：將該影像由RGB域轉換至HSV域以產生該影像的HSV數值；依據該影像的HSV數值以及一陰影數值範圍進行距離運算以產生該影像的該些像素的陰影機率；以及依據該些像素的陰影機率調整該分類參數以及該平滑參數，並依據調整後的該平滑參數以及調整後的該分類參數調整該些分類標籤以及該四聯通圖。
5. 如請求項4所述之影像模擬系統，其中依據調整後的該平滑參數以及調整後的該分類參數調整該些分類標籤以及該四聯通圖的操作包括：對調整後的該平滑參數以及調整後的該分類參數對該四聯通圖進行最大流最小分割運算以調整分別與該影像的該些像素對應的該些分類標籤，並依據調整後的該些分類標籤以及該四聯通圖產生該引導遮罩。
6. 如請求項1所述之影像模擬系統，其中依據該影像、該引導遮罩以及該破碎深度圖產生該特效影像的操作包括：依據該影像產生一深度圖，並利用該引導遮罩以及該深度圖在該影像上產生與該破碎深度圖對應的天氣。
7. 如請求項1所述之影像模擬系統，其中該影像擷取電路更用以擷取在該影像前一幀的一另一影像，其中依據該影像、該引導遮罩以及該破碎深度圖產生該特效影像的操作包括：依據該影像產生一深度圖，並依據該深度圖產生一點雲圖；從該點雲圖中辨識與該影像中的地平線對應的一虛擬地面位置，並依據該虛擬地面位置調整該引導遮罩；依據該影像、該另一影像、調整後的該引導遮罩以及該 深度圖產生一時序參數以及一邊緣參數，其中該時序參數用以解決該影像與該另一影像之間的深度不連續，且該邊緣參數用以強化該影像以及該另一影像的深度的邊緣強化；以及依據該時序參數以及該邊緣參數調整該深度圖，並依據調整後的該深度圖以及該破碎深度圖產生該特效影像。
8. 如請求項7所述之影像模擬系統，其中依據該時序參數以及該邊緣參數調整該深度圖的操作包括：依據該時序參數以及該邊緣參數進行共軛梯度下降處理以調整該深度圖。
9. 如請求項7所述之影像模擬系統，其中依據調整後的該深度圖以及該破碎深度圖產生該特效影像的操作包括：依據該破碎深度圖產生一稀疏點雲圖，並依據該調整後的該深度圖將該稀疏點雲圖與該影像進行合成以產生該特效影像。

Images