TWI489418B - Parallax Estimation Depth Generation - Google Patents
Parallax Estimation Depth Generation Download PDFInfo
- Publication number
- TWI489418B TWI489418B TW100149936A TW100149936A TWI489418B TW I489418 B TWI489418 B TW I489418B TW 100149936 A TW100149936 A TW 100149936A TW 100149936 A TW100149936 A TW 100149936A TW I489418 B TWI489418 B TW I489418B
- Authority
- TW
- Taiwan
- Prior art keywords
- depth
- edge
- map
- images
- area
- Prior art date
Links
- 238000000034 method Methods 0.000 claims description 51
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000003044 adaptive effect Effects 0.000 claims description 16
- 230000008439 repair process Effects 0.000 claims description 12
- 238000003708 edge detection Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 5
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 230000000873 masking effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 235000015096 spirit Nutrition 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本發明係有關一種立體視訊系統中求出深度資訊之方法，特別是指一種利用視差估計計算出深度資訊之深度產生方法。
先進的立體視訊技術仰賴深度圖資訊產生立體效果，同時，觀賞3D影像時需配合多視角畫面，使觀賞者欣賞到不同角度的影像，產生身歷其境的立體感。因此在拍攝影像時需搭配多部攝影機完成多視角播放的功能，然而，多視角視訊需儲存的資料量太高，故須使用視角合成技術以降低需儲存之資料量。此外，視角合成技術必須搭配每張視角之深度資訊為依據，因此，產生準確深度圖為立體視訊應用中之關鍵技術。
大部分的深度產生的技術為產生單張深度之影像。雖然目前為了使三維視訊普及化，二維轉三維的深度產生系統有其必要性，但該技術實屬三維視訊系統普及化過渡時期之技術。考慮到未來三維視訊的發展上將以多視角三維產生技術為主，因此以多視角影像產生深度之技術有發展的必要性，並可應用於視角合成之產生虛擬視角技術，不但可使拍攝之硬體成本(如：攝影機)與儲存資料量降低，也可讓觀賞者可體驗到身歷其境之感受。
第一圖所示為一種高密度二維立體聲函授演算法之分類與評估的技術原理，在左圖圈出搜尋區塊，並於固定的搜尋範圍(亦稱為視差範圍(Disparity Range))內在右圖尋找出最佳匹配區塊10，並計算出匹配成本(Matching Cost)後，以最小的匹配成本作為選擇最佳對應區塊之依據。但此技術在計算下列區域時會面臨到匹配不準確的問題，包括：
1. 重複區/紋理區(Repetitive region/ Texture region)：如窗簾、牆壁、天空等，會搜尋到許多相似的對應點。因此會計算出相似的匹配值，也較難去判斷出準確的深度值。
2. 遮蔽區(Occlusion region)：指單邊影像有拍攝到，另一邊影像卻沒有拍攝到的區域，因此會無法找到對應點。
3. 深度不連續區：如物件邊緣處，若使用固定區塊大小的搜尋方式較難在邊緣處求得精確的深度圖。
常用的匹配成本計算方法有絕對誤差和(Sum of Absolute Difference,SAD)、差異值平方和(Sum of Square Difference,SSD)、平均絕對誤差(Mean of Absolute Difference,MAD)和漢明距離(Hamming Distance)等，多存在上述三種匹配不準確的問題，分別用下式(1)至(4)表示，L與R分別代表左圖與右圖，W表示搜尋區塊，∥W∥則為區塊之尺寸(Size)，d為視差距離，搜尋範圍由0至dr-1。其中漢明距離必須透過原始左、右圖經過普查轉換(Census Transform)後的資訊計算而得，其他方法則直接使用原始左、右圖計算即可。普查轉換的方法如第二圖所示，以3*3的矩陣為例，若矩陣上每一個位置之像素值與中間位置的像素值比較，若大於中間的像素值，則該位置設定為邏輯1；若小於中間的像素值，則設定為邏輯0。透過普查轉換而得的左、右圖，以L’與R’表示，再經由式(4)計算出漢明距離當作匹配成本。
另外，在Proc. of IEEE ICIP,pp. 1777-1780,Sept. 2009之文獻“Occlusion handling based on support and decision”使用了支援與決定流程(support-and-decision process)之技術來修復深度，以色彩差異度當作權重，以此權重計算出在遮蔽區之支援函數，函數值較高的填補背景深度，函數值較低的填補前景深度。但該演算法必須透過重複計算方能完成修復的動作，故相對地提高了計算時間。
有鑑於此，本發明遂針對上述習知技術之缺失，提出一種視差估計深度產生方法，以有效克服上述之該等問題。
本發明之主要目的在提供一種視差估計深度產生方法，其係利用邊緣適應性區塊搜尋法以物件之形狀特徵找出正確的深度值，增強區塊搜尋之準確性。
本發明之另一目的在提供一種視差估計深度產生方法，其係利用不可靠區域深度修復法，交叉檢查左、右深度圖之錯誤，再將左、右原始圖之色彩資訊縮減位元，可簡易劃分修復深度圖的範圍，解決大量遮蔽區之錯誤。
本發明之再一目的在提供一種視差估計深度產生方法，以群組式視差估計與左右深度估算取代法，快速決定區塊之視差值，以提升運算速度。
為達上述之目的，本發明提供一種視差估計深度產生方法，當立體彩色影像中之左原始圖及右原始圖輸入後，將左、右原始圖進行濾波處理，分別產生左圖及右圖，再分別對左、右圖進行物件之邊緣檢測，並依據邊緣適應性演算法以檢測所得出之二邊緣資訊，決定左、右圖中至少一搜尋區塊之大小；計算進行匹配成本，以分別產生左、右圖之初步深度圖，並進行交互檢查，從初步深度圖中找出深度不相符的不可靠深度區域，再對不可靠深度區域修復其錯誤，以得到正確的左、右圖深度。
底下藉由具體實施例詳加說明，當更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。
本發明是一種視差估計深度產生方法，採用邊緣適應性區塊搜尋法增強區塊搜尋之準確性，以不可靠區域深度修復法解決了大量遮蔽區之錯誤，更提出群組式視差估計與左右深度估算取代法提升運算速度。
請參閱第三圖，其為本發明之視差估計深度產生方法的流程圖，步驟S10中先輸入一立體彩色影像中之一左原始圖及一右原始圖，接著步驟S12將左、右原始圖進行濾波處理，使用低通濾波器如均值濾波、中值濾波、高斯濾波等消除原始圖中紋理較不明顯處，產生一左圖及一右圖，以減少後續進行邊緣檢測後所產生之邊緣圖的雜訊。
步驟S14分別對左、右圖進行物件之邊緣檢測，可使用Sobel、Canny、Laplacian、Robert或Prewitt等邊緣檢測演算法實現，更可增強左、右原始圖的對比度，以加強邊緣檢測的效果，增強對比度的方法有線性增強與直方圖等化(Histogram Equalization)等，以線性增強為例，如下式(5)所示，a為影像增強之增益值，b為影像增強之偏壓值，藉由調整a跟b可使原始圖l(i,j)產生對比度較佳的圖像，l’(i,j)表示增強後影像。
l’(i,j)=a*l(i,j)+b.................(5)
再依據邊緣適應性方式以檢測所得出之二邊緣資訊決定左、右圖中至少一搜尋區塊之大小，目前搜尋區塊可分為固定區塊及動態區塊兩種，以固定區塊大小之視差搜尋演算法所產生的深度資訊具有下列特點：以大搜尋區塊所產生之深度圖雜訊較少，但物件形狀較不完整；以小搜尋區塊所產生之深度圖之物件形狀較完整，但雜訊較多，因此，以固定區塊大小之視差搜尋演算法產生深度資訊勢必承受其中一項缺點，而本發明則是採用動態區塊與邊緣適應性區塊兩種方法，利用邊緣資訊決定區塊的大小。如第四圖所示，圖中黑色部分為邊緣，邏輯值為1；空白部分表示非邊緣部分，邏輯值為0。當位置n(i,j)在邊緣上時，使用3×3之小搜尋區塊，以提升在深度不連續處的準確度。若n(i,j)不在邊緣上時，則以n(i,j)為中心圈出一方型區塊，如第四圖中之粗線方框區域，並計算此方型區域中是否有邊緣存在。計算方法為累加該區域中每一個位置之邊緣邏輯值，若其值不為0，表示方型區域中尚有邊緣存在，便將圈選之方型區域縮小。以方形區塊33×33為實施例，若該區域內之累加值不為0，則將方型區域之長寬縮減為二分之一為17×17，重複執行計算累計值與縮小方型區域的動作，直到方型區域中無邊緣存在，此時的區塊大小即為位置n(i,j)的區塊大小。
在決定邊緣適應性區塊大小方面，首先定義延伸長度，延伸長度可分為上、下、左、右四個方向，代表由目前位置進行上、下、左、右延伸直至物件邊緣之範圍。接著根據前述預先產生之邊緣圖決定搜尋區塊之外形及尺寸，若位置在邊緣上，則上、下、左、右延伸長度皆為一個像素寬度，目的是為了保留在深度不連續處的準確度；若位置不在邊緣上，則先從該位置之上、下方向搜尋計算此點之上、下方向之延伸長度後，再以此上、下延伸長度所組成之區域，於每一個垂直位置分別往左、右計算其延伸長度，以第五圖為例，黑色部分為邊緣，代表邏輯1，其餘部分為非邊緣，代表邏輯0，若位置n(i,j)於物件邊緣，則上、下、左、右之延伸長度皆為1，即區塊大小為3×3；若位置n(i,j)於物件邊緣外，區塊大小之計算方式以判斷累加值為邏輯0當作依據，當累加值不為邏輯0時長度即停止延伸。以往上延伸長度為例，累加值C_up之計算如下式(6)，n(i,j)為起始點，往上延伸u_length的距離，範圍為0~max_length，若累加值不為0，即代表碰到邊緣，因此停止累加，紀錄停止累加時u_length大小，該大小為往上延伸距離，往下延伸長度運算與往上延伸長度運算類似，只是將(6)式延伸之距離由負值u_length變為正值d_length，表示長度往下延伸。完成計算上下延伸長度之後，接著計算左右延伸長度。以左邊延伸長度為例，累加值C_left之計算如下式(7)，n(i,yc)為起始點，yc的範圍為上、下延伸長度所組成，接著於yc範圍中之各個位置往左延伸l_length的距離，範圍一樣為0~max_length，若累加值不為0，即代表碰到邊緣，因此停止累加，紀錄停止累加時l_length大小，該大小為往左延伸距離，往右延伸長度運算與往左延伸長度運算類似，只是將式(7)之延伸之距離由負值l_length變為正值r_length，表示長度往右延伸。最後產生之u_length、d_length、r_length、l_length四組資訊，分別代表邊緣適應性區塊之上、下、右、左之延伸長度。
決定好每一個位置的搜尋區塊大小後，接著步驟S16進行匹配成本之計算，以分別產生左、右圖之一初步深度圖。下式(8)代表固定區塊大小匹配成本的計算，bsize為固定區塊大小的範圍。動態區塊搜尋方法在決定區塊大小後，採用與固定區塊大小匹配成本相同的計算方式。式(9)則表示計算邊緣適應性區塊大小之匹配成本。其中L與R分別代表左圖與右圖資訊，而下標c則分別表示YUV三組資訊，dr為搜尋範圍，將參數u_length、d_length、r_length、l_length代入式(8)當作任意區塊大小的範圍。
完成計算YUV的匹配成本後，將三組匹配成本進行適當的比例分配，如下式(10)所示，由於人眼對於亮度資訊Y之感受比彩度資訊UV敏銳，故將YUV進行2:1:1之比例分配後決定最後的匹配成本，深度值則採用WTA(Winner Takes All)策略決定，每一位置皆有深度值，進而構成左、右圖之初步深度圖。
Cost=0.5*CostY
+0.25*CostU
+0.25*CostV
...............(10)
左、右初步深度圖經過上述計算後在遮蔽區尚存在嚴重錯誤，利用左、右初步深度圖具有互補之特性，因此本發明在步驟18提出交互檢查方法，將左、右圖中深度值不一致之區域歸類為不可靠區域，同時利用鄰近像素深度值之統計資訊，更正不可靠區域的深度值，可將左、右初步深度圖之遮蔽區錯誤消除。
以檢查左邊深度圖為例，決定不可靠區域之條件如下式(11)所示，令d為左圖(i,j)位置之深度值，當右圖位置(i-d,j)與左圖位置(i,j)之深度值差異在超過容許範圍(offset)時，便將左圖該位置之深度值標記為不可靠深度區域，若此範圍在容許範圍內，則保留該處之深度值。
|Ldepth
(i,j)-Rdepth
(i-d,j)|>offset.....................(11)
找出左右圖之不可靠區域後，便要進行步驟S20修復不可靠區域，進而得到左、右圖具有正確深度的深度圖。在此本發明以原始圖當作修復初步深度圖的依據。於修復初步深度圖前，本發明首先將原始左、右彩圖之RGB值的後四位元以0代替，如此，每一個像素位置之RGB最小差異值皆為16，因此較容易根據彩圖資訊劃分修復深度圖之範圍。本發明使用之縮減四位元方法為簡易色彩分割之方法，若要實現較佳之色彩分割的效果可使用如K-means、Mean Shift等演算法來完成。
以修復左邊的初步深度圖為例，先輸入檢查後之初步深度圖與縮減四位元後之原始彩圖，如第六圖所示，利用上式(11)找出初步深度圖中之不可靠區域，接著以該位置(i,j)為中心框出一範圍W，同時也在彩圖框出相同範圍，此範圍定義為相似色彩窗框，之後比較彩圖窗框內每一個位置(i’,j’)與中心位置(i,j)之RGB像素值的差異，當差異值在一臨界值內，則紀錄該位置之深度值，並統計各深度值之出現次數，若否，則不記錄該位置之深度值，此臨界值定義為色彩相似度(color similarity,cs)。
記錄窗框中在色彩相似度之內的深度值為直方圖，可利用此直方圖選擇想修復的深度值，本發明採用直方圖中數量最多之深度值來修復不可靠區域之深度值，該演算法如第七圖所示之虛擬碼，其中“depth”為欲修復之深度圖，下標c代表RGB像素值。
利用邊緣適應性演算法所決定之搜尋區塊，應當具有相近的深度值，本發明利用此特性，另提出了一種群組式視差估計方法來降低計算時間，如第八圖所示，首先步驟S30利用邊緣適應性演算法計算座標位置(i,j)之深度值，並在步驟S32以該深度值填滿整個區塊，之後，步驟S34向下取樣2，判斷下一個座標位置(i+2,j)之深度值是否有被計算過，若計算過就跳到再下一個座標位置(i+4,j)繼續判斷，若沒被計算過，則回到步驟S30，於座標位置(i+2,j)進行邊緣適應性區塊之深度計算，並重複進行此動作直到整張圖計算完成為止。由於被填滿之區域大多超過一個像素距離，因此可再使用向下取樣的方法減少判斷區塊是否已填滿的次數，可再次降低運算時間。區塊大小標示於第九圖，每一個色塊分別表示不同的區塊大小，也表示了填滿的深度區域，白色線為邊緣值，此部分採用3×3之區塊。
除了群組式視差估計方法之外，本發明更提供一種左右深度估算取代技術，其目的起因於左、右彩圖的差異在於遮蔽區的不同，因此將左、右彩圖相減之後剩下之左、右彩圖之遮蔽區部分，利用此張圖可以取代左右圖中非遮蔽區之計算量，也可因此減少計算左右兩張圖之計算時間。左右深度估算取代技術之流程如第十圖所示，以一實施例說明之，步驟S40~S42先將左、右彩圖相減後產生一遮蔽區域圖O，接著於步驟S44中判斷圖O上之每一個位置O(i,j)是否為非遮蔽區，非遮蔽區為左右圖相似之區域，若是，則步驟S46將左圖位置(i,j)之深度值取代掉右圖位置(i,j)之深度值以減少右圖(i,j)計算深度之時間；若否，則進行步驟S48，於右圖位置(i,j)繼續計算深度值。
綜上所述，本發明提供之視差估計深度產生方法係利用邊緣適應性搜尋區塊匹配與不可靠深度區域修復之深度產生演算法，可大幅提高深度產生之準確度；與固定形狀搜尋區塊相較之下，邊緣適應性搜尋區塊可善用物件的形狀特徵找出正確的視差值。此外，在修復深度圖方面使用本發明提出之不可靠深度區域修復演算法，利用交互檢查方法檢測左、右深度圖之錯誤，再利用縮減位元之原始左、右彩圖資訊修復交互檢查後之錯誤，可進一步降低視差搜尋的錯誤率；為了降低視差估算上的運算時間，本發明也提出了群組式視差估計與左右深度估算取代法之加速演算法提高運算速度。
唯以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍。故即凡依本發明申請範圍所述之特徵及精神所為之均等變化或修飾，均應包括於本發明之申請專利範圍內。
10‧‧‧最佳匹配區塊
第一圖為先前技術中搜尋匹配區塊方法之示意圖。
第二圖為查普轉換方法之示意圖。
第三圖為本發明視差估計深度產生方法之流程圖。
第四圖為本發明中決定動態搜尋區塊大小之示意圖。
第五圖為本發明中決定邊緣適應性區塊延伸長度之示意圖。
第六圖為本發明深度修復之示意圖，左圖黑色區域表示深度圖中之不可靠區域，右圖為縮減四位元後之彩圖。
第七圖為本發明中深度修復演算法之程式碼。
第八圖為本發明之群組式深度產生技術之流程圖。
第九圖為群組式深度產生後於圖中標示區塊大小之示意圖。
第十圖為本發明之左右深度估算取代技術之流程圖。
Claims (10)
- 一種視差估計深度產生方法，其係當一立體彩色影像中之一左原始圖及一右原始圖輸入後，計算該左、右原始圖之深度，該方法包括下列步驟：將該左、右原始圖進行濾波處理，產生一左圖及一右圖；分別對該左、右圖進行一物件之邊緣檢測，並依據邊緣適應性方式以檢測所得出之二邊緣資訊決定該左、右圖中至少一搜尋區塊之大小；進行匹配成本之計算，以分別產生該左、右圖之一初步深度圖，並進行交互檢查，從該初步深度圖中找出至少一不可靠深度區域進行修復；以及對該不可靠深度區域修復其錯誤。
- 如請求項1所述之視差估計深度產生方法，其中該左、右原始圖輸入後，係以低通濾波方式使該物件內部之雜訊平滑化。
- 如請求項1所述之視差估計深度產生方法，其中該左、右原始圖更增強對比度，使該左、右原始圖之邊緣更明顯。
- 如請求項1所述之視差估計深度產生方法，更包括：該左、右圖交互檢查後標記出該不可靠深度區域，並藉由該左、右原始圖之色彩相似區域修復該不可靠深度區域之深度。
- 如請求項1所述之視差估計深度產生方法，其中該不可靠深度區域係為該左、右圖中深度不一致之區域。
- 如請求項1所述之視差估計深度產生方法，其中該左、右圖中該等區塊之大小係包括下列步驟：定義該搜尋區塊之一延伸長度，已決定可延伸至該物件邊緣之範圍；以及依據邊緣偵測所產生之一左邊緣圖及一右邊緣圖決定該搜尋區塊之外型及尺寸。
- 如請求項1所述之視差估計深度產生方法，其中該左、右圖中該搜尋區塊之大小決定之後，更進行匹配成本之計算。
- 如請求項1所述之視差估計深度產生方法，其中該搜尋區塊中一座標位置已算出一深度值後，依據該邊緣適應性方式將該搜尋區塊全部填滿該深度值，並以該邊緣適應性方式繼續填滿下一座標位置之區塊深度。
- 如請求項1所述之視差估計深度產生方法，其中該左、右原始圖相減後剩下至少一遮蔽區，產生一遮蔽區域圖，再判斷該遮蔽區域圖上之每一位置是否為與該左、右圖相似之非遮蔽區，若是，則將該左圖中該位置的一深度值取代掉該右圖中該位置之深度值。
- 如請求項9所述之視差估計深度產生方法，其中該遮蔽區域圖上之一位置非為與該左、右圖相似之非遮蔽區，則繼續計算該右圖中該位置的一深度值。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW100149936A TWI489418B (zh) | 2011-12-30 | 2011-12-30 | Parallax Estimation Depth Generation |
| US13/491,374 US20130170736A1 (en) | 2011-12-30 | 2012-06-07 | Disparity estimation depth generation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW100149936A TWI489418B (zh) | 2011-12-30 | 2011-12-30 | Parallax Estimation Depth Generation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201327474A TW201327474A (zh) | 2013-07-01 |
| TWI489418B true TWI489418B (zh) | 2015-06-21 |
Family
ID=48694843
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW100149936A TWI489418B (zh) | 2011-12-30 | 2011-12-30 | Parallax Estimation Depth Generation |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20130170736A1 (zh) |
| TW (1) | TWI489418B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9361699B2 (en) * | 2012-06-27 | 2016-06-07 | Imec Taiwan Co. | Imaging system and method |
| US9171373B2 (en) * | 2012-12-26 | 2015-10-27 | Ncku Research And Development Foundation | System of image stereo matching |
| US9786062B2 (en) * | 2013-05-06 | 2017-10-10 | Disney Enterprises, Inc. | Scene reconstruction from high spatio-angular resolution light fields |
| CN104301703A (zh) | 2013-07-16 | 2015-01-21 | 联咏科技股份有限公司 | 匹配搜寻方法与匹配搜寻*** |
| US9373171B2 (en) * | 2013-07-22 | 2016-06-21 | Stmicroelectronics S.R.L. | Method for generating a depth map, related system and computer program product |
| CN103440662B (zh) * | 2013-09-04 | 2016-03-09 | 清华大学深圳研究生院 | Kinect深度图像获取方法与装置 |
| US9363499B2 (en) * | 2013-11-15 | 2016-06-07 | Htc Corporation | Method, electronic device and medium for adjusting depth values |
| KR101882931B1 (ko) | 2014-07-10 | 2018-07-30 | 삼성전자주식회사 | 다시점 영상 디스플레이 장치 및 그의 디스패리티 측정 방법 |
| TW201730813A (zh) * | 2016-02-26 | 2017-09-01 | 國立交通大學 | 具有深度資訊之影像處理方法及其電腦程式產品 |
| WO2018006296A1 (en) * | 2016-07-06 | 2018-01-11 | SZ DJI Technology Co., Ltd. | Systems and methods for stereoscopic imaging |
| US10321112B2 (en) | 2016-07-18 | 2019-06-11 | Samsung Electronics Co., Ltd. | Stereo matching system and method of operating thereof |
| US10445861B2 (en) * | 2017-02-14 | 2019-10-15 | Qualcomm Incorporated | Refinement of structured light depth maps using RGB color data |
| TWI625051B (zh) * | 2017-03-21 | 2018-05-21 | 奇景光電股份有限公司 | 深度感測裝置 |
| TWI672938B (zh) * | 2017-03-31 | 2019-09-21 | 鈺立微電子股份有限公司 | 可校正遮蔽區的深度圖產生裝置 |
| CN108537837B (zh) * | 2018-04-04 | 2023-05-05 | 腾讯科技（深圳）有限公司 | 一种深度信息确定的方法及相关装置 |
| TWI678681B (zh) * | 2018-05-15 | 2019-12-01 | 緯創資通股份有限公司 | 產生深度圖的方法及其影像處理裝置與系統 |
| CN111681275B (zh) * | 2020-06-16 | 2023-04-18 | 南京莱斯电子设备有限公司 | 一种双特征融合的半全局立体匹配方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070024614A1 (en) * | 2005-07-26 | 2007-02-01 | Tam Wa J | Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging |
| US20100079453A1 (en) * | 2008-09-30 | 2010-04-01 | Liang-Gee Chen | 3D Depth Generation by Vanishing Line Detection |
| CN101556696B (zh) * | 2009-05-14 | 2011-09-14 | 浙江大学 | 基于阵列摄像机的深度图实时获取算法 |
| TW201145979A (en) * | 2008-11-18 | 2011-12-16 | Panasonic Corp | Reproduction device, reproduction method, and program for stereoscopic reproduction |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100682889B1 (ko) * | 2003-08-29 | 2007-02-15 | 삼성전자주식회사 | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 |
| CN101542529B (zh) * | 2006-11-21 | 2012-10-03 | 皇家飞利浦电子股份有限公司 | 图像的深度图的生成方法和图像处理单元 |
| US8135238B2 (en) * | 2008-06-05 | 2012-03-13 | Kia Sha Managment Liability Company | Free view generation in ray-space |
| FR2932911A1 (fr) * | 2008-06-24 | 2009-12-25 | France Telecom | Procede et dispositif de remplissage des zones d'occultation d'une carte de profondeur ou de disparites estimee a partir d'au moins deux images. |
| US8582866B2 (en) * | 2011-02-10 | 2013-11-12 | Edge 3 Technologies, Inc. | Method and apparatus for disparity computation in stereo images |
| US8817073B2 (en) * | 2011-08-12 | 2014-08-26 | Himax Technologies Limited | System and method of processing 3D stereoscopic image |
| US9117295B2 (en) * | 2011-12-20 | 2015-08-25 | Adobe Systems Incorporated | Refinement of depth maps by fusion of multiple estimates |
-
2011
- 2011-12-30 TW TW100149936A patent/TWI489418B/zh not_active IP Right Cessation
-
2012
- 2012-06-07 US US13/491,374 patent/US20130170736A1/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070024614A1 (en) * | 2005-07-26 | 2007-02-01 | Tam Wa J | Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging |
| US20100079453A1 (en) * | 2008-09-30 | 2010-04-01 | Liang-Gee Chen | 3D Depth Generation by Vanishing Line Detection |
| TW201145979A (en) * | 2008-11-18 | 2011-12-16 | Panasonic Corp | Reproduction device, reproduction method, and program for stereoscopic reproduction |
| CN101556696B (zh) * | 2009-05-14 | 2011-09-14 | 浙江大学 | 基于阵列摄像机的深度图实时获取算法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201327474A (zh) | 2013-07-01 |
| US20130170736A1 (en) | 2013-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI489418B (zh) | Parallax Estimation Depth Generation | |
| US9070042B2 (en) | Image processing apparatus, image processing method, and program thereof | |
| WO2016176840A1 (zh) | 深度图/视差图的后处理方法和装置 | |
| CN107481271B (zh) | 一种立体匹配方法、***及移动终端 | |
| US11379988B2 (en) | Method and apparatus for extracting edge of object in depth image and computer readable storage medium | |
| CN104079912B (zh) | 图像处理装置和图像处理方法 | |
| CN107578430B (zh) | 一种基于自适应权值和局部熵的立体匹配方法 | |
| EP3311361B1 (en) | Method and apparatus for determining a depth map for an image | |
| CN105069804B (zh) | 基于智能手机的三维模型扫描重建方法 | |
| CN107968946B (zh) | 视频帧率提升方法及装置 | |
| CN103337081B (zh) | 一种基于深度层的遮挡判断方法及装置 | |
| CN112991420A (zh) | 一种视差图的立体匹配特征提取及后处理方法 | |
| CN102436671A (zh) | 一种基于深度值非线性变换的虚拟视点绘制方法 | |
| CN111696057A (zh) | 一种深度图像去噪方法及装置 | |
| CN111899295A (zh) | 一种基于深度学习的单目场景深度预测方法 | |
| CN104778673B (zh) | 一种改进的高斯混合模型深度图像增强方法 | |
| US20150035828A1 (en) | Method for processing a current image of an image sequence, and corresponding computer program and processing device | |
| KR102122905B1 (ko) | 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법 및 이에 이용되는 기록매체 | |
| TWI439961B (zh) | Conversion algorithm for voids generated after converting 2D images | |
| JP4296617B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| CN117011560A (zh) | 基于阈值和权重Census变换的煤矿井下图像立体匹配方法 | |
| CN109903322B (zh) | 一种深度摄像头深度图像修复方法 | |
| KR101766431B1 (ko) | 계층적 스테레오 정합을 이용한 변이 추출 방법 및 그 장치 | |
| CN111369435B (zh) | 基于自适应稳定模型的彩色图像深度上采样方法及*** | |
| CN107610070B (zh) | 基于三摄像采集的自由立体匹配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |