TWI469087B - 深度圖產生方法 - Google Patents

深度圖產生方法 Download PDF

Info

Publication number
TWI469087B
TWI469087B TW100123742A TW100123742A TWI469087B TW I469087 B TWI469087 B TW I469087B TW 100123742 A TW100123742 A TW 100123742A TW 100123742 A TW100123742 A TW 100123742A TW I469087 B TWI469087 B TW I469087B
Authority
TW
Taiwan
Prior art keywords
image
block
value
depth map
depth
Prior art date
Application number
TW100123742A
Other languages
English (en)
Other versions
TW201243769A (en
Inventor
Gwo Giun Chris Lee
He Yuan Lin
Ming Jiun Wang
Chun Fu Chen
Original Assignee
Univ Nat Cheng Kung
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Cheng Kung filed Critical Univ Nat Cheng Kung
Publication of TW201243769A publication Critical patent/TW201243769A/zh
Application granted granted Critical
Publication of TWI469087B publication Critical patent/TWI469087B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Description

深度圖產生方法
本發明係關於一種深度圖產生方法，尤指一種可產生一對應至一影像訊號之深度圖的深度圖產生方法，以便提供給一用於將2維平面影像訊號轉換為3維立體影像訊號之影像轉換系統使用。
在藉由顯示單元呈現一立體影像的過程中，每一影像訊號所包含之每一個影像區塊所分別具有的深度數值是非常重要的。因為，一旦深度數值有誤差，所呈現的立體影像便會嚴重失真，造成無法讓觀眾觀賞的後果。而且，對於人類視覺而言，要得到立體視覺，必須先藉由如雙眼視差、動態視差等深度感知線索，得出在肉眼所看到的影像中各物件的前後相對位置關係，如此才能讓大腦「看到」立體的影像。
其中，在這些深度感知線索中，又以動態視差(motion parallax)影響最大，動態視差的成因主要是由於物體的移動量與其距離觀察者的距離關係成正比，舉例來說，以同樣速度行走的兩部車子，在觀察者看來，距離較遠的車子其移動較距離近的慢，因此觀察者可以藉由此一現象判別出兩部車的相對距離。此外，除了動態視差之外，其他重要的深度感知線索如線性透視(linear perspective，平行的鐵軌看起來在遠處相交)、大氣透視(atmospheric perspective，因空氣中微小粒子的影響使得遠處的物體看起來較模糊)、紋理梯度(texture gradient，相同的紋理的物體，在遠處的物體紋理看起來較密集)、相對高度(elevation，物體的高度較高的感覺起來較遠)、重疊(overlapping，經由物體間相互遮蔽的關係可以推論出其相對位置)以及相對大小(同樣的物體，在遠處的物體看起來較小，近處的物體看起來較大)。而這些深度感知線索均已被轉換成演算法，而應用於各類型的2維轉3維之影像及影像流轉換系統(2D to 3D image/video transformation system)。
然而，這些基於前述之各深度感知線索所轉換出的演算法(algorithm)均有其缺點，有些演算法只基於影像區塊的外型，另一些演算法只基於影像區塊的大小，更有一些演算法只基於影像區塊的色彩特徵，造成所得出的深度圖並無法符合實際需求。更有甚者，這些演算法並無法針對位於觀賞者有興趣部分內的各影像區塊精確地賦予深度數值，造成觀賞者無法對其有興趣部分清楚的看到立體影像，減損其觀賞的樂趣。
因此，業界需要一種可產生一對應至一影像訊號之深度圖的深度圖產生方法，以便提供給一用於將2維平面影像訊號轉換為3維立體影像訊號之影像轉換系統使用。
本發明之目的係在提供一種深度圖產生方法，俾能依據一影像訊號中之一感興趣區塊的分佈，以及此影像訊號中各影像區塊分別具有之寬長比數值，產生一對應至此影像訊號的深度圖。
為達成上述目的，本發明之深度圖產生方法深度圖，係用於產生一對應至一影像訊號的深度圖，此影像訊號係包含複數個影像區塊，且每一此等影像區塊於此深度圖中分別被賦予一深度值，包括下列步驟：(A)接收一包含複數個影像區塊的影像區塊分佈圖及一包含一感興趣區塊的感興趣區塊分佈圖；(B)對每一此等影像區塊執行一寬長比檢測程序及一感興趣區塊重合比率運算程序；以及(C)依據此寬長比檢測程序的結果及此感興趣區塊重合比率運算程序的結果，分別賦予每一此等影像區塊一深度值，以產生此深度圖；其中，此等影像區塊係具有複數個影像元素，此寬長比檢測程序係用於運算出每一此等影像區塊之寬長比數值，且當其中之一此等影像區塊之寬長比數值係低於一寬長比門檻值時，此影像區塊所被賦予之深度值係與垂直鄰近之另一影像區塊所被賦予的深度值相同；此感興趣區塊重合比率運算程序則用於運算出每一此等影像區塊分別與此感興趣區塊的一重合比率，而互相鄰近並分別具有一高於一重合比率門檻值之重合比率的此等影像區塊則均被賦予相同的深度值。
因此，本發明之深度圖產生方法能依據一影像訊號中之一感興趣區塊的分佈，以及此影像訊號中各影像區塊分別具有之寬長比數值，產生一對應至此影像訊號的深度圖。此外，本發明之深度圖產生方法亦能依據一對應至一影像訊號之深度圖，以及另一亦對應至此影像訊號之前一時間點之深度圖，產生一調整後之深度圖，以更精準地賦予一影像訊號之每一影像區塊一調整後之深度值，有效地提昇一用於將2維平面影像訊號轉換為3維立體影像訊號之影像轉換系統的轉換效率。
以下係藉由特定的具體實施例說明本發明之實施方式，熟習此技藝之人士可由本說明書所揭示之內容輕易地了解本發明之其他優點與功效。此外，本發明亦可藉由其他不同的具體實施例加以施行或應用，且本說明書中的各項細節亦可基於不同觀點與應用，而在不悖離本發明之精神下進行各種修飾與變更。
請參閱圖1，其係本發明一實施例之深度圖產生方法的流程示意圖。其中，本發明一實施例之深度圖產生方法係用於產生一對應至一影像訊號的深度圖，此影像訊號係包含複數個影像區塊，且每一此等影像區塊於此深度圖中分別被賦予一深度值。而如圖1所示，本發明一實施例之深度圖產生方法係包括下列步驟：
(A)接收一包含複數個影像區塊的影像區塊分佈圖及一包含一感興趣區塊的感興趣區塊分佈圖；
(B)對每一此等影像區塊執行一寬長比檢測程序及一感興趣區塊重合比率運算程序；以及
(C)依據此寬長比檢測程序的結果及此感興趣區塊重合比率運算程序的結果，分別賦予每一此等影像區塊一深度值，以產生此深度圖。
其中，在前述之影像訊號中，這些影像區塊係具有複數個影像元素。此外，在此影像訊號中，所謂之「感興趣區塊」(region of interesting,ROI)係指整個影像訊號中，特別需要被關注的部分，例如對應至一移動物體之影像區塊部分。除此之外，在本發明一實施例之深度圖產生方法之步驟(B)中所被執行之寬長比檢測程序係用於運算出每一個影像區塊的寬長比數值(aspect ratio value)，而另一被執行之感興趣區塊重合比率運算程序則用於運算出每一個影像區塊分別與一感興趣區塊的一重合比率(overlapping percentage)。
接著，於本發明一實施例之深度圖產生方法之步驟(C)中則依據於步驟(B)執行寬長比檢測程序後所得之結果，如一影像區塊之寬長比數值，以及執行感興趣區塊重合比率運算程序後所得之結果，如一影像區塊與一感興趣區塊重合之部分的面積數值除以此影像區塊之面積數值所得出之比率，分別賦予每一個影像區塊一深度值。如此，便可產生一對應至此影像訊號的深度圖。
以下，將配合一個例子，詳細敘述本發明一實施例之深度圖產生方法的如何運作：首先，請參閱圖2，其係一包含複數個影像區塊之影像區塊分佈圖的示意圖。其中，此影像區塊分佈圖係包含5個影像區塊，分別為對應至人物頭部之第一影像區塊21、對應至人物頭髮之第二影像區塊22、對應至人物手指部分之第三影像區塊23、對應至人物身體部分之第四影像區塊24及對應至背景部分的第五影像區塊25。
接著，如本發明一實施例之深度圖產生方法之步驟(B)所述，分別對這5個影像區塊執行一寬長比檢測程序及一感興趣區塊重合比率運算程序。在本實施例中，前述之寬長比檢測程序係指對一影像區塊執行一寬長比擷取方法。而如圖3A所示，此寬長比擷取方法係包括下列步驟：從此影像訊號中擷取出此影像區塊，且運算出此影像區塊之面積數值；以一矩形框將此影像區塊包圍於其中，且使此矩形框與此影像區塊之週緣切齊；調整此矩形框於此影像訊號中之大小及位置，使得調整後之此矩形框係將此影像區塊之70%的面積包圍於其中；以及運算出調整後之此矩形框的寬長比數值，且將此調整後之此矩形框的寬長比數值設定為此影像區塊之寬長比數值。
其中，如圖3B所示，其係顯示使得一矩形框將此影像區塊31包圍於其中，並使此矩形框與此影像區塊31之週緣切齊之狀態的示意圖。接著，調整此矩形框於此影像訊號中之大小及位置，使得調整後之此矩形框係將此影像區塊之70%的面積32包圍於其中，如圖3C所示。
在此例子中，係先對第一影像區塊21(對應至人物頭部)執行前述之寬長比擷取方法，得出第一影像區塊21之寬長比數值係為0.45(45/99)接著，此寬長比數值係與一寬長比門檻值(aspect ratio threshold)互相比較。在本實施例中，此寬長比門檻值係介於1.1至1.3之間，較佳為1.1765或1.25。
如前所述，由於第一影像區塊21之寬長比數值(0.45)係低於前述之寬長比門檻值時，故第一影像區塊21所被賦予之深度值便與垂直鄰近之另一影像區塊(如對應至人物身體部分之第四影像區塊24)所被賦予的深度值相同。至於要執行前述之寬長比檢測程序的原因係在於要判斷出一影像區塊是否對應於一站立物體，例如一個人或一棵樹等。而如果某些影像區塊經過執行前述之寬長比檢測程序後，被判斷出係對應至一個站立物體，例如前述之對應至人物頭部之第一影像區塊21、對應至人物頭髮之第二影像區塊22、對應至人物手指部分之第三影像區塊23及對應至人物身體部分之第四影像區塊24均被判斷出對應至一個人物，這些影像區塊便可合理地被賦予相同的深度值(因相對於身後的背景，同屬於一個人物的這些影像區塊的深度值幾乎可視作完全相同)。
另一方面，在本實施例中，前述之感興趣區塊重合比率運算程序係用於運算出每一個影像區塊分別與一感興趣區塊的一重合比率。其中，此重合比率係指每一影像區塊與此感興趣區塊重合之部分的面積數值除以每一此等影像區塊之面積數值所得出之比率。至於如何得出一包含一感興趣區塊之感興趣區塊，則敘述於下：在本實施例中，前述之感興趣區塊分佈圖係執行一感興趣區塊分佈圖產生方法後所得出。而如圖4A所示，此感興趣區塊分佈圖產生方法係包括下列步驟：接收此影像訊號，此影像訊號具有複數個影像元素及複數個基準影像元素；運算出此等影像元素及此等基準影像元素所分別具有的一動態特徵值；依據每一此等影像元素之此動態特徵值及每一此等基準影像元素之此動態特徵值，將每一此等影像元素及每一此等基準影像元素分類至複數個群別；以及依據此等基準影像元素所被分類至此等群別的結果，從此等群別中擷取出一構成一感興趣區塊之群別，且將被分類至此群別之此等影像元素及此等基準影像元素設定為此影像訊號之此感興趣區塊。
其中，在本實施例中，前述所應用之複數個基準影像元素41的數目係為9個，且它們均等地位於一影像訊號中，如圖4B所示。
此外，如圖4C所示，此等影像元素及此等基準影像元素所分別具有的一動態特徵值(motion feature value)係以下列步驟運算而出：接收此影像訊號，此影像訊號具有此等影像元素及此等基準影像元素；運算出此等影像元素及此等基準影像元素所分別具有的一動態參數；依據此等基準影像元素之此動態參數，運算出此影像訊號之一廣域動態參數，且依據此等影像元素之此動態參數，運算出每一此等影像元素之一元素動態參數；以及依據將每一此等影像元素之此元素動態參數與此影像訊號之此廣域動態參數相互比較的結果，分別運算出每一此等影像元素之動態特徵值，且依據將每一此等基準影像元素之此元素動態參數與此影像訊號之此廣域動態參數比較的結果，分別運算出每一此等基準影像元素之動態特徵值。
其中，此等影像元素及此等基準影像元素所分別具有的一動態參數係先藉由比較這些影像元素(基準影像元素)在此影像訊號中與前一影像訊號中之位置差異的方式，得出一移動向量(motion vector)的X軸分量MV x 與此移動向量的Y軸分量MV y 。接著，再經過一數值運算程序(magnitude operation)後，以得出前述之動態參數(motion parameter)。
另一方面，再得出前述之9個基準影像元素41所分別具有的動態參數後，便經過一中位數程序，以擷取出這9個動態參數的一中位數值。之後，便將此中位數值設定為此影像訊號的廣域動態參數(GMP)。此外，此等影像元素之此動態參數便設定為出每一此等影像元素之一元素動態參數(PMP)。
除此之外，前述之「依據將每一此等影像元素之此元素動態參數與此影像訊號之此廣域動態參數相互比較的結果，分別運算出每一此等影像元素之動態特徵值」係指擷取一影像元素之「元素動態參數」(PMP)與此影像訊號之「廣域動態參數」(GMP)兩者中，數值較大者為此影像元素之「動態特徵值」。同理，前述之「依據將每一此等基準影像元素之此元素動態參數與此影像訊號之此廣域動態參數相互比較的結果，分別運算出每一此等基準影像元素之動態特徵值」係指擷取一基準影像元素之「元素動態參數」(PMP)與此影像訊號之「廣域動態參數」(GMP)兩者中，數值較大者為此基準影像元素之「動態特徵值」。
如此，便可得出此影像訊號中，所有影像元素及所有基準影像元素所分別具有的「動態特徵值」。
請再參閱圖4A，當得出此影像訊號中，所有影像元素及所有基準影像元素所分別具有的「動態特徵值」後，便依據每一影像元素之此動態特徵值及每一基準影像元素之此動態特徵值，將每一影像元素及每一基準影像元素分類至複數個群別。一般而言，此分類程序係可使用K-means分群演算法、CRLA(constraint run length algorithm)分群演算法或SBKM(Symmetry distance Based K-means algorithm)分群演算法等。但在本實施例中，較佳使用K-means分群演算法。
隨後，依據這些基準影像元素所被分類至此等群別的結果，即這9個基準影像元素被分類至複數個群別的結果，從這些群別中擷取出一構成一感興趣區塊之群別。在本實施例中，這9個基準影像元素被分類至2個群別，即一包含動態特徵值等於一動態特徵值最低門檻值之複數個基準影像元素的群別及另一包含動態特徵值高於此動態特徵值最低門檻值之複數個基準影像元素的群別。在本實施例中，前述之動態特徵值最低門檻值係為4。
此時，除了前述之9個基準影像元素外，此影像訊號所具有之複數個影像元素亦被分類至前述之2個群別。即一包含動態特徵值等於此動態特徵值最低門檻值之複數個影像元素的群別及另一包含動態特徵值高於此動態特徵值最低門檻值之複數個影像元素的群別。
之後，依據各群別所包含之基準影像元素的數目，擷取包含較少數目之基準影像元素的群別為一構成一感興趣區塊之群別。意即，構成此感興趣區塊之群別所具有之基準影像元素的數目係低於其餘未構成此感興趣區塊之群別所具有之基準影像元素的數目。
最後，此被擷取為一構成一感興趣區塊之群別所包含的複數個影像元素及複數個基準影像元素，即被分類至此感興趣區塊之群別的複數個影像元素及複數個基準影像元素，便被設定為此影像訊號之此感興趣區塊(ROI)。
如此，便可得出本發明一實施例之深度圖產生方法之步驟(A)所接收之包含一感興趣區塊的感興趣區塊分佈圖，如圖4D所示。其中，一共有5個影像區塊位於圖4D中，它們分別為第一影像區塊42、第二影像區塊43、第三影像區塊44、第四影像區塊45及第五影像區塊46。此外，虛線所包圍之範圍係為感興趣區塊47。
接著，便執行前述之感興趣區塊重合比率運算程序，以分別運算出每一個影像區塊之重合比率。而經過運算之後，除了第三影像區塊44之外，其餘4個影像區塊(即第一影像區塊42、第二影像區塊43、第四影像區塊45及第五影像區塊46)之重合比率均高於一重合比率門檻值。一般而言，此重合比率門檻值係介於50%至80%之間。但是，在本實施例中，此重合比率門檻值係為60%。
所以，如圖4E所示，由於前述之4個影像區塊(即被陰影區覆蓋之部分)互相鄰近且分別具有一高於一重合比率門檻值之重合比率，故它們均被賦予相同的深度值。
而如前所述，經過執行本發明一實施例之深度圖產生方法之步驟(B)後，每一個影像區塊之寬長比數值及重合比率均已經被運算出來。而依據每一個影像區塊之寬長比數值與一寬長比門檻值之間的數值關係，以及重合比率與一重合比率門檻值之間的數值關係，分別賦予每一個影像區塊一深度值。如此，便可產生一對應至此影像訊號之深度圖。
以下，將分別敘述在不同數值關係情況下，本發明一實施例之深度圖產生方法如何賦予一影像區塊一深度值。
首先，當此影像區塊之寬長比數值係低於此寬長比門檻值，或此影像區塊之重合比率係高於此重合比率門檻值時，此影像區塊所被賦予之深度值D係由下列公式運算而出：
其中，VLP係為在此影像區塊、垂直鄰近此影像區塊之另一影像區塊及與此影像區塊互相鄰近之複數個影像區塊中，於此影像訊號中之最低影像元素的位置，h則為此影像訊號的高度數值。而前述之影像區塊於此影像訊號中之分佈狀態，則如圖5A所示。
而如前所述，由於此影像區塊之寬長比數值係低於此寬長比門檻值，或此影像區塊之重合比率係高於此重合比率門檻值，故此影像區塊、垂直鄰近此影像區塊之另一影像區塊及與此影像區塊互相鄰近之複數個影像區塊所被賦予之深度值均為D。
其次，當此影像區塊之寬長比數值係不低於此寬長比門檻值，且此影像區塊之重合比率係不高於此重合比率門檻值時，此影像區塊所被賦予之深度值D係由下列公式運算而出：
其中，VHP係為在此影像區塊、垂直鄰近此影像區塊之另一影像區塊及與此影像區塊互相鄰近之複數個影像區塊中，於此影像訊號中之最高影像元素的位置；VLP係為在此影像區塊、垂直鄰近此影像區塊之另一影像區塊及與此影像區塊互相鄰近之複數個影像區塊中，於此影像訊號中之最低影像元素的位置；VCP係為在此影像區塊、垂直鄰近此影像區塊之另一影像區塊及與此影像區塊互相鄰近之複數個影像區塊中，於此影像訊號中之一待指定深度值之影像元素的位置；h係為此影像訊號的高度，Dmin 係為最小深度值，其數值為，Dmax 則為最大深度值，其數值為。而前述之影像區塊於此影像訊號中之分佈狀態，則如圖5B所示。
而由式2之公式可看出，在本實施例中，此影像區塊之一待指定深度值之影像元素的深度值，係以線性關係對應至此影像元素於此影像訊號中之位置，而此關係則如圖5C所示。然而，在某些應用情況中，前述之線性關係亦可更改其他不同類型之關係，如二階關係或三階關係等。
在本發明一實施例之深度圖產生方法中，其步驟(A)所接收之影像區塊分佈圖係執行一影像區塊合併方法後所得出。而如圖6所示，此影像區塊合併方法係包括下列步驟：
(A)接收此影像訊號；
(B)擷取每一此等影像區塊所分別具有之面積數值及周長數值，以運算出每一此等影像區塊所具之緊緻度數值；
(C)依據每一此等影像區塊所具之緊緻度數值，將此等影像區塊以一由面積數值大之影像區塊依序排列至面積數值小之影像區塊的順序排序；
(D)依據此由面積數值大之影像區塊依序排列至面積數值小之影像區塊的順序，對每一此等影像區塊執行一合併測試程序，以形成一暫存影像合併區塊，此暫存影像合併區塊係包含其中之一此等影像區塊與相鄰之另一此等影像區塊，且擷取出此暫存影像合併區塊之面積數值及周長數值，以運算出此暫存影像合併區塊之緊緻度數值；以及
(E)將此暫存影像合併區塊之緊緻度數值與其中之一此等影像區塊之緊緻度數值互相比較，且當此暫存影像合併區塊之緊緻度數值係高於其中之一此等影像區塊之緊緻度數值時，將此暫存影像合併區塊設定為此影像合併區塊。
由於應用各種參數，如影像區塊之色彩特徵、影像區塊之紋理特徵或影像區塊之緊緻度數值以作為判斷相鄰影像區塊是否應合併的演算法已經廣為業界所使用，故前述之基於一影像區塊之緊緻度數值而將複數個影像區塊合併為一影像合併區塊之影像區塊合併方法的詳細步驟，在此便不再贅述。
因此，本發明一實施例之深度圖產生方法確實能依據一影像訊號中之一感興趣區塊的分佈，以及此影像訊號中各影像區塊分別具有之寬長比數值，產生一對應至此影像訊號的深度圖。
請參閱圖7，其係本發明另一實施例之深度圖產生方法的流程示意圖。其中，本發明另一實施例之深度圖產生方法係用於產生對應至一影像訊號之一調整後之深度圖，此影像訊號係包含複數個影像區塊，且每一此等影像區塊於此調整後之深度圖中分別被賦予一深度值。而如圖7所示，本發明另一實施例之深度圖產生方法係包括下列步驟：
(A)接收一包含複數個影像區塊的影像區塊分佈圖及一包含一感興趣區塊的感興趣區塊分佈圖；
(B)對每一此等影像區塊執行一寬長比檢測程序及一感興趣區塊重合比率運算程序；
(C)依據此寬長比檢測程序的結果及此感興趣區塊重合比率運算程序的結果，分別賦予每一此等影像區塊一深度值，以產生此深度圖；以及
(D)依據此深度圖及一前一時間點之深度圖，產生一調整後之深度圖。
其中，此等影像區塊係具有複數個影像元素，此寬長比檢測程序係用於運算出每一此等影像區塊之寬長比數值，且當其中之一此等影像區塊之寬長比數值係低於一寬長比門檻值時，此影像區塊所被賦予之深度值係與垂直鄰近之另一影像區塊所被賦予的深度值相同；此感興趣區塊重合比率運算程序則用於運算出每一此等影像區塊分別與此感興趣區塊的一重合比率，而互相鄰近並分別具有一高於一重合比率門檻值之重合比率的此等影像區塊則均被賦予相同的深度值。
而由於在本發明另一實施例之深度圖產生方法中，步驟(A)至步驟(C)即為本發明一實施例之深度圖產生方法所包含的步驟(A)至步驟(C)，故關於本發明另一實施例之深度圖產生方法中，步驟(A)至步驟(C)的詳細運作程序及各種可能的態樣，在此便不再贅述。
但關於本發明另一實施例之深度圖產生方法之步驟(D)的詳細運作程序，則敘述於下：如圖8所示，其係顯示本發明另一實施例之深度圖產生方法之步驟(D)所包含之各子步驟的流程圖。其中，本發明另一實施例之深度圖產生方法之步驟(D)係包含：
(D1)接收此深度圖及此前一時間點之深度圖；
(D2)將每一此等影像區塊於此深度圖中所分別被賦予的深度值與每一此等影像區塊於此前一時間點之深度圖中所分別被賦予的深度值互相比較；以及
(D3)依據比較所得之結果，分別賦予每一此等影像區塊一調整後之深度值，以產生此調整後之深度圖。
除此之外，在本發明另一實施例之深度圖產生方法中，步驟(D)所依據之前一時間點之深度圖係係應用一前一時間點之深度圖運算公式，依據一向前移動向量及一向後移動向量，而從此深度圖運算而出。其中，前述之前一時間點之深度圖運算公式係為：
DVT (x,y,t )=DVT (x ',y ',t -1)；(式3)
其中，
而在式3、式4及式5中，DVT (x,y,t )係為在此影像訊號中，此影像區塊於此深度圖中的位置，DVT (x ',y ',t -1)則為此影像區塊於此前一時間點之深度圖中之位置，FW _MV x 係為此向前移動向量(forward motion vector)的X軸分量，FW _MV y 係為此向前移動向量的Y軸分量，BW _MV x 係為此向後移動向量(backward motion vector)的X軸分量，BW _MV y 則為此向後移動向量的Y軸分量。除此之外，在前述之式3、式4及式5中所出現之各參數之間的關係，則可由圖9看出。
請再參閱圖8，在步驟(D2)中，每一個影像區塊於此深度圖中所分別被賦予的深度值與同一個影像區塊於此前一時間點之深度圖中所被賦予的深度值互相比較。之後，在步驟(D3)中，便依據步驟(D2)中所比較出來的結果，分別賦予每一個影像區塊一調整後之深度值。如此，便可產生此調整後之深度圖。而依據一存在於每一個影像區塊於此深度圖中所分別被賦予的深度值與同一個影像區塊於此前一時間點之深度圖中所被賦予的深度值之間的數值關係，本發明另一實施例之深度圖產生方法依據不同的設定，分別賦予每一個影像區塊一調整後之深度值。
首先，第1種情況：當(1)一當一介於此影像區塊於此前一時間點之深度圖中所被賦予的深度值(DVT)與同一個影像區塊於此深度圖中所被賦予的深度值(DVS)之間的差值係低於一調整門檻值(ΔE)，即DVT-DVS<ΔE；以及(2)當此影像區塊於此前一時間點之深度圖中所被賦予的深度值(DVT)係低於1減去此調整門檻值(ΔE)所得之數值，即DVT<1-ΔE時，此影像區塊於此調整後之深度圖中所被賦予的深度值D係被設定為：此影像區塊於此前一時間點之深度圖中所被賦予的深度值(DVT)加上此調整門檻值(ΔE)。意即，D=DVT+ΔE。
其次，第2種情況：當(1)一當一介於此影像區塊於此前一時間點之深度圖中所被賦予的深度值(DVT)與同一個影像區塊於此深度圖中所被賦予的深度值(DVS)之間的差值係高於一調整門檻值(ΔE)，即DVT-DVS>ΔE；以及(2)當此影像區塊於此前一時間點之深度圖中所被賦予的深度值(DVT)係高於此調整門檻值(ΔE)，即DVT>ΔE時，此影像區塊於此調整後之深度圖中所被賦予的深度值D係被設定為：此影像區塊於此前一時間點之深度圖中所被賦予的深度值(DVT)減去此調整門檻值(ΔE)。意即，D=DVT-ΔE。
最後，若前述之兩種情況均未發生時，此影像區塊於此調整後之深度圖中所被賦予的深度值D係被設定為：此影像區塊於此前一時間點之深度圖中所被賦予的深度值(DVT)。意即，D=DVT。
因此，本發明另一實施例之深度圖產生方法確實能藉由將一深度圖與另一前一時間點之深度圖互相比較的方式，本發明之深度圖產生方法可產生一調整後之深度圖，以更精準地賦予一影像訊號之每一影像區塊一調整後之深度值，有效地提昇一用於將2維平面影像訊號轉換為3維立體影像訊號之影像轉換系統的轉換效率。
上述實施例僅係為了方便說明而舉例而已，本發明所主張之權利範圍自應以申請專利範圍所述為準，而非僅限於上述實施例。
21、42．．．第一影像區塊
22、43．．．第二影像區塊
23、44．．．第三影像區塊
24、45．．．第四影像區塊
25、46．．．第五影像區塊
31．．．影像區塊
32．．．具有70%面積的影像區塊
41．．．基準影像元素
47．．．感興趣區塊
圖1係本發明一實施例之深度圖產生方法的流程示意圖。
圖2係一包含複數個影像區塊之影像區塊分佈圖的示意圖。
圖3A係本發明一實施例之深度圖產生方法所使用之寬長比擷取方法的流程示意圖。
圖3B係一顯示使得一矩形框將此影像區塊包圍於其中，且使此矩形框與此影像區塊之週緣切齊之狀態的示意圖。
圖3C係在調整此矩形框於此影像訊號中之大小及位置後，使得調整後之此矩形框將此影像區塊之70%的面積包圍於其中之狀態的示意圖。
圖4A係顯示本發明一實施例之深度圖產生方法所使用之感興趣區塊分佈圖之產生方法的流程示意圖。
圖4B係顯示一影像訊號所具有之9個基準影像元素於此影像訊號上之分佈情況的示意圖。
圖4C係顯示運算出複數個影像元素及複數個基準影像元素所具有之動態特徵值之各運算步驟的示意圖。
圖4D係顯示5個影像區塊及1個感興趣區塊於一影像訊號中之分佈情況的示意圖。
圖4E係顯示在圖4D之5個影像區塊中，其中4個影像區塊被賦予相同深度值之佈情況的示意圖。
圖5A係顯示賦予複數個影像元素一相同深度值之情況的示意圖。
圖5B係顯示賦予複數個影像元素一線性分佈之深度值之情況的示意圖。
圖5C係顯示一用於賦予一待指定深度值之影像元素之深度值所使用之線性關係的示意圖。
圖6係顯示本發明一實施例之深度圖產生方法所使用之影像區塊合併方法的流程示意圖。
圖7係本發明另一實施例之深度圖產生方法的流程示意圖。
圖8係顯示本發明另一實施例之深度圖產生方法之步驟(D)所包含之各子步驟的流程示意圖。
圖9係顯示產生前一時間點之深度圖所依據之一向前移動向量及一向後移動向量之間關係的示意圖。
(此圖為一流程圖故無元件代表符號)

Claims (13)

  1. 一種深度圖產生方法，係用於產生一對應至一影像訊號的深度圖，該影像訊號係包含複數個影像區塊，且每一該等影像區塊於該深度圖中分別被賦予一深度值，包括下列步驟：(A)接收一包含複數個影像區塊的影像區塊分佈圖及一包含一感興趣區塊的感興趣區塊分佈圖；(B)對每一該等影像區塊執行一寬長比檢測程序及一感興趣區塊重合比率運算程序；以及(C)依據該寬長比檢測程序的結果及該感興趣區塊重合比率運算程序的結果，分別賦予每一該等影像區塊一深度值，以產生該深度圖；其中，該等影像區塊係具有複數個影像元素，該寬長比檢測程序係用於運算出每一該等影像區塊之寬長比數值，且當其中之一該等影像區塊之寬長比數值係低於一寬長比門檻值時，該影像區塊所被賦予之深度值係與垂直鄰近之另一影像區塊所被賦予的深度值相同；該感興趣區塊重合比率運算程序則用於運算出每一該等影像區塊分別與該感興趣區塊的一重合比率，而互相鄰近並分別具有一高於一重合比率門檻值之重合比率的該等影像區塊則均被賦予相同的深度值；其中該影像區塊分佈圖係執行一影像區塊合併方法後所得出，且該影像區塊合併方法係包括下列步驟：接收該影像訊號； 擷取每一該等影像區塊所分別具有之面積數值及周長數值，以運算出每一該等影像區塊所具之緊緻度數值；依據每一該等影像區塊所具之緊緻度數值，將該等影像區塊以一由面積數值大之影像區塊依序排列至面積數值小之影像區塊的順序排序；依據該由面積數值大之影像區塊依序排列至面積數值小之影像區塊的順序，對每一該等影像區塊執行一合併測試程序，以形成一暫存影像合併區塊，該暫存影像合併區塊係包含其中之一該等影像區塊與相鄰之另一該等影像區塊，且擷取出該暫存影像合併區塊之面積數值及周長數值，以運算出該暫存影像合併區塊之緊緻度數值；以及將該暫存影像合併區塊之緊緻度數值與其中之一該等影像區塊之緊緻度數值互相比較，且當該暫存影像合併區塊之緊緻度數值係高於其中之一該等影像區塊之緊緻度數值時，將該暫存影像合併區塊設定為該影像合併區塊。
  2. 如申請專利範圍第1項所述之深度圖產生方法，其中在步驟(C)中，當其中之一該等影像區塊之寬長比數值係低於該寬長比門檻值，或其中之一該等影像區塊之重合比率係高於該重合比率門檻值時，其中之一該等影像區塊所被賦予之深度值D係由下列公式運算而出： 其中，VLP係為在其中之一該等影像區塊、垂直鄰近之另一影像區塊及互相鄰近之該等影像區塊中，於該影像訊號中之最低影像元素的位置，h則為該影像訊號的高度數值。
  3. 如申請專利範圍第1項所述之深度圖產生方法，其中在步驟(C)中，當其中之一該等影像區塊之寬長比數值係不低於該寬長比門檻值，且其中之一該等影像區塊之重合比率係不高於該重合比率門檻值時，其中之一該等影像區塊所被賦予之深度值D係由下列公式運算而出： 其中，VHP係為其中之一該等影像區塊、垂直鄰近之另一影像區塊及互相鄰近之該等影像區塊中，於該影像訊號中之最高像素元素的位置，VLP係為其中之一該等影像區塊、垂直鄰近之另一影像區塊及互相鄰近之該等影像區塊中，於該影像訊號中之最低像素元素的位置，VCP係為其中之一該等影像區塊、垂直鄰近之另一影像區塊及互相鄰近之該等影像區塊中，於該影像訊號中之一待指定深度值之影像元素的位置，h係為該影像訊號的高度，Dmin 係為，Dmax 則為。
  4. 如申請專利範圍第1項所述之深度圖產生方法，其中該寬長比門檻值係介於1.1至1.3之間，該重合比率係指每一該等影像區塊與該感興趣區塊重合之部分的面積數值除以每一該等影像區塊之面積數值所得出之比率，且該重合比率門檻值則介於50%至80%之間。
  5. 如申請專利範圍第1項所述之深度圖產生方法，其中在步驟(B)中，其中之一該等影像區塊之寬長比數值係執行一寬長比擷取方法而得出，且該寬長比擷取方法係包括下列步驟：從該影像訊號中擷取出該影像區塊，且運算出該影像區塊之面積數值；以一矩形框將該影像區塊包圍於其中，且使該矩形框與該影像區塊之週緣切齊；調整該矩形框於該影像訊號中之大小及位置，使得調整後之該矩形框係將該影像區塊之70%的面積包圍於其中；以及運算出調整後之該矩形框的寬長比數值，且將該調整後之該矩形框的寬長比數值設定為該影像區塊之寬長比數值。
  6. 如申請專利範圍第1項所述之深度圖產生方法，其中該感興趣區塊分佈圖執行一感興趣區塊分佈圖產生方法後所得出，且該感興趣區塊分佈圖產生方法係包括下列步驟： 接收該影像訊號，該影像訊號具有複數個影像元素及複數個基準影像元素；運算出該等影像元素及該等基準影像元素所分別具有的一動態特徵值；依據每一該等影像元素之該動態特徵值及每一該等基準影像元素之該動態特徵值，將每一該等影像元素及每一該等基準影像元素分類至複數個群別；以及依據該等基準影像元素所被分類至該等群別的結果，從該等群別中擷取出一構成一感興趣區塊之群別，且將被分類至該群別之該等影像元素及該等基準影像元素設定為該影像訊號之該感興趣區塊。
  7. 如申請專利範圍第6項所述之深度圖產生方法，其中構成該感興趣區塊之群別所具有之該等基準影像元素的數目係低於其餘未構成該感興趣區塊之群別所具有之該等基準影像元素的數目。
  8. 如申請專利範圍第6項所述之深度圖產生方法，其中該等影像元素及該等基準影像元素所分別具有的該動態特徵值係以下列步驟運算而出：接收該影像訊號，該影像訊號具有該等影像元素及該等基準影像元素；運算出該等影像元素及該等基準影像元素所分別具有的一動態參數； 依據該等基準影像元素之該動態參數，運算出該影像訊號之一廣域動態參數，且依據該等影像元素之該動態參數，運算出每一該等影像元素之一元素動態參數；以及依據將每一該等影像元素之該元素動態參數與該影像訊號之該廣域動態參數相互比較的結果，分別運算出每一該等影像元素之動態特徵值。
  9. 如申請專利範圍第1項所述之深度圖產生方法，更包括一步驟(D)，依據該深度圖及一前一時間點之深度圖，產生一調整後之深度圖，其中該步驟係包括：(D1)接收該深度圖及該前一時間點之深度圖；(D2)將每一該等影像區塊於該深度圖中所分別被賦予的深度值與每一該等影像區塊於該前一時間點之深度圖中所分別被賦予的深度值互相比較；以及(D3)依據比較所得之結果，分別賦予每一該等影像區塊一調整後之深度值，以產生該調整後之深度圖。
  10. 如申請專利範圍第9項所述之深度圖產生方法，其中該前一時間點之深度圖係應用一前一時間點之深度圖運算公式，依據一向前移動向量及一向後移動向量，而從該深度圖運算而出；其中，該前一時間點之深度圖運算公式係為：DVT (x ,y ,t )=DVT (x ',y ',t -1)； 其中，DVT (x ,y ,t )係為在該影像訊號中，該影像區塊於該深度圖中之位置，DVT (x ',y ',t -1)則為該影像區塊於該前一時間點之深度圖中之位置，FW _MV x 係為該向前移動向量的X軸分量，FW _MV y 係為該向前移動向量的Y軸分量，BW _MV x 係為該向後移動向量的X軸分量，BW _MV y 則為該向後移動向量的Y軸分量。
  11. 如申請專利範圍第9項所述之深度圖產生方法，其中在步驟(D3)中，當一介於其中之一該等影像區塊於該前一時間點之深度圖中所被賦予的深度值與其中之一該等影像區塊於該深度圖中所被賦予的深度值之間的差值係低於一調整門檻值，且其中之一該等影像區塊於該前一時間點之深度圖中所被賦予的深度值係低於1減去該調整門檻值所得之數值時，其中之一該等影像區塊於該調整後之深度圖中所被賦予的深度值係被設定為其中之一該等影像區塊 於該前一時間點之深度圖中所被賦予的深度值加上該調整門檻值。
  12. 如申請專利範圍第11項所述之深度圖產生方法，其中在步驟(D3)中，當一介於其中之一該等影像區塊於該前一時間點之深度圖中所被賦予的深度值與其中之一該等影像區塊於該深度圖中所被賦予的深度值之間的差值係高於該調整門檻值，且其中之一該等影像區塊於該前一時間點之深度圖中所被賦予的深度值係高於該調整門檻值時，其中之一該等影像區塊於該調整後之深度圖中所被賦予的深度值係被設定為其中之一該等影像區塊於該前一時間點之深度圖中所被賦予的深度值減去該調整門檻值。
  13. 如申請專利範圍第12項所述之深度圖產生方法，其中在步驟(D3)中，其中之一該等影像區塊於該調整後之深度圖中所被賦予的深度值係被設定為其中之一該等影像區塊於該前一時間點之深度圖中所被賦予的深度值。
TW100123742A 2011-04-26 2011-07-05 深度圖產生方法 TWI469087B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201161478965P 2011-04-26 2011-04-26

Publications (2)

Publication Number Publication Date
TW201243769A TW201243769A (en) 2012-11-01
TWI469087B true TWI469087B (zh) 2015-01-11

Family

ID=47054745

Family Applications (5)

Application Number Title Priority Date Filing Date
TW100123742A TWI469087B (zh) 2011-04-26 2011-07-05 深度圖產生方法
TW100123738A TWI469086B (zh) 2011-04-26 2011-07-05 利用紋理特徵之影像分割法
TW100123737A TWI467516B (zh) 2011-04-26 2011-07-05 色彩特徵擷取方法
TW100123743A TWI455062B (zh) 2011-04-26 2011-07-05 三維視訊內容產生方法
TW100123740A TWI543116B (zh) 2011-04-26 2011-07-05 影像區塊合併方法

Family Applications After (4)

Application Number Title Priority Date Filing Date
TW100123738A TWI469086B (zh) 2011-04-26 2011-07-05 利用紋理特徵之影像分割法
TW100123737A TWI467516B (zh) 2011-04-26 2011-07-05 色彩特徵擷取方法
TW100123743A TWI455062B (zh) 2011-04-26 2011-07-05 三維視訊內容產生方法
TW100123740A TWI543116B (zh) 2011-04-26 2011-07-05 影像區塊合併方法

Country Status (3)

Country Link
US (5) US8774502B2 (zh)
CN (5) CN102802005B (zh)
TW (5) TWI469087B (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8498480B2 (en) * 2009-02-25 2013-07-30 The United States Of America, As Represented By The Secretary Of The Navy Computationally efficient method for image segmentation with intensity and texture discrimination
EP2474167A4 (en) * 2009-09-01 2014-12-10 Prime Focus Vfx Services Ii Inc SYSTEM AND PROCESS FOR TRANSFORMING TWO-DIMENSIONAL IMAGES TO THREE-DIMENSIONAL IMAGES
US8718356B2 (en) * 2010-08-23 2014-05-06 Texas Instruments Incorporated Method and apparatus for 2D to 3D conversion using scene classification and face detection
US8983121B2 (en) * 2010-10-27 2015-03-17 Samsung Techwin Co., Ltd. Image processing apparatus and method thereof
US9483836B2 (en) * 2011-02-28 2016-11-01 Sony Corporation Method and apparatus for real-time conversion of 2-dimensional content to 3-dimensional content
TWI469087B (zh) * 2011-04-26 2015-01-11 Univ Nat Cheng Kung 深度圖產生方法
JP5884966B2 (ja) * 2011-09-09 2016-03-15 富士ゼロックス株式会社 画像処理装置および画像処理プログラム
US9041773B2 (en) * 2011-11-22 2015-05-26 Corel Corporation Conversion of 2-dimensional image data into 3-dimensional image data
US9299127B2 (en) * 2012-09-21 2016-03-29 ImmerVision Splitting of elliptical images
GB201217721D0 (en) * 2012-10-03 2012-11-14 Holition Ltd Video image processing
EP2747028B1 (en) 2012-12-18 2015-08-19 Universitat Pompeu Fabra Method for recovering a relative depth map from a single image or a sequence of still images
US9262690B2 (en) * 2013-08-27 2016-02-16 Htc Corporation Method and device for detecting glare pixels of image
CN103530882B (zh) * 2013-10-17 2017-02-08 南京大学 一种改进的基于图和色彩纹理特征的图像分割方法
KR20150100113A (ko) * 2014-02-24 2015-09-02 삼성전자주식회사 영상 처리 장치 및 이의 영상 처리 방법
US10021366B2 (en) * 2014-05-02 2018-07-10 Eys3D Microelectronics, Co. Image process apparatus
CN103957402B (zh) * 2014-05-07 2015-10-21 四川虹微技术有限公司 一种实时全高清2d转3d***行读写时序设计方法
CN104268535B (zh) * 2014-10-10 2017-12-19 上海海事大学 一种二维图像的特征提取方法
CN104318232B (zh) * 2014-10-16 2018-03-30 中国人民解放军第三军医大学第三附属医院 基于图像处理的椎间盘自动定位方法
US9292926B1 (en) 2014-11-24 2016-03-22 Adobe Systems Incorporated Depth map generation
GB2533450B (en) * 2014-12-19 2019-07-24 Adobe Inc Settings of a digital camera for depth map refinement
CN104616341A (zh) * 2015-02-06 2015-05-13 浪潮集团有限公司 一种图像处理方法
TWI623889B (zh) * 2015-03-17 2018-05-11 國立高雄應用科技大學 三維手勢影像辨識方法及其系統
TWI616763B (zh) * 2015-09-25 2018-03-01 財團法人工業技術研究院 視訊索引建立方法及應用其之裝置
US10264238B2 (en) * 2015-11-12 2019-04-16 Bitanimate, Inc. Stereoscopic mapping
CN106934846B (zh) * 2015-12-29 2020-05-22 深圳先进技术研究院 一种布料图像处理方法及***
TWI588777B (zh) * 2015-12-29 2017-06-21 Method of Fuzzy Clustering Automated Contrast Change
CN105678285B (zh) * 2016-02-18 2018-10-19 北京大学深圳研究生院 一种自适应的道路鸟瞰图变换方法和道路车道检测方法
CN105678341B (zh) * 2016-02-19 2018-11-13 天纺标检测认证股份有限公司 一种基于Gabor小波分析的羊毛羊绒识别算法
CN106600676A (zh) * 2016-12-20 2017-04-26 飞狐信息技术（天津）有限公司 在三维虚拟场景中使用曲面播放3d视频的方法、装置及手机
US11652978B2 (en) * 2017-01-05 2023-05-16 Eys3D Microelectronics, Co. Depth map generation device
CN107507206B (zh) * 2017-06-09 2021-08-20 合肥工业大学 一种基于显著性检测的深度图提取方法
CN109429560B (zh) * 2017-06-21 2020-11-27 深圳配天智能技术研究院有限公司 一种图像处理方法、装置、***及计算机存储介质
CN107610118B (zh) * 2017-09-25 2020-12-08 中国科学院遥感与数字地球研究所 一种基于dM的图像分割质量评价方法
CN109214322A (zh) * 2018-08-27 2019-01-15 厦门哲林软件科技有限公司 一种文档图像视觉效果的优化方法及***
CN109840914B (zh) * 2019-02-28 2022-12-16 华南理工大学 一种基于用户交互式的纹理分割方法
US11276250B2 (en) * 2019-10-23 2022-03-15 International Business Machines Corporation Recognition for overlapped patterns
CN110992320B (zh) * 2019-11-22 2023-03-21 电子科技大学 一种基于双重交错的医学图像分割网络
US11636683B2 (en) 2021-09-14 2023-04-25 Black Sesame Technologies Inc. Precise object segmentation with multi-modal input for realtime video application
CN116205788B (zh) * 2023-04-27 2023-08-11 粤港澳大湾区数字经济研究院(福田) 一种三维特征图的获取方法、图像处理方法及相关装置
CN116188786B (zh) * 2023-05-04 2023-08-01 潍坊医学院附属医院 一种肝胆管及胆道结石的图像分割***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070024614A1 (en) * 2005-07-26 2007-02-01 Tam Wa J Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
US20080247670A1 (en) * 2007-04-03 2008-10-09 Wa James Tam Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US20100014781A1 (en) * 2008-07-18 2010-01-21 Industrial Technology Research Institute Example-Based Two-Dimensional to Three-Dimensional Image Conversion Method, Computer Readable Medium Therefor, and System

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5671294A (en) * 1994-09-15 1997-09-23 The United States Of America As Represented By The Secretary Of The Navy System and method for incorporating segmentation boundaries into the calculation of fractal dimension features for texture discrimination
US6657637B1 (en) * 1998-07-30 2003-12-02 Matsushita Electric Industrial Co., Ltd. Moving image combining apparatus combining computer graphic image and at least one video sequence composed of a plurality of video frames
US6721454B1 (en) * 1998-10-09 2004-04-13 Sharp Laboratories Of America, Inc. Method for automatic extraction of semantically significant events from video
US6169817B1 (en) * 1998-11-04 2001-01-02 University Of Rochester System and method for 4D reconstruction and visualization
US6192150B1 (en) * 1998-11-16 2001-02-20 National University Of Singapore Invariant texture matching method for image retrieval
US6658399B1 (en) * 1999-09-10 2003-12-02 Intel Corporation Fuzzy based thresholding technique for image segmentation
US6625308B1 (en) * 1999-09-10 2003-09-23 Intel Corporation Fuzzy distinction based thresholding technique for image segmentation
US6850644B1 (en) * 1999-10-01 2005-02-01 Samsung Electronics Co., Ltd. Method for analyzing texture of digital image
US6628827B1 (en) * 1999-12-14 2003-09-30 Intel Corporation Method of upscaling a color image
US7158178B1 (en) * 1999-12-14 2007-01-02 Intel Corporation Method of converting a sub-sampled color image
US6700999B1 (en) * 2000-06-30 2004-03-02 Intel Corporation System, method, and apparatus for multiple face tracking
US6571228B1 (en) * 2000-08-09 2003-05-27 Po-Tong Wang Hybrid neural networks for color identification
KR100378351B1 (ko) * 2000-11-13 2003-03-29 삼성전자주식회사 색-텍스추어 거리 측정 방법 및 장치와 이를 이용한영상의 영역 구분 방법 및 장치
US6801573B2 (en) * 2000-12-21 2004-10-05 The Ohio State University Method for dynamic 3D wavelet transform for video compression
KR100450793B1 (ko) * 2001-01-20 2004-10-01 삼성전자주식회사 영역 분할된 영상의 영역 특징치 정합에 기초한객체추출장치 및 그 방법
US6885765B2 (en) * 2001-04-04 2005-04-26 Mitsubishi Electric Research Laboratories, Inc. Method for determining compactness ratios of multiple data and signal sets
WO2004111832A1 (en) 2003-05-27 2004-12-23 Purdue Research Foundation Improved method for diagnosing and treating breast cancer
US7496228B2 (en) 2003-06-13 2009-02-24 Landwehr Val R Method and system for detecting and classifying objects in images, such as insects and other arthropods
JP4080386B2 (ja) * 2003-07-01 2008-04-23 日本電信電話株式会社 奥行き情報の再生成方法、奥行き情報の再生成装置、プログラム、および記録媒体
JP2005122351A (ja) * 2003-10-15 2005-05-12 Seiko Epson Corp 顔画像候補領域検索方法及び検索システム並びに検索プログラム
TWI229556B (en) * 2003-12-22 2005-03-11 Sunplus Technology Co Ltd Method of motion detection for 3D comb filter video decoder
US7359555B2 (en) * 2004-10-08 2008-04-15 Mitsubishi Electric Research Laboratories, Inc. Detecting roads in aerial images using feature-based classifiers
US20060127881A1 (en) * 2004-10-25 2006-06-15 Brigham And Women's Hospital Automated segmentation, classification, and tracking of cell nuclei in time-lapse microscopy
CN100412681C (zh) * 2005-03-14 2008-08-20 佛山市顺德区顺达电脑厂有限公司 影像的补光方法
TWI309136B (en) * 2005-12-01 2009-04-21 Novatek Microelectronics Corp Apparatus for adjusting specific color attributes and method thereof
US20070160266A1 (en) * 2006-01-11 2007-07-12 Jones Michael J Method for extracting features of irises in images using difference of sum filters
US8233712B2 (en) * 2006-07-28 2012-07-31 University Of New Brunswick Methods of segmenting a digital image
WO2008091401A2 (en) * 2006-09-15 2008-07-31 Retica Systems, Inc Multimodal ocular biometric system and methods
US8165407B1 (en) * 2006-10-06 2012-04-24 Hrl Laboratories, Llc Visual attention and object recognition system
CN101207829B (zh) * 2006-12-18 2011-03-23 友达光电股份有限公司 用于显示器补偿色彩饱和度的方法及其相关装置
JP4845715B2 (ja) * 2006-12-22 2011-12-28 キヤノン株式会社 画像処理方法、画像処理装置、プログラム、及び記憶媒体
US8594180B2 (en) * 2007-02-21 2013-11-26 Qualcomm Incorporated 3D video encoding
US7826676B2 (en) * 2007-03-08 2010-11-02 Mitsubishi Electric Research Laboraties, Inc. Method for filtering data with arbitrary kernel filters
CN101489142B (zh) * 2008-01-15 2010-09-22 华晶科技股份有限公司 数字影像的彩色插补方法
US8487991B2 (en) * 2008-04-24 2013-07-16 GM Global Technology Operations LLC Clear path detection using a vanishing point
US8442355B2 (en) * 2008-05-23 2013-05-14 Samsung Electronics Co., Ltd. System and method for generating a multi-dimensional image
US8363913B2 (en) * 2008-09-05 2013-01-29 Purdue Research Foundation Dietary assessment system and method
CN101719361B (zh) * 2008-10-09 2012-04-11 华硕电脑股份有限公司 饱和度调整法与饱和度调整模块
CN102204261B (zh) * 2008-10-21 2016-08-24 皇家飞利浦电子股份有限公司 用于处理输入的三维视频信号的方法和***
WO2010070567A1 (en) * 2008-12-19 2010-06-24 Koninklijke Philips Electronics N.V. Method and device for overlaying 3d graphics over 3d video
CN101833772B (zh) * 2009-03-09 2012-07-04 奇景光电股份有限公司 感知特征集的撷取方法及***
US8963949B2 (en) * 2009-04-22 2015-02-24 Qualcomm Incorporated Image selection and combination method and device
US9124874B2 (en) * 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
KR20100135032A (ko) * 2009-06-16 2010-12-24 삼성전자주식회사 2차원 영상의 3차원 영상 변환 장치 및 방법
CN101930593B (zh) * 2009-06-26 2012-11-21 鸿富锦精密工业（深圳）有限公司 单一物体影像萃取***及方法
JP5620651B2 (ja) * 2009-06-26 2014-11-05 キヤノン株式会社 再生装置、撮像装置、及びその制御方法
JP2011049740A (ja) * 2009-08-26 2011-03-10 Sony Corp 画像処理装置および方法
JP5402504B2 (ja) * 2009-10-15 2014-01-29 株式会社Ｊｖｃケンウッド 擬似立体画像作成装置及び擬似立体画像表示システム
CN101720047B (zh) * 2009-11-03 2011-12-21 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
CN101742349B (zh) * 2010-01-05 2011-07-20 浙江大学 一种对三维场景的表达方法及其电视***
CN101908141B (zh) * 2010-08-04 2014-05-07 丁天 一种基于混合高斯模型和形态特征的视频烟雾检测方法
CN102023045B (zh) * 2010-10-18 2011-12-14 中国矿业大学(北京) 一种非接触式煤仓煤位光电测量方法
TWI469087B (zh) * 2011-04-26 2015-01-11 Univ Nat Cheng Kung 深度圖產生方法
US8369595B1 (en) * 2012-08-10 2013-02-05 EyeVerify LLC Texture features for biometric authentication

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070024614A1 (en) * 2005-07-26 2007-02-01 Tam Wa J Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
US20080247670A1 (en) * 2007-04-03 2008-10-09 Wa James Tam Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US20100014781A1 (en) * 2008-07-18 2010-01-21 Industrial Technology Research Institute Example-Based Two-Dimensional to Three-Dimensional Image Conversion Method, Computer Readable Medium Therefor, and System

Also Published As

Publication number Publication date
TW201243768A (en) 2012-11-01
TW201243771A (en) 2012-11-01
CN102802005A (zh) 2012-11-28
CN102761767A (zh) 2012-10-31
TWI467516B (zh) 2015-01-01
US8948510B2 (en) 2015-02-03
TWI543116B (zh) 2016-07-21
TW201243763A (en) 2012-11-01
TW201243772A (en) 2012-11-01
TW201243769A (en) 2012-11-01
CN102761766A (zh) 2012-10-31
US8774503B2 (en) 2014-07-08
US8774502B2 (en) 2014-07-08
TWI455062B (zh) 2014-10-01
US20120301018A1 (en) 2012-11-29
TWI469086B (zh) 2015-01-11
CN102802005B (zh) 2014-11-05
CN102843497A (zh) 2012-12-26
CN102761767B (zh) 2014-12-10
US20120294521A1 (en) 2012-11-22
US9030468B2 (en) 2015-05-12
US20120294516A1 (en) 2012-11-22
CN102760292A (zh) 2012-10-31
CN102843497B (zh) 2015-06-10
US8761501B2 (en) 2014-06-24
US20120301019A1 (en) 2012-11-29
CN102761766B (zh) 2015-01-28
US20120293499A1 (en) 2012-11-22

Similar Documents

Publication Publication Date Title
TWI469087B (zh) 深度圖產生方法
CN111066065B (zh) 用于混合深度正则化的***和方法
KR102653808B1 (ko) 3d 재구성에서 구조 특징들을 검출하고 결합하기 위한 방법들 및 시스템들
TWI497980B (zh) 處理３ｄ立體影像的系統與方法
CN106340036A (zh) 一种基于双目立体视觉的立体匹配方法
CN107798704B (zh) 一种用于增强现实的实时图像叠加方法及装置
KR101082046B1 (ko) 2차원 영상의 3차원 영상으로의 변환방법 및 그 장치
CN109644280B (zh) 生成场景的分层深度数据的方法
CN107004256A (zh) 用于噪声深度或视差图像的实时自适应滤波的方法和装置
JP6285686B2 (ja) 視差画像生成装置
KR101125061B1 (ko) Ｌｄｉ 기법 깊이맵을 참조한 2ｄ 동영상의 3ｄ 동영상 전환방법
Gouiaa et al. 3D reconstruction by fusioning shadow and silhouette information
TWI457857B (zh) 影像處理裝置，影像處理方法，及其電腦程式產品
KR101103511B1 (ko) 평면 영상을 입체 영상으로 변환하는 방법
Lin et al. A 2D to 3D conversion scheme based on depth cues analysis for MPEG videos
KR101435611B1 (ko) 3차원 집적영상의 가려짐 문제 해결방법
JP6595878B2 (ja) 要素画像群生成装置及びそのプログラム
De Sorbier et al. Augmented reality for 3D TV using depth camera input
Kyriazakos et al. A user-perspective view for mobile AR systems using discrete depth segmentation
Li et al. A hybrid pixel-block based view synthesis for multiviewpoint 3D video
Lee et al. Generation of eye contact image using depth camera for realistic telepresence
Huh et al. A viewpoint-dependent autostereoscopic 3D display method
KR20240035554A (ko) 다중 객체 표면 이미지(mosi) 포맷
KR20130101430A (ko) 스테레오 영상에서 가상 정면평행 평면 투영에 기반한 효율적인 시청자 중심 깊이 조정 장치 및 방법
Fard et al. Automatic 2D-to-3D video conversion by monocular depth cues fusion and utilizing human face landmarks