TWI475515B - 產生立體影片之深度圖的方法 - Google Patents

產生立體影片之深度圖的方法 Download PDF

Info

Publication number
TWI475515B
TWI475515B TW100112823A TW100112823A TWI475515B TW I475515 B TWI475515 B TW I475515B TW 100112823 A TW100112823 A TW 100112823A TW 100112823 A TW100112823 A TW 100112823A TW I475515 B TWI475515 B TW I475515B
Authority
TW
Taiwan
Prior art keywords
picture
depth map
feature points
feature
depth
Prior art date
Application number
TW100112823A
Other languages
English (en)
Other versions
TW201241789A (en
Inventor
Kun Ting Lee
bing yu Chen
Sheng Chi Liu
Che Wei Chang
Hsiu Hung Lin
Original Assignee
Univ Nat Taiwan
Chunghwa Picture Tubes Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Taiwan, Chunghwa Picture Tubes Ltd filed Critical Univ Nat Taiwan
Priority to TW100112823A priority Critical patent/TWI475515B/zh
Priority to US13/176,767 priority patent/US20120262543A1/en
Publication of TW201241789A publication Critical patent/TW201241789A/zh
Application granted granted Critical
Publication of TWI475515B publication Critical patent/TWI475515B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

產生立體影片之深度圖的方法
本發明係關於一種產生立體影片之深度圖的方法，特別有關一種能夠加速產生該立體影片之深度圖的方法。
目前三維立體呈像多半是利用視差原理來實現，藉由產生提供給左眼的影像及提供給右眼的影像，使觀者在適當角度觀看畫面時產生三維空間感。雙視角(two-view)立體影片即是利用此原理製成的影片，其每一幅畫面均包含提供給左眼的影像及提供給右眼的影像。利用雙視角影片可計算出畫面中物件之相對距離的深度資訊，各像素的深度資訊即構成深度圖(disparity map)。配合所得出的深度圖能夠將雙視角立體影片進一步合成以形成多視角(multi-view)的立體影片。
然而，深度圖(或深度關係圖)之建構非常耗時，在處理雙視角影片時，由於每一幅畫面均須計算出相對的深度圖，其計算量非常龐大。在現今已知的技術當中，能夠計算出相對最精準的深度圖的便是由Smith等人於CVPR 2009所發表的“Stereo Matching with Nonparametric Smoothness Priors in Feature Space”。但是，此一方法的缺點在於計算時間冗長，以左右眼影像為解析度720×576之雙視角立體圖片為例，計算其深度圖大略需要二至三分鐘，當要計算出雙視角立體影片中每張畫面的深度圖時，其計算成本將會非常高。
有些計算深度圖的演算法則是希望可以達到比較快的速度，不過其深度圖便不夠精確，在目前已知的技術當中，由Gupta及Cho於3DPVT 2010所發表的“Real-time Stereo Matching using Adaptive Binary Window”便是目前速度最快且效果上可被接受的方法。此一方法的計算速度可以達到五秒一張，但是其所得到的深度圖仍然相當不精準。三維影片在製作上往往需要高精準度的深度圖，然利用此一方法所得到的深度圖過於粗略，以致在後續合成時常有明顯的錯誤發生。
有鑑於此，如何提升立體影片之深度圖的計算效率，同時維持深度圖的精確度，實為目前企需努力之目標。
本發明之一目的在於提供一種產生立體影片之深度圖的方法，其能夠加快該立體影片之深度圖的計算速度。
為達前述目的，本發明提供一種產生立體影片之深度圖的方法，該立體影片係為由前後兩相鄰的一第一畫面及一第二畫面構成的影像串流，該方法包含步驟：利用一預定的演算法計算出相應於該第一畫面的一第一深度圖；計算該第一畫面與該第二畫面中像素的平均顏色差異量；從該第一畫面選區複數個特徵點，找出該等特徵點在該第二畫面之位置，並計算該等特徵點在該第一畫面與該第二畫面中的平均位移量；以及當該平均顏色差異量小於一第一閾值，且當該平均位移量小於一第二閾值，則根據該第一深度圖以及於該第一畫面所取之特徵點在該第二畫面的位置，來得出相應於該第二畫面的一第二深度圖，否則利用該預定的演算法來計算出該第二深度圖。
本發明中，某些相似的畫面中可利用前一張畫面的深度圖來推估後一張畫面的深度圖，其計算量會比利用特定演算法重新計算深度圖來得小，因此應用本發明來計算立體影片的深度圖可以減少運算時間，加快立體影片的深度圖計算速度。經過實測，大約55%的畫面可以利用光流法來做深度值計算的加速，因此計算整體影片的深度資訊的速度將可大幅地增加。
雙視角(two-view)立體影片串流中，每一幅畫面均包含提供給左眼的影像及提供給右眼的影像，藉由此雙視角資訊計算其深度關係是一項非常耗時的工作。本發明考量到影片本身有所謂的時間軸關聯性(time coherence)，利用判斷前後畫面的相似度，來加快立體影片之深度圖的計算。在判斷前後畫面之相似度的部份，本發明採用兩個階段來進行，第一階段先比較前後兩張畫面中像素的顏色相似度，第二階段從前一張畫面選區複數個特徵點，找出這些特徵點在後一張畫面的位置，並計算出這些特徵點在前後兩張畫面中的位移程度。如果前後畫面頗為相似，則可根據前一張畫面的深度圖，得出下一張畫面的深度圖，依此來加快立體影片之深度圖的計算。配合所得出的深度圖，可將二維影片以三維顯示技術顯示而產生三維的效果，亦可配合深度圖將雙視角立體影片進一步合成以形成多視角(multi-view)立體影片，此合成方法稱為基於深度圖像繪圖法(depth image based rendering)。
第1圖顯示本發明之產生立體影片之深度圖的方法的流程示意圖。首先，在步驟S12中，將該立體影片中相鄰的前後兩張畫面進行顏色比對，計算前後兩張畫面中像素的平均顏色差異量，以判斷其顏色相似度，如果這兩張畫面的顏色相似度很高，則進行下一階段的比對，亦即步驟S14，從前一張畫面選取複數個特徵點，利用光流法(optical flow)找出這些特徵點在後一張畫面的位置，並計算出這些特徵點在前後兩畫面中的平均位移量，以判斷前後兩張畫面中物件的移動程度。如果這兩張畫面的顏色相似度很高，且該等特徵點的平均位移量不大，亦即通過步驟S12及步驟S14的比對，表示這兩張畫面頗為類似，則可根據前一張畫面所取的特徵點在後一張畫面的位置以及前一張畫面的深度圖，來對應得出後一張畫面的深度圖，如步驟S16所示。在步驟S12的顏色比對中，若前後兩張畫面的顏色相似度很低，該平均顏色差異過大，則須重新計算後一張畫面的深度圖，以預定的演算法計算出較為精確的深度圖，如步驟S18所示。在步驟S14的位移量比對中，若前後兩張畫面中物件的移動程度很大，該等特徵點的平均位移量過大，則須以預定的演算法計算該後一張畫面的深度圖。只要沒有通過步驟S12及步驟S14任一步驟的比對，即需以預定的演算法來重新計算深度圖。在本實施例中，係先進行步驟S12的顏色比對，於步驟S12比對通過後，再進行步驟S14的位移量比對，此係因顏色差異的計算相較於光流法的計算量要小得許多，如果前後畫面的顏色差異已過大，則無必要進行位移量的比較，因此可以在較短的時間內決定是否重新計算較為精確的深度圖。此外，前述預定的演算法可採用Smith等人所開發的演算法，來計算出相對最精確的深度圖。此外，本發明不限於上述步驟S12的顏色比對及步驟S14的位移量比對，其他方式的比對亦能置入此一架構中，來加速深度圖的計算。
於步驟S12的顏色比對中，針對前後兩張畫面中的像素計算其顏色差異度，計算公式如下：
d (P ,Q )=|Pr -Qr |×0.3+|Pg -Qg |×0.59+|Pb -Qb |×0.11(2)
其中E color 係代表像素的平均顏色差異量，I t (x ,y )是指在時間t 時在(x,y) 位置的像素，N pixel 則是一張影像當中的像素個數，P 與Q 代表前後兩張畫面中在相同位置的像素，P 與Q 的下標r 、g 、b 則代表了P 與Q 這兩個像素的紅、綠、藍值。本發明不限於上述採用的方式，亦可利用其他方式來計算前後兩張畫面中像素的平均顏色差異量。
當利用上述方式計算出前後兩張畫面中眾像素的平均顏色差異量之後，將該平均顏色差異量與一第一閾值進行比較。當該平均顏色差異量小於該第一閾值，則判定為這兩張畫面的顏色相似度很高，可通過步驟S12的顏色比對，繼續進行下一階段的比對，如步驟S14的位移量比對。當該平均顏色差異量大於該第一閾值，則判定為這兩張畫面的顏色相似度不夠高，亦即未通過步驟S12的顏色比對，則無必要進行步驟S14的位移量比對，須直接進行步驟S18中採用預定的演算法來重新計算深度圖。
配合參考第2圖，該第一閾值可採用如下方式來決定：步驟S22：首先，選定任一立體影片的其中一個畫面，並採用預定的演算法計算出該畫面的深度圖，其中所採用的演算法能夠計算出較為精確的深度圖。
步驟S24：從該選定的畫面選取複數個特徵點，利用光流法找出該等特徵點在下一個畫面的位置，並根據該選定之畫面的深度圖，對應得出該下一個畫面的深度圖，依此方式一一推估後續畫面的深度圖。
步驟S26：找出該等後續畫面之深度圖中，首先出現錯誤的深度圖，並對應取出首先出現錯誤之深度圖的畫面。
步驟S28：利用上述公式(1)及(2)，計算該選定的畫面及前述出現錯誤的畫面中像素的平均顏色差異量，此平均顏色差異量即可作為該第一閾值。
經反覆實驗測試，如果前後兩張畫面中像素的平均顏色差異量(E color )超過5的話，利用光流法以及前一張畫面的深度圖來推估後一張畫面的深度圖，其錯誤率就會偏高，所以如果前後兩個畫面的平均顏色差異量(E color )超過該第一閾值的話，便應該重新利用該預定的演算法，以較為精準的方式來計算深度圖。經過實測，在一段雙視角的立體測試影片當中，透過步驟S12的顏色比對，平均有20%的畫面必須使用該預定的演算法來重新計算深度圖。
步驟S12的顏色比對有兩個主要的目的，一是為了加快是否需重新計算深度圖的判斷速度，由於直接比對顏色會比光流法的計算來得快速，所以一開始即採用顏色比對；二是如果兩張畫面顏色差異過大，像是鏡頭快速移動或者轉換場景時，此時若只有使用步驟S14位移量的比對來決定是否必須重新計算深度圖的話，其實並不太恰當，因為轉換場景或者快速移動時，光流法可能無法正確算出每個像素的移動量，導致無法精準的掌握計算的結果，因此加上顏色差異度來加強判斷是否重新計算深度圖實有其必要性。
若通過步驟S12的顏色比對，則進行步驟S14的位移量比對。於步驟S14的位移量比對中，從前一張畫面選取複數個特徵點，利用光流法找出這些特徵點在後一張畫面的位置，並計算這些特徵點在前後兩畫面中的位移量，在此採用的光流法是Lucas-Kanade演算法，計算公式如下：
其中E m otion 係代表前後兩張畫面中該等特徵點的平均位移量，dist (p )為每個特徵點對應之特徵向量(p )的長度，N feature 為特徵向量的個數。本發明不限於上述採用的方式，亦可利用其他方式來計算前後兩張畫面中所取特徵點的平均位移量。在前述從前一張畫面選取特徵點的步驟中，可實施為每兩個像素只取一個特徵點，亦可以每個像素都作為特徵點，但每間隔幾個像素取一個特徵點有助於加快計算的速度。
當利用上述方式計算出前後兩張畫面中該等特徵點的平均位移量之後，將該平均位移量與一第二閾值進行比較。當該平均位移量小於該第二閾值，則判定為這兩張畫面中物件的位置變動程度不高，可通過步驟S14的位移量比對，接著進入步驟S16，配合光流法所得出之前一張畫面所取的特徵點在後一張畫面的位置，並且根據前一張畫面的深度圖，來對應得出後一張畫面的深度圖。當該平均位移量大於該第二閾值，則判定為這兩張畫面中物件的位置變動程度很高，因此無法通過步驟S14的位移量比對，須進行步驟S18中採用預定的演算法來重新計算深度圖。
配合參考第3圖，該第二閾值可採用如下方式來決定：步驟S32：首先，選定任一立體影片的其中一個畫面，並採用預定的演算法計算出該畫面的深度圖，其中所採用的演算法能夠計算出較為精確的深度圖。
步驟S34：從該選定的畫面選取複數個特徵點，利用光流法找出該等特徵點在下一個畫面的位置，並根據該選定之畫面的深度圖，對應得出該下一個畫面的深度圖，依此方式一一推估後續畫面的深度圖。
步驟S36：找出該等後續畫面之深度圖中，首先出現與預期理想差異過大的深度圖，並對應取出首先出現不如預期之深度圖的畫面。
步驟S38：利用上述公式(3)，計算該等特徵點在該選定的畫面及前述不如預期之深度圖的畫面中的平均位移量，此平均位移量即可作為該第二閾值。
經反覆實驗測試，該第二閾值為2.1，如果前後兩張畫面中之特徵點的平均位移量(E motion )超過2.1的話，利用光流法以及前一張畫面的深度圖來推估後一張畫面的深度圖，其錯誤率就會偏高，所以如果前後兩個畫面之特徵點的平均位移量(E motion )超過該第二閾值的話，便應該重新利用該預定的演算法，以較為精準的方式來計算深度圖。經過實測，透過步驟S14的位移量比對所過濾出來必須要重新計算深度圖的畫面大約占整體影片的25%，再加上透過步驟S12的顏色比對所過濾出20%必須重新計算的畫面，必須重新計算的畫面大約占整體影片的45%，也就是說大約55%的畫面可以由後續的步驟S16利用光流法來做深度值計算的加速，也因此計算整體影片的深度資訊的速度將可大幅地增加。
若是通過了步驟S12的顏色比對及步驟S14的位移量比對，表示前後兩張畫面的相似度頗高，便可利用光流法及前一張畫面的深度圖來推估後一張畫面的深度圖，否則須以預定的演算法來重新計算深度圖。配合參考第4圖及第5圖，以下詳細描述第1圖步驟S16中如何利用光流法來推估深度圖。
步驟S42：首先，使用步驟S14在前一張畫面(I t -1 (x ,y ))所選取的該等特徵點，如第5圖中所示，每兩個像素取一個特徵點，利用光流法計算出該等特徵點在後一張畫面(I t (x ,y ))的位置以及每個特徵點的特徵向量(如第5圖所示的實線箭頭)。
步驟S44：第5圖中，前一張畫面有些像素沒有被選為特徵點，但仍可利用內插法得出這些像素在後一張畫面的位置。利用包圍在他四周之特徵點的特徵向量，即可內插得出被包圍之像素的特徵向量(如第5圖所示的虛線箭頭)，並計算出該被包圍之像素在後一張畫面的位置。前述內插法可採用雙線性內插法(bilinear interpolation)。
步驟S46：將前一張畫面中該等特徵點的深度值，填入由步驟S42得出的該等特徵點在後一張畫面的位置；並且將前一張畫面中被該等特徵點包圍之像素的深度值，填入由步驟S44得出的該被包圍之像素在後一張畫面的位置。因此，根據前一張畫面的深度圖以及前一張畫面中每個特徵點及該被包圍之像素在後一張畫面的位置，可對應得出後一張畫面的深度圖。
在前述方式中，由於利用光流法及前一張畫面的深度圖來推估後一張畫面的深度圖，其計算量會比利用特定演算法重新計算深度圖來得小，因此應用本發明來計算立體影片的深度圖可以減少運算時間，加快立體影片的深度圖計算速度。
此外，利用光流法及前一張畫面的深度圖所推估出來的深度圖無法避免的勢必會產生破洞，此時可以找出後一張畫面中對應該破洞的像素，參考其周圍鄰近像素(如周圍3×3範圍內的像素)中顏色最相近的像素，取該顏色最相近之像素的深度值作為對應該破洞之像素的深度值。
綜上所述，雖然本發明已用較佳實施例揭露如上，然其並非用以限定本發明，本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
S12~S18．．．步驟
S22~S28．．．步驟
S32~S38．．．步驟
S42~S46．．．步驟
第1圖顯示本發明之產生立體影片之深度圖的方法的流程示意圖。
第2圖顯示本發明中決定前後兩畫面中像素之平均顏色差異量的閾值的流程示意圖。
第3圖顯示本發明中決定前後兩畫面中特徵點之平均位移量的閾值的流程示意圖。
第4圖顯示本發明中利用光流法及前一張畫面之深度圖推估後一張畫面之深度圖的流程示意圖。
第5圖顯示本發明利用內插法得出被包圍之像素的特徵向量的說明示意圖。
S12．．．步驟
S14．．．步驟
S16．．．步驟
S18．．．步驟

Claims (9)

  1. 一種產生立體影片之深度圖的方法，該立體影片係為由前後兩相鄰的一第一畫面及一第二畫面構成的影像串流，該方法包含步驟：利用一預定的演算法計算出相應於該第一畫面的一第一深度圖；計算該第一畫面與該第二畫面中像素的平均顏色差異量；從該第一畫面選取複數個特徵點，找出該等特徵點在該第二畫面之位置，並計算該等特徵點在該第一畫面與該第二畫面中的平均位移量；以及當該平均顏色差異量小於一第一閾值，且當該平均位移量小於一第二閾值，則根據該第一深度圖以及於該第一畫面所取之特徵點在該第二畫面的位置，來得出相應於該第二畫面的一第二深度圖，否則利用該預定的演算法來計算出該第二深度圖，其中根據該第一畫面之該深度圖以推估得出該第二畫面的該第二深度圖係包含下列步驟：利用從該第一畫面所選取該等特徵點，計算出該等特徵點在該第二畫面的位置以及該等特徵點的特徵向量；使用內插法，將該等特徵點的特徵向量，內插得出被該等特徵點包圍之像素的特徵向量，以得出被包圍之該像素在該第二畫面的位置；以及根據該第一畫面的該第一深度圖以及該第一畫面中該等特徵點及被包圍之該像素在該第二畫面的位置，對應得出該第二畫面的該第二深度圖。
  2. 如申請專利範圍第1項所述之產生立體影片之深度圖的方法，其中係先判斷該平均顏色差異量是否小於該第一閾值，再判斷該平均位移量是否小於該第二閾值。
  3. 如申請專利範圍第1項所述之產生立體影片之深度圖的方法，其中該平均位移量係利用光流法(optical flow)計算而得。
  4. 如申請專利範圍第3項所述之產生立體影片之深度圖的方法，其中該光流法的計算公式如下： 其中E motion 係代表該等特徵點在該第一畫面與該第二畫面中的平均位移量，dist (p )為每個特徵點對應之特徵向量(p )的長度，N feature 為該等特徵向量的個數。
  5. 如申請專利範圍第1項所述之產生立體影片之深度圖的方法，其中該第一閾值係藉由下列步驟來決定：選定一畫面，並根據該預定的演算法計算出該畫面的深度圖；利用光流法以及前一張畫面的深度圖，一一推估後續畫面的深度圖，並找出首先出現錯誤之深度圖的畫面；以及計算該選定的畫面及前述出現錯誤的畫面中像素的平均顏色差異量，作為該第一閾值。
  6. 如申請專利範圍第1項所述之產生立體影片之深度圖的方法，其中該第二閾值係藉由下列步驟來決定：選定一畫面，並根據該預定的演算法計算出該畫面的深度圖；利用光流法以及前一張畫面的深度圖，一一推估後續畫面的深度圖，並找出首先出現錯誤之深度圖的畫面；以及從該選定的畫面中選取複數個特徵點，找出該等特徵點在前述出現錯 誤之畫面的位置，並計算該等特徵點在該選定的畫面與前述出現錯誤的畫面中的平均位移量，作為該第二閾值。
  7. 如申請專利範圍第1項所述之產生立體影片之深度圖的方法，其中該內插法係為一雙線性內插法(bilinear interpolation)。
  8. 如申請專利範圍第1項所述之產生立體影片之深度圖的方法，其中當該第二畫面的該第二深度圖具有破洞，則找出該第二畫面中對應該破洞的像素，參考其周圍鄰近像素中顏色最相近的像素，取該顏色最相近之像素的深度值作為對應該破洞之像素的深度值。
  9. 如申請專利範圍第1項所述之產生立體影片之深度圖的方法，其中該立體影片為一雙視角影片。
TW100112823A 2011-04-13 2011-04-13 產生立體影片之深度圖的方法 TWI475515B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW100112823A TWI475515B (zh) 2011-04-13 2011-04-13 產生立體影片之深度圖的方法
US13/176,767 US20120262543A1 (en) 2011-04-13 2011-07-06 Method for generating disparity map of stereo video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100112823A TWI475515B (zh) 2011-04-13 2011-04-13 產生立體影片之深度圖的方法

Publications (2)

Publication Number Publication Date
TW201241789A TW201241789A (en) 2012-10-16
TWI475515B true TWI475515B (zh) 2015-03-01

Family

ID=47006122

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100112823A TWI475515B (zh) 2011-04-13 2011-04-13 產生立體影片之深度圖的方法

Country Status (2)

Country Link
US (1) US20120262543A1 (zh)
TW (1) TWI475515B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104105970A (zh) * 2012-02-16 2014-10-15 株式会社日立高新技术 自动分析装置的调整***以及自动分析装置的调整方法
US10008002B2 (en) * 2012-02-28 2018-06-26 NXP Canada, Inc. Single-camera distance estimation
US9076249B2 (en) * 2012-05-31 2015-07-07 Industrial Technology Research Institute Hole filling method for multi-view disparity maps
US9070222B2 (en) 2012-08-01 2015-06-30 Dreamworks Animation Llc Techniques for automating stereo settings for stereoscopic computer animation
EP2722816A3 (en) * 2012-10-18 2017-04-19 Thomson Licensing Spatio-temporal confidence maps
CN102920482B (zh) * 2012-11-26 2014-12-10 重庆理工大学 多频率轮流发射实时超声弹性成像方法
TWI526045B (zh) 2012-12-10 2016-03-11 聯詠科技股份有限公司 立體影像的調整方法與影像處理裝置
CN103888744B (zh) * 2012-12-21 2016-08-17 联咏科技股份有限公司 立体影像的调整方法与影像处理装置
JP2015146526A (ja) * 2014-02-03 2015-08-13 ソニー株式会社 画像処理装置および方法、並びにプログラム
US9756312B2 (en) 2014-05-01 2017-09-05 Ecole polytechnique fédérale de Lausanne (EPFL) Hardware-oriented dynamically adaptive disparity estimation algorithm and its real-time hardware
KR102281184B1 (ko) * 2014-11-20 2021-07-23 삼성전자주식회사 영상 보정 방법 및 장치
CN104869387B (zh) * 2015-04-19 2017-01-11 中国传媒大学 基于光流法的双目图像最大视差获取方法
US9807339B2 (en) * 2015-06-12 2017-10-31 Sharp Laboratories Of America, Inc. Frame rate conversion system
TWI571099B (zh) * 2015-10-16 2017-02-11 財團法人工業技術研究院 深度估測裝置及方法
CN105488813B (zh) * 2015-11-25 2018-05-15 天津远翥科技有限公司 一种自适应金字塔变换方法及***
CN108234988A (zh) * 2017-12-28 2018-06-29 努比亚技术有限公司 视差图生成方法、装置和计算机可读存储介质
US10803606B2 (en) * 2018-07-19 2020-10-13 National Taiwan University Temporally consistent belief propagation system and method
CN109819229B (zh) * 2019-01-22 2021-02-26 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111666960B (zh) * 2019-03-06 2024-01-19 南京地平线机器人技术有限公司 图像识别方法、装置、电子设备及可读存储介质
CN114724044A (zh) * 2022-03-03 2022-07-08 北京航空航天大学 一种基于transformer的抗干扰星上挠性附件耦合力矩辨识器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271578A (zh) * 2008-04-10 2008-09-24 清华大学 一种平面视频转立体视频技术中的深度序列生成方法
CN101588445A (zh) * 2009-06-09 2009-11-25 宁波大学 一种基于深度的视频感兴趣区域提取方法
CN101635859A (zh) * 2009-08-21 2010-01-27 清华大学 一种实现平面视频转立体视频的方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6487304B1 (en) * 1999-06-16 2002-11-26 Microsoft Corporation Multi-view approach to motion and stereo
CN106131531B (zh) * 2010-03-31 2019-04-26 汤姆森特许公司 视频处理方法和装置
CA2794951A1 (en) * 2010-04-01 2011-10-06 Thomson Licensing Disparity value indications
US20120170800A1 (en) * 2010-12-30 2012-07-05 Ydreams - Informatica, S.A. Systems and methods for continuous physics simulation from discrete video acquisition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271578A (zh) * 2008-04-10 2008-09-24 清华大学 一种平面视频转立体视频技术中的深度序列生成方法
CN101588445A (zh) * 2009-06-09 2009-11-25 宁波大学 一种基于深度的视频感兴趣区域提取方法
CN101635859A (zh) * 2009-08-21 2010-01-27 清华大学 一种实现平面视频转立体视频的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
行政院國家科學委員會專題研究計畫，不需立體眼鏡之最新三維立體顯示技術之開發，95年10月24日 *

Also Published As

Publication number Publication date
US20120262543A1 (en) 2012-10-18
TW201241789A (en) 2012-10-16

Similar Documents

Publication Publication Date Title
TWI475515B (zh) 產生立體影片之深度圖的方法
JP5153940B2 (ja) 動き補償を用いた画像の奥行き抽出のためのシステムおよび方法
JP6016061B2 (ja) 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム
KR101518531B1 (ko) 스테레오스코픽 모션 픽쳐들의 잠재적인 아이스트레인을 측정하기 위한 시스템 및 방법
Zhuang et al. Rolling-shutter-aware differential sfm and image rectification
EP2291825B1 (en) System and method for depth extraction of images with forward and backward depth prediction
US9299152B2 (en) Systems and methods for image depth map generation
US20160065948A1 (en) Methods, systems, and computer program products for creating three-dimensional video sequences
US20140327736A1 (en) External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US20130063571A1 (en) Image processing apparatus and image processing method
KR20110049039A (ko) 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
WO2013158784A1 (en) Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects
US20100302234A1 (en) Method of establishing dof data of 3d image and system thereof
JP5533529B2 (ja) 画像処理装置及び画像処理システム
US20110080463A1 (en) Image processing apparatus, method, and recording medium
Berdnikov et al. Real-time depth map occlusion filling and scene background restoration for projected-pattern-based depth cameras
KR20120012874A (ko) 외삽 뷰 생성을 위한 장치 및 방법
CN102307307B (zh) 产生立体影片深度图的方法
JP5692051B2 (ja) 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム
JP5931062B2 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
JP5127973B1 (ja) 映像処理装置、映像処理方法および映像表示装置
US9380285B2 (en) Stereo image processing method, stereo image processing device and display device
JP4892105B1 (ja) 映像処理装置、映像処理方法および映像表示装置
JP6595878B2 (ja) 要素画像群生成装置及びそのプログラム
Sourimant A simple and efficient way to compute depth maps for multi-view videos

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees