TWI410120B - 三維成像系統及方法 - Google Patents

三維成像系統及方法 Download PDF

Info

Publication number
TWI410120B
TWI410120B TW99131108A TW99131108A TWI410120B TW I410120 B TWI410120 B TW I410120B TW 99131108 A TW99131108 A TW 99131108A TW 99131108 A TW99131108 A TW 99131108A TW I410120 B TWI410120 B TW I410120B
Authority
TW
Taiwan
Prior art keywords
frame
depth
memc
reference frame
image
Prior art date
Application number
TW99131108A
Other languages
English (en)
Other versions
TW201212628A (en
Inventor
Ying Ru Chen
Original Assignee
Himax Tech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Himax Tech Ltd filed Critical Himax Tech Ltd
Priority to TW99131108A priority Critical patent/TWI410120B/zh
Publication of TW201212628A publication Critical patent/TW201212628A/zh
Application granted granted Critical
Publication of TWI410120B publication Critical patent/TWI410120B/zh

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Description

三維成像系統及方法
本發明係有關數位影像處理，特別是關於一種三維成像系統及方法。
當三維物體藉由照相機或攝影機而投影映射至二維影像平面時，會失去許多的訊息，特別是三維深度訊息。三維成像系統可藉由錄製三維視覺訊息或創造深度幻覺而傳達三維訊息給觀者。雖然三維成像技術已有一世紀以上的歷史，然而由於近來高解析度及低價格顯示器（例如液晶顯示器）的發展，使得三維顯示器變得更為實際及普遍。
傳統三維成像系統使用二維轉三維（2D-to-3D）技術並根據原始二維影像以創造深度幻覺。然而，二維影像當中的運動物件及靜止物件對於二維轉三維的效能確有不同的影響。不過，傳統三維成像系統並無法針對此種差異性而作不同的處置。因此，亟需提出一種新穎的可適性三維成像系統，其可針對影像的特性以執行二維轉三維的成像。
鑑於上述，本發明實施例的目的之一在於提出一種三維成像系統及方法，以適應於影像的不同特性。
根據本發明實施例，三維成像系統包含運動估計/運動補償（MEMC）單元、深度控制器、場景模式深度產生器及深度影像成像（DIBR）單元。其中，MEMC單元對一參考圖框及一目前圖框執行運動估計（ME）及運動補償（MC），因而產生一MEMC圖框及運動向量（MV）訊息，其中該參考圖框顯示為第一3D影像，且MEMC圖框係由參考圖框及目前圖框內插而得。深度控制器根據MV訊息用以將參考圖框分割為多個區域，因而產生深度訊息。場景模式深度產生器根據參考圖框及深度訊息以產生一深度圖。DIBR單元根據參考圖框及深度圖以產生一場景模式圖框，作為第二3D影像。
第一圖顯示本發明實施例之三維成像系統1的方塊圖。在本實施例中，成像系統1可執行於以下三種模式之一：運動估計/運動補償（motion estimation/motion compensation, MEMC）模式、場景（scene）模式及混合（hybrid）模式。模式可由使用者下一命令給模式決定單元10來進行選擇。
第二圖顯示本發明實施例之第一模式（亦即，MEMC模式）的流程圖。MEMC單元11（第一圖）接收參考圖框（例如，前一圖框）及目前圖框（步驟21），並對其執行運動估計（ME）及運動補償（MC）。藉此，於步驟22，MEMC單元11對參考圖框及目前圖框進行內插因而產生MEMC圖框（或內插圖框）。MEMC單元11可由傳統圖框速率轉換（frame rate up-conversion, FRUC）技術來實施。第三A圖例示一圖框序列（例如，Ft 、Ft+1 及Ft+2 ），其內插有MEMC圖框（例如，Ft+0.5 及Ft+1.5 ）。接下來，以三維顯示器將參考圖框和MEMC圖框交替或同時顯示為左（L）影像及右（R）影像（步驟23）。換句話說，對於配戴快門（shutter）眼鏡的三維顯示器而言，每一參考圖框係交替一相應MEMC圖框。對於配戴偏光、紅藍眼鏡或不戴眼鏡的三維顯示器而言，每一參考圖框係結合相應的MEMC圖框。第三B圖例示饋至三維顯示器的右影像及左影像。雖然在這個例子中，參考圖框係顯示為左影像，而MEMC圖框則顯示為右影像，然而，也可以是相反的情形。一般來說，參考圖框係顯示為第一3D影像（例如，左影像），而MEMC圖框則顯示為第二3D影像（例如右影像）。右影像藉由模式決定單元10而饋至三維顯示器。
第四圖顯示本發明實施例之第二模式（亦即，場景模式）的流程圖。深度控制器13（第一圖）自MEMC單元11接收運動向量（motion vector, MV）分佈訊息（簡稱”MV訊息”）（步驟41）。在本實施例中，模式決定單元10根據MV訊息而產生控制信號，用以開啟或關閉深度控制器13。例如，當MV訊息顯示目前圖框相對於參考圖框為靜止時（例如所有MV皆大致為0），則關閉深度控制器13。被開啟的深度控制器13根據接收的MV訊息而將參考圖框分割為多個區域（例如前景物件及背景），因而產生一深度訊息（步驟42）。例如，具非零MV的區域可為前景物件，而具零MV的區域可為背景。其中，背景所指定的深度從底部至頂部呈單調增加，而前景物件則被指定相同深度；相較於背景，該前景物件的深度較近於觀者。深度控制器13所產生的深度訊息輔助場景模式深度產生器14，針對參考圖框以獲得可靠/正確的深度圖（depth map）。
接著，於步驟43，場景模式深度產生器14（第一圖）根據參考圖框及來自深度控制器13的深度訊息，以產生深度圖。參考圖框及所產生的深度圖被饋至深度影像成像（depth-image-based rendering, DIBR）單元15，其根據參考圖框及深度圖以產生（或合成）場景模式圖框，作為右影像（步驟44）。DIBR單元15之實施可使用傳統技術，例如Christoph Fehn所揭露之”A 3D-TV Approach Using Depth-Image-Based Rendering (DIBR)”。如該文獻所揭露，DIBR係執行以下二步驟：首先，使用相關的深度資料，將原始影像點再投影（re-project）至三維空間（亦即，二維轉三維）；接著，分別依所需視角位置，將三維空間點投影至影像平面（亦即，三維轉二維）。DIBR單元15之實施可使用硬體、軟體或其組合。最後，參考圖框顯示為第一3D影像（例如左影像），而場景模式圖框則顯示為第二3D影像（例如右影像）。其中，右影像經由模式決定單元10而饋至三維顯示器。
第五圖顯示本發明實施例之第三模式（亦即，混合模式）的流程圖。在第三模式中，模式決定單元10根據MV訊息以決定目前圖框和參考圖框之間的關係（步驟51）。例如，當MV訊息顯示目前圖框和參考圖框之間的關係為靜止的，具有小或零MV，則模式決定單元10藉由控制信號以關閉深度控制器13，因而產生場景模式圖框，再將該場景模式圖框經由模式決定單元10而輸出為右影像（步驟52）。相反的，當MV訊息顯示目前圖框和參考圖框之間的關係為運動的，具有非零或大於預設臨界值的MV，則模式決定單元10藉由控制信號以關閉深度控制器13，再將MEMC圖框經由模式決定單元10而輸出為左影像（步驟53）。
根據上述的三維成像系統1，每一模式及其相關方塊可單獨實施。例如，實現第一模式的三維成像系統時，僅需使用MEMC單元11以產生MEMC圖框作為右影像。又例如，實現第二模式的三維成像系統時，僅需使用深度控制器13、場景模式深度產生器14及DIBR單元15以產生場景模式圖框作為右影像。
以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在述之申請專利範圍內。
1‧‧‧成像系統
10‧‧‧模式決定單元
11‧‧‧MEMC單元
13‧‧‧深度控制器
14‧‧‧場景模式深度產生器
15‧‧‧DIBR單元
21-23‧‧‧(第一模式)步驟
41-44‧‧‧(第二模式)步驟
51-53‧‧‧(笰三模式)步驟
第一圖顯示本發明實施例之三維成像系統的方塊圖。
第二圖顯示本發明實施例之第一模式（或MEMC模式）的流程圖。
第三A圖例示第一模式的圖框序列，其內插有MEMC圖框。
第三B圖例示饋至三維顯示器的右影像及左影像。
第四圖顯示本發明實施例之第二模式（或場景模式）的流程圖。
第五圖顯示本發明實施例之第三模式（或混合模式）的流程圖。
1‧‧‧成像系統
10‧‧‧模式決定單元
11‧‧‧MEMC單元
13‧‧‧深度控制器
14‧‧‧場景模式深度產生器
15‧‧‧DIBR單元

Claims (12)

  1. 一種三維（3D）成像系統，包含：
    　　 一運動估計/運動補償（MEMC）單元，用以對一參考圖框及一目前圖框執行運動估計（ME）及運動補償（MC），因而產生一MEMC圖框及運動向量（MV）訊息，其中該參考圖框顯示為一第一3D影像，該MEMC圖框係由該參考圖框及該目前圖框內插而得；
    　　 一深度控制器，其根據該MV訊息用以將該參考圖框分割為多個區域，因而產生深度訊息；
    　　 一場景模式深度產生器，其根據該參考圖框及該深度訊息以產生一深度圖；及
    　　 一深度影像成像（DIBR）單元，其根據該參考圖框及該深度圖以產生一場景模式圖框，作為一第二3D影像。
  2. 如申請專利範圍第1項所述之三維成像系統，更包含一模式決定單元，其根據該MV訊息以開啟或關閉該深度控制器。
  3. 如申請專利範圍第2項所述之三維成像系統，當該MV訊息顯示該目前圖框和該參考圖框之間的關係為靜止時，則該模式決定單元關閉該深度控制器；否則，該模式決定單元開啟該深度控制器。
  4. 如申請專利範圍第2項所述之三維成像系統，其中上述之模式決定單元輸出該MEMC圖框及該場景模式圖框兩者之一，作為該第二3D影像。
  5. 如申請專利範圍第4項所述之三維成像系統，其中上述之模式決定單元根據一命令，以輸出該MEMC圖框及該場景模式圖框兩者之一。
  6. 如申請專利範圍第4項所述之三維成像系統，當該MV訊息顯示該目前圖框和該參考圖框之間的關係為靜止時，則該模式決定單元輸出該場景模式圖框，作為該第二3D影像；否則，該模式決定單元輸出該MEMC圖框，作為該第二3D影像。
  7. 一種三維成像方法，包含：
    　　 對一參考圖框及一目前圖框執行運動估計（ME）及運動補償（MC），因而產生一MEMC圖框及運動向量（MV）訊息，其中該參考圖框顯示為一第一3D影像，該MEMC圖框係由該參考圖框及該目前圖框內插而得；
    　　 根據該MV訊息用以將該參考圖框分割為多個區域，因而產生深度訊息；
    　　 根據該參考圖框及該深度訊息以產生一深度圖；及
    　　 使用深度影像成像（DIBR）方法，根據該參考圖框及該深度圖以產生一場景模式圖框，作為一第二3D影像。
  8. 如申請專利範圍第7項所述之三維成像方法，更包含一步驟，其根據該MV訊息以開啟或關閉該參考圖框之分割步驟。
  9. 如申請專利範圍第8項所述之三維成像方法，當該MV訊息顯示該目前圖框和該參考圖框之間的關係為靜止時，則執行該關閉步驟；否則，執行該開啟步驟。
  10. 如申請專利範圍第8項所述之三維成像方法，其中該MEMC圖框及該場景模式圖框兩者之一被輸出作為該第二3D影像。
  11. 如申請專利範圍第10項所述之三維成像方法，其中該MEMC圖框及該場景模式圖框根據一命令以輸出兩者之一。
  12. 如申請專利範圍第10項所述之三維成像方法，當該MV訊息顯示該目前圖框和該參考圖框之間的關係為靜止時，則輸出該場景模式圖框以作為該第二3D影像；否則，輸出該MEMC圖框以作為該第二3D影像。
TW99131108A 2010-09-14 2010-09-14 三維成像系統及方法 TWI410120B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW99131108A TWI410120B (zh) 2010-09-14 2010-09-14 三維成像系統及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW99131108A TWI410120B (zh) 2010-09-14 2010-09-14 三維成像系統及方法

Publications (2)

Publication Number Publication Date
TW201212628A TW201212628A (en) 2012-03-16
TWI410120B true TWI410120B (zh) 2013-09-21

Family

ID=46764623

Family Applications (1)

Application Number Title Priority Date Filing Date
TW99131108A TWI410120B (zh) 2010-09-14 2010-09-14 三維成像系統及方法

Country Status (1)

Country Link
TW (1) TWI410120B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9013549B2 (en) * 2012-05-24 2015-04-21 Silicon Integrated Systems Corp. Depth map generation for conversion of two-dimensional image data into three-dimensional image data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US569439A (en) * 1896-10-13 Lueders
US5559557A (en) * 1992-09-28 1996-09-24 Sony Corporation Motion video coding with adaptive precision for DC component coefficient quantization and variable length coding
TW201020912A (en) * 2008-10-18 2010-06-01 Micron Technology Inc Indirect register access method and system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US569439A (en) * 1896-10-13 Lueders
US5559557A (en) * 1992-09-28 1996-09-24 Sony Corporation Motion video coding with adaptive precision for DC component coefficient quantization and variable length coding
TW201020912A (en) * 2008-10-18 2010-06-01 Micron Technology Inc Indirect register access method and system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Christoph Fehn, "A 3D-TV Approach Using Depth-Image-Based Rendering (DIBR)", pp.1529-1533, Volume 2, Conference Record of The Thirty-Seventh Asilomar Conference on Signals, Systems and Computers. 9-12 November, Year of 2003. *

Also Published As

Publication number Publication date
TW201212628A (en) 2012-03-16

Similar Documents

Publication Publication Date Title
JP6633694B2 (ja) 多視点信号コーデック
US8610707B2 (en) Three-dimensional imaging system and method
JP5567578B2 (ja) 入力された三次元ビデオ信号を処理するための方法及びシステム
JP5970609B2 (ja) ３ｄビデオ符号化における統一された視差ベクトル導出の方法と装置
KR101468267B1 (ko) 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출
JP5763184B2 (ja) ３次元画像に対する視差の算出
WO2015161541A1 (zh) 一种针对多视点裸眼3d显示的并行同步缩放引擎及方法
Po et al. Automatic 2D-to-3D video conversion technique based on depth-from-motion and color segmentation
US8803947B2 (en) Apparatus and method for generating extrapolated view
CA2909550A1 (en) Method of disparity derived depth coding in 3d video coding
US20120044241A1 (en) Three-dimensional on-screen display imaging system and method
US10033983B2 (en) Signaling warp maps using a high efficiency video coding (HEVC) extension for 3D video coding
JP6033625B2 (ja) 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体
US8976171B2 (en) Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program
JP2006186795A (ja) 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム
WO2012098974A1 (ja) 画像処理装置および方法、画像表示装置および方法
TWI410120B (zh) 三維成像系統及方法
JP4815004B2 (ja) 多視点画像符号化装置
JP5871113B2 (ja) 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム
JP5700998B2 (ja) 立体映像表示装置及びその制御方法
JP5977964B2 (ja) 多視点映像フレーム内挿装置、方法及びプログラム
JP4419139B2 (ja) 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム
JP2014132722A (ja) 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム
JP2005063300A (ja) 任意視点動画像の隠蔽領域補完方式
WO2012098972A1 (ja) 画像処理装置および方法、画像表示装置および方法