TWI497979B - 三維影像顯示裝置，方法及電腦可讀媒體 - Google Patents

三維影像顯示裝置，方法及電腦可讀媒體 Download PDF

Info

Publication number
TWI497979B
TWI497979B TW100132259A TW100132259A TWI497979B TW I497979 B TWI497979 B TW I497979B TW 100132259 A TW100132259 A TW 100132259A TW 100132259 A TW100132259 A TW 100132259A TW I497979 B TWI497979 B TW I497979B
Authority
TW
Taiwan
Prior art keywords
image
display device
light
dimensional image
pixels
Prior art date
Application number
TW100132259A
Other languages
English (en)
Other versions
TW201230775A (en
Inventor
Takuma Yamamoto
Yasunori Taguchi
Nobuyuki Matsumoto
Original Assignee
Toshiba Kk
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Kk filed Critical Toshiba Kk
Publication of TW201230775A publication Critical patent/TW201230775A/zh
Application granted granted Critical
Publication of TWI497979B publication Critical patent/TWI497979B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/38—Image reproducers using viewer tracking for tracking vertical translational head movements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Description

三維影像顯示裝置，方法及電腦可讀媒體
本文描述的實施例通常相關於三維影像顯示裝置、方法、及電腦可讀媒體。
最近已發展用於顯示可裸視之三維影像的裝置。一種此種裝置運用整合成像(II)設計，其容許影像以使得影像外觀依據觀看者之觀看點的改變而變化的方式觀看。在II顯示裝置中，將複數個此種光線控制元件，諸如控制光線之方向及分佈的鏡頭及障壁，設置在習知二維影像顯示器前端，以針對右及左眼產生不同影像並因此產生立體效果。
然而，II設計具有當從特定觀看點觀看影像時，可發生多種影像及模糊的缺點。此效果將稱為「多重模糊」。
實施例提供用於降低多重模糊影像的三維影像顯示裝置、方法、以及電腦可讀媒體。
根據一實施例，三維影像顯示裝置包括顯示單元及最佳基本影像產生單元。該顯示單元包括二維影像顯示設備，該二維影像顯示設備包含具有配置成矩陣之複數個像素的顯示表面、以及複數個光線控制元件，對應於該等像素依據作為顯示資料項之基本影像的位置設置在該二維影像顯示設備的該顯示表面上。光線控制元件控制來自像素的光線。最佳基本影像產生單元，藉由從係作為暫時基本影像的最初基本影像之已產生影像或輸入影像的至少二像素之值的加權和，以及基於指示來自該等光線控制元件之光線的方向及散射度的光線分佈計算之權重判定至少一像素的值，以產生最佳基本影像。該顯示單元顯示該最佳基本影像。
根據實施例，可提供用於降低多重模糊影像的三維影像顯示裝置、方法、以及電腦可讀媒體。
參考該等隨附圖式，現在將詳細地描述該等實施例的三維影像顯示裝置、方法、以及電腦可讀媒體。在該等實施例中，相似的參考數字指示相似元件、且將避免重複的解釋。
首先參考圖1至6，將提供多重模式影像發生原理的描述。
如上文提及的，將鏡頭陣列，作為用於傳送不同影像至右及左眼之光線控制元件102的陣列，設置在併入II設計之三維影像顯示裝置100中的二維影像顯示裝置101之前端。特別將使用僅水平地控制光線之透鏡光柵的設計稱為一維II(在下文中，稱為1D-II)設計。圖2圍圖1所示之區域103的放大圖。如圖2所示，從二維影像顯示裝置(諸如液晶顯示器或CRT顯示器)之像素發射的光線進入鏡頭201，於該處使用光線之受控制行進方向及分佈將光線輸出至顯示器的前表面。藉由雙眼視差的功效，到達觀看者眼睛的光線導致觀看者感覺到仿佛物件沿著顯示裝置的深度存在，如圖3所示。亦即，觀看者觀看到立體模型。圖2中的視差數字係指定給相對於鏡頭位於相同位置之像素的數字。例如，將預置參考點設定在鏡頭上，並將作為視差數字的序號指定給循序定位的像素。另外，將在下文中將視差數字的最大數字稱為視差數，將待照射在顯示表面上的顯示資料稱為基本影像，並將包含對應視差數字之像素的影像稱為塊狀影像(見圖4)。在圖4中以「A」至「F」指示的各範例包括包含具有視差數字(1)、(2)、以及(3)之三個像素202的單一基本影像。另外，在圖4中，各塊狀影像具有3之寬度及2之高度。
將提供到達在特定觀看點之觀看者的一眼之光的描述。為協助描述，將1D-II設計描述為範例。圖5顯示有一鏡頭201及三塊狀影像，且各塊狀影像的寬度及高度均為1(在此情形中為1像素)之情形的光線分佈。從一像素發射的光線進入該鏡頭並在受控方向上輸出。因為光線消散，如圖5所示地，在距該鏡頭特定距離處量測的強度分佈在特定範圍中。在圖5中，水平軸指示位置，且垂直軸指示強度。更具體地說，參考數字506指示像素501的光線分佈、參考數字505指示像素502的光線分佈、且參考數字504指示像素503的光線分佈。當觀看者從特定觀看點觀看此鏡頭時，到達彼等眼睛的光係依據光線分佈之像素值的混合(例如，指示混合色彩)。例如，當從位置507觀看鏡頭時到達眼睛之光係將假設在位置507的光線分佈之值508、509、以及510使用為個別權重而得到的像素501、502、以及503之值的加權和。
同樣在複數個鏡頭的情形中，當以一眼從特定觀看點觀看II三維影像顯示裝置時得到的觀看影像係當塊狀影像的像素與其在該觀看點之光線強度分佈重疊時得到的重疊影像。如上述，各塊狀影像對應於在適當位置的物件移位，以提供雙眼視差效果。因此，藉由重疊塊狀影像而得到的影像不可避免地具有多重模糊。例如，如圖6所示，若將各塊狀影像設定為藉由從不同位置拍攝相同物件的影像而得到之影像的組合，從特定觀看者觀看的觀看影像係從不同位置拍攝之影像的組合，且因此具有多重模糊。因為如此，光線分佈係依據觀看點而變化，從不同觀看點得到不同的觀看影像。
雖然在此實施例中，描述視差數為3的範例情形，可能將視差數設定為任意值。例如，可能將其設定為9。同樣在此情形中，可提供與上文相似的描述。
(第一實施例)
然後參考至圖7，將提供根據第一實施例之三維影像顯示裝置700的描述。圖7係描繪三維影像顯示裝置700的方塊圖。
第一實施例的三維影像顯示裝置700包含最佳基本影像產生單元701、以及顯示單元702。最佳基本影像產生單元701產生最佳基本影像。顯示單元702包括二維影像顯示裝置101及光線控制元件102。
最佳基本影像產生單元701接受最初基本影像751，並基於最初基本影像751產生最佳基本影像752。最初基本影像751係藉由揭示於，例如，JP-A 2004-212666(KOKAI)中之方法產生的基本影像。或者，最佳基本影像產生單元701可能基於，例如，在最初基本影像產生前製備的原始影像，產生最佳基本影像752。最佳基本影像產生單元701基於作為已產生或已接收之暫時基本影像的最初基本影像751之二或多個像素值的加權和及從該等光線分佈計算的權重判定至少一像素值，從而轉換最初基本影像751，使得無多種模糊發生在觀看影像中，以產生最佳基本影像752。
顯示單元702包含二維影像顯示裝置101及光線控制元件102。二維影像顯示裝置101具有以矩陣形式將複數個像素配置於其上的顯示表面，並將影像顯示在二維表面上。將光線控制元件102設置在二維影像顯示裝置顯示表面上，在對應於作為像素的顯示資料之基本影像的位置，並設計成控制從像素發射的光線。
參考圖7及8，將描述第一實施例之三維影像顯示裝置700的操作範例。圖8係在解釋第一實施例之三維影像顯示裝置700的操作範例上有用之流程圖。
在步驟S801，最佳基本影像產生單元701接受最初基本影像751，並基於最初基本影像產生最佳基本影像752。
在步驟S802，顯示單元702接收最佳基本影像752，從而針對觀看者顯示三維影像。
然後參考至圖9，將描述三維影像顯示裝置700的硬體組態。此硬體組態在第一實施例的三維影像顯示裝置700及根據稍後描述之其他實施例的三維影像顯示裝置之間共通。
三維影像顯示裝置700包含中央處理單元(CPU)901、顯示單元702、及記憶體單元902，彼等藉由匯流排903彼此連接。
CPU 901將，例如，包括在記憶體單元902中之隨機存取記憶體(RAM)中的預置資料使用為工作區，並依據預存在也包括在記憶體單元902中之唯讀記憶體(ROM)中的各種控制程式實施各種處理，從而完全地控制三維影像顯示裝置700之組件的操作。另外，CPU 901依據預存在記憶體單元902中的預置程式實現上文提及之最佳基本影像產生單元701的功能。
記憶體單元902包括磁性或光學可記錄的記錄媒體。記憶體單元902在記錄媒體上記錄已取得的影像資料，及/或外部資料，諸如，影像資料，經由通訊單元或介面(未圖示)的輸入。例如，記憶體單元，例如，在ROM中儲存與三維影像顯示裝置700之控制關聯的程式及各種設定資料，使得不能覆寫彼等。另外，RAM係，例如，SDRAM，且功能如同CPU 901的工作區且功能也如同，例如，緩衝器。
在上述第一實施例中，藉由加權和產生不在觀看影像中提供多重模糊的最佳基本影像752，從而抑制影像中的多重模糊。
(第二實施例)
現在參考至圖10，將提供根據第二實施例之三維影像顯示裝置1000的描述。圖10係描繪第二實施例之三維影像顯示裝置1000的方塊圖。第二實施例與第一實施例的不同在於最佳基本影像產生單元。
併入第二實施例中的最佳基本影像產生單元1001不僅接收最初基本影像751，也接收目標影像1052，並基於此等影像產生最佳基本影像752。目標影像1052係顯示在顯示單元上的影像，當觀看者從一觀看點以至少一眼觀看三維影像顯示裝置1000時預期觀看到其。
參考圖10及11，將描述第二實施例之三維影像顯示裝置1000的操作範例。圖11係在解釋第二實施例之三維影像顯示裝置1000的操作範例上有用之流程圖。
在步驟S1101，最佳基本影像產生單元1001接收最初基本影像751及目標影像1052，並基於此等影像產生最佳基本影像752。更具體地說，最佳基本影像產生單元1001取得包括在目標影像1052中之二或多個像素的加權和及從光線分佈計算的權重，以判定至少一像素值，從而轉換最初基本影像751，使得觀看影像如圖12所示地接近目標影像，並產生最佳基本影像752。
將期望由觀看者從任意設定之觀看點觀看的影像設定為目標影像。例如，若藉由從對應設定觀看點的位置拍攝待顯示在三維影像顯示裝置1000上之物件的影像而得到之視差影像係選自藉由從不同位置拍攝物件之影像而得到的複數個視差影像，並使用為該目標影像，不將多種模糊呈現給觀看者。因為用於設定目標影像的觀看點將目標影像限制在從觀看點觀看的觀看影像，在下文中將其稱為限制觀看點。另外，目標影像並不始終必需選自藉由從不同位置拍攝物件之影像而得到的複數個視差影像。或者，目標影像可能包括與物件之影像完全不同的影像。在此情形中，最佳基本影像產生單元必須接收目標影像。換言之，若目標影像包括與最初基本影像完全不同的影像，可在第二實施例之三維影像顯示裝置1000上觀看的影像不能在第一實施例之三維影像顯示裝置700上觀看。相反地，若將第二實施例之三維影像顯示裝置1000上的目標影像包括在最初基本影像中，也可在第一實施例的三維影像顯示裝置700上觀看。
將描述用於計算權重及用於傳輸最初基本影像的方法範例。
為利於理解，將提供圖13所示之情形的描述，其中使用一鏡頭201、一限制觀看點(u1 )、以及三塊狀影像，且各塊狀影像具有1之寬度及1之高度。此處假設將顯示在二維影像顯示裝置上的三個塊狀影像(在此情形中，彼等各者均僅以一像素形成)的亮度分別設定為x1 、x2 、以及x3 ，並假設將指示從關聯於各觀看點位置u之像素i(i=1、2、3)發射的光線之強度分佈的函數，亦即，指示關聯於在位置u的像素i(i=1、2、3)之光線分佈的函數，分別設定為a1 (u)、a2 (u)、以及a3 (u)。從觀看點u1 觀看之觀看影像係由單一像素形成，且該單一像素的亮度y(u1 )係由下列運算式(1)給定：
從此運算式，理解為容許從觀看點u1 觀看到影像y(u1 )或接近其之影像，應將藉由下列運算式(2)給定之將能量函數最小化的亮度x1 、x2 、以及x3 設定為塊狀影像的亮度。亦即，假設y(u1 )、a1 (u)、a2 (u)、以及a3 (u)係已知值，計算將能量函數最小化的x1 、x2 、以及x3 。
藉由以下運算式(3)給定藉由將上述範例廣義化而得到的能量函數：
E =∥AX-Y ∥2 　(3)
其中X係對應於得到之基本影像的像素量之向量、Y係將從一或多個限制觀看點得到的目標影像之像素值包括為成份的向量、且A係由從限制觀看點偵測的光線分佈之值形成的矩陣。
藉由下列運算式(4)給定將上文提及之能量函數最小化的最佳基本影像752：
此運算式係使用，例如，藉由下列運算式(5)界定的Moore及Penrose廣義反矩陣而得到：
其中係Moore及Penrose廣義反矩陣、I係單位矩陣、且Z係具有與X相同尺寸的任何向量。若限制觀看點的數量少於視差量，將包含未定問題。為獨特地判定該解，必需設定Z的值。在下列描述中，以Z0 表非判定為Z的值。例如，為防止當從限制觀看點以外的任何觀看點觀看時得到的影像品質退化，可能將最初基本影像751使用為Z0 。
另外，若限制觀看點的數量大於視差量(其包含過定問題)，以下列運算式(6)表示用於將由運算式(3)給定的能量函數最小化之由運算式(4)給定的最佳基本影像。在此情形中，最佳基本影像產生單元1001不接收最初基本影像751並僅接收目標影像1052。反矩陣可事先計算並儲存為最佳基本影像產生單元1001中的表格。未針對此情形呈現方塊圖，但圖10中之無最初基本影像751的情形對應於其。
因為矩陣A對三維影像顯示裝置1000之光線控制元件並對用於設定目標影像的限制觀看點係獨特的，若限制觀看點係預定的，廣義反矩陣可事先計算。亦即，若限制觀看點係預定的，可事先將廣義反矩陣儲存為三維影像顯示裝置1000中的表格。三維影像顯示裝置1000將廣義反矩陣的表格儲存在，例如，ROM 904中。另外，當目標影像Y可藉由Z0 的線性轉換表示時，藉由下列運算式(7)給定Y：
Y =TZ 0 　(7)
其中T係用於將Z0 轉換為Y的矩陣。若將運算式(7)代入運算式(5)，且若以Z0 取代Z，可得到下列運算式(8)：
其中H由下列運算式給定：
矩陣H係上文提及之權重之群組的範例。可用表格形式將該等權重儲存在最佳基本影像產生單元1001中。例如，包括在該表格中的值可能在該裝置的製造期間決定。在II設計中，上述濾波器可針對對應於與一鏡頭對應之視差量的各像素群組設置。例如，在圖13所示之1D-II設計的情形中，Z0 係將配置成線之像素值x1 、x2 、以及x3 包括為成份的向量、X係三維向量、且H係(3,3)矩陣。因此，可使用用於Z0 的三階濾波器計算的各元素，亦即，最佳基本影像產生單元1001中的各像素。若視差量係上文提及之3以外的值(例如，9)，權重可用與上述相同的方式計算。
另外，可使用迭代計算，諸如，最陡下降法或共軛梯度法，計算由運算式(4)給定的最佳基本影像752。又，當使用迭代計算時，此計算可藉由與運算式(8)相似的算術運算表示。例如，當將最大下降法使用為迭代計算法時，藉由下列運算式(9)給定第(t+1)次的迭代處理：
X t + 1 =X t - ε A T (AX t -Y) 　(9)
其中ε係常數。此時，若Y可藉由Xt 的線性轉換表示，將其給定為
其中Tt '係用於將Xt 轉換為Y的矩陣。若將運算式(10)代入運算式(9)中，得到下列運算式(11)：
其中Ht '由下列運算式給定：
在將迭代處理迭代n次的情形中，將運算式(4)的左側給定為
其中可將最初基本影像751使用為X0 ，以避免影像品質從限制觀看點以外的觀看點退化。
(修改)能量函數的修改
作為上文提及的能量函數，可能使用藉由下列運算式(13)給定之加入正則化項的能量函數：
E =∥AX-Y ∥2 +α∥RX ∥2 +β∥X-Z ∥2 　(13)
其中R係代表微分的矩陣、α及β係常數、且Z係與X尺寸相同的向量。例如，為避免影像品質從限制觀看點以外的觀看點退化，可將最初基本影像751使用為Z。可使用藉由下列運算式(14)界定之Moore及Penrose廣義反矩陣得到用於將藉由運算式(13)給定的能量函數最小化之運算式(4)的左側：
另外，也可藉由使用下列能量函數(15)並將迭代計算，諸如，最陡下降法或共軛梯度法，施用至此能量函數以得到運算式(4)的左側：
E =∥AX-Y ∥2 +α∥RX ∥2 　(15)
例如，當將最大下降法使用為迭代計算法時，藉由下列運算式(16)給定第(t+1)次的迭代處理：
X t + 1 =X t -ε {A T (AX t -Y )+αR T RX t }　(16)
其中ε係常數。此時，若Y可藉由Xt 的線性轉換表示，藉由下列運算式(17)將其給定為：
其中Tt '係用於將Xt 轉換為Y的矩陣。若將運算式(17)代入運算式(16)中，得到下列運算式(18)：
其中將Ht "給定為
在將迭代處理迭代n次的情形中，將運算式(4)的左側給定為
其中可將最初基本影像751使用為X0 ，以避免影像品質從限制觀看點以外的觀看點退化。
須注意可能使用單一限制觀看點或複數個觀看點，且即使限制觀看點的數量改變，處理量也不改變，因為用於計算的矩陣尺寸未改變。
因此，甚至在使用藉由運算式(13)表示的此種修改能量函數時，可降低多重模糊，因為將免於多重模糊的影像使用為目標影像，並藉由加權和產生最佳基本影像752，使得觀看影像將與目標影像重合。另外，因為未將黑像素***基本影像中，觀看影像的亮度未減少。再者，藉由正則化項之效果的功效，防止不連續性發生在如運算式(4)之左側的最佳基本影像中，從而致能自然最佳基本影像的產生。
在上述第二實施例中，將免於多重模糊的影像使用為目標影像，並藉由加權和產生最佳基本影像752，使得觀看影像將與目標影像重合，從而減少多重模糊。另外，因為目標影像可任意地設定，可任意地設計從限制觀看點觀看的影像。
(第三實施例)
然後參考至圖14，將提供根據第三實施例之三維影像顯示裝置1400的描述。藉由將視差影像產生單元1401加至第二實施例的三維影像顯示裝置1000，得到第三實施例的三維影像顯示裝置1400。
視差影像產生單元1401接收模型化資料1451，並產生待從一或多個預置觀看點觀看的視差影像，並將該視差影像輸出為目標影像1052。模型化資料1451代表待顯示在三維影像顯示裝置1400上之物件的三維座標及亮度值。視差影像產生單元1401接收模型化資料1451，並藉由實施，例如，電腦圖形(CG)渲染產生視差影像。
參考圖14及15，將提供根據第三實施例的三維影像顯示裝置1400與第二實施例不同之操作部分的描述。圖15係在解釋根據第三實施例之三維影像顯示裝置1400的操作範例上有用之流程圖。
在步驟S1501，視差影像產生單元1401接收模型化資料1451，並產生待從一或多個預置觀看點觀看的視差影像，並將該視差影像輸出為目標影像1052。
如上文所述，在第三實施例中，可降低多重模糊，因為藉由加權和產生最佳基本影像752，使得觀看影像將與目標影像重合。另外，因為作為目標影像使用的視差影像可任意地從模型化資料產生，不必藉由從限制觀看點拍攝影像以事先取得視差影像。
(第四實施例)
現在參考至圖16，將提供根據第四實施例之三維影像顯示裝置1600的描述。藉由將偵測單元1603及擷取單元1602加至第二實施例的三維影像顯示裝置1000，得到第四實施例的三維影像顯示裝置1600。
如圖18所示，第四實施例的三維影像顯示裝置1600合併用於偵測觀看顯示裝置1600之觀看者的頭部位置之攝影機1801。
擷取單元1602從攝影機1801擷取影像並輸出攝影機影像1651。
偵測單元1603接收攝影機影像1651並藉由臉部偵測從攝影機影像1651偵測至少一觀看者的臉部區域，然後設定右眼或左眼的位置或雙眼的位置，並判定從三維影像顯示裝置1600觀看到之觀看者的空間X-及Y-座標。可將臉部區域中在統計上最可能存在眼睛的位置設定為眼睛的位置。或者，可基於攝影機影像1651藉由眼睛偵測直接設定右眼或左眼位置或雙眼位置。或者，基於攝影影像1651中的臉部尺寸，可估算觀看者及三維影像顯示裝置1600之間的距離，從而偵測從三維影像顯示裝置1600觀看到之觀看者的空間Z-座標。將X-、Y-、以及Z-座標之至少一者輸出為觀看者位置資料1652。
最佳基本影像產生單元1601接收最初基本影像751、目標影像1052、以及觀看者位置資料1652，並以與第二實施例之最佳基本影像產生單元1001相同的方式，除了將觀看者位置資料1652使用為限制觀看點資料外，產生最佳基本影像752。
參考圖16及17，將提供第四實施例的三維影像顯示裝置1600之操作的描述。圖17係在解釋第四實施例之三維影像顯示裝置1600的操作範例上有用之流程圖。
在步驟S1701，擷取單元1602從攝影機1801擷取影像並輸出攝影機影像1651。
在步驟S1702，偵測單元1603接收攝影機影像1651，並基於攝影機影像1651藉由臉部偵測偵測至少一觀看者的臉部區域，從而設定右眼或左眼的位置，或雙眼位置，以判定從三維影像顯示裝置1600觀看到之觀看者的空間X-及Y-座標。
在步驟S1703，最佳基本影像產生單元1601接收最初基本影像751、目標影像1052、以及觀看者位置資料1652，並以與第二實施例之最佳基本影像產生單元1001相同的方式，除了將觀看者位置資料1652使用為限制觀看點資料外，產生最佳基本影像752。
如上文所述，在第四實施例的三維影像顯示裝置1600中，藉由加權和產生最佳基本影像752，使得觀看影像將與目標影像重合，從而降低多重模糊。另外，在第四實施例中，因為最佳基本影像可依據藉由攝影機1801偵測之至少一觀看者的位置產生，可在至少一觀看者之右或左眼的位置，或在雙眼位置辨視目標影像。此與第二實施例的不同在於目標影像僅可在預置限制觀看點(或在預置限制觀看點)受辨識。
在上述第四實施例中，可降低多重模糊而不降低顯示影像的亮度。
例如，若使相鄰二像素之一者顯示黑色以降低多重模糊，可降低此等像素及其他像素之光線分佈的重疊。然而，在基本影像中***黑像素將降低觀看影像的亮度。在第四實施例中，可降低多重模糊而不降低顯示影像的亮度。
在上述三維影像顯示裝置中，視差影像產生單元1401、擷取單元1602、偵測單元1603、以及最佳基本影像產生單元701、1001、及1601可藉由導致安裝在多樣化電腦中的處理器執行程式而實現。在此情形中，可能事先將該程式直接安裝在電腦中。或者，可能將該程式儲存在記錄媒體中，諸如，CD-ROM，並可自其讀至電腦。或者，可能經由網路將該程式下載至電腦。
該等實施例的流程圖描繪根據該等實施例的方法及系統。將理解該等流程圖示的各區塊，及流程圖示中的區塊的組合可藉由電腦程式指令實作。可能將此等電腦程式指令載入電腦或其他可程式化裝置以產生機器，使得在電腦或其他可程式化裝置上執行的指令產生用於實作指定在流程圖區塊中之功能的機構。也可能將此等電腦程式指令儲存在可指引電腦或其他可程式化裝置以特定方式運作的電腦可讀媒體中，使得儲存在電腦可讀媒體中的指令產生包括實作指定在流程圖區塊中的功能之指令機構的製品。也可能將電腦程式指令載入電腦或其他可程式化裝置，以導致一系列操作步驟在電腦或其他可程式化裝置上實施，以產生提供用於實作指定在流程圖區塊中的功能之步驟的電腦可程式化裝置。
當已然描述特定實施例時，此等實施例僅已藉由例示方式呈現，且未企圖限制本發明的範圍。實際上，本文描述的新奇實施例可能以各種其他形式體現；此外，可能無須脫離本發明的精神而以本文描述之該等實施例的形式產生各種省略、替代、及改變。隨附之申請專利範圍及彼等的等效範圍意圖涵蓋落在本發明之範圍及精神內的此種形式或修改。
100、700、1000、1400、1600．．．三維影像顯示裝置
101．．．二維影像顯示裝置
102．．．光線控制元件
103．．．區域
201．．．鏡頭
202、501、502、503．．．像素
504、505、506．．．光線分佈
507．．．位置
508、509、510．．．值
701、1001、1601．．．最佳基本影像產生單元
702．．．顯示單元
751．．．最初基本影像
752．．．最佳基本影像
901．．．CPU
902．．．記憶體單元
903．．．匯流排
1052．．．目標影像
1401．．．視差影像產生單元
1451．．．模型化資料
1602．．．擷取單元
1603．．．偵測單元
1651．．．攝影機影像
1652．．．觀看者位置資料
1801．．．攝影機
a1 、a2 、a3 ．．．函數
u1 ．．．限制觀看點
x1 、x2 、x3 ．．．亮度
圖1係描繪三維影像顯示裝置的範例概要圖；
圖2係描繪三維影像顯示裝置之一部分的範例放大圖；
圖3係在解釋II設計之三維影像如何被觀看上有用的範例概念圖；
圖4係描繪基本影像及塊狀影像之間的關係之範例概念圖；
圖5係在解釋多重模糊影像之原因上有用的範例圖；
圖6係描繪發生多重模糊之狀態的範例概念圖；
圖7係描繪根據第一實施例之三維影像顯示裝置的範例方塊圖；
圖8係描繪根據第一實施例之三維影像顯示裝置的操作範例之範例流程圖；
圖9係描繪根據第一實施例之三維影像顯示裝置的硬體組態之範例圖；
圖10係描繪根據第二實施例之三維影像顯示裝置的範例方塊圖；
圖11係描繪根據第二實施例之三維影像顯示裝置的操作範例之範例流程圖；
圖12係描繪使用在第二實施例中之問題解決方法的範例概念圖；
圖13係在解釋第二實施例中之處理的內容上有用之範例圖；
圖14係描繪根據第三實施例之三維影像顯示裝置的範例方塊圖；
圖15係描繪根據第三實施例之三維影像顯示裝置的操作範例之範例流程圖；
圖16係描繪根據第四實施例之三維影像顯示裝置的範例方塊圖；
圖17係描繪根據第四實施例之三維影像顯示裝置的操作範例之範例流程圖；且
圖18係描繪根據第四實施例之三維影像顯示裝置的外觀之範例圖。
700．．．三維影像顯示裝置
701．．．最佳基本影像產生單元
702．．．顯示單元
751．．．最初基本影像
752．．．最佳基本影像

Claims (18)

  1. 一種三維影像顯示裝置，包含：顯示單元，包含二維影像顯示設備，該二維影像顯示設備包含具有配置成矩陣之複數個像素的顯示表面、以及複數個光線控制元件，對應於該等像素設置在該二維影像顯示設備的該顯示表面上，將該光線控制元件組態成控制來自該等像素的光線；以及最佳基本影像產生單元，組態成藉由從一張已產生影像或一張輸入影像的至少二像素之值的加權和，以及基於指示來自該等光線控制元件之光線的方向及散射度的光線分佈計算之權重判定至少一像素的值，以產生最佳基本影像，該顯示單元顯示該最佳基本影像。
  2. 如申請專利範圍第1項之裝置，其中該最佳基本影像產生單元從至少一預定觀看點接收顯示在該顯示單元上的目標影像，並得到用於降低能量函數的權重，該能量函數指示該目標影像與從該預定觀看點觀看並從該等光線分佈計算的重疊影像之間的差。
  3. 如申請專利範圍第2項之裝置，其中該最佳基本影像產生單元基於該能量函數的梯度計算該等權重。
  4. 如申請專利範圍第2項之裝置，其中該權重降低該能量函數，且該最佳基本影像產生單元基於從該等光線分佈判定之矩陣的廣義反矩陣計算該等權重。
  5. 如申請專利範圍第2項之裝置，其中該目標影像係 選自待顯示在該三維影像顯示裝置上之複數個視差影像，且係從對應於該預定觀看點之位置拍攝的視差影像。
  6. 如申請專利範圍第2項之裝置，另外包含視差影像產生單元，組態成基於三維座標及待顯示在該三維影像顯示裝置上之物件的亮度，產生待從任意觀看點觀看的視差影像，其中該最佳基本影像產生單元將該視差影像接收為該目標影像。
  7. 如申請專利範圍第2項之裝置，另外包含：攝影機，組態成偵測觀看該三維影像顯示裝置之觀看者的臉部區域；擷取單元，組態成擷取由該攝影機攝影的攝影機影像；以及偵測單元，組態成在該攝影機影像中偵測指示該觀看者之該臉部區域的觀看者位置，其中該最佳基本影像產生單元使用該觀看者位置作為該預定觀看點來產生該最佳基本影像。
  8. 一種三維影像顯示裝置，包含：顯示單元，包含二維影像顯示設備，該二維影像顯示設備包含具有配置成矩陣之複數個像素的顯示表面、以及複數個光線控制元件，對應於該等像素設置在該二維影像顯示設備的該顯示表面上，將該光線控制元件組態成控制來自該等像素的光線；以及最佳基本影像產生單元，組態成藉由從至少一預定觀 看點顯示在該顯示單元上的一目標影像之至少二像素的值之加權和，以及基於指示來自該等光線控制元件之光線的方向及散射度之光線分佈計算的權重判定至少一像素的值，以產生最佳基本影像，該顯示單元顯示該最佳基本影像。
  9. 如申請專利範圍第8項之裝置，其中該最佳基本影像產生單元得到用於降低能量函數的權重，該能量函數指示該目標影像與從該預定觀看點觀看並從該等光線分佈計算的重疊影像之間的差。
  10. 如申請專利範圍第9項之裝置，其中該最佳基本影像產生單元基於該能量函數的梯度計算該等權重。
  11. 如申請專利範圍第9項之裝置，其中該權重降低該能量函數，且該最佳基本影像產生單元基於從該等光線分佈判定之矩陣的廣義反矩陣計算該等權重。
  12. 如申請專利範圍第8項之裝置，其中該目標影像係選自待顯示在該三維影像顯示裝置上之複數個視差影像，且係從對應於該預定觀看點之位置拍攝的視差影像。
  13. 如申請專利範圍第8項之裝置，另外包含視差影像產生單元，組態成基於三維座標及待顯示在該三維影像顯示裝置上之物件的亮度，產生待從任意觀看點觀看的視差影像，其中該最佳基本影像產生單元將該視差影像接收為該目標影像。
  14. 如申請專利範圍第8項之裝置，另外包含： 攝影機，組態成偵測觀看該三維影像顯示裝置之觀看者的臉部區域；擷取單元，組態成擷取由該攝影機攝影的攝影機影像；以及偵測單元，組態成在該攝影機影像中偵測指示該觀看者之該臉部區域的觀看者位置，其中該最佳基本影像產生單元使用該觀看者位置作為該預定觀看點來產生該最佳基本影像。
  15. 一種三維影像顯示方法，包含：準備一顯示單元，該顯示單元包含二維影像顯示裝置，該二維影像顯示裝置包含具有配置成矩陣之複數個像素的顯示表面、以及複數個光線控制元件，對應於該等像素設置在該二維影像顯示設備的該顯示表面上，將該光線控制元件控制來自該等像素的光線；以及藉由從一張已產生影像或一張輸入影像的至少二像素之值的加權和，以及基於指示來自該等光線控制元件之光線的方向及散射度的光線分佈計算之權重判定至少一像素的值，產生最佳基本影像，該顯示單元顯示該最佳基本影像。
  16. 一種三維影像顯示方法，包含：準備一顯示單元，該顯示單元包含二維影像顯示裝置，該二維影像顯示裝置包含具有配置成矩陣之複數個像素的顯示表面、以及複數個光線控制元件，對應於該等像素依據作為顯示資料項之基本影像的位置設置在該二維影 像顯示設備的該顯示表面上，將該光線控制元件控制來自該等像素的光線；以及藉由從至少一預定觀看點顯示在該顯示單元上的一目標影像之至少二像素的值之加權和，以及基於指示來自該等光線控制元件之光線的方向及散射度之光線分佈計算的權重判定至少一像素的值，產生最佳基本影像，該顯示單元顯示該最佳基本影像。
  17. 一種電腦可讀媒體，包括電腦可執行指令，其中該等指令在由處理器執行時，導致該處理器實施包含下列步驟的方法：準備一顯示單元，該顯示單元包含二維影像顯示裝置，該二維影像顯示裝置包含具有配置成矩陣之複數個像素的顯示表面、以及複數個光線控制元件，對應於該等像素設置在該二維影像顯示設備的該顯示表面上，將該光線控制元件控制來自該等像素的光線；以及藉由從一張已產生影像或一張輸入影像的至少二像素之值的加權和，以及基於指示來自該等光線控制元件之光線的方向及散射度的光線分佈計算之權重判定至少一像素的值，產生最佳基本影像，該顯示單元顯示該最佳基本影像。
  18. 一種電腦可讀媒體，包括電腦可執行指令，其中該等指令在由處理器執行時，導致該處理器實施包含下列步驟的方法：準備一顯示單元，該顯示單元包含二維影像顯示裝 置，該二維影像顯示裝置包含具有配置成矩陣之複數個像素的顯示表面、以及複數個光線控制元件，對應於該等像素依據作為顯示資料項之基本影像的位置設置在該二維影像顯示設備的該顯示表面上，將該光線控制元件控制來自該等像素的光線；以及藉由從至少一預定觀看點顯示在該顯示單元上的一目標影像之至少二像素的值之加權和，以及基於指示來自該等光線控制元件之光線的方向及散射度之光線分佈計算的權重判定至少一像素的值，產生最佳基本影像，該顯示單元顯示該最佳基本影像。
TW100132259A 2010-11-10 2011-09-07 三維影像顯示裝置，方法及電腦可讀媒體 TWI497979B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010252337A JP5289416B2 (ja) 2010-11-10 2010-11-10 立体画像表示装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
TW201230775A TW201230775A (en) 2012-07-16
TWI497979B true TWI497979B (zh) 2015-08-21

Family

ID=46019194

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100132259A TWI497979B (zh) 2010-11-10 2011-09-07 三維影像顯示裝置，方法及電腦可讀媒體

Country Status (5)

Country Link
US (1) US9081194B2 (zh)
JP (1) JP5289416B2 (zh)
KR (1) KR101289544B1 (zh)
CN (1) CN102469326B (zh)
TW (1) TWI497979B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5818674B2 (ja) * 2011-12-21 2015-11-18 株式会社東芝 画像処理装置、方法、及びプログラム、並びに、画像表示装置
TWI504933B (zh) * 2012-06-13 2015-10-21 Innolux Corp 可切換式二維／三維顯示裝置及其製造方法
US9069177B2 (en) * 2012-06-15 2015-06-30 Innocom Technology(Shenzhen)Co., Ltd. Two dimensional/ three dimensional switchable display module and display deice having the same
CN104469337A (zh) * 2013-09-25 2015-03-25 联咏科技股份有限公司 视差计算方法及其立体匹配***
KR102140080B1 (ko) 2013-09-27 2020-07-31 삼성전자주식회사 다시점 영상 디스플레이 장치 및 제어 방법
TWI556623B (zh) * 2015-07-03 2016-11-01 友達光電股份有限公司 三維影像控制方法
KR102476852B1 (ko) * 2015-09-07 2022-12-09 삼성전자주식회사 영상 생성 방법 및 영상 생성 장치
KR102463170B1 (ko) 2015-10-07 2022-11-04 삼성전자주식회사 3차원 영상을 표시하는 장치 및 방법
EP3425907B1 (en) * 2017-07-03 2022-01-05 Vestel Elektronik Sanayi ve Ticaret A.S. Display device and method for rendering a three-dimensional image
CN110288523B (zh) * 2019-07-02 2023-10-13 北京字节跳动网络技术有限公司 图像生成方法和装置
JP2021141423A (ja) * 2020-03-04 2021-09-16 富士フイルムビジネスイノベーション株式会社 表示システム、表示制御装置及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005009052A1 (en) * 2003-07-16 2005-01-27 Koninklijke Philips Electronics N.V. Head tracked autostereoscopic display
US20080068372A1 (en) * 2006-09-20 2008-03-20 Apple Computer, Inc. Three-dimensional display system
US20100060983A1 (en) * 2008-09-07 2010-03-11 Sung-Yang Wu Adjustable Parallax Barrier 3D Display
US20100134493A1 (en) * 2008-12-03 2010-06-03 Samsung Electronics Co., Ltd. Apparatus and method for compensating for crosstalk between views in three dimensional (3D) display apparatus

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3096614B2 (ja) * 1995-05-30 2000-10-10 三洋電機株式会社 立体映像表示装置の映像信号処理装置
JP3579162B2 (ja) * 1995-06-29 2004-10-20 松下電器産業株式会社 立体ｃｇ画像生成装置
JPH09101482A (ja) * 1995-10-03 1997-04-15 Canon Inc 立体画像表示方法及びそれを用いた画像表示装置
US7176878B2 (en) * 2002-12-11 2007-02-13 Nvidia Corporation Backlight dimming and LCD amplitude boost
JP3892808B2 (ja) 2002-12-27 2007-03-14 株式会社東芝 ３次元画像表示装置、この表示装置に視差画像を配分する方法及びこの表示装置に３次元画像を表示する方法
JP4363224B2 (ja) * 2004-03-04 2009-11-11 ソニー株式会社 立体表示装置および立体表示方法
JP4521342B2 (ja) * 2005-09-29 2010-08-11 株式会社東芝 三次元画像表示装置、三次元画像表示方法および三次元画像表示プログラム
JP4403162B2 (ja) 2006-09-29 2010-01-20 株式会社東芝 立体画像表示装置および立体画像の作製方法
JP2008134617A (ja) 2006-10-23 2008-06-12 Nec Lcd Technologies Ltd 表示装置、端末装置、表示パネル及び光学部材
JP2009049751A (ja) * 2007-08-21 2009-03-05 Toshiba Corp 立体画像表示装置
JP2009251098A (ja) * 2008-04-02 2009-10-29 Mitsubishi Electric Corp 画像表示装置
JP2010224129A (ja) * 2009-03-23 2010-10-07 Sharp Corp 立体画像表示装置
US8520061B2 (en) * 2009-12-14 2013-08-27 3M Innovative Properties Company Zero-D dimming for 3D displays

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005009052A1 (en) * 2003-07-16 2005-01-27 Koninklijke Philips Electronics N.V. Head tracked autostereoscopic display
US20080068372A1 (en) * 2006-09-20 2008-03-20 Apple Computer, Inc. Three-dimensional display system
US20100060983A1 (en) * 2008-09-07 2010-03-11 Sung-Yang Wu Adjustable Parallax Barrier 3D Display
US20100134493A1 (en) * 2008-12-03 2010-06-03 Samsung Electronics Co., Ltd. Apparatus and method for compensating for crosstalk between views in three dimensional (3D) display apparatus

Also Published As

Publication number Publication date
US9081194B2 (en) 2015-07-14
KR20120050376A (ko) 2012-05-18
CN102469326A (zh) 2012-05-23
CN102469326B (zh) 2014-12-03
US20120113101A1 (en) 2012-05-10
JP5289416B2 (ja) 2013-09-11
JP2012105101A (ja) 2012-05-31
KR101289544B1 (ko) 2013-07-24
TW201230775A (en) 2012-07-16

Similar Documents

Publication Publication Date Title
TWI497979B (zh) 三維影像顯示裝置，方法及電腦可讀媒體
EP2786583B1 (en) Image processing apparatus and method for subpixel rendering
JP2019510311A (ja) 平面の鏡を用いたステレオ画像システムを較正するための方法およびコンピュータプログラム製品
EP1570436B1 (en) Parallax scanning through scene object position manipulation
EP2728888A2 (en) Multi-view display apparatus and image processing therefor
JP6800597B2 (ja) 制御装置、制御方法およびプログラム
JP4928476B2 (ja) 立体像生成装置、その方法およびそのプログラム
JP2009544992A (ja) 自動立体システム
JP2010521081A (ja) マルチ画像表示を較正および／または視覚化しかつゴーストアーチファクトを低減するためのするための方法およびシステム
KR20090038932A (ko) 입체이미지생성을 위한 장치, 방법 및 프로그램 제품
KR20160021968A (ko) 영상 처리 방법 및 장치
CN103813153A (zh) 一种基于加权求和的裸眼3d多视点图像合成方法
CN105611278A (zh) 防裸眼3d观看眩晕感的图像处理方法及***和显示设备
JP5476910B2 (ja) 画像生成装置、画像生成方法、および、プログラム
KR20120075829A (ko) 적응적 부화소 렌더링 장치 및 방법
US20120194905A1 (en) Image display apparatus and image display method
KR20130036198A (ko) 자동입체 디스플레이 및 그 제조방법
JPWO2012073336A1 (ja) 立体映像表示装置及び方法
JP4535954B2 (ja) ２眼式立体表示装置およびプログラム
JP5752638B2 (ja) 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
TWI515457B (zh) 多視點三維顯示器系統及其控制方法
TW201320719A (zh) 立體畫像顯示裝置、畫像處理裝置及畫像處理方法
US20130342536A1 (en) Image processing apparatus, method of controlling the same and computer-readable medium
CN113597758B (zh) 用于校正柱状透镜失真的方法和装置
KR20150098252A (ko) 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees