TW201342881A - 影像處理裝置、裸眼可視立體影像顯示裝置、影像處理方法及電腦程式產品 - Google Patents

影像處理裝置、裸眼可視立體影像顯示裝置、影像處理方法及電腦程式產品 Download PDF

Info

Publication number
TW201342881A
TW201342881A TW101141155A TW101141155A TW201342881A TW 201342881 A TW201342881 A TW 201342881A TW 101141155 A TW101141155 A TW 101141155A TW 101141155 A TW101141155 A TW 101141155A TW 201342881 A TW201342881 A TW 201342881A
Authority
TW
Taiwan
Prior art keywords
parallax
image
correction
unit
pixel
Prior art date
Application number
TW101141155A
Other languages
English (en)
Inventor
Nao Mishima
Takeshi Mita
Original Assignee
Toshiba Kk
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Kk filed Critical Toshiba Kk
Publication of TW201342881A publication Critical patent/TW201342881A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G02B30/29—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays characterised by the geometry of the lenticular array, e.g. slanted arrays, irregular arrays or arrays of varying shape or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/317—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using slanted parallax optics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

根據實施例，影像處理裝置包含擷取單元及校正單元。擷取單元係配置成擷取立體影像，立體影像含有多個均具有相互不同視差的視差影像。校正單元係配置成藉由使用校正資料以對立體影像的各像素執行校正，以便將觀視點位置觀視的視差影像的視差數設定為要在觀視點位置被觀視的視差影像的第一視差數，校正資料代表在觀視點位置真實觀視到的以及已被執行用於校正光束失真的失真校正的視差影像之第二視差數與第一視差數之間的差值。

Description

影像處理裝置、裸眼可視立體影像顯示裝置、影像處理方法及電腦程式產品
此處所述的實施例大致上係關於影像處理裝置、裸眼可視立體影像顯示裝置、影像處理方法及電腦程式產品。
有很多影像顯示裝置允許使用者能夠觀視立體影像。影像顯示裝置在配置有多個像素的顯示面板的前表面上包含控制來自像素的光束的發射方向之光束控制器，以及顯示均具有互相不同的平行視差之多個視差影像。
舉例而言，在顯示區本身彎曲之片狀顯示器等的情況中或是在面板的構件及透鏡因老化劣化而變形或移除的情況中，在顯示區(顯示幕)中將發生立體影像能被觀視的區域及立體影像無法被觀視的區域(擬立體區)，觀視者因而無法觀視整個顯示幕上的立體影像。
實施例之目的在於提供影像處理裝置、裸眼可視立體影像顯示裝置、影像處理方法及電腦程式產品，能夠允許顯示幕成為正常的觀視區。
依據實施例，影像處理裝置包含擷取單元及校正單元。擷取單元係配置成擷取立體影像，立體影像含有多個均具有相互不同視差的視差影像。校正單元係配置成藉由使用校正資料而對立體影像的各像素執行校正，以便將觀 視點位置觀視的視差影像的視差數設定為要在觀視點位置被觀視的視差影像的第一視差數，該校正資料代表在觀視點位置真實觀視到的以及已被執行用以校正光束失真的失真校正的視差影像之第二視差數與第一視差數之間的差值。
根據上述影像處理裝置，能夠使顯示幕成為正常觀視區。
於下將參考附圖，詳述各種實施例。下述根據實施例之裸眼可視立體影像顯示裝置藉由顯示多個均具有相互不同的視差之視差影像，而允許觀視者能夠觀視立體影像。裸眼可視立體影像顯示裝置採用例如整合成像方法(II方法)或多視點方法等三維(3D)顯示方法。裸眼可視立體影像顯示裝置的實例包含使觀視者能夠以裸眼觀視立體影像的電視機、個人電腦、智慧型電話及數位相框。
第一實施例
圖1是依據第一實施例的裸眼可視立體影像顯示裝置1的視圖。裸眼可視立體影像顯示裝置1包含顯示單元10及影像處理單元20。
顯示單元10是能夠顯示含有多個均具有相互不同的視差之視差影像的立體影像。如圖1中所示，顯示單元10包含顯示面板11及光束控制元件12。
視差影像是用以允許觀視者能夠觀視立體影像的影像且意指構成立體影像的複數個影像中的各個影像。立影影像是依下述方式指派視差影像的像素之影像：當從觀視者的觀視點位置經由光束控制元件12而觀視顯示面板11時，視差影像的其中之一係由觀視者的一眼所看到，而另一視差影像係由觀視者的另一眼所觀看。因此，藉由重安排各視差影像的像素，以產生立體影像。
顯示面板11是液晶面板，其中，具有顏色組件(例如，R、G、及B)的多個子像素在第一方向(列方向)及第二方向(行方向)上係以矩陣來予以配置。或者，顯示面板11也是例如有機EL面板或電漿面板等平坦面板。圖1中所示的顯示面板11被假定為包含例如背照燈等光源。在圖1的實例中，一個像素係由R、G、B子像素所構成。子像素係配置成依R(紅)、G(綠)、及藍(B)次序的圖案而在第一方向上重複且相同顏色的組件係配置在第二方向上。
光束控制元件12控制顯示面板11上從各子像素出來的光束外離的方向。光束控制元件12具有多個光學開口且沿著第一方向來予以配置，各光學開口係以線性方式而延伸且均允許光束經由其出去。在圖1的實例中，光束控制元件12是透鏡片，透鏡片具有多個圓柱透鏡(作為光學開口)係配置於其上，但是，光束控制元件12不限於此，舉例而言，也可以是具有多個狹縫係配置於其上的視差屏蔽。同時，顯示面板11及光束控制元件12之間維持 有某距離(間隙)。此外，光束控制元件12係以下述方式來予以配置：光學開口的延伸方向相對於顯示面板11的第二方向(行方向)具有預定傾斜，並且，在列方向上光學開口及顯示像素的位置因而偏移，結果，觀視區(能夠看到立體影像的區域)因而視高度而變。
在第一實施例中，由於透鏡係如圖2所示地歪斜地配置在像素上，所以，舉例而言，經由透鏡看到的像素是沿著圖2中的虛線之像素。具體而言，由於在顯示面板11之內的像素係沿著水平方向及垂直方向而以矩陣來予以配置，而透鏡係歪斜地配置，所以，在指派像素(像素映射)給顯示視差影像時，像素需要沿著透鏡的延伸方向被指派。於此，將以均顯示七個視差影像的其中之一的多個像素的指派之情況為例來做說明。具有相同數目的像素是顯示相同的視差影像之像素。視差影像被指派數目(視差數)，這些數目彼此不同且與在前之相鄰的視差影像的數目差一。舉例而言，以下述等式(1)取得配置在顯示面板11上的多個像素中被執行像素映射之第i列及第j行上的像素(i,j)之視差數v。
在表示式(1)中，ioffset代表影像與透鏡之間的相位偏移且係以像素為單位來予以表示。在圖3的實例中，影像的左上端是參考點(原點)以及參考點與透鏡的左上端之間的偏移量係以ioffset來予以表示。
視差數v是連續值，但視差影像是離散的，因此，視差影像本身無法被指派給v。因此，使用例如線性內插法或三次內***等內插法。依此方式，多個均具有相互不同視差的視差影像被顯示在顯示單元10上。
接著，將說明抵達某觀視點處的眼睛之光。圖4顯示透鏡201的數目為1、視差影像的數目(視差的數目)為3且各視差影像的高度都是1(在此情況中被視為像素)之情況中的光束分佈。出自一個像素的光束進入透鏡201且在受控制方向上射出。由於光束被漫射，所以，如圖4所示，在離透鏡201某距離處的位置所測得的光束強度在某範圍內分佈。注意，水平軸代表第一方向上的位置，垂直軸代表光的強度，像素501的光束分佈係以506來予以表示，像素502的光束分佈係以505來予以表示，像素503的光束分佈係以504來予以表示。
當從某觀視點觀看透鏡201時抵達眼睛的光是根據光束分佈(504、505、及506)疊合的像素的像素值(顏色混合)之光。舉例而言，當從對應於某觀視點的位置507觀視透鏡201時抵達眼睛的光係由以在光束分佈的位置507之值508、509及510作為權重而加權之像素501、502及503的像素值來予以表示。類似地，在多個透鏡的情況中，當從觀視點以眼睛觀視II方法的裸眼可視立體影像顯示裝置時看到之觀視影像是疊合影像，在疊合影像中，多個視差影像的像素根據在觀視點的光束分佈的強度而重疊。視差影像是物體的位置彼此偏移以致產生雙眼像 差的效果。由於光束分佈根據觀視點而變，所以，被看到的影像是根據觀視點而變的影像。雖然在本實例中說明視差的數目為三的情況，但是，視差的數目可設計為任何數目。舉例而言，視差的數目可為9。在此情況中的實施例說明將類似於視差的數目是3的情況之說明。
圖5A及5B顯示當視差數為9時，從具有相同視差數的像素出來的光束的方向是均勻的情況。均勻的光束方向意指從具有相同視差數的像素出來的光束之方向對應於預定方向。更具體而言，均勻的光束方向意指在某觀視點位置(一眼)觀視由相同視差數辨識的視差影像的像素。
圖5A顯示在顯在光束方向是均勻的情況中從某觀視點位置在顯示單元10上立體影像的顯示區中看到的視差影像的視差數。在此實例中，假定要從觀視點位置m觀視的視差影像是具有視差數5的視差影像。在此情況中，由於如圖5B所示般，從具有視差數5的視差影像的像素出來的光從顯示單元10進入觀視點位置m，所以，當觀視者以一眼從觀視點位置m來觀視顯示單元10時，觀視者能觀視顯示單元10的所有區域上具有視差數5的視差影像。
圖6A及6B顯示當視差數為9時，從具有相同視差數的像素出來的光束的方向是不均勻的情況。不均勻的光束方向意指從具有相同視差數的像素出來的光束之方向包含不同於預定方向的方向。更具體而言，不均勻的光束方向意指在某觀視點位置(一眼)觀視由不同視差數辨識的視 差影像的像素。
圖6A顯示在顯在光束方向是不均勻的情況中從某觀視點位置在觀示單元10上的顯示區中看到的視差影像的視差數。在此實例中，假定要從觀視點位置m觀視的視差影像是具有視差數5的視差影像。在此情況中，由於如圖6B所示般，從具有不同視差數(1,4,5及9)的視差影像的像素出來的光從顯示單元10進入觀視點位置m，所以，當觀視者以一眼從觀視點位置m來觀視顯示單元10時，觀視者將觀視到具有不同視差數的視差影像。因此，當光束方向是不均勻時，在顯示區(顯示幕)中將發生能看到立體影像的區域及無法看到立體影像的區域(擬立體區)，觀視者因而無法在整個顯示幕上看到立體影像。
如上所述，舉例而言，因為顯示單元10的失真、導因於老化劣化之面板與透鏡的部份分離等等，會有出自視差影像的像素之光束方向不同於預期方向之情況。在此情況中，觀看到視差數不同於要從某觀視點位置所觀視的視差影像的視差數之視差影像，造成整個顯示幕不是正常的觀視區，因而無法取得立體觀視。換言之，在顯示單元10的顯示區中將發生能夠看到立體影像的區域及無法看到立體影像的區域。
因此，在第一實施例中，影像處理單元20藉由使用校正資料以對立體影像的各像素執行校正，以便將在某觀視點位置觀視的視差影像的視差數設定為在觀視點位置要被觀視的視差影像的第一視差數，校正資料代表在觀視點 位置真實觀視到的的視差影像之第二視差數與第一視差數之間的差值。影像處理單元20接著在顯示單元10上顯示校正過的立體影像(多個視差影像；視差影像組)。結果，第一實施例的裸眼可視立體影像顯示裝置1使顯示幕成為正常觀視區。於下將作出具體說明。
在影像處理單元20的說明之前，將說明上述的校正資料。雖然此處將說明視差數為9的實例，但是，也可以類似地考慮其它視差數之情況。在下述說明中，假定視差數「0」被指派給第一視差影像，視差數「1」被指派給與其相鄰的第二視差影像，視差數「2」被指派給與其相鄰的第三視差影像，視差數「3」被指派給與其相鄰的第四視差影像，視差數「4」被指派給與其相鄰的第五視差影像，視差數「5」被指派給與其相鄰的第六視差影像，視差數「6」被指派給與其相鄰的第七視差影像，視差數「7」被指派給與其相鄰的第八視差影像，視差數「8」被指派給與其相鄰的第二視差影像。此外，顯示單元10的顯示區被分割成多個單元區P，於此，如圖7中所示般，多個單元區P係依M列及N行的矩陣來予以配置。舉例而言，在第m列(≦M)及第n行(≦N)上的單元區P表示成P(m,n)。各單元區P是顯示含有具有分別的視差數0至8的多個像素之至少一元件影像的區域。在本實例中，說明將假定一個單元區P是顯示一個元件影像的區域。
在第一實施例中，對各單元區P取得校正資料，校正 資料代表要在某觀視點位置觀視的第一視差數與顯示在單元區P中具有視差數0至8的視差影像之中在觀視點真正看到的第二視差數之間的差值，取得的校正資料及單元區P係彼此相關連地儲存在儲存單元中。用以計算校正資料的觀視點位置係設定在任何位置，但是，在本實例中，將要觀視具有視差數4的視差影像之觀視點設定為觀視點位置，用以計算校正資料。在下述中，用以計算校正資料的觀視點位置(在本實例中，要觀視具有視差數4的視差影像之觀視點位置為觀視點)將被稱為用於校正的觀視點位置。
此外，代表在某觀視點位置(舉例而言，用於校正的觀視點位置)真正看到的視差數之資料將被稱為光束方向資料。代表顯示在單元區P(m,n)中的視差數0至8之中在用於校正的觀視點位置處真正看到的視差數之光束方向資料將被表示成L(m,n)。光束方向資料在申請專利範圍第2項中也被視為相當於「第二視差數」。用於取得光束方向資料的方法可為任何方法。舉例而言，藉由移動用以測量出自顯示單元10的光束之亮度的亮度計、藉由視覺地檢查依序地被照亮之視差影像、或是藉由將依序地被照亮的視差影像成像(多個影像可以一次成像)以及分析成像結果。
雖然說明與單元區P(m,n)相關連的校正資料c(m,n)的計算方法之實例，但是，可以類似地考慮與另一單元區P相關連的校正資料的計算方法。與單元區P (m,n)相關連的校正資料是要在用於校正的觀視點位置處觀觀的第一視差數kdst(在本實例中為4)與代表顯示在單元區P(m,n)中的視差數0至8之中在用於校正的觀視點位置處真正看到的視差數之光束方向資料L(m,n)之間的差值，並且，藉由下述表示式(2)而取得此差值。
C(m,n)=kdst-L(m,n) (2)
舉例而言，當顯示在單元區P(m,n)中的視差數0至8之中在用於校正的觀視點位置處真正看到的視差數為2時，校正資料c(m,n)將是「2(=4-2)」。依此方式，對各單元區P取得校正資料，並且，取得的校正資料與單元區P係彼此相關連地預先儲存在儲存單元中。將根據上述假設，說明根據第一實施例的影像處理單元20的具體細節。
圖8是方塊圖，顯示舉例說明之影像處理單元20的配置。如圖8所示，影像處理單元20包含擷取單元21、儲存單元22、校正單元23、及輸出單元24。擷取單元21取得用於立體影像之K個(K是2或更大的整數)視差影像。換言之，擷取單元21具有取得含有多個視差影像的立體影像之功能。
儲存單元22將上述校正資料儲存於其中。更具體而言，儲存單元22儲存彼此相關連之校正資料與多個單元區P的各單元區P。
校正單元23藉由使用儲存在儲存單元22中用於顯示 面板11的各子像素之校正資料，以校正由上述像素映射計算的子像素的視差數。於下將作出具體說明。此處，在顯示面板11的第一方向(列方向)上子像素的數目以W表示，在第二方向(行方向)上子像素的數目係以H來予以表示，並且，配置在透鏡之下的顯示面板11的子像素的位置座標係以(i,j)T來予以表示。T代表轉置。
在子像素位置(i,j)T與單元區P的座標位置(m,n)T之間的關係係以下述表示式(3)來予以表示。
因此，用於對應於子像素位置(i,j)T之單元區P的校正資料係以下述表示式(4)來予以表示。
注意，用於對應於子像素位置(i,j)T之單元區P的座標位置可為不是整數的值。在此情況中，舉例而言，使用相鄰的校正資料，執行內插，以取得用於子像素位置(i,j)T之校正資料。
根據用以對應於子像素的單元區P之校正資料所標示的值，校正單元23修改各子像素的視差數。更具體而言，由上述像素映射計算的校正之前視差數的值加上與子像素相關連的校正資料的值而取得的值除以視差數K，校 正單元23將各子像素的視差數修改至此除法造成的餘數所標示之視差數。舉例而言，當在第i列及第j行上的子像素(i,j)的校正之前的視差數係以v(i,j)來予以表示時，在由校正單元23校正之後子像素(i,j)的視差數v’(i,j)係以下述表示式(5)來予以表示。
要被配置在位置座標(i,j)T之視差影像係以下述表示式(6)來予以表示。
I'(i,j)=I v'(i,j)(i,j) (6)
注意，視差數v’(i,j)可以不是整數而是分數。在此情況中，藉由如下述表示式(7)中的線性內插而取得視差影像。
其中，代表不大於x的最大整數，並且，mod(x,K)代表導因於x除以K的餘數。
圖9是對與某單位區P相對應的具有視差數0至8的各像素執行的校正處理的概念圖。在圖9的實例中，要在用以校正的觀視點位置觀看到的視差數是「4」，而在用以對應用於某單元區P的視差數0至8中用於校正的觀視點位置處真實看到的視差數是「2」(亦即，單元區P的 光束方向資料=2)。因此，對應於單元區P的校正資料是「2」(=4-2)，且對應於單元區P的各像素被修改為由餘數標示的視差數，所述餘數是「2」加至校正之前的視差數而取得的值除以視差數「9」而得的(請參見圖9)。如上所述，校正單元23修改子像素的配置以致於設有視差4的視差影像(要在用於校正的觀視點位置被觀視的視差影像)將在用於校正的觀視點位置處被觀視。結果，在用於校正的觀視點位置處觀視到具有視差數「4」的視差影像。校正單元23將經過校正的視差影像組輸出至輸出單元24。輸出單元24將從校正單元23收到的視差影像組(換言之，由校正單元23校正過的立體影像)輸出至顯示單元10的顯示面板11。
圖10是流程圖，顯示根據第一實施例之影像處理單元20執行的處理之實例。如圖10所示，擷取單元21首先取得多個視差影像(步驟S1)。擷取單元21將取得的視差影像組輸出至校正單元23。校正單元23指定多個子像素中的任何像素以矩陣而被配置在顯示面板11上(步驟S2)。校正單元23以上述表示式(1)計算步驟S2中指定的子像素的視差數(步驟S3)。校正單元23取得用於對應於步驟S2中指定的子像素的單元區P之校正資料以及對子像素執行校正處理(步驟S4)。
假使對所有子像素完成校正處理(假使步驟S5的結果為是)，則校正單元23將經過校正的視差影像組輸出至輸出單元24。輸出單元24接著將從校正單元23收到的 視差影像組顯示於顯示面板11上(步驟S6)以及結束此常式。另一方面，假使尚未對所有子像素完成校正處理(假使步驟S5的結果為否)，則處理返回至上述的步驟S2，於其中，校正單元23依序地指明尚未被完成校正處理的子像素。
如上所述，根據第一實施例，由於，藉由使用校正資料係以對立體影像的各像素來執行校正，而將用於校正的觀視點位置處觀視到的視差影像的視差數設定為要在用於校正的觀視點位置處觀視的視差影像的第一視差數，以校正資料代表在用於校正的觀視點位置處真實觀視的視差影像的第二視差數與第一視差數之間的差值，所以，能夠在立體影像的顯示區(顯示幕)中抑制發生觀視到立體影像的區域與無法觀視到立體影像的區域(擬立體區)。換言之，根據第一實施例，能夠使顯示幕成為正常觀視區。
修改第一實施例的實例。
但是，由於相機鏡頭等等的失真，取得的光束方向資料容易失真成梯形等，而取代面板形狀的長方形。舉例而言，用於此失真的校正之座標轉換係以下述表示式(8)來予以表示。
當使用投射轉換時，舉例而言，座標轉換係以下述表示式(9)來予以表示。
在表示式(9)中，a0至a9代表參數，用於從取得的光束方向資料中面板的四角落及液晶面板(液晶面板11)的四角落的座標之取得的投射轉換。因此，用於子像素位置(i,j)T的校正資料係以下述表示式(10)來予以表示。
因此，用於子像素的校正資料也被視為由要在用於校正的觀視點位置處觀視到的第一視差數與多個視差數之中在用於校正的觀視點位置處真實觀視到的第二視差數之間的差值來予以表示，所述多個視差數是顯示在對應於子像素且已被執行用於校正光束失真之失真校正的的單元區P上。
注意，用於對應於子像素位置(i,j)T的單元區P之座標位置可為不是整數的值。在此情況中，舉例而言，使用用於相鄰的子像素位置的校正資料以執行內插，以取得用於子像素位置(i,j)T的校正資料。
類似於上述第一實施例，根據用於子像素的校正資料所標示的值，校正單元23修改各子像素的視差數。更具體而言，校正單元23將各子像素的視差數修改成餘數標 示的視差數，所述餘數是將以上述像素映射計算校正前的視差數的值加上用於子像素的校正資料的值而取得的值除以差數K而得到的。舉例而言，當第i列及第j行上的子像素(i,j)校正前的視差數係以v(i,j)來予以表示時，由校正單元23校正後的子像素(i,j)的視差數v’(i,j)係以下述表示式(11)來予以表示。
由於其它細節類似於第一實施例，所以，將不重複詳細說明。
第二實施例
在上述第一實施例中，藉由使用在一觀視點位置的校正資料(用於校正的觀視點位置)以執行上述校正。相反地，第二實施例與第一實施例不同之處在於提供預先儲存多個假定的觀視點位置(稱為「候選觀視點位置」)中的各觀視點位置之校正資料的儲存單元、以及在於從觀視者的位置及儲存在儲存單元中的資訊取得與觀視者的位置相關連的校正資料並且藉由使用取得的校正資料以執行上述校正。於下將作出具體說明。由與第一實施例中相同的代號表示的組件具有類似的功能並適當地不重複其冗餘的說明。
圖11顯示依據第二實施例的影像處理單元200的舉例說明的配置。如圖11中所示般，影像處理單元200包 含擷取單元21、儲存單元220、偵測單元25、校正單元230及輸出單元24。儲存單元220將代表候選觀視點位置的候選位置資訊及用於多個候選觀視點位置之彼此相關連的各單元區P的校正資料儲存於其中。類似於第一實施例，預先計算各候選觀視點位置用於各單元區P的校正資料並且將其儲存在儲存單元220中。可以根據設計條件等，將候選觀視點位置的數目設定為任何值。
偵測單元25偵測觀視者的位置。更具體而言，偵測單元25從相機取得相片及藉由已知的臉部偵測方法來偵測一或更多個觀視者的臉部區域。偵測單元25接著設定右眼、左眼、及雙眼中任一的位置以及決定觀視者的空間X和Y座標。舉例而言，有最高機率存在於臉部區的眼之位置被設定為觀視者的眼睛的位置。替代地，也以任何熟知的眼睛偵測方法，從相機捕捉到的影像，偵測右眼、左眼及雙眼的位置。替代地，也能夠藉由使用相機捕捉到的影像上的臉部尺寸，評估與觀視者的距離以及決定觀視者的空間Z座標。偵測單元25偵測這些X、Y及Z座標的其中之一或更多作為代表觀視者的位置之觀視者位置資訊並且將偵測到的觀視者位置資訊輸出給校正單元230。
當偵測單元25偵測到的觀視者位置資訊與儲存在儲存單元220中的多件候選觀視點位置資訊中的任一件相符時，藉由使用與偵測單元25偵測到的觀視者位置資訊相符之候選觀視點位置資訊的相關連校正資訊，校正單元230執行上述校正。
另一方面，當由偵測單元25偵測到的觀視者位置資訊與任何一件候選觀視點位置資訊不相符時時，校正單元230執行內插以取得與觀視者位置資訊相關連的校正資料。如圖12所示，舉例而言，當預先設定六件候選觀視點位置S，亦即，S1、S2、S3、S4、S5、及S6以及由偵測單元25所偵測到的觀視者位置資訊所代表的觀視者的位置Vx未與候選觀視點位置S中的任一位置相符時，校正單元230用至觀視者位置Vx的距離做為臨界值或更短，以決定座標觀視點位置S。在圖12的實例中，決定候選點位置S1、S2、S4及S5。然後，根據候選觀視點位置S1與觀視者的位置Vx之間的距離α、候選觀視點位置S2與觀視者的位置Vx之間的距離β、候選觀視點位置S4與觀視者的位置Vx之間的距離γ、以及候選觀視點位置S5與觀視者的位置Vx之間的距離δ，以執行線性內插，校正單元230可取得與觀視者的位置Vx相關連的校正資料。校正單元230接著藉由使用取得的校正資料而執行上述校正。
在上述實施例中，以光學開口的延伸方向相對於顯示面板11的第二方向(行方向)具有預定傾斜、以及角度或傾斜可任意改變之方式來配置光束控制元件12。替代地，舉例而言，光束控制元件12具有結構(所謂的垂直透鏡)，其中，其光學開口的延伸方向與顯示面板11的第二方向一致。
在上述第一實施例中，舉例而言，儲存單元22係配 置成儲存用於各單元區P的光束方向資料以及要在用於校正的觀視點位置被觀視的視差數，以取代校正資料。換言之，校正單元23從儲存在儲存單元22中的資訊取得與要被校正的子像素相關連的光束方向資料及要在用於校正的觀視點位置被觀視的視差數，然後計算光束方向資料與視差數之間的差值之校正資料，以及藉由使用計算的校正資料以執行上述校正。換言之，校正單元23係配置成產生校正資料。用於各單元區P的光束方向資料及要在用於校正的觀視點位置處被觀視的視差數可以儲存在分別的儲存單元中。
類似地，在上述第二實施例中，儲存單元220係配置成儲存用於各候選觀視點位置的光束方向資料以及要在各候選觀視點位置被觀視的視差數，取代儲存用於各候選觀視點位置的校正資料(亦即，校正單元230係配置成產生用於各候選觀視點位置的校正資料)。
在上述實施例中的影像處理單元(20,200)是包含CPU(中央處理單元)、ROM、RAM、通訊I/F單元、等等的硬體配置。藉由擴充及執行RAM上儲存在ROM中的程式，實施上述各別組件的功能。替代地，這些組件的至少部份功能係由個別的電路(硬體)來予以實施。
替代地，根據上述實施例之要由影像處理單元(20,200)執行的程式儲存在連接至例如網際網路的網路之電腦系統上，且經由網路下載而被提供。替代地，可以經由例如網際網路等網路，提供或散佈根據上述實施例之 要由影像處理單元(20,200)執行的程式。又替代地，要由上述實施例中的影像處理單元(20,200)執行的程式可以預先地被嵌入於ROM等中並由其提供。
根據上述至少一實施例的影像處理裝置，影像處理裝置包含：擷取單元，係配置成取得含有多個均具有相互不同的視差之視差影像的立體影像；以及，校正單元，係配置成藉由使用校正資料以對立體影像的各像素執行校正，以將觀視點位置觀視到的視差影像的視差數設定為要在觀視點位置被觀視的視差影像的第一視差數，該校正資料代表在觀視點位置真實觀視到的以及已被執行用於校正光束失真的失真校正的視差影像之第二視差數與第一視差數之間的差值。因此，能夠使顯示幕為正常的觀視區。
雖然已說明某些實施例，但是這些實施例僅為舉例說明，且非要限定發明的範圍。事實上，此處所述之新穎的實施例可以以各式各樣的其它形式具體實施；此外，在不悖離發明的精神之下，可以作出此處所述的實施例的形式上的各式各樣的省略、替代及改變。後附的申請專利範圍及它們的均等範圍是要涵蓋落在發明的範圍及精神之內的這些形式或修改。
1‧‧‧裸眼可視立體影像顯示裝置
10‧‧‧顯示單元
11‧‧‧顯示面板
12‧‧‧光束控制元件
20‧‧‧影像處理單元
21‧‧‧擷取單元
22‧‧‧儲存單元
23‧‧‧校正單元
24‧‧‧輸出單元
25‧‧‧偵測單元
200‧‧‧影像處理單元
201‧‧‧透鏡
220‧‧‧儲存單元
230‧‧‧校正單元
圖1顯示依據第一實施例的裸眼可視立體影像顯示裝置的實例；圖2用於說明像素映射的實例； 圖3用於說明像素映射的實例；圖4用於說明在某觀視點抵達眼睛的光；圖5A及5B是光束方向均勻的情況圖；圖6A及6B是光束方向不均勻的情況圖；圖7是顯示顯示區被分割成的多個單元區域的實例；圖8顯示依據第一實施例的影像處理單元的舉例說明的配置；圖9是由校正單元執行的校正處理的概念圖；圖10是流程圖，顯示影像處理單元執行的處理的實例；圖11顯示依據第二實施例的影像處理單元的舉例說明的配置；以及圖12用於說明依據觀視者的位置之校正資料的計算實例。
1‧‧‧裸眼可視立體影像顯示裝置
10‧‧‧顯示單元
20‧‧‧影像處理單元
21‧‧‧擷取單元
22‧‧‧儲存單元
23‧‧‧校正單元
24‧‧‧輸出單元

Claims (7)

  1. 一種影像處理裝置，包括：擷取單元，係配置成擷取立體影像，該立體影像含有多個均具有相互不同視差的視差影像；以及校正單元，係配置成藉由使用校正資料以對該立體影像的各像素執行校正，以便將在觀視點位置觀視到的視差影像的視差數設定為要在該觀視點位置被觀視的視差影像的第一視差數，該校正資料代表在該觀視點位置真實觀視到的以及已被執行用於校正光束失真的失真校正的視差影像之第二視差數與該第一視差數之間的差值。
  2. 如申請專利範圍第1項之裝置，其中，能夠顯示該立體影像的顯示單元之顯示區被預先分割成多個單元區，該多個單元區中的各單元區是顯示含有該視差影像的像素之元件影像之區域，以及根據用以對應於該像素的該單元區之該校正資料所標示的值，該校正單元修改該立體影像的各像素的該視差數。
  3. 如申請專利範圍第2項之裝置，其中，該校正單元對該立體影像的各像素修改該像素的該視差數成為餘數值標示的視差數，該餘數值是校正前的該視差數的值加上用於該像素的該校正資料的值而取得的值除以該視差數而造成的。
  4. 如申請專利範圍第1項之裝置，又包括：儲存單元，將與該校正資料相關連的多個觀視點位置 中的各觀視點位置儲存於其中；以及偵測單元，偵測觀視者的位置，其中該校正單元從儲存在該儲存單元中的資訊及該觀視者的該位置，取得與該偵測單元偵測到的該觀視者的該位置相關連的該校正資料，並且，藉由使用該取得的校正資料，以執行該校正。
  5. 一種裸眼可視立體影像顯示裝置，包括：擷取單元，係配置成擷取立體影像，該立體影像含有多個均具有相互不同視差的視差影像；校正單元，係配置成藉由使用校正資料以對該立體影像的各像素執行校正，以便將在觀視點位置觀視到的視差影像的視差數設定為要在該觀視點位置被觀視的視差影像的第一視差數，該校正資料代表在該觀視點位置真實觀視到的以及已被執行用於校正光束失真的失真校正的視差影像之第二視差數與該第一視差數之間的差值；以及顯示單元，顯示被該校正單元執行校正的該立體影像。
  6. 一種影像處理方法，包括：擷取立體影像，該立體影像含有多個均具有相互不同視差的視差影像；以及藉由使用校正資料以對該立體影像的各像素執行校正，以便將在觀視點位置觀視到的視差影像的視差數設定為要在該觀視點位置被觀視的視差影像的第一視差數，該校正資料代表在該觀視點位置真實觀視到的以及已被執行 用於校正光束失真的失真校正的視差影像之第二視差數與該第一視差數之間的差值。
  7. 一種電腦程式產品，包括含有影像處理程式之電腦可讀取媒體，該影像處理程式促使電腦執行：擷取立體影像，該立體影像含有多個均具有相互不同視差的視差影像；以及藉由使用校正資料以對該立體影像的各像素執行校正，以便將在觀視點位置觀視到的視差影像的視差數設定為要在該觀視點位置被觀視的視差影像的第一視差數，該校正資料代表在該觀視點位置真實觀視到的以及已被執行用於校正光束失真的失真校正的視差影像之第二視差數與該第一視差數之間的差值。
TW101141155A 2012-03-29 2012-11-06 影像處理裝置、裸眼可視立體影像顯示裝置、影像處理方法及電腦程式產品 TW201342881A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012077612A JP5687654B2 (ja) 2012-03-29 2012-03-29 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム

Publications (1)

Publication Number Publication Date
TW201342881A true TW201342881A (zh) 2013-10-16

Family

ID=49234441

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101141155A TW201342881A (zh) 2012-03-29 2012-11-06 影像處理裝置、裸眼可視立體影像顯示裝置、影像處理方法及電腦程式產品

Country Status (4)

Country Link
US (1) US9110296B2 (zh)
JP (1) JP5687654B2 (zh)
CN (1) CN103369332A (zh)
TW (1) TW201342881A (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013027280A1 (ja) * 2011-08-24 2013-02-28 株式会社東芝 画像処理装置及び方法、並びに、立体画像表示装置
JP5310837B2 (ja) * 2011-12-28 2013-10-09 カシオ計算機株式会社 画像生成装置、デジタルカメラ、方法、及びプログラム
KR101996655B1 (ko) * 2012-12-26 2019-07-05 엘지디스플레이 주식회사 홀로그램 표시 장치
TWI526993B (zh) 2014-03-24 2016-03-21 宏達國際電子股份有限公司 影像校正方法及其影像擷取裝置
US20150281679A1 (en) * 2014-03-28 2015-10-01 Qualcomm Incorporated Pixel data generation for autostereoscopy images
CN105578171B (zh) * 2014-04-01 2017-07-11 青岛海信电器股份有限公司 一种图像信号处理方法及装置
WO2016152217A1 (ja) * 2015-03-23 2016-09-29 ソニー株式会社 表示装置、表示装置の駆動方法、及び、電子機器
US10440344B2 (en) * 2016-01-27 2019-10-08 Samsung Electronics Co., Ltd. Method and apparatus for correcting image error in naked-eye three-dimensional (3D) display
CN107018402B (zh) * 2016-01-27 2020-02-28 北京三星通信技术研究有限公司 裸眼三维显示器的图像误差修正方法及装置
CN109254409B (zh) * 2017-07-13 2022-03-22 天马微电子股份有限公司 显示装置、电子设备及显示方法
JP7317140B2 (ja) * 2019-04-15 2023-07-28 レイア、インコーポレイテッド 対角視差を有する静的マルチビューディスプレイおよび方法
WO2023181428A1 (ja) 2022-03-24 2023-09-28 Ｊｆｅ鋼板株式会社 溶融Ａｌ－Ｚｎ系めっき鋼板及びその製造方法
WO2023181429A1 (ja) 2022-03-24 2023-09-28 Ｊｆｅ鋼板株式会社 溶融Ａｌ－Ｚｎ系めっき鋼板及びその製造方法
CN117097879B (zh) * 2023-08-28 2024-03-12 山东天竞电子科技有限公司 一种像素化的裸眼3d显示方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04253345A (ja) 1991-01-29 1992-09-09 Toshiba Corp ダイボンダー用半田供給装置
US6064424A (en) 1996-02-23 2000-05-16 U.S. Philips Corporation Autostereoscopic display apparatus
US7113634B2 (en) * 2001-07-31 2006-09-26 Canon Kabushiki Kaisha Stereoscopic image forming apparatus, stereoscopic image forming method, stereoscopic image forming system and stereoscopic image forming program
KR100753517B1 (ko) * 2005-10-12 2007-08-31 엘지전자 주식회사 입체 영상 디스플레이 기능을 갖는 이동통신 단말기 및이를 이용한 입체 영상 디스플레이 방법
KR20070111763A (ko) 2006-05-19 2007-11-22 한국과학기술원 3차원 모니터에서 영상왜곡을 보상하는 방법
JP2009192615A (ja) * 2008-02-12 2009-08-27 Sharp Corp 液晶表示装置
JP2009251098A (ja) 2008-04-02 2009-10-29 Mitsubishi Electric Corp 画像表示装置
JP2011176800A (ja) * 2010-01-28 2011-09-08 Toshiba Corp 画像処理装置、立体表示装置及び画像処理方法
JP2011217180A (ja) * 2010-03-31 2011-10-27 Toshiba Corp 画像処理回路
JP2012010085A (ja) * 2010-06-24 2012-01-12 Sony Corp 立体表示装置及び立体表示装置の制御方法
JP5673008B2 (ja) * 2010-08-11 2015-02-18 ソニー株式会社 画像処理装置、立体画像表示装置および立体画像表示システム、ならびに立体画像表示装置の視差ずれ検出方法および立体画像表示装置の製造方法
JP5742179B2 (ja) * 2010-11-05 2015-07-01 ソニー株式会社 撮像装置、画像処理装置、および画像処理方法、並びにプログラム
JP2012242809A (ja) * 2011-05-24 2012-12-10 Sony Corp 表示装置
JP5156116B1 (ja) * 2011-08-31 2013-03-06 株式会社東芝 映像処理装置および映像処理方法
JP5319808B2 (ja) * 2012-02-29 2013-10-16 株式会社東芝 画素処理装置、及び画素処理方法

Also Published As

Publication number Publication date
JP2013205780A (ja) 2013-10-07
CN103369332A (zh) 2013-10-23
JP5687654B2 (ja) 2015-03-18
US20130258057A1 (en) 2013-10-03
US9110296B2 (en) 2015-08-18

Similar Documents

Publication Publication Date Title
TW201342881A (zh) 影像處理裝置、裸眼可視立體影像顯示裝置、影像處理方法及電腦程式產品
CN103988504B (zh) 用于子像素渲染的图像处理设备和方法
JP6278323B2 (ja) 自動立体ディスプレイの製造方法
US8717352B2 (en) Tracing-type stereo display apparatus and tracing-type stereo display method
JP5881732B2 (ja) 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム
KR101675961B1 (ko) 적응적 부화소 렌더링 장치 및 방법
KR102121389B1 (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
TWI476448B (zh) An image processing apparatus, a method, and a program, and a portrait display device
TW201320717A (zh) 一種三次元影像顯示之方法
JP2013527932A5 (zh)
US20170070728A1 (en) Multiview image display apparatus and control method thereof
US10939092B2 (en) Multiview image display apparatus and multiview image display method thereof
US10368048B2 (en) Method for the representation of a three-dimensional scene on an auto-stereoscopic monitor
TW201320719A (zh) 立體畫像顯示裝置、畫像處理裝置及畫像處理方法
JP5696107B2 (ja) 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
CN115022612B (zh) 一种显示装置的驱动方法、装置及显示设备
TW201310972A (zh) 畫像處理裝置、立體畫像顯示裝置及畫像處理方法
TWI469625B (zh) Image processing apparatus and method, and stereoscopic image display apparatus
KR101469225B1 (ko) 입체 영상 표시 장치 및 그 방법
KR101414175B1 (ko) 입체 영상 표시 장치 및 그 방법
KR20170121805A (ko) 회전된 렌티큘러시트를 부착한 디스플레이에 표시되는 요소영상콘텐츠 생성 방법
JP2015142148A (ja) 画像処理装置、表示装置、およびプログラム