TWI628619B - 立體影像產生方法及其裝置 - Google Patents

立體影像產生方法及其裝置 Download PDF

Info

Publication number
TWI628619B
TWI628619B TW106116269A TW106116269A TWI628619B TW I628619 B TWI628619 B TW I628619B TW 106116269 A TW106116269 A TW 106116269A TW 106116269 A TW106116269 A TW 106116269A TW I628619 B TWI628619 B TW I628619B
Authority
TW
Taiwan
Prior art keywords
image
value
max
disparity
parallax
Prior art date
Application number
TW106116269A
Other languages
English (en)
Other versions
TW201901623A (zh
Inventor
張添烜
陳易群
莊仁輝
Original Assignee
國立交通大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立交通大學 filed Critical 國立交通大學
Priority to TW106116269A priority Critical patent/TWI628619B/zh
Priority to CN201710611821.2A priority patent/CN109246411B/zh
Priority to US15/980,535 priority patent/US10341635B2/en
Application granted granted Critical
Publication of TWI628619B publication Critical patent/TWI628619B/zh
Publication of TW201901623A publication Critical patent/TW201901623A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一種立體影像產生裝置，包含一儲存多個第一影像、多個第二影像、多個視差圖，與一像素密度值的儲存單元，及一處理單元。該處理單元用以獲得包括一相關於一觀賞者兩眼瞳孔的瞳孔距離、一第一常數值，及一第二常數值的觀賞資料。對於每一第一影像及每一第二影像，在接收到位置資訊後，根據對應於該第一影像與該第二影像的視差圖及該位置資訊，獲得一聚合處視差值，且至少根據該觀賞資料及該聚合處視差值產生一轉換模型，再根據該轉換模型，獲得一轉換後的視差圖，最後根據該轉換後的視差圖將該第一影像及該第二影像合成為一立體影像。

Description

立體影像產生方法及其裝置
本發明是有關於一種影像產生方法，特別是指一種立體影像產生方法及其裝置。
現有的立體影像技術是通過一立體顯示器播放左右眼畫面，分別傳送到左眼及右眼中，讓觀賞者在腦中產生立體三維空間的錯覺進而產生立體效果，亦即利用雙眼的水平視差而產生立體感。然而，藉由雙眼視差而產生立體空間感，違背了人眼正常的視覺反應，使得雙眼視覺不協調，因而讓觀賞者產生頭痛、眼睛疲倦等不舒適的感覺。
上述造成雙眼視覺不協調的原因可歸咎於立體影像之深度資訊所產生的左右眼視差太大，為了提高觀賞品質，許多先前技術皆著重於如何藉由調整視差值來得到更好之觀賞品質的研究上例如，以雙眼聚合能力決定視差值的上下限。或是在影像的特定範 圍當中，強化其深度感，調整的過程中更考慮到了人眼對深度資訊的靈敏度。又或是為了強調特定區域的立體視覺，把容易混淆深度的畫面資訊刪除或模糊弱化。
然而，現有的立體影像技術，雖然考慮了人眼視覺因素來優化立體影像，但是對於觀賞者與該立體顯示器的互動著墨甚少，以至於需要觀賞者的觀賞條件，例如觀賞者注視該立體顯示器的注視位置，剛好落在優化範圍內才能獲得良好的立體視覺。換句話說，如果觀賞者的觀賞條件改變後不在目前優化演算法的範圍內，則立體影像優化的效果大幅減低。
因此，本發明的目的，即在提供一種能根據觀賞者的注視位置即時地優化立體影像的立體影像產生方法。
於是，本發明立體影像產生方法，由一處理單元來實施，該處理單元電連接一儲存單元及一顯示單元，該儲存單元儲存多個對應於一第一視角的第一影像、多個對應於一第二視角且分別對應該等第一影像的第二影像、多個視差圖，及一相關於該顯示單元的單位面積上的像素數量的像素密度值，每一視差圖對應於該等第一影像之其中一者與所對應之該第一影像對應的第二影像，並包括多個分別對應多個像素點的視差值，該立體影像產生方法包含以下步 驟：(A)獲得相關於該觀賞者的觀賞資料，該觀賞資料包括一相關於該觀賞者兩眼瞳孔的瞳孔距離、一第一常數值，及一第二常數值；(B)對於每一第一影像及每一對應該第一影像的第二影像，在接收到相關於該觀賞者於該顯示單元的一注視位置的位置資訊後，根據一相關於該第一影像及該第二影像所對應的視差圖及該位置資訊，獲得位於該位置資訊中之像素點所對應的一聚合處視差值；(C)對於每一第一影像及每一對應該第一影像的第二影像，至少根據該觀賞資料及該聚合處視差值產生一轉換模型；(D)對於每一第一影像及每一對應該第一影像的第二影像，根據該轉換模型，將該視差圖的該等視差值分別轉換成多個轉換後視差值，以獲得一轉換後的視差圖；及(E)對於每一第一影像及每一對應該第一影像的第二影像，根據該轉換後的視差圖將該第一影像及該第二影像合成為一立體影像。
因此，本發明的另一目的，即在提供一種能根據觀賞者的注視位置即時地優化立體影像的立體影像產生裝置。
於是，本發明立體影像產生裝置包含一儲存單元及一處 理單元。
該儲存單元儲存多個對應於一第一視角的第一影像、多個對應於一第二視角且分別對應該等第一影像的第二影像、多個視差圖，及一相關於一顯示單元的單位面積上的像素數量的像素密度值，每一視差圖對應於該等第一影像之其中一者與所對應之該第一影像對應的第二影像，並包括多個分別對應多個像素點的視差值。
該處理單元電連接該儲存單元，用以獲得相關於一觀賞者的觀賞資料，該觀賞資料包括一相關於該觀賞者兩眼瞳孔的瞳孔距離、一第一常數值，及一第二常數值，並對於每一第一影像及每一對應該第一影像的第二影像，在該處理單元接收到相關於該觀賞者於該顯示單元的一注視位置的位置資訊後，該處理單元根據一相關於該第一影像及該第二影像所對應的視差圖及該位置資訊，獲得一位於該位置資訊中之像素點所對應的一聚合處視差值，且至少根據該觀賞資料及該聚合處視差值產生一轉換模型，再根據該轉換模型，將該視差圖的該等視差值分別轉換成多個轉換後視差值，以獲得一轉換後的視差圖，最後根據該轉換後的視差圖將該第一影像及該第二影像合成為一立體影像。
本發明的功效在於：對於每一第一影像及每一第二影像，該處理單元在接收該位置資訊後，該處理單元根據該視差圖與該位置資訊獲得該聚合處視差值，並至少根據該觀賞資料與該聚合 處視差值產生該轉換模型，再根據該轉換模型獲得該轉換後的視差圖，最後根據該轉換後的視差圖將該第一影像及該第二影像合成為該立體影像，藉此根據不同的觀賞條件(亦即，不同的注視位置)將該第一影像及該第二影像合成為優化後的該立體影像。
100‧‧‧立體影像產生裝置
11‧‧‧儲存單元
12‧‧‧輸入單元
13‧‧‧眼動追蹤單元
14‧‧‧處理單元
201~206‧‧‧步驟
本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是一方塊圖，說明本發明立體影像產生裝置的一實施例；及圖2是一流程圖，說明本發明立體影像產生方法的一實施例。
參閱圖1，本發明立體影像產生裝置100，包含一儲存單元11、一輸入單元12、一眼動追蹤單元13，及一處理單元14。
該儲存單元11儲存多個對應於一第一視角的第一影像、多個對應於一第二視角且分別對應該等第一影像的第二影像、多個視差圖，及一相關於一顯示單元(圖未示)的單位面積上的像素數量的像素密度值，亦即每英寸像素(Pixels Per Inch,PPI)。每一視差圖對應於該等第一影像之其中一者與所對應之該第一影像對應 的第二影像，並包括多個分別對應多個像素點的視差值。在本實施例中，該第一視角為例如為一觀賞者左眼的視角，該第二視角為例如為該觀賞者右眼的視角。要特別說明的是，在本實施例中，每一視差圖是該處理單元14根據一相關於該第一影像且包括多個分別對應該等像素點的第一視差值的第一視差圖及一相關於該第二影像且包括多個分別對應該等像素點的第二視差值的第二視差圖而產生，該視差圖的每一像素點對應的視差值是取該像素點對應的第一視差值或第二視差值或是兩者的平均，由於本發明之特徵並不在於熟知此技藝者所已知的產生該第一視差圖及該第二視差圖的技術，故不多加贅述。
該輸入單元12用以回應於一經由該觀賞者的輸入操作，產生一第一常數值及一第二常數值。在本實施例中，該第一常數值為在負視差時，一觀賞距離除以一最大虛擬物件距離的值；該第二常數值為在正視差時，該觀賞距離除以該最大虛擬物件距離的值，其中，該觀賞距離為該觀賞者眼睛到該顯示單元的距離，該最大虛擬物件距離為該第一影像與該第二影像的虛擬物件與該顯示單元的最大距離。
該眼動追蹤單元13用以估測該觀賞者兩眼瞳孔的瞳孔距離，並感測該觀賞者之雙眼眼球的移動而產生相關於該觀賞者於該顯示單元的一注視位置的位置資訊，該眼動追蹤單元13例如為一眼 動儀(eye tracking system)。
該處理單元14電連接該儲存單元11、該輸入單元12，及該眼動追蹤單元13。
要特別注意的是，在其他實施例中，該立體影像產生裝置100不包含該輸入單元12，且該儲存單元11還儲存該第一常數值及該第二常數值。在另一其他實施例中，該立體影像產生裝置100不包含該眼動追蹤單元13，且該輸入單元12用以回應於該觀賞者的該輸入操作，不僅產生該第一常數值及該第二常數值，還產生該瞳孔距離及該位置資訊。且在其他實施例中，該眼動追蹤單元13用以感測該觀賞者之雙眼眼球的一旋轉角度而產生相關於該旋轉角度的眼球角度資訊，該處理單元14再根據該眼球角度資訊產生該位置資訊。
參閱圖1及圖2，說明了本發明立體影像產生裝置100如何執行本發明立體影像產生方法之一實施例，該實施例包含以下步驟。
在步驟201中，該處理單元14相關於該觀賞者的觀賞資料，該觀賞資料包括該瞳孔距離、該第一常數值，及該第二常數值，其中該處理單元14由該眼動追蹤單元13獲得該瞳孔距離，並由該輸入單元12獲得該第一常數值及該第二常數值。
在步驟202中，對於每一第一影像及每一對應該第一影 像的第二影像，該處理單元14在接收到來自該眼動追蹤單元13的該位置資訊後，根據該第一影像及該第二影像所對應的視差圖及該位置資訊，獲得一位於該位置資訊中之像素點所對應的一聚合處視差值。
要特別注意的是，在其他該立體影像產生裝置100不包含該輸入單元12的實施例中，在步驟201中，該處理單元14由該儲存單元11獲得該第一常數值及該第二常數值。在另一其他該立體影像產生裝置100不包含該眼動追蹤單元13的實施例中，在步驟201中，該處理單元14由該輸入單元12獲得該瞳孔距離、該第一常數值，及該第二常數值。在步驟202中，該處理單元14接收到來自該輸入單元12該位置資訊。
在步驟203中，對於每一第一影像及每一對應該第一影像的第二影像，該處理單元14根據該瞳孔距離、該第一常數值，及該像素密度獲得一視差上限值，且根據該瞳孔距離、該第二常數值，及該像素密度產生一視差下限值，該視差上限值係以下式表示：dmax=(Deye×PPI)/(Cmax+1)其中dmax代表該視差上限值，Deye代表該瞳孔距離，PPI代表該像素密度值，Cmax代表該第一常數值。
該視差下限值係以下式表示：dmin=-(Deye×PPI)/(Cmin+1) 其中dmin代表該視差下限值，Cmin代表該第二常數值。
需注意的是，在本實施例中，步驟203是在步驟202之後執行，但在其它實施例中，步驟203可以與步驟202同時執行，或在步驟202之前執行。
在步驟204中，對於每一第一影像及每一對應該第一影像的第二影像，該處理單元14根據該視差上限值、該視差下限值，及該聚合處視差值產生一轉換模型，該轉換模型係以下式表示：，dmin NT<d<dmax NT其中T(d)代表一轉換函式，df代表該聚合處視差值，dmin NT代表相關於該視差圖之該等視差值的一原始視差下限值，dmax NT代表相關於該視差圖之該等視差值的一原始視差上限值，erf[.]代表誤差函數(Error function)。
要再特別注意的是，在其他實施例中，該處理單元14不僅根據該視差上限值與該視差下限值，還根據該原始視差下限值及該原始視差上限值產生該轉換模型，且該轉換模型可以下式表示：T(ds)=As×ds×(dmax-dmin)/(dmax NT-dmin NT)+dmin，dmin NT<d<dmax NT，dmin NT<d<dmax NT，df-S<ds<df+S；T(dns)=Ans×dns×(dmax-dmin)/(dmax NT-dmin NT)+dmin，dmin NT<d<dmax NT，dmin NT<d<dmax NT，dmin NT<dns<df-S或df+S<dns<dmax NT 其中T(ds)代表一第一轉換函式，T(dns)代表一第二轉換函式，S代表一第一預定值，As代表一第二預定值，Ans代表一第三預定值，dmin NT代表該原始視差下限值，dmax NT代表該原始視差上限值，ds代表該觀賞者所注視該顯示單元的感興趣區域中所包含的像素點所對應的視差值，dns代表該感興趣區域以外的像素點所對應的視差值。
在步驟205中，對於每一第一影像及每一對應該第一影像的第二影像，該處理單元14根據該轉換模型，將該視差圖的該等視差值分別轉換成多個轉換後視差值，以獲得一轉換後的視差圖。藉由該轉換模型所獲得之轉換後的視差圖可強化該觀賞者所注視的感興趣區域中所包含的像素點所對應的視差值，並降低該觀賞者所注視的感興趣區域以外所包含的像素點所對應的視差值，以使得該觀賞者所注視之感興趣區域的立體感被強化，並抑制非感興趣區域的立體感，此外，不論是感興趣區域之像素點所對應的視差值，還是非感興趣區域之像素點所對應的視差值，皆會落在該視差下限值與該視差上限值所界定出的範圍間，進而達成良好舒適的立體觀賞體驗。
在步驟206中，對於每一第一影像及每一對應該第一影像的第二影像，該處理單元14根據該轉換後的視差圖將該第一影像及該第二影像合成為一立體影像。
綜上所述，本發明立體影像產生方法及其裝置，該處理單元14獲得該觀賞資料，並對於每一第一影像及每一第二影像，該處理單元14在接收該位置資訊後，該處理單元14根據該視差圖與該位置資訊獲得該聚合處視差值，並至少根據該觀賞資料與該聚合處視差值產生該轉換模型，再根據該轉換模型獲得該轉換後的視差圖，最後根據該轉換後的視差圖將該第一影像及該第二影像合成為一立體影像，藉此在每一立體影像的合成中，即時地根據該觀賞者的不同觀賞條件(亦即，不同的注視位置)來將該第一影像及該第二影像合成為優化後的該立體影像，故確實能達成本發明的目的。
惟以上所述者，僅為本發明的實施例而已，當不能以此限定本發明實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。

Claims (14)

  1. 一種立體影像產生方法，由一處理單元來實施，該處理單元電連接一儲存單元，該儲存單元儲存多個對應於一第一視角的第一影像、多個對應於一第二視角且分別對應該等第一影像的第二影像、多個視差圖，及一相關於一顯示單元的單位面積上的像素數量的像素密度值，每一視差圖對應於該等第一影像之其中一者與所對應之該第一影像對應的第二影像，並包括多個分別對應多個像素點的視差值，該立體影像產生方法包含以下步驟：(A)獲得相關於一觀賞者的觀賞資料，該觀賞資料包括一相關於該觀賞者兩眼瞳孔的瞳孔距離、一第一常數值，及一第二常數值；(B)對於每一第一影像及每一對應該第一影像的第二影像，在接收到相關於該觀賞者於該顯示單元的一注視位置的位置資訊後，根據該第一影像及該第二影像所對應的視差圖及該位置資訊，獲得位於該位置資訊中之像素點所對應的一聚合處視差值；(C)對於每一第一影像及每一對應該第一影像的第二影像，至少根據該觀賞資料及該聚合處視差值產生一轉換模型，步驟(C)包括以下子步驟：(C-1)對於每一第一影像及每一對應該第一影像的第二影像，根據該觀賞資料的該瞳孔距離、該第一常數值，及該像素密度獲得一視差上限值，且根據 該觀賞資料的該瞳孔距離與該第二常數值及該像素密度產生一視差下限值，及(C-2)對於每一第一影像及每一對應該第一影像的第二影像，至少根據該視差上限值、該視差下限值，及該聚合處視差值產生該轉換模型；(D)對於每一第一影像及每一對應該第一影像的第二影像，根據該轉換模型，將該視差圖的該等視差值分別轉換成多個轉換後視差值，以獲得一轉換後的視差圖；及(E)對於每一第一影像及每一對應該第一影像的第二影像，根據該轉換後的視差圖將該第一影像及該第二影像合成為一立體影像。
  2. 如請求項1所述的立體影像產生方法，該處理單元還電連接一眼動追蹤單元，該儲存單元還儲存該第一常數值及該第二常數值，其中，在步驟(A)中，該處理單元接收來自該眼動追蹤單元所估測的該瞳孔距離，以獲得該觀賞資料中的該瞳孔距離，並自該儲存單元獲得該觀賞資料的該第一常數值及該第二常數值，且在步驟(B)中，該處理單元接收來自該眼動追蹤單元的該位置資訊。
  3. 如請求項1所述的立體影像產生方法，該處理單元還電連接一輸入單元，其中，在步驟(A)中，該處理單元接收來自該輸入單元所產生的該觀賞資料，以獲得該觀賞資料，在步驟(B)中，該處理單元接收來自該輸入單元所產生的該位置資訊。
  4. 如請求項1所述的立體影像產生方法，該處理單元還電連接一眼動追蹤單元及一輸入單元，在步驟(A)中，該處理單元接收來自該眼動追蹤單元所估測的該瞳孔距離，以獲得該觀賞資料中的該瞳孔距離，並接收來自該輸入單元所產生的該第一常數值及該第二常數值，以獲得該觀賞資料中的該第一常數值及該第二常數值，在步驟(B)中，該處理單元接收來自該眼動追蹤單元的該位置資訊。
  5. 如請求項1所述的立體影像產生方法，其中，在步驟(C-1)中，該視差上限值係以下式表示：dmax=(Deye×PPI)/(Cmax+1)，其中dmax代表該視差上限值，Deye代表該瞳孔距離，PPI代表該像素密度值，Cmax代表該第一常數值；該視差下限值係以下式表示：dmin=(Deye×PPI)/(Cmin+1)，其中dmin代表該視差下限值，Cmin代表該第二常數值。
  6. 如請求項5所述的立體影像產生方法，其中，在步驟(C-2)中，該轉換模型係以下式表示：，dmin NT<d<dmax NT，其中T(d)代表一轉換函式，df代表該聚合處視差值，dmin NT代表相關於該視差圖之該等視差值的一原始視差下限值，dmax NT代表相關於該視差圖之該等視差值的一原始視差上限值，erf[.]代表誤差函數。
  7. 如請求項5所述的立體影像產生方法，其中，在步驟(C-2)中，不僅根據該視差上限值與該視差下限值，還根據一相關於該視差圖的原始視差下限值及一相關於該視差圖的原始視差上限值產生該轉換模型，該轉換模型係以下式表示：T(ds)=As×ds×(dmax-dmin)/(dmax NT-dmin NT)+dmin，dmin NT<d<dmax NT，dmin NT<d<dmax NT，df-S<ds<df+S；T(dns)=Ans×dns×(dmax-dmin)/(dmax NT-dmin NT)+dmin，dmin NT<d<dmax NT，dmin NT<d<dmax NT，dmin NT<dns<df-S或df+S<dns<dmax NT，其中T(ds)代表一第一轉換函式，T(dns)代表一第二轉換函式，S代表一第一預定值，As代表一第二預定值，Ans代表一第三預定值，df代表該聚合處視差值，dmin NT代表該原始視差下限值，dmax NT代表該原始視差上限值。
  8. 一種立體影像產生裝置，包含：一儲存單元，儲存多個對應於一第一視角的第一影像、多個對應於一第二視角且分別對應該等第一影像的第二影像、多個視差圖，及一相關於一顯示單元的單位面積上的像素數量的像素密度值，每一視差圖對應於該等第一影像之其中一者與所對應之該第一影像對應的第二影像，並包括多個分別對應多個像素點的視差值；一處理單元，電連接該儲存單元，用以獲得相關於 一觀賞者的觀賞資料，該觀賞資料包括一相關於該觀賞者兩眼瞳孔的瞳孔距離、一第一常數值及一第二常數值，並對於每一第一影像及每一對應該第一影像的第二影像，在接收到相關於該觀賞者於該顯示單元的一注視位置的位置資訊後，根據該第一影像及該第二影像所對應的視差圖及該位置資訊，獲得一位於該位置資訊中之像素點所對應的一聚合處視差值，且至少根據該觀賞資料的該瞳孔距離、該第一常數值，及該像素密度獲得一視差上限值，並根據該觀賞資料的該瞳孔距離與該第二常數值及該像素密度產生一視差下限值，至少根據該視差上限值、該視差下限值，及該聚合處視差值產生一轉換模型，再根據該轉換模型，將該視差圖的該等視差值分別轉換成多個轉換後視差值，以獲得一轉換後的視差圖，最後根據該轉換後的視差圖將該第一影像及該第二影像合成為一立體影像。
  9. 如請求項8所述的立體影像產生裝置，還包含一電連接該處理單元的眼動追蹤單元，該眼動追蹤單元用以估測該觀賞者兩眼瞳孔的瞳孔距離，並感測該觀賞者之雙眼眼球的移動而產生該位置資訊，該儲存單元還儲存該觀賞資料的該第一常數值及該第二常數值，該處理單元係藉由接收來自該眼動追蹤單元所估測的該瞳孔距離，以獲得該觀賞資料中的該瞳孔距離，並自該儲存單元獲得該觀賞資料的該第一常數值及該第二常數值，且該處理單元接收來自該眼動追蹤單元的該位置資訊。
  10. 如請求項8所述的立體影像產生裝置，還包含一電連接該處理單元的輸入單元，該輸入單元用以回應於一經由該觀賞者的輸入操作，產生該觀賞資料及該位置資訊，該處理單元係藉由接收來自該輸入單元所產生的該觀賞資料，以獲得該觀賞資料，並接收來自該輸入單元所產生的該位置資訊。
  11. 如請求項8所述的立體影像產生裝置，還包含一電連接該處理單元的眼動追蹤單元及一電連接該處理單元的輸入單元，該眼動追蹤單元用以估測該觀賞者兩眼瞳孔的瞳孔距離，並感測該觀賞者之雙眼眼球的移動而產生該位置資訊，該輸入單元用以回應於一經由該觀賞者的輸入操作，產生該觀賞資料的該第一常數值及該第二常數值，該處理單元係藉由接收來自該眼動追蹤單元所估測的該瞳孔距離，以獲得該觀賞資料中的該瞳孔距離，並接收來自該輸入單元所產生的該第一常數值及該第二常數值，以獲得該觀賞資料的該第一常數值及該第二常數值，且該處理單元接收來自該眼動追蹤單元的該位置資訊。
  12. 如請求項8所述的立體影像產生裝置，其中，該視差上限值係以下式表示：dmax=(Deye×PPI)/(Cmax+1)，其中dmax代表該視差上限值，Deye代表該瞳孔距離，PPI代表該像素密度值，Cmax代表該第一常數值；該視差下限值係以下式表示： dmin=(Deye×PPI)/(Cmin+1)，其中dmin代表該視差下限值，Cmin代表該第二常數值。
  13. 如請求項12所述的立體影像產生裝置，其中，該轉換模型係以下式表示：，dmin NT<d<dmax NT，其中T(d)代表一轉換函式，df代表該聚合處視差值，dmin NT代表相關於該視差圖之該等視差值一的原始視差下限值，dmax NT代表相關於該視差圖之該等視差值一的原始視差上限值，erf[.]代表誤差函數。
  14. 如請求項12所述的立體影像產生裝置，其中，還根據一相關於該等視差值的原始視差下限值及一相關於該等視差值的原始視差上限值產生該轉換模型，該轉換模型係以下式表示：T(ds)=As×ds×(dmax-dmin)/(dmax NT-dmin NT)+dmin，dmin NT<d<dmax NT，dmin NT<d<dmax NT，df-S<ds<df+S；T(ds)=Ans×dns×(dmax-dmin)/(dmax NT-dmin NT)+dmin，dmin NT<d<dmax NT，dmin NT<d<dmax NT，dmin NT<dns<df-S或df+S<dns<dmax NT，其中T(ds)代表一第一轉換函式，T(dns)代表一第二轉換函式，S代表一第一預定值，As代表一第二預定值，Ans代表一第三預定值，df代表該聚合處視差值，dmin NT代表該原 始視差下限值，dmax NT代表該原始視差上限值。
TW106116269A 2017-05-17 2017-05-17 立體影像產生方法及其裝置 TWI628619B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW106116269A TWI628619B (zh) 2017-05-17 2017-05-17 立體影像產生方法及其裝置
CN201710611821.2A CN109246411B (zh) 2017-05-17 2017-07-25 立体图像产生方法及其装置
US15/980,535 US10341635B2 (en) 2017-05-17 2018-05-15 Stereoscopic imaging method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106116269A TWI628619B (zh) 2017-05-17 2017-05-17 立體影像產生方法及其裝置

Publications (2)

Publication Number Publication Date
TWI628619B true TWI628619B (zh) 2018-07-01
TW201901623A TW201901623A (zh) 2019-01-01

Family

ID=63640562

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106116269A TWI628619B (zh) 2017-05-17 2017-05-17 立體影像產生方法及其裝置

Country Status (3)

Country Link
US (1) US10341635B2 (zh)
CN (1) CN109246411B (zh)
TW (1) TWI628619B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101750746A (zh) * 2008-12-05 2010-06-23 财团法人工业技术研究院 立体影像显示器
CN105306919A (zh) * 2014-06-03 2016-02-03 宏碁股份有限公司 立体图像合成方法及装置
CN105320271A (zh) * 2014-07-10 2016-02-10 精工爱普生株式会社 利用直接几何建模的头戴式显示器校准
CN105629487A (zh) * 2015-12-31 2016-06-01 京东方科技集团股份有限公司 一种视差装置及3d显示设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8094927B2 (en) 2004-02-27 2012-01-10 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
US7899321B2 (en) * 2009-03-23 2011-03-01 James Cameron Stereo camera with automatic control of interocular distance
US8711204B2 (en) 2009-11-11 2014-04-29 Disney Enterprises, Inc. Stereoscopic editing for video production, post-production and display adaptation
JP2012054862A (ja) * 2010-09-03 2012-03-15 Sony Corp 画像処理装置および画像処理方法
US20130016187A1 (en) * 2011-07-14 2013-01-17 Texas Instruments Incorporated Method and apparatus for auto-convergence for stereoscopic images and videos
JP5791818B2 (ja) 2011-11-01 2015-10-07 コーニンクレッカ フィリップス エヌ ヴェ 突出ベース視差マッピング
US8937644B2 (en) * 2012-03-21 2015-01-20 Canon Kabushiki Kaisha Stereoscopic image capture
CN102802015B (zh) * 2012-08-21 2014-09-10 清华大学 一种立体图像视差优化方法
CN103813148A (zh) * 2012-11-13 2014-05-21 联咏科技股份有限公司 三维立体显示装置及其方法
US9118911B2 (en) 2013-02-07 2015-08-25 Delphi Technologies, Inc. Variable disparity three-dimensional (3D) display system and method of operating the same
US9317958B2 (en) * 2013-03-07 2016-04-19 Mediatek Inc. Auto-convergence system with active learning and related method and machine-readable medium thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101750746A (zh) * 2008-12-05 2010-06-23 财团法人工业技术研究院 立体影像显示器
CN105306919A (zh) * 2014-06-03 2016-02-03 宏碁股份有限公司 立体图像合成方法及装置
CN105320271A (zh) * 2014-07-10 2016-02-10 精工爱普生株式会社 利用直接几何建模的头戴式显示器校准
CN105629487A (zh) * 2015-12-31 2016-06-01 京东方科技集团股份有限公司 一种视差装置及3d显示设备

Also Published As

Publication number Publication date
CN109246411B (zh) 2020-06-09
US20180338133A1 (en) 2018-11-22
TW201901623A (zh) 2019-01-01
US10341635B2 (en) 2019-07-02
CN109246411A (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
JP7094266B2 (ja) 単一深度追跡型の遠近調節－両眼転導ソリューション
TWI523488B (zh) 處理包含在信號中的視差資訊之方法
JP5515301B2 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
CN105894567B (zh) 放缩三维场景中的用户控制的虚拟对象的像素深度值
US9154762B2 (en) Stereoscopic image system utilizing pixel shifting and interpolation
US20140036038A1 (en) Automated stereoscopic computer-animation techniques for determining scaled stereo parameters
KR20150121127A (ko) 양안 응시 이미징 방법 및 장치
WO2018010677A1 (zh) 一种信息处理方法、穿戴式电子设备、处理装置及***
JP5396877B2 (ja) 画像処理装置、プログラム、画像処理方法、および記録方法
JP2011205195A (ja) 画像処理装置、プログラム、画像処理方法、椅子および観賞システム
TWI589150B (zh) ３ｄ自動對焦顯示方法及其系統
JP2010226390A (ja) 撮像装置および撮像方法
WO2014038476A1 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
TWI628619B (zh) 立體影像產生方法及其裝置
US20220286658A1 (en) Stereo image generation method and electronic apparatus using the same
JP2010226391A (ja) 画像処理装置、プログラムおよび画像処理方法
JP2009500878A (ja) 奥行錯覚デジタル撮像
EP4030752A1 (en) Image generation system and method
US20240012472A1 (en) Vergence based gaze matching for mixed-mode immersive telepresence application
TWI502960B (zh) 二維轉三維轉換裝置及其方法
JP2023113484A (ja) 画像処理装置、画像処理方法およびプログラム
Wang et al. Comfortable Disparity Modification for Existing DIBR Systems.
JP2024062935A (ja) 立体視表示コンテンツを生成する方法および装置
Lin Controlling depth perception of stereoscopic images under given constraints
CN116567191A (zh) 一种面向舒适度提升的立体视觉内容视差调节方法