TW201011689A - Stereoscopic image generation device, stereoscopic image generation method and program - Google Patents

Stereoscopic image generation device, stereoscopic image generation method and program Download PDF

Info

Publication number
TW201011689A
TW201011689A TW098118610A TW98118610A TW201011689A TW 201011689 A TW201011689 A TW 201011689A TW 098118610 A TW098118610 A TW 098118610A TW 98118610 A TW98118610 A TW 98118610A TW 201011689 A TW201011689 A TW 201011689A
Authority
TW
Taiwan
Prior art keywords
image
eyes
eye
display surface
binocular
Prior art date
Application number
TW098118610A
Other languages
English (en)
Inventor
Kazuhiko Ueda
Masami Ogata
Yasunari Hatasawa
Shinichiro Gomi
Yusuke Nakamura
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201011689A publication Critical patent/TW201011689A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/373Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Description

201011689 .、 六、發明說明: 【發明所屬之技術領域】 本發明係關於立體圖像產生裝置,特別係關於由非立體 圖像產生立體視覺圖像之立體圖像產生裝置、及其處理方 法以及使電腦執行該方法之程式。 【先前技術】 近年來,顯示裝置之大型化或廣角化係持續進行,且已 逐漸可施行比以往更高臨場感之圖像顯示。但,在以往之 _ 顯示裝置中,係讓人們強制感覺到圖像位於顯示裝置之顯 示面上,而有陰影及構圖等之感覺性的立體視覺要素所產 生之立體感受到阻礙之虞。一般認為此係由於受到從雙眼 感覺顯示裝置之顯示面時之輻輳角之變化,及雙眼視差引 起之歪斜等之由生理的立體視覺要素產生的影響所致。 作為用於除去此種生理的立體視覺要素之影響之光學的 裝置’已知有所謂共觀斜視鏡(Syn〇pter)之立體視鏡。共 觀斜視鏡係藉由組合半反射鏡,將在同一位置所接受之光 • 分別供應至雙眼之立體視鏡。已知依據此共觀斜視鏡,雙 眼之祝網膜影像係為相同’對於非立體圖像可提供立體視 覺的深度(例如參照非專利文獻1)。 [先前技術文獻] [非專利文獻1] [非專利文獻]Jan J Koenderink及其他著「On so-called paradoxical monocular stereoscopy」,perception,Pion Publication(英國),_ 1994年,第 23卷,p.583-594。 138322.doc 201011689 【發明内容】 [發明所欲解決之問題] 如此,依據共觀斜視鏡等之光學的裝置,藉由除去生理 的立體視覺要素之影響而使雙眼之視網膜影像相同,可由 非立體圖像獲得立體視覺的深度。依據此種光學的裝置, 可藉由簡易之機構實現立體視覺,但相反地,在顯示裝置 侧卻無自由度,難以獲得進一步之視覺效果。 因此,在本發明中,係以藉由圖像處理而除去生理的立 體視覺要素之影響為其目的。 [解決問題之技術手段] 本發明係為解決上述問題而發明者,其第〗側面係一種 立體圖像產生裝置、其立體圖像產生方法或程式,而該立 體圖像產生裝置包含:圓筒面投影部,其係對含有接於雙 眼之假想圓之圓筒面投影2維輸入圖像而產生圓筒圖像; 及顯示面投影部,其係以上述雙眼之各眼為基準,對顯示 面投影上述圓筒圖像而產生投射於上述雙眼之各眼之顯示 圖像。藉此,可帶來將同一視網膜影像供應至雙眼之各 眼,而除去由生理的立體視覺要素所生之影響之作用。 又,在此第1側面中,上述假想圓之半徑也可依照所想 定之觀察距離或顯示尺寸而設定。藉此,可帶來顯示適於 觀察距離或顯示尺寸之圖像之作用。在此情形中,於此第 1側面中也可進一步包含觀察距離測定部,其係測定上述 顯不面與觀察位置之距離;上述假想圓之半徑也可依照上 述觀察距離測定部所測定之觀察距離而設定。藉此,可帶 138322.doc 201011689 來顯示適於所測定之觀察距離之圖像之作用。 又’在此第1側面中,上述假想圓之半徑也可以設定為 使上述顯示圖像之歪度小於特定之臨限值。藉此,可帶來 在可容許歪斜之範圍内顯示圖像之作用。 又,在此第1側面中,也可進一步包含:深度資訊(depth information)產生部,其係由上述2維輸入圖像產生深度資 訊;及深度資訊合成部,其係將上述深度資訊合成於上述 圓筒圖像;上述顯示面投影部也可對顯示面投影合成有上 述深度資訊之圓筒圖像而產生上述顯示圖像。藉此,可帶 來顯示進一步增強立體感之圖像之作用。 又,本發明之第2側面係一種立體圖像產生裝置、其立 體圖像產生方法或程式’而該立體圖像產生裝置包含:照 射面投影部,其係對與雙眼之各眼之視線正交之2維平面 投景> 2維輸入圖像而產生對應於雙眼之各眼之照射圖像; 及顯示面投影部,其係以上述雙眼之各眼為基準,對顯示 參 面投影對應之上述照射圖像而產生投射於上述雙眼之各眼 之顯示圖像。藉此’可帶來將同一視網膜影像供應至雙眼 之各眼,而除去由生理的立體視覺要素所生之影響之作 用。 又,在此第2侧面中,上述照射圖像之位置也可依照所 想定之觀察距離而設定。藉此,可帶來顯示適於觀察距離 之圖像之作用。在此情形,也可進一步包含觀察距離測定 部,其係測定上述顯示面與觀察位置之距離;上述照射圖 像之位置也可依照由上述觀察距離測定部所測定之觀察距 138322.doc 201011689 離而設定。藉此,可帶來顯示適於所測定之觀察距離之圖 像之作用。 又,本發明之第3側面係以由顯示面投影於右眼及左眼 之各眼的影像成為相同之方式,轉換2維輸入圖像而分別 產生右眼圖像及左眼圖像之立體圖像產生裝置、其立體圖 像產生方法或程式。藉此,可帶來將同一視網膜影像供應 至雙眼之各眼,而除去由生理的立體視覺要素所生之影響 之作用。 [發明之效果] β 依據本發明,可發揮藉由圖像處理而除去生理的立體視 覺要素之影響之優異之效果。 【實施方式】 其次,參照圖式詳細說明有關本發明之實施型態。 圖1係表示本發明之實施型態之立體圖像產生裝置之一 構成例之圖。此立體圖像產生裝置係包含圖像信號輸入部 li〇、信號處理部120、三維轉換部130、參數設定部140、 觀察距離測定部1 50、後處理部1 60、格式轉換部170、來 · 源選擇部1 80、及顯示部190。 圖像信號輸入部110係用於受理非立體圖像之圖像信號 輸入。所輸入之非立體圖像並不限定於靜止畫,也可為動 晝。作為非立體圖像之來源機器,可想定有電視廣播接收 機、影像再生裝置(播放器)或攝像裝置(攝錄放影機: CAMeraandreCORDER)等。 k號處理部120係用於對所輪入之非立體圖像施行特定 138322.doc 201011689 之信號處理》作為信號處理,例如,可想定有白平衡調 節、雜訊減輕處理、位準修正處理及γ修正處理等。 ** 二維轉換部13〇係本發明之特徵的部分,用於將二維之 非立體圖像轉換成三維。藉由此三維轉換部13〇之三維轉 換處理,產生依據非立體圖像之三維圖像。作為此三維圖 像,例如,可獲得右眼用之圖像及左眼用之圖像。 參數設定部140係用於設定三維轉換部13〇之三維轉換處 理所需之參數。作為此種參數,例如,可想定有用以特定 ® 後述之雙眼視界圓之半徑等。 觀察距離測定部150係用於測定顯示部19〇與視聽者之觀 察位置之間之距離。依據此觀察距離測定部! 5 〇所測定之 觀察距離,可施行三維轉換部13〇之三維轉換處理。但, 也可不實測觀察距離而使用預先想定之觀察距離。 後處理部160係用於對三維轉換部13〇之三維轉換處理所 得之三維圖像,施行防止疊影(aliasing)之後處理。例如, 參 想定在顯示部190,於各線交互顯示左眼用之圖像及右眼 用之圖像時,有顯示疊影產生之階梯狀之鋸齒紋(jaggy)2 虞。為防止此現象’後處理部160在垂直方向設置濾波器 使圖像之變化變得平滑。 格式轉換部1 70係用於將三維圖像轉換成顯示部190之對 應之格式。格式轉換部170可配合顯示部19〇之對應之格 式’將左眼用之圖像及右眼用之圖像轉換成在各線交互配 置。 來源選擇部180係用於選擇應顯示之圖像作為來源。 138322.doc 201011689 即’此來源選擇部180係在直接顯示非立體圖像之情形, 選擇信號處理部120之輸出’在顯示立體視覺之三維圖像 之情形,選擇格式轉換部17〇之輸出。 顯示部19〇係顯示圖像之顯示器。在此,作為顯示部 190,雖以具有顯示立體視覺用之三維圖像之功能為前 提’但該功能之實現手段並無特別限定。例如,如日本特 開號2002_365593公報所記載,可考慮每隔1線配設分割波 長板,將來自顯示畫面之偶數線與奇數線之直線偏光變成 互相正交之光,使相異之圖像之光入射於雙眼。 圖2係表示本發明之實施型態之三維轉換部130之第1實 施例之圖。此三維轉換部130之第1實施例係包含雙眼視界 面圖像投影部3 11、顯示面右眼投影部3丨6、及顯示面左眼 投影部3 1 7 » 雙眼視界面圖像投影部3丨丨係用於將由信號處理部i 2 〇經 信號線129所供應之非立體圖像投影在含雙眼視界圓 (horopter)之圓筒面。已知所謂雙眼視界圓,係接觸雙眼之 圓周’對此雙眼視界圓之點之雙眼視網膜影像會變得相 同。將此圓筒面稱為雙眼視界面,將投影於雙眼視界面之 圖像稱為雙眼視界圖像D又’雙眼之視線之交點稱為輻輳 點’其形成之角稱為輻輳角或圓周角。在雙眼視界圓上, 輻輳角相等。在本第1實施例中,利用雙眼視界圓資訊特 定雙眼視界圓之大小。又,利用雙眼間距離「2a」特定與 雙眼之相對的關係位置。此等雙眼視界圓資訊及雙眼間距 離「2a」係經由信號線149而由參數設定部140被供應。 138322.doc 201011689 又,以下,作為雙眼視界圓資訊,利用半徑「r」特定雙 眼視界圓之大小,但也可利用雙眼中心至雙眼視界圓之頂 點之距離或圓周角等特定雙眼視界圓之大小。又,雙眼視 界面圖像投影部3 11係申請專利範圍所記載之圓筒面投影 部之一例。 顯示面右眼投影部3 16係用於將雙眼視界圖像投影於右 眼用之顯示面。顯示面左眼投影部3丨7係用於將雙眼視界 圖像投影於左眼用之顯示面。顯示面右眼投影部3丨6及顯 示面左眼投影部3 1 7係依據雙眼間距離「2a」、雙眼視界圓 之半徑「r」、想定之觀察距離「d」施行對右眼用及左眼 用之顯示面之投影。投影於右眼用之顯示面之圖像稱為右 眼圖像’投影於左眼用之顯示面之圖像稱為左眼圖像。此 等右眼圖像及左眼圖像係經由信號線139被供應至後處理 部1 60。又’顯示面右眼投影部3丨6及顯示面左眼投影部 3 17係申請專利範圍所記載之顯示面投影部之一例。 圖3係表示本發明之實施型態之三維轉換部丨3 〇之第1實 施例之對雙眼視界面之投影之一態樣之圖。雙眼視界圓 520係通過右眼511、左眼512、輻輳點531(頂點)或532之 圓。在此’想定右眼5 11及左眼5 12係由雙眼之中央各相距 「a」。即’雙眼間距離為「2a」。又,雙眼視界圓520之半 徑為「r」。 對雙眼視界圓520上之點之右眼5 11及左眼512之雙眼視 網膜影像相同。此係由於以雙眼視界圓520上之點作為輻 輳點之情形之輻辏角常相等之故。例如,對輻輳點53 1之 138322.doc 201011689 輻輳角533、與對輻輳點532之輻輳角534相等。對含此種 雙眼視界圊520之圓筒面(雙眼視界面)投影非立體圖像作為 雙眼視界圖像530,藉此,可在右眼511及左眼5 12形成無 雙眼視差之同一視網膜影像。 圖4係表示本發明之實施型態之三維轉換部13〇之第工實 施例之對雙眼視界面之投影之具體例之圖。 圖4(a)表示由信號處理部12〇經信號線i 29被供應之輸入 圖像I(p,q)之座標系。輸入圖像係非立體圖像,故使用二 維之座標系。座標系之原點設定於輸入圖像之中央點。 又,輸入圖像大小(寬度)係想定為「2L」。 圖4(b)係表示投影雙眼視界圖像530之雙眼視界面之座 標系。雙眼視界面呈現三維,故在此使用(x,y,z)之三維 座標系。座標系之原點設定於雙眼視界圓520之中心。圖 4(b)係由對雙眼視界面之垂直方向,即y軸之垂直方向所見 之圖。 此時’雙眼視界圖像H(X,y, Z)係將輸入圖像I(p,q)投影 於半徑r之雙眼視界圓之圖像,可由下式表示: H(x, y, ζ)=Ι((π/2-ψ)xr, y) 但, z2+x2=r2 i^taiT'z/x)。 又’在此’輸入圖像大小(寬度)「2L」雖想定為與顯示 面大小(寬度)等倍,但也可在前段設置將輸入圖像比例調 整之功能’藉以變更圖像之物理大小。 138322.doc •10· 201011689 圖5係表示本發明之實施型態之三維轉換部13〇之第1實 施例之對顯示面之投影之一態樣之圖。 在此,考慮將雙眼視界圓520上之輻輳點532投影於顯示 面540。由輻輳點532形成於右眼5 u之像係在顯示面5如上 顯示於顯不位置541。另一方面,由輻輳點532形成於左眼 5 12之像係在顯示面54〇上顯示於顯示位置542。即即使 為同一雙眼視界圖像53〇,應顯示於顯示面54〇之圖像基本 上在右眼5 11與左眼5 12也會呈現相異之圖像。 圖ό係表示本發明之實施型態之三維轉換部13〇之第1實 施例之對顯示面之投影之具體例之圖。 圖6(a)係表示雙眼視界面及顯示面之座標系。在此,雖 使用(X, y,ζ)之三維座標系,但異於圖4(勾之情形,巧平面 上之原點位置係設定於右眼511與左眼512之中間點。在 此’此座標系之原點與雙眼視界圓520之中心之距離〇為: c^i^-a2)1’2。 圖6(b)係表示投影於顯示面之顯示圖像J(s,〇之座標系。 顯示圖像係就右眼511與左眼5 12之各眼中所獲得。由於分 別為二維圖像,故使用二維座標系。座標系之原點係設定 於顯示圖像之中央點。 此時,由右眼511通過雙眼視界圖像上之位置h(X(),y<), z〇)而投影之顯示面540上之位置D(Xr,yR,Zr)可由下式提 供。 d(xr, Yr, Zr)=J(xRs yR)=H(x〇, y〇, z〇) 又,因與視聽者之觀察位置之間之距離為觀察距離d, 138322.doc 201011689 故ZR==d,以下之式成立: (x〇-a)/(xR-a)=y〇/yR=z〇/d x〇2+(z〇-c)2=r2 z〇>0 藉此,可由位置Η(χ0, yG, Zg)求得應投影於顯示面540上 之位置D(xR, yr,zR)之圖像。即’可由《Xr, yR,Zr}求得{x〇, y〇,z〇}。 又’在此,雖說明有關由右眼5 11所投影之位置D(Xr, Yr,zR),但由左眼512通過雙眼視界圖像上之位置h(x〇,y〇, z〇)而投影之顯示面540上之位置D(xL, yL,Zl)也可同樣求 得。 又,在此,雖列舉利用半徑「r」特定雙眼視界圓之大 小之例,但如上所述,也可利用由雙眼中心至雙眼視界圓 之頂點之距離及圓周角等特定雙眼視界圓之大小。由雙眼 中心至輻輳點之距離f可由下式提供。 f=r+c =r+(r2-a2)1/2 將r向左邊移動而使兩邊自乘時,成為: f2-2rf+r2=r2-a2 r=(f2+a2)/2f 可由雙眼中心至輻輳點之距離「f」與雙眼間距離 「2a」求得半徑「r」。有關圓周角與半徑之關係,將在其 次之實施例(圖1 5)中予以說明。 圖7係表示本發明之實施型態之三維轉換部丨3 〇之第1實 138322.doc -12· 201011689 施例之處理順序例之圖。 首先’由信號處理部120經信號線129輸入輸入圖像I(p, q)時(步驟S911),輸入圖像I(p, q)被投影至雙眼視界面作 為雙眼視界圖像H(x,y, z)(步驟S912)。又,步驟S912係申 請專利範圍所記載之圓筒面投影順序之一例。 而’就右眼及左眼之各眼以如以下之方式產生顯示圖像 (環路L901)。首先,對由右眼511通過雙眼視界圖像上之 位置H(x〇,yQ,ZQ)而投影之顯示面54〇上施行透視轉換,獲 得三維上之位置D(xR,yR,Zr)(步驟S913)。而,由此三維上 之位置獲得顯示面之二維之顯示圖像J(XR,yR)(步驟 S914)。同樣地’對由左眼512通過雙眼視界圖像上之位置 H(x〇,yQ,z〇)而投影之顯示面540上施行透視轉換,獲得三 維上之位置D(xL,yL,Zl)(步驟S913)。而,由此三維上之位 置獲得顯示面之二維之顯示圖像j(Xl,九)(步驟S914)。 又’步驟S913及S914係申請專利範圍所記載之顯示面投影 順序之一例。 如此’在本發明之實施型態之三維轉換部13〇之第1實施 例中’對雙眼視界圓資訊所特定之雙眼視界圓520投影非 立體圖像作為雙眼視界圖像。而,藉由將雙眼視界圖像投 影於實測或推定之觀察距離之顯示面,可產生對右眼5丄j 及左眼512之立體圖像。 圖8係表示本發明之實施型態之三維轉換部13〇之第2實 施例之圖。此三維轉換部π〇之第2實施例係包含雙眼視界 面圖像投影部321、輻輳點設定部322、顯示面右眼投影部 138322.doc •13· 201011689 326、及顯示面左眼投影部327。 雙眼視界面圖像投影部321係與雙眼視界面圖像投影部 311同樣用於將由信號處理部120經信號線129所供應之非 立體圖像投影在含雙眼視界圓之圓筒面。在此第2實施例 中,利用依據輻輳點設定部322所設定之輻輳點之半徑 「r」特定雙眼視界圓。又,雙眼視界面圖像投影部321係 申請專利範圍所記載之圓筒面投影部之一例。 輻輳點設定部322係用於設定輻輳點而供應依據此輻輳 點之半徑「r」。此輻輳點設定部322係藉由雙眼間距離 「2a」、觀察距離「d」、顯示面大小「2M」及輸入圖像大 小「2L」設定輻輳點。 顯示面右眼投影部326及顯示面左眼投影部327係與第1 實施例同樣用於將雙眼視界圖像投影於右眼用或左眼用之 顯示面。又’顯示面右眼投影部326及顯示面左眼投影部 3 2 7係申請專利範圍所記載之顯示面投影部之一例。 圖9係表示雙眼視界圓之大小與輻輳點之位置之關係之 圖。雙眼視界圓係單一意義地由雙眼間距離及半徑所特 定。因此,未固定半徑之情形,如同圖所示,可想定幾種 通過雙眼之雙眼視界圓。一般,愈接近於輻輳點時,輕輳 角愈寬,半徑愈小。 在此’將輸入圖像大小固定後,投影在雙眼視界圓時, 如同圖所示,可知在顯示面之大小(寬度)因各雙眼視界圓 而異。即,如雙眼視界圓521所示,輻輳點愈近時,顯示 面之大小(寬度)愈寬’如雙眼視界圓522所示,輻輳點愈遠 138322.doc •14. 201011689 時,顯示面之大小(寬度)愈小。因此,基於在顯示面滿滿 地顯示輸入圖像之目的,在本第2實施例中,由顯示面上 之投影大小反算而設定雙眼視界圓之輻輳點。 圖10係表示本發明之實施型態之三維轉換部i30之第2實 施例之對雙眼視界面之投影之一態樣之圖。在此,首先, 考慮假設輸入圖像大小(寬度)為「2L」,投影於顯示面上 之大小(寬度)「2m」應以何種公式表示。 在雙眼視界圓之内部,想定由長度p,q,r之各邊形成之 直角三角形時,p及q係以下式表示: p=r · εϊηφ q^r cost)) 在此’角度φ係長度q及r之兩邊形成之角。此角度ψ係以 下式表示: Φ = (ί/(2πΓ)) · 2π=ί/Γ 又’投影於顯示面上之大小(寬度)「2ηι」中’假設通過 上述之直角三角形之部分為X’其右部分為y。從直角三角 形之相似關係,得: P : x=q · (d-c) 因此,x可由下式提供: X=P · (d-c)/q 又,從頂點T之直角三角形之相似關係,知. t . a=(t+c) : s t . a=(t+c+q) : p 因此’ s可由下式獲得: 138322.doc • 15- 201011689 s=((p-a)/(a * (c+q))) . ((a . (c+q)/(p.a))+c) · a =(a · q-c · p)/(c+q) 又’從長度s及半徑r之各邊所形成之三角形之相似關 係,得: s : y=q : (q-(d-c)) 因此,y可由下式提供: y=((q-d+c)/q) · s =((q-d+c) · (a · q-c · p))/(q · (c+q)) 將如此所得之x與y相加成為投影於顯示面上之大小(寬 度)之一半「m j。 m=x+y =p · (d-c)/q + ((q-d+c) · (a · q-c · p))/(q · (c+q)) 圖11係表示本發明之實施型態之三維轉換部丨3〇之第2實 施例之對雙眼視界面之投影之具體例之圖。在第2實施例 中’如上所述’將輻輳點設定成在顯示面540滿滿地顯示 顯示面540上之投影寬度。因此,如同圖所示,可使顯示 面540本身之寬度「2M」與上式所得之顯示面上之投影寬 度「2m」一致。 在輕輳點設定部322,被供應顯示面540大小(寬度) 「2M」、輸入圖像大小(寬度)「2L」、雙眼間距離「2a」、 觀察距離「d」’故可利用使上式所得之顯示面上之投影大 小(寬度)「2m」與「2M」一致之方式求得雙眼視界圓之 半徑r。 138322.doc •16· 201011689 如此,在本發明之實施型態之三維轉換部130之第2實施 例中,可藉由預先想定顯示面54〇之大小,設定使顯示面 540上之投景;j圖像滿滿顯示於顯示面54〇之輻輳點,故可單 一意義地特定雙眼視界圓。 圖12係表示本發明之實施型態之三維轉換部ι3〇之第3實 施例之圖。此三維轉換部130之第3實施例係以在顯示面之 圖像之歪度不變大之方式設定輻輳點。愈由雙眼之各眼之 實際正面偏移時,圖像之中央與週邊之間之歪度會變得愈 大’故以將此歪度控制在容許範圍内之方式設定輻輳點。 此三維轉換部13 0之第3實施例係包含雙眼視界面圖像投影 部3 3 1、輻輳點設定部3 3 2、顯示面右眼投影部3 3 6、及顯 示面左眼投影部337。 雙眼視界面圖像投影部33 1係與雙眼視界面圖像投影部 311同樣用於將由信號處理部120經信號線129所供應之非 立體圖像投影在含雙眼視界圓之圓筒面。在此第3實施例 中’利用依據輻輳點設定部332所設定之輻輳點之圓周角 「τ」特定雙眼視界圓。又,雙眼視界面圖像投影部3 3 i係 申請專利範圍所記載之圓筒面投影部之一例。 輻輳點設定部332係用於設定輻輳點而供應依據此輻輳 點之圓周角「τ」。此輻輳點設定部3 3 2係藉由雙眼間距離 「2a」、觀察距離「d」、最大歪度「Qmax」及微小角度 「δ」設定輻輳點。依據次圖說明有關設定之詳細。 顯示面右眼投影部336及顯示面左眼投影部337係與第1 實施例同樣用於將雙眼視界圖像投影於右眼用或左眼用之 138322.doc -17· 201011689 顯示面。又,在此,雖利用由輻輳點設定部332所供應之 圓周角「τ」施行對顯示面之投影,但第1實施例之半徑 「r」與本實施例之圓周角「τ」在設定輻輳點之意義上等 效。因此,兩者也可適宜地更換使用。又,顯示面右眼投 影部336及顯示面左眼投影部337係申請專利範圍所記載之 顯示面投影部之一例。 圖13係表示雙眼視界圓與圖像之歪度之關係例之圖。在 此,雖在左眼512求歪度,但在右眼511也同樣。 比較由左眼512看實際正面之雙眼視界圓上之位置535、 與從該位置旋轉角度Θ之位置536中,分別偏移微小角度 「δ」之情形之顯示面5 40上之距離。在位置535,偏移微 小角度「δ」之情形,雙眼視界圓之中心點〇之估算角為 「2δ」’故在雙眼視界圓上之位置535,會發生「2δΓ」之 偏移。此點’在位置536,偏移微小角度「δ」之情形,雙 眼視界圓之中心點〇之估算角為「2δ」,故在雙眼視界圓上 之位置536,同樣會發生「2δΓ」之偏移。 在對應於雙眼視界圓上之位置535之顯示面540上之位置 5斗5,以觀察距離「d」為一邊,想定具有角度「§/2」之 直角三角形時,偏移寬度Q1如下式所示:
Ql=2d · tan(6/2) 另一方面,在對應於雙眼視界圓上之位置536之顯示面 540上之位置540,以觀察距離「d」為一邊,想定具有角 度「Θ」之直角三角形時,偏移寬度Q2如下式所示: Q2=2d · (tan0-tan(0-5/2)) 138322.doc • 18_ 201011689 因此’歪度Q可由下式獲得: Q=Q2/Q1 = (2d · (tan0-tan(0-6/2)))/2d · tan(5/2)) =(tan0-tan(0-6/2))/tan(5/2) 圖14係表示角度Θ與圖像之歪度q之關係例之圖。在此, 表示在圖13中微小角度δ為「〇.〇1」而使角度θ在「-70。」 至「+70。」變化之情形之歪度q。 由本例也可知悉:愈偏移眼睛之實際正面時,圖像之中 央與週邊之間之歪度Q會變得愈大。因此,在第3實施例 中’提供最大歪度「Qmax」作為歪度之臨限值,以歪度 小於此之方式設定角度Θ。 圖15係表示雙眼視界圓與圓周角之關係例之圖。假設圓 周角為「τ」時,由右眼5 11與左眼5 12估算雙眼視界圓520 之中心點〇之角為「2τ」。此角被由中心點〇向雙眼之中心 之垂線二等分’分別為「τ」。在本圖中,表示有關以左眼 512為基準之「τ」。 著眼於右眼5 11及左眼5 12之中心線與雙眼視界圓520之 交點537、與右眼511、與雙眼視界圓520之中心點〇所形成 之三角形時’交點537及左眼5 12之角度均為「T/2」。由左 眼512看實際正面之雙眼視界圓上之位置535與連結左眼 512之直線平行於右眼511及左眼512之中心線,故由交點 537與輸入圖像之端點538在左眼5 12所形成之角度為「Θ-τ/2」。但,角度Θ係位置535與輸入圖像之端點53 8在左眼 512所形成之角度。因此,由交點537與輸入圖像之端點 138322.doc -19- 201011689 538估算雙眼視界圓520之中心點〇之角度為「2 (θ-τ/2)」。此情形之圓弧與輸入圖像大小(寬度)「L」一致, 故下式可成立:
2 · (θ-τ/2) * r=L 又’著眼於右眼5 11及左眼512之中心點、與雙眼視界圓 520之中心點〇、與左眼5 12所形成之直角三角形時,半徑r 可由下式表示。即,可知可由圓周角「τ」與雙眼間距離 「2a」求出半徑「r」。 r=a/sin(x) 因此’由上面之2式消去半徑r時,可得下式:
2 · (θ-τ/2) · (a/sin(x))=L 由上式可知:若已知角度「Θ」、雙眼間距離之一半 「a」、及輸入圖像大小「L」,即可獲得圓周角「τ」。 如此’在本發明之實施型態之三維轉換部13〇之第3實施 例中’提供微小角度「δ」及最大歪度「Qmax j時,即可 利用將畫面中央與週邊之歪斜控制在最大歪度以下之方式 設定輻輳點’並特定雙眼視界圓。 圖16係表示本發明之實施型態之三維轉換部13〇之第4實 施例之圖。此三維轉換部130之第4實施例係以在顯示面之 圖像之歪度不變大之方式設定輻輳點,並在顯示面滿滿地 顯示輸入圖像之方式將輸入圖像大小(寬度)比例調整。此 三維轉換部130之第4實施例係包含雙眼視界面圖像投影部 341、轄輳點設定部342、比例調整部343、顯示面右眼投 影部346、及顯示面左眼投影部347。 138322.doc -20· 201011689 輻輳點設定部342係用於設定輻輳點而供應依據此輻輳 點之半徑「I·」及角度「Θ」。此輻輳點設定部342係藉由雙 眼間距離「2a」、觀察距離「d」、最大歪度「Qmax」、微 小角度「δ」及顯示面大小「2M」設定輕輳點。 比例調整部343係用於依照輻辏點設定部342所設定之輕 輳點將由信號處理部120經信號線129所供應之非立體圖像 放大或縮小(調整比例)。 雙眼視界面圖像投影部3 41係用於將比例調整部3 4 3調整 比例後之非立體圖像投影在含雙眼視界圓之圓筒面。又, 雙眼視界面圖像投影部341係申請專利範圍所記載之圓筒 面投影部之一例。 顯示面右眼投影部346及顯示面左眼投影部347係與第1 實施例同樣用於將雙眼視界圖像投影於右眼用或左眼用之 顯示面。又,顯示面右眼投影部346及顯示面左眼投影部 3 47係申請專利範圍所記載之顯示面投影部之一例。 圖17係表示雙眼視界圓與顯示面之關係例之圖。在第4 實施例中,與第3實施例同樣地,相對於微小角度「δ」, 以歪度小於最大歪度「Qmax」之方式決定角度「0」。 而,依據此角度「Θ」決定雙眼視界圓,並決定輸入圖像 大小。 輸入圖像之端點538係在雙眼視界圓520上,故由右眼 511與左眼512估算輸入圖像之端點538之角度為「τ」。 又,著眼於連結左眼512及輸入圖像之端點538之直線與顯 示面540之交點548、連結左眼512及左眼實際正面之點535 138322.doc •21- 201011689 之直線與顯示面54〇之交點545及左眼5 12之位置所形成之 直角三角形時’由左眼5 12在交點548所形成之角為「π/2_ θ」。又,著眼於含頂點7之直角三角形時,由頂點τ在交點 549所形成之角為「tan-〗(x/a)」。 在此,X為滿足: X : a=(x+d): Μ 故可由下式提供: . d/(M-a)。 因此,在交點549之内側之角度為「π_ί&η-1(χ/α)」。藉 參 此,角度「τ」可由下式提供。即,以下式成立方式設定工 時’可決定雙眼視界圓。 τ=θ-(π/2)+ tan'^x/a) 又,如在第3實施例中所算出,由交點537與輸入圖像之 端點538估算雙眼視界圓52〇之中心點〇之角度為「2 · (θ_ τ/2)」。此情形之圓弧與與輸入圖像大小(寬度)「l」一 致’故下式可成立: L=2 · (θ-τ/2) - r ⑩ 在第3實施例中,雖將輸入圖像大小固定,但,在第4實 施例H圖像大小料變,以滿足上式之方式藉由tb 例調整部343施行輸入圖像之比例調整。 此在本發明之實施型態之三維轉換部13〇之第4實施 J中畫面中央與週邊之歪度在最大歪度以下之方式設定 輕輳點而特定雙眼視界圓,並比例調整輸入圖像而可在顯 示面滿滿地顯示輸入圖像。 138322.doc -22- 201011689 圖18係表示本發明之實施型態之三維轉換部130之第5實 施例之圖。本三維轉換部13 〇之第5實施例不經過將非立體 圖像投影於雙眼視界圓之順序,將非立體圖像分別投影於 對應於各眼之翻動面後投影於顯示面,藉以產生立體圖 像。但,如後所述,本第5實施例所顯示之圖像係與第1至 4實施例所說明之經由雙眼視界圓所顯示之圖像等效。因 此’在此,在產生立體圖像之際,想定雙眼視界圓,提供 此雙眼視界圓之半徑作為參數。此三維轉換部1 30之第5實 施例係包含翻動面右眼設定部354、翻動面左眼設定部 355、顯示面右眼投影部356及顯示面左眼投影部357。 翻動面右眼設定部354係想定由右眼看位於與雙眼等距 之輻輳點之視點,設定對此視點垂直相交之翻動面而將由 信號處理部120經信號線129所供應之非立體圖像投影作為 右眼用之翻動圖像。又,翻動面左眼設定部355係想定由 左眼看位於與雙眼等距之輻輳點之視點,設定對此視點垂 直相交之翻動面而將由信號處理部120經信號線129所供應 之非立體圖像投影作為左眼用之翻動圖像。翻動面右眼設 定部354及翻動面左眼設定部355係依據雙眼間距離 「2a」、雙眼視界圓之半徑「r」、想定之觀察距離「d」、 翻動面距離「k」,施行對右眼用及左眼用之翻動面之投 影。又,翻動面係申請專利範圍所記載之照射面之一例。 又’翻動面右眼設定部354及翻動面左眼設定部355係申請 專利範圍所記載之照射面投影部之一例。 顯示面右眼投影部3 5 6係將右眼用之翻動圖像投影於右 138322.doc -23- 201011689 眼用之顯示面。顯示面左眼投影部357係將左眼用之翻動 圖像投影於左眼用之顯示面。顯示面右眼投影部356及顯 示面左眼投影部357係依據雙眼間距離「2a」、雙眼視界圓 之半徑「r」、想定之觀察距離r d」施行對右眼用及左眼 用之顯示面之投影。投影於右眼用之顯示面之圖像稱為右 眼圖像’投影於左眼用之顯示面$圖像稱為左眼圖像。此 等右眼圖像及左眼圖像係經由信號線139被供應至後處理 部160。又’顯示面右眼投影部356及顯示面左眼投影部 3 57係申請專利範圍所記載之顯示面投影部之一例。 圖19係表示本發明之實施型態之三維轉換部13〇之第5實 施例之對翻動面之投影之一態樣之圖。 右眼511及左眼512之中心線與雙眼視界圓520之交點係 位於與雙眼等距之輻輳點527。右眼用翻動面550係在點 551對由右眼511看輻輳點527之視點垂直相交之面。左眼 用翻動面560係在點561對由左眼512看輻輳點527之視點垂 直相交之面。連結右眼5 11之位置及左眼5 12之位置之線段 與連結點551及561之線段之間之距離為翻動面距離「k」。 在此,考慮將右眼用翻動面550及左眼用翻動面560上之 圖像投影於顯示面570。右眼5 11及左眼5 12與顯示面570之 間之距離為觀察距離「d」。形成於由右眼用翻動面550上 之點551相離距離「S」之點552之像係在顯示面570上顯示 於顯示位置571。形成於由左眼用翻動面560上之點561相 離距離「S」之點562之像係在顯示面570上顯示於顯示位 置5 72。此時,連結右眼511及點571之直線、與連結左眼 138322.doc • 24- 201011689 5 12及點5 72之直線係在雙眼視界圓520上之交點522相交。 即’此第5實施型所顯示之圖像係與第1至4實施例所說明 之經由雙眼視界圓所顯示之圖像等效。 圖20係表示本發明之實施型態之三維轉換部13〇之第5實 施例之對翻動面之投影之具體例之圖。 圖20(a)係表示由信號處理部12〇經信號線129被供應之輸 入圖像I(p,q)之座標系。輸入圖像係非立體圖像,故使用 二維之座標系。座標系之原點設定於輸入圖像之中央點。 又,輸入圖像大小(寬度)係想定為r 2L」。 圖20(b)係表示投影翻動圖像之翻動面之座標系。翻動 面係呈現二維’故在此使用(X,y,z)之三維之座標系。座 標系之原點設定於右眼511及左眼512之中心。圖20(b)係由 對翻動面之垂直方向,即y軸之垂直方向所見之圖。 由右眼511及左眼512估算雙眼視界圓520上之輻輳點之 角度為輻輳角「τ」時,右眼用翻動面55〇及左眼用翻動面 560係由水平線分別具有「τ/2」之角度。 著眼於對連結雙眼之直線由左眼用翻動面56〇上之點56ι 垂下之父點582時’左眼512與交點582之距離為「k. tan(T/2)」。因此,由原點沿著z軸相離翻動面距離「k」之 位置之點589、與左眼用翻動面56〇上之點561之距離為 k Ϊ3·η(τ/2)」。因此,左眼用翻動面560之左眼用翻動 圖像L(x,y,ζ)與輸入圖像〗(ρ,q)之關係可由下式表示: L(x. y, z)=I((x+a-k · tan(x/2))/(c〇s(T/2)),y) 但’在此左眼用翻動圖像L(X, y, z)中, 138322.doc -25- 201011689 z=k-((x+a-k . tan(i:/2))/(sin(T:/2)) 〇 又,同樣地,右眼用翻動面550之左眼用翻動圖像R(x, y,z)與輸入圖像l(p,q)之關係可由下式表示: R(x, y, z)=I((x-a+k · tan(x/2))/(cos(x/2)),y) 但,在此右眼用翻動圖像R(x, y,z)中, z=k+((x-a+k . tan(T/2))/(sin(i:/2))。 圖2 1係表示本發明之實施型態之三維轉換部丨3 〇之第5實 施例之對顯示面之投影之具體例之圖。 圖21(a)係表示翻動面及顯示面之座標系。在此,使用 (X,y,ζ)之三維座標系。 圖21(b)係表示投影於顯示面之顯示圖像J(s,t)之座標 系。顯示圖像係在右眼511及左眼512之各眼所獲得。分別 為二維圖像,故使用二維座標系。座標系之原點設定於顯 示圖像之中央點。 此時,由左眼512通過左眼用翻動圖像上之位置l(x〇,乃 z〇)而投影之顯示面570上之位置Dl(Xl,八,Zl)可由下式提 供。
Dl(Xl,yL,ZL) = J(XL,yL) = L(x〇, y〇, z〇) 又,因與視聽者之觀察位置之間之距離為觀察距離d, 故〜=£1,以下之式成立: (x〇+a)/(x L+a)=y〇/yL=z〇/(i z〇>0 但,如圖20所說明: z〇=k-((x〇+a_k . αη(τ/2”/(8ίη(τ/2)) 〇 I38322.doc -26- 201011689 又,在此,雖說明有關由左眼512所投影之位置Dl(xl, yL,zL),但由右眼5 11通過右眼用翻動圖像上之位置R(x〇, y〇,z〇)而投影之顯示面570上之位置DR(xR,yR, zR)也可同樣 求得。 圖22係表示本發明之實施型態之三維轉換部130之第5實 施例之處理順序例之圖。 首先,由信號處理部120經信號線129輸入輸入圖像I(p, q)時(步驟S921),輸入圖像I(p, q)分別被投影作為翻動圖 像。但,異於第1實施例,在右眼用及左眼用設置個別之 翻動面,利用如以下方式產生顯示圖像(環路L902)。 輸入圖像I(p, q)在右眼用翻動面550被投影作為右眼用翻 動圖像R(x, y, z)時(步驟S922),對顯示面570上施行透視轉 換,獲得三維上之位置DR(xR, yR,zR)(步驟S923)。而,由 此三維上之位置,獲得顯示面之二維之顯示圖像J(xR, yR)(步驟S924)。同樣地,輸入圖像I(p,q)在左眼用翻動面 550被投影作為左眼用翻動圖像L(x,y,z)時(步驟S922),對 顯示面570上施行透視轉換,獲得三維上之位置Dl(Xl, yL, zL)(步驟S923)。而,由此三維上之位置,獲得顯示面之二 維之顯示圖像J(xL,yL)(步驟S924)。又,步驟S922係申請 專利範圍所記載之照射面投影順序之一例。又,步驟S923 及S924係申請專利範圍所記載之顯示面投影順序之一例。 如此,在本發明之實施型態之三維轉換部130之第5實施 例中,對右眼用及左眼用翻動面,分別投影非立體圖像作 為右眼用及左眼用翻動圖像。而5精由將右眼用及左眼用 138322.doc -27- 201011689 翻動圖像投影於實測或推定之觀察距離之顯示面,可產生 對右眼511及左眼512之立體圖像。 圖23係表示本發明之實施型態之三維轉換部13〇之第6實 施例之圖。本第6實施例係用於產生對應於依據深度資訊 (depth information)之深度映射(depth map)之立體圖像。此 二維轉換部130之第6實施例係包含輸入圖像深度映射產生 部361、雙眼視界面深度映射產生部362、深度映射合成部 363、顯示面右眼投影部366、及顯示面左眼投影部367。
輸入圖像深度映射產生部361係用於就由信號處理部12〇 經信號線129所供應之非立體圖像(輸入圖像)產生深度映 射。深度映射係用於在各晝素保持有關進深之資訊,例如 係依據亮度、高頻成分、移動、彩度等被推定。例如在日 本特開2007-502454號公報中,曾記載依據在輸入圖像中 所檢測之端緣產生深度映射之多視圖像產生單元。又輸 入圖像深度映射產生部361係申請專利範圍所記載之深度 資訊產生部之一例。
雙眼視界面深度映射產生部362係用於就雙眼視界面產 生深度映射。雙眼視界面係與第丨實施例同樣依據雙眼 視界圓資訊特定雙眼視界圓之大小,依據雙眼間距離 「2a」特定與雙眼之相對的關係位置。 深度映射合成部363係用於合成輸入圖像深度映射產生 4 361所產生之輸入圖像之深度映射、與雙眼視界面深度 映射產生部362所產生之雙眼視界面之深度映射。又,、果 度映射合成部363係申請專利範圍所記載之深度資訊合成 138322.doc •28- 201011689 部之一例。 顯示面右眼投影部366係用於就由信號處理部12〇經信號 線129所供應之非立體圖像,考慮深度映射合成部%〗所合 成之深度映射,將右眼用之立體圖像投影於右眼用之顯示 面。又,顯示面左眼投影部367係用於就由信號處理部12〇 經仏號線129所供應之非立體圖像,考慮深度映射合成部 363所合成之深度映射,將左眼用之立體圖像投影於左眼 用之顯示面。 圖24係表示本發明之實施型態之三維轉換部1 3〇之第6實 施例之處理概要之圖。 在本第6實施例中,依據輸入圖像深度映射產生部361推 定深度資訊,將此合成於雙眼視界面。藉此,除了利用以 前所說明之雙眼視界圓之性質之進深感以外,尚可進一步 藉由附加對應於場面之三維構造之深度資訊’而增強立體 感。 例如,合成後之點621由於存在於比雙眼視界圓更前 方,故將其投影於顯示面時,可被掌握作為存在於更進位 又 s成後之點622由於存在於比雙眼視界圓更 後方’故將其投影於顯示面時’可被掌握作為存在於更遠 位置之點。 圖25係表示本發明之實施型態之三維轉換部130之第6實 施例之雙眼視界面之深度映射之一例之圖。 在此’藉由dpH表示雙眼視界面之深度映射。雙眼視界 面係含雙眼視界圓之三維形狀,被與X平面之距離所特 138322.doc •29· 201011689 定。即,雙眼視界面之深庠 射為…之函數,可由下式 加Μ表不。 dpH(x, y)=z(x, y) 此時’假設對座標(Xi,yi)之X平面與雙眼視界面之距離 為山時,函數z(x,y)可由下式提供: z(Xi, yi)=dj(i=l ' 2 - . η) 圖26係表示本發明之實施型態之三維轉換部130之第6實 施例之深度資訊之推定例之圖。 在此,藉由dPl表示深度資訊之深度映射。深度資訊係鲁 用於表示對應於各晝素之進深,被表示作為三維資訊: 即’深度資訊之深度映射為之函數,可由下式加以表 不 。 dpi(x,y)=z(x,y) 此時,假設對座標(Xi,yi)之χ平面與深度資訊之值為以 時,函數z(x,y)可由下式提供: z(xi,yi)=ei(i=l、2、...、n) 圖27係表示本發明之實施型態之三維轉換部130之第6實_ 施例之深度映射合成部363之一構成例之圖。深度映射合 成4 363如上所述,係用於合成輸入圖像深度映射產生部 361所產生之輸入圖像之深度映射、與雙眼視界面深度映 射產生部362所產生之雙眼視界面之深度映射。此深度映 射合成部363係包含平均值算出部3631、減法器3632、及 加法器3633。 平均值算出部3631係用於在各輸入圖像算出深度映射之 138322.doc •30· 201011689 平均值。減法器3632係對輸入圖像之各晝素之深度映射分 別減去深度映射之各輸入圖像之平均值。藉此,可獲得以 平均值為中心值之深度映射之交流成分。加法器3633係將 減法器3632所供應之輸入圖像之深度映射之交流成分加在 雙眼視界面之深度映射中。藉此,可獲得雙眼視界面上被 合成之深度映射。 圖28係表示本發明之實施型態之三維轉換部ι3〇之第6實 施例之立體圖像之產生例之圖。在本例中,以輸入之非立 體圖像作為左眼用圖像63〇,投影於對應於深度映射之曲 面620 ’並投影於對應於曲面62〇上之各點之右眼用圖像 640 〇 例如’由左眼512所見之左眼用圖像63〇上之點631係在 曲面620上投影於點621。而,由右眼5丨丨看此點62丨時,係 在右眼用圖像640上投影於點641。同樣地,由左眼512所 見之左眼用圖像630上之點632係在曲面620上投影於點 622。而’由右眼511看此點622時,係在右眼用圖像640上 投影於點642。 又,在本圖中,為便於說明起見,左眼用圖像63〇與右 眼用圖像640雖在2方向錯開位置予以表示,但實際上兩者 係位於同一平面上。 圖29係表示本發明之實施型態之三維轉換部13〇之第6實 施例之立體圖像之另一產生例之圖。在本例中,以輸入之 非立體圖像作為由右眼與左眼之中央513所見之圖像(輸入 圖像650),投影於對應於深度映射之曲面62〇,並投影於 138322.doc •31- 201011689 對應於曲面620上之各點之左眼用圖像630及右眼用圖像 640 ° 例如,由中央513所見之輸入圖像650上之點651係在曲 面620上投影於點621。而,由左眼5 12看此點621時,係在 左眼用圖像630上投影於點631,由右眼511看時,係在右 眼用圖像640上投影於點641。同樣地,由中央513所見之 輸入圖像650上之點652係在曲面620上投影於點622。而, 由左眼512看此點622時,係在左眼用圖像630上投影於點 632,由右眼5 11看時,係在右眼用圖像640上投影於點 傷 642 ° 又,在本圖中’為便於說明起見,左眼用圖像63〇、右 眼用圖像640及輸入圖像65 〇雖在z方向錯開位置予以表 示,但實際上全部係位於同一平面上。 如此,在本發明之實施型態之三維轉換部130之第6實施 例中,將依據深度資訊之深度映射組合於其他實施例所說
明之利用雙眼視界面之立體視覺中,藉以產生更有立體感 之立體圖像。 本發月之實施型態係表示將本發明具體表現用之一 例如上所述,與申請專利範圍之發明特定事項分別具有 對應關係。但’本發明並不限定於實施型態,在不脫離本 發明之要旨之範圍内’可實施種種之變形。 之處理順序既可掌握 且也可掌握作為使電 至於記憶該程式之記 又在本發明之實施型態中所說明 作為具有此等—連串之順序之方法, 腦執行此等-連串之順序用之程式乃 138322.doc •32- 201011689 憶媒體。作為此記憶媒體,例如可使用CWCompw Disc .音碟)、MD(Mini Disc :小型磁碟)、dvd⑼糾^ Versatile Disc :數位多用途光碟)、記憶卡、藍光光碟 (Blu-rayDisc(註冊商標))等。 【圖式簡單說明】 圖1係表不本發明之實施型態之立體圖像產生裝置之一 構成例之圖; 圖2係表示本發明之實施型態之三維轉換部130之第1實 ® 施例之圖; 圖3係表示本發明之實施型態之三維轉換部13〇之第工實 施例之對雙眼視界面之投影之一態樣之圖; 圖4(a)、(b)係表示本發明之實施型態之三維轉換部丄% 之第1實施例之對雙眼視界面之投影之具體例之圖; 圖5係表示本發明之實施型態之三維轉換部13〇之第i實 施例之對顯示面之投影之一態樣之圖; ❹ 圖6(a)、(b)係表示本發明之實施型態之三維轉換部13〇 之第1實施例之對顯示面之投影之具體例之圖; 圖7係表示本發明之實施型態之三維轉換部13〇之第1實 施例之處理順序例之圖; 圖8係表示本發明之實施型態之三維轉換部13〇之第2實 施例之圖; 圖9係表示雙眼視界圓之大小與輻輳點之位置之關係之 圖; ’、 圖1〇係表示本發明之實施型態之三維轉換部130之第2實 138322.doc •33- 201011689 施例之對雙眼視界面之投影之一態樣之圖; 圖π係表示本發明之實施型態之三維轉換部13〇之第2實 施例之對雙眼視界面之投影之具體例之圖; 圖12係表示本發明之實施型態之三維轉換部130之第3實 施例之圖; 圖13係表示雙眼視界圓與圖像之歪度之關係例之圖; 圖14係表示角度θ與圖像之歪度q之關係例之圖; 圖15係表示雙眼視界圓與圓周角之關係例之圖; 圖16係表示本發明之實施型態之三維轉換部130之第4實 Ο 施例之圖; 圖1 7係表示雙眼視界圓與顯示面之關係例之圖; 圖18係表示本發明之實施型態之三維轉換部130之第5實 施例之圖; 圖19係表示本發明之實施型態之三維轉換部130之第5實 施例之對翻動面之投影之一態樣之圖; 圖20(a)、(b)係表示本發明之實施型態之三維轉換部13〇 之第5實施例之對翻動面之投影之具體例之圖; 粵 圖21 (a)、(b)係表示本發明之實施型態之三維轉換部13〇 之第5實施例之對顯示面之投影之具體例之圖; 圖22係表示本發明之實施型態之三維轉換部130之第5實 施例之處理順序例之圖; 圖23係表不本發明之實施型態之三維轉換部13 0之第6實 施例之圖; 圖24係表示本發明之實施型態之三維轉換部130之第6實 138322.doc • 34· 201011689 施例之處理概要之圖; 圖25係表示本發明之實施型態之三維轉換部130之第6實 施例之雙眼視界面之深度映射之一例之圖; 圖26係表示本發明之實施型態之三維轉換部130之第6實 施例之深度資訊之推定例之圖; 圖27係表示本發明之實施型態之三維轉換部ι3〇之第6實 細例之深度映射合成部363之一構成例之圖; 圖28係表示本發明之實施型態之三維轉換部ι3〇之第6實 施例之立體圖像之產生例之圖;及 圖29係表示本發明之實施型態之三維轉換部丨3〇之第6實 施例之立體圖像之另一產生例之圖。 【主要元件符號說明】 110 圖像信號輸入部 120 信號處理部 130 三維轉換部 140 參數設定部 150 觀察距離測定部 160 後處理部 170 格式轉換部 180 來源選擇部 190 顯示部 311 、 321 、 331 、 341 雙眼視界面圖像投影部 316、326、336、346 ' 356 、 366 顯示面右眼投影部 138322.doc -35- 201011689 317 、 327 ' 337 、 347 ' 357 ' 367 顯示面左眼投影部 322 ' 332 > 342 輻輳點設定部 343 比例調整部 354 翻動面右眼設定部 355 翻動面左眼設定部 361 輸入圖像深度映射產生部 362 雙眼視界面深度映射產生部 363 深度映射合成部 520 雙眼視界圓 530 雙眼視界圖像 540 、 570 顯示面 620 合成後曲面 630 左眼用圖像 640 右眼用圖像 650 輸入圖像 138322.doc -36-

Claims (1)

  1. 201011689 七、申請專利範圍: 1· 一種立體圖像產生裝置,其係包含: 圓筒面投影部’其係對含有接於雙眼之假想圓之圓筒 面投影2維輸入圖像而產生圓筒圖像;及 顯示面投影部,其係以前述雙眼之各眼為基準,對顯 不面投影前述圓筒圖像而產生投射於前述雙眼之各眼之 顯示圖像。 2. 如請求項1之立體圖像產生裝置’其中前述假想圓之半 ® 徑係依照所想定之觀察距離或顯示尺寸而設定。 3. 如請求項2之立體圖像產生裝置,其中進一步包含觀察 距離測疋》卩,其係測定前述顯示面與觀察位置之距離; 則述假想圓之半徑係依照由前述觀察距離測定部所測 定之觀察距離而設定。 4. 如凊求項1之立體圖像產生裝置,其中前述假想圓之半 徑係設定為使前述顯示圖像之歪度小於特定之臨限值。 5. 如請求項1之立體圖像產生裝置,其中進一步包含: /木度資訊(depth informati〇n)產生部,其係由前述2維 輸入圖像產生深度資訊;及 /木度> Λ s成。卩,其係將前述深度資訊合成於前述圓 筒圖像; 前述顯示面投影部係對顯示面投影合成有前述深度資 訊之圓筒圖像而產生前述顯示圖像。 6. —種立體圖像產生裝置,其係包含: 照射面投影部,農伤& 係對與雙眼之各眼之視線正交之2 138322.doc 201011689 維平面投影2維輸入圖像而產生對應於雙眼之各眼之照 射圖像;及 顯示面投影部,其係以前述雙眼之各眼為基準,對顯 示面投影對應之前述照射圖像而產生投射於前述雙眼之 各眼之顯不圖像。 7·如請求項6之立體圖像產生裝置’其中前述照射圖像之 位置係依照所想定之觀察距離而設定。 8. 如請求項7之立體圖像產生裝置,其中進一步包含觀察 距離測定部,其係測定前述顯示面與觀察位置之距離; 前述照射圖像之位置係依照由前述觀察距離測定部所 測定之觀察距離而設定。 9. 一種立體圖像產生裝置,其係以由顯示面投影於右眼及 左眼之各眼之影像成為相同之方式,轉換2維輸入圖像 而分別產生右眼圖像及左眼圖像。 10. —種立體圖像產生方法,其係包含: 圓筒面投影程序,其係對含有接於雙眼之假想圓之圓 筒面投影2維輪入圖像而產生圓筒圖像;及 顯示面投影程序,其係以前述雙眼之各眼為基準,對 顯示面投影前述圓筒圖像而產生投射於前述雙眼之各眼 之顯示圖像。 11. —種立體圖像產生方法,其係包含: 照射面投影程序,其係對與雙眼之各眼之視線正交之 2維平面投影2維輸入圖像而產生對應於雙眼之各眼之照 射圖像;及 * 138322.doc 201011689 顯不面技影程序,其係以前述雙眼之各眼為基準,對 顯不面投影對應之前述照射圖像而產生投射於前述雙眼 之各眼之顯示圖像。 12. —種程式,其係使電腦執行: 圓筒面投影程序,装孫祖人士^ 旲係對含有接於雙眼之假想圓之圓 筒面投影2維輸入圖像而產生圓筒圖像;及 顯示面投影程序,其係以前述雙眼之各眼為基準對 顯示面投影前述圓冑,象而產±投射於前述雙眼之各眼 之顯示圖像。 13· —種程式,其係使電腦執行: 照射面投影程序,其係對與雙眼之各眼之視線正交之 2維平面投影2維輸入圖像而產生對應於雙眼之各眼之照 射圖像;及 顯示面投影程序,其係以前述雙眼之各眼為基準對 顯示面投影對應之前述照射圖像而產生投射於前述雙眼 之各眼之顯示圖像。 138322.doc
TW098118610A 2008-06-06 2009-06-04 Stereoscopic image generation device, stereoscopic image generation method and program TW201011689A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008149123A JP5083052B2 (ja) 2008-06-06 2008-06-06 立体視画像生成装置、立体視画像生成方法およびプログラム

Publications (1)

Publication Number Publication Date
TW201011689A true TW201011689A (en) 2010-03-16

Family

ID=41398115

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098118610A TW201011689A (en) 2008-06-06 2009-06-04 Stereoscopic image generation device, stereoscopic image generation method and program

Country Status (10)

Country Link
US (1) US9507165B2 (zh)
EP (1) EP2172906A4 (zh)
JP (1) JP5083052B2 (zh)
KR (1) KR20110034575A (zh)
CN (2) CN102789058B (zh)
BR (1) BRPI0903910A2 (zh)
HK (1) HK1142427A1 (zh)
RU (1) RU2519518C2 (zh)
TW (1) TW201011689A (zh)
WO (1) WO2009148038A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5235976B2 (ja) * 2010-05-31 2013-07-10 株式会社ソニー・コンピュータエンタテインメント 映像再生方法、および映像再生装置
KR20120051308A (ko) * 2010-11-12 2012-05-22 삼성전자주식회사 3d 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치
KR20120052091A (ko) * 2010-11-15 2012-05-23 삼성전자주식회사 컴퓨터, 모니터, 기록매체 및 이에 적용되는 3차원 영상 제공방법
US9210322B2 (en) 2010-12-27 2015-12-08 Dolby Laboratories Licensing Corporation 3D cameras for HDR
US20130021446A1 (en) * 2011-07-20 2013-01-24 GM Global Technology Operations LLC System and method for enhanced sense of depth video
US20130147793A1 (en) * 2011-12-09 2013-06-13 Seongyeom JEON Mobile terminal and controlling method thereof
CN102692806B (zh) * 2012-06-04 2015-08-05 济南大学 自由视点四维空间视频序列的采集与形成方法
US9652881B2 (en) * 2012-11-19 2017-05-16 Panasonic Intellectual Property Management Co., Ltd. Image processing device and image processing method
RU2600524C2 (ru) * 2014-07-15 2016-10-20 Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный университет аэрокосмического приборостроения" Способ конвертации 2d-изображения в квазистереоскопическое 3d-изображение
KR102172388B1 (ko) * 2014-09-11 2020-10-30 엘지디스플레이 주식회사 곡면 디스플레이 및 이의 영상 처리 방법
CN104240294B (zh) * 2014-09-28 2017-10-20 华南理工大学 基于双目单视界的三维重建方法
US9818021B2 (en) * 2014-10-21 2017-11-14 Isra Surface Vision Gmbh Method for determining a local refractive power and device therefor
DE102014115331A1 (de) * 2014-10-21 2016-04-21 Isra Surface Vision Gmbh Verfahren und Vorrichtung zur Ermittlung einer dreidimensionalen Verzerrung
KR20180019671A (ko) * 2015-06-16 2018-02-26 코닌클리케 필립스 엔.브이. 이미지에 대한 깊이 맵을 결정하기 위한 방법 및 장치
US10210660B2 (en) * 2016-04-06 2019-02-19 Facebook, Inc. Removing occlusion in camera views
US10326976B2 (en) * 2016-06-17 2019-06-18 Industry-Academic Cooperation Foundation, Yonsei University Method and apparatus for providing personal 3-dimensional image using convergence matching algorithm
US9609197B1 (en) 2016-08-19 2017-03-28 Intelligent Security Systems Corporation Systems and methods for dewarping images
US9547883B1 (en) * 2016-08-19 2017-01-17 Intelligent Security Systems Corporation Systems and methods for dewarping images
EP4153484A4 (en) * 2020-05-19 2024-05-29 Intelligent Security Systems Corporation TECHNOLOGIES FOR ANALYZING BEHAVIORS OF OR RELATING TO OBJECTS BASED ON CORRESPONDING STEREO IMAGES
CN114390271B (zh) * 2020-10-19 2023-08-18 苏州佳世达光电有限公司 判别连续影像顺序的***及其方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4875034A (en) * 1988-02-08 1989-10-17 Brokenshire Daniel A Stereoscopic graphics display system with multiple windows for displaying multiple images
US5644324A (en) * 1993-03-03 1997-07-01 Maguire, Jr.; Francis J. Apparatus and method for presenting successive images
JP3089306B2 (ja) * 1993-08-26 2000-09-18 松下電器産業株式会社 立体画像撮像及び表示装置
JPH09102052A (ja) * 1995-10-06 1997-04-15 Olympus Optical Co Ltd 立体画像表示装置
AUPN732395A0 (en) * 1995-12-22 1996-01-25 Xenotech Research Pty Ltd Image conversion and encoding techniques
JP2846856B2 (ja) * 1996-07-19 1999-01-13 三洋電機株式会社 立体映像表示装置
US6229562B1 (en) * 1997-07-08 2001-05-08 Stanley H. Kremen System and apparatus for the recording and projection of images in substantially 3-dimensional format
IL136128A0 (en) * 1998-09-17 2001-05-20 Yissum Res Dev Co System and method for generating and displaying panoramic images and movies
US7271803B2 (en) 1999-01-08 2007-09-18 Ricoh Company, Ltd. Method and system for simulating stereographic vision
JP2000228748A (ja) * 1999-02-05 2000-08-15 Ricoh Co Ltd 画像入力装置
US6507665B1 (en) * 1999-08-25 2003-01-14 Eastman Kodak Company Method for creating environment map containing information extracted from stereo image pairs
JP2001141417A (ja) * 1999-11-11 2001-05-25 Fuji Photo Film Co Ltd 視差量補正装置
US7161614B1 (en) * 1999-11-26 2007-01-09 Sanyo Electric Co., Ltd. Device and method for converting two-dimensional video to three-dimensional video
JP4270695B2 (ja) * 1999-12-20 2009-06-03 知彦 服部 立体画像表示装置用2dー3d画像変換方式および装置
JP3425402B2 (ja) 2000-01-31 2003-07-14 独立行政法人通信総合研究所 立体画像を表示する装置および方法
JP2001245322A (ja) * 2000-03-01 2001-09-07 Inst Of Physical & Chemical Res 立体画像の入出力方法と装置
JP2002223458A (ja) * 2001-01-26 2002-08-09 Nippon Hoso Kyokai <Nhk> 立体映像作成装置
JP2002365593A (ja) 2001-06-08 2002-12-18 Sony Corp 表示装置、位置調整パターン表示プログラム、記録媒体、偏光メガネ、及び表示装置のフィルター位置調整方法
EP1410621A1 (en) * 2001-06-28 2004-04-21 Omnivee Inc. Method and apparatus for control and processing of video images
EP1451775A1 (de) * 2001-11-24 2004-09-01 TDV Technologies Corp. Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge
RU2287858C2 (ru) * 2001-11-24 2006-11-20 Тдв Текнолоджиз Корп. Создание последовательности стереоскопических изображений из последовательности двумерных изображений
JP3929346B2 (ja) 2002-04-24 2007-06-13 日立造船株式会社 ステレオ画像表示方法およびステレオ画像表示装置
US7489812B2 (en) * 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US6890077B2 (en) * 2002-11-27 2005-05-10 The Boeing Company Method and apparatus for high resolution video image display
JP2004186863A (ja) * 2002-12-02 2004-07-02 Amita Technology Kk 立体映像表示装置及び立体映像信号処理回路
JP4644669B2 (ja) 2003-08-05 2011-03-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチビュー画像の生成
JP2007524856A (ja) * 2003-12-12 2007-08-30 ヘッドプレイ、インク ヘッド・マウント・ディスプレイ用の光学構成
JP2005339313A (ja) * 2004-05-28 2005-12-08 Toshiba Corp 画像提示方法及び装置
GB0412651D0 (en) * 2004-06-07 2004-07-07 Microsharp Corp Ltd Autostereoscopic rear projection screen and associated display system
US8248458B2 (en) 2004-08-06 2012-08-21 University Of Washington Through Its Center For Commercialization Variable fixation viewing distance scanned light displays
JP4033859B2 (ja) 2004-12-28 2008-01-16 独立行政法人科学技術振興機構 立体画像表示方法
CN1330928C (zh) * 2005-12-29 2007-08-08 清华紫光股份有限公司 一种采用双波长结构光测量物体轮廓的方法
CN100552539C (zh) * 2006-01-10 2009-10-21 钟明 一种环幕立体电影图像的制作方法
JP4614456B2 (ja) 2006-07-07 2011-01-19 国立大学法人 東京大学 再帰性反射材、投影装置、航空機、および航空機用シミュレータ
US10908421B2 (en) * 2006-11-02 2021-02-02 Razer (Asia-Pacific) Pte. Ltd. Systems and methods for personal viewing devices
US8330801B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
TWI331872B (en) * 2006-12-29 2010-10-11 Quanta Comp Inc Method for displaying stereoscopic image

Also Published As

Publication number Publication date
RU2010103049A (ru) 2011-08-10
JP2009294988A (ja) 2009-12-17
EP2172906A4 (en) 2012-08-08
US9507165B2 (en) 2016-11-29
CN102789058A (zh) 2012-11-21
CN102789058B (zh) 2015-03-18
CN101796548B (zh) 2012-10-31
WO2009148038A1 (ja) 2009-12-10
HK1142427A1 (en) 2010-12-03
JP5083052B2 (ja) 2012-11-28
BRPI0903910A2 (pt) 2015-06-30
EP2172906A1 (en) 2010-04-07
US20100201783A1 (en) 2010-08-12
KR20110034575A (ko) 2011-04-05
RU2519518C2 (ru) 2014-06-10
CN101796548A (zh) 2010-08-04

Similar Documents

Publication Publication Date Title
TW201011689A (en) Stereoscopic image generation device, stereoscopic image generation method and program
US8503764B2 (en) Method for generating images of multi-views
JP5426785B2 (ja) 画像処理装置および画像処理方法
WO2011114683A1 (ja) 立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム
JP2009516447A (ja) 3次元画像データを生成、転送および処理するための方法および装置
TW201114244A (en) Method for generating a 3D image
TW201225635A (en) Image processing device and method, and stereoscopic image display device
US8976171B2 (en) Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program
JP2013090129A (ja) 画像処理装置、および画像処理方法、並びにプログラム
Benzeroual et al. 3D display size matters: Compensating for the perceptual effects of S3D display scaling
JP2012065851A (ja) 多視点裸眼立体内視鏡システム
TWI572899B (zh) 擴充實境成像方法及其裝置
JP2011176823A (ja) 画像処理装置、立体表示装置及び画像処理方法
JP5423845B2 (ja) 立体視画像生成装置、立体視画像生成方法およびプログラム
KR101046580B1 (ko) 영상처리장치 및 그 제어방법
JP2015053617A (ja) 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP5708395B2 (ja) 映像表示装置及び映像表示方法
JP6179282B2 (ja) 3次元画像表示装置及び3次元画像表示方法
Trapp et al. Enhancing interactive NonPlanar projections of 3D geovirtual environments with stereoscopic imaging
JP2024062935A (ja) 立体視表示コンテンツを生成する方法および装置
JP2015022461A (ja) 医用情報処理装置、医用画像処理装置及び医用画像表示装置
Chotrov Methods for Generating and Displaying Stereo Images on VR Systems using Quad-Buffered Graphics Adapters
JP2008131219A (ja) 立体画像表示装置および立体画像処理装置
JP2012010302A (ja) 画像表示装置および画像表示方法
JP2012105169A (ja) 立体映像撮像装置および立体映像撮像方法