TWI558167B - 立體影像顯示系統與顯示方法 - Google Patents

立體影像顯示系統與顯示方法 Download PDF

Info

Publication number
TWI558167B
TWI558167B TW103146335A TW103146335A TWI558167B TW I558167 B TWI558167 B TW I558167B TW 103146335 A TW103146335 A TW 103146335A TW 103146335 A TW103146335 A TW 103146335A TW I558167 B TWI558167 B TW I558167B
Authority
TW
Taiwan
Prior art keywords
depth
depth value
value
pixel
values
Prior art date
Application number
TW103146335A
Other languages
English (en)
Other versions
TW201625001A (zh
Inventor
嚴憶婷
蔡富全
和家璞
Original Assignee
友達光電股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 友達光電股份有限公司 filed Critical 友達光電股份有限公司
Priority to TW103146335A priority Critical patent/TWI558167B/zh
Priority to CN201510058298.6A priority patent/CN104581123B/zh
Priority to US14/711,893 priority patent/US9934556B2/en
Publication of TW201625001A publication Critical patent/TW201625001A/zh
Application granted granted Critical
Publication of TWI558167B publication Critical patent/TWI558167B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Description

立體影像顯示系統與顯示方法
本發明是有關於一種立體影像顯示系統,且特別是有關於一種具有平滑化操作的立體影像顯示系統。
近來,各種立體影像的應用已經相當地普及。為了有效地顯示立體影像,各種顯示立體影像的技術不斷地被提出。
一些技術中使用彩色負片(color negative)的方式來改善立體影像的交互干擾(crosstalk)的現象。然而,藉由彩色負片的設置方式,會導致立體影像的顏色失真或不準確。
因此,如何能在不導致立體影像的顏色失真的前提下,改善立體影像的交互干擾的現象,實屬當前重要研發課題之一,亦成為當前相關領域亟需改進的目標。
為了解決上述的問題,本揭示內容之一態樣提供了一種顯示方法。顯示方法包含下列步驟:根據彩色影像產生第一深度圖與邊緣圖;根據邊緣圖找出第一深度圖中的邊緣區域的第一畫素的第一深度值以及第二畫素的第二深 度值,其中第一畫素與第二畫素相鄰排列於水平方向上;根據零視差參考位準調整第一深度圖中鄰近邊緣區域之N個畫素的N個深度值,以產生一第二深度圖,其中N為一正整數,且N個畫素包含該第一畫素與第二畫素至少一者;以及根據第二深度圖以及彩色影像而產生多個多視角影像,以顯示立體影像。
本揭示內容之另一態樣提供了一種立體影像顯示系統。立體影像顯示系統包含深度圖產生單元、平滑化處理單元、深度圖繪圖單元與立體影像渲染單元。深度圖產生單元用以根據彩色影像產生第一深度圖。平滑化處理單元包含邊緣偵測器與控制器。邊緣偵測器用以根據第一深度圖產生邊緣圖。控制器用以根據邊緣圖找出第一深度圖中的邊緣區域的一第一畫素的第一深度值以及第二畫素的第二深度值,並根據零視差參考位準調整第一深度圖中鄰近邊緣區域之N個畫素的N個深度值,以產生第二深度圖,其中第一畫素與第二畫素排列於一水平方向上,N為一正整數,且N個畫素包含第一畫素與第二畫素中之至少一者。深度圖繪圖單元用以根據第二深度圖與彩色影像產生多個多視角影像。立體影像渲染單元用以根據多個多視角影像驅動顯示面板顯示立體影像。
綜上所述,本揭示內容所揭示之立體影像顯示系統與及其顯示方法可適用於立體影像的交互干擾的現象,進而改善使用者的觀看舒適度。
100‧‧‧立體影像顯示系統
120‧‧‧深度圖產生單元
140‧‧‧平滑化處理單元
142‧‧‧邊緣偵測器
144‧‧‧控制器
146‧‧‧均值濾波器
160‧‧‧深度圖繪圖單元
180‧‧‧立體影像渲染單元
C1‧‧‧彩色影像
D1‧‧‧深度圖
D1’‧‧‧深度圖
D2‧‧‧深度圖
E1‧‧‧邊緣圖
M‧‧‧多視角影像
SI‧‧‧立體影像
200‧‧‧方法
S220‧‧‧步驟
S240‧‧‧步驟
S260‧‧‧步驟
S280‧‧‧步驟
ZPS‧‧‧零視差參考位準
A0‧‧‧畫素
A1‧‧‧畫素
A2‧‧‧畫素
A3‧‧‧畫素
A2’‧‧‧畫素
A3’‧‧‧畫素
400‧‧‧立體影像
420‧‧‧立體影像
401‧‧‧物件
d‧‧‧間距
d1‧‧‧間距
d2‧‧‧間距
〔第1A圖〕為根據本揭示內容之一實施例所繪示的一種立體影像顯示系統的示意圖;〔第1B圖〕為根據本揭示內容之一實施例繪示如第1A圖所示之立體影像顯示系統中的各影像的示意圖;〔第2圖〕為根據本揭示內容之一實施例所繪示的一種顯示方法的流程圖;〔第3A圖〕為根據本案之一實施例所繪示的對畫素A1與畫素A2兩者所對應的深度值進行平滑化的示意圖;〔第3B圖〕為根據本案之一實施例所繪示的對畫素A1與畫素A2兩者所對應的深度值進行平滑化的示意圖;〔第3C圖〕為根據本案之一實施例所繪示的對畫素A1與畫素A2兩者所對應的深度值進行平滑化的示意圖;〔第3D圖〕為根據本案之一實施例所繪示的對畫素A1與畫素A2兩者所對應的深度值進行平滑化的示意圖;〔第3E圖〕為根據本案之一實施例所繪示的對畫素A1與畫素A2兩者所對應的深度值進行平滑化的示意圖;〔第3F圖〕為根據本案之一實施例所繪示的對畫素A1與畫素A2兩者所對應的深度值進行平滑化的示意圖;〔第4A圖〕為根據一些不具平滑化操作的相關技術所繪示立體影像之示意圖;以及〔第4B圖〕為根據本案之一實施例所繪示立體影像之示意圖。
下文係舉實施例配合所附圖式作詳細說明,但 所提供之實施例並非用以限制本發明所涵蓋的範圍,而結構操作之描述非用以限制其執行之順序,任何由元件重新組合之結構,所產生具有均等功效的裝置,皆為本發明所涵蓋的範圍。此外,圖式僅以說明為目的,並未依照原尺寸作圖。為使便於理解,下述說明中相同元件將以相同之符號標示來說明。
關於本文中所使用之『第一』、『第二』、…等,並非特別指稱次序或順位的意思,亦非用以限定本發明,其僅僅是為了區別以相同技術用語描述的元件或操作而已。
關於本文中所使用之『約』、『大約』或『大致』一般通常係指數值之誤差或範圍約百分之二十以內,較好地是約百分之十以內,而更佳地則是約百分五之以內。文中若無明確說明,其所提及的數值皆視作為近似值,即如『約』、『大約』或『大致』所表示的誤差或範圍。
另外,關於本文中所使用之『耦接』或『連接』,均可指二或多個元件相互直接作實體或電性接觸,或是相互間接作實體或電性接觸,亦可指二或多個元件相互操作或動作。
請一併參照第1A圖與第1B圖,第1A圖為根據本揭示內容之一實施例所繪示的一種立體影像顯示系統的示意圖,第1B圖為根據本揭示內容之一實施例繪示如第1A圖所示之立體影像顯示系統中的各影像的示意圖。
如第1A圖所示,立體影像顯示系統100包含深度圖產生單元120、平滑化處理單元140、深度圖繪圖單元 160與立體影像渲染單元180。
深度圖產生單元120用以根據彩色影像C1產生深度圖D1。平滑化處理單元140用以對深度圖D1進行平滑化,以產生深度圖D2。
詳細而言,平滑化處理單元140包含邊緣偵測器142、控制器144與均值濾波器146。邊緣偵測器142用以根據深度圖D1產生邊緣圖E1。例如,邊緣偵測器142可利用Sober運算子、Prewitt運算子、Robert運算子、Laplacian運算子或Log運算子等演算法來計算深度圖D1中深度值(即灰階值)的梯度變化,以產生邊緣圖E1。控制器144用以根據邊緣圖E1找出深度圖D1中邊緣區域的第一畫素的深度值與第二畫素的深度值,進而根據一零視差(zero parallax setting)參考位準ZPS調整深度圖D1中鄰近於前述邊緣區域的多個畫素的多個深度值,而產生深度圖D1’。均值濾波器146用以在控制器144調整完深度圖D1後,對深度圖D1’進行平均,以產生深度圖D2。
深度圖繪圖(depth image based rendering)單元160用以根據深度圖D2與彩色影像C1產生多個多視角影像M。立體影像渲染單元180用以根據多個多視角影像M驅動顯示面板顯示立體影像SI。
舉例而言,以八位元的彩色影像C1為例,深度圖D2中的深度值的範圍為0~255,而零視差參考位準ZPS可設置為深度值的範圍的一半,即為128。當深度圖D2中的深度值大於零視差參考位準ZPS時,代表彩色影像C1中對應物件的景深較淺;反之,深度值小於零視差參考位準ZPS 時,代表彩色影像C1中對應物件的景深較深。因此,深度圖繪圖單元160可藉由下式(1)運算,根據深度圖D2中的多個深度值以及零視差參考位準ZPS來計算多個深度感值3DSENSE,進而根據多個深度感值3DSENSE決定彩色影像C1在九個視角下的位移量,以產生多個多視角影像M。立體影像渲染單元180可驅動顯示面板同時輸出多個多視角影像M,以輸出立體影像SI。
其中,ZPS為零視差參考位準,TX為深度設定值,可用來調整整個立體影像SI的凸度,且VIEW為視角數差。例如,以九個視角為例,在計算第四個視角對應的多個深度感值3DSENSE時,視角數差即為9-4=5。上述僅為例示,不同數目的多視角影像亦為本揭示內容之應用範圍。
於各個實施例中,本揭示內容所提出的立體影像顯示系統100藉由對深度圖D1的物件邊緣區域進行平滑化,亦即將物件邊緣區域的深度值往零視差參考位準ZPS進行調整,藉此讓上述多視角影像M之間的差異得以減小,進而改善立體影像的交互干擾(crosstalk)的現象。
本案以下段落將提出數個實施例,可用以實現上述的立體影像顯示系統100所述之功能與操作,但本案並不僅以下列的實施例為限。
第2圖為根據本揭示內容之一實施例所繪示的一種顯示方法的流程圖。顯示方法200可適用於前述的立體影像顯示系統100,但不以此為限。為了方便說明,請一併參照第 1A圖、第1B圖與第2圖,立體影像顯示系統100之操作將與顯示方法200一併說明。
如第2圖所示,顯示方法200包含步驟S220、步驟S240、步驟S260以及步驟S280。於步驟S220中,深度圖產生單元120根據彩色影像C1產生深度圖D1,且邊緣偵測器142根據深度圖D1產生邊緣圖E1。
於步驟S240中,控制器144根據邊緣圖E1找出深度圖D1中邊緣區域的畫素A1的深度值與畫素A2的深度值,並根據零視差參考位準ZPS調整深度圖D1中鄰近於前述的邊緣區域的N個畫素的N個深度值,以產生深度圖D1’,其中畫素A1與畫素A2排列於一水平方向上,N為正整數,且前述的N個畫素包含畫素A1與畫素A2中之至少一者。
於步驟S260中,深度圖繪圖單元160根據深度圖D2與彩色影像C1產生多個多視角影像M。於步驟S280中,立體影像渲染單元180根據多個多視角影像M驅動顯示面板顯示立體影像SI。
以下段落將提出多個實施例,以說明前述步驟S240中的相關操作。請參照第3A圖,第3A圖為根據本案之一實施例所繪示的對畫素A1與畫素A2兩者所對應的深度值進行平滑化的示意圖。
詳細而言,於一些實施例中,如第3A圖所示,深度圖D1中的沿著同一水平方向上所排列的多個畫素(至少包含畫素A0~A3)的深度值依序為100、100、100、80、80、80、80、80、80、80、80、80、80。控制器144根 據邊緣圖E1偵測出邊緣區域存在於深度值100(即畫素A1的深度值)與深度值80(即畫素A2的深度值)。控制器144進一步的將畫素A1的深度值(即100)、畫素A2的深度值(即80)與零視差參考位準ZPS(即128)進行比較。如第3A圖所示,於此例中,畫素A1的深度值(即100)與畫素A2的深度值(即80)皆小於畫素零視差參考位準ZPS(即128),且畫素A1的深度值(即100)大於畫素A2的深度值(即80),此時控制器144可利用下式(2)的運算,根據畫素A1的深度值與濾波範圍FS,調整畫素A2的深度值以及鄰近於畫素A2並排列於同一水平方向上的N-1個畫素的N-1個深度值。
G’[j+n]=G[j+n]-[(G[j+n]-G[j])/(FS)]*(FS-n)…(2)
其中,n為1~N的正整數,G’[j+n]為調整後的N個深度值,G[j]為畫素A1的深度值,且G[j+1]為畫素A2的深度值。例如,假設濾波範圍FS設置為15,畫素A2對應的調整後深度值G’[j+1]可藉由下式計算而得:
藉由重複地執行上述操作,控制器144可將深度圖D1中邊緣區域鄰近的多個畫素對應的深度值進行平滑化。例如,如第3A圖,畫素A2對應的調整後的深度值G’[j+1]為98(標示為畫素A2’),且畫素A3對應的調整後的深度值G’[j+2]為96(標示為畫素A3’)。如此一來,調整後的深度圖D1中的邊緣區域上的深度值變化可變得平緩。因此,控制器144可據此產生深度圖D1’。等效而言,於此例 中,控制器144是藉由將畫素A2的深度值往零視差參考位準ZPS進行調整,以達成平滑化的操作。
請參照第3B圖,第3B圖為根據本案之一實施例所繪示的對畫素A1與畫素A2兩者所對應的深度值進行平滑化的示意圖。同樣地,於另一些實施例中,如第3B圖所示,當畫素A1的深度值與畫素A2的深度值皆大於零視差參考位準ZPS,且畫素A2的深度值大於畫素A1的深度值時,控制器144亦可利用上式(2)的運算,根據畫素A1的深度值與濾波範圍FS,調整畫素A2的深度值以及鄰近於畫素A2並排列於同一水平方向上的N-1個畫素的N-1個深度值。相關操作於前一實施例類似,故於此不再重複贅述。
請參照第3C圖,第3C圖為根據本案之一實施例所繪示的對畫素A1與畫素A2兩者所對應的深度值進行平滑化的示意圖。於另一些實施例中,深度圖D1中的沿著同一水平方向上所排列的多個畫素(至少包含畫素A0~A3)的深度值依序為80、80、80、80、80、80、80、80、80、80、100、100、100。控制器144根據邊緣圖E1偵測出邊緣區域存在於深度值80(即畫素A1的深度值)與深度值100(即畫素A2的深度值)。控制器144進一步的將畫素A1的深度值(即80)、畫素A2的深度值(即100)與零視差參考位準ZPS(即128)進行比較。如第3C圖所示,畫素A1的深度值(80)與畫素A2的深度值(即100)皆小於零視差參考位準ZPS(即128),且畫素A2的深度值(即100)大於畫素A1的深度值(80)。於此例中,控制器144可藉由下式(3)運算,根據畫素A2的深度值與濾波範圍FS,調整畫素A1的深度值以 及鄰近於畫素A1並排列於同一水平方向上的N-1個畫素的N-1個深度值。
G’[j-n]=G[j-n]-[(G[j-n]-G[j])/(FS)]*(FS-n)…(3)
其中,G’[j-n]為調整後的N個深度值,畫素A1的深度值為為G[j-1],且畫素A2的深度值為G[j]。例如,假設濾波範圍FS設置為15,畫素A1對應的調整後深度值G’[j-1]可藉由下式計算而得:
同理,藉由重複地執行上述操作,控制器144可將深度圖D1中邊緣區域鄰近的多個畫素對應的深度值進行平滑化,並據此產生深度圖D1’。等效而言,於此例中,控制器144是藉由將畫素A1的深度值往零視差參考位準ZPS進行調整,以達成平滑化的操作。
請參照第3D圖,第3D圖為根據本案之一實施例所繪示的對畫素A1與畫素A2兩者所對應的深度值進行平滑化的示意圖。同樣地,於又一些實施例中,如第3D圖所示,當畫素A1的深度值與畫素A2的深度值皆大於畫素零視差參考位準ZPS,且畫素A1的深度值大於畫素A2的深度值時,控制器144亦可利用上式(3)運算,根據畫素A2的深度值與濾波範圍FS,調整畫素A1的深度值以及鄰近於畫素A1並排列於同一水平方向上的N-1個畫素的N-1個深度值。相關操作於前一實施例類似,故於此不再重複贅述。
請參照第3E圖,第3E圖為根據本案之一實施例 所繪示的對畫素A1與畫素A2兩者所對應的深度值進行平滑化的示意圖。於此實施例中,控制器144根據邊緣圖E1偵測出邊緣區域存在於深度值108(即畫素A1的深度值)與深度值148(即畫素A2的深度值)之間。於此例中,零視差參考位準ZPS(即128)位於畫素A1的深度值(即108)與畫素A2的深度值(即148)之間。此時,控制器144可將畫素A1的深度值直接設置為零視差參考位準ZPS(即128),並可根據前述的式(2)以根據畫素A1的深度值與濾波範圍FS調整畫素A2的深度值與N-1個深度值,其中前述的N-1個深度值對應於鄰近於畫素A2並排列於同一水平方向上的N-1個畫素。進一步地,控制器144更可根據前述的式(3)以根據畫素A1的深度值與濾波範圍FS調整對應於鄰近於畫素A1並排列於同一水平方向上的M個畫素的M個深度值,其中N等於M。
舉例而言,畫素A2對應的調整後深度值G’[j+1]與排列於畫素A1旁的畫素A0對應的調整後的深度值G’[j-1]可藉由下述計算而得:
同樣地,藉由重複計算,控制器144可將深度 圖D1中邊緣區域鄰近的多個畫素對應的深度值進行平滑化,並據此產生深度圖D1’。等效而言,於此例中,控制器144是藉由同時將畫素A1的深度值與畫素A2的深度值往零視差參考位準ZPS進行調整,以達成平滑化的操作。
請參照第3F圖,第3F圖為根據本案之一實施例所繪示的對畫素A1與畫素A2兩者所對應的深度值進行平滑化的示意圖。於此例中,零視差參考位準ZPS(即128)位於畫素A1的深度值(即168)與畫素A2的深度值(即88)之間。同樣地,控制器144可將畫素A1的深度值設置為零視差參考位準ZPS,並分別藉由前述的式(2)與式(3)運算,以調整畫素A2的深度值、N-1個深度值與M個深度值。
例如,畫素A2對應的調整後深度值G’[j+1]與排列於畫素A1旁的畫素A0對應的調整後的深度值G’[j-1]可藉由下述計算而得:
據此,藉由重複計算,控制器144可將深度圖D1中邊緣區域鄰近的多個畫素對應的深度值進行平滑化,並據此產生深度圖D1’。均值濾波器146可據此對深度圖D1’進行平均而產生深度圖D2,以完成後續操作。
請參照第4A圖,第4A圖為根據一些不具平滑化操作的相關技術所繪示立體影像之示意圖。
於一些相關技術中,並未對物件的邊緣區域進行平滑化的處理。因此,如第4A圖所示,立體影像400為利用多張多視角影像M渲染形成,在每一張多視角影像M中的物件401的邊緣彼此之間會具有一個固定的間距d。也就是說,多張多視角影像M會以固定的間距d彼此隔開,並同時重疊而形成立體影像400。如此一來,立體影像400中的物件401的邊緣上所產生的交互干擾現象會非常明顯,導致使用者的觀看舒適度降低。
請參照第4B圖,第4B圖為根據本案之一實施例所繪示立體影像之示意圖。相較於第4A圖,本案中的立體影像顯示系統100藉由對深度圖D1的物件邊緣區域中的畫素的深度值與零視差參考位準ZPS差異較大者進行調整,以達到平滑化操作,進而降低物件401的邊緣區域的深度值與與零視差參考位準ZPS之間的差異。如此一來,在立體影像420中的每一張多視角影像M中的物件401的邊緣彼此之間的間距將會不同,且越靠近立體影像420的物件401的邊緣之間距會越小。例如,如第4B圖所示,間距d1小於間距d2,且間距d2小於間距d3。換句話說,藉由平滑化操作,立體影像420中的物件401的邊緣上所產生的交互干擾現象可以明顯地降低,進而改善了使用者的觀看舒適度。
於各個實施例中,立體影像顯示系統100可為安置在具有顯示方法200的非暫態電腦可讀取媒體中的設計工具。換句話說,立體影像顯示系統100中的各單元的具體 實施方式可為軟體、硬體與/或軔體。舉例來說,若以執行速度及精確性為首要考量,則立體影像顯示系統100基本上可選用硬體與/或軔體為主,例如使用數位處理晶片等。或者,若以設計彈性為首要考量,則立體影像顯示系統100基本上可選用軟體為主。
綜上所述,本揭示內容所揭示之立體影像顯示系統與及其顯示方法可適用於立體影像的交互干擾的現象,進而改善使用者的觀看舒適度。
雖然本發明已以實施方式揭露如上,然其並非用以限定本發明,任何熟習此技藝者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾,因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧立體影像顯示系統
120‧‧‧深度圖產生單元
140‧‧‧平滑化處理單元
142‧‧‧邊緣偵測器
144‧‧‧控制器
146‧‧‧均值濾波器
160‧‧‧深度圖繪圖單元
180‧‧‧立體影像渲染單元
C1‧‧‧彩色影像
D1‧‧‧深度圖
D1’‧‧‧深度圖
D2‧‧‧深度圖
E1‧‧‧邊緣圖
M‧‧‧多視角影像
SI‧‧‧立體影像

Claims (20)

  1. 一種顯示方法,包含:根據一彩色影像產生一第一深度圖與一邊緣圖;根據該邊緣圖找出該第一深度圖中的一邊緣區域的一第一畫素的一第一深度值以及一第二畫素的一第二深度值,其中該第一畫素與該第二畫素相鄰排列於一水平方向上;根據一零視差參考位準調整該第一深度圖中鄰近該邊緣區域之N個畫素的N個深度值,以產生一第二深度圖,其中N為一正整數,且該N個畫素包含該第一畫素與該第二畫素至少一者;以及根據該第二深度圖以及該彩色影像而產生複數個多視角影像,以顯示一立體影像。
  2. 如申請專利範圍第1項之顯示方法,其中產生該第二深度圖的步驟包含:將該第一深度值、該第二深度值與該零視差參考位準進行比較;以及當該第一深度值與該第二深度值皆小於該零視差參考位準且該第一深度值大於該第二深度值時,或當該第一深度值與該第二深度值皆大於該零視差參考位準且該第二深度值大於該第一深度值時,根據該第一深度值與一濾波範圍調整該第二深度值以及該N個深度值中的N-1者,以產生該第二深度圖, 其中該N個深度值中的N-1者對應於鄰近於該第二畫素並排列於該水平方向上的N-1個畫素。
  3. 如申請專利範圍第2項之顯示方法,其中調整後的該N個深度值、該第一深度值、該第二深度值與該濾波範圍滿足下列特定關係:G’[j+n]=G[j+n]-[(G[j+n]-G[j])/(FS)]×(FS-n),其中n為1~N的正整數,G’[j+n]為調整後的該N個深度值,該第一深度值為G[j],該第二深度值為G[j+1],且FS為該濾波範圍。
  4. 如申請專利範圍第1項之顯示方法,其中產生該第二深度圖的步驟更包含:當該第一深度值與該第二深度值皆小於該零視差參考位準且該第二深度值大於該第一深度值時,或當該第一深度值與該第二深度值皆大於該零視差參考位準且該第一深度值大於該第二深度值時,根據該第二深度值與一濾波範圍調整該第一深度值以及該N個深度值中的N-1者,以產生該第二深度圖,其中該N個深度值中的N-1者對應於鄰近於該第一畫素並排列於該水平方向上的N-1個畫素。
  5. 如申請專利範圍第4項之顯示方法,其中調整後的該N個深度值、該第一深度值、該第二深度值與該濾波範圍滿足下列特定關係:G’[j-n]=G[j-n]-[(G[j-n]-G[j])/(FS)]×(FS-n), 其中n為1~N的正整數,G’[j-n]為調整後的該N個深度值,該第一深度值為G[j-1],該第二深度值為G[j],且FS為該濾波範圍。
  6. 如申請專利範圍第1項之顯示方法,其中產生該第二深度圖的步驟更包含:當該第一深度值與該第二深度值中之一者小於該零視差參考位準,且該第一深度值與該第二深度值中之另一者大於該零視差參考位準時,將該第一深度值設置為該零視差參考位準;根據該第一深度值與一濾波範圍調整該第二深度值與該N個深度值中的N-1者,其中該些N個深度值中的N-1者對應於鄰近於該第二畫素並排列於該水平方向上的N-1個畫素;以及根據該第一深度值與該濾波範圍調整M個深度值,以產生該第二深度圖,其中該M個深度值對應於鄰近於該第一畫素並排列於該水平方向上的M個畫素,且M等於N。
  7. 如申請專利範圍第6項之顯示方法,其中調整後的該N個深度值、調整後的該M個深度值、該第一深度值、該第二深度值與該濾波範圍滿足下列特定關係:G’[j+n]=G[j+n]-[(G[j+n]-G[j])/(FS)]×(FS-n),G’[j-n]=G[j-n]-[(G[j-n]-G[j])/(FS)]×(FS-n),其中n為1~N的正整數,G’[j+n]為調整後的該N個深度值,G’[j-n]為調整後的該些M個深度值,該第一深度值為G[j],該第二深度值為G[j+1],且FS為該濾波範圍。
  8. 如申請專利範圍第1項之顯示方法,其中顯示該立體影像的步驟包含:根據該第二深度圖以及該零視差參考位準計算複數個深度感值;以及根據該彩色影像與該些深度感值產生該些多視角影像,以顯示該立體影像。
  9. 如申請專利範圍第1項之顯示方法,其中該些多視角影像中的任一者具有一物件,其中該些多視角影像中的一第一多視角影像的該物件的邊緣與該些多視角影像中的一第二多視角影像的該物件的邊緣之間具有一第一間距,且該第二多視角影像的該物件的邊緣與該些多視角影像中的一第三多視角影像的該物件的邊緣之間具有一第二間距,其中該第一間距與該第二間距不相同。
  10. 如申請專利範圍第1項之顯示方法,其中產生該第二深度圖的步驟更包含:在調整該N個深度值後,對調整完之該第一深度圖進行平均,以產生該第二深度圖。
  11. 一種立體影像顯示系統,包含:一深度圖產生單元,用以根據一彩色影像產生一第一深度圖;一平滑化處理單元,包含:一邊緣偵測器,用以根據該第一深度圖產生一邊緣 圖;以及一控制器,用以根據該邊緣圖找出該第一深度圖中的一邊緣區域的一第一畫素的一第一深度值以及一第二畫素的一第二深度值,並根據一零視差參考位準調整該第一深度圖中鄰近該邊緣區域之N個畫素的N個深度值,以產生一第二深度圖,其中該第一畫素與該第二畫素排列於一水平方向上,N為一正整數,且該N個畫素包含該第一畫素與該第二畫素中之至少一者;一深度圖繪圖單元,用以根據該第二深度圖與該彩色影像產生複數個多視角影像;以及一立體影像渲染單元,用以根據該些多視角影像驅動一顯示面板顯示一立體影像。
  12. 如申請專利範圍第11項之立體影像顯示系統,其中該控制器用以將該第一深度值、該第二深度值與該零視差參考位準進行比較,並在當該第一深度值與該第二深度值皆小於該零視差參考位準時且該第一深度值大於該第二深度值時,或當該第一深度值與該第二深度值皆大於該零視差參考位準且該第二深度值大於該第一深度值時,該控制器用以根據該第一深度值與一濾波範圍調整該第二深度值以及該N個深度值中的N-1者,以產生該第二深度圖,其中該N個深度值中的N-1者對應於鄰近於該第二畫素並排列於該水平方向上的N-1個畫素。
  13. 如申請專利範圍第12項之立體影像顯示系 統,其中調整後的該N個深度值、該第一深度值、該第二深度值與該濾波範圍滿足下列特定關係:G’[j+n]=G[j+n]-[(G[j+n]-G[j])/(FS)]×(FS-n),其中n為1~N的正整數,G’[j+n]為調整後的該些N個深度值,該第一深度值為G[j],該第二深度值為G[j+1],且FS為該濾波範圍。
  14. 如申請專利範圍第11項之立體影像顯示系統,其中在當該第一深度值與該第二深度值皆小於該零視差參考位準且該第二深度值大於該第一深度值時,或當該第一深度值與該第二深度值皆大於該零視差參考位準且該第一深度值大於該第二深度值時,該控制器更根據該第二深度值與一濾波範圍調整該第一深度值以及該N個深度值中的N-1者,以產生該第二深度圖,其中該N個深度值中的N-1者對應於鄰近於該第一畫素並排列於該水平方向上的N-1個畫素。
  15. 如申請專利範圍第14項之立體影像顯示系統,其中當該第一深度值與該第二深度值皆小於該零視差參考位準時且該第二深度值大於該第一深度值時,或當該第一深度值與該第二深度值皆大於該零視差參考位準且該第一深度值大於該第二深度值時,調整後的該N個深度值、該第一深度值、該第二深度值與該濾波範圍滿足下列特定關係:G’[j-n]=G[j-n]-[(G[j-n]-G[j])/(FS)]×(FS-n),其中n為1~N的正整數,G’[j-n]為調整後的該N個深度值,該第一深度值為G[j-1],該第二深度值為G[j],且FS 為該濾波範圍。
  16. 如申請專利範圍第11項之立體影像顯示系統,其中當該第一深度值與該第二深度值中之一者小於該零視差參考位準,且該第一深度值與該第二深度值中之另一者大於該零視差參考位準時,該控制器更用以將該第一深度值設置為該零視差參考位準,並根據該第一深度值與一濾波範圍調整該第二深度值、該些N個深度值中的N-1者與該第一深度圖中的M個深度值,其中該些N個深度值中的N-1者對應於鄰近於該第二畫素並排列於該水平方向上的N-1個畫素,該M個深度值對應於鄰近於該第一畫素並排列於該水平方向上的M個畫素,且M等於N。
  17. 如申請專利範圍第16項之立體影像顯示系統,其中調整後的該N個深度值、調整後的該M個深度值、該第一深度值、該第二深度值與該濾波範圍滿足下列特定關係:G’[j+n]=G[j+n]-[(G[j+n]-G[j])/(FS)]×(FS-n),G’[j-n]=G[j-n]-[(G[j-n]-G[j])/(FS)]×(FS-n),其中n為1~N的正整數,G’[j+n]為調整後的該N個深度值,G’[j-n]為調整後的該M個深度值,該第一深度值為G[j],該第二深度值為G[j+1],且FS為該濾波範圍。
  18. 如申請專利範圍第11項之立體影像顯示系統,其中該深度圖繪圖單元用以根據該第二深度圖與該零視差參考位準計算複數個深度感值,並根據該彩色影像與該些 深度感值產生該些多視角影像。
  19. 如申請專利範圍第11項之立體影像顯示系統,其中該些多視角影像中的任一者具有一物件,其中該些多視角影像中的一第一多視角影像的該物件的邊緣與該些多視角影像中的一第二多視角影像的該物件的邊緣之間具有一第一間距,且該第二多視角影像的該物件的邊緣與該些多視角影像中的一第三多視角影像的該物件的邊緣之間具有一第二間距,其中該第一間距與該第二間距不相同。
  20. 如申請專利範圍第11項之立體影像顯示系統,其中該平滑化處理單元更包含:一均值濾波器,用以在該控制器調整完該第一深度圖中的該N個深度值後,對調整完之該第一深度圖進行平均,以產生該第二深度圖。
TW103146335A 2014-12-30 2014-12-30 立體影像顯示系統與顯示方法 TWI558167B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW103146335A TWI558167B (zh) 2014-12-30 2014-12-30 立體影像顯示系統與顯示方法
CN201510058298.6A CN104581123B (zh) 2014-12-30 2015-02-04 立体影像显示***与显示方法
US14/711,893 US9934556B2 (en) 2014-12-30 2015-05-14 Three-dimensional image display system and display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103146335A TWI558167B (zh) 2014-12-30 2014-12-30 立體影像顯示系統與顯示方法

Publications (2)

Publication Number Publication Date
TW201625001A TW201625001A (zh) 2016-07-01
TWI558167B true TWI558167B (zh) 2016-11-11

Family

ID=53096197

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103146335A TWI558167B (zh) 2014-12-30 2014-12-30 立體影像顯示系統與顯示方法

Country Status (3)

Country Link
US (1) US9934556B2 (zh)
CN (1) CN104581123B (zh)
TW (1) TWI558167B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104835164B (zh) * 2015-05-11 2017-07-28 京东方科技集团股份有限公司 一种双目摄像头深度图像的处理方法及装置
US9569830B2 (en) * 2015-07-03 2017-02-14 Mediatek Inc. Image processing method and electronic apparatus with image processing mechanism
US11006095B2 (en) * 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
TWI678681B (zh) * 2018-05-15 2019-12-01 緯創資通股份有限公司 產生深度圖的方法及其影像處理裝置與系統
US20230410261A1 (en) * 2020-10-27 2023-12-21 Sony Group Corporation Information processing apparatus, information processing method, and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001060076A1 (en) * 1998-11-04 2001-08-16 Forte Visio Medica Ab Design, function, and utilisation of an equipment for capturing of three-dimensional images
US20070024999A1 (en) * 2003-12-15 2007-02-01 William Crossland Apparatus and method for displaying a video image
US7643025B2 (en) * 2003-09-30 2010-01-05 Eric Belk Lange Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
US20120320164A1 (en) * 2011-06-16 2012-12-20 Lenny Lipton Stereoscopic camera with polarizing apertures
EP1668919B1 (en) * 2003-09-30 2013-02-20 Eric Belk Lange Stereoscopic imaging

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8384763B2 (en) 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
CN101960860B (zh) * 2007-11-09 2013-06-26 汤姆森许可贸易公司 使用基于区域的滤波的深度图提取***和方法
KR101590763B1 (ko) 2009-06-10 2016-02-02 삼성전자주식회사 Depth map 오브젝트의 영역 확장을 이용한 3d 영상 생성 장치 및 방법
KR20120139410A (ko) * 2011-06-17 2012-12-27 삼성디스플레이 주식회사 입체 영상 표시 장치 및 그 구동 방법
TWI496452B (zh) 2011-07-29 2015-08-11 Wistron Corp 立體影像系統、立體影像產生方法、立體影像調整裝置及其方法
JP5983935B2 (ja) * 2011-11-30 2016-09-06 パナソニックIpマネジメント株式会社 新視点画像生成装置および新視点画像生成方法
CN102724529B (zh) * 2012-05-28 2014-08-06 清华大学 虚拟视点视频序列的生成方法及生成装置
TWI630815B (zh) 2012-06-14 2018-07-21 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式
US9344619B2 (en) * 2013-08-30 2016-05-17 Qualcomm Incorporated Method and apparatus for generating an all-in-focus image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001060076A1 (en) * 1998-11-04 2001-08-16 Forte Visio Medica Ab Design, function, and utilisation of an equipment for capturing of three-dimensional images
US7643025B2 (en) * 2003-09-30 2010-01-05 Eric Belk Lange Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
EP1668919B1 (en) * 2003-09-30 2013-02-20 Eric Belk Lange Stereoscopic imaging
US20070024999A1 (en) * 2003-12-15 2007-02-01 William Crossland Apparatus and method for displaying a video image
US20120320164A1 (en) * 2011-06-16 2012-12-20 Lenny Lipton Stereoscopic camera with polarizing apertures

Also Published As

Publication number Publication date
US9934556B2 (en) 2018-04-03
CN104581123B (zh) 2017-01-18
TW201625001A (zh) 2016-07-01
US20160191908A1 (en) 2016-06-30
CN104581123A (zh) 2015-04-29

Similar Documents

Publication Publication Date Title
TWI558167B (zh) 立體影像顯示系統與顯示方法
JP5160640B2 (ja) 画像のステレオ・マッチングのためのシステム及び方法
JP2021185542A (ja) 3次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム
JP4918689B2 (ja) メッシュマップを用いて二次元画像から立体画像を生成する立体画像生成方法及び立体画像生成装置
US9350969B2 (en) Target region filling involving source regions, depth information, or occlusions
TW201505420A (zh) 內容感知顯示適應方法
US20150097827A1 (en) Target Region Fill Utilizing Transformations
TWI550559B (zh) 影像分割裝置與影像處理方法
US20200257361A1 (en) Three-dimensional (3d) rendering method and apparatus for user' eyes
JP2010200213A5 (zh)
KR101697181B1 (ko) 사용자의 시선 추적을 이용한 영상 처리 장치 및 방법
US9886096B2 (en) Method and apparatus for processing three-dimensional (3D) object based on user interaction
TWI608447B (zh) 立體影像深度圖產生裝置及方法
TWI489859B (zh) 影像形變方法及其電腦程式產品
CN102307308B (zh) 一种在触摸屏上生成立体图像的方法和设备
WO2014030571A1 (ja) 立体画像処理装置、立体画像処理方法およびプログラム
TWI478100B (zh) 影像深度估計方法及其裝置
US20130342536A1 (en) Image processing apparatus, method of controlling the same and computer-readable medium
Islam et al. Warping-based stereoscopic 3d video retargeting with depth remapping
US20140348416A1 (en) Stereo image rectification apparatus and method
WO2012153378A1 (ja) 立体視画像生成装置、立体視画像生成方法、立体視画像生成プログラム
US20160163093A1 (en) Method and apparatus for generating image
TWI526045B (zh) 立體影像的調整方法與影像處理裝置
US10110873B2 (en) Backward depth mapping method for stereoscopic image synthesis
TWI514325B (zh) 三維影像對的深度修正系統及其方法