TWI685242B - 多視角裸眼式立體影像的生成方法及其顯示方法以及電子裝置 - Google Patents

多視角裸眼式立體影像的生成方法及其顯示方法以及電子裝置 Download PDF

Info

Publication number
TWI685242B
TWI685242B TW107123901A TW107123901A TWI685242B TW I685242 B TWI685242 B TW I685242B TW 107123901 A TW107123901 A TW 107123901A TW 107123901 A TW107123901 A TW 107123901A TW I685242 B TWI685242 B TW I685242B
Authority
TW
Taiwan
Prior art keywords
parallax
image
processing unit
along
primitives
Prior art date
Application number
TW107123901A
Other languages
English (en)
Other versions
TW201909628A (zh
Inventor
林郁軒
柏堂宏
Original Assignee
特亞有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 特亞有限公司 filed Critical 特亞有限公司
Priority to CN201810799117.9A priority Critical patent/CN109286807A/zh
Priority to US16/040,497 priority patent/US20190028698A1/en
Publication of TW201909628A publication Critical patent/TW201909628A/zh
Application granted granted Critical
Publication of TWI685242B publication Critical patent/TWI685242B/zh

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本發明的多視角裸眼式立體影像的生成方法利用擷取到的同一場景的第一視像及第二視像,以計算出視差並將第二視像丟棄。處理單元僅利用第一視像及視差便可藉由循環演算法產生適於合成立體影像的複數個視差影像,讓任何角度下拍攝的視象皆可有效應用於生成方法中。此外,本發明的顯示方法及電子裝置在交織前將影像斜向切取並搭配相容的斜置凸鏡透鏡層顯示交織影像,讓顯示裝置無論以何種角度擺放皆能夠呈現立體效果。因此,本發明降低了設備配置成本及影像處理時間,同時提升了顯示裝置的拍攝與觀賞便利性。

Description

多視角裸眼式立體影像的生成方法及其顯示方法以及電子裝置
本發明涉及一種立體影像的生成方法,特別是有關一種多視角裸眼式立體影像的生成方法。
當人類雙眼觀看一個實體對象時,左眼所擷取的影像與右眼所擷取的影像雖然皆為同一實體對象的影像,但左眼的影像與右眼的影像之間存在有一視差,使人類大腦可利用此一視差資訊將左眼的影像與右眼的影像在腦中合成一立體影像。
習知的裸眼式立體影像顯示裝置以及生成方法係利用彼此間具有間距的兩影像擷取模組對一實體對象擷取一左眼影像以及一右眼影像,其中左眼影像與右眼影像彼此間具有視差。接著,將彼此間具有視差的左眼影像以及右眼影像交織(interlace)以形成一交織影像,再將交織影像通過凸鏡透鏡層的折射分別讓左影眼像的所有成份匯集至左眼、讓右眼影像的所有成份匯集至右眼。因此,根據左眼影像與右眼影像在腦中的合成結果,人類大腦相信雙眼正在觀看一個重現該實體對象的立體影像。
為了重現該實體對象的立體影像,習知顯示裝置必須配備至少兩具攝影機以分別擷取左眼影像以及右眼影像;若要顯示多視角的裸眼式立體影像,則需要根據多視角(多觀點)配置相應數量的攝影機以擷取相應數量的影像。隨著視角數量的增加,攝影機數量的增加不僅讓成本上升,相應擷取影像數量的增加也讓影像處理的時間大幅上升。而且,習知顯示裝置的攝影機必須沿雙眼的左右方向配置並擷取影像,才能呈現合理的立體影像;若擷取影像的視差落在其它方向上,大腦無法理解此視差訊息所代表的意義便無法感知到立體的效果。前述拍攝方向的限制不利於顯示裝置的使用便利性。
此外,當習知顯示裝置交織影像時,只能沿平行於影像的一側邊方向切取影像。由於影像切取後的走向必須要平行於凸鏡透鏡層的透鏡走向才能有效折射,顯示裝置的擺設方向必須配合雙眼的左右方向,才能讓透鏡所發出的影像正確折射至雙眼;在實際應用中,顯示裝置通常必須限定於直立擺設,才能讓平視的雙眼感受到立體的效果。前述擺設方向的限制也不利於顯示裝置的使用方便性。
為解決上述問題,本發明公開了一種多視角裸眼式立體影像的生成方法。本發明所公開的多視角裸眼式立體影像的生成方法包括以下步驟:一第一影像擷取裝置擷取一第一視像,一第二影像擷取裝置擷取一第二視像,一處理單元計算該第一視像與該第二視像之間的一視差,該處理單元丟棄該第二視像,該處理單元根據該第一視像與該視差產生一第一視差圖,以及該處理單元將該第一視差圖沿一算圖方向計算N個第一視差影像,其中N為一正整數。
本發明所公開的多視角裸眼式立體影像的生成方法中,其中該處理單元將該第一視差圖沿一算圖方向計算N個第一視差影像包括以下步驟:該處理單元根據該第一視差圖沿該算圖方向計算一虛擬視差,以及該處理單元根據該第一視差圖及該虛擬視差計算該N個第一視差影像。
本發明所公開的多視角裸眼式立體影像的生成方法中,其中各該N個第一視差影像分別包含複數個有效圖元以及複數個無效圖元。該生成方法另包括以下步驟:該處理單元產生一影像處理窗框,其中該影像處理窗框包含該複數個有效圖元的至少一部分及該複數個無效圖元的至少一部分,其中該複數個無效圖元的該至少一部分位於該複數個有效圖元的該至少一部分的一側,且該複數個無效圖元的該至少一部分與該影像處理窗框的一框邊鄰接,以及該處理單元根據該複數個有效圖元的該至少一部分對該複數個無效圖元的該至少一部分進行填值。
本發明所公開的多視角裸眼式立體影像的生成方法另包括以下步驟:該處理單元將該第N個第一視差影像沿一反算圖方向(reverse rendering direction)計算M個第二視差影像(second disparity image),其中該反算圖方向相反於該算圖方向。M為一正整數且等於N,該第M個第二視差影像實質上等同於該第一視像。
本發明所公開的多視角裸眼式立體影像的生成方法中,其中該處理單元將該第N個第一視差影像沿一反算圖方向計算M個第二視差影像包含以下步驟:該處理單元沿該反算圖方向計算一反虛擬視差,以及該處理單元根據該第N個第一視差影像及該反虛擬視差計算該M個第二視差影像。
本發明所公開的多視角裸眼式立體影像的生成方法另包括以下步驟:該處理單元將該第一視像沿一切取方向切取為一第一視像條組,其中該切取方向與該第一視像的側邊斜交,該處理單元將該N個第一視差影像沿該切取方向分別切取為N組第一視差影像條組,該處理單元將該M個第二視差影像沿該切取方向分別切取為M組第二視差影像條組,以及該處理單元將該第一視像條組、該N組第一視差影像條組與該M組第二視差影像條組交織成一顯示影像。
本發明所公開的多視角裸眼式立體影像的生成方法另包括以下步驟:該處理單元將該第M個第二視差影像沿該反算圖方向計算P個第三視差影像(third disparity image),其中P為一正整數。
本發明所公開的多視角裸眼式立體影像的生成方法中,其中該處理單元將該第M個第二視差影像沿該反算圖方向計算P個第三視差影像包括以下步驟:該處理單元沿該反算圖方向計算一反虛擬視差,以及該處理單元根據該第M個第二視差影像及該反虛擬視差計算該P個第三視差影像。
本發明所公開的多視角裸眼式立體影像的生成方法另包括以下步驟:該處理單元將該第P個第三視差影像沿該算圖方向計算Q個第四視差影像(fourth disparity image),其中Q為一正整數且等於P,第Q個第四視差影像實質上等同於該第一視像。
本發明所公開的多視角裸眼式立體影像的生成方法中,其中該處理單元將該第P個第三視差影像沿該算圖方向計算Q個第四視差影像包括以下步驟:該處理單元沿該算圖方向計算一虛擬視差,以及該處理單元根據該第P個第三視差影像及該虛擬視差計算該Q個第四視差影像。
本發明所公開的多視角裸眼式立體影像的生成方法另包括以下步驟:該處理單元將該第一視像沿一切取方向切取為一第一視像條組,其中該切取方向與該第一視像的側邊斜交,該處理單元將該N個第一視差影像沿該切取方向分別切取為N組第一視差影像條組,該處理單元將該M個第二視差影像沿該切取方向分別切取為M組第二視差影像條組,該處理單元將該P個第三視差影像沿該切取方向分別切取為P組第三視差影像條組,該處理單元將該Q個第四視差影像沿該切取方向分別切取為Q組第四視差影像條組,以及該處理單元將該第一視像條組、該N組第一視差影像條組、該M組第二視差影像條組、該P組第三視差影像條組與該Q組第四視差影像條組交織成一顯示影像。
本發明所公開的多視角裸眼式立體影像的生成方法另包括以下步驟:該處理單元通過分析該第一視差圖計算出該第一視差圖的一景深,以及該處理單元將該影深對應一顯示裝置的一景深顯示裕度進行正規化(normalized),以讓該景深相容於該景深顯示裕度。
本發明另公開了一種多視角裸眼式立體影像的顯示方法,包括以下步驟:提供一第一視差影像以及至少一第二視差影像,一處理單元將該第一視差影像沿一切取方向切取為一第一視像條組,其中該切取方向與該第一視像的側邊斜交,該處理單元將該至少一第二視差影像沿該切取方向切取為至少一第二視差影像條組,該處理單元將該第一視像條組與該至少一第二視差影像條組交織成一顯示影像,以及該處理單元控制一顯示裝置顯示該顯示影像。該顯示裝置具有一直式顯示模式(portrait mode)及一橫式顯示模式(landscape mode),該切取方向包含一直式方向與一橫式方向,該直式方向實質上垂直於該橫式方向,當該顯示裝置以該直式顯示模式顯示該顯示影像時,該處理單元沿該直式方向切取該第一視差影像與該至少一第二視差影像,當該顯示裝置以該橫式顯示模式顯示該顯示影像時,該處理單元沿該橫式方向切取該第一視差影像與該至少一第二視差影像。
本發明所公開的多視角裸眼式地體影像的顯示方法中,其中該切取方向沿一第一方向具有一第一分量,該切取方向沿垂直於該第一方向的一第二方向具有一第二分量,該第一分量與該第二分量皆大於零。
本發明所公開的多視角裸眼式地體影像的顯示方法另包括以下步驟:提供一斜置凸鏡透鏡層(tilted lenticular lens layer),其中該斜置凸鏡透鏡層具有複數個斜置透鏡,且各該斜置透鏡的走向斜交於該斜置凸鏡透鏡層的側邊,以及將該斜置凸鏡透鏡層設置於該顯示裝置上。
本發明所公開的多視角裸眼式地體影像的顯示方法中,其中將該斜置凸鏡透鏡層設置於該顯示裝置上包括以下步驟:將各該斜置透鏡沿實質上平行於該切取方向的走向設置於該顯示裝置上。
本發明另公開了一種電子裝置,本發明所公開的電子裝置包括一顯示裝置以及一斜置凸鏡透鏡層。該顯示裝置用以顯示一顯示影像,該顯示影像具有一第一視差影像條組及至少一第二視差影像條組,該第一視差影像條組與該至少一第二視差影像條組分別斜交於該顯示影像的側邊。該斜置凸鏡透鏡層設置於該顯示裝置上,該斜置凸鏡透鏡層具有複數個斜置透鏡,各該斜置透鏡的走向斜交於該斜置凸鏡透鏡層的側邊。該顯示裝置具有一直式顯示模式及一橫式顯示模式,當該顯示裝置以該直式顯示模式顯示該顯示影像時,該第一視差影像條組的走向與該至少一第二視差影像條組的走向分別實質上平行於一直式方向。當該顯示裝置以該橫式顯示模式顯示該顯示影像時,該第一視差影像條組的走向與該至少一第二視差影像條組的走向分別實質上平行於一橫式方向,該直式方向實質上垂直於該橫式方向。
本發明所公開的電子裝置中,其中該第一視差影像條組的走向與該至少一第二視差影像條組的走向分別實質上平行於各該斜置透鏡的走向。
本發明所公開的電子裝置中,其中該顯示影像為一多視角裸眼式立體影像。
本發明多視角裸眼式立體影像的生成方法在計算出視差資訊後,丟棄第一視像外的所有原始資料,且本發明多視角裸眼式立體影像的生成方法僅利用第一視像以及視差資訊並藉由循環演算法產生適用於合成多視角立體影像的複數個視差影像。換句話說,本發明多視角裸眼式立體影像的生成方法只需配置兩具能用以產生視差資訊的影像擷取裝置,且只需利用其中一具影像擷取裝置所擷取的影像便可產生立體影像,如此影像擷取裝置便能夠以任何角度拍攝並重新賦予視差資訊一個合理的方向,以擺脫拍攝方向上的限制。因此,本發明不僅大幅降低了設備配置成本以及影像處理時間,也提升了拍攝便利性。此外,本發明多視角裸眼式立體影像的生成方法、顯示方法以及電子裝置在交織前將影像斜向切取並搭配相容的斜置凸鏡透鏡層將交織影像顯示於顯示裝置上。因此,藉由該生成方法以及該顯示方法,該電子裝置的顯示裝置無論是以直式顯示模式、橫式顯示模式擺設或是以其他任何角度擺設,皆能夠顯示出立體的效果,大幅提升了顯示裝置的使用便利性。
在說明書及前述的權利要求書之中使用了某些名稱來指稱特定的元件。所屬領域中具有通常知識者應可理解,製造商可能會用不同的名稱來稱呼同一個元件。本說明書及後續的權利要求書並不以名稱的差異來作為區分元件的方式,而是以元件在功能及結構上的差異來作為區分的準則。在通篇說明書及後續的權利要求書之中所提及的「包含」為一開放式的用語,故應解釋為「包含但不限定於」。此外,「耦接」或「連接」一詞在此包含任何直接及間接的電氣或結構連接手段。因此,若文中描述第一裝置耦接/連接於第二裝置,則代表所述第一裝置可直接電氣/結構連接所述第二裝置,或通過其他裝置或連接手段間接地電氣/結構連接所述第二裝置。
請參考第1圖以及第12圖,第1圖為本發明實施方式用以擷取及顯示影像的電子裝置的示意圖,第12圖為本發明實施方式電子裝置顯示顯示影像的示意圖。本發明公開了一種電子裝置9,包括一顯示裝置91以及一斜置凸鏡透鏡層92,顯示裝置91用以顯示一顯示影像8,其中顯示影像8具有至少一第一視差影像條組61及至少一第二視差影像條組62。至少一第一視差影像條組61具有複數個第一視差影像條611,且至少一第二視差影像條組62具有複數個第二視差影像條621,複數個第一視差影像條611與複數個第二視差影像條621彼此間互相交織以產生顯示影像8;至少一第一視差影像條組61與至少一第二視差影像條組62分別斜交於顯示影像8的側邊85。斜置凸鏡透鏡層92設置於顯示裝置91上,斜置凸鏡透鏡層92具有複數個斜置透鏡920,各斜置透鏡920的走向Z斜交於該斜置凸鏡透鏡層92的側邊925。另外要說明的是,在本發明的實施方式中,顯示影像8可為一多視角裸眼式立體影像。
如第1圖所示,電子裝置9另包括一第一影像擷取裝置98、一第二影像擷取裝置99以及一處理單元90,處理單元90耦接於第一影像擷取裝置98與第二影像擷取裝置99,第一影像擷取裝置98與第二影像擷取裝置99分別對一對象O擷取一第一視像1以及一第二視像2,處理單元90根據第一影像擷取裝置98所擷取的第一視像1以及第二影像擷取裝置99所擷取的第二視像2合成該多視角裸眼式立體影像。
請參考第1圖以及第17圖,第17圖為本發明實施方式生成方法產生N個第一視差影像的流程圖。本發明另公開了一種多視角裸眼式立體影像的生成方法6;如第17圖所示,生成方法6產生N個第一視差影像11的流程包括以下步驟:
步驟100:第一影像擷取裝置98擷取第一視像1。
步驟110:第二影像擷取裝置99擷取第二視像2。
步驟120:處理單元90計算第一視像1與第二視像2之間的視差D0。
步驟129:處理單元90丟棄第二視像2。
步驟130:處理單元90根據第一視像1與視差D0產生第一視差圖3。
步驟140:處理單元90將第一視差圖3沿算圖方向X1計算N個第一視差影像11,其中N為一正整數。
請參閱第1圖至第4圖以及第17圖,第2圖為本發明實施方式第一視像及第二視像的示意圖,第3圖為本發明實施方式第一視差圖的示意圖,第4圖為本發明實施方式生成方法產生第一視差影像及第二視差影像的示意圖;以下針對生成方法6產生N個第一視差影像11的流程進行詳細說明。首先,如第1圖所示,將第一影像擷取裝置98與第二影像擷取裝置99並排並同時擷取一對象O的第一視像1與第二視像2(步驟100、步驟110)。第1圖所示的實施方式將第一影像擷取裝置98與第二影像擷取裝置99外接於電子裝置9;在實際應用中,第一影像擷取裝置98與第二影像擷取裝置99也可實質上等同於設置於電子裝置9(如手機)立面上用以拍攝的雙鏡頭,且不限於本發明實施方式所揭露的安裝設置方式。如同在人類雙眼觀看同一對象O的情況中所觀察到的,由於第一影像擷取裝置98與第二影像擷取裝置99之間存在一距離(類似於人類的兩眼間距),第一影像擷取裝置98與第二影像擷取裝置99可以理解為分別從不同的角度(或視角、觀點)去觀看同一對象O。因此,第一影像擷取裝置98(相當於人類的右眼)所擷取到的第一視像1與第二影像擷取裝置99(相當於人類的左眼)所擷取到的第二視像2之間存在一視角所造成的差異(如第2圖所示)。
接著,處理單元90根據第一視像1與第二視像2之間的差異計算第一視像1與第二視像2之間的視差D0(步驟120)。處理單元90產生尺寸與第一視像1相同的一第一視差圖3(如第3圖所示),並將計算而得的視差D0的數值反映於第一視差圖3上對應的像素上(步驟130)。第3圖所示的第一視差圖3為以一灰階圖的形式所呈現,其中不同的視差數值對應於不同的灰階數值,因此不同的視差數值便能夠在圖上以不同的明暗深淺所呈現;要另外說明的是,第一視差圖3也可理解為一儲存視差數值的矩陣,並不限於本發明實施方式所揭露的形式。產生第一視差圖3之後,處理單元90從第一視差圖3沿一算圖方向X1計算N個第一視差影像11,其中N為一正整數(步驟140)。由於要產生第一視差圖3以及後續所有的視差影像(例如N個第一視差影像11)僅需根據第一視像1與視差D0所蘊含的資訊,因此在本發明的實施方式中,處理單元90在計算視差D0之後可以直接丟棄第二視像2以及與第二視像2相關的其他所有資訊(步驟129);在實際應用中,本發明生成方法在計算視差D0後,後續任何計算中皆不會應用到第二視像2以及與第二視像2相關的其他所有資訊。
請參考第4圖以及第5圖,第5圖為本發明實施方式生成方法產生多個第一視差影像及第二視差影像的示意圖。另外要說明的是,在第一視差圖3產生之後,處理單元90根據第一視差圖3沿算圖方向X1計算一虛擬視差D1;在實際應用中,虛擬視差D1可以是根據平均雙眼間距以及雙眼與顯示裝置91之間的舒適觀賞距離等人因參數所換算出來的一種預設值,作為一種預設值的虛擬視差D1也可以根據使用者的喜好或需求進行手動調整。處理單元90將計算而得的虛擬視差D1施加於第一視差圖3(或第一視像1)以產生一第一個第一視差影像11。特別設定的虛擬視差D1可以被理解為第一視差圖3(或第一視像1)與第一個第一視差影像11之間的自然視差,也就是說,第一視差圖3(或第一視像1)以及第一個第一視差影像11可以被理解為分別透過人類右眼以及人類左眼所看到的兩個視像(如第4圖以及第5圖所示)。
重複上述過程,處理單元90將虛擬視差D1施加於第一個第一視差影像11以產生一第二個第一視差影像11,接著再將虛擬視差D1施加於第二個第一視差影像11以產生一第三個第一視差影像11,直到產生一第N個第一視差影像11為止。第N個第一視差影像11可以被理解為沿著算圖方向X1上的最終端的一張影像。如第4圖以及第5圖所示,在N = 1的情況中,第一個第一視差影像11為算圖方向X1上的最終端的一張影像;在N = 2的情況中,第二個第一視差影像11為算圖方向X1上的最終端的一張影像,以此類推。
請參考第18圖,第18圖為本發明實施方式生成方法產生M個第二視差影像以及交織影像的流程圖;如第18圖所示,生成方法6產生M個第二視差影像12以及交織影像的流程包括以下步驟:
步驟200:處理單元90將第N個第一視差影像11沿一反算圖方向X2計算M個第二視差影像12,其中反算圖方向X2相反於算圖方向X1,M為一正整數且等於N,第M個第二視差影像12實質上等同於第一視像1。
步驟230:處理單元90將第一視像1沿一切取方向Y切取為一第一視像條組19,其中切取方向Y與第一視像1的側邊15斜交。
步驟240:處理單元90將N個第一視差影像11沿切取方向Y分別切取為N組第一視差影像條組61。
步驟250:處理單元90將M個第二視差影像12沿切取方向Y分別切取為M組第二視差影像條組62。
步驟260:處理單元90將第一視像條組19、N組第一視差影像條組61與M組第二視差影像條組62交織成顯示影像8。
以下針對生成方法6產生M個第二視差影像12的流程進行詳細說明。請參考第4圖以及第5圖,在第N個第一視差影像11產生之後,處理單元90將第N個第一視差影像11沿一反算圖方向X2計算M個第二視差影像12,其中反算圖方向X2相反於算圖方向X1,M為一正整數且等於N,第M個第二視差影像12實質上等同於第一視像1(步驟200)。在本發明生成方法6所採用的一種循環演算法中,處理單元90先沿反算圖方向X2計算一反虛擬視差D2;反虛擬視差D2可以被理解為與虛擬視差D1具有相同功能的預設值,但方向相反,為求簡潔,於此不再贅述。處理單元90將計算而得的反虛擬視差D2施加於第N個第一視差影像11以產生一第一個第二視差影像12,並接著依序產生一第二個第二視差影像12、一第三個第二視差影像12,直到產生一第M個第二視差影像12為止;處理單元90從第一視差圖3(或第一視像1)計算N個第一視差影像11的過程與處理單元90從第N個第一視差影像11計算M個第二視差影像12的過程的主要不同之處在於計算的方向相反,但兩者計算過程的運算規則相同,為求簡潔,於此不再贅述。
另外要說明的是,因為反虛擬視差D2的方向與虛擬視差D1的方向相反,若第N-1個第一視差影像11以及第N個第一視差影像11分別被理解為相當於人類左眼與人類右眼所觀察到的視像,則第N個第一視差影像11以及第一個第二視差影像12可以分別被理解為相當於人類右眼與人類左眼所觀察到的視像(如第4圖以及第5圖所示)。換句話說,N個第一視差影像11以及M個第二視差影像12是沿著相反的方向依序產生的(如第4圖以及第5圖所示)。在循環演算法中,N個第一視差影像11的個數被設定為與M個第二視差影像12的個數相同(N = M),因此第M個第二視差影像12與第一視差圖3(或第一視像1)之間實質上沒有視差,換句話說,第M個第二視差影像12與第一視差圖3(或第一視像1)實質上可以被理解為同一視像。如第4圖以及第5圖所示,在N = M = 1的情況中,第一個第二視差影像12實質上與第一視像1相同;在N = M = 2的情況中,第二個第二視差影像12實質上與第一視像1相同,以此類推。此外,因為第M個第二視差影像12實質上與第一視差圖3(或第一視像1)相同,在第M個第二視差影像12產生之後,循環演算法可以被理解為完成;換句話說,在此實施方式中,從第一視差圖3(或第一視像1)演變至第M個第二視差影像12的過程可以理解為循環演算法的一循環。產生N+M個視差影像的過程可視為一種單邊式循環演算法。
請參考第19圖,第19圖為本發明另一實施方式生成方法產生P個第三視差影像、M個第四視差影像以及一交織影像的流程圖。本發明另一實施方式生成方法6’產生P個第三視差影像、M個第四視差影像以及一交織影像的流程包括以下步驟:
步驟300:處理單元90將第M個第二視差影像12沿反算圖方向X2計算P個第三視差影像13,其中反算圖方向X2相反於算圖方向X1,P為一正整數。
步驟400:處理單元90將第P個第三視差影像13沿算圖方向X1計算Q個第四視差影像14,其中Q為一正整數且等於P,第Q個第四視差影像14實質上等同於第一視像1。
步驟430:處理單元90將第一視像1沿一切取方向Y切取為一第一視像條組19,其中切取方向Y與第一視像1的側邊15斜交。
步驟440:處理單元90將N個第一視差影像11沿切取方向Y分別切取為N組第一視差影像條組61。
步驟450:處理單元90將M個第二視差影像12沿切取方向Y分別切取為M組第二視差影像條組62。
步驟460:處理單元90將P個第三視差影像13沿切取方向Y分別切取為P組第三視差影像條組63。
步驟470:處理單元90將Q個第四視差影像14沿切取方向Y分別切取為Q組第四視差影像條組64。
步驟480:處理單元90將第一視像條組19、N組第一視差影像條組61、M組第二視差影像條組62、P組第三視差影像條組63與Q組第四視差影像條組64交織成顯示影像8。
請參考第6圖,第6圖為本發明另一實施方式生成方法產生第一視差影像、第二視差影像、第三視差影像及第四視差影像的示意圖;以下針對本發明另一實施方式生成方法6’在產生M個第二視差影像後,產生P個第三視差影像及Q個第四視差影像的流程進行詳細說明。在本發明的另一實施方式中,生成方法6’在產生M個第二視差影像後,將第M個第二視差影像12沿反算圖方向X2計算P個第三視差影像13(步驟300),並接著將第P個第三視差影像13沿算圖方向X1計算Q個第四視差影像14,其中Q為一正整數且等於P,第Q個第四視差影像14實質上等同第一視像1(步驟400);換句話說,生成方法6’總共產生了N+M+P+Q個視差影像。在計算P個的第三視差影像的過程中,處理單元90先沿反算圖方向X2計算一反虛擬視差d2,並將計算而得的反虛擬視差d2施加於第M個第二視差影像12以依序產生P個第三視差影像13。接著,處理單元90沿算圖方向X1計算一虛擬視差d1,並將計算而得的虛擬視差d1施加於第P個第三視差影像13以依序產生Q個第四視差影像14。產生P+Q個視差影像的過程(如第19圖所示)與產生M+N個視差影像的過程(如第17圖及第18圖所示)之間的主要不同之處在於算圖方向的順序相反,但具有相同的演算機制,為求簡潔,於此不再贅述。另外要說明的是,虛擬視差D1可被設定為與虛擬視差d1相同,但不限於此;反虛擬視差D2可被設定為與反虛擬視差d2相同,但不限於此。
因為第Q個第四視差影像14實質上與第一視差圖3(或第一視像1)相同,在第Q個第四視差影像14產生之後,循環演算法可以被理解為完成;換句話說,在本發明另一實施方式生成方法6’中,從M個第二視差影像12演變至第Q個第四視差影像14的過程可以理解為循環演算法的一循環;產生N+M+P+Q個視差影像的過程可視為一種雙邊式循環演算法。雙邊式循環演算法與單邊式循環演算法的主要不同之處在於視域的範圍大小不同但同樣可以達成立體的效果,為求簡潔,於此不再贅述。另外要說明的是,在產生P+Q個視差影像的過程中所採用的虛擬視差d1以及反虛擬視差d2的一量值可以等於也可以不等於在產生N+M個視差影像的過程中所採用的虛擬視差D1以及反虛擬視差D2的一量值,P(或Q)可以等於也可以不等於M(或N),本發明所採用的演算法並不以此為限。
請參考第7圖、第8圖、第18圖以及第19圖,第7圖為本發明另一實施方式生成方法將第6圖所示視差影像依序展開的示意圖,第8圖為本發明另一實施方式生成方法將第7圖所示依序展開的視差影像交織的示意圖。以下針對本發明另一實施方式生成方法6’將N+M+P+Q個視差影像交織的流程進行詳細說明。在N+M+P+Q個視差影像產生之後,處理單元90將第一視像1以及N+M+P+Q個視差影像依照產生所有視差影像的一產生順序G、沿雙眼的一左右方向展開並排列。如第7圖所示,在N = M = P = Q的條件下,N+M+P+Q個視差影像的產生順序G如下:第一個第一視差影像111在第一視像1之後,最後一個第一視差影像119在第一個第一視差影像111之後,第一個第二視差影像121在最後一個第一視差影像119之後,最後一個第二視差影像129在第一個第二視差影像之後,第一個第三視差影像131在最後一個第二視差影像129之後,最後一個第三視差影像139在第一個第三視差影像131之後,而且第一個第四視差影像141在最後一個第三視差影像139之後。最後一個第四視差影像合理推論應該接續在第一個第四視差影像141之後,但由於最後一個第四視差影像在本循環中實質上等同於第一視像1,為求簡潔,並未圖示於第7圖中。根據前述的產生順序G,將N+M+P+Q個視差影像(N = M = P = Q = 2)展開後的排列方式也圖示於第7圖中。
接著,如第8圖所示,處理單元90將第一視像1沿一切取方向Y切取為一第一視像條組19,其中切取方向Y與第一視像1的側邊15斜交(步驟230、步驟430)。處理單元90將N個第一視差影像11沿切取方向Y分別切取為N組第一視差影像條組61(步驟240、步驟440)。處理單元90將M個第二視差影像12沿切取方向Y分別切取為M組第二視差影像條組62(步驟250、步驟450)。處理單元90將P個第三視差影像13沿切取方向Y分別切取為P組第三視差影像條組63(步驟460)。處理單元90將Q個第四視差影像14沿切取方向Y分別切取為Q組第四視差影像條組64(步驟470)。在分割完N+M+P+Q個視差影像之後,處理單元90將第一視像條組19、N組第一視差影像條組61、M組第二視差影像條組62、P組第三視差影像條組63與Q組第四視差影像條組64交織為一顯示影像8(步驟480)。前述交織過程(步驟480)與將第一視像條組19、N組第一視像條組61及M組第二視像條組交織成一顯示影像8的過程(步驟260)的主要差異在於視像條組的數量,但具有相同的演算機制,為求簡潔,於此不再贅述。
另外要說明的是,由於第Q個第四視差影像14(也就是最後一個第四視差影像)與第一視像1實質上相同,處理單元90在交織前將第Q個第四視差影像14條組丟棄。因此,在實際應用中,處理單元90僅採用Q-1組第四視差影像條組64與其他視差影像條組進行交織;但處理單元90也可將第Q個第四視差影像14取代第一視像1以進行交織,本發明並不以此為限。將視像/影像條組交織為一顯示影像8的演算規則已為先前技術所揭露,為求簡潔,於此不再贅述。但要注意的是,先前技術用以進行交織的材料皆為沿平行於視像/影像其中之一側邊方向切取而成的視像/影像條組,與本發明所揭露的斜切方式不同。
請參考第9圖及第10圖,第9圖為本發明實施方式視差影像所具有的遮蔽區域的示意圖,第10圖為本發明實施方式生成方法對遮蔽區域進行填值的示意圖。在從前一視差影像計算後一視差影像的過程中,前一視差影像的部分背景資訊難以通過模擬的方式進行預測並產生於後一視差影像上,因此在後一視差影像上的某些部位會存在被稱為遮蔽區域(disocclusion)的複數個無效圖元4。若未經處理,複數個無效圖元4所佔有的區域在顯示影像8上會呈現出不連續的效果。因此,如第9圖以及第10圖所示,本發明處理單元90產生一影像處理窗框30,影像處理窗框30包含複數個有效圖元5的至少一部分及複數個無效圖元4的至少一部分,其中複數個無效圖元4的至少一部分位於複數個有效圖元5的至少一部分的一側,且複數個無效圖元4的至少一部分與影像處理窗框的一框邊305鄰接。接著,處理單元90根據複數個有效圖元5的至少一部分對複數個無效圖元4的至少一部分進行填值。
在本發明實施方式中,處理單元90可以產生一特定尺寸的遮罩(或稱為運算矩陣)並將遮罩覆蓋於遮蔽區域的至少一部份上。本發明實施方式的遮罩可以為一種低通濾波器,用以對遮罩所覆蓋的遮蔽區域進行平滑化處理(例如平均),但不限於此。在實際應用中,處理單元90將由無效像素所組成的遮蔽區域置於遮罩的一邊界上以通過補洞演算法產生更為貼近真實的視覺效果。將擁有最多相鄰有效像素的無效像素視為目標像素,處理單元90通過平滑化處裡從所有位於遮罩內的有效像素的數值計算出一數值,並將計算而得的數值填入目標像素,以將目標像素從一無效像素轉換為一有效像素。重複上述過程,從無效像素轉換而來的有效像素可繼而作為對相鄰無效像素進行填值的輸入之一,以此類推。通過上述補洞演算法,遮蔽區域會從鄰接於有效像素的一側朝遮蔽區域的內部(以及另一側)逐漸轉換為有效像素;換句話說,有效像素會從鄰接於遮蔽區域的一側朝遮蔽區域的內部(以及另一側)逐漸擴散,直到整個遮蔽區域都轉換為有效像素為止,如第10圖中由箭號所代表的補洞順序J所示。
請參考第1圖及第11圖,第11圖為本發明實施方式生成方法將影像的景深正規化的示意圖。受限於顯示裝置91本身的規格與元件架構,顯示裝置91僅能顯示介於一特定範圍的景深,稱為顯示裝置91的景深顯示裕度t。此外,視差的數值大小隨著物體與雙眼之間的距離遠近而變動,代表視差資訊實質上反映了景深資訊;因此藉由分析視差資訊可獲得與景深相關的資訊。如第11圖所示,本發明實施方式的處理單元90通過分析第一視差圖3計算出第一視差圖3的一景深T。接著,處理單元90將計算而得的景深T對應顯示裝置91的景深顯示裕度t進行正規化處理K,以讓該景深T相容於該景深顯示裕度t。由於第一視差圖3可視為一種突顯第一視像1的視差數值的功能性圖表並具有與第一視像1實質上共通的基礎規格以及特徵,第一視像1的景深T實質上與第一視差圖3相同。由於每個視差影像都是藉由第一視差圖3的視差數值疊加一個虛擬視差(或反虛擬視差)而產生,疊加的虛擬視差並不會影響單一視差影像中物件的相對深度,代表每個視差影像的景深T實質上與第一視差圖3相同。因此,藉由將第一視差圖3的景深T根據顯示裝置91的景深顯示裕度t正規化處理K的相同過程,處理單元90也可將所有視像/視差影像的景深T進行正規化處理K,以讓景深T相容於景深顯示裕度t並讓所有視像/影像適合在顯示裝置91上呈現。
請參考第20圖,第20圖為本發明實施方式顯示方法將第一視差影像以及第二視差影像交織為顯示影像的流程圖。本發明另公開了一種多視角裸眼式立體影像的顯示方法7;如第20圖所示,顯示方法7將第一視差影像11以及第二視差影像12交織為顯示影像8的流程包括以下步驟:
步驟500:提供第一視差影像11以及至少一第二視差影像12。
步驟510:處理單元90將第一視差影像11沿一切取方向Y切取為第一視差影像條組61,其中切取方向Y與第一視差影像11的側邊15斜交。
步驟520:處理單元90將至少一第二視差影像12沿切取方向Y切取為至少一第二視差影像條組62。
步驟530:處理單元90將第一視差影像條組61與至少一第二視差影像條組62交織成顯示影像8。
步驟540:處理單元90控制顯示裝置91顯示顯示影像8。
步驟550:提供一斜置凸鏡透鏡層92,其中斜置凸鏡透鏡層92具有複數個斜置透鏡920,且各斜置透鏡920的走向Z斜交於斜置凸鏡透鏡層92的側邊925。
步驟560:將斜置凸鏡透鏡層92設置於顯示裝置91上。
請參考第12圖至第16圖以及第20圖,第13A圖為本發明實施方式斜置凸鏡透鏡層的示意圖,第13B圖為本發明實施方式斜置凸鏡透鏡層的剖面圖,第14圖為本發明實施方式顯示裝置於橫式顯示模式且顯示顯示影像的示意圖,第15圖為本發明實施方式顯示裝置於直式顯示模式且顯示顯示影像的示意圖,第16圖為本發明實施方式顯示裝置直式方向與橫式方向彼此之間互相垂直的示意圖。以下針對本發明實施方示顯示方法7從第一視差影像11以及第二視差影像12產生一顯示影像8並將顯示影像8顯示於顯示裝置91的方法進行詳細說明。首先,將彼此之間具有視差的第一視差影像11及第二視差影像12提供給處理單元90(步驟500);如同先前在本發明實施方式生成方法6, 6’中所描述的,處理單元90可以將兩個以上的視差影像交織為顯示影像8,為求簡潔,於此僅以第一視差影像以及第二視差影像為例。處理單元90將第一視差影像11以及第二視差影像12沿一切取方向Y分別切取為第一視差影像條組61以及第二視差影像條組62,其中切取方向Y與第一視差影像11的側邊15斜交(步驟510、步驟520)。
接著,處理單元90將第一視差影像條組61與第二視差影像條組62交織成顯示影像8(步驟530)。本發明顯示方法如何將第一視差影像以及至少一第二視差影像切取並交織為一顯示影像8的過程,已於前述本發明生成方法6, 6’的實施方式中以及本發明電子裝置9的實施方式中說明,為求簡潔,於此不再贅述。交織完成後,處理單元90控制顯示裝置91顯示顯示影像8(步驟540)。藉由將斜置凸鏡透鏡層92設置於顯示裝置91上(步驟550、步驟560),顯示裝置91便能夠通過斜置凸鏡透鏡層92呈現顯示影像8的裸眼式立體影像。斜置凸鏡透鏡層92具有複數個斜置透鏡920,且各斜置透鏡920的走向Z斜交於斜置凸鏡透鏡層92的側邊925。
另外要說明的是,各斜置透鏡920沿實質上平行於切取方向Y的走向Z設置於該顯示裝置91上。切取方向Y沿一第一方向921具有一第一分量Y1,且沿垂直於第一方向921的一第二方向922具有一第二分量Y2,如第14圖以及第15圖所示。第一分量Y1與第二分量Y2皆大於零。由於顯示裝置91具有一直式顯示模式910及一橫式顯示模式913,切取方向Y相對於直式顯示模式910包括(或定義為)一直式方向9101,且相對於橫式顯示模式913包括(或定義為)一橫式方向9131,如第14圖以及第15圖所示。直式方向9101實質上垂直於橫式方向9131。換句話說,當顯示裝置91以直式顯示模式910顯示顯示影像8時,處理單元90沿直式方向9101切取至少一第一視差影像11與至少一第二視差影像12。當顯示裝置91以橫式顯示模式913顯示顯示影像8時,處理單元90沿橫式方向9131切取至少一第一視差影像11與至少一第二視差影像12。由於處理單元90沿斜交於視差影像邊緣的方向切取至少一第一視差影像11以及至少一第二視差影像12,且切取方向Y平行於斜置透鏡920的走向,當顯示影像8顯示於顯示裝置91上時,顯示影像8的至少一第一視差影像條組61以及至少一第二視差影像條組62不僅平行於斜置透鏡920也斜交於顯示裝置91的邊緣。
本發明多視角裸眼式立體影像的生成方法在計算出視差資訊後,丟棄第一視像外的所有原始資料,且本發明多視角裸眼式立體影像的生成方法僅利用第一視像以及視差資訊並藉由循環演算法產生適用於合成多視角立體影像的複數個視差影像。換句話說,本發明多視角裸眼式立體影像的生成方法只需配置兩具能用以產生視差資訊的影像擷取裝置,且只需利用其中一具影像擷取裝置所擷取的影像便可產生立體影像,如此影像擷取裝置便能夠以任何角度拍攝並重新賦予視差資訊一個合理的方向,以擺脫拍攝方向上的限制。因此,本發明不僅大幅降低了設備配置成本以及影像處理時間,也提升了拍攝便利性。此外,本發明多視角裸眼式立體影像的生成方法、顯示方法以及電子裝置在交織前將影像斜向切取並搭配相容的斜置凸鏡透鏡層將交織影像顯示於顯示裝置上。因此,藉由該生成方法以及該顯示方法,該電子裝置的顯示裝置無論是以直式顯示模式、橫式顯示模式擺設或是以其他任何角度擺設,皆能夠顯示出立體的效果,大幅提升了顯示裝置的使用便利性。 以上所述僅為本發明之較佳實施例,凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
O‧‧‧對象1‧‧‧第一視像11‧‧‧N個第一視差影像111‧‧‧第一個第一個視差影像119‧‧‧最後一個第一視差影像12‧‧‧M個第二視差影像121‧‧‧第一個第二視差影像129‧‧‧最後一個第二視差影像13‧‧‧P個第三視差影像131‧‧‧第一個第三視差影像139‧‧‧最後一個第三視差影像14‧‧‧Q個第四視差影像141‧‧‧第一個第四視差影像15‧‧‧側邊19‧‧‧第一視像條組191‧‧‧第一視像條2‧‧‧第二視像3‧‧‧第一視差圖30‧‧‧影像處理窗框305‧‧‧框邊4‧‧‧複數個無效圖元5‧‧‧複數個有效圖元6‧‧‧生成方法6’‧‧‧生成方法61‧‧‧N組第一視差影像條組611‧‧‧複數個第一視差影像條62‧‧‧M組第二視差影像條組621‧‧‧複數個第二視差影像條63‧‧‧P組第三視差影像條組631‧‧‧複數個第三視差影像條64‧‧‧Q組第四視差影像條組641‧‧‧複數個第四視差影像條7‧‧‧顯示方法8‧‧‧顯示影像85‧‧‧側邊9‧‧‧電子裝置90‧‧‧處理單元91‧‧‧顯示裝置910‧‧‧直式顯示模式9101‧‧‧直式方向913‧‧‧橫式顯示模式9131‧‧‧橫式方向92‧‧‧斜置凸鏡透鏡層920‧‧‧複數個斜置透鏡921‧‧‧第一方向922‧‧‧第二方向925‧‧‧側邊Z‧‧‧走向98‧‧‧第一影像擷取裝置99‧‧‧第二影像擷取裝置D0‧‧‧視差X1‧‧‧算圖方向D1‧‧‧虛擬視差d1‧‧‧虛擬視差X2‧‧‧反算圖方向D2‧‧‧反虛擬視差d2‧‧‧反虛擬視差Y‧‧‧切取方向Y1‧‧‧第一分量Y2‧‧‧第二分量T‧‧‧景深t‧‧‧景深顯示裕度G‧‧‧產生順序J‧‧‧補洞順序K‧‧‧正規化處理
第1圖為本發明實施方式用以擷取及顯示影像的電子裝置的示意圖。 第2圖為本發明實施方式第一視像及第二視像的示意圖。 第3圖為本發明實施方式第一視差圖的示意圖。 第4圖為本發明實施方式生成方法產生第一視差影像及第二視差影像的示意圖。 第5圖為本發明實施方式生成方法產生多個第一視差影像及第二視差影像的示意圖。 第6圖為本發明另一實施方式產生第一視差影像、第二視差影像、第三視差影像及第四視差影像的示意圖。 第7圖為本發明另一實施方式生成方法將第6圖所示視差影像依序展開的示意圖。 第8圖為本發明另一實施方式生成方法將第7圖所示依序展開的視差影像交織的示意圖。 第9圖為本發明實施方式視差影像所具有的遮蔽區域的示意圖。 第10圖為本發明實施方式生成方法對遮蔽區域進行填值的示意圖。 第11圖為本發明實施方式生成方法將影像的景深正規化的示意圖。 第12圖為本發明實施方式電子裝置顯示顯示影像的示意圖。 第13A圖為本發明實施方式斜置凸鏡透鏡層的示意圖。 第13B圖為本發明實施方式斜置凸鏡透鏡層的剖面圖。 第14圖為本發明實施方式顯示裝置於橫式顯示模式且顯示顯示影像的示意圖。 第15圖為本發明實施方式顯示裝置於直式顯示模式且顯示顯示影像的示意圖。 第16圖為本發明實施方式顯示裝置直式方向與橫式方向彼此之間互相垂直的示意圖。 第17圖為本發明實施方式生成方法產生N個第一視差影像的流程圖。 第18圖為本發明實施方式生成方法產生M個第二視差影像以及交織影像的流程圖。 第19圖為本發明另一實施方式生成方法產生P個第三視差影像、M個第四視差影像以及一交織影像的流程圖。 第20圖為本發明實施方式顯示方法將第一視差影像以及第二視差影像交織為顯示影像的流程圖。
O‧‧‧對象
1‧‧‧第一視像
2‧‧‧第二視像
98‧‧‧第一影像擷取裝置
99‧‧‧第二影像擷取裝置
90‧‧‧處理單元
9‧‧‧電子裝置
92‧‧‧斜置凸鏡透鏡層
925‧‧‧側邊
91‧‧‧顯示裝置

Claims (15)

  1. 一種多視角裸眼式立體影像的生成方法,該生成方法包含: 一第一影像擷取裝置擷取一第一視像; 一第二影像擷取裝置擷取一第二視像; 一處理單元計算該第一視像與該第二視像之間的一視差; 該處理單元丟棄該第二視像; 該處理單元根據該第一視像與該視差產生一第一視差圖;以及 該處理單元將該第一視差圖沿一算圖方向計算N個第一視差影像,其中N為一正整數。
  2. 如請求項1所述的生成方法,其中該處理單元將該第一視差圖沿一算圖方向計算N個第一視差影像包含: 該處理單元根據該第一視差圖沿該算圖方向計算一虛擬視差;以及 該處理單元根據該第一視差圖及該虛擬視差計算該N個第一視差影像。
  3. 如請求項1所述的生成方法,其中各該N個第一視差影像分別包含複數個有效圖元以及複數個無效圖元,該生成方法另包含: 該處理單元產生一影像處理窗框,該影像處理窗框包含該複數個有效圖元的至少一部分及該複數個無效圖元的至少一部分,其中該複數個無效圖元的該至少一部分位於該複數個有效圖元的該至少一部分的一側,且該複數個無效圖元的該至少一部分與該影像處理窗框的一框邊鄰接;以及 該處理單元根據該複數個有效圖元的該至少一部分對該複數個無效圖元的該至少一部分進行填值。
  4. 如請求項1所述的生成方法,另包含: 該處理單元將該第N個第一視差影像沿一反算圖方向計算M個第二視差影像,其中該反算圖方向相反於該算圖方向,M為一正整數且等於N,該第M個第二視差影像實質上等同於該第一視像; 其中該處理單元將該第N個第一視差影像沿一反算圖方向計算M個第二視差影像包含: 該處理單元沿該反算圖方向計算一反虛擬視差;以及 該處理單元根據該第N個第一視差影像及該反虛擬視差計算該M個第二視差影像。
  5. 如請求項4所述的生成方法,其中各該M個第二視差影像分別包含複數個有效圖元以及複數個無效圖元,該生成方法另包含: 該處理單元產生一影像處理窗框,該影像處理窗框包含該複數個有效圖元的至少一部分及該複數個無效圖元的至少一部分,其中該複數個無效圖元的該至少一部分位於該複數個有效圖元的該至少一部分的一側,且該複數個無效圖元的該至少一部分與該影像處理窗框的一框邊鄰接;以及 該處理單元根據該複數個有效圖元的該至少一部分對該複數個無效圖元的該至少一部分進行填值。
  6. 如請求項4所述的生成方法,另包含: 該處理單元將該第一視像沿一切取方向切取為一第一視像條組,其中該切取方向與該第一視像的側邊斜交; 該處理單元將該N個第一視差影像沿該切取方向分別切取為N組第一視差影像條組; 該處理單元將該M個第二視差影像沿該切取方向分別切取為M組第二視差影像條組;以及 該處理單元將該第一視像條組、該N組第一視差影像條組與該M組第二視差影像條組交織成一顯示影像。
  7. 如請求項4所述的生成方法,另包含: 該處理單元將該第M個第二視差影像沿該反算圖方向計算P個第三視差影像,其中P為一正整數; 其中該處理單元將該第M個第二視差影像沿該反算圖方向計算P個第三視差影像包含: 該處理單元沿該反算圖方向計算一反虛擬視差;以及 該處理單元根據該第M個第二視差影像及該反虛擬視差計算該P個第三視差影像。
  8. 如請求項7所述的生成方法,其中各該P個第三視差影像分別包含複數個有效圖元以及複數個無效圖元,該生成方法另包含: 該處理單元產生一影像處理窗框,該影像處理窗框包含該複數個有效圖元的至少一部分及該複數個無效圖元的至少一部分,其中該複數個無效圖元的該至少一部分位於該複數個有效圖元的該至少一部分的一側,且該複數個無效圖元的該至少一部分與該影像處理窗框的一框邊鄰接;以及 該處理單元根據該複數個有效圖元的該至少一部分對該複數個無效圖元的該至少一部分進行填值。
  9. 如請求項7所述的生成方法,另包含: 該處理單元將該第P個第三視差影像沿該算圖方向計算Q個第四視差影像,其中Q為一正整數且等於P,該第Q個第四視差影像實質上等同於該第一視像; 其中該處理單元將該第P個第三視差影像沿該算圖方向計算Q個第四視差影像包含: 該處理單元沿該算圖方向計算一虛擬視差;以及 該處理單元根據該第P個第三視差影像及該虛擬視差計算該Q個第四視差影像。
  10. 如請求項9所述的生成方法,其中各該Q個第四視差影像分別包含複數個有效圖元以及複數個無效圖元,該生成方法另包含: 該處理單元產生一影像處理窗框,該影像處理窗框包含該複數個有效圖元的至少一部分及該複數個無效圖元的至少一部分,其中該複數個無效圖元的該至少一部分位於該複數個有效圖元的該至少一部分的一側,且該複數個無效圖元的該至少一部分與該影像處理窗框的一框邊鄰接;以及 該處理單元根據該複數個有效圖元的該至少一部分對該複數個無效圖元的該至少一部分進行填值。
  11. 如請求項9所述的生成方法,另包含: 該處理單元將該第一視像沿一切取方向切取為一第一視像條組,其中該切取方向與該第一視像的側邊斜交; 該處理單元將該N個第一視差影像沿該切取方向分別切取為N組第一視差影像條組; 該處理單元將該M個第二視差影像沿該切取方向分別切取為M組第二視差影像條組; 該處理單元將該P個第三視差影像沿該切取方向分別切取為P組第三視差影像條組; 該處理單元將該Q個第四視差影像沿該切取方向分別切取為Q組第四視差影像條組;以及 該處理單元將該第一視像條組、該N組第一視差影像條組、該M組第二視差影像條組、該P組第三視差影像條組與該Q組第四視差影像條組交織成一顯示影像。
  12. 如請求項1所述的生成方法,另包含: 該處理單元通過分析該第一視差圖計算出該第一視差圖的一景深;以及 該處理單元將該影深對應一顯示裝置的一景深顯示裕度進行正規化,以讓該景深相容於該景深顯示裕度。
  13. 一種多視角裸眼式立體影像的顯示方法,包含: 提供一第一視差影像以及至少一第二視差影像; 一處理單元將該第一視差影像沿一切取方向切取為一第一視像條組,其中該切取方向與該第一視像的側邊斜交; 該處理單元將該至少一第二視差影像沿該切取方向切取為至少一第二視差影像條組; 該處理單元將該第一視像條組與該至少一第二視差影像條組交織成一顯示影像;以及 該處理單元控制一顯示裝置顯示該顯示影像; 其中該切取方向沿一第一方向具有一第一分量,該切取方向沿垂直於該第一方向的一第二方向具有一第二分量,該第一分量與該第二分量皆大於零,該顯示裝置具有一直式顯示模式及一橫式顯示模式,該切取方向包含一直式方向與一橫式方向,該直式方向實質上垂直於該橫式方向; 其中當該顯示裝置以該直式顯示模式顯示該顯示影像時,該處理單元沿該直式方向切取該第一視差影像與該至少一第二視差影像; 其中當該顯示裝置以該橫式顯示模式顯示該顯示影像時,該處理單元沿該橫式方向切取該第一視差影像與該至少一第二視差影像。
  14. 如請求項13所述的顯示方法,另包含: 提供一斜置凸鏡透鏡層,其中該斜置凸鏡透鏡層具有複數個斜置透鏡,且各該斜置透鏡的走向斜交於該斜置凸鏡透鏡層的側邊;以及 將該斜置凸鏡透鏡層的各該斜置透鏡沿實質上平行於該切取方向的走向設置於該顯示裝置上。
  15. 一種電子裝置,包含: 一顯示裝置,用以顯示一顯示影像,該顯示影像為一多視角裸眼式立體影像,其中該顯示影像具有一第一視差影像條組及至少一第二視差影像條組,該第一視差影像條組與該至少一第二視差影像條組分別斜交於該顯示影像的側邊;以及 一斜置凸鏡透鏡層,設置於該顯示裝置上,該斜置凸鏡透鏡層具有複數個斜置透鏡,各該斜置透鏡的走向斜交於該斜置凸鏡透鏡層的側邊,該第一視差影像條組的走向與該至少一第二視差影像條組的走向分別實質上平行於各該斜置透鏡的走向; 其中該顯示裝置具有一直式顯示模式及一橫式顯示模式; 其中當該顯示裝置以該直式顯示模式顯示該顯示影像時,該第一視差影像條組的走向與該至少一第二視差影像條組的走向分別實質上平行於一直式方向; 其中當該顯示裝置以該橫式顯示模式顯示該顯示影像時,該第一視差影像條組的走向與該至少一第二視差影像條組的走向分別實質上平行於一橫式方向,該直式方向實質上垂直於該橫式方向。
TW107123901A 2017-07-21 2018-07-10 多視角裸眼式立體影像的生成方法及其顯示方法以及電子裝置 TWI685242B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810799117.9A CN109286807A (zh) 2017-07-21 2018-07-19 多视角裸眼式立体影像的生成方法、显示方法及电子装置
US16/040,497 US20190028698A1 (en) 2017-07-21 2018-07-19 Generation method for multi-view auto-stereoscopic images, displaying method and electronic apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762535239P 2017-07-21 2017-07-21
US62/535,239 2017-07-21

Publications (2)

Publication Number Publication Date
TW201909628A TW201909628A (zh) 2019-03-01
TWI685242B true TWI685242B (zh) 2020-02-11

Family

ID=66590184

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107123901A TWI685242B (zh) 2017-07-21 2018-07-10 多視角裸眼式立體影像的生成方法及其顯示方法以及電子裝置

Country Status (1)

Country Link
TW (1) TWI685242B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427166B (zh) 2020-03-31 2022-07-05 京东方科技集团股份有限公司 一种光场显示方法及***、存储介质和显示面板

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103513438A (zh) * 2013-09-25 2014-01-15 清华大学深圳研究生院 一种多视角裸眼立体显示***及其显示方法
TWM471597U (zh) * 2013-04-27 2014-02-01 Tpv Display Technology Xiamen 裸眼立體顯示系統

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM471597U (zh) * 2013-04-27 2014-02-01 Tpv Display Technology Xiamen 裸眼立體顯示系統
CN103513438A (zh) * 2013-09-25 2014-01-15 清华大学深圳研究生院 一种多视角裸眼立体显示***及其显示方法

Also Published As

Publication number Publication date
TW201909628A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
CN101729920B (zh) 一种自由视角立体视频显示方法
US20110080466A1 (en) Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images
US20130250053A1 (en) System and method for real time 2d to 3d conversion of video in a digital camera
JP2014502818A (ja) 画像処理のための一次像および二次像画像取込装置およびその方法
KR20110124473A (ko) 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
US8723920B1 (en) Encoding process for multidimensional display
JP5450330B2 (ja) 画像処理装置および方法、ならびに立体画像表示装置
TWI527434B (zh) 利用光場相機產生立體影像的方法及光場相機
US20120148173A1 (en) Method and device for generating multi-viewpoint image
US20130050187A1 (en) Method and Apparatus for Generating Multiple Image Views for a Multiview Autosteroscopic Display Device
JP4928476B2 (ja) 立体像生成装置、その方法およびそのプログラム
Schmeing et al. Depth image based rendering: A faithful approach for the disocclusion problem
CN102722080A (zh) 一种基于多镜头拍摄的多用途立体摄像方法
Ainsworth et al. Acquisition of stereo panoramas for display in VR environments
US10939092B2 (en) Multiview image display apparatus and multiview image display method thereof
TWI613904B (zh) 立體影像產生方法及使用此方法的電子裝置
TWI685242B (zh) 多視角裸眼式立體影像的生成方法及其顯示方法以及電子裝置
Tzavidas et al. A multicamera setup for generating stereo panoramic video
US20190028698A1 (en) Generation method for multi-view auto-stereoscopic images, displaying method and electronic apparatus
Benzeroual et al. 3D display size matters: Compensating for the perceptual effects of S3D display scaling
Gurrieri et al. Stereoscopic cameras for the real-time acquisition of panoramic 3D images and videos
Pritch et al. Automatic disparity control in stereo panoramas (omnistereo)
Ramachandran et al. Multiview synthesis from stereo views
Hwang et al. P‐73: Lenticular Lens Parameter Estimation Using Single Image for Crosstalk Reduction of Three‐Dimensional Multi‐View Display
JP2012134885A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees