TWI527434B - 利用光場相機產生立體影像的方法及光場相機 - Google Patents

Description

利用光場相機產生立體影像的方法及光場相 機

本發明是有關於一種利用光場相機產生立體影像的方法。

現有產生立體影像技術是利用至少需兩支攝影機取得左右視差圖來合成立體影像。由於每支攝影機內外部參數(光圈、快門、焦距、感光元件等)並不完全相同，以及由兩支攝影機各別取得之影像畫面還可能產生失焦的情況等，這些會造成立體視覺之視差圖不夠精準，而習知技術為了解決此參數上的問題，乃是透過精密的攝、錄影器材及複雜之軟體影像處理演算法計算校正成相似參數，再取得左右眼視差圖，以及再合成出立體影像。如此一來，不但成本高還必須透過複雜高運算量與冗長時間才可合成立體影像。

有鑑於此，本發明旨在提供一種利用光場相機產生立體影像的方法，以解決上述的問題。

因此，本發明之目的，即在提供一種利用光場 相機產生立體影像的方法，此方法不但成本低，同時也大量減少在產生多個不同視角影像的過程中之計算量。

於是本發明利用光場相機產生立體影像的方法，該光場相機包括一主鏡頭、一具有多個微型鏡頭的微型鏡頭陣列、一感光元件、一影像處理單元及一影像合成單元，該方法包含下列步驟。

首先，該主鏡頭收集來自於一場景之光場資訊，並使該光場資訊分別經由該等微型鏡頭成像在該感光元件的不同位置上以形成多個微影像，其中，每一微型鏡頭係對應於每一微影像，且每一微影像包括n個相鄰排列的影像區，n為不小於2的正整數，且每一微影像的該等影像區分別為對應第i個視角之第i個影像區，i=1、2、…、n。

接著，該影像處理單元自每一微影像的第i個影像區選取一個像素值，使得被選取之該等像素值各別配合形成對應第i個視角之第i視角影像，進而可產生n個各別對應於n個不同視角的視角影像，其中，相關於被選取之該等像素值的多個像素係均完全落在其所屬微影像所對應的微型鏡頭之涵蓋範圍內。

繼而，該影像合成單元合成n個各別對應於n個不同視角的視角影像，進而產生該立體影像。

本發明之另一目的，即在提供一種快速即時產生立體影像的光場相機。

該光場相機包含一主鏡頭、一微型鏡頭陣列、 一感光元件、一影像處理單元及一影像合成單元。

該微型鏡頭陣列設置在該感光元件前方，並具有多個微型鏡頭，較佳的情況是，該等微型鏡頭的大小相等。

該主鏡頭設置在該微型鏡頭陣列前方，用於收集來自於一場景之光場資訊，並使該光場資訊分別經由該等微型鏡頭成像在該感光元件的不同位置上以形成多個微影像。其中，每一微型鏡頭係對應於每一微影像，且每一微影像包括n個相鄰排列的影像區，n為不小於2的正整數，且每一微影像的該等影像區分別為對應第i個視角之第i個影像區，i=1、2、…、n。

該影像處理單元用於自每一微影像的第i個影像區選取一個像素值，使得被選取之該等像素值各別配合形成對應第i個視角之第i視角影像，進而產生n個各別對應於n個不同視角的視角影像，其中，相關於被選取之該等像素值的多個像素均完全落在其所屬微影像所對應的微型鏡頭之涵蓋範圍內。

該影像合成單元用於合成n個對應於n個不同視角的視角影像，進而產生一立體影像。

1‧‧‧光場相機

100‧‧‧場景

11‧‧‧主鏡頭

12‧‧‧微型鏡頭陣列

121‧‧‧微型鏡頭

13‧‧‧感光元件

14‧‧‧影像處理單元

15‧‧‧影像合成單元

2‧‧‧微影像

21‧‧‧第一影像區

211~212‧‧‧像素

213‧‧‧像素

22‧‧‧第二影像區

221~222‧‧‧像素

223‧‧‧像素

31~35‧‧‧步驟

41‧‧‧左視角影像

42‧‧‧右視角影像

43‧‧‧紅藍立體影像

L‧‧‧假想線

L1‧‧‧假想線

L2‧‧‧假想線

L3‧‧‧假想線

本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是一示意圖，說明本發明光場相機之一較佳實施例； 圖2是一示意圖，說明本發明較佳實施例中，具有多個影像區的一微影像；圖3是一示意圖，說明本發明較佳實施例中，成像在一感光元件上的多個微影像；圖4是一示意圖，說明本發明較佳實施例中，每一微影像之垂直方向像素的數目為偶數個之態樣；圖5是一示意圖，說明本發明較佳實施例中，每一微影像之垂直方向像素的數目為奇數個之態樣；圖6是一流程圖，說明本發明之利用光場相機產生立體影像的方法之一較佳實施例；圖7是一示意圖，說明本發明較佳實施例中的一左視角影像及一右視角影像；以及圖8是一示意圖，說明本發明較佳實施例中的一紅藍立體影像。

在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。

參閱圖1至圖3，本發明光場相機之較佳實施例，該光場相機1包含一主鏡頭11、一微型鏡頭陣列12、一感光元件13、一影像處理單元14及一影像合成單元15。

其中，該微型鏡頭陣列12係設置在該主鏡頭11及該感光元件13之間，並具有多個微型鏡頭121；在本較佳實施例中，該等微型鏡頭121以矩陣方式來進行排 列，其數目一共為M×N個，其中，M、N之數值均為正整數。

其中，該主鏡頭11用於收集來自於一場景100之光場資訊，並使該光場資訊分別經由該等微型鏡頭121成像在該感光元件13的不同位置上以形成多個微影像2；其中，每一微影像2對應於每一微型鏡頭121，且較佳的情況是都具有相同的像素數目，且每一微影像2包括n個相鄰排列的影像區(如圖2中分別由n-1條假想線L₁~L_n-1所區隔)，n為不小於2的正整數，且每一微影像2的該等影像區分別為對應第i個視角之第i個影像區，i=1、2、...、n。此外，每一微影像2之每一影像區具有p×q個像素，其中，p、q之數值均為正整數。

其中，該影像處理單元14用於自每一微影像2的第i個影像區選取一個像素值，使得被選取之該等像素值各別根據其所對應的微影像2成像在該感光元件13上的對應位置，配合形成對應第i個視角之第i視角影像，進而產生n個各別對應於n個不同視角的視角影像；其中，相關於被選取之該等像素值的多個像素均完全落在其所屬微影像2所對應的微型鏡頭121之涵蓋範圍內。

在本較佳實施例中，係以n=2，假設每一微影像2具有一第一影像區21及一第二影像區22作為示例；但不以此為限，n之數值亦可超過2。當每一微影像2包括2個相鄰排列的影像區，則該影像處理單元14用於針對每一微影像2以分別從該第一影像區21及該第二影像區22各別 取得一個像素值，以成為分別對應於每一微影像2中的該第一影像區21的一第一像素值以及該第二影像區22的一第二像素值，該影像處理單元14並依據該等第一像素值以產生一第一視角影像，且同樣依據該等第二像素值以產生一第二視角影像；在本較佳實施例中，每一微影像2中的該第一影像區21及第二影像區22，其兩者均分別位於其所屬微影像2中的兩相反側；其中，該兩相反側以左右側為例來說明，該第一影像區21可位於該所屬微影像2中的左側，且該第二影像區22可位於該所屬微影像2中的右側，但不限於此，兩者間之彼此位置亦可交換，因此，若該第一影像區21位於該微影像2中的左側時，假設為圖3中假想線L之左方，則該影像處理單元14由每一第一影像區21取得第一像素值後，由該影像處理單元14排列該等第一像素值後所構成的第一視角影像之態樣則為一左視角影像(圖7的編號41可為例說明)，同樣地，位於該微影像2之右側的該第二影像區22，假設為圖3中假想線L之右方，由每一第二影像區22取得第二像素值後，由該影像處理單元14排列該等第二像素值後所構成的第二視角影像之態樣則為一右視角影像(圖7的編號42可為例說明)。

詳細來說，上述第一像素值及第二像素值取得方式如下：本發明的第一實施態樣是，當該第一影像區21及第二影像區22分別位於該微影像2中的左右兩側時，上述該第一像素值及該第二像素值分別與其所屬的第一影像 區21及第二影像區22中所對應的像素，兩者係完全落在其所屬微影像2所對應的微型鏡頭121所涵蓋範圍內，如圖3中，落在該微型鏡頭121涵蓋範圍內之微影像2中的像素，以粗體線表示，不完全落在該微型鏡頭121涵蓋範圍內之微影像2中的像素，則以虛線表示，且不屬於本第一實施態樣的可選用像素；因此，上述該第一像素值係可藉由該影像處理單元14從上述微影像2中，由該微型鏡頭121可完全涵蓋的範圍內的該第一影像區21中選擇任一像素之像素值，且上述該第二像素值係可藉由該影像處理單元14從上述微影像2中由該微型鏡頭121可完全涵蓋的範圍內的該第二影像區22中選擇與該第一影像區21中所選的像素位置相互對稱之單一像素的像素值，進而分別做為該第一像素值及該第二像素值。此外，在每一微影像2中的第一像素值及第二像素值的取得方式皆從各微影像2的相同的對應位置中取得。較佳地，該第一像素值及該第二像素值所對應的像素係位於該微影像2中的兩相反側邊上或鄰近兩相反側邊上之任一像素所在之位置；更佳地，該第一像素值及該第二像素值所對應的單一像素可為該微影像2中的兩相反側邊上的一中央像素或近中央之任一像素；針對上述最佳之態樣的每一微影像2為例做說明，當該第一及第二影像區21、22分別位於該微影像2之左右兩相反側時，則該第一像素值及該第二像素值所分別對應的像素為微影像2的左右兩側邊上垂直方向上的中央像素(如圖5)或近中央位置之任一像素(如圖5)；且當該第一及第二影 像區21、22分別位於該微影像2之上下兩相反側時，則該第一像素值及該第二像素值所分別對應的像素為微影像2的上下兩側邊上水平方向上的中央像素或近中央位置之任一像素。

以下以圖4及圖5揭示每一微影像2之該第一及第二影像區21、22分別位於該微影像2之左右兩相反側之態樣做進一步說明，至於當該第一及第二影像區21、22分別位於該微影像2之上下兩相反側之態樣可由相同原則推得。為了便於敘述，在圖4與圖5中將微影像2分別編號為2a、2b。

舉例來說，請參考圖4，其係假設每一微影像2之垂直方向像素的數目為偶數個之情況，在此情況下，主要可分為兩種不同情況；其中，第一種態樣為每一微影像2之水平方向像素的數目為偶數個之情形(即，圖4中的微影像2a)，該第一像素值可取自假想線L1左方之該第一影像區21a中的像素211a，則該第二像素值為假想線L1右方之該第二影像區22a中與像素211a位置相互對稱之像素221a；或者，該第一像素值亦可取自假想線L1左方之該第一影像區21a中的像素212a，則該第二像素值為假想線L1右方之該第二影像區22a中與像素212a位置相互對稱之像素222a。而第二種態樣則為每一微影像2之水平方向像素的數目為奇數個之情形(即，圖4中的微影像2b)，該第一像素值可取自假想線L2左方之該第一影像區21b中的像素211b，則該第二像素值為假想線L3右方之該第二影像區 22b中與像素211b位置相互對稱之像素221b；或者，該第一像素值亦可取自假想線L2左方之該第一影像區21b中的像素212b，則該第二像素值為假想線L3右方之該第二影像區22b中與像素212b位置相互對稱之像素222b。

或者，舉例來說，請參考圖5，其係假設每一微影像2之垂直方向像素的數目為奇數個之情況，在此情況下，主要可分為兩種不同態樣；其中，第一種態樣為每一微影像2之水平方向像素的數目為偶數個之情形(即，圖5中的微影像2a)，該第一像素值可取自假想線L1左方之該第一影像區21a中的像素213a，則該第二像素值為假想線L1右方之該第二影像區22a中與像素213a位置相互對稱之像素223a。而第二種態樣則為微影像2之水平方向像素的數目為奇數個之情形(即，圖5中的微影像2b)，該第一像素值可取自假想線L2左方之該第一影像區21b中的像素213b，則該第二像素值為假想線L3右方之該第二影像區22b中與像素213b位置相互對稱之像素223b。

綜上，由上述方式所取得的用來構成該第一視角影像之像素值及用來構成該第二視角影像之像素值均不須再經由複雜之軟體影像處理演算法進行計算，因此，節省了在獲得該第一視角影像及第二視角影像的處理過程中的大量之計算時間；此外，上述方式相當於模擬主鏡頭11左邊及右邊分別鑽一個洞，分別將光場資訊通過左邊的洞後，從感光元件13上所收集到的數位像素資訊合成一張左視角影像，以及將光場資訊通過右邊的洞後，從感光元件 13上所收集到的數位像素資訊合成一張右視角影像，如此等同於視差照，可模擬左右兩眼形成視差，並可藉由進一步的應用來得到一張三維之立體影像。

此外，本發明亦可以第二實施態樣來實現其中，每一微影像中的該第一影像區21與第二影像區22其兩者所包含的像素數目均相同，當該第一影像區21及第二影像區22分別位於該微影像2中的左右兩側時，上述第一像素值及第二像素值可藉由下列方式來取得：舉例來說，請參考圖4，以每一微影像2a為例，則該第一像素值係藉由該影像處理單元14將假想線L1左方的該第一影像區21a中的所有像素之像素值進行平均計算後所產生的一像素平均值，且該第二像素值係藉由該影像處理單元14將假想線L1右方的該第二影像區22a中的所有像素之像素值進行平均計算後所產生的一像素平均值；而以每一微影像2b為例，假設該第一影像區21b位在假想線L2之左方且該第二影像區22b位在假想線L3之右方，則該第一像素值係藉由該影像處理單元14將假想線L2左方的該第一影像區21b中的所有像素之像素值進行平均計算後所產生的一像素平均值，且該第二像素值係藉由該影像處理單元14將假想線L3右方的該第二影像區22b中的所有像素之像素值進行平均計算後所產生的一像素平均值；或者，假設該第一影像區21b及第二影像區22b相互重疊且彼此位在該微影像2左右兩側，即，該第一影像區21b包括假想線L3之左方區域之所有像素且該第二影像 區22b包括假想線L2之右方區域之所有像素(即，該第一影像區21b與第二影像區22b重疊的部分為假想線L2與L3間所界定的影像區域)，則該第一像素值係藉由該影像處理單元14將假想線L3左方的該第一影像區21b中的所有像素之像素值進行平均計算後所產生的一像素平均值，且該第二像素值係藉由該影像處理單元14將假想線L2右方的該第二影像區22b中的所有像素之像素值進行平均計算後所產生的一像素平均值。圖5中的微影像2a、2b其在取得上述第一像素值及第二像素值的方式係與圖4相同，故不在此詳述。值得一提的是，透過上述將微影像2中的第一影像21及第二影像22之像素的像素值進行平均，所分別產生的第一視角影像及第二視角影像均各自對焦在某一焦距上，並且在焦距上的物體是清晰的。

在本較佳實施例中，該影像處理單元14繼而透過上述其中一方法所取得的該等第一像素值及該等第二像素值，依據該等第一像素值及其所相關聯的微影像2成像在該感光元件13上的對應位置，將該等第一像素值寫入一張點陣圖像，進而產生該第一視角影像，並且依據該等第二像素值及其所相關聯的微影像2成像在該感光元件13上的對應位置，將該等第一像素值寫入另一張點陣圖像，進而產生該第二視角影像；當採用本發明的第一實施態樣所產生的該第一視角影像及該第二視角影像，則其分別可如圖7所示的左、右視角影像41、42。

其中，該影像合成單元15用於合成n個各別對 應於n個不同視角的視角影像，進而產生一立體影像。其中，若以n=2為例，則該影像合成單元藉以依據該第一視角影像及該第二視角影像來進行合成，進而產生該立體影像。此外，該影像合成單元15所執行的該立體影像合成之詳細實作方式係為熟習此項技術者所熟知，故不在此贅述。舉例來說，將兩張二維影像合成為一張三維影像，係可採用anaglyph技術(即俗稱的紅藍技術)、interleave技術(即目前3D電視及電影的主流)、polarization技術(即目前3D電腦螢幕的主流，及部分3D電影)、band-pass filtering技術等等，不限於此，就本發明的第一實施態樣而言，圖7的左、右視角影像41、42若以採用anaglyph技術為例來產生該立體影像，則其結果可如圖8所示的紅藍立體影像43，只要配戴3D眼鏡(red-cyan)就能看到非常好的3D效果。

此外，請參閱圖1至圖3及圖6，上述之用於產生該立體影像之光場相機可配合本發明產生立體影像之方法的較佳實施例作說明，其步驟如下。

首先，如步驟41所示，該主鏡頭11收集來自於一場景100之光場資訊。

接著，如步驟42所示，該光場資訊分別經由該等微型鏡頭121成像在該感光元件13的不同位置上，進而形成多個微影像2，其中，每一微型鏡頭係對應於每一微影像2，每一微影像2具有n個相鄰排列且各別對應於n個不同視角的影像區。

接著，如步驟43所示，該影像處理單元14自每一微影像2的第i個影像區選取一個像素值。

較佳地，由該影像處理單元14自每一微影像2的第i個影像區所選取的像素值，其為該第i個影像區中之一個像素之像素值。

較佳地，由該影像處理單元14自每一微影像2的第i個影像區所選取的像素值，其為該第i個影像區中之一個像素與其臨近像素之像素值的加權平均值。舉例來說，該像素之鄰近像素可為該像素之周圍上、下、左、右之鄰近像素，且該像素及其之鄰近像素權重值總和為1，但不限於此，該等鄰近像素的數量及該等權重值可依據需求不同而調整。

較佳地，由該影像處理單14元自每一微影像2的第i個影像區所選取的像素值，其為該第i個影像區中之所有像素之一像素平均值。

接著，如步驟44所示，該影像處理單元14依據每一微影像2的第i個影像區所選取的像素值產生對應第i個視角之第i視角影像，進而產生n個各別對應於n個不同視角的視角影像。

繼而，如步驟45所示，該影像合成單元將n個各別對應於n個不同視角的視角影像合成，進而產生一立體影像。

綜上所述，本發明藉由該影像處理單元14，從已成像在該感光元件13中的該等微影像2分別取得相關於 該第i個影像區之像素值，並將每一微影像2中與該第i個影像區相關的該等像素值寫入至該第i個視角影像，進一步得到n個各別對應於n個不同視角的視角影像；因此，該影像處理單元14在產生該第i個視角影像的過程中，不須經由任何繁複的計算，進而在合成該立體影像前很有效率地省下大量的處理時間；此外，本發明可使用於任何裝有攝影機模組之裝置上，舉凡監控系統、手持式裝置(手機)、行車紀錄器、筆記型電腦、天文望遠鏡、3D電視、3D printing、3D眼鏡等，只需要一台本發明的光場相機即可快速取得3D影像，並且特別是本發明的第一實施態樣在取得左右視差圖不需要有任何演算法運算，為真實光場資訊不會有失焦畫面的情況，相較於傳統立體影像技術，可快速合成出立體影像，對於實際應用有極大效應，故確實能達成本發明之目的。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

31~35‧‧‧步驟

Claims (12)

1. 一種利用光場相機產生立體影像的方法，該光場相機包括一主鏡頭、一具有多個微型鏡頭的微型鏡頭陣列、一感光元件、一影像處理單元及一影像合成單元，該方法包含下列步驟：(a)該主鏡頭收集來自於一場景之光場資訊，並使該光場資訊分別經由該等微型鏡頭成像在該感光元件的不同位置上以形成多個微影像，其中，每一微型鏡頭係對應於每一微影像，且每一微影像包括n個相鄰排列的影像區，n為不小於2的正整數，且每一微影像的該等影像區分別為對應第i個視角之第i個影像區，i=1、2、...、n；(b)該影像處理單元自每一微影像的第i個影像區選取一個像素值，使得被選取之該等像素值各別配合形成對應第i個視角之第i視角影像，進而產生n個各別對應於n個不同視角的視角影像，其中，相關於被選取之該等像素值的多個像素均完全落在其所屬微影像所對應的微型鏡頭之涵蓋範圍內；以及(c)該影像合成單元合成n個對應於n個不同視角的視角影像，進而產生該立體影像。
2. 如請求項1所述的方法，其中，在該(b)步驟中，該影像處理單元自每一微影像的第i個影像區所選取的像素值，其為該第i個影像區中之一個像素之像素值、或該像素與其臨近像素之像素值的加權平均值。
3. 如請求項2所述的方法，其中，在該(a)步驟中，當n=2時，每一微影像係包括一第一影像區及一第二影像區，且在該(b)步驟中，每一微影像中被選取之該等像素值分別為該第一影像區之一第一像素值及該第二影像區之一第二像素值，且相關於該第一像素值之像素的像素位置與相關於該第二像素值之像素的像素位置，其兩者係相互對稱。
4. 如請求項3所述的方法，其中，在該(b)步驟中，每一微影像中的該第一影像區及該第二影像區所分別取得的該第一像素值之對應像素及該第二像素值之對應像素，其兩者係分別位在該微影像中相對應的兩相反側邊上或鄰近兩相反側邊上之位置。
5. 如請求項4所述的方法，其中，在該(b)步驟中，每一微影像中的該第一影像區及該第二影像區所分別取得的該第一像素值之對應像素及該第二像素值之對應像素，其兩者係分別位在該微影像中的兩相反側邊上的一中央像素或靠近中央之任一像素。
6. 如請求項1所述的方法，其中，在該(b)步驟中，該影像處理單元自每一微影像的第i個影像區所選取的像素值，其為該第i個影像區中之所有像素之一像素平均值。
7. 一種光場相機，包含：一感光元件；一微型鏡頭陣列，設置在該感光元件前方，並具 有多個微型鏡頭；一主鏡頭，設置在該微型鏡頭陣列前方，用於收集來自於一場景之光場資訊，並使該光場資訊分別經由該等微型鏡頭成像在該感光元件的不同位置上以形成多個微影像，其中，每一微型鏡頭係對應於每一微影像，且每一微影像包括n個相鄰排列的影像區，n為不小於2的正整數，且每一微影像的該等影像區分別為對應第i個視角之第i個影像區，i=1、2、...、n；一影像處理單元，用於自每一微影像的第i個影像區選取一個像素值，使得被選取之該等像素值各別配合形成對應第i個視角之第i視角影像，進而產生n個各別對應於n個不同視角的視角影像，其中，相關於被選取之該等像素值的多個像素均完全落在其所屬微影像所對應的微型鏡頭之涵蓋範圍內；以及一影像合成單元，用於合成n個各別對應於n個不同視角的視角影像，進而產生一立體影像。
8. 如請求項7所述的方法，其中，由該影像處理單元自每一微影像的第i個影像區所選取的像素值，其為該第i個影像區中之一個像素之像素值、或該像素與其臨近像素之像素值的加權平均值。
9. 如請求項8所述的方法，其中，當n=2時，每一微影像係包括一第一影像區及一第二影像區，且每一微影像中被選取之該等像素值分別為該第一影像區之一第一像素值及該第二影像區之一第二像素值，且相關於該第 一像素值之像素的像素位置與相關於該第二像素值之像素的像素位置，其兩者係相互對稱。
10. 如請求項9所述的光場相機，其中，每一微影像中的該第一影像區及該第二影像區所分別取得的該第一像素值之對應像素及該第二像素值之對應像素，其兩者係分別位在該微影像中相對應的兩相反側邊上或鄰近兩相反側邊上之位置。
11. 如請求項10所述的光場相機，其中，每一微影像中的該第一影像區及該第二影像區所分別取得的該第一像素值之對應像素及該第二像素值之對應像素，其兩者係分別位在該微影像中的兩相反側邊上一中央像素或靠近中央之任一像素。
12. 如請求項7所述的光場相機，其中，由該影像處理單元自每一微影像的第i個影像區所選取的像素值，其為該第i個影像區中之所有像素之一像素平均值。