TWI532009B

TWI532009B - 產生淺景深影像的方法及裝置

Info

Publication number: TWI532009B
Application number: TW099135063A
Authority: TW
Inventors: 李運錦
Original assignee: 華晶科技股份有限公司
Priority date: 2010-10-14
Filing date: 2010-10-14
Publication date: 2016-05-01
Also published as: CN102457740A; US8810634B2; US20120092462A1; TW201216203A

Description

產生淺景深影像的方法及裝置

本發明是有關於一種影像處理方法及裝置，且特別是有關於一種產生淺景深影像的方法及裝置。

隨著光學技術的進步，可調整光圈、快門甚至可更換鏡頭的相機逐漸普及，相機的功能也趨於多樣化。其中，在使用相機拍攝影像時，為了突顯所拍攝影像中的主題，一般會採用所謂淺景深的拍攝技巧，將相機透鏡的焦距聚集到影像中的特定距離範圍，使得此距離範圍內的物件可以清楚成像，同時也使得此距離範圍外的物件逐漸模糊。

然而，一般相機鏡頭所能製造出的淺景深效果相當有限，若要獲致較佳的淺景深效果，則需倚賴大孔徑的鏡頭來加強遠距離物件的模糊化，而讓清楚成像的主題得以從背景中突顯出來。然而，大孔徑鏡頭的體積龐大且價格昂價，並非一般消費型相機所能配備。

另一種製造淺景深效果的方式則有賴於影像後製，利用影像處理的方式估測影像中各個物件的深淺關係，然後再據此加強遠距離物件的模糊程度，以突顯主題。然而，此種方式只能憑藉一般認知來判別物件的模糊程度，對於不在對焦範圍內的物件，其模糊程度則難以估測而可能造成相當大的誤差，結果導致處理後的影像產生不連續或是不夠自然的問題。

因此，如何能夠取得影像中物件的正確深度資訊，藉以協助辨別各個物件的模糊程度並製造較佳的淺景深效果，實為本領域技術所要解決的一大課題。

本發明提供一種產生淺景深影像的方法及裝置，可提高虛擬淺景深影像的真實性。

本發明提供一種產生淺景深影像的方法，適用於包括左鏡頭及右鏡頭的立體成像系統。此方法係分別利用左鏡頭及右鏡頭拍攝左眼影像及右眼影像，接著計算左眼影像及右眼影像相對應之多個像素中各個像素的像差，然後依據左鏡頭及右鏡頭拍攝左眼影像及右眼影像的焦距、左鏡頭及右鏡頭的鏡頭間距以及各個像素的像差，估測各個像素的深度資訊。最後則依據左鏡頭及右鏡頭的焦距以及所估測各個像素的深度資訊，將左眼影像或右眼影像中的像素模糊化，以獲得淺景深影像。

在本發明之一實施例中，上述計算左眼影像及右眼影像相對應之像素中各個像素的像差的步驟包括依據各個像素在左眼影像及右眼影像中的位置，計算各個像素在左眼影像及右眼影像中的位移，以作為像差。

在本發明之一實施例中，上述依據左鏡頭及右鏡頭拍攝左眼影像及右眼影像的焦距以及所估測各個像素的深度資訊，將左眼影像或右眼影像中的像素模糊化，以獲得淺景深影像的步驟包括利用左鏡頭及右鏡頭的焦距求得一對焦平面，並依據各個像素的深度資訊，計算各個像素與對焦平面的距離，之後則依據各個像素與對焦平面的距離，將此像素模糊化，以獲得淺景深影像。其中，所述將像素模糊化的程度與所計算像素與對焦平面的距離呈正比。

在本發明之一實施例中，在上述估測各個像素的深度資訊的步驟之後，更包括比較各個像素的深度資訊，以辨識左眼影像及右眼影像中的至少一個物件，其中各個物件具有深度資訊相近的多個相鄰像素。其中，各個物件中相鄰像素之深度資訊的差值小於預設值。

在本發明之一實施例中，上述依據左鏡頭及右鏡頭拍攝左眼影像及右眼影像的焦距以及所估測像素的深度資訊，將左眼影像或右眼影像中的像素模糊化，以獲得淺景深影像的步驟更包括計算各個物件的模糊程度，並依據物件的模糊程度，擴大模糊化左眼影像或右眼影像中的物件，以獲得淺景深影像。其中，擴大模糊化物件的程度與所計算物件的模糊程度呈正比。

本發明提出一種產生淺景深影像的裝置，其包括左鏡頭、右鏡頭及處理單元。其中，左鏡頭係用以拍攝左眼影像，右鏡頭則用以拍攝一右眼影像，而此左鏡頭及右鏡頭具有一鏡頭間距。處理單元係耦接左鏡頭及右鏡頭，而用以計算左眼影像及右眼影像相對應之多個像素中各個像素的像差，並依據左鏡頭及右鏡頭拍攝左眼影像及右眼影像的焦距、左鏡頭及右鏡頭的鏡頭間距以及各個像素的像差，估測各個像素的深度資訊，以及依據左鏡頭及右鏡頭的焦距以及各個像素的深度資訊，將左眼影像或右眼影像中的像素模糊化，以獲得淺景深影像。

在本發明之一實施例中，上述之處理單元更包括比較各個像素的深度資訊，以辨識左眼影像及右眼影像中的至少一個物件，並計算各個物件的模糊程度，而據以擴大模糊化左眼影像或右眼影像中的物件，以獲得淺景深影像，其中所辨識的各個物件具有深度資訊相近的多個相鄰像素。

基於上述，本發明之產生淺景深影像的方法及裝置，藉由立體成像系統所擷取之左右眼影像的像差，估測影像中各個像素的深度資訊，並依據此深度資訊對影像中的各個像素或物件進行模糊化處理，而可產生較佳的虛擬淺景深影像。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

立體成像系統的雙鏡頭可拍攝同一區域不同角度的影像，而結合左、右鏡頭所拍攝影像間的像差資訊以及可預知的鏡頭間距、焦距等資訊，即可準確估測出影像中各個像素或物件的深度資訊。本發明即藉由立體成像系統估測影像中物件深度資訊，並據以對影像中的各個物件進行擴大模糊化的處理，從而產生具有較佳淺景深效果的影像。

詳言之，圖1及圖2(a)~(c)是依照本發明一實施例所繪示之利用立體成像系統拍攝影像的範例。請同時參照圖1及圖2(a)~(c)，本實施例之立體成像系統包括具有固定視野的左鏡頭110及右鏡頭120(如圖1所示)。本實施例即在此左鏡頭110及右鏡頭120的視野內，立體成像系統前方不同距離的位置分別擺設尺寸相同的物件(即物件102、104及106)。對於物件102、104及106，分別利用左鏡頭110及右鏡頭120拍攝所得的影像則如圖2(a)中的影像210a~230a以及圖2(b)中的影像210a~230a及210b~230b。其中，若將相同物件的影像重疊顯示則可得圖2(c)所繪示的影像210~230，此影像210~230中重疊顯示之物件間的位移即為像差(disparity)。由圖2(c)可知，距離愈遠的物件(例如物件106)，其在兩個鏡頭所拍攝影像間的像差也越小；反之，距離愈近的物件(例如物件102)，其在兩個鏡頭所拍攝影像間的像差則越大。而依據此處左鏡頭110及右鏡頭120所拍攝影像間的像差，以及左鏡頭110及右鏡頭120的鏡頭間距與焦距，即可估測出影像中各個物件或像素的深度資訊。

本發明即根據上述原理，提出一種產生淺景深影像的方法及裝置。圖3是依照本發明一實施例所繪示之產生淺景深影像的裝置方塊圖。請參照圖3，本實施例的裝置300例如是立體成像系統，其包括左鏡頭310、右鏡頭320及處理單元330。

左鏡頭310與右鏡頭320中均配置有感光元件(未繪示)，用以分別感測進入左鏡頭310與右鏡頭320的光線強度，進而產生左眼影像及右眼影像。所述的感光元件例如是電荷耦合元件(Charge Coupled Device，CCD)、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor，CMOS)元件或其他元件，在此不設限。此外，左鏡頭310與右鏡頭320之間例如具有約為77毫米的鏡頭間距，而可模擬真實人眼間的距離。

處理單元330例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他類似裝置，其係耦接左鏡頭310及右鏡頭320，而用以對上述左鏡頭310及右鏡頭320所擷取的左眼影像及右眼影像進行處理，以獲得淺景深影像。

詳言之，圖4是依照本發明一實施例所繪示之產生淺景深影像的方法流程圖。請同時參照圖3及圖4，本實施例的方法適用於圖3的裝置300，適於在使用者利用裝置300拍攝影像時，產生具有淺景深效果的輸出影像，以下即搭配圖3之裝置300的各項元件，說明本實施例方法的詳細步驟：首先，分別利用左鏡頭310及右鏡頭320拍攝左眼影像及右眼影像(步驟S410)。其中，左鏡頭310及右鏡頭320例如是採用相同的參數拍攝影像，所述參數包括焦距、光圈、快門、白平衡等，本實施例並不設限。

接著，由處理單元330計算左眼影像及右眼影像相對應之多個像素中各個像素的像差(步驟S420)。詳言之，本實施例係以像素為單位來計算像差，而計算方式則類似於圖2(c)所繪示的方式，依據左眼影像及右眼影像中相對應像素(例如物件106的最右端像素)在影像(即影像210a及210b)中的位置來計算此像素在影像中的位移，以作為此像素的像差。

然後，依據左鏡頭310及右鏡頭320拍攝左眼影像及右眼影像的焦距、左鏡頭310及右鏡頭320的鏡頭間距以及上述計算所得各個像素的像差，處理單元330即可估測各個像素的深度資訊(步驟S430)。詳言之，由圖1及圖2(a)~(c)所繪示的範例可知，左、右眼影像中相對應像素的像差是由鏡頭焦距(決定影像大小)、鏡頭間距(決定影像重疊範圍)以及該像素對應物件與鏡頭間的距離(即深度資訊，決定影像中物件的大小)而來決定，這些參數之間存在著某種關係，而記載此關係的關係表可藉由在裝置300出廠前預先測試而得。因此，當使用者實際使用裝置300拍攝影像並計算出影像中像素的像差時，即可利用預先建立的關係表查詢而得。

最後，由處理單元330依據左鏡頭310及右鏡頭320的焦距以及所估測各個像素的深度資訊，將左眼影像或右眼影像中的像素模糊化，以獲得淺景深影像(步驟S440)。詳言之，淺景深效果的目的就是要維持對焦範圍內的物件清晰，並將對焦範圍外的物件依其距離遠近逐漸模糊化，才能夠突顯出對焦範圍內的物件。

舉例來說，圖5是依照本發明一實施例所繪示之模糊化影像中像素的方法流程圖。請參照圖5，本實施例係由處理單元330利用左鏡頭310及右鏡頭320的焦距求得一個對焦平面(步驟S510)，並依據上述所求得各個像素的深度資訊，計算像素與對焦平面的距離(步驟S520)，最後則可依據各個像素與對焦平面的距離，對像素進行模糊化處理，以獲得淺景深影像(步驟S530)。其中，上述模糊化像素的程度例如是與所計算像素與對焦平面的距離呈正比，意即，距離愈近模糊化程度愈輕，距離越遠模糊化程度愈重。此外，上述的模糊化處理例如是採用模糊化濾鏡(blur filter)對目標像素及其周圍像素的像素值進行加權平均，而所使用濾鏡的尺寸及種類則可由處理單元330依照目前的拍攝模式自動選定或是由使用者依照拍攝環境自由選定，在此不設限。

由於上述淺景深影像的產生方法係使用準確的像素深度資訊來實施模糊化處理，因此其所產生的影像也具有較佳的淺景深效果，而大幅提高虛擬淺景深影像的真實性。

值得一提的是，除了上述針對影像中各個像素進行模糊化處理的方式之外，本發明還包括針對影像中的各個實體物件進行模糊化處理，同樣可達到本發明提高淺景深效果的目的，以下則再舉一實施例詳細說明。

圖6是依照本發明一實施例所繪示之產生淺景深影像的方法流程圖。請同時參照圖3及圖6，本實施例的方法適用於圖3的裝置300，適於在使用者利用裝置300拍攝影像時，產生具有淺景深效果的輸出影像，以下即搭配圖3之裝置300的各項元件，說明本實施例方法的詳細步驟：首先，分別利用左鏡頭310及右鏡頭320拍攝左眼影像及右眼影像(步驟S610)，接著由處理單元330計算左眼影像及右眼影像相對應之多個像素中各個像素的像差(步驟S620)，然後依據左鏡頭310及右鏡頭320拍攝左眼影像及右眼影像的焦距、左鏡頭310及右鏡頭320的鏡頭間距以及上述計算所得各個像素的像差，估測各個像素的深度資訊(步驟S630)。上述步驟S610~S630的詳細內容係與前述實施例中的步驟S410~S430相同或相似，在此不再贅述。

與前述實施例不同的是，本實施例係在處理單元330估測出各個像素的深度資訊之後，進一步比較這些像素的深度資訊，以辨識出左眼影像及右眼影像中的至少一個物件(步驟S640)。其中，由處理單元330所辨識出的各個物件均具有深度資訊相近的多個相鄰像素，而所謂的深度資訊相近即是指物件中的各個相鄰像素彼此之間的深度資訊的差值小於一個預設值，而具有此種特徵的影像區塊合理認為是一個獨立的物件。此外，在本發明的另一實施例中，處理單元330更可同時參考各個像素的像素值，來辨識影像中的物件，例如藉由互相連接之像素區塊的輪廓來辨識物件，本實施例不限定其實施方式。

接著，處理單元330即針對所辨識出的各個物件，計算其模糊程度(步驟S650)，並依據左鏡頭310及右鏡頭320的焦距以及所計算各個物件的模糊程度，對左眼影像或右眼影像中的對應物件進行擴大模糊化的處理，以獲得淺景深影像(步驟S660)。其中，處理單元330例如是依據左鏡頭310及右鏡頭320的焦距求得對焦平面，而依照各個物件的深度資訊，對位於對焦平面外的物件進行擴大模糊化處理，並維持對焦平面內之物件的清晰程度。上述擴大模糊化物件的程度例如是與所計算該物件的模糊程度呈正比，意即，愈不模糊的物件模糊化程度愈輕，愈模糊的物件則加重模糊化，藉此即可獲得較佳的淺景深效果。

綜上所述，本發明的產生淺景深影像的方法及裝置因採用立體成像系統所拍攝的左右眼影像來估測影像中像素或物件的深度資訊，因此可獲得準確的深度資訊估測結果，而將此結果應用在影像的模糊化上，則可獲得較佳的淺景深效果，而大幅提高虛擬淺景深影像的真實性。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

102、104、106‧‧‧物件

110、310‧‧‧左鏡頭

120、320‧‧‧右鏡頭

210a~230a、210b~230b、210~230‧‧‧影像

300‧‧‧拍攝裝置

330‧‧‧處理單元

S410~S440‧‧‧本發明一實施例之產生淺景深影像的方法步驟

S510~S530‧‧‧本發明一實施例之模糊化影像中像素的方法步驟

S610~S660‧‧‧本發明一實施例之產生淺景深影像的方法步驟

圖1是依照本發明一實施例所繪示之利用立體成像系統拍攝影像的範例。

圖2(a)~(c)是依照本發明一實施例所繪示之利用立體成像系統拍攝影像的範例。

圖3是依照本發明一實施例所繪示之產生淺景深影像的裝置方塊圖。

圖4是依照本發明一實施例所繪示之產生淺景深影像的方法流程圖。

圖5是依照本發明一實施例所繪示之模糊化影像中像素的方法流程圖。

圖6是依照本發明一實施例所繪示之產生淺景深影像的方法流程圖。

S410~S440．．．本發明一實施例之產生淺景深影像的方法步驟

Claims

一種產生淺景深影像的方法，適用於包括一左鏡頭及一右鏡頭的一立體成像系統，該方法包括下列步驟：分別利用該左鏡頭及該右鏡頭拍攝一左眼影像及一右眼影像；計算該左眼影像及該右眼影像相對應之多個像素中各該些像素的一像差；依據該左鏡頭及該右鏡頭拍攝該左眼影像及該右眼影像的一焦距、該左鏡頭及該右鏡頭的一鏡頭間距以及各該些像素的該像差，估測各該些像素的一深度資訊；比較該些像素的深度資訊，以辨識該左眼影像及該右眼影像中的至少一物件，其中各該至少一物件具有深度資訊相近的多個相鄰像素；以及依據該左鏡頭及該右鏡頭的該焦距以及所估測該些像素的深度資訊，模糊化該左眼影像或該右眼影像中的該些像素，以獲得一淺景深影像，包括：計算各該至少一物件的一模糊程度；以及依據該左鏡頭及該右鏡頭拍攝的該焦距以及該物件的該模糊程度，擴大模糊化該左眼影像或該右眼影像中的該物件，以獲得該淺景深影像，其中擴大模糊化該物件的一程度與所計算該物件的該模糊程度呈正比。
如申請專利範圍第1項所述之產生淺景深影像的方法，其中計算該左眼影像及該右眼影像相對應之該些像素中各該些像素的該像差的步驟包括：依據各該些像素在該左眼影像及該右眼影像中的一位置，計算各該些像素在該左眼影像及該右眼影像中的一位移，以作為該像差。
如申請專利範圍第1項所述之產生淺景深影像的方法，其中依據該左鏡頭及該右鏡頭的該焦距以及所估測該些像素的深度資訊，模糊化該左眼影像或該右眼影像中的該些像素，以獲得該淺景深影像的步驟包括：利用該焦距求得一對焦平面；依據各該些像素的深度資訊，計算該像素與該對焦平面的一距離；以及依據各該些像素與該對焦平面的該距離，模糊化該像素，以獲得該淺景深影像。
如申請專利範圍第3項所述之產生淺景深影像的方法，其中模糊化該像素的一程度與所計算該像素與該對焦平面的該距離呈正比。
如申請專利範圍第1項所述之產生淺景深影像的方法，其中各該至少一物件中該些相鄰像素之深度資訊的一差值小於一預設值。
一種產生淺景深影像的裝置，包括：一左鏡頭，拍攝一左眼影像；一右鏡頭，拍攝一右眼影像，其中該左鏡頭及該右鏡頭具有一鏡頭間距；以及一處理單元，耦接該左鏡頭及該右鏡頭，計算該左眼影像及該右眼影像相對應之多個像素中各該些像素的一像差，並依據該左鏡頭及該右鏡頭拍攝該左眼影像及該右眼影像的一焦距、該左鏡頭及該右鏡頭的一鏡頭間距以及各該些像素的該像差，估測各該些像素的一深度資訊，比較該些像素的深度資訊，以辨識該左眼影像及該右眼影像中的至少一物件，以及依據該左鏡頭及該右鏡頭的該焦距以及該些像素的深度資訊，模糊化該左眼影像或該右眼影像中的該些像素，以獲得一淺景深影像，其中各該至少一物件具有深度資訊相近的多個相鄰像素，其中該處理單元計算各該至少一物件的一模糊程度，並且依據該左鏡頭及該右鏡頭拍攝的該焦距以及該物件的該模糊程度，擴大模糊化該左眼影像或該右眼影像中的該物件，以獲得該淺景深影像，其中擴大模糊化該物件的一程度與所計算該物件的該模糊程度呈正比。
如申請專利範圍第6項所述之產生淺景深影像的裝置，其中該處理單元更包括比較該些像素的深度資訊，以辨識該左眼影像及該右眼影像中的至少一物件，並計算各該至少一物件的一模糊程度，而據以擴大模糊化該左眼影像或該右眼影像中的該物件，以獲得該淺景深影像，其中所辨識之各該至少一物件具有深度資訊相近的多個相鄰像素。