TWI543582B - 影像編輯方法以及相關之模糊參數建立方法 - Google Patents

影像編輯方法以及相關之模糊參數建立方法 Download PDF

Info

Publication number
TWI543582B
TWI543582B TW101113670A TW101113670A TWI543582B TW I543582 B TWI543582 B TW I543582B TW 101113670 A TW101113670 A TW 101113670A TW 101113670 A TW101113670 A TW 101113670A TW I543582 B TWI543582 B TW I543582B
Authority
TW
Taiwan
Prior art keywords
distance
lens
image
image editing
focal length
Prior art date
Application number
TW101113670A
Other languages
English (en)
Other versions
TW201345229A (zh
Inventor
鄭昆楠
Original Assignee
晨星半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 晨星半導體股份有限公司 filed Critical 晨星半導體股份有限公司
Priority to TW101113670A priority Critical patent/TWI543582B/zh
Priority to US13/747,680 priority patent/US8934730B2/en
Publication of TW201345229A publication Critical patent/TW201345229A/zh
Application granted granted Critical
Publication of TWI543582B publication Critical patent/TWI543582B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Description

影像編輯方法以及相關之模糊參數建立方法
本發明是一種影像編輯方法，且特別是有關於一種利用原始影像中各物件與拍攝鏡頭的距離，來使一原始影像轉換為符合一鏡頭光學特性的模擬影像。
由於影像擷取技術的快速發展，數位相機已經成為日常生活中不可獲缺得電子裝置。為了能夠輕易的操作數位相機，一般常用的消費型相機(傻瓜相機或者手機所配備的相機)具備較深的景深(field of depth)，因此可以輕易的拍攝出清晰的影像。
專業相機(例如單眼相機)具備大光圈以及淺景深的特性，需要有高度拍攝技巧的使用者來操作。而單眼相機所拍攝的影像具有較高的層次感，消費型相機則無法拍攝出類似專業相機的拍攝效果。
為了要模擬另一種相機的拍攝效果，有些消費型相機、手機、或者電腦已搭配影像處理模組用以模擬另一相機的拍攝效果。換句話說，將消費型相機拍攝的影像利用影像處理的方式即可獲得專業相機的拍攝效果。當然，影像處理模組可為硬體電路或者軟體程式。
基本上，習知影像處理的方法係在影像中選定一聚焦物件，接著將聚焦物件以外的部份進行模糊處理。請參照第1A圖至第1C圖，其所繪示為習知影像模擬方法示意圖。舉例來說，消費型相機所拍攝的影像如第1A圖所示。由於消費型相機的景深較深，所以可以清晰的呈現各物件。
當使用者欲進一步處理該影像時，使用者可選定任一物件作為聚焦物件。如第1B圖所示，使用者利用一選定框10來選定汽車作為聚焦物件後，選定框10以內的聚焦物件保持清晰，而選定框10以外的部份(虛線區域)即進行模糊處理。因此，當影像處理完成後，可以看到清晰的聚焦物件，並且聚焦物件以外的部份則較模糊，因此具有類似專業相機拍攝的層次感。
同理，使用者可選定花作為聚焦物件後，如第1C圖所示，影像處理模組會將選定框10以內的聚焦物件保持清晰，在選定框10以外的部份(虛線區域)進行模糊處理。因此，當影像處理完成後，可以看到清晰的聚焦物件，並且聚焦物件以外的部份則較模糊，因此具有類似專業相機拍攝的層次感。
一般來說，習知的影像處理模組僅能夠由原始影像上的資訊來進行模糊處理。換句話說，習知影像處理模組係以選定框10(聚焦物件)為中心，在原始影像中距離選定框10越遠的物件模糊程度越高，距離選定框10越近的物件模糊程度越低。以第1B圖為例，虛線密度越高的區域影像越模糊，影像密度越低的區域影響較不模糊。換句話說，第1B圖中，整個方形影像的外圍部份距離選定框10最遠，所以影像將最模糊；而以第1C圖為例，整個方形影像的左上角部份距離選定框10最遠，所以左上角的影像將最模糊。
然而，習知模擬專業相機的影像處理方法所獲得的影像與另一相機實際拍攝的影像還是有明顯的差距。也就是說，僅以拍攝的影像作為模糊處理的資訊會跟實際狀況不合。因此，模擬更接近另一相機拍攝效果的影像處理方法即為本發明所欲解決的目的。
本發明的目的是提出一種利用原始影像中各物件與拍攝鏡頭的距離來進行編輯並將原始影像模擬成為另一相機所拍攝的影像。
本發明係有關於一種影像編輯方法，用以編輯一原始影像，且該原始影像中至少包括一第一物件與一第二物件，該影像編輯方法包括下列步驟：取得該第一物件與一鏡頭之間的一第一距離；取得該第二物件與該鏡頭之間的一第二距離；根據該第一距離以及一光學參數得到一模糊矩陣組；根據該第二距離由該模糊矩陣組中獲得一第一模糊矩陣；以及，根據該第一模糊矩陣將該第二物件進行一模糊處理動作後形成一模糊第二物件，其中該第一物件與該模糊第二物件係供形成一模擬影像。
本發明係有關於一種影像模擬方法，用以使一原始影像轉換為符合一鏡頭之光學特性的一模擬影像，該影像模擬方法包含根據一物體對該鏡頭的一距離、該物體對該鏡頭之焦點之一相對距離、或該鏡頭之一光圈值或該鏡頭之一焦點改變而調整該原始影像和該模擬影像間的一轉換特性。
本發明係有關於一種模糊參數的建立方法，該模糊參數適用將一原始影像轉換成一模擬影像，該模擬影像符合一鏡頭之光學特性，該方法包含：(a)提供一第一物體與一第二物體，置於該鏡頭前之不同位置；(b)對焦於該第一物體，使該鏡頭與該第一物體間有一對焦距離；(c)改變該第二物體的位置複數次，記錄該第二物體在每個位置上產生的一成像擴散程度以得到一模糊矩陣；(d)移動該第一物體並重新對焦於該第一物體，產生另一對焦距離並重覆上述步驟(c)；以及(e)重覆上述步驟(d)複數次以取得對應於不同對焦距離之複數個模糊矩陣組，各包含複數模糊矩陣。
為了對本發明之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：
以下先利用簡單的幾何光學來介紹相機的成像原理以及對聚焦物件的影響。
請參照第2圖，其所繪示為相機的成像原理。拍攝鏡頭25的焦距為F，且聚焦物件20在拍攝鏡頭25第一側的2倍焦距(2F)之外。很明顯地，在拍攝鏡頭25的第二側1倍焦距(F)與二倍焦距(2F)之間會產生較小的實像22。換句話說，在拍攝鏡頭的第二側將相機的感光元件(optical sensor)移動至實像22的位置即可獲得該聚焦物件20的清晰影像。
假設拍攝鏡頭25的焦距為F，聚焦物件20與拍攝鏡頭25之間的距離為Dn，實像22與拍攝鏡頭25之間的距離為In，則上述關係需符合造鏡者公式(Lensmaker’s equation)，亦即：(1/Dn)+(1/In)=(1/F)。
也就是說，當聚焦物件20在拍攝鏡頭25第一側的2倍焦距(2F)之外且越遠離拍攝鏡頭25時，在拍攝鏡頭25第二側的實像22位置越接近1倍焦距(F)且實像22越小。反之，當聚焦物件20在拍攝鏡頭25第一側的2倍焦距(2F)之外且越接近2倍焦距(2F)時，在拍攝鏡頭25第二側的實像22位置越接近2倍焦距(2F)且實像22越大。
根據上述的原理，相機進行對焦時，判斷聚焦物件20與拍攝鏡頭25的距離後，即可根據拍攝鏡頭25的焦距來推算出實像22的正確成像位置In。因此，移動相機中的感光元件至In位置後，即可獲得該聚焦物件20的實像22。
某些相機(例如專業相機)的影像中會有散景(bokeh)產生，所謂散景即是影像中位於準焦之外的部份。由於相機拍攝鏡頭係聚焦在聚焦物件上並將其成像在感光元件上，所以在感光元件上聚焦物件的成像最清晰。其他不在準焦內的物件也會成像在感光元件上，而這些非聚焦物件即在感光元件上形成散景。
請參照第3A圖，其所繪示為相機的散景產生原理。如圖所示，拍攝鏡頭25的第一側的聚焦物件20，更加遠離鏡頭25端有有一點物件30，準焦的物件20在拍攝鏡頭25第二側的位置In形成實像22，同理，點物件30經過光圈36與拍攝鏡頭25的作用後會在拍攝鏡頭25第二側的位置Ix形成實像32，然而，其中Ix小於In。由於此時感光元件係在聚焦成像的位置In上，而非位置Ix，因此，點物件30的成像會投射在感光元件上形成一個模糊而擴散的焦外成像34，而此焦外成像34即造成散景的現象。
很明顯地，當點物件30越遠離聚焦物件20時，該點物件30的實像位置Ix越接近焦點F，焦外成像34會越來越擴散，在感光元件上面積就越大。基於能量不變的原理，焦外成像34上具有相同的能量。也就是說，於感光元件上焦外成像34的面積越小，亮度、清晰度、對比度會越好；反之，於感光元件上焦外成像34的面積越大，其亮度、清晰度、對比度會越差。
此實施例中，鏡頭25的光圈36的開啟大小與尺寸(或稱光圈值)也會影響焦外成像34在感光元件上的面積。相較於第3A圖，當光圈36的開啟越大時。即如第3B圖所示，其焦外成像34在感光元件上的面積較大。反之，相較於第3A圖，當光圈36的開啟直徑越小時。即如第3C圖所示，其焦外成像34在感光元件上的面積較小。
由第3A圖~第3C圖可知，當光圈36開啟越小，焦外成像34的面積越小，散景越不明顯；當光圈36開啟越大，焦外成像34的面積越大，散景越明顯。再者，光圈36的形狀(亦即光圈的葉片形狀及數目)也會影響焦外成像34的特性。
請參照第4圖，其所繪示為對焦物件與拍攝鏡頭之間的距離對散景的影響示意圖。假設拍攝鏡頭25、點物件30、光圈36的位置與第3A圖完全相同。其差異僅在於聚焦物件20的位置由拍攝鏡頭25第一側2倍焦距之外的位置Dn移動到二倍焦距Dn’位置(Dn’=2F)。
如第4圖所示，聚焦物件的成像位置會在拍攝鏡頭25第二側位置In’(In’=2F)，此時感光元件在位置In’獲得清晰的實像22’。相較於第3圖，點物件30在感光元件上形成的焦外成像34具有更大的面積。因此，由第3A圖與第4圖的比較說明可知，當對焦物件20越接近拍攝鏡頭25，景深越淺散景越明顯。
請參照第5A圖與第5B圖，其所繪示為拍攝鏡頭的焦距與散景的關係。一般來說，具有不同焦距的拍攝鏡頭，會有不同的功能。舉例來說，望遠拍攝鏡頭具有較長的焦距，而廣角拍攝鏡頭具有較短的焦距，標準拍攝鏡頭的焦距則介於望遠拍攝鏡頭與廣角拍攝鏡頭之間。如第5A圖所示，該拍攝鏡頭53具有焦距f，在拍攝鏡頭53第一側2倍焦距(2f)之外的三個物件A、B、C，會成像在拍攝鏡頭53第二側的1倍焦距(f)與2倍焦距(2f)之間的位置a、b、c。假設物件B為聚焦物件，則感光元件會在位置b，物件A會先聚焦再擴散至感光元件，而物件C會直接照射在感光元件上。很明顯地，物件A與物件C皆會在感光元件上形成散景。
如第5B圖所示，物件A、B、C與拍攝鏡頭55的距離與第5A圖相同。該拍攝鏡頭55具有焦距f’，大於第5A圖鏡頭53的焦距f。而在拍攝鏡頭55第一側2倍焦距(2f’)外之的三個物件A、B、C，會成像在拍攝鏡頭55第二側的1倍焦距(f’)與2倍焦距(2f’)之間的位置a’、b’、c’。假設物件B為聚焦物件，則感光元件會在位置b’，物件A會先聚焦再擴散至感光元件，而物件C會直接照射在感光元件上。同理，物件A與物件C皆會在感光元件上形成散景。
比較第5A圖與第5B圖可知，焦距較短的拍攝鏡頭53其散景的擴散面積較小，而焦距較長的拍攝鏡頭55其散景的擴散面積較大。再者，短焦距拍攝鏡頭因為散景的擴散面積並不大，在眼睛無法辨識的情況下，一般認為此種拍攝鏡頭53具有較長的景深(散景效果較小)。
由以上的說明可知，散景中成像的擴散面積與聚焦物件的位置、拍攝鏡頭的各種光學參數(例如焦距、光圈大小與形狀(光圈值與光圈葉片數目))有關。本發明要將一般型相機所拍攝的原始影像模擬成為另一相機具有層次感的模擬影像，首先需要確定影像中各物件之間的相對距離，作為模擬另一鏡頭拍攝照片的距離基準。之後利用待模擬鏡頭的鏡頭參數、光圈大小與形狀，利用上述的原理，來獲得對焦物件之外其他物件成像的散景，並進一步獲得模擬的影像，使得模擬影像更接近上述相機所拍攝的影像。
根據本發明的一實施例，首先先取得影像中的各物件與拍攝鏡頭之間的距離關係作為各物件與欲模擬之鏡頭之間的距離關係。取得影像中物件與拍攝鏡頭之間的關係可利用三維(3D)深度來確認。以下詳細介紹3D深度。
由於左眼與右眼看到同一個物件時，左眼與右眼的呈現的影像會有些許不同，而人體的大腦即根據雙眼看到的影像來建立三維(3D)影像。以下請參照第6A與第6B圖，其所繪示為一例中雙眼觀看物體時，個別眼睛的成像示意圖。
如第6B圖所示，假設物件在位置II時，左右眼所看到的影像完全相同，亦即左右物件皆在左右影像的正中央，(兩眼影像可無差異的重疊)，此例中將此3D深度設為零。3D深度設定的基準可因案而異，其主要目的係用來模擬平面影像中各物件可能的真實相對距離。當物體在逐漸接近雙眼直到正前方位置I時，左眼看到的物件會在左眼視野影像的右側，而右眼所看到的物件會在右眼視野影像的左側，此時二影像中的同一物件之間的距離變大，代表3D深度負向增加(若依照物件距離雙眼位置遠近作為基準)。當物體逐漸遠離雙眼時直到位置III時，左眼看到的物件會在左眼視野影像的左側，而右眼所看到的物件會在右眼視野影像的右側，此時3D深度正向增加。
請參照第7A與7B圖，其所繪示為利用雙眼同時看到的影像決定物件位置以及3D深度的計算方法。假設左眼看到的左眼視野影像中菱形物件702L在的左側、圓形物件704L在右側、三角形物件706L在中央；而右眼看到的右眼視野影像中菱形物件702R在右側、圓形物件704R在左側、三角形物件706R在中央。
於其中一例中，假設以左眼影像為一參考影像，左眼影像中的圓形物件704L與右眼影像中的圓形物件704R的位移距離為負值的距離，三角形物件706L和706R的位移為0，菱形物件702L和702R的位移為正值的距離，而3D深度和此等位移的值成正比，此例中三角形物件706的3D深度為0，圓形物件704的3D深度為負值，三角形物件706為正值，此3D深度代表的意義係為物件和眼睛(鏡頭)之間的距離。
另一例中，3D深度所代表的意義可為同一物件於左右眼影像間的距離，即第7A圖中的d1、d2和d3，由此d1、d2、d3可求出物件和眼睛(鏡頭)間的距離。簡而言之，凡採取上述概念所求得的3D深度最終皆用來求得物件和鏡頭之間的距離，本發明之範疇不應被3D深度的定義所限制。
因此，本發明中欲取得原始影像中的各物件與與欲模擬之鏡頭之間的距離關係，可利用3D深度的概念，有如將影像中各物件實體化，造出物件與鏡頭間(有如眼睛)的距離，以模擬鏡頭拍攝一實體場景後會產生的影像。
取得一影像中各物件的3D深度的方式有許多種。舉例來說，利用一具有二個拍攝鏡頭的相機，可以同時拍攝同一場景。如此，除了欲使用的原始影像，可另取得一類似於原始影像的輔助影像。根據二拍攝鏡頭所拍攝的原始影像以及輔助影像，即可算出該原始影像中所有物件的3D深度，據此決定所有物件與之後欲模擬鏡頭之間的距離。
當然，也可以利用單一拍攝鏡頭快速左右移動來拍攝相同場景取得兩個影像，即可推知該原始影像中所有物件的3D深度，並且供作所有物件與欲模擬鏡頭之間的距離的參考。再者，除了利用3D深度之外，其他實施例中，各物件與欲模擬鏡頭間的各距離也可以利用其他方式來獲得。一實施例中，一距離偵測單元(例如紅外線距離偵測單元)，並且發射紅外線至所有的物件並據以獲得各物件與偵測單元之間的距離。此偵測單元可安置於一相機上供作利用。或者，利用同一鏡頭以調整焦點的方式快速拍攝多張連續影像，而根據聚焦位置以及影像物件的清晰度可以獲得各物件與拍攝鏡頭之間的距離。或者根據不同顏色光波長經過透鏡的折射差異，例如R,G,B三色其過透鏡焦點的微小差異，根據R,G,B影像清晰程度來判斷距離的方法，或者，根據經驗法則，例如較近的物件較大較遠的物件較小，或者互相覆蓋的物件來得知所有物件的前後關係，並估算出所有物件與拍攝鏡頭之間的距離。
當一般型相機拍攝了一原始影像，並獲得原始影像中所有物件與拍攝鏡頭的距離後，首先要選定其中一物件作為對焦物件，並且選定待模擬鏡頭的鏡頭參數以及光圈尺寸(光圈值)。之後，即可根據待模擬鏡頭的特性來編輯原始影像。對焦距離亦可由原始影像中的相片資訊EXIF(Exchangeable image file format)，擷取存在的相關資訊，或由相機自動對焦模組本身提供訊息，而無需以3D深度的方式計算而得。
請參照第8圖，其所繪示為本發明編輯原始影像的第一實施例。假設原始影片中具有物件Y與物件Z，物件Y距離拍攝鏡頭83的距離為Dy，物件Z距離待模擬鏡頭83的距離為Dz。接著，選定物件Y為對焦物件，而光圈85的尺寸為直徑d的圓形。
在待模擬鏡頭的焦距為F時，根據造鏡者公式即可求得物件Z的成像位置與待模擬鏡頭83之間的距離為Iz，物件Y的成像位置與待模擬鏡頭83之間距離為Iy。
由於物件Y係為對焦物件，所以感光元件的位置距離焦點Iy的距離。此時，物件Z所產生的散景的直徑Bx為：Bx=d(Iy-Iz)/Iz。換句話說，Bx即為物件Z在感光元件上的擴散直徑(假設成像區域是圓形的)。根據能量不滅定律，將物件Z根據擴散直徑Bx進行模糊處理動作並形成擴散直徑Bx的模糊物件Z。之後，結合物件Y以及模糊物件Z即可獲得模擬影像。
除了直接計算擴散直徑之外，本發明也可以將各式的待模擬鏡頭先行直接進行量測並進一步獲得待模擬鏡頭模糊參數，而利用查表法來獲得待模擬鏡頭模糊參數中的模糊矩陣來進行散景的模擬。
以下僅介紹一個待模擬鏡頭模糊參數的建立方法，其他的待模擬鏡頭也可利用相同的方式來建立其鏡頭模糊參數。假設相機中有3個光圈值可供選擇，則每個光圈值皆需要進行一次以下的量測過程。
於第一光圈數值(M1)時，先選定物件與待模擬鏡頭之間相距第一對焦距離(N1)，並且確定感光物件在對焦物件的成像位置。接著，將一個點光源由遠至近依序改變點光源與待模擬鏡頭之間的距離。
每當點光源移動一次距離，呈現於感光元件上的焦外成像上的亮度分布值及形狀，對應於當下的距離、光圈值、焦距等光學參數，即可記錄為一模糊矩陣。在光圈值和焦距等光學參數不改變的情況下得到每個距離上的模糊矩陣之後，可歸納出一模糊矩陣組。基本上，每一個模糊矩陣皆可視為一濾波器，而原始影像中的各物件根據相對應的濾波器即可以獲得模擬影像。
接下來，採用不同的焦距，而其他條件不改變的情況下，重覆上述的方式，亦可得到另一個模糊矩陣組；以此類推，採用不同的光圈，重覆上述的方式亦會得到另外不同的模糊矩陣組。換句話說，將鏡頭設定不同的焦距、或不同的光圈值、或不同的快門等光學參數，會對應不同的模糊矩陣組。同樣的焦距、光圈值、快門等光學參數的組合會對應相同的模糊矩陣組。依此，設定好待模擬的原始影像中欲對焦的物件後(在某一光圈值下)，找出原始影像中的物件(或，被採樣物件)的模擬距離，即可將原始影像的每一點畫素透過其對應的模糊矩陣進行轉換而產生模擬影像。
請參照第9A圖至第9D圖，其所繪示為點光源由遠至近的移動造成感光元件上焦外成像的擴散程度改變情形示意圖。其中，點光源與待模擬鏡頭之間的距離依序為O1、O2、O3、O4，且O1>O2>O3>O4。
當點光源與待模擬鏡頭之間的距離為O1時，焦外成像呈現於感光元件的圖形如第9A圖所示，其中數字部份即代表光強度的分佈比例。因此，根據感光元件上的光強度分佈比例，進行常規化後(normalize)可獲得一模糊矩陣
當點光源與待模擬鏡頭之間的距離為O2時，焦外成像呈現於感光元件的圖形如第9B圖所示。因此，根據感光元件上的光強度分佈比例，進行常規化後可獲得一模糊
當點光源與待模擬鏡頭之間的距離為O3時，焦外成像呈現於感光元件的圖形如第9C圖所示。因此，根據感光元件上的光強度分佈比例，進行常規化後可獲得一模糊
當點光源與待模擬鏡頭之間的距離為O4時，焦外成像呈現於感光元件的圖形如第9D圖所示。因此，根據感光元件上的光強度分佈比例，進行常規化後可獲得一模糊
於第一光圈數值(M1)且對焦物件與待模擬鏡頭之間相距第一對焦距離(N1)選定後，移動點光源多次所獲得的多個模糊矩陣即可成為一模糊矩陣組。由第9A圖至9D圖的說明可知，於第一光圈數值(M1)且對焦物件與待模擬鏡頭之間相距第一對焦距離(N1)下的模糊矩陣組中共有四個模糊矩陣，HM1-N1-O1、HM1-N1-O2、HM1-N1-O3、HM1-N1-O4。當然，本發明並不限定模糊矩陣組中模糊矩陣的數目。換句話說，可移動點光源更多次來獲得更多模糊矩陣，當然也可以利用內插法(interpolation)等數學上的計算方式來獲得更多模糊矩陣。
當一個模糊矩陣組完成後，可在原第一光圈數值下更新物件與待模擬鏡頭之間的對焦距離為第二對焦距離(N2)，繼續建立下一模糊矩陣組。也可以在第一對焦距離(N1)改變光圈值為第二光圈值(M2)，繼續建立其他的模糊矩陣組。
當待模擬鏡頭的對焦距離更新多次，以及光圈數值更新多次後所獲得的多個模糊矩陣組即可視為該待模擬鏡頭的鏡頭參數。同理，所有的待模擬鏡頭也可以利用相同的方式來獲得其鏡頭模糊參數。當然，鏡頭模糊參數可以由待模擬鏡頭廠商來提供給使用者，或者由使用者自行進行量測。
請參照第10圖，其所繪示為本發明待模擬鏡頭模糊參數的建立方法流程圖。首先，更新光圈值(步驟S910)；接著，更新對焦物件與待模擬鏡頭之間的距離(步驟S912)，將感光元件置於對焦物件的成像位置(步驟S914)。接著，更改O次點光源與待模擬鏡頭之間的距離，並記錄每一位置時感光元件上的成像圖形並據以產生對應的模糊矩陣(步驟S916)。接著，判斷對焦物件與待模擬鏡頭的距離是否更新N次(步驟S918)；如否，回到步驟S912，如是，進入步驟S920。接著，判斷對光圈值是否更新M次(步驟S920)；如否，回到步驟S910，如是，結束。
很明顯地，當第10圖的程序完成後，待模擬鏡頭的鏡頭模糊參數中將有M×N個模糊矩陣組，每個模糊矩陣組中有O個模糊矩陣。
當鏡頭模糊參數已經建立完成後，即可進行本發明的影像編輯方法。請參照第11A圖與第11B圖，其所繪示為本發明影像模擬的示意圖。其中，第11A圖為原始影像950，而原始影像950中包括一圓形物件952與一菱形物件954。欲將此原始影像950模擬成為一待模擬鏡頭L所拍攝而成的模擬影像960。
選定該圓形物件952為聚焦物件，並估測此物件952與待模擬鏡頭L之間的對焦距離(第一距離)。此對焦距離的求取方式係取得圓形物件952在此原始影像950中的三維深度或與鏡頭距離(由上述的方式計算或擷取而得)，據以決定該物件952與待模擬鏡頭L間的模擬之聚焦距離。由於此已知的待模擬鏡頭L的鏡頭模糊參數為已知(例如由前述的方式取得)，因此，本發明的模擬方法可根據光圈值(或焦段或至少其一)以及第一距離來由鏡頭模糊參數中決定一個模糊矩陣組。而根據該第二距離可進一步由該模糊矩陣組中獲得一對應的模糊矩陣。
接著，根據該模糊矩陣將該菱形物件954進行一模糊處理動作後形成一模糊菱形物件964；以及，結合該圓形物件952與該模糊菱形物件964可供形成一模擬影像960。
根據本發明的實施例，原始影像950中組成菱形物件594的所有像素(pixel)皆視為一個點光源。接著，將每個點光源經過該模糊矩陣的擴散結果疊加之後即成為模糊菱形物件964。
於模糊處理動作完成後，即結合該圓形物件952與該模糊菱形物件964後以供形成一模擬影像960，而此模擬影像960即可視為由待模擬鏡頭所拍攝而成。
請參照第12圖，其所繪示為本發明的影像編輯方法。首先，確認原始影像中第一物件與拍攝鏡頭之間的第一距離以及確認第二物件與拍攝鏡頭之間的第二距離(步驟S972)；接著，根據第一距離以及一光圈值(或焦段或至少其一)來獲得模糊矩陣組(步驟S974)；根據第二距離由模糊矩陣組中獲得第一模糊矩陣(步驟S976)；根據第一模糊矩陣將第二物件進行一模糊處理動作後形成一模糊第二物件(步驟S978)；以及，結合第一物件與模糊第二物件後形成模擬影像(步驟S980)。
由以上的說明可知，雖然本發明僅以菱形物件954的模糊處理來作說明。實際上，原始影像950中對焦物件(圓形物件952)以外的所有的像素皆可以視為點物件。而獲得所有點物件與拍攝鏡頭之間距離後，即可根據不同的距離由模糊矩陣組中確定相對應的模糊矩陣，並進行模糊處理動作。當所有點物件的的擴散結果疊加之後再加上聚焦物件(圓形物件952)即可產生最後的模擬影像960。
此外，依照本發明的精神所提供的一實施例中之影像模擬方法包含根據一物體對該鏡頭的一距離的改變而產生相應的輸出，或對該鏡頭之焦點之一相對距離的改變產生相應不同的輸出，或者，對該鏡頭之一光圈值或該鏡頭之一焦點的改變而變化其輸出；如此，一原始影像經由不同轉換特性可轉換成為符合上述鏡頭之光學特性的一模擬影像。本發明之上述實施例，舉例而言，可運用在一攝影裝置(例如相機)，或是一電腦系統中，作為相片後製的工具。
總結來說，本發明的優點是提出一種利用原始影像中各物件與拍攝鏡頭的距離來進行編輯並將原始影像模擬成為待模擬相機的鏡頭所拍攝的影像。
綜上所述，雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
20．．．聚焦物件
22、22’、32．．．實像
25、53、55．．．拍攝鏡頭
30．．．點物件
34．．．焦外成像
36、85．．．光圈
702、702R、702L．．．菱形物件
704、704R、704L．．．圓形物件
706、706R、706L．．．三角形物件
83．．．待模擬鏡頭
950．．．原始影像
952．．．圓形物件
954．．．菱形物件
960．．．模擬影像
964．．．模糊菱形物件
第1A圖至第1C圖所繪示為習知影像模擬方法示意圖。
第2圖所繪示為相機的成像原理。
第3A圖至第3C圖所繪示為相機的散景產生原理。
第4圖所繪示為對焦物件與拍攝鏡頭之間的距離對散景的影響示意圖。
第5A圖與第5B圖所繪示為拍攝鏡頭的焦距與散景的關係。
第6A與第6B圖所繪示為一例中雙眼觀看物體時，個別眼睛的成像示意圖。
第7A與7B圖所繪示為利用雙眼同時看到的影像決定物件位置以及3D深度的計算方法。
第8圖所繪示為本發明編輯原始影像的第一實施例。
第9A圖至第9D圖所繪示為點光源由遠至近的移動造成感光元件上焦外成像的擴散程度改變情形示意圖。
第10圖所繪示為本發明待模擬鏡頭模糊參數的建立方法流程圖。
第11A圖與第11B圖所繪示為本發明影像模擬的示意圖。
第12圖所繪示為本發明的影像編輯方法。
S972~S980．．．步驟流程

Claims (20)

  1. 一種影像編輯方法，用以編輯一原始影像，且該原始影像中至少包括一第一物件與一第二物件，該影像編輯方法包括下列步驟：取得該第一物件與一鏡頭之間的一第一距離；取得該第二物件與該鏡頭之間的一第二距離；根據該第一距離以及一光學參數得到一模糊矩陣組；根據該第二距離由該模糊矩陣組中獲得一第一模糊矩陣；以及根據該第一模糊矩陣將該第二物件進行一模糊處理動作後形成一模糊第二物件，其中該第一物件與該模糊第二物件係供形成一模擬影像。
  2. 如申請專利範圍第1項所述之影像編輯方法，其中，該第一距離與該第二距離至少其一係利用一三維(3D)深度量測法獲得。
  3. 如申請專利範圍第2項所述之影像編輯方法，其中該3D深度量測法中更包括與該原始影像相關之一輔助影像，以比較該原始影像中該第一或第二物件與該該輔助影像中該第一或第二物件之間的距離供計算該第一或第二距離。
  4. 如申請專利範圍第3項所述之影像編輯方法，其中該輔助影像係由該拍攝鏡頭或一輔助鏡頭所拍攝。
  5. 如申請專利範圍第1項所述之影像編輯方法，其中，該第一距離與該第二距離至少其一係利用一距離偵測單元所提供。
  6. 如申請專利範圍第1項所述之影像編輯方法，其中，該第一距離與該第二距離至少其一係根據該拍攝鏡頭調整焦距時所拍攝的連續影像中獲得。
  7. 如申請專利範圍第1項所述之影像編輯方法，其中，該第一距離與該第二距離至少其一係由該原始影像擷取而得。
  8. 如申請專利範圍第1項所述之影像編輯方法，其中，該光學參數為一光圈值或一焦距，該方法係根據該第一距離以及該光圈值與該焦距至少其一，由一鏡頭的一鏡頭模糊參數中取得該模糊矩陣組。
  9. 如申請專利範圍第8項所述之影像編輯方法，其中，該鏡頭模糊參數的建立方法包括下列步驟：(a)提供一第一物體與一第二物體，置於該鏡頭前之不同位置；(b)對焦於該第一物體，使該鏡頭與該第一物體間有一對焦距離；(c)改變該第二物體的位置複數次，記錄該第二物體在每個位置上產生的一成像擴散程度以得到一模糊矩陣；(d)移動該第一物體並重新對焦於該第一物體，產生另一對焦距離並重覆上述步驟(c)；以及(e)重覆上述步驟(d)複數次以取得對應於不同對焦距離之複數個模糊矩陣組，各包含複數模糊矩陣。
  10. 如申請專利範圍第9項所述之影像編輯方法，該鏡頭模糊參數的建立方法更包括下列步驟：(f)改變該光圈值後重覆步驟(c)至(e)。
  11. 如申請專利範圍第10項所述之影像編輯方法，該鏡頭模糊參數的建立方法更包括下列步驟：改變該焦距後重覆步驟(c)至(f)。
  12. 如申請專利範圍第9項所述之影像編輯方法，該鏡頭模糊參數的建立方法更包括下列步驟：改變該焦距後重覆步驟(c)至(e)。
  13. 如申請專利範圍第1項所述之影像編輯方法，其中取得該第一距離與該第二距離之步驟包含：任意指定一數值予該第一距離；以及依照一經驗法則產生該第二距離。
  14. 如申請專利範圍第1項所述之影像編輯方法，其中取得該第一距離與該第二距離之步驟包含： 任意指定一數值予該第一距離；以及由一距離偵測方式產生該第二距離。
  15. 如申請專利範圍第1項所述之影像編輯方法，該模糊矩陣組係由一濾波器實現。
  16. 如申請專利範圍第1項所述之影像編輯方法，其中，該光學參數為一光圈值或一焦距，該方法係根據該第一距離以及該光圈值與該焦距兩者至少其一找出該模糊矩陣組。
  17. 一種模糊參數的建立方法，該模糊參數適用將一原始影像轉換成一模擬影像，該模擬影像符合一鏡頭之光學特性，該方法包含：(a)提供一第一物體與一第二物體，置於該鏡頭前之不同位置；(b)對焦於該第一物體，使該鏡頭與該第一物體間有一對焦距離；(c)改變該第二物體的位置複數次，記錄該第二物體在每個位置上產生的一成像擴散程度以得到一模糊矩陣；(d)移動該第一物體並重新對焦於該第一物體，產生另一對焦距離並重覆上述步驟(c)；以及(e)重覆上述步驟(d)複數次以取得對應於不同對焦距離之複數個模糊矩陣組，各包含複數模糊矩陣。
  18. 如申請專利範圍第17項所述之方法，更包括下列步驟：(f)改變該鏡頭之一光圈值後重覆步驟(c)至(e)。
  19. 如申請專利範圍第18項所述之方法，更包括下列步驟：改變該鏡頭之一焦距後重覆步驟(c)至(f)。
  20. 如申請專利範圍第17項所述之方法，更包括下列步驟：改變該鏡頭之一焦距後重覆步驟(c)至(e)。
TW101113670A 2012-04-17 2012-04-17 影像編輯方法以及相關之模糊參數建立方法 TWI543582B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW101113670A TWI543582B (zh) 2012-04-17 2012-04-17 影像編輯方法以及相關之模糊參數建立方法
US13/747,680 US8934730B2 (en) 2012-04-17 2013-01-23 Image editing method and associated method for establishing blur parameter

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101113670A TWI543582B (zh) 2012-04-17 2012-04-17 影像編輯方法以及相關之模糊參數建立方法

Publications (2)

Publication Number Publication Date
TW201345229A TW201345229A (zh) 2013-11-01
TWI543582B true TWI543582B (zh) 2016-07-21

Family

ID=49325158

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101113670A TWI543582B (zh) 2012-04-17 2012-04-17 影像編輯方法以及相關之模糊參數建立方法

Country Status (2)

Country Link
US (1) US8934730B2 (zh)
TW (1) TWI543582B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6355746B2 (ja) 2014-02-19 2018-07-11 クアルコム，インコーポレイテッド デバイスのための画像編集技法
US9749532B1 (en) 2014-08-12 2017-08-29 Amazon Technologies, Inc. Pixel readout of a charge coupled device having a variable aperture
US9646365B1 (en) * 2014-08-12 2017-05-09 Amazon Technologies, Inc. Variable temporal aperture
US9787899B1 (en) 2014-08-12 2017-10-10 Amazon Technologies, Inc. Multiple captures with a variable aperture
TWI554106B (zh) 2014-09-25 2016-10-11 聚晶半導體股份有限公司 產生影像散景效果的方法及影像擷取裝置
CN117170083B (zh) * 2023-10-24 2024-02-09 合肥埃科光电科技股份有限公司 一种叠加动态像质补偿的自动对焦方法、***及存储介质
CN118175422A (zh) * 2024-05-13 2024-06-11 深圳市镭神智能***有限公司 一种焦距调整方法、装置、设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000207549A (ja) * 1999-01-11 2000-07-28 Olympus Optical Co Ltd 画像処理装置
TWI314832B (en) 2006-10-03 2009-09-11 Univ Nat Taiwan Single lens auto focus system for stereo image generation and method thereof
US8218061B2 (en) * 2008-09-04 2012-07-10 Csr Technology Inc. Apparatus, method, and manufacture for iterative auto-focus using depth-from-defocus
US8335390B2 (en) * 2010-03-22 2012-12-18 Sony Corporation Blur function modeling for depth of field rendering
JP5183715B2 (ja) * 2010-11-04 2013-04-17 キヤノン株式会社 画像処理装置及び画像処理方法
US8274552B2 (en) * 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US8593565B2 (en) * 2011-03-25 2013-11-26 Gary S. Shuster Simulated large aperture lens
US8824821B2 (en) * 2011-03-28 2014-09-02 Sony Corporation Method and apparatus for performing user inspired visual effects rendering on an image
TWI543112B (zh) * 2011-05-16 2016-07-21 聯詠科技股份有限公司 淺景深模擬方法及數位相機
US9230306B2 (en) * 2012-02-07 2016-01-05 Semiconductor Components Industries, Llc System for reducing depth of field with digital image processing

Also Published As

Publication number Publication date
US20130272625A1 (en) 2013-10-17
TW201345229A (zh) 2013-11-01
US8934730B2 (en) 2015-01-13

Similar Documents

Publication Publication Date Title
TWI543582B (zh) 影像編輯方法以及相關之模糊參數建立方法
US10425638B2 (en) Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device
CN108432230B (zh) 一种成像设备和一种用于显示场景的图像的方法
CN104580878B (zh) 电子装置以及自动决定影像效果的方法
KR101265358B1 (ko) 컬러 디지털 이미지를 사용하여 선명도 변경과 같은 액션을제어하는 방법
TWI538512B (zh) 調整對焦位置的方法及電子裝置
US9992478B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images
TWI577171B (zh) 用於獲得影像深度資訊之系統及方法
JP5963606B2 (ja) 撮像装置及びその制御方法
CN107205109A (zh) 具有多摄像模块的电子装置及其控制的方法
JP2013088261A (ja) 三次元形状計測装置、三次元形状計測装置の制御方法、およびプログラム
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
JP2012514886A (ja) 映像データ獲得方法及び装置
TW201516551A (zh) 調整對焦方法
CN107547789B (zh) 影像获取装置及其摄影构图的方法
CN103426143B (zh) 影像编辑方法以及相关的模糊参数建立方法
JP2016134661A (ja) 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
CN114945943A (zh) 基于虹膜大小估计深度
CN104125385B (zh) 影像编辑方法以及影像处理装置
TWI468772B (zh) 影像拍攝設備及方法
JP2017215851A (ja) 画像処理装置および画像処理方法、造形システム
TWI605418B (zh) 影像編輯方法以及影像處理裝置
TWI390965B (zh) 數位影像的淺景深模擬方法
JP6193609B2 (ja) 三次元形状計測装置、三次元形状計測方法
JP6247724B2 (ja) 計測装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees