TWI717942B

TWI717942B - 鏡頭匹配裝置及鏡頭匹配方法

Info

Publication number: TWI717942B
Application number: TW108146788A
Authority: TW
Inventors: 鄭珍如
Original assignee: 宏碁股份有限公司
Priority date: 2019-12-19
Filing date: 2019-12-19
Publication date: 2021-02-01
Also published as: US11494894B2; TW202125078A; CN113014900B; US20210192706A1; CN113014900A

Abstract

本發明實施例提供一種鏡頭匹配裝置及鏡頭匹配方法。在此方法中，取得各鏡頭對應數個焦距分別的調變轉換函數數值，決定各鏡頭在那些焦距中的最大調變轉換函數數值，並依據各鏡頭的最大調變轉換函數數值分類那些鏡頭。各調變轉換函數數值是基於具有最大光強度的至少一個第一像素及具有最小光強度的至少一個第二像素所決定。藉此，清晰度一致的鏡頭可分類至相同群組，進而改善影像重縫並加速影像縫合的速度。

Description

鏡頭匹配裝置及鏡頭匹配方法

本發明是有關於一種相機組裝相關技術，且特別是有關於一種鏡頭匹配裝置及鏡頭匹配方法。

目前市面上有越來越多使用兩顆鏡頭以上的應用。例如，將兩張影像合成同一張以形成具有三維(3D)效果的影像或是進行影像縫合。值得注意的是，人眼所看到透過兩顆鏡頭拍攝的影像在清晰度應該是要相近的，因此在鏡頭設計過程中需要將兩顆鏡頭看起來的清晰度一致。若兩顆鏡頭對應的清晰度不一致，則會影響最後影像輸出的效果。此外，若兩顆鏡頭所擷取的影像需進一步縫合，則清晰度的差異將造成難以在兩張影像中找到對應特徵點，並使得3D影像重合會讓觀賞者感到明顯暈眩。

在一些現有的設計中，會將同類型且解析能力一致的鏡頭配對至同一組影像輸出裝置。然而，透過此等配對方式，其最後輸出的影像在清晰度上仍有明顯差異。

有鑑於此，本發明實施例提供一種鏡頭匹配裝置及鏡頭匹配方法，基於最大調變轉換函數(Modulation Transfer Function，MTF)數值決定最終焦距，並將點膠作業處理後的鏡頭依據對應清晰度分組，即可使同組內的清晰度及景深趨近一致。

本發明實施例的鏡頭匹配方法，其適用於數顆鏡頭，並包括但不僅限於下列步驟：取得各鏡頭對應數個焦距分別的MTF數值，決定各鏡頭在那些焦距中的最大MTF數值，並依據各鏡頭的最大MTF數值分類那些鏡頭。各MTF數值是基於具有最大光強度的至少一個第一像素及具有最小光強度的至少一個第二像素所決定。

本發明實施例的鏡頭匹配裝置，其適用於數顆鏡頭，並包括但不僅限於儲存器及處理器。儲存器用以儲存數個模組。處理器耦接儲存器，且載入並執行儲存器儲存的那些模組。那些模組包括MTF決定模組及分類模組。MTF取得各鏡頭對應於數個焦距分別的MTF數值，並決定各鏡頭在那些焦距中的最大MTF數值。各MTF數值是基於具有最大光強度的至少一個第一像素及具有最小光強度的至少一個第二像素所決定。分類模組依據各鏡頭的最大MTF數值分類那些鏡頭。

基於上述，本發明實施例的鏡頭匹配裝置及鏡頭匹配方法，判斷各鏡頭對應的最大MTF數值(或稱峰值)，並在容許範圍內得出點膠作業所用的最終焦距。最後，本發明實施例對經點膠作業處理後的鏡頭依據對應MTF數值分類，使清晰度一致的鏡頭可分類至相同群組，進而改善影像重縫並加速影像縫合的速度。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100:鏡頭匹配裝置

110:儲存器

111:MTF決定模組

113:分類模組

130:處理器

S210~S250:步驟

RC:R通道

GC:G通道

BC:B通道

YC:Y通道

PV:峰值焦距

MV、IV:容許焦距

圖1是依據本發明一實施例的鏡頭匹配裝置的元件方塊圖。

圖2是依據本發明一實施例的鏡頭匹配方法的流程圖。

圖3是說明RGBY通道(channel)的清晰度與焦距對照圖的範例。

圖4是說明某一鏡頭的MTF數值與焦距對照圖的範例。

圖1是依據本發明一實施例的鏡頭匹配裝置100的元件方塊圖。請參照圖1，鏡頭匹配裝置100包括但不僅限於儲存器110及處理器130。鏡頭匹配裝置100可以是桌上型電腦、筆記型電腦、伺服器、智慧型手機、平板電腦等電子裝置。

儲存器110可以是任何型態的固定或可移動隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash Memory)、傳統硬碟(Hard Disk Drive，HDD)、固態硬碟(Solid-State Drive，SSD)或類似元件或上述元件之組合的儲存器。在本發明實施例中，儲存器110用於儲存暫存或永久的資料(例如，焦距與調變轉換函數(Modulation Transfer Function，MTF)數值、MTF數值、最終焦距、取樣比例、容許(tolerance)率等)、軟體模組(例如，MTF決定模組111、分類模組113等)或其他檔案及資料，且其詳細內容待後續實施例詳述。

處理器130電性耦接於儲存器110，處理器130並可以是中央處理單元(CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application-Specific Integrated Circuit，ASIC)或其他類似元件或上述元件的組合。在本發明實施例中，處理器130用以執行鏡頭匹配裝置100的所有或大部分作業，且可載入並執行儲存器110所記錄的各軟體模組、檔案及資料。

為了方便理解本發明實施例的操作流程，以下將舉諸多實施例詳細說明本發明實施例中對鏡頭的設計及配對流程。下文中，將搭配鏡頭匹配裝置100中的各項元件及模組說明本發明實施例所述之方法。本方法的各個流程可依照實施情形而隨之調整，且並不僅限於此。

圖2是依據本發明一實施例的鏡頭匹配方法的流程圖。請參照圖2，MTF決定模組111自儲存器110或外部裝置(例如，隨身碟、伺服器、硬碟或其他電子裝置)取得各鏡頭對應於數個焦距分別的調變轉換函數(MTF)數值(步驟S210)。具體而言，MTF的公式如下：(Max-Min)/(Max+Min)...(1)其中Max是最大光強度，Min是最小光強度。而各鏡頭在不同焦距(例如，鏡頭與感測器之間的距離)下對應的MTF數值可基於以下(但不僅限於)條件得出：基於各鏡頭的規格得出不同物距對應的前景深、後景深及景深資訊，並挑選出測試所用的物距。例如，某一鏡頭在物距為50公分的情況下，其前景深為324公厘且後景深為無窮遠，即表示物距在50公分時清晰度在大約30公分至無窮遠應最佳。使用不同鏡頭並對放置於前述物距處的黑白對比格子圖(或其他黑白交替線、區塊圖)拍攝，變換鏡頭與感測器之間的距離(即，焦距)，且記錄不同焦距下對應的MTF數值。

在一實施例中，針對各鏡頭，處理器130可自其R通道(channel)、G通道、B通道及Y通道中選擇MTF數值最穩定的通道。具體而言，R、G、及B通道分別是感測器的拜耳(Bayer)原始(RAW)資料中對應於紅色、綠色及藍色的輸出。而Y通道的輸出例如是0.2125×R通道的光強度+0.7154×G通道的光強度+0.0721×B通道的光強度的運算結果。處理器130可判斷這些通道在最高頻率下是否抖動(例如，變異小於特定值)。

舉例而言，圖3是說明RGBY通道(channel)的清晰度與焦距對照圖的範例。請參照圖3，圖中水平軸代表焦距(由左至右開始為微距(或稱近距離)且終於無窮遠)且垂直軸代表清晰度(或是MTF數值)。在此範例中，Y通道YC的清晰度在最高頻率與R通道RC、G通道GC及B通道BC相比較不會抖動。在此範例中，MTF決定模組111可取得各鏡頭在Y通道的MTF數值。

需說明的是，不同鏡頭在不同通道下的特性可能不同，在其他實施例中，MTF決定模組111也可能取得鏡頭在其他通道(例如，R、G或B通道)的MTF數值。

值得注意的是，在現有技術中，使用黑白對比取樣，通常是記錄影像的中間及角落(或邊角)位置的值(例如，MTF數值或光強度)。針對影像縫合應用，由於影像中角落區域將用於縫合，因此角落的解析度較為重要，且兩影像在角落的清晰度一致是相對重要的。

在MTF數值的公式(1)中，最大光強度及最小光強度可能分別對應到某一個像素(例如，具有最大光強度的一個第一像素及具有最小光強度的一個第二像素)。

在另一實施例中，MTF決定模組111依據取樣比例來挑選數個像素決定最大光強度及最小光強度。在此實施例中，各MTF數值是基於具有最大光強度的數個第一像素及具有最小光強度的數個第二像素所決定。表(1)是一範例說明某三顆鏡頭在不同取樣比例的變異度：表(1)

由表(1)可知，不同取樣比例的變異度不同。而為了取得相對穩定的數值，本發明實施例是選擇特定數量的像素及其對應數值得出代表此焦距的MTF數值。

在一實施例中，MTF決定模組111依據第一取樣比例決定數個第一像素，並依據第二取樣比例決定數個第二像素。這些第一像素是自經光強度大小排序後的數個影像像素(例如，由感測器透過鏡頭對外界光影感測所得影像中的像素)挑選第一取樣比例對應數目的像素(例如，第一高光強度、第二高光強度等)，且這些第二像素是自那些影像像素挑選第二取樣比例對應數目的像素(例如，第一低光強度、第二低光強度等)。以表(1)為例，取樣比例在70%的變異度相對小，MTF決定模組111可決定第一取樣比例為15%且第二取樣比例為15%。假設1600個像素具有最大數值且1600個像素具有最小數值，則第一像素總共有1600×15%(240個像素)，且第二像素總共有1600×15%(240個像素)。

需說明的是，範例中的取樣比例、第一及第二取樣比例的數值僅是作為範例說明，並可視實際情況而變動(例如，針對任一鏡頭，依據具有較小變異度的取樣比例來決定；或者，由對照表或特定函數得出)。第一及第二取樣比例也不一定相等。

接著，MTF決定模組111可依據這些第一像素的光強度及這些第二像素的光強度決定某一鏡頭的一焦距的MTF數值。換句而言，MTF決定模組111依據數個第一像素的光強度決定MTF數值的最大光強度(例如是公式(1)中的最大光強度Max)，並依據數個第二像素的光強度決定MTF數值的最小光強度(例如是公式(1)中的最小光強度Min)。例如，MTF決定模組111可將那些第一像素的光強度的平均值、中位數、眾數或其他代表數值作為公式(1)中的最大光強度Max，且將那些第二像素的光強度的平均值、中位數、眾數或其他代表數值作為公式(1)中的最小光強度Min。接著，MTF決定模組111可將修改的最大及最小光強度代入公式(1)並取其運算結果作為MTF數值。

在一些實施例中，針對特定通道的輸出，MTF決定模組111是採用第一及第二取樣比例來挑選第一及第二像素；而其他特定的輸出，MTF決定模組111僅選擇單一第一像素及單一第二像素。例如，若G通道的輸出較為穩定，則MTF決定模組111僅選擇單一第一像素及單一第二像素；若Y通道的輸出較為穩定，則MTF決定模組111是採用第一及第二取樣比例來挑選數個第一及第二像素。

而針對影像角落有一致性需求的情況，在一實施例中，MTF決定模組111可選擇角落區域的像素的光強度，並據以決定這些角落區域的MTF數值。在其他實施例中，針對影像不同位置(例如，中心、四角等)有一致性需求的情況，MTF決定模組111 也可選擇這些位置對應像素的光強度，並據以得出對應MTF數值。

取得各鏡頭在不同焦距對應的MTF數值之後，請參照圖2，MTF決定模組111決定各鏡頭在那些焦距中的最大MTF數值(步驟S230)。具體而言，找尋鏡頭具有最好的解析度對應的焦距點通常考慮對比度，對比度越高者代表在此距離的清晰度越好，且不同鏡頭的最佳焦距點可能不同。在現有技術中，設計人員通常是依據供應商提供的規格來選擇最佳焦距點。例如，超過特定門檻值的MTF數值對應的焦距。然而，即便是相同類型的鏡頭，其量測出的MTF數值也可能有差異，並使得依據現有方法得出的最佳焦距點也可能不同。

而本發明實施例是依據最大MTF數值對應的焦距點來決定此最佳焦距點。找尋最大MTF數值的方法有很多種。在一實施例中，針對各鏡頭在不同焦距下對應的MTF數值，MTF決定模組111可自微距位置依序比對下一階焦距對應的MTF數值(例如，相鄰階焦距相距0.01、或0.005公厘等)，並判斷下一階焦距對應的MTF數值是否更大。若下階焦距對應的MTF數值更大，則MTF決定模組111繼續比對下一階及再下一階焦距對應的MTF數值，直到數值不再增加。若數值開始往下掉，則MTF決定模組111可得出最大MTF數值(即為峰值)。

在另一實施例中，MTF決定模組111也可能使用數值排序演算法(例如，氣泡排序法、選擇排序法、或***排序法等)，來得出最大MTF數值。需說明的是，本發明實施例不限制找尋最大MTF數值的手段，諸如函數、對照表等方式也都能應用。

值得注意的是，考慮到鏡頭經點膠作業處理後，其MTF數值可能異動。在一實施例中，MTF決定模組111依據容許率及最大MTF數值決定各鏡頭進行點膠作業所用的最終焦距。容許率相關於點膠作業的變因(例如，膠特性、烘烤熱度、或烘烤時間等與點膠作業相關的特徵)。容許率例如是1%~5%之間的數值，但也可能依據實際需求而變動。MTF決定模組111將最大MTF數值的容許率內的一數值對應的焦距作為點膠作業所用的最終焦距。

舉例而言，圖4是說明某一鏡頭的MTF數值與焦距對照圖的範例。請參照圖4，假設峰值焦距PV具有0.82的最大MTF數值為，且容許率大約為5%，則可選擇0.78的數值(對應到容許焦距IV及MV)。

值得注意的是，前述選擇的數值可能對應到兩個焦距。在一實施例中，最終焦距相較於最大MTF數值對應的焦距更接近無窮遠。具體而言，基於實驗結果，經點膠作業處理後的鏡頭因受烘烤而導致MTF數值的曲線向微距偏移。以圖4為例，圖中往左至無窮遠且往右至微距，則MTF決定模組111可選擇容許焦距IV作為點膠作業所用的最終焦距。

在另一實施例中，最終焦距也可能是相較於最大MTF數值對應的焦距更接近微距。以圖4為例，MTF決定模組111可選擇容許焦距MV作為點膠作業所用的最終焦距。

在一些實施例中，MTF決定模組111也可能直接將最大MTF數值對應的焦距作為點膠作業所用的最終焦距。以圖4為例，MTF決定模組111可選擇峰值焦距PV作為點膠作業所用的最終焦距。

接著，可對各鏡頭依據其最終焦距進行點膠作業。在一實施例中，MTF決定模組111可將經點膠作業處理的鏡頭的MTF數值與對應最大MTF數值比較，並依據比較結果確認是否調整對應最大MTF數值。若比較結果是兩數值差異大於差異門檻值，則表示先前最大MTF數值的決定有疑慮，且需要再次尋找此最大MTF數值。若比較結果是兩數值差異未大於差異門檻值，則不需要重新尋找最大MTF數值。

請參照圖2，分類模組113可依據各鏡頭的最大MTF數值分類那些鏡頭(步驟S250)。在一實施例中，完成點膠作業之後，分類模組113可記錄那鏡頭經點膠作業處理後的MTF數值(其所用焦距是依據最大MTF數值所得出)，並將二MTF數值之間的差異小於範圍門檻值的二個或更多個鏡頭分類至相同群組。例如，範圍門檻值為0.1，則兩鏡頭對應MTF數值分別為0.79與0.8，即可分類到相同群組。又例如，兩鏡頭對應MTF數值須相同才會被分類到相同群組。

在另一實施例中，分類模組113也可能是記錄那鏡頭的最大MTF數值，並基於彼此之間最大MTF數值的相異程度來分類。

值得注意的是，被分類到相同群組中的鏡頭可被挑選並進一步整合成為諸如立體相機、全景相機、穿透式頭戴顯示器或其他整合數顆鏡頭的裝置。

綜上所述，在本發明實施例的鏡頭匹配裝置及鏡頭匹配方法中，找尋各鏡頭的最大MTF數值，並在容許率的範圍內挑選點膠作業所用的焦距。接著，可對這些鏡頭依據MTF數值分類。藉此，分類至相同群組中的鏡頭的清晰度和景深一致或趨近於一致，且可改善影像重縫並加速影像縫合的速度。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S210~S250:步驟

Claims

一種鏡頭匹配方法，適用於複數個鏡頭，該鏡頭匹配方法包括：取得每一該鏡頭對應於複數個焦距分別的調變轉換函數(Modulation Transfer Function，MTF)數值，其中每一該MTF數值是基於具有最大光強度的至少一第一像素及具有最小光強度的至少一第二像素所決定；決定每一該鏡頭在該複數個焦距中的最大MTF數值；以及依據每一該鏡頭的該最大MTF數值分類該複數個鏡頭，其中取得每一該鏡頭對應於該複數個焦距分別的該MTF數值的步驟包括：依據一第一取樣比例決定該至少一第一像素，其中該至少一第一像素是自經光強度大小排序後的複數個影像像素挑選該第一取樣比例對應數目的像素；依據一第二取樣比例決定該至少一第二像素，其中該至少一第二像素是自該複數個影像像素挑選該第二取樣比例對應數目的像素；以及依據該至少一第一像素的光強度及該至少一第二像素的光強度決定每一該鏡頭在該複數個焦距中的每一該MTF數值，其中依據該至少一第一像素的光強度決定每一該MTF數值的最大光強度，且依據該至少一第二像素的光強度決定每一該MTF數值的最小光強度。
如申請專利範圍第1項所述的鏡頭匹配方法，其中取得每一該鏡頭對應於該複數個焦距分別的MTF數值的步驟包括：取得每一該鏡頭在Y通道的MTF數值。
如申請專利範圍第1項所述的鏡頭匹配方法，其中依據每一該鏡頭的該最大MTF數值分類該複數個鏡頭的步驟包括：依據一容許率及該最大MTF數值決定每一該鏡頭進行一點膠作業所用的一最終焦距，其中該容許率相關於該點膠作業的變因，且該最終焦距相較於該最大MTF數值對應的焦距更接近無窮遠；將經該點膠作業處理的一該鏡頭的MTF數值與對應該最大MTF數值比較；以及依據比較結果確認是否調整對應該最大MTF數值。
如申請專利範圍第1項所述的鏡頭匹配方法，其中依據每一該鏡頭的該最大MTF數值分類該複數個鏡頭的步驟包括：記錄該複數個鏡頭經一點膠作業處理後的MTF數值；以及將二該MTF數值之間的差異小於一範圍門檻值的至少二該鏡頭分類至相同群組。
一種鏡頭匹配裝置，適用於複數個鏡頭，該鏡頭匹配裝置包括：一儲存器，儲存複數個模組；以及一處理器，耦接該儲存器，載入並執行該複數個模組，該複數個模組包括：一MTF決定模組，取得每一該鏡頭對應於複數個焦距分別的MTF數值，並決定每一該鏡頭在該複數個焦距中的最大MTF數值，其中每一該MTF數值是基於具有最大光強度的至少一第一像素及具有最小光強度的至少一第二像素所決定；以及一分類模組，依據每一該鏡頭的該最大MTF數值分類該複數個鏡頭，其中該MTF決定模組依據一第一取樣比例決定該至少一第一像素，依據一第二取樣比例決定該至少一第二像素，並依據該至少一第一像素的光強度及該至少一第二像素的光強度決定每一該鏡頭在該複數個焦距中的每一該MTF數值，其中該至少一第一像素是自經光強度大小排序後的複數個影像像素挑選該第一取樣比例對應數目的像素，該複數個第二像素是自該複數個影像像素挑選該第二取樣比例對應數目的像素，且該MTF決定模組依據該至少一第一像素的光強度作為決定每一該MTF數值的最大強度，並依據該至少一第二像素的光強度作為決定每一該MTF數值的最小強度。
如申請專利範圍第5項所述的鏡頭匹配裝置，其中該MTF決定模組取得每一該鏡頭在Y通道的MTF數值。
如申請專利範圍第5項所述的鏡頭匹配裝置，其中該MTF決定模組依據一容許率及該最大MTF數值決定每一該鏡頭進行一點膠作業所用的一最終焦距，將經該點膠作業處理的一該鏡頭的MTF數值與對應該最大MTF數值比較，並依據比較結果確認是否調整對應該最大MTF數值，其中該容許率相關於該點膠作業的變因，且該最終焦距相較於該最大MTF數值對應的焦距更接近無窮遠。
如申請專利範圍第5項所述的鏡頭匹配裝置，其中該分類模組記錄該複數個鏡頭經一點膠作業處理後的MTF數值，並將二該MTF數值之間的差異小於一範圍門檻值的至少二該鏡頭分類至相同群組。