TWI779836B

TWI779836B - 基於影像處理的鍵盤檔案驗證方法

Info

Publication number: TWI779836B
Application number: TW110134474A
Authority: TW
Inventors: 李皓軒; 陳佩君; 洪孟佳
Original assignee: 英業達股份有限公司
Priority date: 2021-09-15
Filing date: 2021-09-15
Publication date: 2022-10-01
Also published as: TW202314637A

Abstract

一種基於影像處理的鍵盤檔案驗證方法，包括控制一處理器進行以下操作：取得一鍵盤檔案，依據該鍵盤檔案產生一搜尋索引及一特徵影像，依據該搜尋索引自一模板資料庫取得一模板影像，依據該特徵影像執行一校正操作，其中該校正操作包括：依據該模板影像的解析度調整該特徵影像的解析度，以及依據該特徵影像執行一位移操作以產生多個候選影像，以及將每一該些候選影像中的按鍵區塊與該模板影像中的按鍵區塊進行比對，以產生一差異圖及一比對結果。

Description

基於影像處理的鍵盤檔案驗證方法

本發明關於影像處理，特別是一種基於影像處理的鍵盤檔案驗證方法。

鍵盤是筆記型電腦的關鍵組件之一，在組裝筆記型電腦產品之前，需要確保規格書中的鍵盤設計以及實體鍵盤樣本經過驗證。無論是規格設計還是實體組件，異常或有缺陷的設計將在生產過程中增加不必要的成本。

傳統上，供應商提供鍵盤檔案的驗證依賴於人工。品質管理人員需要用肉眼仔細檢查供應商提供的鍵盤檔案與資料庫中的參考鍵盤設計之間的差異。然而，產線上隨時有大量的鍵盤樣品需要檢查，當品質管理人員長時間地進行目檢時，容易因疏忽而降低其驗證的品質。

有鑑於此，本發明提出一種基於影像處理的鍵盤檔案驗證方法，藉由多種影像處理的技術之組合來改善先前技術中品管人員目測檢查鍵盤缺陷的不便，同時能夠提升缺陷檢查的準確率，確保鍵盤檔案中的輸入鍵盤設計符合參考設計。

依據本發明一實施例的一種基於影像處理的鍵盤檔案驗證方法，包括控制一處理器進行以下操作：取得一鍵盤檔案；依據該鍵盤檔案產生一搜尋索引及一特徵影像；依據該搜尋索引自一模板資料庫取得一模板影像；依據該特徵影像執行一校正操作，其中該校正操作包括：依據該模板影像的解析度調整該特徵影像的解析度；以及依據該特徵影像執行一位移操作以產生多個候選影像；以及將每一該些候選影像中的按鍵區塊與該模板影像中的按鍵區塊進行比對，以產生一差異圖及一比對結果。

綜上所述，本發明提出一種基於影像處理的鍵盤檔案驗證方法，將鍵盤設計的原始文檔轉換為結構化的視覺特徵，並模仿人類視覺感知的過程，將鍵盤檔案的原始文檔與模板資料庫中的模板影像進行比對，最後標記出感知到的差異區域。

以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。

以下在實施方式中詳細敘述本發明之詳細特徵以及特點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之構想及特點。以下之實施例係進一步詳細說明本發明之觀點，但非以任何觀點限制本發明之範疇。

圖1是本發明一實施例的基於影像處理的鍵盤檔案驗證方法的流程圖，所述方法適用於具有處理器的個人電腦或網路伺服器，且圖1中的各步驟主要由處理器執行。

步驟S1為「取得鍵盤檔案」，在一實施例中，處理器從儲存裝置中取得的鍵盤檔案為單頁的可攜式文件格式（portable document file，PDF），圖2是一範例中鍵盤檔案內容的示意圖。鍵盤檔案包括鍵盤影像及鍵盤資訊，鍵盤影像例如是攝影機拍攝鍵盤樣品所得到的灰階影像，或是鍵盤設計者以軟體繪製產生的數位圖檔。鍵盤資訊包括：專案名稱、廠牌、供應商、國別代碼、鍵盤尺寸、鍵盤類型（例如：大/中/小型鍵盤、是否為背光鍵盤、是否具有指向桿等）、製造年代中的至少一者。上述的鍵盤資訊可記錄於鍵盤檔案的內容、鍵盤檔案的檔案名稱及鍵盤檔案的儲存路徑中的至少一者，本發明並不限制鍵盤資訊記錄的位置。

步驟S2為「依據鍵盤檔案產生搜尋索引及特徵影像」，請參考圖3，其為圖1中步驟S2的細部流程圖。

步驟S21為「從鍵盤檔案中擷取文字部分及影像部分」，在一實施例中，處理器執行 Pymupdf 軟體以從PDF文件抽取出文字部分及影像部分，其中文字部分包含上述的鍵盤資訊，影像部分為PNG檔案格式的鍵盤影像。

步驟S22為「依據文字部分產生搜尋索引」，詳言之，處理器執行程式以將文字部分中關聯於鍵盤資訊的內容設置為搜尋索引。

步驟S22為「依據鍵盤影像執行多個影像處理程序以產生特徵影像」，處理器執行的這些影像處理程序係用於抽取鍵盤輪廓及定位鍵盤區域。所述的鍵盤輪廓包括鍵盤本體的外圍輪廓以及所有按鍵的格線。

為了抽取鍵盤輪廓，處理器將鍵盤影像轉為灰階影像，再採用大津演算法（OTSU，或稱自動閾值分割法）將灰階影像退化為的二值化影像，圖4是一範例中對應鍵盤檔案的二值化影像的示意圖。針對二值化影像，處理器執行連通分量標記法（connected-component labeling，CCL）中的8鄰域連接（8-connectivity）以找出二值化影像中屬於鍵盤的區域。處理器更採用OpenCV中的函數FindContour取得概略的鍵盤輪廓。

為了定位鍵盤區域，處理器依據鍵盤輪廓執行填充操作，針對閉合輪廓內部的像素點進行補白，藉此濾除非閉合的輪廓區域。處理器根據聯通區域面積、填充程度以及從鍵盤資訊中取得的鍵盤尺寸（其中可包含鍵盤的長寬比或面積）進行篩選，確認鍵盤輪廓所包圍的連通區域是否屬於鍵盤，並藉此調整二值化操作中的閾值。

此外，依據執行填充操作後的二值化影像，處理器更執行形態學處理中的open操作，藉此濾除原本的鍵盤影像中用於指示的引導線，圖5是一範例中鍵盤影像中的引導線的示意圖，引導線為圖5中位於鍵盤右方及下方的線條，其用於標示鍵盤的長度及寬度，但在鍵盤檔案的驗證中屬於不必要的資訊。

最後，處理器進行相鄰物件找尋，針對距離過近的填充鍵區域以迭代方式進行合併，最終在二值化影像中合併出屬於鍵盤的區域，並輸出填充格線圖。換言之，在相鄰物件找尋的步驟中，會有多個未群聚之區域，處理器將這些散佈的小區域合併後，選取其中最大的區域作為鍵盤區域。圖6是一範例中填充格線圖局部的示意圖。

處理器計算填充格線圖中的按鍵數量，藉此確認鍵盤類型為大、中、小鍵盤中的哪一種類型，再將確認後的鍵盤類型設置為搜尋索引。上述舉例的鍵盤類型亦可在步驟S22中完成設置，本發明對此並不限制。

處理器依據填充格線圖執行OpenCV中的Distance transform函數，計算出每個按鍵輪廓內緣的所有像素與按鍵輪廓內緣的距離以產生距離圖（distance map）。處理器針對計算出的多個距離值進行二值化操作，藉此分隔出輪廓與內文。處理器依據距離圖對填充格線圖執行內縮操作，在內縮過程中偵測是否碰到屬於按鍵內文的像素，並產生一個包圍按鍵內文的定界框（bounding box），最後處理器再依據定界框的內容產生內文圖。請參考圖7，其展示了兩個按鍵在上述流程中產生的兩組特徵影像，每組特徵影像包括：二值化影像、填充格線圖、距離圖、內縮操作後的二值化距離圖以及內文圖。

請參考圖1，步驟S3為「依據搜尋索引至模板資料庫取得模板影像」，步驟S4為「依據特徵影像執行校正操作」。

在步驟S3中，處理器以廠牌、供應商及國別代碼等鍵盤資訊作為搜尋索引在模板資料庫中進行檢索，可找到一或多個模板影像作為後續比對時的標準，若找到二個以上的模板影像，則每個模板影像都會用於比對。在步驟S4中，校正操作包括解析度校正以及位移校正。解析度校正是調整特徵影像的解析度，使其與步驟S4取得的模板影像的解析度一致。另外，模板資料庫中的每一模板影像也是透過步驟S1、S2及S4的流程事先建立，因此所有模板影像的解析度皆具有一致的解析度。

在執行解析度校正後，位移操作是採用增強相關係數（Enhanced Correlation Coefficient，ECC）這個相似性衡量的標準來預測運動模型的參數，並採用OpenCV中的findTransformECC函數迭代產生特徵影像的運動模型，如單應性矩陣（Homography matrix）或仿射變換矩陣（affine matrix），並設定此迭代方法的容忍誤差，小於一定程度時表示影像可透過運動模型達到對齊影像的功能，藉此達到位移的效果。處理器可依據特徵影像及運動模型產生多個候選影像。

請參考圖1，步驟S5為「依據候選影像及模板影像執行區塊比對程序」。區塊比對程序是以按鍵為比對基礎（patch-wise）進行結構相似性（Structural Similarity Index Measure，SSIM）的比對，並在SSIM之前執行小波雜湊（wavelet hashing）演算法以彌補SSIM的不足之處，這是因為對於部分結構簡單的影像，當SSIM比對到全黑的影像時，可能會發生SSIM產生的分數無法反映差異的狀況。因此，處理器執行小波雜湊演算法將候選影像轉換到頻域並產生雜湊值，然後計算候選影像與模板影像之間的漢明距離（hamming distance）以反映原始的鍵盤影像與模板影像的差異程度，若差異程度過大則將該區域的誤差圖（error map）反白，標示為異常區域供後續人為複判，若差異在容忍範圍內才繼續依據SSIM進行影像相似度檢查。

由於不同供應商製造的鍵盤樣品在按鍵之間的距離上可能有些許誤差，為了提升比對時的容錯性及穩定性，在依據SSIM進行影像相似度檢查的過程中，本發明額外導入位移操作，依據指定方向（向上、向下、向左及向右）及指定長度（例如小於等於5個像素長度）移動區塊尺度的特徵影像以產生多個位移影像。處理器基於區塊尺度執行位移操作產生多個位移影像，再以SSIM計算每個位移影像與模板影像之間的相似度，並選擇誤差值最小者對應的位移影像用於後續流程。換言之，處理器針對候選影像中的按鍵部分進行小幅度的位移，以找到與模板影像的按鍵部分具有最高對齊程度的一個位移影像。透過上述方式，本發明可減少因為解析度差異而產生的區域誤差。

請參考圖1，步驟S6為「輸出差異圖及比對結果」。詳言之，在步驟S5完成後，處理器針對每一個候選影像與模板影像的比對過程產生一個候選誤差圖。候選誤差圖為一灰階影像，影像中的像素值可反映差異的程度。處理器依據每一候選誤差圖計算所有按鍵中的差異量總和，差異量總和最小者的候選誤差圖所對應的候選影像代表其與模板影像的對齊程度最好。處理器進一步判斷差異量總和是否大於一門檻值，若判斷結果「是」代表鍵盤影像與模板影像差異程度過大，須交由品管人員進一步確認。圖8是模板影像、從輸入的鍵盤檔案中取得的鍵盤影像以及誤差圖的示意圖，其中誤差圖的多個白色區塊代表鍵盤影像與模板影像的差異處。此外，處理器將輸出的比對結果包括下列檔案：說明檔、鍵盤影像、填充格線圖、內文圖、模板資料庫中與內文圖最相似的模板影像、誤差圖、判斷為差異的標記。在一實施例中，說明檔的檔案格式為逗號分隔值（Comma-Separated Values，CSV），其內容記載下列資訊：廠牌、專案名稱、供應商、鍵盤檔案的檔案名稱、鍵盤檔案的儲存路徑、國別代碼、鍵盤類型、模板影像的儲存位置、是否比對成功、差異按鍵數量及差異判斷理由等。

綜上所述，本發明提出一種基於影像處理的鍵盤檔案驗證方法，可將鍵盤設計的原始文檔轉換為結構化的視覺特徵，並模仿人類視覺感知的過程，將鍵盤檔案的原始文檔與模板資料庫中的模板影像進行比對，最後標示出（例如以圈選的方式）感知到的差異區域。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。

S1~S6, S21~S23:步驟

圖1是本發明一實施例的基於影像處理的鍵盤檔案驗證方法的流程圖；圖2是一範例中鍵盤檔案內容的示意圖；圖3是圖1中步驟的細部流程圖；圖4是一範例中對應鍵盤檔案的二值化影像的示意圖；圖5是一範例中鍵盤影像中的引導線的示意圖；圖6是一範例中填充格線圖局部的示意圖；圖7是一範例中兩組特徵影像的示意圖；以及圖8是模板影像、鍵盤影像及誤差圖的示意圖。

S1~S6:步驟

Claims

一種基於影像處理的鍵盤檔案驗證方法，包括控制一處理器進行以下操作：取得一鍵盤檔案；依據該鍵盤檔案產生一搜尋索引及一特徵影像；依據該搜尋索引自一模板資料庫取得一模板影像；依據該特徵影像執行一校正操作，其中該校正操作包括：依據該模板影像的解析度調整該特徵影像的解析度；以及依據該特徵影像執行一位移操作以產生多個候選影像；以及將每一該些候選影像中的按鍵區塊與該模板影像中的按鍵區塊進行比對，以產生一差異圖及一比對結果；其中依據該特徵影像執行該位移操作以產生該些候選影像包括：依據一增強相關係數產生一運動模型，其中該運動模型為單應性矩陣或仿射變換矩陣；以及依據該特徵影像及該運動模型產生該些候選影像。
如請求項1所述基於影像處理的鍵盤檔案驗證方法，其中該鍵盤檔案為可攜式文件格式，該鍵盤檔案包含一鍵盤資訊及一鍵盤影像，該鍵盤資訊關聯於該鍵盤檔案的內容、檔案名稱及儲存路徑中的至少一者。
如請求項2所述基於影像處理的鍵盤檔案驗證方法，其中依據該鍵盤檔案產生該特徵影像包括：將該鍵盤影像轉換為灰階影像；依據該灰階影像執行大津演算法以產生一二值化影像；依據該二值化影像執行連通分量標記法以定位該二值化影像中的多個連通區域；依據每一該些連通區域取得一輪廓並依據該輪廓執行一填充操作；以及依據每一該些連通區域的面積、一填充程度及該鍵盤資訊中的一鍵盤尺寸進行篩選，以確認每一該連通區域是否屬於一鍵盤區域，並輸出一填充格線圖。
如請求項3所述基於影像處理的鍵盤檔案驗證方法，其中依據該鍵盤檔案產生該特徵影像包括：依據該填充格線圖執行一距離轉換函數以產生一距離圖；依據該距離圖對該填充格線圖執行一內縮操作並產生一定界框，其中該定界框用於包圍一按鍵內文；以及依據該定界框產生一內文圖；其中，該特徵影像包括該二值化影像、該填充格線圖、該距離圖、該定界框及該內文圖。
如請求項4所述基於影像處理的鍵盤檔案驗證方法，更包括：計算該填充格線圖中的一按鍵數量；以及依據該按鍵數量確認一鍵盤類型，並該將該鍵盤類型設置為該搜尋索引。
如請求項1所述基於影像處理的鍵盤檔案驗證方法，其中將每一該些候選影像中的按鍵區塊與該模板影像中的按鍵區塊進行比對，以產生該差異圖及該比對結果包括：執行小波雜湊演算法將每一該些候選影像轉換至頻域；計算每一該些候選影像及該模板影像的結構相似性及漢明距離以產生多個候選差異圖；以及計算每一該些候選差異圖中的一差異量總和，其中該差異圖係為該些候選差異圖中具有最小差異量總和之一者。
如請求項6所述基於影像處理的鍵盤檔案驗證方法，其中計算每一該些候選影像及該模板影像的結構相似性包括：依據每一該些候選影像、指定方向及指定長度移動該特徵影像以產生多個位移影像。