TWI703504B

TWI703504B - 序號檢測系統

Info

Publication number: TWI703504B
Application number: TW108113459A
Authority: TW
Inventors: 趙式隆; 林奕辰; 沈昇勳
Original assignee: 洽吧智能股份有限公司
Priority date: 2019-04-17
Filing date: 2019-04-17
Publication date: 2020-09-01
Also published as: TW202040417A

Abstract

一種序號檢測系統，此序號檢測系統包括一輸入模組、一序號分割區域偵測模組、與一序號辨識模組。其中，輸入模組接受一圖片，而序號分割區域偵測模組以一第一類神經網路模型判定該圖片中是否存有至少一序號型態之文字，若有則對該序號型態之文字進行框選，以形成一序號分割區域。序號辨識模組以一第二類神經網路模型對該序號分割區域中的該序號型態之文字進行辨識，以取得一序號。

Description

序號檢測系統

本發明是指一種序號檢測系統，特別是指一種使用類神經網路進行辨識的序號檢測系統。

為了對個別的產品或文件進行區分或歸類，人們會將個別的產品或文件進行編號，此編號一般稱為序號。為了方便紀錄和管理，人們會將這些序號輸入到電腦中。然而，用人工手動輸入相當耗時且容易出錯，市面上已有推出利用機器掃描並自動判別序號的裝置。然而，目前市面上關於產品序號檢測的相關機器，都須在嚴格的限制條件下進行。在對產品的序號標示拍照取樣時，往往需要將機器移動到一指定範圍和角度內才能成功辨識，但這樣也會增加作業的時間。此外，若序號是顯示在螢幕或印有浮水印的紙上，在辨別上會更顯困難。

因此，如何使機器在掃描序號時無需考慮指定範圍和角度，是值得本領域具有通常知識者去思量的課題。

本發明之目的在於提供一序號檢測系統，該序號檢測系統在掃描序號時無需限定指定範圍和角度。此序號檢測系統包括一輸入模組、一序號分割區域偵測模組、與一序號辨識模組。其中，輸入模組接受一圖片，而序號分割區域偵測模組以一第一類神經網路模型判定該圖片中是否存有至少一序號型態之文字，若有則對該序號型態之文字進行框選，以形成一序號分割區域。序號辨識模組以一第二類神經網路模型對該序號分割區域中的該序號型態之文字進行辨識，以取得一序號。

如上述之序號檢測系統，第一類神經網路模型包括一第一卷積式神經網路模型與一目標檢測神經網路模型。第一卷積式神經網路模型對圖片進行特徵抽取以輸出一特徵向量，而目標檢測神經網路模型根據該特徵向量的輸入對該序號型態之文字進行框選以形成該序號分割區域。其中，第一卷積式神經網路模型為VGG模型、ResNet模型、或DenseNet模型，而目標檢測神經網路模型為YOLO模型、CTPN模型、或EAST模型。

如上述之序號檢測系統，第二類神經網路模型包括一第二卷積式神經網路模型與一遞歸式神經網路模型。第二卷積式神經網路模型對該序號分割區域中的圖像進行處理以輸出一字元序列，該遞歸式神經網路模型根據該字元序列的輸入以輸出序號。其中，遞歸式神經網路模型實施Connectionist Temporal Classification演算法。

如上述之序號檢測系統，第二類神經網路模型為Seq2Seq模型。

如上述之序號檢測系統，更包括一比對模組。比對模組電性連接於序號辨識模組與一序號資料庫間，該比對模組比對序號辨識模組所取得的序號是否儲存該序號資料庫。。

如上述之序號檢測系統，更包括一影像前處理模組，該影像前處理模組通信連接於該輸入模組與該序號分割區域偵測模組之間。

為讓本之上述特徵和優點能更明顯易懂，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下。

10:影像

12:序號分割區域

12a:圖片序列

30:序號資料庫

40:影像輸入裝置

100:序號檢測系統

110:輸入模組

115:影像前處理模組

120:序號分割區域偵測模組

122:第一類神經網路模型

1221:第一卷積式神經網路模型

1223:目標檢測神經網路模型

130:序號辨識模組

132:第二類神經網路模型

1321:第二卷積式神經網路模型

1323:遞歸式神經網路模型

140:比對模組

下文將根據附圖來描述各種實施例，所述附圖是用來說明而不是用以任何方式來限制範圍，其中相似的標號表示相似的元件，並且其中：

圖1所繪示為本發明之文件資訊提取歸檔系統的實施例。

圖2A所繪示為影像輸入裝置拍攝後的影像。

圖2B所繪示為影像上的序號分割區域。

圖3所繪示為第一類神經網路模型的架構圖。

圖4所繪示為第二類神經網路模型的架構圖。

圖5所繪示為將序號分割區域拆解成多個圖片序列的示意圖。

參照本文闡述的詳細內容和附圖說明是最好理解本發明。下面參照附圖會討論各種實施例。然而，本領域技術人員將容易理解，這裡關於附圖給出的詳細描述僅僅是為了解釋的目的，因為這些方法和系統可超出所描述的實施例。例如，所給出的教導和特定應用的需求可能產生多種可選的和合適的方法來實現在此描述的任何細節的功能。因此，任何方法可延伸超出所描述和示出的以下實施例中的特定實施選擇範圍。

在說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定的元件。所屬領域中具有通常知識者應可理解，不同的廠商可能會用不同的名詞來稱呼同樣的元件。本說明書及後續的申請專利範圍並不以名稱的差異來作為區分元件的方式，而是以元件在功能上的差異來作為區分的準則。在通篇說明書及後續的請求項當中所提及的「包含」或「包括」係為一開放式的用語，故應解釋成「包含但不限定於」。另外，「耦接」或「連接」一詞在此係包含任何直接及間接的電性或通信連接手段。因此，若文中描述一第一裝置耦接於一第二裝置，則代表該第一裝置可直接電性連接於該第二裝置，或透過其他裝置或連接手段間接地電性或通信連接至該第二裝置。

請參閱圖1，圖1所繪示為本發明之文件資訊提取歸檔系統的實施例。序號檢測系統100包括一輸入模組110、一影像前處理模組115、一序號分割區域偵測模組120、一序號辨識模組130、與一比對模組140，其中該比對模組140是與一序號資料庫30連接。在本實施例中，序號資料庫30例如為記載手機序號的資料庫。此外，輸入模組110例如是電性連接到一影像輸入裝置40，此影像輸入裝置40在本實施例中為具有拍照功能的一智慧型手機，但也可為一數位相機。藉由此影像輸入裝置40與輸入模組110，可將拍攝後的一影像10(例如：圖2A所示的相片)匯入到影像前處理模組115中。此影像前處理模組115能對該影像進行影像前處理，例如：方向轉正、曲面校正、圖片去噪、二值化等，以讓影像具有高對比之特性，以方便後續的處理。在本實施例中，輸入模組110、影像前處理模組115、序號分割區域偵測模組120、序號辨識模組130、與比對模組140是設置於伺服端，伺服端例如是由一台或多台伺服器所組成。

經過前處理後的影像10會被傳輸到序號分割區域偵測模組120，序號分割區域偵測模組120包括第一類神經網路模型122，此第一類神經網路模型122能對影像10中呈現序號型態之文字進行框選，以形成至少一序號分割區域12(圖2B所示為多個)。須注意的是，序號分割區域12中的序號是以影像的方式存在的，也就是說序號分割區域12中的序號在這個階段是無法編輯的。為了將這些序號轉為可編輯的序號，可藉由序號辨識模組130來完成。以下，將介紹序號分割區域偵測模組120與序號辨識模組130較詳細的運作機制。

請同時參照圖3，第一類神經網路模型122包括一第一卷積式神經網路模型1221與一目標檢測神經網路模型1223，此第一卷積式神經網路模型1221屬於卷積式神經網路(convolutional neural network)，包括卷積層(convolutional layer)與採樣層(pooling layer)(卷積層與採樣層皆未於圖中繪式)，其中卷積層主要用於特徵抽取，而採樣層則是用於減少第一卷積式神經網路模型1221所需的參數，以免產生過擬合(overfitting)的情形。第一卷積式神經網路模型1221 根據所輸入的影像10產生一特徵向量，之後特徵向量再輸入到此目標檢測神經網路模型1223。在本實施例中，第一卷積式神經網路模型1221可為VGG模型、ResNet模型、或DenseNet模型。此外，目標檢測神經網路模型1223可為YOLO模型，較佳為CTPN模型或EAST模型。在經過目標檢測神經網路模型1223的演算後，影像10中的序號便會被框選，而形成上述的序號分割區域12(如圖2B所示)。

待影像10中的序號被框選以形成序號分割區域12後，序號辨識模組130便會藉由一第二類神經網路模型132對序號分割區域12中的序號進行辨識。請同時參照圖4，第二類神經網路模型132包括一第二卷積式神經網路模型1321與一遞歸式神經網路模型1323，此第二卷積式神經網路模型1321與第一卷積式神經網路模型1221一樣同屬於卷積式神經網路(convolutional neural network)，此第二卷積式神經網路模型1321可對序號分割區域12中的序號進行預判斷。雖然第二卷積式神經網路模型1321可對序號分割區域12中的序號進行初步判斷，但較佳還是須在第二卷積式神經網路模型1321加上遞歸式神經網路模型1323，以對序號分割區域12中的序號進行更佳地辨識，相關詳細機制將在後文敘述。

第二卷積式神經網路模型1321在對序號分割區域12中的序號進行辨識時，會先將序號分割區域12拆解成多個圖片序列12a(如圖5)。舉例來說，若序號分割區域12包括「S」這個字元，則這些圖片序列12a可能是「S」的左邊部分、也可能是「S」的右邊部分，這樣一來第二卷積式神經網路模型1321有可能將「S」這個字元識別成這二個「S」字元。或者，反過來也可能將多個字元辨識成一個，比如「llc.」這個字串，第二卷積式神經網路模型1321可能將當中的二個l(“ll”)視為一個l(“l”)。遞歸式神經網路模型1323是屬於遞歸式神經網路(Recurrent Neural Network,RNN)，由於遞歸式神經網路會參考到之前的輸入也就是說具有短期記憶的功能，因此可以對第二卷積式神經網路模型1321可能的輸出錯誤進行校正，而正確辨識出序號分割區域12中的序號。

在本實施例中，遞歸式神經網路模型1323例如是採用Connectionist Temporal Classification演算法(以下簡稱CTC演算法)。目前，CTC演算法主要是用在語音識別上，其詳細的運作原理可參考以下網頁：“Sequence Modeling With CTC”(https://distill.pub/2017/ctc/)

本案的創作人經研究後發現，CTC演算法也可以適用於本案的序號辨識且具有良好的效果，主要原因在於語音辨識的情境與本案序號辨識的情境有部分共同之處。在語音辨識中一些比較常見的情形是：有些人講話比較快，有些人講話比較慢，或者某些人在某些音素會拉得比較長；而CTC演算法正式針對這些狀況開發出來的。而在本案的序號辨識中，有些序號中字元與字元之間的間距會拉得比較開(對應到語音辨識中有些人講話比較慢)，有些序號中字元與字元之間的間距會拉得比較緊湊(對應到語音辨識中有些人講話比較快)，而且本案中的影像絕大部分是經由拍照取得的，這樣一來更可能因為拍照者拍攝的角度或遠近而產生文件中字元與字元之間的間距有所變化。因此，本案的創作人採用CTC演算法解決這樣的間題並獲得良好的效果。

此外，第二類神經網路模型132也可以為Seq2Seq模型。Seq2Seq模型一般包括一編碼器(Encoder)和一解碼器(Decoder)，其中編碼器可為卷積式神經網路，其也會先將序號分割區域12拆解成多個圖片序列12a(如圖5)，並將圖片序列12a轉換成一個上下文向量(context vector)，之後再將該上下文向量輸入到解碼器，解碼器再將該上下文向量轉換成可編輯的字串。

值得注意的是，由於擷取影像(如圖2A所示)牽涉到拍照，便會產生不同人有不同拍攝角度的情況發生，因此第一類神經網路模型122與第二類神經網路模型132在訓練時可輸入不同角度、各種光線環境的下的影像，這些不同角度、各種光線環境的下的影像可直接拍照取得或利用電腦模擬的方式取得。由於第一類神經網路模型122與第二類神經網路模型132在訓練階段有輸入不同情況下的影像，故縱使影像上有出現摩爾紋(Moire pattern)，第一類神經網路模型122與第二類神經網路模型132仍然能進行正確的辨識。值得注意的是，在圖2A中雖然是以手機螢幕上所顯示的序號為實施例，但本領域具有通常知識者應可得知，本案之序號檢測系統100還可適用於讀取其他媒體上所顯示的序號，例如：印刷於浮水印上的序號。

在經由序號辨識模組130取得可編輯序號後，便可利用比對模組140將此序號與序號資料庫30中所儲存的序號進行比較。在一較佳實施例中，若序號資料庫30不存在此序號，則序號資料庫30則可將此序號登記在序號資料庫30中。在一較佳實施例中，若資料庫30不存在此序號，序號檢測系統100可發出一通知訊息告知使用者，以讓使用者採取下一步動作。

綜上所述，相較於習知技術，本發明之序號檢測系統在掃描序號時無需限定指定範圍和角度。

雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。