TWI764083B - 票據辨識方法 - Google Patents

票據辨識方法

Info

Publication number
TWI764083B
TWI764083B TW109101530A TW109101530A TWI764083B TW I764083 B TWI764083 B TW I764083B TW 109101530 A TW109101530 A TW 109101530A TW 109101530 A TW109101530 A TW 109101530A TW I764083 B TWI764083 B TW I764083B
Authority
TW
Taiwan
Prior art keywords
handwriting
server
printing
confidence index
print
Prior art date
Application number
TW109101530A
Other languages
English (en)
Other versions
TW202129539A (zh
Inventor
王信富
白國良
陳俊光
曹正城
陳志弘
Original Assignee
中國信託商業銀行股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中國信託商業銀行股份有限公司 filed Critical 中國信託商業銀行股份有限公司
Priority to TW109101530A priority Critical patent/TWI764083B/zh
Publication of TW202129539A publication Critical patent/TW202129539A/zh
Application granted granted Critical
Publication of TWI764083B publication Critical patent/TWI764083B/zh

Links

Images

Landscapes

  • Character Discrimination (AREA)

Abstract

一種票據辨識方法藉由一伺服端來實施,該伺服端包含多個用於辨識出一票據影像之特徵區域及其辨識類型的特徵區域標註模型、至少一用於辨識出圖片中之手寫字的手寫辨識模型與至少一用於辨識出圖片中之印刷字的印刷字體辨識模型,當該伺服端接收一待辨識票據影像,該伺服端利用該等特徵區域標註模型獲得該待辨識票據影像中的多個手寫型特徵區域及印刷型特徵區域,且利用該至少一手寫辨識模型對每一屬於該手寫特徵區域的特徵區域獲得一手寫辨識結果,及利用該至少一印刷字體辨識模型對每一屬於該印刷特徵區域的特徵區域獲得一印刷辨識結果。

Description

票據辨識方法
本發明是有關於一種資訊處理方法,特別是指一種自動化辨識票據的方法。
現今各種金融機構的營業單位每日皆須處理處理大量行政業務,例如開啟金融帳戶、現金轉帳,支票兌現等等,而這些業務皆須透過票據進行處理,因此,如何快速處理這些票據並從中擷取所需資訊是目前業者所努力的方向。有關目前票據辨識技術,主要是以光學字元辨識(Optical Character Recognition,OCR)為主,舉例來說,當一利用光學字元辨識印刷字體的系統接收一欲辨識印刷字體之圖像時,該系統針對欲辨識之圖像進行預處理,其中該預處理包含圖像二值化、圖像降噪,及圖像歪斜校正等處理;且該系統利用字元切割及字元辨識等方法,根據該經過前處理之圖像獲得一辨識結果,並將該辨識結果轉換為文字格式。
雖然上述技術方案達到了快速辨識印刷字體的目的,然而仍未解決同時辨識印刷字體與手寫文字的困境,另一方面,目前 各種票據所具有的多個填寫區域之位置皆不盡相同,舉例來說,某家銀行的支票票據中,相關於支付人的填寫區域位於該票據中左上方的區域,相關於支付金額的填寫區域位於該票據中左下方的區域,但另一家銀行的支票票據中,相關於支付人及支付金額的填寫區域則可能位在另一票據中的右上方及右下方的區域,若欲以上述技術方案進行辨識,則須先對每一張票據分別標示欲辨識的區域,無形中耗費許多資源成本。
因此,本發明的目的,即在提供一種自動辨識票據中的填寫區域並辨識其中文字內容的方法。
於是,本發明票據辨識方法,藉由一伺服端來實施,該伺服端儲存有多個皆用於辨識出一票據影像中對應於一票據之該等填寫區域之多個特徵區域及其辨識類型的特徵區域標註模型、至少一用於辨識出圖片中之手寫字的手寫辨識模型,及至少一用於辨識出圖片中之印刷字的印刷字體辨識模型,每一辨識類型指示出所對應之特徵區域為一手寫型特徵區域及一印刷型特徵區域之其中一者,該票據辨識方法包含一步驟(E)、一步驟(A)、一步驟(B)、一步驟(C),及一步驟(D)。
該步驟(E)是當該伺服端接收一對應於一票據的待辨識票據影像時,該伺服端對該待辨識票據影像進行一預處理,以產生 一處理後的待辨識票據影像,其中該預處理包含圖像二值化、圖像降噪,及圖像歪斜校正。
該步驟(A)是當該伺服端接收一對應於一票據的待辨識票據影像時,對於每一特徵區域標註模型,該伺服端利用該特徵區域標註模型,獲得該待辨識票據影像之多個特徵區域及其辨識類型,以及對於每一辨識類型的信心指數,其中,該伺服端係利用該等特徵區域標註模型對處理後的待辨識票據影像進行處理。
該步驟(B)是)對於每一特徵區域,該伺服端根據該特徵區域經不同特徵區域標註模型所獲得之所有辨識類型及所有信心指數,區分該特徵區域為該手寫型特徵區域及該印刷型特徵區域之其中一者,其中,該手寫型特徵區域內所對應之填寫文字的類型為手寫文字,該印刷型特徵區域內所對應之填寫文字的類型為印刷字體。
該步驟(C)是對於每一屬於該手寫型特徵區域的特徵區域,該伺服端根據屬於該手寫型特徵區域的該特徵區域,利用該至少一手寫辨識模型獲得一手寫辨識結果。
該步驟(D)是對於每一屬於該印刷型特徵區域的特徵區域,該伺服端根據屬於該印刷型特徵區域的該特徵區域,利用該至少一印刷字體辨識模型獲得一印刷辨識結果。
本發明的功效在於:該伺服端藉由該等特徵區域標註模 型、該至少一手寫字辨識模型,及該至少一印刷字體辨識模型,自動化辨識出該待辨識票據影像中對應該票據之該等填寫區域的該等特徵區域,以及獲得對應每一特徵區域的該辨識結果。
1:伺服端
100:通訊網路
11:伺服端通訊模組
12:伺服端儲存模組
13:伺服端處理模組
2:管理端
21:管理端通訊模組
22:管理端儲存模組
23:管理端處理模組
301~306:步驟:分類程序
401~409:步驟:辨識程序(一)
411~417:步驟:辨識程序(二)
本發明的其他的特徵及功效,將於參照圖式的實施方式中清楚地呈現,其中:圖1是一方塊圖,說明本發明票據辨識方法的一第一實施例藉由一伺服端來實施;圖2是一流程圖,說明該第一實施例所執行的本發明票據辨識方法之一分類程序;圖3A是一流程圖,說明該第一實施例所執行的本發明票據辨識方法之一辨識程序之一部分;圖3B是一流程圖,說明該第一實施例所執行的本發明票據辨識方法之一辨識程序之另一部分;及圖4是一流程圖,說明一第二實施例所執行的本發明票據辨識方法之另一辨識程序。
在本發明被詳細描述之前,應當注意在以下的說明內容 中,類似的元件是以相同的編號來表示。
參閱圖1,本發明票據辨識方法的一第一實施例,藉由一伺服端1來實施,且該伺服端1透過一通訊網路100連接至一管理端2。
該伺服端1包含一伺服端通訊模組11、一伺服端儲存模組12,及一電連接該伺服端通訊模組11及該伺服端儲存模組12的伺服端處理模組13,該伺服端通訊模組11連接至該通訊網路100,該伺服端儲存模組12儲存有多個皆用於辨識出一票據影像中對應於一票據之該等填寫區域之多個特徵區域及其辨識類型的特徵區域標註模型、多個用於辨識出圖片中之手寫字的手寫辨識模型,及多個用於辨識出圖片中之印刷字的印刷字體辨識模型,每一辨識類型指示出所對應之特徵區域為一手寫型特徵區域及一印刷型特徵區域之其中一者,該等特徵區域標註模型包括一用以辨識出屬於該印刷型特徵區域的印刷特徵區域標註模型、一用以辨識出屬於該手寫型特徵區域的手寫特徵區域標註模型,及一用以辨識出屬於手寫型特徵區域及該印刷型特徵區域的綜合特徵區域標註模型。在本實施例中,該伺服端1的實施態樣可以為一伺服器、一雲端主機,或一個人電腦,但不以此為限。
值得一提的是,該伺服端儲存模組12還儲存有多筆區域辨識訓練資料,每一區域辨識訓練資料包括多個手寫型特徵區域及 多個印刷型特徵區域,該伺服端處理模組13根據該等區域辨識訓練資料,利用一機器學習演算法,例如類神經網路,建立該印刷特徵區域標註模型、該手寫特徵區域標註模型,及該綜合特徵區域標註模型,其中,對於每一票據影像,該印刷特徵區域標註模型被利用於獲得該票據影像中多個辨識類型屬於印刷型特徵區域的特徵區域,及分別對應每一印刷型特徵區域的信心指數,類似地,該手寫特徵區域標註模型被利用於獲得該票據影像中多個辨識類型屬於手寫型特徵區域的特徵區域,及分別對應每一手寫型特徵區域的信心指數,而該綜合特徵區域標註模型被利用於獲得該票據影像中多個辨識類型屬於印刷型特徵區域的特徵區域與多個辨識類型屬於手寫型特徵區域的特徵區域,及分別對應每一印刷型特徵區域與每一手寫型特徵區域的信心指數。
該管理端2由一對應的管理者所持有,並包含一連接至該通訊網路100的管理端通訊模組21、一管理端儲存模組22,及一電連接該管理端通訊模組21及該管理端儲存模組22的管理端處理模組23。在本實施例中,該管理端2的實施態樣可以為一個人電腦、一筆記型電腦,或一平板電腦,但不以此為限。
以下將配合所附圖式來說明利用該伺服端1所實施的本發明票據辨識方法之該第一實施例,本實施例依序包含一分類程序及一辨識程序。
參閱圖2,該分類程序說明該伺服端1如何獲得一對應於一票據之待辨識票據影像中的多個對應於該票據之多個填寫區域的特徵區域,並分別區分該等特徵區域為該手寫型特徵區域或該印刷型特徵區域之其中一者,該分類程序包含一步驟301、一步驟302、一步驟303、一步驟304、一步驟305,及一步驟306。
在該步驟301中,當該伺服端處理模組13透過該伺服端通訊模組11接收到來自該管理端2的該待辨識票據影像時,該伺服端處理模組13對該待辨識票據影像進行一預處理,以產生一處理後的待辨識票據影像,其中該預處理包含圖像二值化、圖像降噪,及圖像歪斜校正。由於本發明之技術特徵並非在於熟知此技藝者所已知的對該待辨識票據影像進行該預處理,以獲得處理後的待辨識票據影像,為了簡潔,故在此省略它們的細節。
在該步驟302中,對於每一特徵區域標註模型,該伺服端處理模組13利用該特徵區域標註模型,獲得該處理後的待辨識票據影像之多個特徵區域及其辨識類型,以及對於每一辨識類型的信心指數。
在該步驟303中,對於每一特徵區域,該伺服端處理模組13自該特徵區域所對應的所有辨識類型中,選取對應有一最大信心指數的目標辨識類型。
在該步驟304中,該伺服端處理模組13判斷是否存在多 個對應有最大信心指數的目標辨識類型,且其中一目標辨識類型指示出該手寫型特徵區域,而另一目標辨識類型指示出該印刷型特徵區域,當該伺服端處理模組13判斷不存在多個對應有最大信心指數的目標辨識類型時,進行該步驟305,當該伺服端處理模組13判斷存在多個對應有最大信心指數的目標辨識類型,且其中一目標辨識類型指示出該手寫型特徵區域,而另一目標辨識類型指示出該印刷型特徵區域時,進行該步驟306。
在該步驟305中,對於每一特徵區域,該伺服端處理模組13根據對應該特徵區域的該目標辨識類型,將該特徵區域區分為該目標辨識類型所指示出的該手寫型特徵區域及該印刷型特徵區域之其中一者。
在該步驟306中,該伺服端處理模組13係根據對應該特徵區域的所有辨識類型,計算出將該特徵區域區分為該手寫型特徵區域之次數與將該特徵區域區分為該印刷型特徵區域之次數,並根據該等次數之較大一者將該特徵區域區分為該手寫型特徵區域及該印刷型特徵區域之其中一者。
舉例來說,該伺服端處理模組13利用該手寫特徵區域標註模型、該印刷特徵區域標註模型,及該綜合特徵區域標註模型,獲得相關於一第一特徵區域的多個辨識類型及分別對應該等辨識類型的多個信心指數,其中對應該手寫特徵區域標註模型的辨識類 型為該第一特徵區域屬於該手寫型特徵區域,其信心指數為87%,對應該印刷特徵區域標註模型的辨識類型為該第一特徵區域屬於該印刷型特徵區域,其信心指數為87%,對應該印刷特徵區域標註模型的辨識類型為該第一特徵區域屬於該印刷型特徵區域,其信心指數為87%,則該伺服端處理模組13判斷存在多個對應有該最大信心指數的目標辨識類型,該伺服端處理模組13根據該等對應該第一特徵區域的辨識類型,計算出將該第一特徵區域區分為該手寫型特徵區域的次數為一次,將該第一特徵區域區分為該印刷型特徵區域的次數為兩次,並將該第一特徵區域區分為該印刷型特徵區域。
參閱圖3A及圖3B,該辨識程序說明該伺服端1如何辨識每一手寫特徵區域及每一印刷特徵區域中的辨識結果,並包含一步驟401、一步驟402、一步驟403、一步驟404、一步驟405、一步驟406、一步驟407、一步驟408、一步驟409、一步驟410、一步驟411、一步驟412、一步驟413、一步驟414、一步驟415,及一步驟416。
在該步驟401中,對於每一屬於該手寫型特徵區域的特徵區域,該伺服端處理模組13根據屬於該手寫型特徵區域的該特徵區域,分別利用一第一手寫辨識模型及一第二手寫辨識模型,獲得一第一手寫候選辨識結果與對應該第一手寫候選辨識結果之一第一手寫信心指數,及一第二手寫候選辨識結果與對應該第二手寫候 選辨識結果之一第二手寫信心指數,其中,該第一手寫辨識模型所能辨識的手寫字型較該第二手寫字體辨識模型所能辨識的手寫字型為多,同時當欲辨識之手寫字元包含部分雜訊時,例如該手寫字上覆蓋其他污痕,相較於該第二手寫辨識模型,該第一手寫辨識模型在辨識過程中也較不易受到雜訊的影響,但該第一手寫辨識模型所能辨識的字元較該第二手寫辨識模型所能辨識的字元為少。
在該步驟402中,該伺服端處理模組13判斷該第一手寫信心指數是否超過一第二閥值,當該伺服端處理模組13判斷該第一手寫信心指數超過該第二閥值時,進行該步驟403,當該伺服端處理模組13判斷該第一手寫信心指數並未超過該第二閥值時,進行該步驟404。
在該步驟403中,該伺服端處理模組13選擇該第一手寫候選辨識結果作為該手寫辨識結果。
在該步驟404中,該伺服端處理模組13根據該第一手寫信心指數及該第二手寫信心指數,判斷該第一手寫信心指數是否等於該第二手寫信心指數,當該伺服端處理模組13判斷該第一手寫信心指數不等於該第二手寫信心指數時,進行該步驟405,當該伺服端處理模組13判斷該第一手寫信心指數等於該第二手寫信心指數時,進行該步驟406。
在該步驟405中,該伺服端處理模組13選取該第一手寫 信心指數及該第二手寫信心指數中,具有較大數值者其所對應之手寫候選辨識結果作為該手寫辨識結果。
在該步驟406中,該伺服端處理模組13根據該第一手寫候選結果及該第二手寫候選結果,判斷該第一手寫候選結果是否等於該第二手寫候選結果,當該伺服端處理模組13判斷該第一手寫候選結果等於該第二手寫候選結果時,進行該步驟407,當該伺服端處理模組13判斷該第一手寫候選結果不等於該第二手寫候選結果時,進行該步驟408。
在該步驟407中,該伺服端處理模組13選擇該第一手寫候選辨識結果作為該手寫辨識結果。
在該步驟408中,該伺服端處理模組13產生一對應屬於該手寫特徵區域之特徵區域的錯誤訊息。
在該步驟409中,對於每一屬於該印刷型特徵區域的特徵區域,該伺服端處理模組13根據屬於該印刷型特徵區域的該特徵區域,分別利用一第一印刷字體辨識模型及一第二印刷字體辨識模型,獲得一第一印刷候選辨識結果與對應該第一印刷候選辨識結果之一第一印刷信心指數,及一第二印刷候選辨識結果與對應該第二印刷候選辨識結果之一第二印刷信心指數,其中,該第一印刷字體辨識模型所能辨識的印刷字型較該第二印刷字體辨識模型所能辨識的印刷字型為多,同時當欲辨識之印刷字元包含部分雜訊時,相 較於該第二印刷字體辨識模型,該第一印刷字體辨識模型在辨識過程中也較不易受到雜訊的影響,但該第一印刷字體辨識模型所能辨識的字元較該第二印刷字體辨識模型所能辨識的字元為少。
在該步驟410中,該伺服端處理模組13判斷該第一印刷信心指數是否超過一第一閥值,當該伺服端處理模組13判斷該第一印刷信心指數超過該第一閥值時,進行該步驟411,當該伺服端處理模組13判斷該第一印刷信心指數並未超過該第一閥值時,進行該步驟412。
在該步驟411中,該伺服端處理模組13選擇該第一印刷候選辨識結果作為該印刷辨識結果。
在該步驟412中,該伺服端處理模組13根據該第一印刷信心指數及該第二印刷信心指數,判斷該第一印刷信心指數是否等於該第二印刷信心指數,當該伺服端處理模組13判斷該第一印刷信心指數不等於該第二印刷信心指數時,進行該步驟413,當該伺服端處理模組13判斷該第一印刷信心指數等於該第二印刷信心指數時,進行該步驟414。
在該步驟413中,該伺服端處理模組13選取該第一印刷信心指數及該第二印刷信心指數中,具有較大數值者其所對應之印刷候選辨識結果作為該印刷辨識結果。
在該步驟414中,該伺服端處理模組13根據該第一印刷 候選結果及該第二印刷候選結果,判斷該第一印刷候選結果是否等於該第二印刷候選結果,當該伺服端處理模組13判斷該第一印刷候選結果等於該第二印刷候選結果時,進行該步驟415,當該伺服端處理模組13判斷該第一印刷候選結果不等於該第二印刷候選結果時,進行該步驟416。
在該步驟415中,該伺服端處理模組13選擇該第一印刷候選辨識結果作為該印刷辨識結果。
在該步驟416中,該伺服端處理模組13產生一對應屬於該印刷特徵區域之特徵區域的錯誤訊息。
舉例來說,對於一第一印刷特徵區域,該伺服端處理模組13利用該第一印刷字體辨識模型及該第二印刷字體辨識模型,獲得對應該第一印刷特徵區域的該第一印刷候選辨識結果、該第一印刷信心指數、該第二印刷候選辨識結果,及該第二印刷信心指數,其中,該第一印刷候選辨識結果為「壹仟貳佰萬」,該第一印刷信心指數為97%,該第二印刷候選辨識結果為「壹仟貳伯萬」,該第二印刷信心指數為98%,該第一閥值為95%,則該伺服端處理模組13根據該第一閥值及該第一印刷信心指數,判斷該第一印刷信心指數大於該第一閥值,並選取該第一印刷候選辨識結果作為該印刷辨識結果。另一方面,對於一第二印刷特徵區域,該伺服端處理模組13利用該第一印刷字體辨識模型及該第二印刷字體辨識模型,獲得 對應該第二印刷特徵區域的另一第一印刷候選辨識結果、另一第一印刷信心指數、另一第二印刷候選辨識結果,及另一第二印刷信心指數,其中,該另一第一印刷候選辨識結果為「壹仟萬元整」,該另一第一印刷信心指數為87%,該另一第二印刷候選辨識結果為「壺仟萬元整」,該另一第二印刷信心指數為87%,則該伺服端處理模組13根據該另一第一印刷信心指數、該另一第二印刷信心指數、該另一第一印刷候選辨識結果、該另一第二印刷候選辨識結果,及該第一閥值,判斷該另一第一印刷信心指數小於該第一閥值,該另一第一印刷信心指數等於該另一印刷第二信心指數,且該另一第一印刷候選辨識結果不等於該另一第二印刷候選辨識結果,該伺服端處理模組13並產生一對應該第二印刷區域的錯誤訊息並透過該伺服端通訊模組11藉由該通訊網路100傳送至該管理端2。
參閱圖4,本發明票據辨識方法的一第二實施例類似於該第一實施例,相同之處不再贅述,相異之處在於:在該第二實施例中,該伺服端儲存模組12還儲存有多筆手寫辨識訓練資料及多筆印刷辨識訓練資料,每一手寫辨識訓練資料包括該第一手寫候選辨識結果、該第一手寫信心指數、該第二手寫辨識結果、該第二手寫信心指數,及該手寫辨識結果,而該等手寫辨識訓練資料被分為一手寫訓練子集及一手寫測試子集,每一印刷辨識訓練資料包括該第一 印刷候選辨識結果、該第一印刷信心指數、該第二印刷候選辨識結果、該第二印刷信心指數,及該印刷辨識結果,其中,該等印刷辨識訓練資料被分為一印刷訓練子集及一印刷測試子集,此外,該第二實施例所實施的辨識程序亦與該第一實施例所實施的辨識程序不同,以下說明該伺服端1如何獲得每一手寫特徵區域的辨識結果,以及如何透過一用以選取該第一手寫候選辨識結果與該第二手寫候選辨識結果中其中一者作為該手寫辨識結果的選取模型,及一用以選取該第一印刷候選辨識結果與該第二印刷候選辨識結果中其中一者作為該印刷辨識結果的選取模型,分別獲得該手寫辨識結果及該印刷辨識結果,並包含一步驟421、一步驟422、一步驟423、一步驟424、一步驟425、一步驟426、一步驟427、一步驟428、一步驟429、一步驟430、一步驟431,及一步驟432。
在該步驟421中,該伺服端處理模組13根據該印刷訓練子集,利用一機器學習演算法,例如類神經網路,建立一用以選取該第一印刷候選辨識結果與該第二印刷候選辨識結果中其中一者作為該印刷辨識結果的訓練模型。
在該步驟412中,該伺服端處理模組13根據該印刷訓練子集及該印刷測試子集,判斷該訓練模型是否過度擬合或擬合不足,當該伺服端處理模組13判斷該訓練模型過度擬合或擬合不足時,進行該步驟413,當該伺服端處理模組13判斷該訓練模組並未 過度擬合與擬合不足時,進行該步驟414,其中,過度擬合是指該訓練模型對於該印刷訓練子集之預測結果的準確度大於該訓練模型對於該印刷測試子集之預測結果的準確度,且兩者差值大於一誤差閥值,擬合不足代表該訓練模型對於該印刷訓練子集之預測結果的準確度低於一準確閥值。舉例來說,當該訓練模型對於該印刷訓練子集之預測結果的準確度為87%,對於該印刷測試子集之預測結果的準確度為70%,該誤差閥值為15%,則該伺服端處理模組13根據該訓練模型對於該印刷訓練子集之預測結果的準確度87%與對於該印刷測試子集之預測結果的準確度70%,以及該誤差閥值15%,計算出87%-70%>15%並判斷該訓練模型為過度擬合,另一方面,當該訓練模型對於該印刷訓練子集之預測結果的準確度為70%,該準確閥值為75%,則該伺服端處理模組13根據該訓練模型對於該印刷訓練子集之預測結果的準確度及該準確閥值,計算出70%<75%並判斷該訓練模型為擬合不足,其中,該步驟412是為了避免該該伺服端處理模組13根據該印刷訓練子集建立該訓練模型時,該訓練模型對於特定資料過度學習,例如該印刷訓練子集,導致該訓練模型對於其他資料,例如該印刷測試子集,的辨識結果準確度明顯低於對於該特定資料的辨識結果準確度。
在該步驟423中,該伺服端處理模組13根據一來自該管理端2的調整請求調整該訓練模型,例如調整該類神經網路中的一 超參數組,並重新進行該步驟421。
在該步驟424中,該伺服端處理模組13確定該訓練模型為該用以選取該第一印刷候選辨識結果與該第二印刷候選辨識結果中其中一者作為該印刷辨識結果的印刷選取模型。
在該步驟425中,該伺服端處理模組13根據該手寫訓練子集,利用一機器學習演算法,例如類神經網路,建立一用以選取該第一手寫候選辨識結果與該第二手寫候選辨識結果中其中一者作為該手寫辨識結果的訓練模型。
在該步驟426中,該伺服端處理模組13根據該手寫訓練子集及該手寫測試子集,判斷該訓練模型是否過度擬合或擬合不足,當該伺服端處理模組13判斷該訓練模型過度擬合或擬合不足時,進行該步驟427,當該伺服端處理模組13判斷該訓練模組並未過度擬合與擬合不足時,進行該步驟428。
在該步驟427中,該伺服端處理模組13根據一來自該管理端2的調整請求調整該訓練模型,例如調整該類神經網路中的一超參數組,並重新進行該步驟425。
在該步驟428中,該伺服端處理模組13確定該訓練模型為該用以選取該第一手寫候選辨識結果與該第二手寫候選辨識結果中其中一者作為該手寫辨識結果的手寫選取模型。
在該步驟429中,對於每一屬於該手寫型特徵區域的特 徵區域,該伺服端處理模組13根據屬於該手寫型特徵區域的該特徵區域,分別利用一第一手寫辨識模型及一第二手寫辨識模型,獲得一第一手寫候選辨識結果與對應該第一手寫候選辨識結果之一第一手寫信心指數,及一第二手寫候選結果與對應該第二手寫候選辨識結果之一第二手寫信心指數。
在該步驟430中,該伺服端處理模組13根據該第一手寫候選辨識結果、該第一手寫信心指數、該第二手寫候選辨識結果,及該第二手寫信心指數,利用該手寫選取模型選取該第一手寫候選辨識結果與該第二手寫候選辨識結果中其中一者作為該手寫辨識結果。
在該步驟431中,對於每一屬於該印刷型特徵區域的特徵區域,該伺服端處理模組13根據屬於該印刷型特徵區域的該特徵區域,分別利用一第一印刷字體辨識模型及一第二印刷字體辨識模型,獲得一第一印刷候選辨識結果與對應該第一印刷候選辨識結果之一第一印刷信心指數,及一第二印刷候選結果與對應該第二印刷候選辨識結果之一第二印刷信心指數。
在該步驟432中,該伺服端處理模組13根據該第一印刷候選辨識結果、該第一印刷信心指數、該第二印刷候選辨識結果,及該第二印刷信心指數,利用該印刷選取模型選取該第一印刷候選辨識結果與該第二印刷候選辨識結果中其中一者作為該印刷辨識 結果。
值得一提的是,在該第一實施例及該第二實施例中,對於每一手寫型特徵區域及每一印刷型特徵區域,該伺服端處理模組13係分別藉由該等手寫辨識模型及該等印刷字體辨識模型,獲得對應該手寫型特徵區域的該手寫辨識結果,及對應該印刷型特徵區域的該印刷辨識結果,但在其他實施例中,該伺服端處理模組13也能藉由一手寫辨識模型及一印刷字體辨識模型,獲得對應該手寫型特徵區域的手寫辨識結果,及對應該印刷型特徵區域的該印刷辨識結果。
值得一提的是,在本實施例中,該等手寫辨識模型及該等印刷字體辨識模型係採用智能字詞辨識技術(Intelligent_Word_Recognition,IWR)分別辨識該手寫型特徵區域之手寫字及該印刷型特徵區域之印刷字體,但在其他實施例中,該等手寫辨識模型及該等印刷字體辨識模型也可利用光學字元辨識技術,或該等辨識技術的結合方式進行辨識,並不以此為限。
綜上所述,本發明票據辨識方法透過該伺服端1藉由該等特徵區域標註模型獲得該等手寫型特徵區域及該等印刷型特徵區域,且對於每一手寫型特徵區域及每一印刷型特徵區域,藉由該等手寫辨識模型及該等印刷字體辨識模型,分別辨識出對應該手寫型特徵區域的手寫辨識結果,及對應該印刷型特徵區域的該印刷辨識 結果,藉此,該伺服端1達到自動辨識該待辨識票據影像中,對應該票據之多個填寫區域的特徵區域,並辨識其中的文字內容,以節省相關工作人員的工作負荷,故確實能達成本發明的目的。
惟以上所述者,僅為本發明的實施例而已,當不能以此限定本發明實施的範圍,凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾,皆仍屬本發明專利涵蓋的範圍內。
1:伺服端
100:通訊網路
11:伺服端通訊模組
12:伺服端儲存模組
13:伺服端處理模組
2:管理端
21:管理端通訊模組
22:管理端儲存模組
23:管理端處理模組

Claims (11)

  1. 一種票據辨識方法,用以辨識一對應一票據之待辨識票據影像的文字內容,該票據包含多個填寫區域,該票據辨識方法藉由一伺服端來實施,該伺服端儲存有多個皆用於辨識出一票據影像中對應於一票據之該等填寫區域之多個特徵區域及其辨識類型的特徵區域標註模型、至少一用於辨識出圖片中之手寫字的手寫辨識模型,及至少一用於辨識出圖片中之印刷字的印刷字體辨識模型,每一辨識類型指示出所對應之特徵區域為一手寫型特徵區域及一印刷型特徵區域之其中一者,該票據辨識方法包含以下步驟:(E)當該伺服端接收一對應於一票據的待辨識票據影像時,該伺服端對該待辨識票據影像進行一預處理,以產生一處理後的待辨識票據影像,其中該預處理包含圖像二值化、圖像降噪,及圖像歪斜校正;(A)當該伺服端接收一對應於一票據的待辨識票據影像時,對於每一特徵區域標註模型,該伺服端利用該特徵區域標註模型,獲得該待辨識票據影像之多個特徵區域及其辨識類型,以及對於每一辨識類型的信心指數,其中,該伺服端係利用該等特徵區域標註模型對處理後的待辨識票據影像進行處理;(B)對於每一特徵區域,該伺服端根據該特徵區域經不同特徵區域標註模型所獲得之所有辨識類型及所有信心指數,區分該特徵區域為該手寫型特徵區域及該印刷型特徵區域之其中一者,其中,該手寫型特徵區域內所對應 之填寫文字的類型為手寫文字,該印刷型特徵區域內所對應之填寫文字的類型為印刷字體;(C)對於每一屬於該手寫型特徵區域的特徵區域,該伺服端根據屬於該手寫型特徵區域的該特徵區域,利用該至少一手寫辨識模型獲得一手寫辨識結果;及(D)對於每一屬於該印刷型特徵區域的特徵區域,該伺服端根據屬於該印刷型特徵區域的該特徵區域,利用該至少一印刷字體辨識模型獲得一印刷辨識結果。
  2. 如請求項1所述的票據辨識方法,該等特徵區域標註模型包括一用以辨識出屬於該印刷型特徵區域的印刷特徵區域標註模型、一用以辨識出屬於該手寫型特徵區域的手寫特徵區域標註模型,及一用以辨識出屬於手寫型特徵區域及該印刷型特徵區域的綜合特徵區域標註模型,其中,在該步驟(B)中,對於每一特徵區域,該伺服端係自該特徵區域所對應的所有辨識類型中,選取對應有一最大信心指數的目標辨識類型,並將該特徵區域區分為該目標辨識類型所指示出的該手寫型特徵區域及該印刷型特徵區域之其中一者。
  3. 如請求項2所述的票據辨識方法,其中,在該步驟(B)中,對於每一特徵區域,當該伺服端選取出多個對應有該最大信心指數的目標辨識類型,且其中一目標辨識類型指示出該手寫型特徵區域,而另一目標辨識類型指示出該印刷型特徵區域時,該伺服端係根據對應該特徵區域的所有辨識類型,計算出將該特徵區域區分為該手寫型特徵區域之次 數與將該特徵區域區分為該印刷型特徵區域之次數,並根據該等次數之較大一者將該特徵區域區分為該手寫型特徵區域及該印刷型特徵區域之其中一者。
  4. 如請求項1所述的票據辨識方法,該至少一印刷字體辨識模型包括一第一印刷字體辨識模型及一第二印刷字體辨識模型,其中,該步驟(D)還包含以下子步驟:(D-1)對於每一屬於該印刷型特徵區域的特徵區域,該伺服端根據屬於該印刷型特徵區域的該特徵區域,分別利用該第一印刷字體辨識模型及該第二印刷字體辨識模型,獲得一第一印刷候選辨識結果與對應該第一印刷候選辨識結果之一第一印刷信心指數,及一第二印刷候選辨識結果與對應該第二印刷候選辨識結果之一第二印刷信心指數;及(D-2)該伺服端根據該第一印刷候選辨識結果、該第一印刷信心指數、該第二印刷候選辨識結果,及該第二印刷信心指數,選擇該第一印刷候選辨識結果及該第二印刷候選辨識結果之其中一者作為該印刷辨識結果。
  5. 如請求項4所述的票據辨識方法,該步驟(D-2)中還包含以下子步驟:(D-2-1)該伺服端判斷該第一印刷信心指數是否超過一第一閥值;(D-2-2)當該伺服端判斷該第一印刷信心指數超過該第一閥值時,該伺服端選擇該第一印刷候選辨識結果為該印刷辨識結果; (D-2-3)當該伺服端判斷該第一印刷信心指數未超過該第一閥值,且該第一印刷信心指數不等於該第二印刷信心指數時,該伺服端選取該第一印刷信心指數及該第二印刷信心指數中具有較大數值者其所對應之印刷候選辨識結果作為該印刷辨識結果;(D-2-4)當該伺服端判斷該第一印刷信心指數未超過該第一閥值,該第一印刷信心指數等於該第二印刷信心指數且該第一印刷候選辨識結果等於該第二印刷候選辨識結果時,該伺服端選擇該第一印刷候選辨識結果為該印刷辨識結果;及(D-2-5)當該伺服端判斷該第一印刷信心指數未超過該第一閥值而該第一印刷信心指數等於該第二印刷信心指數且該第一印刷候選辨識結果不等於該第二印刷候選辨識結果時,該伺服端產生一錯誤訊息。
  6. 如請求項4所述的票據辨識方法,該伺服端還包括一用以選取該第一印刷候選辨識結果與該第二印刷候選辨識結果中其中一者作為該印刷辨識結果的印刷選取模型,其中,在該步驟(D-2)中,該伺服端根據該第一印刷候選辨識結果、該第一印刷信心指數、該第二印刷候選辨識結果,及該第二印刷信心指數,利用該印刷選取模型選取該第一印刷候選辨識結果與該第二印刷候選辨識結果中其中一者作為該印刷辨識結果。
  7. 如請求項6所述的票據辨識方法,該伺服端還儲存有多筆 印刷辨識訓練資料,每一印刷辨識訓練資料包括該第一印刷候選辨識結果、該第一印刷信心指數、該第二印刷候選辨識結果、該第二印刷信心指數,及該印刷辨識結果,而該等印刷辨識訓練資料被分為一印刷訓練子集及一印刷測試子集,其中,在該步驟(D-2)前,還包含以下步驟:(D-3)該伺服端根據該訓練子集,利用一機器學習演算法建立一用以選取該印刷辨識結果的訓練模型;(D-4)該伺服端根據該訓練子集及該測試子集,判斷該訓練模型是否過度擬合或擬合不足;(D-5)當該伺服端判斷該訓練模型過度擬合或擬合不足時,該伺服端調整該訓練模型並重新進行該步驟(D-3);及(D-6)當該伺服端判斷該訓練模型並未過度擬合與擬合不足時,該伺服端確定該訓練模型為該印刷選取模型。
  8. 如請求項1所述的票據辨識方法,該至少一手寫辨識模型包括一第一手寫辨識模型及一第二手寫辨識模型,其中,該步驟(C)還包含以下子步驟:(C-1)對於每一屬於該手寫型特徵區域的特徵區域,該伺服端根據屬於該手寫型特徵區域的該特徵區域,分別利用該第一手寫辨識模型及該第二手寫辨識模型,獲得一第一手寫候選辨識結果與對應該第一手寫候選辨識結果之一第一手寫信心指數,及一第二手寫候選辨識結果與對應該第二手寫候選辨識結果之一第二手寫信心指數;及(C-2)該伺服端根據該第一手寫候選辨識結果、該第 一手寫信心指數、該第二手寫候選辨識結果,及該第二手寫信心指數,選擇該第一手寫候選辨識結果及該第二手寫候選辨識結果之其中一者作為該手寫辨識結果。
  9. 如請求項8所述的票據辨識方法,該步驟(C-2)中還包含以下子步驟:(C-2-1)該伺服端判斷該第一手寫信心指數是否超過一第二閥值;(C-2-2)當該伺服端判斷該第一手寫信心指數超過該第二閥值時,該伺服端選擇該第一手寫候選辨識結果為該手寫辨識結果;(C-2-3)當該伺服端判斷該第一手寫信心指數未超過該第二閥值,且該第一手寫信心指數不等於該第二手寫信心指數時,該伺服端選取該第一手寫信心指數及該第二手寫信心指數中具有較大數值者其所對應之手寫候選辨識結果作為該手寫辨識結果;(C-2-4)當該伺服端判斷該第一手寫信心指數未超過該第二閥值,該第一手寫信心指數等於該第二手寫信心指數且該第一手寫候選辨識結果等於該第二手寫候選辨識結果時,該伺服端選擇該第一手寫候選辨識結果為該手寫辨識結果;及(C-2-5)當該伺服端判斷該第一手寫信心指數未超過該第二閥值而該第一手寫信心指數等於該第二手寫信心指數且該第一手寫候選辨識結果不等於該第二手寫候選辨識結果時,該伺服端產生一錯誤訊息。
  10. 如請求項8所述的票據辨識方法,該伺服端還包括一用以選取該第一手寫候選辨識結果與該第二手寫候選辨識結果中其中一者作為該手寫辨識結果的手寫選取模型,其中,在該步驟(C-2)中,該伺服端根據該第一手寫候選辨識結果、該第一手寫信心指數、該第二手寫候選辨識結果,及該第二手寫信心指數,利用該手寫選取模型選取該第一手寫候選辨識結果與該第二手寫候選辨識結果中其中一者作為該手寫辨識結果。
  11. 如請求項10所述的票據辨識方法,該伺服端還儲存有多筆手寫辨識訓練資料,每一手寫辨識訓練資料包括該第一手寫候選辨識結果、該第一手寫信心指數、該第二手寫辨識結果、該第二手寫信心指數,及該手寫辨識結果,而該等手寫辨識訓練資料被分為一手寫訓練子集及一手寫測試子集,其中,在該步驟(C-2)前,還包含以下步驟:(C-3)該伺服端根據該手寫訓練子集,利用一機器學習演算法建立一用以選取該手寫辨識結果的訓練模型;(C-4)該伺服端根據該手寫訓練子集及該手寫測試子集,判斷該訓練模型是否過度擬合或擬合不足;(C-5)當該伺服端判斷該訓練模型過度擬合或擬合不足時,該伺服端調整該訓練模型並重新進行該步驟(C-3);及(C-6)當該伺服端判斷該訓練模型並未過度擬合與擬合不足時,該伺服端確定該訓練模型為該手寫選取模型。
TW109101530A 2020-01-16 2020-01-16 票據辨識方法 TWI764083B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW109101530A TWI764083B (zh) 2020-01-16 2020-01-16 票據辨識方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109101530A TWI764083B (zh) 2020-01-16 2020-01-16 票據辨識方法

Publications (2)

Publication Number Publication Date
TW202129539A TW202129539A (zh) 2021-08-01
TWI764083B true TWI764083B (zh) 2022-05-11

Family

ID=78282750

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109101530A TWI764083B (zh) 2020-01-16 2020-01-16 票據辨識方法

Country Status (1)

Country Link
TW (1) TWI764083B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598699A (zh) * 2019-09-16 2019-12-20 华中科技大学 一种基于多光谱图像的防伪票据鉴伪***和方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598699A (zh) * 2019-09-16 2019-12-20 华中科技大学 一种基于多光谱图像的防伪票据鉴伪***和方法

Also Published As

Publication number Publication date
TW202129539A (zh) 2021-08-01

Similar Documents

Publication Publication Date Title
CN109902622B (zh) 一种用于登机牌信息验证的文字检测识别方法
US20210124919A1 (en) System and Methods for Authentication of Documents
RU2737720C1 (ru) Извлечение полей с помощью нейронных сетей без использования шаблонов
US8693790B2 (en) Form template definition method and form template definition apparatus
WO2021042505A1 (zh) 基于文字识别技术的笔记生成方法、装置和计算机设备
CN112800848A (zh) 票据识别后信息结构化提取方法、装置和设备
Calvo-Zaragoza et al. Staff-line detection and removal using a convolutional neural network
US20200184267A1 (en) System to extract information from documents
CN112395996A (zh) 财务票据ocr识别及影像处理方法、***及可读存储介质
WO2021051553A1 (zh) 一种证件信息的分类定位方法及装置
CN113011144A (zh) 表单信息的获取方法、装置和服务器
RU2581786C1 (ru) Определение преобразований изображения для повышения качества оптического распознавания символов
CN105184329A (zh) 一种基于云平台的脱机手写识别方法
US20240221004A1 (en) Fraud detection via automated handwriting clustering
CN112464925A (zh) 基于机器学习的移动端开户资料银行信息自动提取方法
CN115862040A (zh) 文本纠错方法、装置、计算机设备及可读存储介质
CN112232336A (zh) 一种证件识别方法、装置、设备及存储介质
CN114971294A (zh) 数据采集方法、装置、设备及存储介质
Bhattacharya et al. Understanding contents of filled-in Bangla form images
CN114581928A (zh) 一种表格识别方法及***
CN104899551B (zh) 一种表单图像分类方法
CN116343237A (zh) 基于深度学习和知识图谱的票据识别方法
CN111199240A (zh) 银行卡识别模型的训练方法、银行卡识别方法以及装置
TWI764083B (zh) 票據辨識方法
CN111881880A (zh) 一种基于新型网络的票据文本识别方法