TWI748781B

TWI748781B - 文件內容識別方法、金融服務申請審核方法與系統

Info

Publication number: TWI748781B
Application number: TW109142542A
Authority: TW
Inventors: 張育銓; 張雅筑; 陳以臻; 何信賢; 李立晟; 李杰恩
Original assignee: 玉山商業銀行股份有限公司
Priority date: 2020-12-03
Filing date: 2020-12-03
Publication date: 2021-12-01
Also published as: TW202223810A

Abstract

說明書提出一種文件內容識別方法，以及應用此文件內容識別方法的金融服務申請審核方法與系統，系統通過伺服系統接收客戶提供的文件，對文件的影像，可以第一智能模型根據定義好的多個欄位定位出文件中各欄位中物件涵蓋的第一類區域，再以第二智能模型判斷文件的文字或數字熱點區，決定涵蓋其文字或數字的多個第二類區域，之後根據鄰接的第一類區域與第二類區域的相關性決定其中辨識區域，以識別文件中的文字或數字，再根據識別結果計算財力，作為財力證明，據此審核客戶提出的一金融服務申請。

Description

文件內容識別方法、金融服務申請審核方法與系統

說明書提出一種文件識別以及申請金融服務的方法，特別是指以智能方法識別文件內容作為申請金融服務證明文件的內容識別方法、金融服務申請審核方法與系統。

習知向銀行提出各種貸款申請或***申請時，銀行會向申請人要求財力證明文件，例如存摺、扣繳憑單，以此評估申請人的財力與還款能力，據此決定一信用額度。

舉例來說，在現有技術中，當申請人需要貸款時，需要填寫各種文件，特別是提交上述證明文件，銀行人員即接著審核申請文件與證明文件，這個過程往往耗費人力與時間。

除了臨櫃申請外，現有技術也有提供申請人通過軟體介面上傳相關證明文件，但銀行端仍是人為的審核方式，效率提昇有限。

說明書公開一種文件內容識別方法、金融服務申請審核方法與系統，其中方法利用智能模型識別文件中的內容，實現自動化申請特定金融服務的目的。

根據實施例，所提出的金融服務申請審核系統包括一伺服系統，設有數據庫，其中儲存各客戶提供的文件，伺服系統運行一金融服務申請審核方法，其中採用了所述的文件內容識別方法。在此文件內容識別方法中，所提出的伺服系統通過一使用者介面接收客戶提供的文件，接著對文件的影像執行一影像辨識方法，根據定義好的多個欄位定位出文件中各欄位中物件涵蓋的多個第一類區域。另外，對文件的影像執行一內容識別方法，以得出文件中字元以及字元之間關聯性，可決定文字或數字的多個第二類區域。之後根據影像中鄰接的第一類區域與第二類區域的相關性決定多筆文字或數字資訊的多個辨識區域，同時排除不須辨識的區域，經識別各辨識區域中的文字或數字，應用在金融服務申請時，即根據此識別結果計算一財力，作為財力證明，據此審核客戶提出的一金融服務申請。

所述文件可以為用以證明客戶財力之證明文件，證明文件為具有多欄位時間與金額資訊的影像檔案。

於再一實施例中，在金融服務申請審核系統的伺服系統中運行的金融服務申請審核方法中，可應用第一智能模型中定義好的多個欄位定位出目標欄位的文字或數字，以在文件的影像中框選出當中文字或數字涵蓋的第一類區域。可應用第二智能模型判斷文件的文字或數字熱點區，能根據字元以及字元之間關聯性以在文件的影像中框選出具有文字或數字的第二類區域。如此，在所述文件內容識別方法中，即根據鄰接的第一類區域與第二類區域的相關性決定其中識別區域，而所述相關性可為相鄰第一類區域與第二類區域聯集的區域面積，或是相鄰第一類區域與第二類區域中經辨識得出的數值的格式。

在一實施例中，應用金融服務申請審核方法，金融機構可以根據客戶提出的文件中的財力資訊，能據此核發一信用額度。

為使能更進一步瞭解本發明的特徵及技術內容，請參閱以下有關本發明的詳細說明與圖式，然而所提供的圖式僅用於提供參考與說明，並非用來對本發明加以限制。

以下是通過特定的具體實施例來說明本發明的實施方式，本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用，本說明書中的各項細節也可基於不同觀點與應用，在不悖離本發明的構思下進行各種修改與變更。另外，本發明的附圖僅為簡單示意說明，並非依實際尺寸的描繪，事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容，但所公開的內容並非用以限制本發明的保護範圍。

應當可以理解的是，雖然本文中可能會使用到“第一”、“第二”、“第三”等術語來描述各種元件或者信號，但這些元件或者信號不應受這些術語的限制。這些術語主要是用以區分一元件與另一元件，或者一信號與另一信號。另外，本文中所使用的術語“或”，應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。

揭露書揭示一種文件內容識別方法、金融服務申請審核方法與系統，所提出的方法的主要目的之一是能夠以智能與自動化程序讓系統（如金融機構）快速地審核客戶提出的特定服務請求，例如金融機構提供的***申請、貸款申請服務。

圖1顯示為實現金融服務申請審核方法的系統架構實施例圖，其中金融服務申請審核方法採用揭露書提出的文件內容識別方法，其中主要是通過軟體方法實現的人工智能技術，識別出文件中的資訊，作為金融服務申請審核的用途。

圖例顯示金融服務申請審核系統設有一伺服系統11，其中以軟體手段與電腦主機等硬體搭配實現各種系統端的功能，例如執行影像模糊判斷的模糊判斷模組111、分類客戶提供財力證明的財證分類模組112、校正接收的影像使得可以執行後續辨識的影像校正模組113、以影像處理方法偵測影像中各種物件資訊的物件偵測模組114、定位其中資訊（如中文、英文等文字、數字）位置的定位修正模組115、用於辨識其中文字與數字內容的文數字辨識模組116、針對辨識得到的內容驗證其正確性的驗證修正模組117，以及對所識別得出的金額計算財力的財力計算模組118等。伺服系統11設有數據庫13，用以儲存各客戶提供的文件，如針對特定金融服務的申請文件與證明文件。

系統提供客戶使用各式客戶端裝置101, 103以網頁或特定軟體程式等起始的使用者介面產生申請文件與證明文件的電子檔案，並通過網路10上傳到伺服系統11。另外，金融從業人員更可透過金融服務裝置105，掃描相關申請文件與財力證明文件，通過網路10傳送到伺服系統11，再由上述各功能模組處理得出其中財力資訊。

根據一實施範例，但此範例並非用以限制所提出的發明，以上以軟體與硬體搭配實現的功能模組各有特定手段與方法，例如模糊判斷模組111可採用拉普拉斯方差；財證分類模組112可採用習知的Resnet 50模型；影像校正模組113可採用揭露書提出的文件內容識別方法中的第一智能模型（例如：CRAFT）；物件偵測模組114應用的演算法可以為文件內容識別方法中採用的第一智能模型與第二智能模型之其中之一（例如為CRAFT和Yolo其中之一）；文數字辨識模組116可採用的演算技術可以是習知的crnn+ctc、attention類模型之其中之一；財力計算模組118可運用欄位值映射、財力值邏輯運算之其中之一。

伺服系統11可實現金融機構中的伺服器，利用伺服器運行網路銀行或行動銀行提供客戶遠端以網頁或行動裝置應用程式（APP）申請特定金融服務（如***、貸款），以能自動化處理相關文件而完成申請流程。揭露書所提出文件內容識別方法適用各種文件影像，申請文件如個人身份證明文件，證明文件則可為各式財力證明文件。

圖2顯示運行於伺服系統中的金融服務申請審核方法的實施例流程圖。

當用戶於終端操作上述實施例所提到的客戶端裝置或自助式金融服務裝置提出申請某項金融服務的請求，通過網路傳送到伺服系統，即由伺服系統接收此金融服務的請求（步驟S201），這時，伺服系統即啟動一處理流程，包括傳送信息或是由軟體程式產生信息要求客戶提出相關文件，例如申請某項金融服務的申請文件以及足以證明客戶財力的證明文件，藉此讓系統可以核發一信用額度（步驟S203），此時，客戶可利用客戶端裝置以拍照、掃描或填寫申請文件與產生證明文件的影像，伺服系統即接收這些文件檔案與影像（步驟S205）。

這時，伺服系統中通過其處理器運行一軟體程序，執行文件內容識別方法（步驟S207），其中涵蓋一些影像處理演算法可參考圖3描述的實施例流程，其主要目的之一是能夠以軟體方法或採用特定智能方法辨識出文件中資訊，在申請金融服務的目的上，目的是能夠取得其中財力資訊（步驟S209），擷取其中英文數字的資訊，進一步可計算客戶財力（步驟S211），根據其中資訊審核客戶提出的金融服務申請（步驟S213）。舉例來說，從客戶提供的文件中計算出客戶財力，評估客戶還款能力，可以據此核可一信用額度。

為了實現上述技術目的，其中採用了一種文件內容識別方法，如圖3所示的實施例流程圖。

在此流程實施例中，一開始，客戶於終端產生文件影像，如掃描存摺、扣繳憑單等可證明客戶財力的證明文件，文件也可包括申請文件，一併上傳到伺服系統，經伺服器接收此文件影像後（步驟S301），可以通過影像處理演算法進行前處理程序，如清晰度識別以排除無法處理的影像，還可分類各式文件（步驟S303），並執行影像校正（步驟S305）。

舉例來說，在影像處理的前處理的程序中，可利用影像處理的技術判斷影像是否合格（是否模糊、歪斜），其中之一方式是根據整張影像的畫素值（灰階值、亮度值等）判斷是否有明確邊界（一般文件的英文數字應有明顯邊界），若畫素值過於均勻，判斷為模糊，即提出重新上傳的信息。若確認文件影像品質合格，需要時，還可執行步驟S305的影像校正流程，包括歪斜校正、梯形校正、色溫校正等。

接著，在步驟S307中，對文件的影像執行一影像辨識方法，能根據定義好的多個欄位定位出證明文件中各欄位中物件涵蓋的多個第一類區域，其中框選其中物件的圖例可參考圖4所示範例。根據一實施例，文件如財力的證明文件，所述方法將以智能技術定位證明文件中欄位，所述欄位如存摺中的日期、摘要、餘額等，這些是已知定義好的欄位。舉例來說，實施例之一採用了第一智能模型，當以機器學習演算法完成訓練第一智能模型後，可套用在接收到的文件影像上，以在文件的影像中框選出當中文字或數字涵蓋的第一類區域。

在步驟S309中，對所接收到的文件的影像執行一內容識別方法，根據識別當中的字元以及其相關的欄位資訊得出文件中字元以及字元之間關聯性，可以決定文字或數字的多個第二類區域。舉例來說，實施例之一採用第二智能模型，可用以判斷文件的文字或數字熱點區，再根據字元以及字元之間關聯性以在文件的影像中框選出具有文字或數字的第二類區域。

之後，綜合上述第一、第二智能模型即可得出適當的辨識區域，所述方法將根據文件影像中鄰接的第一類區域與第二類區域之間的相關性決定其中多筆文字或數字資訊的多個辨識區域，同時排除不須辨識的區域（步驟S311），其目的主要是識別文件中多個辨識區域中的文字或數字。可參考圖6A所示範例，所述鄰接的第一類區域與第二類區域的相關性可為相鄰第一類區域與第二類區域聯集的區域面積。

接著，還在另一實施例中，可以執行一些方便後續軟體程序的步驟，如將辨識區域裁切成為獨立的影像，得出有需要辨識的相關區域影像（步驟S313），以利以影像處理技術辨識其中內容（步驟S315）。在一實施例中，為了確保自動辨識出來的資訊是可用的，還可驗證內容，其中概念是依照相關格式與邏輯的規則可驗證辨識的文字或數字（步驟S317），才確認內容（步驟S319），以執行後續應用，例如由一金融機構根據客戶提出的申請金融服務的請求，從其中文件中的財力資訊核發一信用額度。

在此一提的是，在驗證所辨識得出的內容時，可以套用邏輯判斷結果是否合理（rule base），例如所識別出存摺中的金額應有特定格式與位數，相關證號也應具備特定格式。更者，由於文件（如財力證明文件）可用以證明該客戶的財力，其中特別是具有多欄位的資訊，資訊之間的關係應有一定合理性，其中時間與金額資訊彼此也應具備合理的關聯，這些就形成一種驗證內容的規則。如此可以驗證內容是否符合定義，若不合理，即退件或換成人工處理。

以上運用了智能模型能有效率地取得文件中的資訊，包括文字、數字與符號等，然而，經過持續不斷地修正，所述智能模型還可增加準確度，優化模型，以利系統運作。在此可採用的機器學習演算法介紹如下。

根據上述第一智能模型的實施例，所採用的第一智能模型演算法實現一種即時物件偵測技術，將輸入影像分割為多個區域（網格），對每個區域進行物件定位與分類，並演算出當中物件的邊界框及其對應的機率，也就是先通過辨識每個區域的影像中具有特定物件的類別並計算具有特定物件的機率，以此預測是否有預設的物件。根據揭露書提出的文件內容識別方法的實施例，第一智能模型用以根據當中物件類別與機率得出文件中的各種欄位中各物件的位置，此例顯示為文字或數字的位置，以在文件的影像上框選出判斷為有意義文字或數字涵蓋的第一類區域，而其中每個文字或數字框都有區域邊界。如此，以客戶財力的存摺或扣繳憑單等文件為例，利用將大量存摺或扣繳憑單影像輸入以機器學習演算法訓練得出的第一智能模型，得出各種文件所記載的各欄位資訊，如日期與時間欄位、摘要欄位、提款與存款欄位，以及結餘欄位，使得系統可以得出文件影像中的文字或數字的位置（第一類區域）。

在第二智能模型的實施例中，採用第二智能模型演算法實現的物件辨識技術，為考量了各種形式的文件中的文字可能為不規則的形狀，不容易用傳統影像文字識別的方法取得值得信任的資訊，於是採用了可以取得字元與字元間關聯以識別內容的機器學習法，學習文件中字元，以及預測字元之間的關聯性，以判斷出是否為同一文字或數字，通過反覆大量數據訓練優化模型，得出辨識文字或數字的第二智能模型。此例中，通過第二智能模型演算法可以產出兩張熱點圖，第一張熱點圖為每個字符中心點機率，第二張熱點圖為相連字符之間空間的中心點的機率。透過此兩張熱點圖來取得字詞邊框，判斷出具有文字或數字的第二類區域，而不是直接辨識內容本身，因此可以針對影像中不規則形狀的文字或數字區域進行判斷。

經過以上智能模型得出文件中有意義的區域，以存摺為例，相關欄位如時間（日期）、摘要、金額等，所述有意義的區域記載的內容為可得出用戶財力資訊，例如薪資（如平均月薪資）與存款餘額等資訊的相關內容。之後可以經過文字或數字辨識技術得出實際的內容。

圖4顯示執行文件內容識別方法的範例示意圖，此例顯示為客戶可以提出的財力證明文件之一，即存摺內頁，圖中顯示存摺內頁的範例圖式，其中涵蓋多種中英文欄位資訊，經套用上述智能模型後，可以辨識出其中多個辨識區域（401～411）。

根據此圖例，日期（401）與DATE（402）表示一筆交易的時間（403），內容如：「1050129」、「1050202」等；摘要（404）與MEMO（405）顯示此筆交易的動作與相關交易碼，如：「跨行提款」、「跨行轉入」；提款（406）與WITHDRAWAL（407）顯示交易中的提款金額，如：「$20,005.00」；存款（408）與DEPOSIT（409）欄位顯示存款金額，如：「$18,000.00」；最後顯示有結餘（410）以及BALANCE（411），此例顯示幾筆交易後的餘額，如：「$132,747.0」、「$150,747.0」等。

值得一提的是，如圖示的範例，存摺中雖設計有明確的欄位，但其中記錄往往因為列印定位的問題會有偏移，也可能因為同時有其他資訊在當中顯得一般文字辨識技術（如Optical Character Recognition，OCR）無法準確辨識當中資訊，特別是用於辨識需要更為嚴格辨識技術的財力證明文件。

根據此圖例，顯示出原本存摺中沒有的方框，這是揭露書所提出的文件內容識別方法中採用了智能模型，根據上述實施例的描述，例如可應用上述實施例所描述的第一智能模型演算法（並非用於限制所述方法）訓練得出的第一智能模型，以能根據存摺中定義好的多個欄位定位出各欄位的文字或數字，並可以方框框選出所辨識得出的辨識區域，如此例框選出當中文字或數字涵蓋的第一類區域。

更者，例如還可應用上述實施例所描述第二智能模型演算法（並非用於限制所述方法）訓練得出的第二智能模型判斷存摺的文字或數字熱點區，接著可以邏輯判斷字元的意思與字元之間的關係，使得智能模型可以從存摺中證明文件的影像中框選出具有文字或數字的第二類區域。

針對鄰接不同類的區域之間面積相關性的實施例，可參考圖6A，其中顯示鄰接兩個通過第一、第二智能模型框選的區域，此例顯示被框選的的辨識區域一601與辨識區域二603，最終會以兩個辨識區域的聯集做為辨識區域。圖6B顯示鄰接兩個通過不同智能模型框選的辨識區域三605與辨識區域四607，但這兩個鄰接區域重疊的面積較小。

由於不同智能模型的演算與學習過程不同，針對相同資訊來看可能有所不同的學習，如此，在揭露書提出的文件內容識別方法還整合了第一、第二（或更多）智能模型得出的結果，根據鄰接的第一類區域與第二類區域的相關性決定所要的辨識區域，例如第一類區域框出該類別所涵蓋的最大範圍，當第一類區域與第二類區域重疊的面積大（如大於系統提出的一門檻）時，表示為有意義的資訊；反之，若重疊的區域小（如低於系統提出的門檻），表示這個區域並非具有有意義內容，即可拋棄。

更者，經過不同智能模型所框選的鄰接區域，如圖6C，若第二類區域之辨識區域五609與辨識區域六611包含於第一類區域之辨識區域七613之中，則將第二類區域之辨識區域五609與辨識區域六611合併為一辨識區域。

之後，當得出存摺等證明文件中的辨識區域後，可以對影像進行裁切，實施例如圖5A、5B所示執行文件內容識別方法的範例示意圖。

圖5A示意將存摺中的時間（日期）欄位的資訊裁切出來，圖5B則示意顯示裁切出每次交易餘額的資訊，餘額配合日期，可以讓系統判斷出客戶的財力資訊。

根據所述文件內容識別方法實施例，執行文字辨識時，即引入一個以上的辨識方法（模型），可進行雙重確認來排除錯誤，也因為不同機器學習演算法對物件辨識、影像定位的差異，若兩個辨識結果一致，即為最終辨識結果。

綜上所述，根據以上實施例所描述的文件內容識別方法以及所應用的金融服務申請審核方法，當接收到客戶端上傳的文件影像檔後，可以利用智能模型快速辨識出證明文件中多個辨識區域中的文字或數字，經得出財力資訊後，例如計算出存摺結餘、扣繳憑單中的年收入或其他證明文件的財力數據，使得銀行等相關機構能快速處理客戶貸款、***等申請需求。

以上所公開的內容僅為本發明的優選可行實施例，並非因此侷限本發明的申請專利範圍，所以凡是運用本發明說明書及圖式內容所做的等效技術變化，均包含於本發明的申請專利範圍內。

11:伺服系統 13:數據庫 10:網路 101, 103:客戶端裝置 105:自助式金融服務裝置 111:模糊判斷模組 112:財證分類模組 113:影像校正模組 114:物件偵測模組 115:定位修正模組 116:文數字辨識模組 117:驗證修正模組 118:財力計算模組 401~411:辨識區域 601:辨識區域一 603:辨識區域二 605:辨識區域三 607:辨識區域四 609:辨識區域五 611:辨識區域六 613:辨識區域七步驟S201～S213:文件內容識別流程步驟S301～S319:金融服務申請審核流程

圖1顯示為實現金融服務申請審核方法的系統架構實施例圖；

圖2顯示為金融服務申請審核方法的實施例流程圖；

圖3顯示文件內容識別方法的實施例流程圖；

圖4顯示執行文件內容識別方法的範例示意圖之一；

圖5A、5B顯示執行文件內容識別方法的範例示意圖之二；以及

圖6A、6B與6C顯示執行文件內容識別方法中確認辨識區域的範例示意圖。

S301:接收文件影像

S303:前處理程序(清晰度、分類)

S305:影像校正

S307:定位文件中欄位(第一智能模型)

S309:定位文件中文數字熱點(第一智能模型)

S311:決定文件中辨識區域

S313:裁切辨識區域

S315:辨識內容

S317:驗證內容

S319:確認內容

Claims

一種文件內容識別方法，包括：通過一客戶端裝置的一使用者介面接收一客戶提供的一文件，並通過網路上傳到一伺服系統，該文件為特定金融服務的一申請文件與一證明文件；該伺服系統對該文件的影像執行一影像辨識方法，根據定義好的多個欄位定位出該文件中各欄位中物件涵蓋的多個第一類區域；該伺服系統對該文件的影像執行一內容識別方法，得出該文件中字元以及字元之間關聯性，以決定文字或數字的多個第二類區域；該伺服系統根據鄰接的該第一類區域與該第二類區域的相關性決定多筆文字或數字資訊的多個辨識區域，同時排除不須辨識的區域；以及該伺服系統識別該文件中該多個辨識區域中的文字或數字；其中鄰接的該第一類區域與該第二類區域的相關性為該伺服系統辨識相鄰該第一類區域與該第二類區域聯集的面積，或是相鄰該第一類區域與該第二類區域中經辨識得出的數值的格式。
如請求項1所述的文件內容識別方法，其中該伺服系統於接收該文件的影像後，執行一影像確認與校正步驟，以利後續辨識流程。
如請求項1所述的文件內容識別方法，其中該伺服系統應用一第一智能模型根據定義好的多個欄位定位出各欄位的文字或數字，以在該文件的影像中框選出當中文字或數字涵蓋的該第一類區域。
如請求項3所述的文件內容識別方法，其中該伺服系統應用一第二智能模型判斷該文件的文字或數字熱點區，根據字元以及字元之間關聯性以在該文件的影像中框選出具有文字或數字的該第二類區域。
一種應用如請求項1至4中任一項所述的文件內容識別方法的金融服務申請審核方法，其中，於該伺服系統識別該文件中該多個辨識區域中的文字或數字後，得出一財力資訊，據此審核該客戶提出的一金融服務申請。
如請求項5所述的金融服務申請審核方法，其中由一金融機構根據該客戶提出的該文件中的該財力資訊核發一信用額度。
一種金融服務申請審核系統，包括：一伺服系統，設有一數據庫，該數據庫儲存各客戶提供的一申請文件與一證明文件；其中該伺服系統運行一金融服務申請審核方法，包括：通過一客戶端裝置的一使用者介面接收該客戶提供的該申請文件與該證明文件；該伺服系統對該證明文件的影像執行一影像辨識方法，根據定義好的多個欄位定位出該證明文件中各欄位中物件涵蓋的多個第一類區域；該伺服系統對該證明文件的影像執行一內容識別方法，得出該證明文件中字元以及字元之間關聯性，以決定文字或數字的多個第二類區域；該伺服系統根據鄰接的該第一類區域與該第二類區域的相關性決定多筆文字或數字資訊的多個辨識區域，同時排除不須辨識的區域；該伺服系統識別該證明文件中該多個辨識區域中的文字或數字；以及該伺服系統根據識別結果得出一財力資訊，據此審核該客戶提出的一金融服務申請；其中所述鄰接的該第一類區域與該第二類區域的相關性為相鄰該第一類區域與該第二類區域聯集的面積，或是相鄰該第一類區域與該第二類區域中經辨識得出的數值的格式。
如請求項7所述的金融服務申請審核系統，其中該證明文件為用以證明該客戶財力之證明文件，該證明文件為具有多欄位時間與金額資訊的影像檔案。
如請求項7或8所述的金融服務申請審核系統，其中，於該伺服系統中運行的該金融服務申請審核方法中，應用一第一智能模型根據定義好的多個欄位定位出各欄位的文字或數字，以在該證明文件的影像中框選出當中文字或數字涵蓋的該第一類區域；應用一第二智能模型判斷該證明文件的文字或數字熱點區，根據字元以及字元之間關聯性以在該證明文件的影像中框選出具有文件或數字的該第二類區域。