CN113822269B - 一种基于图像识别纸质存单自动录入方法 - Google Patents

一种基于图像识别纸质存单自动录入方法 Download PDF

Info

Publication number
CN113822269B
CN113822269B CN202111390231.4A CN202111390231A CN113822269B CN 113822269 B CN113822269 B CN 113822269B CN 202111390231 A CN202111390231 A CN 202111390231A CN 113822269 B CN113822269 B CN 113822269B
Authority
CN
China
Prior art keywords
deposit receipt
image
receipt image
deposit
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111390231.4A
Other languages
English (en)
Other versions
CN113822269A (zh
Inventor
张福佳
方汉林
包恩伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Baorong Technology Co ltd
Original Assignee
Zhejiang Baorong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Baorong Technology Co ltd filed Critical Zhejiang Baorong Technology Co ltd
Priority to CN202111390231.4A priority Critical patent/CN113822269B/zh
Publication of CN113822269A publication Critical patent/CN113822269A/zh
Application granted granted Critical
Publication of CN113822269B publication Critical patent/CN113822269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Character Input (AREA)

Abstract

本发明公开了一种基于图像识别纸质存单自动录入方法。本发明包括采集模块、存储模块、存单图像识别模型、再矫正模块。***服务器部署有任务触发程序，当服务器的存储模块接收到采集模块扫描得到的新存单图像时，任务触发程序首先将新的存单图像传送到存单图像识别模型，通过存单图像识别模型获取识别结果，并将识别结果填写到业务***或者表格中对应位置。本发明主要解决企业日常管理定期存单痛点，通过运用人工智能算法，同时通过模型训练的方式，实现图片自动识别，信息自动录入到业务***，同时可以实现纸质存单的电子化存储。从而极大的提高客户工作效率。

Description

一种基于图像识别纸质存单自动录入方法
技术领域
本发明具体涉及一种基于图像识别纸质存单自动录入方法。具体是一种用于企业纸质定期银行存单自动扫描识别后自动录入的技术。
背景技术
在企业日常经营过程中，企业存量资金存入银行定期理财产品，银行出具纸质定期存单，企业需要根据存单信息手工录入台账信息，录入信息包含账号、户名、金额、利率、期限等。
手工录入台账信息存在以下不足之处，包括。
①工作效率低，如果遇到大批量存单需要逐个手动录入，耗时久。
②在大量存单情况下，手工录入台账信息不仅慢，且容易出错，也不能实现电子化存储。
发明内容
本发明的目的是提供一种基于图像识别纸质存单自动录入方法，实现企业纸质存单的智能识别录入。
本发明解决其技术问题所采用的技术方案如下。
步骤1、图像采集，采集纸质存单图像。
步骤2、开通文件共享存储服务，并将存储的所有存单图像分为训练集和测试集。
步骤3、构建存单图像识别模型。
步骤4：用训练集中的存单图像对存单图像识别模型进行训练。
步骤5：用测试集中的存单图像对存单图像识别模型进行测试。对其中识别有问题的存单图像，进行人工标记和人工矫正；然后对该存单图像进行重新识别核对。
进一步的，步骤1所述的图像采集，具体实现：在企业部署一台高清扫描仪，支持最大A4纸扫描，扫描仪与用户电脑服务连接，用户扫描后能够通过用户电脑查看扫描后的文件。
进一步的，步骤3所述的存单图像识别模型包括图像处理模块、图像校正模块和有效信息提取模块，具体实现如下。
图像处理模块：首先对输入的存单图像进行特征信息提取，所提取的特征信息主要是色值；根据存单图像提取的所有色值生成波形图；然后根据指定阈值提取波形图中所需波形，并将提取的波形生成新的图像，生成的新图像为黑白图像。
图像校正模块：对新图像采用中值滤波进行降噪，去除图像中干扰噪点；扫描新图像的轮廓；获取轮廓最小的外接矩形，从而得到该外接矩形的中心点坐标、长宽以及相对于水平线的倾斜角；然后通过中心点坐标、长宽以及倾斜角结合三角函数对外接矩形进行水平校正。
有效信息提取模块：对后校正的存单图像进行有效区域划分，具体实现如下：以校正后存单图像中最小外接矩形为参照物，计算输入的存单图像中每个有效信息所在矩形区域的位置和大小，然后裁剪出有效信息所在矩形区域；通过tesseract引擎进行文本匹配，获取矩形区域对应的文字数据。
进一步的，所述的校正具体实现如下。
设最小外接矩形中心点的直角高为p，直角底为o，与水平线的倾斜角为a，则存单中心与外接矩形中心的坐标轴宽度差值w = p * cos a + o * sin a ，高度差值 h = p * sin a - o * cos a ，得到存单中心点坐标后，以该中心点为校正中心点，倾斜角a为校正幅度，将输入存单图像校正得到水平方向的存单图像及存单边界区域。
进一步的，步骤5所述的矫正实现如下。
根据业务***与存单图像中对应数据存在超范围偏差或错误，根据实际情况对存单图像中文字框的坐标进行矫正；然后对该存单图像进行重新识别核对。
本发明有益效果如下。
本发明为企业提供一款智能识别产品，采用pytorch算法库，通过样本采样、算法训练使得本产品具备符合本企业特别需求的图像识别能力，能够精准识别银行定期存单信息。用户拿到纸质回单后能够通过扫描仪自动扫描生成图片，***自动调研OCR程序识别存单信息自动填充到业务***，实现纸质存单的自动录入技术，全程无人工。
本发明主要解决企业日常管理定期存单痛点，通过运用人工智能算法，同时通过模型训练的方式，实现图片自动识别，信息自动录入到业务***，同时可以实现纸质存单的电子化存储。从而极大的提高客户工作效率。
具体实施方式
下面结合实施例对本发明作进一步说明。
步骤1：在企业部署一台高清扫描仪，支持最大A4纸扫描，扫描仪与用户电脑服务连接，用户扫描后能够通过用户电脑查看扫描后的文件。
步骤2：开通文件共享存储服务，用户扫描后的文件存储在服务器的集中存储空间，将集中存储空间存储的所有存单图像分为训练集和测试集。
步骤3：构建存单图像识别模型，包括图像处理模块、图像矫正模块和有效信息提取模块。具体每个模块实现如下。
图像处理模块：首先对输入的存单图像进行特征信息提取，所提取的特征信息主要是色值；根据存单图像提取的所有色值生成波形图；然后根据指定阈值提取波形图中所需波形，并将提取的波形生成新的图像，生成的新图像为黑白图像。
例如存单图像为农业银行存单，则具体操作如下：对农业银行存单图像进行特征提取，通过波形图提取农业银行在存单上的独有的图形标记；所述的不同银行其存单图像上的独有标记不同，通过每个银行的指定阈值提取的波形图来确定独有的图形标记。
图像校正模块：对新图像采用中值滤波进行降噪，去除图像中干扰噪点；扫描新图像的轮廓（即黑白交界区域的边沿）；获取轮廓最小的外接矩形，从而得到该外接矩形的中心点坐标、长宽以及相对于水平线的倾斜角；然后通过中心点坐标、长宽以及倾斜角结合三角函数对外接矩形进行水平校正。
具体校正实现如下：设最小外接矩形中心点的直角高为p，直角底为o，与水平线的倾斜角为a，则存单中心与外接矩形中心的坐标轴宽度差值w = p * cos a + o * sin a 、高度差值 h = p * sin a - o * cos a ，得到存单中心点坐标后，以该中心点为校正中心点，倾斜角a为校正幅度，将输入存单图像校正得到水平方向的存单图像及存单边界区域。
有效信息提取模块：对校正后的存单图像进行有效区域划分，具体实现如下：以校正后存单图像中最小外接矩形为参照物，计算输入的存单图像中每个有效信息所在矩形区域的位置和大小，然后裁剪出有效信息所在矩形区域；通过tesseract引擎进行文本匹配，获取矩形区域对应的文字数据。
所述的tesseract引擎进行文本匹配能够通过规格化样本训练提高识别成功率。
步骤4：用训练集中的存单图像对存单图像识别模型进行训练。
步骤5：用测试集中的存单图像对存单图像识别模型进行测试；查看测试结果，对其中识别有问题的存单图像，进行人工标记，然后对模型进行矫正。
具体矫正如下：根据业务***与存单图像中对应数据存在偏差或错误的，根据实际情况对存单图像中文字框的坐标进行矫正。然后对该存单图像进行重新识别核对。
步骤5：服务器的部署任务触发事件，当服务器的集中存储空间接收到扫描的新的存单图像时，任务触发事件首先将新的存单图像传送到存单图像识别模型，通过存单图像识别模型获取识别结果，并将识别结果填写到业务***或者表格中对应位置。
同时开通任务触发程序与OCR识别服务网络，保证正常信息通讯。
步骤6：部署自动录入程序，自动录入程序能够访问业务***，同时开通与任务触发程序网络，自动录入程序能够自动录入存单图像识别模型获取的定期存单信息，包括账户、户名、金额、期限、利息、摘要，实现信息全自动录入。
本发明还提供一种基于图像识别纸质存单自动录入***，包括采集模块、存储模块、存单图像识别模型、再矫正模块。***服务器部署有任务触发程序，当服务器的存储模块接收到采集模块扫描得到的新存单图像时，任务触发程序首先将新的存单图像传送到存单图像识别模型，通过存单图像识别模型获取识别结果，并将识别结果填写到业务***或者表格中对应位置。
所述的采集模块用于采集纸质存单的扫描图像；在企业部署一台高清扫描仪，支持最大A4纸扫描，扫描仪与用户电脑服务连接，用户扫描后能够通过用户电脑查看扫描后的纸质存单文件。
所述的存储模块用于存储用户扫描后的纸质存单文件；开通文件共享存储服务，用户扫描后的文件存储在服务器的集中存储空间，将集中存储空间存储的所有存单图像划分为训练集和测试集。
所述的存单图像识别模型包括图像处理单元、图像矫正单元和有效信息提取单元，具体每个单元实现如下。
图像处理单元：首先对输入的存单图像通过现有方法进行特征信息提取，所提取的特征信息主要是色值；根据存单图像提取的所有色值生成对应存单图像的波形图；然后根据指定阈值提取波形图中所需波形，并将提取的波形生成新的标记图像，生成的新标记图像为黑白图像。
例如存单图像为农业银行存单，则具体操作如下：对农业银行存单图像进行特征提取，通过波形图提取农业银行在存单上的独有的图形标记；所述的不同银行其存单图像上的独有标记不同，通过每个银行的指定阈值提取的波形图来确定独有的图形标记。
图像校正单元：对标记图像采用中值滤波进行降噪，去除标记图像中干扰噪点；扫描标记图像的轮廓（即黑白交界区域的边沿）；获取轮廓最小的外接矩形，从而得到该外接矩形的中心点坐标、长宽以及相对于水平线的倾斜角；然后通过中心点坐标、长宽以及倾斜角结合三角函数对外接矩形进行水平校正。
具体校正实现如下：设最小外接矩形中心点的直角高为p，直角底为o，与水平线的倾斜角为a，则存单中心与外接矩形中心的坐标轴宽度差值w = p * cos a + o * sin a 、高度差值 h = p * sin a - o * cos a ，得到存单中心点坐标后，以该中心点为校正中心点，倾斜角a为校正幅度，将输入存单图像校正得到水平方向的存单图像及存单边界区域。
有效信息提取单元：对校正后的存单图像进行有效区域划分，具体实现如下：以校正后存单图像中最小外接矩形为参照物，计算输入的存单图像中每个有效信息所在矩形区域的位置和大小，然后裁剪出有效信息所在矩形区域；通过tesseract引擎进行文本匹配，获取矩形区域对应的文字数据。
再矫正模块用于矫正识别有问题的存单图像；若用测试集中的存单图像对存单图像识别模型进行测试；查看测试结果，测试结果中识别明显有问题的存单图像，进行人工标记，然后对模型进行再次矫正。
具体矫正如下：根据业务***与存单图像中对应数据存在偏差大或错误的，则根据实际情况对存单图像中文字框的坐标进行矫正。然后对该存单图像进行重新识别核对。
本***部署自动录入程序，自动录入程序能够访问业务***，同时开通任务触发程序，自动录入程序能够自动录入存单图像识别模型获取的定期存单信息，包括账户、户名、金额、期限、利息、摘要，实现信息全自动录入。

Claims (6)

1.一种基于图像识别纸质存单自动录入方法，其特征在于包括如下步骤：
步骤1、图像采集，采集纸质存单图像；
步骤2、开通文件共享存储服务，并将存储的所有存单图像分为训练集和测试集；
步骤3、构建存单图像识别模型；
步骤4：用训练集中的存单图像对存单图像识别模型进行训练；
步骤5：用测试集中的存单图像对存单图像识别模型进行测试；对其中识别有问题的存单图像，进行人工标记和人工矫正；然后对该存单图像进行重新识别核对；
步骤3所述的存单图像识别模型包括图像处理模块、图像矫正模块和有效信息提取模块，具体实现如下：
图像处理模块：首先对输入的存单图像进行特征信息提取，所提取的特征信息是色值；根据存单图像提取的所有色值生成波形图；然后根据指定阈值提取波形图中所需波形，并将提取的波形生成新的图像，生成的新图像为黑白图像；
图像校正模块：对新图像采用中值滤波进行降噪，去除图像中干扰噪点；扫描新图像的轮廓；获取轮廓最小的外接矩形，从而得到该外接矩形的中心点坐标、长宽以及相对于水平线的倾斜角；然后通过中心点坐标、长宽以及倾斜角结合三角函数对外接矩形进行水平校正；
有效信息提取模块：对校正后的存单图像进行有效区域划分，具体实现如下：以校正后存单图像中最小外接矩形为参照物，计算输入的存单图像中每个有效信息所在矩形区域的位置和大小，然后裁剪出有效信息所在矩形区域；通过tesseract引擎进行文本匹配，获取矩形区域对应的文字数据；
所述的根据指定阈值提取的波形图是存单图像中的确定独有的图形标记。
2.根据权利要求1所述的一种基于图像识别纸质存单自动录入方法，其特征在于步骤1所述的图像采集，具体实现：在企业部署一台高清扫描仪，支持最大A4纸扫描，扫描仪与用户电脑服务连接，用户扫描后能够通过用户电脑查看扫描后的文件。
3.根据权利要求2所述的一种基于图像识别纸质存单自动录入方法，其特征在于所述的校正具体实现如下：
设最小外接矩形中心点的直角高为p，直角底为o，与水平线的倾斜角为a，则存单中心与外接矩形中心的坐标轴宽度差值w＝p*cos a+o*sin a，高度差值h＝p*sin a-o*cos a，得到存单中心点坐标后，以该中心点为校正中心点，倾斜角a为校正幅度，将输入存单图像校正得到水平方向的存单图像及存单边界区域。
4.根据权利要求2或3所述的一种基于图像识别纸质存单自动录入方法，其特征在于步骤5所述的矫正实现如下：
根据业务***与存单图像中对应数据存在超范围偏差或错误，根据实际情况对存单图像中文字框的坐标进行矫正；然后对该存单图像进行重新识别核对。
5.根据权利要求4所述的一种基于图像识别纸质存单自动录入方法，其特征在于实现该方法的***，包括采集模块、存储模块、存单图像识别模型、再矫正模块；在***服务器部署任务触发程序，当服务器的存储模块接收到采集模块扫描得到的新存单图像时，任务触发程序首先将新的存单图像传送到存单图像识别模型，通过存单图像识别模型获取识别结果，并将识别结果填写到业务***或者表格中对应位置；若存在错误则通过再矫正模块进行结果矫正。
6.根据权利要求5所述的一种基于图像识别纸质存单自动录入方法，其特征在于：
所述的采集模块用于采集纸质存单的扫描图像；在企业部署一台高清扫描仪，支持最大A4纸扫描，扫描仪与用户电脑服务连接，用户扫描后能够通过用户电脑查看扫描后的纸质存单文件；
所述的存储模块用于存储用户扫描后的纸质存单文件；开通文件共享存储服务，用户扫描后的文件存储在服务器的集中存储空间，将集中存储空间存储的所有存单图像划分为训练集和测试集；
所述的存单图像识别模型包括图像处理单元、图像矫正单元和有效信息提取单元，具体每个单元实现如下：
图像处理单元：首先对输入的存单图像通过现有方法进行特征信息提取，所提取的特征信息是色值；根据存单图像提取的所有色值生成对应存单图像的波形图；然后根据指定阈值提取波形图中所需波形，并将提取的波形生成新的标记图像，生成的新标记图像为黑白图像；
图像校正单元：对标记图像采用中值滤波进行降噪，去除标记图像中干扰噪点；扫描标记图像的轮廓；获取轮廓最小的外接矩形，从而得到该外接矩形的中心点坐标、长宽以及相对于水平线的倾斜角；然后通过中心点坐标、长宽以及倾斜角结合三角函数对外接矩形进行水平校正；
具体校正实现如下：设最小外接矩形中心点的直角高为p，直角底为o，与水平线的倾斜角为a，则存单中心与外接矩形中心的坐标轴宽度差值w＝p*cos a+o*sin a、高度差值h＝p*sin a-o*cos a，得到存单中心点坐标后，以该中心点为校正中心点，倾斜角a为校正幅度，将输入存单图像校正得到水平方向的存单图像及存单边界区域；
有效信息提取单元：对校正后的存单图像进行有效区域划分，具体实现如下：以校正后存单图像中最小外接矩形为参照物，计算输入的存单图像中每个有效信息所在矩形区域的位置和大小，然后裁剪出有效信息所在矩形区域；通过tesseract引擎进行文本匹配，获取矩形区域对应的文字数据；
所述的再矫正模块用于矫正识别结果有问题的存单图像；用测试集中的存单图像对存单图像识别模型进行测试；查看测试结果，测试结果中识别明显有问题的存单图像，进行人工标记，然后进行人工矫正；具体矫正如下：根据业务***与存单图像中对应数据存在偏差大或错误的，则根据实际情况对存单图像中文字框的坐标进行矫正；然后对该存单图像进行重新识别核对。
CN202111390231.4A 2021-11-23 2021-11-23 一种基于图像识别纸质存单自动录入方法 Active CN113822269B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111390231.4A CN113822269B (zh) 2021-11-23 2021-11-23 一种基于图像识别纸质存单自动录入方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111390231.4A CN113822269B (zh) 2021-11-23 2021-11-23 一种基于图像识别纸质存单自动录入方法

Publications (2)

Publication Number Publication Date
CN113822269A CN113822269A (zh) 2021-12-21
CN113822269B true CN113822269B (zh) 2022-03-29

Family

ID=78919807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111390231.4A Active CN113822269B (zh) 2021-11-23 2021-11-23 一种基于图像识别纸质存单自动录入方法

Country Status (1)

Country Link
CN (1) CN113822269B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116302260B (zh) * 2023-02-27 2024-02-13 浙江同花顺智能科技有限公司 一种数字虚拟人引导用户在线进行股票开户方法和***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966537A (zh) * 2021-02-10 2021-06-15 北京邮电大学 基于二维码定位的表单识别方法及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2628266C1 (ru) * 2016-07-15 2017-08-15 Общество с ограниченной ответственностью "Аби Девелопмент" Способ и система подготовки содержащих текст изображений к оптическому распознаванию символов

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966537A (zh) * 2021-02-10 2021-06-15 北京邮电大学 基于二维码定位的表单识别方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于图像处理的化验单识别算法研究;贾子轩;《中国优秀博硕士学位论文全文数据库（硕士）医药卫生科技辑》;20210215;第9-56页 *

Also Published As

Publication number Publication date
CN113822269A (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
CN109657665B (zh) 一种基于深度学习的***批量自动识别***
US5140650A (en) Computer-implemented method for automatic extraction of data from printed forms
US6950553B1 (en) Method and system for searching form features for form identification
US7590275B2 (en) Method and system for recognizing a candidate character in a captured image
CA2589947C (en) Machine character recognition verification
CN107358232A (zh) 基于插件的***识别方法、及识别与管理***
CN112669515B (zh) 票据图像识别方法、装置、电子设备和存储介质
CN107016363A (zh) 票据图像管理装置、票据图像管理***以及方法
CN113822269B (zh) 一种基于图像识别纸质存单自动录入方法
CN110516664A (zh) 票据识别方法、装置、电子设备及存储介质
CN108364037A (zh) 识别手写汉字的方法、***及设备
CN112149401A (zh) 一种基于ocr的文档对比识别方法和***
CN109741273A (zh) 一种手机拍照低质图像的自动处理与评分方法
CN116092231A (zh) 票证识别方法、装置、终端设备以及存储介质
CN111462388A (zh) 一种票据检验方法、装置、终端设备及存储介质
US8249364B2 (en) Method for resolving contradicting output data from an optical character recognition (OCR) system, wherein the output data comprises more than one recognition alternative for an image of a character
CN114912417A (zh) 业务数据处理方法、装置、设备及存储介质
CN115082941A (zh) 表格文档影像的表格信息获取方法及装置
Kumar Garai et al. A novel method for image to text extraction using tesseract-OCR
CN110619060B (zh) 一种条烟图像数据库构建方法及条烟防伪查询方法
CN112508000A (zh) 一种用于ocr图像识别模型训练数据生成的方法及设备
CN116798061A (zh) 一种票据审核识别方法、装置、终端和存储介质
CN112348022B (zh) 一种基于深度学习的自由格式文档识别方法
CN115376139A (zh) 基于ocr高速图像识别的标签采集分析***
CN114708600A (zh) 单证审核方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant