CN111242034A - 一种单据的图像处理方法、装置、处理设备及客户端 - Google Patents
一种单据的图像处理方法、装置、处理设备及客户端 Download PDFInfo
- Publication number
- CN111242034A CN111242034A CN202010035313.6A CN202010035313A CN111242034A CN 111242034 A CN111242034 A CN 111242034A CN 202010035313 A CN202010035313 A CN 202010035313A CN 111242034 A CN111242034 A CN 111242034A
- Authority
- CN
- China
- Prior art keywords
- image
- document
- video
- key
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 92
- 238000003672 processing method Methods 0.000 title abstract description 15
- 238000000034 method Methods 0.000 claims description 102
- 230000015654 memory Effects 0.000 claims description 40
- 230000004927 fusion Effects 0.000 claims description 30
- 238000004422 calculation algorithm Methods 0.000 claims description 28
- 238000007499 fusion processing Methods 0.000 claims description 11
- 238000012015 optical character recognition Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000006872 improvement Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 230000003993 interaction Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 230000004308 accommodation Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 239000007795 chemical reaction product Substances 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000005477 standard model Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/08—Insurance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/28—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
- G06V30/287—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Character Input (AREA)
- Character Discrimination (AREA)
Abstract
本说明书实施例公开了一种单据的图像处理方法、装置、处理设备及客户端。一种实施例中,可以通过引导用户对单据进行视频拍摄,从单据视频中确定包含文字的关键区域。然后可以针对所述关键区域进行图像质量的加强,将多个关键区域进行融合后,可以得到图像质量增强后的单据图像。增强后的单据图像质量更高,相应的提升单据中文字识别的准确率。
Description
技术领域
本说明书实施例方案属于计算机图像数据处理的技术领域,尤其涉及一种单据的图像处理方法、装置、处理设备及客户端。
背景技术
随着互联网技术的发展,互联网保险业务发展也越来越快。目前,许多保险公司提供了在线理赔的业务,用户通过拍摄并上传车损现场照片、身份证件等,实现快速、智能的保险理赔。有别于传统线下理赔,在线理赔无需用户前往特定地点,可节省用户的时间,提高理赔处理效率。
在线理赔过程中常常还需要提供理赔所需的各种单据,例如事故中患者医疗的***、车辆维修的***、车辆修理清单等等。现有一些在线理赔业务处理过程中,用户可以使用智能终端对单据进行拍摄,然后上传照片。保险公司业务人员收到照片后可以人工识别图片中的信息,然后填写到相应的理赔业务单的表项中,完成后续在线理赔业务的处理。
发明内容
本说明书实施例目的在于提供一种单据的图像处理方法、装置、处理设备及客户端,可以有效提高单据图像质量,提高单据上文字识别的准确率。
本说明书实施例提供的一种单据的图像处理方法、装置、处理设备及客户端是包括以下方式实现的:
一种单据的图像处理方法,所述方法包括:
获取单据视频;
从所述单据视频中选取多个关键区域图像作为候选图像,所述关键区域包括所述单据中包含中文字信息的区域;
按照预设的质量算法确定所述候选图像中所述关键区域的图像质量;
剔除所述图像质量不符合要求的候选图像,确定剩余图像集合;
融合所述剩余图像集合中的关键区域,获取增强后单据图像。
一种单据的图像处理装置,所述装置包括:
视频数据获取模块,用于获取单据视频;
关键区域处理模块,用于从所述单据视频中选取多个关键区域图像作为候选图像,所述关键区域包括所述单据中包含中文字信息的区域;
质量计算模块,用于按照预设的质量算法确定所述候选图像中所述关键区域的图像质量;
筛选模块,用于剔除所述图像质量不符合要求的候选图像,确定剩余图像集合;
融合处理模块,用于融合所述剩余图像集合中的关键区域,获取增强后单据图像。
一种单据图像处理设备,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现:
获取单据视频;
从所述单据视频中选取多个关键区域图像作为候选图像,所述关键区域包括所述单据中包含中文字信息的区域;
按照预设的质量算法确定所述候选图像中所述关键区域的图像质量;
剔除所述图像质量不符合要求的候选图像,确定剩余图像集合;
融合所述剩余图像集合中的关键区域,获取增强后单据图像。
一种客户端,包括显示屏、拍摄装置、处理器以及存储处理器可执行指令的存储器,
所述拍摄装置用于单据的视频拍摄;
所述显示屏用户显示拍摄信息,所述处理器执行所述指令时实现:
在所述显示屏中展示视频拍摄信息或单据的视频拍摄引导信息;
获取单据视频;
从所述单据视频中选取多个关键区域图像作为候选图像,所述关键区域包括所述单据中包含中文字信息的区域;
按照预设的质量算法确定所述候选图像中所述关键区域的图像质量;
剔除所述图像质量不符合要求的候选图像,确定剩余图像集合;
融合所述剩余图像集合中的关键区域,获取增强后单据图像。
一种服务器,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现:
获取单据视频;
从所述单据视频中选取多个关键区域图像作为候选图像,所述关键区域包括所述单据中包含中文字信息的区域;
按照预设的质量算法确定所述候选图像中所述关键区域的图像质量;
剔除所述图像质量不符合要求的候选图像,确定剩余图像集合;
融合所述剩余图像集合中的关键区域,获取增强后单据图像。
本说明书实施例提供的一种单据的图像处理方法、装置、处理设备及客户端,可以通过引导用户对单据进行视频拍摄,从单据视频中确定包含文字的关键区域。然后可以针对所述关键区域进行图像质量的加强,将多个关键区域进行融合后,可以得到图像质量增强后的单据图像。增强后的单据图像质量更高,单据中文字识别的准确率也会提高。本说明书提供的实施例在保险理赔场景中,可以提高移动设备拍摄单据中的文字识别准确率提高理赔流程自动化处理过程,提高理赔处理效率。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本说明书所述方法实施例的一个处理流程示意图;
图2是本说明书一个实施场景中提示用户单据视频拍摄的交互场景示意图;
图3是本说明书提供的所述方法的另一个实施例的流程示意图;
图4是本说明书提供的所述方法另一个实施例的处理过程示意图;
图5是本说明书提供的所述方法的另一个实施例的流程示意图;
图6是本说明书一个实施场景中提示用户单据拍摄的交互场景示意图;
图7是应用本发明实施例的一种单据的图像处理方法的客户端的硬件结构框图;
图8是本说明书提供的可以用于用户客户端一侧的一种单据的图像处理装置实施例的模块结构示意图;
图9是本说明书提供的另一种单据的图像处理装置实施例的模块结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书中的一部分实施例,而不是全部的实施例。基于本说明书中的一个或多个实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书实施例保护的范围。
目前保险行业在财产险、意外险、健康险等领域,经常会提供在线理赔的方案,让用户对***、修理清单、医疗单据等文件进行拍摄,上传照片,完成理赔所需材料收集,以便减少用户麻烦,提升理赔服务体验。保险公司在收到照片后,可以使用人工鉴定的方式,也可以在某些环节利用电子设备或计算机完成光学字符识别(OCR),自动提取单据上的信息,提高工作效率。传统OCR技术在解决扫描仪等专业图像采集设备产生的图像时,具有较好的效果。但对于在线理赔这种业务场景,用户通常是使用普通手机拍照,与保险公司专业的理赔人员或使用的专业的图像采集设备相比,常常因为摄像头光学品质较差、手机性能不足、图片分辨率低、光照不足、拍摄时抖动严重、未准确对焦以及拍照技术不够专业化等各种原因,导致所采集的图像质量较差,难以达到较好的字符识别准确率。
本说明书实施例提供一种结合视频融合处理的技术方案,引导用户对单据进行视频拍摄后,从视频中提取关键区域并跟图像质量进行融合处理,得到图像质量更高的增强后单据图像,实现低质量/低分辨率的单据图片的增强功能,从而提升单据中文字信息的识别准确率。本说明书实施例的方案可以应用到多种终端设备中,如拍摄单据的用户一侧客户端,或者进行单据拍摄图像处理的服务器。所述的客户端可以包括发起在线理赔的事故方,也可以是保险公司人员使用的具有拍摄功能(至少具有包括拍照功能)的终端设备,如智能手机、平板电脑、智能穿戴设备、车载设备、专用拍摄设备等。所述的客户端可以具有通信模块,可以与远程的服务器进行通信连接,实现与所述服务器的数据传输。所述的服务器可以包括保险公司一侧进行理赔业务处理的***,也可以包括中间平台服务器,如某支付应用的服务器。所述的服务器具体的架构上可以包括单台计算机设备,也可以包括多个服务器组成的服务器集群,或者分布式***的服务器,或者是结合了区块链数据存储的服务器。
下面以一个具体的车险在线理赔中对理赔单据进行处理的应用场景为例对本说明书实施方案进行说明。具体的,图1是本说明书提供的所述一种单据的图像处理方法实施例的流程示意图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构,但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者部分合并后更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中,这些步骤的执行顺序或装置的模块结构不限于本说明书实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置、服务器或终端产品应用时,可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境、甚至包括分布式处理、服务器集群的实施环境)。
当然,下述理赔单据实施例的描述并不对基于本说明书的其他可扩展到的技术方案构成限制。例如其他的实施场景中,本说明书提供的实施方案同样可以应用到其他单据图像拍摄交互,或者是证件的拍摄交互的场景,或者是财务报销、网络购物等的单据图像处理的应用场景。甚至,在一些实施例中所处理的目标对象也可以不限定为理赔单据,例如也可以为人、理赔所业务中的受伤车辆、服装或者其他视频拍摄对象。相应的,后续实施例步骤所描述的理赔单据视频、增强后单据图像等均可以替换为相应的目标对象,例如理赔车辆视频。具体的一种实施例如图1所示,本说明书提供的一种单据的图像处理方法的一种实施例中,所述方法可以包括:
S0:获取单据视频。
本实施例中处理设备可以获取对单据进行拍摄得到的理赔单据视频(一种应用场景下的单据视频)。所述的处理设备可以是用户的移动终端、车载设备等客户端,也可以是服务器。例如用户使用移动终端对单据进行拍摄生成理赔单据视频后,可以将理赔单据视频通过网络上传给服务器或者通过U盘等存储介质传输至服务器,服务器获取得到单据的理赔单据视频。
在一些实施例中,用户可以直接使用客户端对单据进行拍摄得到视频数据。本说明书提供的另一个实施例中,还可以在客户端对用户的单据视频拍摄进行引导,使用户可以更加准确、快速、方便的完成理赔单据视频拍摄。因此,本说明书提供的所述方法的另一个实施例中,所述获取单据的单据视频可以包括;
S02:在客户端展示在线理赔所需单据的视频拍摄引导信息;
S04:获取根据视频拍摄引导信息拍摄得到的理赔单据视频。
本实施例中,用户可以使用手机等客户端进行车险业务的在线理赔。在线理赔可以需要多种或多个单据的图像。在本实施例中,用户可以直接对单据进行拍摄,也可以经过选择后确定需要拍摄的单据类型/种类等。另一些实施例中客户端也可以按照一定的规则或顺序来提示或指示用户拍摄某个或某些单据。
在本说明书实施例中,可以在所述客户端上展示在线理赔所需单据的视频拍摄引导信息。所述的拍摄引导信息可以包括如上述所述的用户选择需要拍摄的单据类型或种类的界面,也可以包括展示在拍摄取景框中的引导用户正确拍摄单据视频的提示信息。例如“请对准***红章”的文字提醒信息,也可以包括文字、语音、箭头图像、动画等中的一种或多种的结合来实现视频拍摄提醒,如图2所示。
用户根据视频拍摄引导信息完成理赔单据的视频拍摄,可以获得相应的理赔单据视频。所述的理赔单据视频可以为对一个或多个单据进行拍摄的一个整段的视频,也可以为多个视频片段。
S2:从所述单据视频中选取多个关键区域图像作为候选图像,所述关键区域包括所述单据中包含中文字信息的区域。
本实施例中可以将单据中含有文字信息的区域作为关键区域。在录制的理赔单据视频数据中,可能存在有些帧图像包含文字信息,即存在所述的关键区域,有些帧图像可以不包含文字信息,即可以不存在所述关键区域。例如在一些实施例场景中,对于一些帧图像而言,可能存在多个包含文字的区域,这些多个文字区域在一些实施例中可以被划分为多个关键区域,每个关键区域可以包含一个或多个文字区域。对应的,一些图像帧可以包括多个关键区域。另一些实施例中,也可以将帧图像中的文字区域划分为一个关键区域。
本实施例中可以从理赔单据视频中选取包含所述关键区域的多个关键区域图像作为候选图像。所述的关键区域图像在一些实施例中可以为包含关键区域的帧图像。本说明书提高的所述方法的另一些实施例中,所述的关键区域图像也可以为从单据视频中的帧图像中确定的包含文字信息的子区域。例如帧图像可以被分成若干关键区域,每个关键区域对应在帧图像中的区块可以作为本说明书一些实施例中所述的关键区域图像。
本实施例中可以从单据视频中选取多个包含关键区域的候选图像。选取方式可以根据具体的应用场景进行确定。例如一些实施例中,可以选取连续多帧的关键区域图像作为候选图像。也可以在确定某个包含关键区域的关键帧图像后抽取其指定位置/时间/顺序的帧图像作为候选图像,如抽取关键帧图像前后各三张帧图像加上关键帧本身一共7张图像作为候选图像;或者确定关键帧后每间隔125ms连续抽取9个包含关键区域的帧图像作为候选图像等。
S4:按照预设的质量算法确定所述候选图像中所述关键区域的图像质量;
S6:剔除所述图像质量不符合要求的候选图像,确定剩余图像集合。
本实施例可以对关键区域的图像质量进行计算,得到图像质量评估数据。根据图像质量进行后续的筛选,剔除图像质量不符合要求的图像,保留质量较高的候选图像。这样,利用质量较高的候选图像进行处理可以得到的图像质量更高的增强后单据图像。
需要说明的,本说明书中所述的图像质量在不同的应用场景或实施例中可以有对应的确定的评价依据。本说明书一些实施例中可以包括计算机对图像的一些参数进行数据计算得到的量化值,例如图像大小、像素个数、颜色、信噪比、锐化程度、灰度等。本说明书提供的一个实施例中,所述的图像质量至少可以包括分辨率这一参数。所述的分辨率通常指图像中存储的信息量,如每英寸图像内有多少个像素点,分辨率的单位为PPI(Pixels PerInch),可以叫做像素每英寸。
本说明书的另一些实施例中,具体的质量算法可以根据不同的质量评价要求或需求或标准进行设置和确定。例如一些实施例中可以针对图像的拍摄完整性、关照强度、模糊程度等来确定图像质量算法。或者可以从图像的像素统计、包含的信息内容或信息量、图像的结果等来确定图像质量算法。或者可以从图像的信噪比、均方差、信息熵、结构失真度等来确定图像的质量算法等。当然,也可以结合上述的一种或多种参量来确定图像的质量算法。
按照预设设置的质量算法计算出候选图像中各个关键区域的图像质量,然后根据图像质量进行图像筛选。具体的图像质量要求可以相应的设置参数的预置。进而可以按照一定阈值剔除不合格的图像,如太暗和太亮的图像、太模糊图像片、以及关键信息缺失的图像等。剔除述图像质量不符合要求的候选图像后,剩下的候选图像可以称为剩余图像集合。
S8:融合所述剩余图像集合中的关键区域,获取增强后单据图像。
图像的融合通常指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等,最大限度的提取各自信道中的有利信息,最后综合成高质量的图像,以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率等。本说明书所述的融合在一些实施例中可以包括将指向同一片区域的多个关键区域(特殊情况下也可以为一个关键区域)整合为一个关键区域的处理。具体的融合方式可以根据场景或图像处理需求进行设置。例如可以包括但不限于图像叠加、拼接、裁剪,图像灰度值的计算或像素色彩平均值计算后作为融合后的像素值等。所述的融合在一些实施例中可以包括仅融合多张剩余图像中的关键区域,另一些实施例中也可以包括融合关键区域的同时对剩余图像中的其他区域也做融合处理的方式。
图像的融合通常可以分为数据级融合、特征级融合、决策级融合。数据级融合也称像素级融合,实现方法有空间域算法和变换域算法,空间域算法可以包括逻辑滤波法、灰度加权平均法、对比调制法等;变换域中算法可以包括金字塔分解融合法、小波变换法。在特征级融合中,可以保证不同图像包含信息的特征,如红外光对于对象热量的表征,可见光对于对象亮度的表征等等。决策级融合可以结合贝叶斯法、D-S证据法、表决法等实现。融合算法常结合图像的平均值、熵值、标准偏差、平均梯度等。具体的融合剩余图像集合中剩余图像的关键区域的方式不再一一赘述。
本说明书提供所述方法的另一个实施例中,可以对不同的图像质量赋予不同的权重,根据权重来进行图像的融合。具体的,本说明书提供的所述方法的另一个实施例中,所述融合所述剩余图像集合中的关键区域包括:
S80:分别确定剩余图像集合中指向同一区域的关键区域所对应的同块剩余图像;
S82:按照所述关键区域的图像质量对所述同一区域的同块剩余图像赋予相应的权重;
S84:按照权重对剩余图像集合中剩余图像的关键区域进行加权融合。
多个帧图像可以有相同的文字区域,可以对应指向同一个文字区域的多个关键区域。本实施例中可以将指向同一区域的关键区域所对应的剩余图像称为同块剩余图像。在一些实施例中,可以计算得到关键区域的图像质量,例如质量评分。同一区域的关键区域在不同的同块剩余图像中可能有不同的质量分值,可以根据质量分值相应的设置同块剩余图像的权重。然后按照权重对进行加权融合。
例如一个示例中,对单据中同一个行文字区域“公司地址:苏州科技城锦峰路158号”选取和筛选后得到3个同块剩余图像P1、P2、P3,分别计算这3个同块剩余图像中关键区域的图像质量得分为90、91、80。然后可以根据图像质量得分给P1、P2、P3赋予权重0.4、0.4、0.2。这样,进行融合处理的同块剩余图像各自有了对应权重,然后可以根据权重对剩余图像集合中的剩余图像(同一区域的关键区域所对应的同块剩余图像)进行加权融合。具体的加权融合处理方式可以根据先前确定的融合处理方式相应的进行加权处理。例如融合处理时分别抽取关键区域的特征数据D1、D2、D3,此时可以根据P1、P2、P3权重0.4、0.4、0.2分别提升特征数据D1、D2、D3的权重。
本说明书提供一种加权融合处理的实施方案,可以基于RGB三通道,按权重对剩余图像中的关键区域像素做加权融合。具体的,本说明书所述方法的另一个实施例中,所述按照权重对剩余图像集合中剩余图像的关键区域进行加权融合可以包括:
S840:按照剩余图像的权重分别对同块剩余图像中关键区域的像素RGB三个通道做加权融合。
例如一个实施示例中,同块剩余图像P1、P2、P3的关键区域中同一个位置的像素M的RGB值分别为(200,164,180)、(208,160,180)、(180,156,192)。根据剩余图像的权重0.4、0.4、0.2计算融合后像素M的RGB值为:
(200*0.4+208*0.4+180*0.2),(164*0.4+160*0.4+156*0.2),(180*0.76180*0.4+192*0.4)=(199,160,182)。
上述像素M的RGB值(199,161,182)为取整后得到的数值。这样,在关键区域进行图像融合时,图像质量高的图像会占据更大的权重或占比,使得加权融合后的图像质量得到提高。
当然,本说明书的另一些实施例中也可以采用其他的方式或在处理的其他步骤中进行图像质量增强。例如可以在确定关键区域后采用有监督的对抗生成网络实现低质量/低分辨率的图像增强。
获得增强后单据图像后,可以利用光学字符识别(OCR),自动提取单据上的文字信息。图像质量增强处理后的图像,图像质量更好,可以有效提高字符识别准确率,进而提高在线理赔业务的处理效率。因此,如图3所示,图3是本说明书提供的所述方法的另一个实施例的流程示意图,还可以包括:
S100:利用光学字符识别方式识别所述增强后单据图像中的文字信息。
本说明书所述方法的另一些实施例中,还可以对识别后的文字信息做进一步校验,以确定识别出的文字信息是否有效或者可用。若识别后确定识别处理的文字信息无效或不可用,可以及时的提醒用户重新进行视频拍摄或者转接人工处理,可以防止后续处理流程中发现文字信息无效等让用户重新拍摄单据的情况,可以提高用户体验以及提高在线理赔处理效率。具体的,本说明书提供的所述方法的另一个实施例中,所述方法还可以包括:
S120:按照预设方式确定识别出的所述文字信息的置信程度;
S122:若所述置信程度大于等于预设阈值,则确定从所述理赔单据中识别出的文字为所述文字信息。
所述的置信程度可以表示识别出的文字信息与增强后单据图像中的文字信息对应的可靠程度,可以是概率值的表征形式,也可以是划分的不同等级的表征形式,或者也可以是分值的表征形式等。计算所述置信程度的预设方式可以根据场景需要或业务需要进行设置,如采用一些有监督的机器学习算法(如随机森林、逻辑回归、贝叶斯网络等)对识别出的文字信息以及增强后单据图像进行处理,输出所述文字信息的置信程度(概率值),或者另一些实施例这种对识别出的文字信息进行分词、关键词检测、语法分析等来确定其置信程度,或者将所述文字信息在指定的数据库中进行查询/匹配,确定其置信程度。若置信程度大于预先设定的预设阈值,则可以将所述文字信息作为从所述理赔单据中识别出来的有效、可用的文字信息。
如前所述,进一步的所述方法还可以包括:
S124:若所述置信程度小于所述预设阈值,则转人工处理或提示用户重新拍摄理赔单据图像。
例如若识别出的一段文字信息的置信程度为0.6,低于设定的预设阈值0.8,可以表示识别出来的文字信息可能存在排版错误或识别错误等,可靠性较低,不能作为在线理赔处理的文字信息内容来使用。图4是本说明书提供的所述方法另一个实施例的处理过程示意图,如图4所示,若置信程度低于预设阈值,此时可以及时的提醒用户重新拍摄或者转接人工处理,可以防止后续处理流程中发现文字信息无效等让用户重新拍摄单据的情况,可以提高用户体验以及提高在线理赔处理效率。
本说明书上述实施例可以通过在线拍摄单据+自动文字识别的方式对用户自助拍摄场景下采集的低质量图片进行增强,提高OCR识别准确率。本说明书的另一些实施例中,可以基于前述从单据中获得的识别准确率更高的文字信息来进一步检验用户拍摄的单据是否符合要求,形成一个正向反馈,进而可以及时的辅助用户拍摄单据或者纠正用户错误的单据拍摄。具体的,如图5所示,本说明书提供的所述方法的另一个实施例中,所述方法还可以包括:
S140:根据识别出的所述文字信息判断拍摄的单据是否符合要求;
S142:根据判断结果,进行相应的理赔业务处理。
例如一个具体的应用场景中,根据文字信息得知拍摄的是车辆维修开具的***,而当前车险理赔业务处理需要上传的是住院***,因此根据识别出的文字信息可以判断用户当前拍摄的单据不符合理赔要求。此时可以在客户端展示提示信息,提示用户拍摄住院***。或者在拍摄住院***时,发现识别出的文字信息中没有保护“费用总计”的信息,此时可能是用户拍摄单据时距离较近,“费用总计”未显示在拍摄的取景框中。这种情况下也可以设置为不符合理赔要求,可以提示用户重新拍摄。当然,若符合理赔要求,则可以根据理赔业务处理流程相应的进行下一步处理操作。
本说明书提供的所述方法的另一个实施例中,所述根据识别出的所述文字信息判断拍摄的理赔单据是否符合理赔要求至少包括下述中的一种:
根据识别出的所述文字信息判断所述理赔单据上是否有遗漏的信息。例如上述所述的是否缺少“费用总计”,或者车辆维修单据中车辆的车牌号码或车牌号码不全等。
根据识别出的所述文字信息判断是否有遗漏的未拍摄理赔单据。例如人伤理赔中需要住院***、医疗费用清单等多种多个***,根据识别出的文字信息可知还缺少医疗费用清单的票据。此时,可以提示用户再对医疗费用情况的票据进行视频拍摄。
根据识别出的所述文字信息判断所述理赔单据的类型是否正确。例如在线理赔需要用户上传的为***联,而用户上传的为记账联,则可以判断用户上传的单据类型存在错误。或者,需要用户上传住宿产生的增值税专用***,而用户上传的是收取住宿费的收据,从而也可以判断理赔单据的类型不正确。
根据识别出的所述文字信息判断所述理赔单据上的理赔对象名称是否与理赔请求中的理赔的对象名称对应。所述的理赔对象可以根据具体的应用场景进行确定。例如车险事故中理赔请求中的理赔对象是受伤住院的姓名为“张甲”的人,而上传的理赔单据中的住院治疗的人的姓名为“张申”。本实施例中则可以识别出两者理赔对象不对应,可以要求重新拍摄理赔单据视频,或者提示存在欺诈风险等。
例如图6所示的一个场景示意图,根据识别的文字信息发现拍摄的***图像中没有开票人的信息,则可以在拍摄的取景窗口中实时展示出提示信息“票据不符合要求,缺少开票人信息,请重新拍摄”。
当然,其他的实施例中还可以包括其他的根据识别出的所述文字信息判断拍摄的理赔单据是否符合理赔要求的具体场景。根据识别出的文字信息进而判断用户拍摄的单据是否符合理赔要求,在不符合的情况下可以及时的提醒用户进行纠正、补充、重拍等,可以避免后续因单据拍摄问题造成的重新拍摄、信息识别错误等问题,提高理赔业务处理效率。结合视频拍摄引导信息,可以使用户快速清楚拍摄的单据哪里存在问题,以及指导用户快速、便捷的完成单据视频拍摄,提升了用户在线理赔业务使用体验和终端使用体验。
本说明书中上述方法的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见方法实施例的部分说明即可。
本说明书实施例提供的一种单据的图像处理方法,可以通过引导用户对单据进行视频拍摄,从单据视频中确定包含文字的关键区域。然后可以针对所述关键区域进行图像质量的加强,将多个关键区域进行融合后,可以得到图像质量增强后的单据图像。增强后的单据图像质量更高,单据中文字识别的准确率也会提高。本说明书提供的实施例在保险理赔场景中,可以提高移动设备拍摄单据中的文字识别准确率提高理赔流程自动化处理过程,提高理赔处理效率。
本说明书实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在智能手机客户端上为例,图7是应用本发明实施例的一种单据的图像处理方法的客户端的硬件结构框图。如图7所示,客户端10可以包括一个或多个(图中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。本领域普通技术人员可以理解,图7所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,客户端10还可包括比图7中所示更多或者更少的组件,例如还可以包括其他的处理硬件,如GPU(Graphics Processing Unit,图像处理器),或者具有与图7所示不同的配置。
存储器104可用于存储应用软件的软件程序以及模块,如本发明实施例中的搜索方法对应的程序指令/模块,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的处理方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输模块106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输模块106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输模块106可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
基于上述所述的单据的图像处理方法,本说明书还提供一种单据的图像处理装置。所述的装置可以包括使用了本说明书实施例所述方法的***(包括分布式***)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的设备装置。基于同一创新构思,本说明书提供的一种实施例中的处理装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似,因此本说明书实施例具体的处理装置的实施可以参见前述方法的实施,重复之处不再赘述。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。具体的,如图8所示,图8是本说明书提供的可以用于用户客户端一侧的一种单据的图像处理装置实施例的模块结构示意图,具体的可以包括:
视频数据获取模块801,可以用于获取单据视频;
关键区域处理模块802,可以用于从所述单据视频中选取多个关键区域图像作为候选图像,所述关键区域包括所述单据中包含中文字信息的区域;
质量计算模块803,可以用于按照预设的质量算法确定所述候选图像中所述关键区域的图像质量;
筛选模块804,可以用于剔除所述图像质量不符合要求的候选图像,确定剩余图像集合;
融合处理模块805,可以用于融合所述剩余图像集合中的关键区域,获取增强后单据图像。
基于前述方式实施例的描述,本说明书提供的所述装置的另一个实施例中,所述融合所述剩余图像集合中的关键区域包括:
分别确定剩余图像集合中指向同一区域的关键区域所对应的同块剩余图像;
按照所述关键区域的图像质量对所述同一区域的同块剩余图像赋予相应的权重;
按照权重对剩余图像集合中剩余图像的关键区域进行加权融合。
基于前述方式实施例的描述,本说明书提供的所述装置的另一个实施例中,所述关键区域图像包括从所述单据视频中的帧图像中确定的包含文字信息的子区域。
基于前述方式实施例的描述,本说明书提供的所述装置的另一个实施例中,所述按照权重对剩余图像集合中剩余图像的关键区域进行加权融合包括:
按照剩余图像的权重分别对同块剩余图像中关键区域的像素RGB三个通道做加权融合。
基于前述方式实施例的描述,本说明书提供的所述装置的另一个实施例中,所述装置还包括:文字识别模块,可以用于利用光学字符识别方式识别所述增强后单据图像中的文字信息。
基于前述方式实施例的描述,本说明书提供的所述装置的另一个实施例中,所述装置还可以包括拍摄引导模块,可以用于在客户端展示在线理赔所需单据的视频拍摄引导信息,以及获取根据视频拍摄引导信息拍摄得到的理赔单据视频。
图9是本说明书提供的另一种单据的图像处理装置实施例的模块结构示意图。基于前述方式实施例的描述,本说明书提供的所述装置的另一个实施例中,所述装置还可以包括:
反馈模块806,可以用于根据识别出的所述文字信息判断拍摄的单据是否符合要求;以及,根据判断结果,进行相应的业务处理。
基于前述方式实施例的描述,本说明书提供的所述装置的另一个实施例中,所述根据识别出的所述文字信息判断拍摄的理赔单据是否符合理赔要求至少包括下述中的一种:
根据识别出的所述文字信息判断所述理赔单据上是否有遗漏的信息;
根据识别出的所述文字信息判断是否有遗漏的未拍摄理赔单据;
根据识别出的所述文字信息判断所述理赔单据的类型是否正确;
根据识别出的所述文字信息判断所述理赔单据上的理赔对象名称是否与理赔请求中的理赔的对象名称对应。
本说明书实施例提供的一种单据的图像处理装置,可以通过引导用户对单据进行视频拍摄,从单据视频中确定包含文字的关键区域。然后可以针对所述关键区域进行图像质量的加强,将多个关键区域进行融合后,可以得到图像质量增强后的单据图像。增强后的单据图像质量更高,单据中文字识别的准确率也会提高。本说明书提供的实施例在保险理赔场景中,可以提高移动设备拍摄单据中的文字识别准确率提高理赔流程自动化处理过程,提高理赔处理效率。
需要说明的是,本说明书实施例上述所述的装置,根据相关方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照方法实施例的描述,在此不作一一赘述。
本说明书实施例提供的单据的图像处理方法或装置可以在计算机中由处理器执行相应的程序指令来实现,如使用windows操作***的c++语言在PC端实现,或其他例如Linux、android、iOS***相对应的应用设计语言集合必要的硬件实现,或者基于量子计算机的处理逻辑实现等。具体的,本说明书提供一种可以实现上述方法的图像处理设备的实施例,所述处理设备可以包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现:
获取单据视频;
从所述单据视频中选取多个关键区域图像作为候选图像,所述关键区域包括所述单据中包含中文字信息的区域;
按照预设的质量算法确定所述候选图像中所述关键区域的图像质量;
剔除所述图像质量不符合要求的候选图像,确定剩余图像集合;
融合所述剩余图像集合中的关键区域,获取增强后单据图像。
所述的处理设备可以为前述所述的客户端,也可以为服务器。需要说明的是,本说明书实施例上述所述的处理设备,根据相关方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照方法实施例的描述,在此不作一一赘述。
上述的指令可以存储在多种计算机可读存储介质中。所述计算机可读存储介质可以包括用于存储信息的物理装置,可以将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。本实施例所述的计算机可读存储介质有可以包括:利用电能方式存储信息的装置如,各式存储器,如RAM、ROM等;利用磁能方式存储信息的装置如,硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘;利用光学方式存储信息的装置如,CD或DVD。当然,还有其他方式的可读存储介质,例如量子存储器、石墨烯存储器等等。下述所述的装置或服务器或客户端或***中的指令同上描述。
基于前述所述,本说明书实施例还提供一种客户端,可以包括显示屏、拍摄装置、处理器以及存储处理器可执行指令的存储器。所述的显示屏可以包括触摸屏、液晶显示器、投影设备等显示信息内容的设备。所述的客户端类型可以包括移动终端、专用单据采集设备、车机交互设备、个人电脑等。
所述拍摄装置用于单据的视频拍摄;
所述显示屏用户显示拍摄信息,所述处理器执行所述指令时可以实现:
在所述显示屏中展示视频拍摄信息或单据的视频拍摄引导信息;
获取单据视频;
从所述单据视频中选取多个关键区域图像作为候选图像,所述关键区域包括所述单据中包含中文字信息的区域;
按照预设的质量算法确定所述候选图像中所述关键区域的图像质量;
剔除所述图像质量不符合要求的候选图像,确定剩余图像集合;
融合所述剩余图像集合中的关键区域,获取增强后单据图像。
基于前述所述,本说明书实施例还提供一种服务器,可以包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现:
获取单据视频;
从所述单据视频中选取多个关键区域图像作为候选图像,所述关键区域包括所述单据中包含中文字信息的区域;
按照预设的质量算法确定所述候选图像中所述关键区域的图像质量;
剔除所述图像质量不符合要求的候选图像,确定剩余图像集合;
融合所述剩余图像集合中的关键区域,获取增强后单据图像。
需要说明的是,本说明书实施例上述所述的客户端或服务器或处理设备等,根据相关方法实施例的描述还可以包括其他的实施方式,如利用光学字符识别方式识别所述增强后单据图像中的文字信息等。具体的实现方式可以参照方法实施例的描述,在此不作一一赘述。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于硬件+程序类实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书实施例提供的一种单据的图像处理方法、装置、处理设备及客户端,可以通过引导用户对单据进行视频拍摄,从单据视频中确定包含文字的关键区域。然后可以针对所述关键区域进行图像质量的加强,将多个关键区域进行融合后,可以得到图像质量增强后的单据图像。增强后的单据图像质量更高,单据中文字识别的准确率也会提高。本说明书提供的实施例在保险理赔场景中,可以提高移动设备拍摄单据中的文字识别准确率提高理赔流程自动化处理过程,提高理赔处理效率。
尽管本说明书实施例内容中提到生成对抗网络的模型结构、ORC算法、图像质量计算方法、视频数据拍摄以及获取、像素级的图像融合等之类的数据获取、传输、交互、计算、判断等操作和数据描述,但是,本说明书实施例并不局限于必须是符合行业通信标准、机器学习标准模型、标准图像数据处理协议、通信协议和标准数据模型/模板或本说明书实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例,仍然可以属于本说明书的可选实施方案范围之内。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字***“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的***、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
虽然本说明书实施例提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或终端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境,甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下,并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现,也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
本领域技术人员应明白,本说明书的实施例可提供为方法、***或计算机程序产品。因此,本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本说明书实施例的实施例而已,并不用于限制本说明书实施例。对于本领域技术人员来说,本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书实施例的权利要求范围之内。
Claims (17)
1.一种单据的图像处理方法,所述方法包括:
获取单据视频;
从所述单据视频中选取多个关键区域图像作为候选图像,所述关键区域包括所述单据中包含中文字信息的区域;
按照预设的质量算法确定所述候选图像中所述关键区域的图像质量;
剔除所述图像质量不符合要求的候选图像,确定剩余图像集合;
融合所述剩余图像集合中的关键区域,获取增强后单据图像。
2.如权利要求1所述的方法,所述融合所述剩余图像集合中的关键区域包括:
分别确定剩余图像集合中指向同一区域的关键区域所对应的同块剩余图像;
按照所述关键区域的图像质量对所述同一区域的同块剩余图像赋予相应的权重;
按照权重对剩余图像集合中剩余图像的关键区域进行加权融合。
3.如权利要求1或2所述的方法,所述关键区域图像包括从所述单据视频中的帧图像中确定的包含文字信息的子区域。
4.如权利要求2所述的方法,所述按照权重对剩余图像集合中剩余图像的关键区域进行加权融合包括:
按照剩余图像的权重分别对同块剩余图像中关键区域的像素RGB三个通道做加权融合。
5.如权利要求1所述的方法,所述获取单据视频包括;
在客户端展示在线理赔所需单据的视频拍摄引导信息;
获取根据视频拍摄引导信息拍摄得到的理赔单据视频。
6.如权利要求1所述的方法,所述方法还包括:
利用光学字符识别方式识别所述增强后单据图像中的文字信息。
7.如权利要求6所述的方法,所述方法还包括:
根据识别出的所述文字信息判断拍摄的单据是否符合要求;
根据判断结果,进行相应的业务处理。
8.一种单据的图像处理装置,所述装置包括:
视频数据获取模块,用于获取单据视频;
关键区域处理模块,用于从所述单据视频中选取多个关键区域图像作为候选图像,所述关键区域包括所述单据中包含中文字信息的区域;
质量计算模块,用于按照预设的质量算法确定所述候选图像中所述关键区域的图像质量;
筛选模块,用于剔除所述图像质量不符合要求的候选图像,确定剩余图像集合;
融合处理模块,用于融合所述剩余图像集合中的关键区域,获取增强后单据图像。
9.如权利要求8所述的装置,所述融合所述剩余图像集合中的关键区域包括:
分别确定剩余图像集合中指向同一区域的关键区域所对应的同块剩余图像;
按照所述关键区域的图像质量对所述同一区域的同块剩余图像赋予相应的权重;
按照权重对剩余图像集合中剩余图像的关键区域进行加权融合。
10.如权利要求8或9所述的装置,所述关键区域图像包括从所述单据视频中的帧图像中确定的包含文字信息的子区域。
11.如权利要求9所述的装置,所述按照权重对剩余图像集合中剩余图像的关键区域进行加权融合包括:
按照剩余图像的权重分别对同块剩余图像中关键区域的像素RGB三个通道做加权融合。
12.如权利要求8所述的装置,所述装置还包括:文字识别模块,用于利用光学字符识别方式识别所述增强后单据图像中的文字信息。
13.如权利要求8所述的装置,所述装置还包括拍摄引导模块,用于在客户端展示在线理赔所需单据的视频拍摄引导信息,以及获取根据视频拍摄引导信息拍摄得到的理赔单据视频。
14.如权利要求13所述的装置,所述装置还包括:
反馈模块,用于根据识别出的所述文字信息判断拍摄的单据是否符合要求;以及,根据判断结果,进行相应的理赔业务处理。
15.一种单据图像处理设备,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现:
获取单据视频;
从所述单据视频中选取多个关键区域图像作为候选图像,所述关键区域包括所述单据中包含中文字信息的区域;
按照预设的质量算法确定所述候选图像中所述关键区域的图像质量;
剔除所述图像质量不符合要求的候选图像,确定剩余图像集合;
融合所述剩余图像集合中的关键区域,获取增强后单据图像。
16.一种客户端,包括显示屏、拍摄装置、处理器以及存储处理器可执行指令的存储器,
所述拍摄装置用于单据的视频拍摄;
所述显示屏用户显示拍摄信息,所述处理器执行所述指令时实现:
在所述显示屏中展示视频拍摄信息或单据的视频拍摄引导信息;
获取单据视频;
从所述单据视频中选取多个关键区域图像作为候选图像,所述关键区域包括所述单据中包含中文字信息的区域;
按照预设的质量算法确定所述候选图像中所述关键区域的图像质量;
剔除所述图像质量不符合要求的候选图像,确定剩余图像集合;
融合所述剩余图像集合中的关键区域,获取增强后单据图像。
17.一种服务器,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现:
获取单据视频;
从所述单据视频中选取多个关键区域图像作为候选图像,所述关键区域包括所述单据中包含中文字信息的区域;
按照预设的质量算法确定所述候选图像中所述关键区域的图像质量;
剔除所述图像质量不符合要求的候选图像,确定剩余图像集合;
融合所述剩余图像集合中的关键区域,获取增强后单据图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010035313.6A CN111242034A (zh) | 2020-01-14 | 2020-01-14 | 一种单据的图像处理方法、装置、处理设备及客户端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010035313.6A CN111242034A (zh) | 2020-01-14 | 2020-01-14 | 一种单据的图像处理方法、装置、处理设备及客户端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111242034A true CN111242034A (zh) | 2020-06-05 |
Family
ID=70880794
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010035313.6A Pending CN111242034A (zh) | 2020-01-14 | 2020-01-14 | 一种单据的图像处理方法、装置、处理设备及客户端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111242034A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111986155A (zh) * | 2020-07-20 | 2020-11-24 | 广州润普网络科技有限公司 | 一种通用场景文字识别方法及装置 |
CN113673416A (zh) * | 2021-08-18 | 2021-11-19 | 浙江大华技术股份有限公司 | 车架号的识别方法和装置、存储介质及电子装置 |
CN113743327A (zh) * | 2021-09-07 | 2021-12-03 | 中国工商银行股份有限公司 | 单据识别方法、单据核对方法、装置和设备 |
CN116342449A (zh) * | 2023-03-29 | 2023-06-27 | 银河航天(北京)网络技术有限公司 | 图像增强方法、装置以及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108446621A (zh) * | 2018-03-14 | 2018-08-24 | 平安科技(深圳)有限公司 | 票据识别方法、服务器及计算机可读存储介质 |
CN108848301A (zh) * | 2018-05-23 | 2018-11-20 | 阿里巴巴集团控股有限公司 | 一种票据拍摄交互方法、装置、处理设备及客户端 |
CN109886951A (zh) * | 2019-02-22 | 2019-06-14 | 北京旷视科技有限公司 | 视频处理方法、装置及电子设备 |
CN110349033A (zh) * | 2019-05-30 | 2019-10-18 | 阿里巴巴集团控股有限公司 | 项目案件初审方法以及装置 |
CN110414632A (zh) * | 2019-06-27 | 2019-11-05 | 亳州职业技术学院 | 一种针对手写物流单据的信息识别存储方法 |
-
2020
- 2020-01-14 CN CN202010035313.6A patent/CN111242034A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108446621A (zh) * | 2018-03-14 | 2018-08-24 | 平安科技(深圳)有限公司 | 票据识别方法、服务器及计算机可读存储介质 |
CN108848301A (zh) * | 2018-05-23 | 2018-11-20 | 阿里巴巴集团控股有限公司 | 一种票据拍摄交互方法、装置、处理设备及客户端 |
CN109886951A (zh) * | 2019-02-22 | 2019-06-14 | 北京旷视科技有限公司 | 视频处理方法、装置及电子设备 |
CN110349033A (zh) * | 2019-05-30 | 2019-10-18 | 阿里巴巴集团控股有限公司 | 项目案件初审方法以及装置 |
CN110414632A (zh) * | 2019-06-27 | 2019-11-05 | 亳州职业技术学院 | 一种针对手写物流单据的信息识别存储方法 |
Non-Patent Citations (1)
Title |
---|
吴良斌: "《SAR图像处理与目标识别》", 31 January 2013, 航空工业出版社 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111986155A (zh) * | 2020-07-20 | 2020-11-24 | 广州润普网络科技有限公司 | 一种通用场景文字识别方法及装置 |
CN113673416A (zh) * | 2021-08-18 | 2021-11-19 | 浙江大华技术股份有限公司 | 车架号的识别方法和装置、存储介质及电子装置 |
CN113743327A (zh) * | 2021-09-07 | 2021-12-03 | 中国工商银行股份有限公司 | 单据识别方法、单据核对方法、装置和设备 |
CN116342449A (zh) * | 2023-03-29 | 2023-06-27 | 银河航天(北京)网络技术有限公司 | 图像增强方法、装置以及存储介质 |
CN116342449B (zh) * | 2023-03-29 | 2024-01-16 | 银河航天(北京)网络技术有限公司 | 图像增强方法、装置以及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111242034A (zh) | 一种单据的图像处理方法、装置、处理设备及客户端 | |
US10540564B2 (en) | Method and apparatus for identifying vehicle information from an image | |
US9002066B2 (en) | Methods, systems and processor-readable media for designing a license plate overlay decal having infrared annotation marks | |
US11393256B2 (en) | Method and device for liveness detection, and storage medium | |
US9607236B1 (en) | Method and apparatus for providing loan verification from an image | |
US10176531B2 (en) | Method and apparatus for receiving an insurance quote from an image | |
US10803496B1 (en) | Systems and methods for implementing machine vision and optical recognition | |
EP3719703A1 (en) | Vehicle damage identification processing method, processing device, client and server | |
EP3777122A1 (en) | Image processing method and apparatus | |
CN109766890B (zh) | 信息识别方法、设备和*** | |
US10204282B2 (en) | Method and apparatus for verifying vehicle ownership from an image | |
US10885371B2 (en) | Method and apparatus for verifying an object image in a captured optical image | |
WO2019214321A1 (zh) | 车辆损伤识别的处理方法、处理设备、客户端及服务器 | |
CN111291619A (zh) | 一种在线识别理赔单据中文字的方法、装置及客户端 | |
CN110427810B (zh) | 视频定损方法、装置、拍摄端及机器可读存储介质 | |
CN111340640A (zh) | 一种保险理赔材料审核方法、装置和设备 | |
CN116311279A (zh) | 样本图像的生成、模型训练、字符识别方法、设备及介质 | |
CN114663871A (zh) | 图像识别方法、训练方法、装置、***及存储介质 | |
US10210417B2 (en) | Method and apparatus for receiving a refinancing offer from an image | |
CN114332993A (zh) | 人脸识别方法、装置、电子设备及计算机可读存储介质 | |
US9378428B2 (en) | Incomplete patterns | |
CN111091056A (zh) | 图像中的墨镜识别方法及装置、电子设备、存储介质 | |
CN116848547A (zh) | 图像的处理方法和*** | |
Singh et al. | StreetOCRCorrect: An interactive framework for OCR corrections in chaotic Indian street videos | |
CN113255421A (zh) | 一种图像检测方法、***、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20211213 Address after: Room 610, floor 6, No. 618, Wai Road, Huangpu District, Shanghai 200010 Applicant after: Ant Shengxin (Shanghai) Information Technology Co.,Ltd. Address before: 310000 801-11 section B, 8th floor, 556 Xixi Road, Xihu District, Hangzhou City, Zhejiang Province Applicant before: Alipay (Hangzhou) Information Technology Co.,Ltd. |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200605 |