CN113379633A - 多帧图像处理方法和装置 - Google Patents

多帧图像处理方法和装置 Download PDF

Info

Publication number
CN113379633A
CN113379633A CN202110659375.9A CN202110659375A CN113379633A CN 113379633 A CN113379633 A CN 113379633A CN 202110659375 A CN202110659375 A CN 202110659375A CN 113379633 A CN113379633 A CN 113379633A
Authority
CN
China
Prior art keywords
image
frames
additional images
quality score
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110659375.9A
Other languages
English (en)
Inventor
李辉
马哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ant Shengxin (Shanghai) Information Technology Co.,Ltd.
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202110659375.9A priority Critical patent/CN113379633A/zh
Publication of CN113379633A publication Critical patent/CN113379633A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08Insurance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了多帧图像处理方法和装置。具体而言,一种图像处理方法包括:获取第一图像以及与所述第一图像相关的多帧附加图像;对所述第一图像和所述多帧附加图像进行处理以生成第二图像;以及根据所述第一图像和所述第二图像的质量分来选择所述第一图像或所述第二图像进行后续处理。

Description

多帧图像处理方法和装置
技术领域
本公开一般涉及图像处理领域,尤其涉及用于处理保险理赔图像的多帧图像处理方法和装置。
背景技术
在目前的在线理赔产品(例如,医疗理赔产品)中,需要用户拍摄医疗证明、关系证明等文本材料用于理赔审核。但由于用户拍摄抖动、手机像素等各种原因,造成了一些图片的拍摄是模糊的,由此影响了工作人员的审核以及OCR(Optical Character Recognition,光学字符识别)的精度。在工作人员进行相应工作之前,往往需要对上述图像一一进行判断以确定上述的图像皆是清晰、完整、有效的。由此可见,这部分工作会消耗掉工作人员的大量时间,从而降低了保险理赔材料的审理效率。
因此亟需用于高效地处理保险理赔图像的方法和装置。
发明内容
为解决上述技术问题,本发明提供了一种图像处理方法,包括:
获取第一图像以及与所述第一图像相关的多帧附加图像;
对所述第一图像和所述多帧附加图像进行处理以生成第二图像;以及
根据所述第一图像和所述第二图像的质量分来选择所述第一图像或所述第二图像进行后续处理。
可任选地,对所述第一图像和所述多帧附加图像进行处理以生成第二图像包括:
将所述第一图像与所述多帧附加图像对齐;以及
处理经对齐的所述第一图像和所述多帧附加图像以生成所述第二图像。
可任选地,对所述第一图像和所述多帧附加图像进行处理以生成第二图像包括:
针对所述第一图像中的每个特征点,确定每帧附加图像中的对应特征点;以及
针对所述第一图像中的每个特征点,将该特征点的特征值与每帧附加图像中的对应特征点的特征值进行加权求和,以得到所述第二图像中的对应特征点的特征值。
可任选地,对每帧图像中的特征点赋予的权重与其质量分成正比。
可任选地,对所述第一图像和所述多帧附加图像进行处理以生成第二图像包括:
使用深度神经网络对所述第一图像和所述多帧附加图像进行去模糊处理,
其中所述深度神经网络是使用第一训练图像、与所述第一训练图像相关的多个附加训练图像以及与所述第一训练图像相关的清晰图像来训练的。
可任选地,该方法进一步包括,
确定所述第一图像的质量分并将其与第一阈值进行比较;
如果所述第一图像的质量分低于第一阈值,则对所述第一图像和所述多帧附加图像进行处理以生成第二图像;以及
如果所述第一图像的质量分高于第一阈值,则返回所述第一图像。
可任选地,选择所述第一图像或所述第二图像包括:
将所述第一图像的质量分与所述第二图像的质量分进行比较;
如果所述第一图像的质量分高于所述第二图像的质量分,则选择所述第一图像;以及
如果所述第一图像的质量分低于所述第二图像的质量分,则选择所述第二图像。
可任选地,所述多帧附加图像在所述第一图像前捕获,并且所述第一图像和所述多帧附加图像的相邻两帧图像之间的捕获间隔为20ms。
可任选地,该方法进一步包括:
从所选择的图像中提取文本信息。
可任选地,所获取的多帧附加图像的帧数是根据所述第一图像的质量分来确定的。
本公开的另一方面提供了一种图像处理装置,包括:
用于获取第一图像以及与所述第一图像相关的多帧附加图像的模块;
用于对所述第一图像和所述多帧附加图像进行处理以生成第二图像的模块;以及
用于根据所述第一图像和所述第二图像的质量分来选择所述第一图像或所述第二图像进行后续处理的模块。
可任选地,用于对所述第一图像和所述多帧附加图像进行处理以生成第二图像的模块包括:
用于将所述第一图像与所述多帧附加图像对齐的模块;以及
用于处理经对齐的所述第一图像和所述多帧附加图像以生成所述第二图像的模块。
可任选地,用于对所述第一图像和所述多帧附加图像进行处理以生成第二图像的模块包括:
用于针对所述第一图像中的每个特征点,确定每帧附加图像中的对应特征点的模块;以及
用于针对所述第一图像中的每个特征点,将该特征点的特征值与每帧附加图像中的对应特征点的特征值进行加权求和,以得到所述第二图像中的对应特征点的特征值的模块。
可任选地,对每帧图像中的特征点赋予的权重与其质量分成正比。
可任选地,用于对所述第一图像和所述多帧附加图像进行处理以生成第二图像的模块包括:
用于使用深度神经网络对所述第一图像和所述多帧附加图像进行去模糊处理的模块,
其中所述深度神经网络是使用第一训练图像、与所述第一训练图像相关的多个附加训练图像以及与所述第一训练图像相关的清晰图像来训练的。
可任选地,该装置进一步包括,
用于确定所述第一图像的质量分并将其与第一阈值进行比较的模块;
用于如果所述第一图像的质量分低于第一阈值,则对所述第一图像和所述多帧附加图像进行处理以生成第二图像的模块;以及
用于如果所述第一图像的质量分高于第一阈值,则返回所述第一图像的模块。
可任选地,用于选择所述第一图像或所述第二图像包括:
用于将所述第一图像的质量分与所述第二图像的质量分进行比较的模块;
用于如果所述第一图像的质量分高于所述第二图像的质量分,则选择所述第一图像的模块;以及
用于如果所述第一图像的质量分低于所述第二图像的质量分,则选择所述第二图像的模。
可任选地,所述多帧附加图像在所述第一图像前捕获,并且所述第一图像和所述多帧附加图像的相邻两帧图像之间的捕获间隔为20ms。
可任选地,该装置进一步包括:
用于从所选择的图像中提取文本信息的模块。
可任选地,所获取的多帧附加图像的帧数是根据所述第一图像的质量分来确定的。
本公开的有一方面提供了一种图像处理装置,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行以下操作:
获取第一图像以及与所述第一图像相关的多帧附加图像;
对所述第一图像和所述多帧附加图像进行处理以生成第二图像;以及
根据所述第一图像和所述第二图像的质量分来选择所述第一图像或所述第二图像进行后续处理。
附图说明
图1是根据本公开的各方面的用于多帧图像处理的***的示图。
图2是根据本公开的各方面的用于多帧图像处理的装置的示图。
图3是根据本公开的各方面的用于多帧图像处理的方法的流程图。
图4解说了根据本公开的各方面进行多帧图像处理的一个实施例。
图5是根据本公开的各方面的用于多帧图像处理的装置的示图。
具体实施方式
为让本发明的上述目的、特征和优点能更明显易懂,以下结合附图对本发明的具体实施方式作详细说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其它不同于在此描述的其它方式来实施,因此本发明不受下面公开的具体实施例的限制。
在现有的理赔图像处理中,利用深度学习模型对拍摄后的图像进行清晰度检测,同时设定一个质量阈值,将低于质量阈值的图像进行拦截,提示用户重新拍摄图像。其缺点在于用户体验不友好。尤其对于医疗理赔等业务,由于后续需要提取文本信息,因此对图像的清晰度要求较高,拍摄的图像达不到清晰度要求时需要用户进行重拍。图像拍摄的清晰度依赖于用户的拍摄技巧,同时针对部分像素低的手机,会出现需要反复重拍的情况,由此降低了用户的体验。
针对以上问题,本公开提出了一种高效的图像处理方案。具体而言,在理赔图像的拍摄过程中不仅获得一帧图像(在本文称为原图像或第一图像),同时缓存其最近捕获(例如,在预览时捕获)的多帧图像(在本文也称为多帧附加图像);随后对原图像和该多帧附加图像进行处理以获得新图像(在本文也可称为第二图像),例如,可以利用深度神经网络(例如,EDVR,Video Restoration with Enhanced Deformable Convolutional Networks)对原图像和该多帧附加图像进行去模糊处理以获得新图像;最终通过对新图像和原图像的质量检测来确定要采用新图像还是原图像进行后续的理赔处理。
图1是根据本公开的各方面的用于风险识别的***100的示图。
如图所示,用于图像处理的***100可包括多个终端101。终端101可包括智能电话、膝上型计算机、平板设备等。终端101上可设置有相机,并且可经由网络(例如,广域网、城域网、以及局域网)与服务器102进行通信。用户可使用终端101进行图像的拍摄和传送。
终端101可通过摄像头获取多帧图像,该多帧图像可包括原图像以及与原图像相关的多帧附加图像,附加图像可以是在原图像之前捕获的图像。例如,在终端的相机在按下快门之前对目标进行预览期间,可以每隔20ms捕获一帧图像作为附加图像。在一个示例中,附加图像的帧数可以为固定值,例如,5,附加图像的帧数也可以为其他数目。在另一示例中,附加图像的帧数可以基于原图像的质量分。
终端101可以将原图像和多帧附加图像传送给服务器102。服务器102的图像处理模块103可对原图像和多帧附加图像进行处理以获得新图像,并且根据质量分选择原图像或新图像以供后续处理。服务器102可进一步对所选图像进行处理,例如,提取所选图像中的文本信息。
服务器103还可包括存储器104,存储器104可对从终端101接收到的图像以及其他数据进行缓存。
图2是根据本公开的各方面的用于处理图像的装置200的示图。
用于处理图像的装置200可在图1的服务器102和/或终端101中实现。
用于处理图像的装置200可包括多帧图像获取模块202、多帧图像处理模块204、图像质量检测模块206和图像选择模块208。
多帧图像获取模块202可获取原图像以及与原图像相关联的多帧附加图像。具体而言,多帧图像获取模块202可在调用***相机进行拍照获取原图像之前,捕获离其最近的N个预览图像数据并进行缓存(其中N≥1)。相邻图像之间的捕获间隔可为20ms。
多帧图像处理模块204可以对所获取的多帧图像(即,原图像和多帧附加图像)进行处理(例如,去模糊处理)以获得新图像。例如,多帧图像处理模块204可以基于深度学习网络对多帧图像进行处理,对原图进行信息增益以生成新图像,从而达到去模糊的效果。
图像质量检测模块206可对原图像和新图像进行质量检测,以分别获得原图像和新图像的质量分。
图像选择模块208可根据原图像和新图像的质量分来选择原图像和新图像之一进行后续处理。例如,图像选择模块208可以选择原图像和新图像中质量分较高的图像进行后续处理。
图3是根据本公开的各方面的用于图像处理的方法的流程图。
在步骤302,可获取多帧图像。
该多帧图像可包括原图像以及与原图像相关的多帧附加图像。
例如,在医疗保险理赔过程中,用户可以使用终端上的相机对相关证件和材料(例如,身份证、病历等)拍摄照片。
在拍摄照片时,用户往往会首先使用摄像头对拍摄目标进行预览。因此可以在按快门拍摄照片(即,原图像)时捕获离其最近的N帧预览图像(其中N≥1)。例如,这些图像中相邻图像之间的捕获间隔可为20ms。该N帧图像可被用来对原图像进行信息增益,以达到去模糊的效果。
在步骤304,可检测原图像的质量以得到原图像的质量分。
对图像的质量的检测可以使用神经网络模型(图像质量检测模型)来进行。
具体而言,可以对多个训练图像分别标注质量分,使用该多个训练图像及其质量分来训练图像质量检测模型。随后可使用经训练的图像质量检测模型来检测在步骤302所获取的原图像的质量以获得原图像的质量分。
在一个示例中,可以收集大量的历史图像,这些历史图像已被工作人员审核为合格或不合格。可将合格和不合格的图像分别标记为1和0的质量分,并且使用这些历史图像及其相关联的质量分来训练图像质量检测模型,随后可使用经训练的图像质量检测模型来检测在步骤302所获取的原图像的质量以获得原图像的质量分(即,0或1)。
在步骤306,可将原图像的质量分与第一质量阈值进行比较。
如果原图像的质量分大于第一质量阈值,则说明原图像的清晰度满足要求,可在步骤308返回原图像进行后续处理(例如,文本识别)。
如果原图像的质量分小于第一质量阈值,则说明原图像的清晰度不满足要求,可在步骤310进行多帧图像处理。
例如,在上述图像被标记为合格和不合格的示例中,如果原图像的质量分为1,则说明原图像的清晰度满足要求,可在步骤308返回原图像进行后续处理;如果原图像的质量分为0,则说明原图像的清晰度不满足要求,可在步骤310进行多帧图像处理。以上仅是示例,质量分的其他数值也在本公开的构想中。
在步骤310,对原图像和多个附加图像进行去模糊处理。
图4解说了根据本公开的各方面进行多帧图像处理的的一个实施例。
在步骤402,可以对所获取的多帧图像进行预处理。
图像的预处理可包括对该多帧图像中的每一帧图像分别进行压缩、编码和去模糊处理,从而获得多帧相对高质量的特征图。
例如,可以对每帧图像进行卷积操作、滤波等操作以得到特征图(例如,像素点矩阵)。所得到的特征图中的每个特征点(例如,像素点)具有相应的特征值(例如,像素值)。
原图像经过预处理之后得到原图特征图,每帧附加图像经过预处理之后得到一个附加特征图。
在步骤404,可以将在步骤402获得的多个特征图对齐。
具体而言,可将每个附加特征图与原图特征图对齐,即,将每个附加特征图中的每个特征点与原图特征图的对应特征点对齐。
由于拍摄过程中手抖动等原因,附加图像的像素点与原图的像素点之间可能存在偏移,因此需要将附加特征图与原图特征图对齐以用于后续准确地进行多图像融合。
可针对原图特征图中的每个特征点,确定每一个附加特征图中的匹配特征点。
例如,每个特征图可被表示为特征点(例如,像素点)阵列的形式,每个特征点具有特征值(例如,像素值)。
对于每个附加特征图与原图特征图的对齐,可以针对原图特征图中的每个特征点(m,n),分别计算原图特征图中该特征点(m,n)的特征值与该附加特征图中的特征点(m,n)周围预定范围内的每个特征点的特征值之差。该预定范围可以是以该特征点为中心的方块(例如3×3、5×5方块等)、以该特征点为中心的圆形或其他形状。可选取附加特征图中预定范围内与原图的特征值之差最小的特征点为与原图特征图中的特征点(m,n)相匹配的特征点。
例如,针对原图特征图中的特征点(7,9),可以查找附加特征图中的特征点(7,9)周围预定范围(3×3方块)内的9个特征点(6,8)、(6,9)、(6,10)、(7,8)、(7,9)、(7,10)、(8,8)、(8,9)、(8,10);分别计算附加特征图中这9个特征点的特征值与原图特征图中的特征点(7,9)的特征值之差。如果附加特征图中的特征点(6,9)的特征值与原图特征图中的特征点(7,9)的特征值之差最小,则可确定附加特征图中的特征点(6,9)为与原图特征图中的特征点(7,9)相匹配的特征点。
通过确定附加特征图中与原图特征图中的每个特征点相匹配的特征点,实现了该附加特征图与原图特征图的对齐。
在步骤406,可以将经对齐的原图特征图和附加特征图进行融合。
具体而言,针对原图特征图中的每一个特征点,可将该特征点的特征值与每个附加特征图中的对应特征点的特征值进行融合处理,例如,取平均值、加权求和等等,以得到融合特征值。所有特征点及其融合特征值组成了融合特征图。
在一个示例中,可以检测每个图像(包括原图像和附加图像)的质量以确定该图像的质量分。在加权求和的过程中,对于质量分较高的图像,对其特征图中的特征点应用较高的权重;对于质量分较低的图像,对其特征图中的特征点应用较低的权重。换言之,对每帧图像中的特征点赋予的权重与其质量分成正比。由此对原图特征图和附加特征图进行加权求和,以得到融合特征图。
在步骤408,对融合特征图进行后处理。
步骤408的后处理可包括对融合特征图进行步骤402中预处理的逆操作,例如,解码、解压缩,从而得到新图像。
在另一实施例中,可以使用深度学习模型(多帧处理模型)来进行多帧图像处理。
例如,可以采集历史原图像以及与其相关联的多帧附加图像、该历史原图像以及与其相关联的多帧附加图像经多帧图像处理(例如,使用图4所示的方法)后得到的新图像,并且使用该历史原图像、多帧附加图像和新图像作为训练数据来训练多帧处理模型。
随后可使用经训练的多帧处理模型对新捕获的原图像及其多个附加图像进行处理以得到对应的新图像。
在又一实施例中,可以根据原图像的质量分来确定要用于进行多帧图像处理的附加图像的数目。
例如,如果原图像的质量分较高,则可以使用较少的附加图像进行多帧图像处理,由此降低多帧图像处理的处理量。
如果原图像的质量分较低,则可以使用较多的附加图像进行多帧图像处理,以力图对原图像进行更大程度的信息增益,以提升新图像的清晰度。
在一示例中,可以将原图像的质量分与第二阈值进行比较。如果原图像的质量分高于第二阈值,则可使用第一数目的附加图像进行多帧处理。如果原图像的质量分低于第二阈值,则可使用第二数目的附加图像进行多帧处理,其中第二数目大于第一数目。
在又一示例中,可以要用于进行多帧图像处理的附加图像的数目可以是原图像的质量分的函数,例如,与原图像的质量分成反比。
回到图3,在步骤312,可检测新图像的质量。
可按照与步骤304相同的方法来检测新图像的质量以得到新图像的质量分。
在步骤314,可将新图像的质量分与原图像的质量分进行比较。
如果新图像的质量分高于原图像的质量分,则返回新图像进行后续处理(例如,文本识别)。
如果新图像的质量分低于原图像的质量分,则返回原图像进行后续处理。可任选地,也可不返回原图像,而是提示用户重新拍摄图像。
本公开的技术方案改变了现有理赔业务中对低质量图像进行简单拦截的思路,而是用多帧拍摄进行图像质量增强,帮助获得更高质量的图像,降低了用户的拍摄要求,减少了用户的重拍次数。经过实验,超过30%的低质量图像经由本公开的技术方案之后得到了提升。
图5是根据本公开的各方面的用于图像处理的装置的示图。
如图5所示,用于图像处理的装置包括图像获取模块501、新图像生成模块502、图像选择模块503。
图像获取模块501可以获取第一图像以及与第一图像相关的多帧附加图像。
该多帧附加图像在第一图像前捕获,并且第一图像和该多帧附加图像的相邻两帧图像之间的捕获间隔可以为20ms。
在一方面,所获取的多帧附加图像的帧数是根据所述第一图像的质量分来确定的。
新图像生成模块502可以对第一图像和该多帧附加图像进行处理以生成第二图像。
在一方面,新图像生成模块502可以将第一图像与该多帧附加图像对齐;以及处理经对齐的第一图像和该多帧附加图像以生成第二图像。
例如,新图像生成模块502可以针对第一图像中的每个特征点,确定每帧附加图像中的对应特征点;以及针对第一图像中的每个特征点,将该特征点的特征值与每帧附加图像中的对应特征点的特征值进行加权求和,以得到第二图像中的对应特征点的特征值。在一方面,对每帧图像中的特征点赋予的权重与其质量分成正比。
在另一方面,新图像生成模块502可以使用深度神经网络对第一图像和该多帧附加图像进行去模糊处理,其中该深度神经网络是使用第一训练图像、与该第一训练图像相关的多个附加训练图像以及与该第一训练图像相关的清晰图像来训练的。
图像选择模块503可以根据第一图像和第二图像的质量分来选择第一图像或第二图像进行后续处理。
图像选择模块503可以确定第一图像和第二图像的质量分。例如,可以使用深度神经忘了来确定第一图像和第二图像的质量分。
在一方面,图像选择模块503可以确定第一图像的质量分并将其与第一阈值进行比较;如果第一图像的质量分低于第一阈值,则对第一图像和该多帧附加图像进行处理以生成第二图像;以及如果第一图像的质量分高于第一阈值,则返回第一图像。
在另一方面,图像选择模块503可以将第一图像的质量分与第二图像的质量分进行比较;如果第一图像的质量分高于第二图像的质量分,则选择第一图像;以及如果第一图像的质量分低于第二图像的质量分,则选择第二图像。
在可任选方面,装置还可以包括文本识别模块(未示出),其可以从所选择的图像中提取文本信息。
经过实验证明,在测试数据集上,本公开的多帧图像处理将图像清晰度提升了6%,OCR准确率提升了6%,提升了图像的处理质量和效率。
本文结合附图阐述的说明描述了示例配置而不代表可被实现或者落在权利要求的范围内的所有示例。本文所使用的术语“示例性”意指“用作示例、实例或解说”,而并不意指“优于”或“胜过其他示例”。本详细描述包括具体细节以提供对所描述的技术的理解。然而,可以在没有这些具体细节的情况下实践这些技术。在一些实例中,众所周知的结构和设备以框图形式示出以避免模糊所描述的示例的概念。
在附图中,类似组件或特征可具有相同的附图标记。此外,相同类型的各个组件可通过在附图标记后跟随短划线以及在类似组件之间进行区分的第二标记来加以区分。如果在说明书中仅使用第一附图标记,则该描述可应用于具有相同的第一附图标记的类似组件中的任何一个组件而不论第二附图标记如何。
结合本文中的公开描述的各种解说性框以及模块可以用设计成执行本文中描述的功能的通用处理器、DSP、ASIC、FPGA或其他可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其任何组合来实现或执行。通用处理器可以是微处理器,但在替换方案中,处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可被实现为计算设备的组合(例如,DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器,或者任何其他此类配置)。
本文中所描述的功能可以在硬件、由处理器执行的软件、固件、或其任何组合中实现。如果在由处理器执行的软件中实现,则各功能可以作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。其他示例和实现落在本公开及所附权利要求的范围内。例如,由于软件的本质,以上描述的功能可使用由处理器执行的软件、硬件、固件、硬连线或其任何组合来实现。实现功能的特征也可物理地位于各种位置,包括被分布以使得功能的各部分在不同的物理位置处实现。另外,如本文(包括权利要求中)所使用的,在项目列举(例如,以附有诸如“中的至少一个”或“中的一个或多个”之类的措辞的项目列举)中使用的“或”指示包含性列举,以使得例如A、B或C中的至少一个的列举意指A或B或C或AB或AC或BC或ABC(即,A和B和C)。同样,如本文所使用的,短语“基于”不应被解读为引述封闭条件集。例如,被描述为“基于条件A”的示例性步骤可基于条件A和条件B两者而不脱离本公开的范围。换言之,如本文所使用的,短语“基于”应当以与短语“至少部分地基于”相同的方式来解读。
计算机可读介质包括非瞬态计算机存储介质和通信介质两者,其包括促成计算机程序从一地向另一地转移的任何介质。非瞬态存储介质可以是能被通用或专用计算机访问的任何可用介质。作为示例而非限定,非瞬态计算机可读介质可包括RAM、ROM、电可擦除可编程只读存储器(EEPROM)、压缩盘(CD)ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能被用来携带或存储指令或数据结构形式的期望程序代码手段且能被通用或专用计算机、或者通用或专用处理器访问的任何其他非瞬态介质。任何连接也被正当地称为计算机可读介质。例如,如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来的,则该同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文所使用的盘(disk)和碟(disc)包括CD、激光碟、光碟、数字通用碟(DVD)、软盘和蓝光碟,其中盘常常磁性地再现数据而碟用激光来光学地再现数据。以上介质的组合也被包括在计算机可读介质的范围内。
提供本文的描述是为了使得本领域技术人员能够制作或使用本公开。对本公开的各种修改对于本领域技术人员将是显而易见的,并且本文中定义的普适原理可被应用于其他变形而不会脱离本公开的范围。由此,本公开并非被限定于本文所描述的示例和设计,而是应被授予与本文所公开的原理和新颖特征相一致的最广范围。

Claims (21)

1.一种图像处理方法,包括:
获取第一图像以及与所述第一图像相关的多帧附加图像;
对所述第一图像和所述多帧附加图像进行处理以生成第二图像;以及
根据所述第一图像和所述第二图像的质量分来选择所述第一图像或所述第二图像进行后续处理。
2.如权利要求1所述的方法,其中对所述第一图像和所述多帧附加图像进行处理以生成第二图像包括:
将所述第一图像与所述多帧附加图像对齐;以及
处理经对齐的所述第一图像和所述多帧附加图像以生成所述第二图像。
3.如权利要求2所述的方法,其中对所述第一图像和所述多帧附加图像进行处理以生成第二图像包括:
针对所述第一图像中的每个特征点,确定每帧附加图像中的对应特征点;以及
针对所述第一图像中的每个特征点,将该特征点的特征值与每帧附加图像中的对应特征点的特征值进行加权求和,以得到所述第二图像中的对应特征点的特征值。
4.如权利要求3所述的方法,其中对每帧图像中的特征点赋予的权重与其质量分成正比。
5.如权利要求1所述的方法,其中对所述第一图像和所述多帧附加图像进行处理以生成第二图像包括:
使用深度神经网络对所述第一图像和所述多帧附加图像进行去模糊处理,
其中所述深度神经网络是使用第一训练图像、与所述第一训练图像相关的多个附加训练图像以及与所述第一训练图像相关的清晰图像来训练的。
6.如权利要求1所述的方法,进一步包括,
确定所述第一图像的质量分并将其与第一阈值进行比较;
如果所述第一图像的质量分低于第一阈值,则对所述第一图像和所述多帧附加图像进行处理以生成第二图像;以及
如果所述第一图像的质量分高于第一阈值,则返回所述第一图像。
7.如权利要求1所述的方法,其中选择所述第一图像或所述第二图像包括:
将所述第一图像的质量分与所述第二图像的质量分进行比较;
如果所述第一图像的质量分高于所述第二图像的质量分,则选择所述第一图像;以及
如果所述第一图像的质量分低于所述第二图像的质量分,则选择所述第二图像。
8.如权利要求1所述的方法,其中,所述多帧附加图像在所述第一图像前捕获,并且所述第一图像和所述多帧附加图像的相邻两帧图像之间的捕获间隔为20ms。
9.如权利要求1所述的方法,进一步包括:
从所选择的图像中提取文本信息。
10.如权利要求1所述的方法,其中,所获取的多帧附加图像的帧数是根据所述第一图像的质量分来确定的。
11.一种图像处理装置,包括:
用于获取第一图像以及与所述第一图像相关的多帧附加图像的模块;
用于对所述第一图像和所述多帧附加图像进行处理以生成第二图像的模块;以及
用于根据所述第一图像和所述第二图像的质量分来选择所述第一图像或所述第二图像进行后续处理的模块。
12.如权利要求11所述的装置,其中用于对所述第一图像和所述多帧附加图像进行处理以生成第二图像的模块包括:
用于将所述第一图像与所述多帧附加图像对齐的模块;以及
用于处理经对齐的所述第一图像和所述多帧附加图像以生成所述第二图像的模块。
13.如权利要求12所述的装置,其中用于对所述第一图像和所述多帧附加图像进行处理以生成第二图像的模块包括:
用于针对所述第一图像中的每个特征点,确定每帧附加图像中的对应特征点的模块;以及
用于针对所述第一图像中的每个特征点,将该特征点的特征值与每帧附加图像中的对应特征点的特征值进行加权求和,以得到所述第二图像中的对应特征点的特征值的模块。
14.如权利要求13所述的装置,其中对每帧图像中的特征点赋予的权重与其质量分成正比。
15.如权利要求11所述的装置,其中用于对所述第一图像和所述多帧附加图像进行处理以生成第二图像的模块包括:
用于使用深度神经网络对所述第一图像和所述多帧附加图像进行去模糊处理的模块,
其中所述深度神经网络是使用第一训练图像、与所述第一训练图像相关的多个附加训练图像以及与所述第一训练图像相关的清晰图像来训练的。
16.如权利要求11所述的装置,进一步包括,
用于确定所述第一图像的质量分并将其与第一阈值进行比较的模块;
用于如果所述第一图像的质量分低于第一阈值,则对所述第一图像和所述多帧附加图像进行处理以生成第二图像的模块;以及
用于如果所述第一图像的质量分高于第一阈值,则返回所述第一图像的模块。
17.如权利要求11所述的装置,其中用于选择所述第一图像或所述第二图像包括:
用于将所述第一图像的质量分与所述第二图像的质量分进行比较的模块;
用于如果所述第一图像的质量分高于所述第二图像的质量分,则选择所述第一图像的模块;以及
用于如果所述第一图像的质量分低于所述第二图像的质量分,则选择所述第二图像的模块。
18.如权利要求11所述的装置,其中,所述多帧附加图像在所述第一图像前捕获,并且所述第一图像和所述多帧附加图像的相邻两帧图像之间的捕获间隔为20ms。
19.如权利要求11所述的装置,进一步包括:
用于从所选择的图像中提取文本信息的模块。
20.如权利要求11所述的装置,其中,所获取的多帧附加图像的帧数是根据所述第一图像的质量分来确定的。
21.一种装置,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行以下操作:
获取第一图像以及与所述第一图像相关的多帧附加图像;
对所述第一图像和所述多帧附加图像进行处理以生成第二图像;以及
根据所述第一图像和所述第二图像的质量分来选择所述第一图像或所述第二图像进行后续处理。
CN202110659375.9A 2021-06-15 2021-06-15 多帧图像处理方法和装置 Pending CN113379633A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110659375.9A CN113379633A (zh) 2021-06-15 2021-06-15 多帧图像处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110659375.9A CN113379633A (zh) 2021-06-15 2021-06-15 多帧图像处理方法和装置

Publications (1)

Publication Number Publication Date
CN113379633A true CN113379633A (zh) 2021-09-10

Family

ID=77574385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110659375.9A Pending CN113379633A (zh) 2021-06-15 2021-06-15 多帧图像处理方法和装置

Country Status (1)

Country Link
CN (1) CN113379633A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109729279A (zh) * 2018-12-20 2019-05-07 华为技术有限公司 一种图像拍摄方法和终端设备
CN110233970A (zh) * 2019-06-27 2019-09-13 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110838088A (zh) * 2018-08-15 2020-02-25 Tcl集团股份有限公司 一种基于深度学习的多帧降噪方法、装置及终端设备
CN110992284A (zh) * 2019-11-29 2020-04-10 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备和计算机可读存储介质
CN111340731A (zh) * 2020-02-27 2020-06-26 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN112367459A (zh) * 2020-10-23 2021-02-12 深圳市锐尔觅移动通信有限公司 图像处理方法、电子装置及非易失性计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110838088A (zh) * 2018-08-15 2020-02-25 Tcl集团股份有限公司 一种基于深度学习的多帧降噪方法、装置及终端设备
CN109729279A (zh) * 2018-12-20 2019-05-07 华为技术有限公司 一种图像拍摄方法和终端设备
CN110233970A (zh) * 2019-06-27 2019-09-13 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110992284A (zh) * 2019-11-29 2020-04-10 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备和计算机可读存储介质
CN111340731A (zh) * 2020-02-27 2020-06-26 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN112367459A (zh) * 2020-10-23 2021-02-12 深圳市锐尔觅移动通信有限公司 图像处理方法、电子装置及非易失性计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIU YU,ET AL,: "《Quality aware network for set to set recognition》", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, 31 December 2017 (2017-12-31), pages 5790 - 5799 *

Similar Documents

Publication Publication Date Title
CN109766890B (zh) 信息识别方法、设备和***
EP3579180A1 (en) Image processing method and apparatus, electronic device and non-transitory computer-readable recording medium for selective image enhancement
CN109413411B (zh) 一种监控线路的黑屏识别方法、装置及服务器
US11216685B2 (en) Dynamically optimizing photo capture for multiple subjects
KR102321397B1 (ko) 생동감 평가에 근거하는 비디오 스푸핑 검출을 위한 시스템 및 프로세스
CN110427810B (zh) 视频定损方法、装置、拍摄端及机器可读存储介质
CN103198311A (zh) 基于拍摄的图像来识别字符的方法及装置
CN111833285B (zh) 图像处理方法、图像处理装置及终端设备
CN111126098A (zh) 证件图像采集方法、装置、设备及存储介质
CN114387548A (zh) 视频及活体检测方法、***、设备、存储介质及程序产品
CN111079687A (zh) 证件伪装识别方法、装置、设备及存储介质
CN111192241A (zh) 一种人脸图像的质量评估方法、装置及计算机存储介质
JP2014174803A (ja) パターン認識のためのモアレ除去方法およびこの方法を用いたモアレ除去装置ならびにプログラム
CN112052702A (zh) 一种识别二维码的方法和装置
CN115018565A (zh) 一种广告传媒图像识别方法、***、设备及可读存储介质
CN114005019B (zh) 一种翻拍图像识别方法及其相关设备
CN113379713B (zh) 证件图像的检测方法及其装置
CN111178347B (zh) 证件图像的模糊度检测方法、装置、设备及存储介质
CN112101296A (zh) 人脸注册方法、人脸验证方法、装置及***
CN113379633A (zh) 多帧图像处理方法和装置
CN111079624A (zh) 一种样本信息采集的方法、装置、电子设备以及介质
CN115860026A (zh) 条码检测方法、装置、条码检测设备和可读存储介质
US11544833B1 (en) System and method for capturing by a device an image of a light colored object on a light colored background for uploading to a remote server
Bui et al. Predicting mobile-captured document images sharpness quality
CN112036342A (zh) 单证抓拍方法、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211220

Address after: Room 610, floor 6, No. 618, Wai Road, Huangpu District, Shanghai 200010

Applicant after: Ant Shengxin (Shanghai) Information Technology Co.,Ltd.

Address before: 801-11, Section B, 8th floor, No. 556, Xixi Road, Xihu District, Hangzhou City, Zhejiang Province, 310023

Applicant before: Alipay (Hangzhou) Information Technology Co.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20210910

RJ01 Rejection of invention patent application after publication