CN114863245B - 图像处理模型的训练方法和装置、电子设备及介质 - Google Patents

图像处理模型的训练方法和装置、电子设备及介质 Download PDF

Info

Publication number
CN114863245B
CN114863245B CN202210582857.3A CN202210582857A CN114863245B CN 114863245 B CN114863245 B CN 114863245B CN 202210582857 A CN202210582857 A CN 202210582857A CN 114863245 B CN114863245 B CN 114863245B
Authority
CN
China
Prior art keywords
image
sample
pooling
network
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210582857.3A
Other languages
English (en)
Other versions
CN114863245A (zh
Inventor
何小臻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202210582857.3A priority Critical patent/CN114863245B/zh
Publication of CN114863245A publication Critical patent/CN114863245A/zh
Application granted granted Critical
Publication of CN114863245B publication Critical patent/CN114863245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种图像处理模型的训练方法和装置、电子设备及介质，属于人工智能技术领域。该方法包括：获取样本图像；对样本图像进行数据增强处理，得到第一图像；将第一图像输入至预设的神经网络模型中，其中，神经网络模型包括轻量化网络、池化网络、解码网络；通过轻量化网络对第一图像进行特征提取，得到样本图像特征图；通过池化网络对样本图像特征图进行池化处理，得到样本池化特征；通过解码网络对样本池化特征进行概率计算，得到样本字段概率值；根据样本字段概率值对神经网络模型的损失函数进行优化，得到图像处理模型。本申请实施例能够有效地减小模型大小，使得模型能够被部署在移动端设备上，提高了模型的适用性。

Description

图像处理模型的训练方法和装置、电子设备及介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种图像处理模型的训练方法和装置、电子设备及介质。
背景技术
目前，大多数图像处理方法依赖于神经网络模型，而神经网络模型的训练往往需要占用较大的计算资源和存储空间，无法很好地应用于移动端设备上。因此如何提供一种轻量化的模型，使得模型能够被部署在移动端设备上，成为了亟待解决的技术问题。
发明内容
本申请实施例的主要目的在于提出一种图像处理模型的训练方法和装置、电子设备及介质，旨在减小模型的结构，使得模型能够被部署在移动端设备上。
为实现上述目的，本申请实施例的第一方面提出了一种图像处理模型的训练方法，所述方法包括：
获取样本图像；
对所述样本图像进行数据增强处理，得到第一图像；
将所述第一图像输入至预设的神经网络模型中，其中，所述神经网络模型包括轻量化网络、池化网络、解码网络；
通过所述轻量化网络对所述第一图像进行特征提取，得到样本图像特征图；
通过所述池化网络对所述样本图像特征图进行池化处理，得到样本池化特征；
通过所述解码网络对所述样本池化特征进行概率计算，得到样本字段概率值；
根据所述样本字段概率值对所述神经网络模型的损失函数进行优化，得到图像处理模型。
在一些实施例，所述对所述样本图像进行数据增强处理，得到第一图像的步骤，包括：
从预设字典中抽取参考字符，并对所述参考字符进行拼接处理，得到参考文本；
根据预设的图像风格对所述参考文本和所述样本图像进行融合处理，得到中间图像；
根据预设的增强方式对所述中间图像进行增强处理，得到所述第一图像。
在一些实施例，所述通过所述轻量化网络对所述第一图像进行特征提取，得到样本图像特征图的步骤，包括：
通过所述轻量化网络对所述第一图像进行卷积处理，得到第一图像特征图；
对所述第一图像特征图进行下采样处理，得到所述样本图像特征图。
在一些实施例，所述通过所述解码网络对所述样本池化特征进行概率计算，得到样本字段概率值的步骤，包括：
通过预设函数对所述样本池化特征进行字段概率计算，得到第一字段概率值；
对所述第一字段概率值进行筛选处理，得到所述样本字段概率值。
为实现上述目的，本申请实施例的第二方面提出了一种图像处理方法，所述方法包括：
获取待处理的目标图像；
将所述目标图像输入至图像处理模型进行图像识别处理，得到所述目标图像对应的目标文本信息，其中，所述图像处理模型根据如第一方面任一项所述的训练方法训练得到。
在一些实施例，所述图像处理模型包括轻量化网络、池化网络以及解码网络，所述将所述目标图像输入至图像处理模型进行图像识别处理，得到所述目标图像对应的目标文本信息的步骤，包括：
通过所述轻量化网络对所述目标图像进行特征提取，得到目标图像特征图；
通过所述池化网络对所述目标图像特征图进行池化处理，得到目标池化特征；
通过所述解码网络的预设函数对所述目标池化特征进行预测处理，得到目标概率向量，并根据所述目标概率向量得到所述目标文本信息。
为实现上述目的，本申请实施例的第三方面提出了一种图像处理模型的训练装置，所述装置包括：
第一图像获取模块，用于获取样本图像；
数据增强模块，用于对所述样本图像进行数据增强处理，得到第一图像；
输入模块，用于将所述第一图像输入至预设的神经网络模型中，其中，所述神经网络模型包括轻量化网络、池化网络、解码网络；
特征提取模块，用于通过所述轻量化网络对所述第一图像进行特征提取，得到样本图像特征图；
池化模块，用于通过所述池化网络对所述样本图像特征图进行池化处理，得到样本池化特征；
概率计算模块，用于通过所述解码网络对所述样本池化特征进行概率计算，得到样本字段概率值；
训练模块，用于根据所述样本字段概率值对所述神经网络模型的损失函数进行优化，得到图像处理模型。
为实现上述目的，本申请实施例的第四方面提出了一种图像处理装置，所述装置包括：
第二图像获取模块，用于获取待处理的目标图像；
图像识别模块，用于将所述目标图像输入至图像处理模型进行图像识别处理，得到所述目标图像对应的目标文本信息，其中，所述图像处理模型根据如第一方面任一项所述的训练方法训练得到。
为实现上述目的，本申请实施例的第五方面提出了一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现上述第一方面或者第二方面所述的方法。
为实现上述目的，本申请实施例的第六方面提出了一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面或者第二方面所述的方法。
本申请提出的图像处理模型的训练方法、图像处理方法、图像处理模型的训练装置、图像处理装置、电子设备及存储介质，其通过获取样本图像；并对样本图像进行数据增强处理，得到第一图像，能够提高用于训练的第一图像的图像质量，从而在训练过程中提高模型的泛化能力。进一步地，将第一图像输入至预设的神经网络模型中，其中，神经网络模型包括轻量化网络、池化网络、解码网络；通过轻量化网络对第一图像进行特征提取，得到样本图像特征图；通过池化网络对样本图像特征图进行池化处理，得到样本池化特征；通过解码网络对样本池化特征进行概率计算，得到样本字段概率值，能够对神经网络模型的特征提取部分和池化部分进行轻量化设计，有效地减小模型的结构。最后，根据样本字段概率值对神经网络模型的损失函数进行优化，得到图像处理模型，能够使得模型专注于对样本字段概率值的学习，并根据学习结果对损失函数进行优化，从而提高模型的鲁棒性。本申请实施例通过对神经网络模型的部分网络进行轻量化设计，能够有效地减小模型大小，使得模型能够被部署在移动端设备上，提高了模型的适用性。
附图说明
图1是本申请实施例提供的图像处理模型的训练方法的流程图；
图2是图1中的步骤S102的流程图；
图3是图1中的步骤S104的流程图；
图4是图1中的步骤S106的流程图；
图5是本申请实施例提供的图像处理方法的流程图；
图6是图5中的步骤S502的流程图；
图7是本申请实施例提供的图像处理模型的训练装置的结构示意图；
图8是本申请实施例提供的图像处理装置的结构示意图；
图9是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
首先，对本申请中涉及的若干名词进行解析：
人工智能(Artificial Intelligence，AI)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用***的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家***等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
自然语言处理(Natural Language Processing，NLP)：NLP用计算机来处理、理解以及运用人类语言(如中文、英文等)，NLP属于人工智能的一个分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学。自然语言处理包括语法分析、语义分析、篇章理解等。自然语言处理常用于机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息意图识别、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等技术领域，它涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。
信息抽取(Information Extraction)：从自然语言文本中抽取指定类型的实体、关系、事件等事实信息，并形成结构化数据输出的文本处理技术。信息抽取是从文本数据中抽取特定信息的一种技术。文本数据是由一些具体的单位构成的，例如句子、段落、篇章，文本信息正是由一些小的具体的单位构成的，例如字、词、词组、句子、段落或是这些具体的单位的组合。抽取文本数据中的名词短语、人名、地名等都是文本信息抽取，当然，文本信息抽取技术所抽取的信息可以是各种类型的信息。
电子计算机断层扫描(Computed Tomography，CT)：它是利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描，具有扫描时间快，图像清晰等特点，可用于多种疾病的检查；根据所采用的射线不同可分为：X射线CT(X-CT)以及γ射线CT(γ-CT)等。
磁共振成像(Magnetic Resonance Imaging，MRI)核磁共振是一种物理现象，作为一种分析手段广泛应用于物理、化学生物等领域，到1973年才将它用于医学临床检测。为了避免与核医学中放射成像混淆，把它称为磁共振成像术(MRI)。MRI通过对静磁场中的人体施加某种特定频率的射频脉冲，使人体中的氢质子受到激励而发生磁共振现象。停止脉冲后，质子在弛豫过程中产生MR信号。通过对MR信号的接收、空间编码和图像重建等处理过程，即产生MR信号。
数据增强(Data Augmentation)：是一种数据扩充技术,指的是利用有限的数据创造尽可能多的利用价值。数据增强是在不实质性的增加数据的情况下，从原始数据加工出更多的表示，提高原始数据的数量及质量，以接近于更多数据量产生的价值。其原理是通过对原始数据融入先验知识，加工出更多数据的表示，有助于模型判别数据中统计噪声，减少模型的过拟合程度。
轻量化网络：是指在保持模型精度的基础上，进一步减少模型参数量和复杂度的一种技术。它既包括了对网络结构的探索，又有知识蒸馏、模型剪枝、模型量化等模型压缩技术的运用。
线性整流函数(Linear Rectification Function):又称修正线性单元，是一种人工神经网络中常用的激活函数(Activation Function)，通常指代以斜坡函数及其变种为代表的非线性函数。
图像上采样(Upsampling)：图像上采样是指放大图像，也称图像插值(Interpolating)，其主要目的在于放大原图像,从而使图像可以显示在更高分辨率的显示设备上。上采样原理：图像放大几乎都是采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法***新的元素。插值算法主要包括基于边缘的图像插值算法和基于区域的图像插值算法。
图像下采样(Subsampled)：图像下采样是指缩小图像，也称降采样(Downsampled)，其主要目的在于使得图像符合显示区域的大小，以及生成对应图像的缩略图。下采样原理：对于一幅图像I尺寸为M*N，对其进行s倍下采样，即得到(M/s)*(N/s)尺寸的得分辨率图像，当然s应该是M和N的公约数才行，如果考虑的是矩阵形式的图像，就是把原始图像s*s窗口内的图像变成一个像素，这个像素点的值就是窗口内所有像素的均值。
池化(Pooling)：本质上是一种采样，对输入的特征图选取某一种方式进行降维处理和压缩处理，以加快运算速度，采用较多的池化过程为最大池化(Max Pooling)。
解码(Decoder)：就是将之前生成的固定向量再转化成输出序列；其中，输入序列可以是文字、语音、图像、视频；输出序列可以是文字、图像。
Softmax函数：Softmax函数是归一化指数函数，能将一个含任意实数的K维向量z“压缩”到另一个K维实向量中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1，该函数常用于多分类问题中。
反向传播：反向传播的大致原理为：将训练集数据输入到神经网络的输入层，经过神经网络的隐藏层，最后达到神经网络的输出层并输出结果；由于神经网络的输出结果与实际结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；在反向传播的过程中，根据误差调整各种参数的值；不断迭代上述过程，直至收敛。
目前，大多数图像处理方法依赖于神经网络模型，而神经网络模型的训练往往需要占用较大的计算资源和存储空间，无法很好地应用于移动端设备上。因此如何提供一种轻量化的模型，使得模型能够被部署在移动端设备上，成为了亟待解决的技术问题。
基于此，本申请实施例提供了一种图像处理模型的训练方法、图像处理方法、图像处理模型的训练装置、图像处理装置、电子设备及存储介质，旨在减小模型的结构大小，使得模型能够被部署在移动端设备上，从而提高模型的适用性。
本申请实施例提供的图像处理模型的训练方法、图像处理方法、图像处理模型的训练装置、图像处理装置、电子设备及存储介质，具体通过如下实施例进行说明，首先描述本申请实施例中的图像处理模型的训练方法。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的图像处理模型的训练方法，涉及人工智能技术领域。本申请实施例提供的模型训练方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式***，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现图像处理方法的应用等，但并不局限于以上形式。
本申请可用于众多通用或专用的计算机***环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
第一方面，图1是本申请实施例提供的图像处理模型的训练方法的一个可选的流程图，图1中的方法可以包括但不限于包括步骤S101至步骤S107。
步骤S101，获取样本图像；
步骤S102，对样本图像进行数据增强处理，得到第一图像；
步骤S103，将第一图像输入至预设的神经网络模型中，其中，神经网络模型包括轻量化网络、池化网络、解码网络；
步骤S104，通过轻量化网络对第一图像进行特征提取，得到样本图像特征图；
步骤S105，通过池化网络对样本图像特征图进行池化处理，得到样本池化特征；
步骤S106，通过解码网络对样本池化特征进行概率计算，得到样本字段概率值；
步骤S107，根据样本字段概率值对神经网络模型的损失函数进行优化，得到图像处理模型。
本申请实施例所示意的步骤S101至步骤S107，通过获取样本图像；并对样本图像进行数据增强处理，得到第一图像，能够提高用于训练的第一图像的图像质量，从而在训练过程中提高模型的泛化能力。进一步地，将第一图像输入至预设的神经网络模型中，其中，神经网络模型包括轻量化网络、池化网络、解码网络；通过轻量化网络对第一图像进行特征提取，得到样本图像特征图；通过池化网络对样本图像特征图进行池化处理，得到样本池化特征；通过解码网络对样本池化特征进行概率计算，得到样本字段概率值，能够对神经网络模型的特征提取部分和池化部分进行轻量化设计，有效地减小模型的结构。最后，根据样本字段概率值对神经网络模型的损失函数进行优化，得到图像处理模型，能够使得模型专注于对样本字段概率值的学习，并根据学习结果对损失函数进行优化，从而提高模型的鲁棒性。本申请实施例通过对神经网络模型的部分网络进行轻量化设计，能够有效地减小模型大小，使得模型能够被部署在移动端设备上，提高了模型的适用性。
在一些实施例的步骤S101中，可以通过照相机拍摄或者摄像机拍摄得到样本图像，也可以是从各种类型的网络图像库中获取样本图像，还可以通过其他途径获取样本图像，其中，样本图像包括开源的文本图像等。
进一步地，在医学应用场景中，样本图像为医学影像，样本图像包含的对象所属类型为病灶，即机体上发生病变的部分。医学影像是指为了医疗或医学研究，以非侵入方式取得的内部组织，例如，胃部、腹部、心脏、膝盖、脑部的影像，比如，电子计算机断层扫描(Computed Tomography，CT)、磁共振成像(Magnetic Resonance Imaging，MRI)、超声(ultrasonic，US)、X光图像、脑电图以及光学摄影灯由医学仪器生成的图像。
请参阅图2，在一些实施例中，步骤S102可以包括但不限于包括步骤S201至步骤S203：
步骤S201，从预设字典中抽取参考字符，并对参考字符进行拼接处理，得到参考文本；
步骤S202，根据预设的图像风格对参考文本和样本图像进行融合处理，得到中间图像；
步骤S203，根据预设的增强方式对中间图像进行增强处理，得到第一图像。
在一些实施例的步骤S201中，从中文字库中收集一定数量的字符作为参考字符，将参考字符存储至预设的数据库中，将该数据库作为预设字典。根据实际的业务需求或者采用随机抽取的方式从预设字典中抽取一定数量的参考字符。进一步地，根据常用的语法规则以及参考字符的词性类型，对参考字符进行拼接处理，拼接处理的参考字符一般按照主谓宾的形式排列构成一个句子，从而根据多个句子形成参考文本。
在一些实施例的步骤S202中，预设的图像风格包括背景图像以及字体格式，背景图像可以是纯色图片或者是多种颜色组合形成的图片，例如，黑图等，字体格式可以是各种常用的字体，例如宋体、楷体等等。选取一种字体格式将参考文本生成在背景图像上，再将带有参考文本的背景图像作为背景图，将样本图像作为前景图，对背景图与前景图进行融合处理，形成完整的图像，即中间图像，其中，中间图像是文本图像。
在一些实施例的步骤S203中，预设的增强方式可以包括颜色变换、图像拉伸、图像模糊化以及色彩变换等等，例如，根据预设的亮度和饱和度对中间图像进行色彩增强，再将色彩增强之后的中间图像拉伸至预设的图像尺寸，得到第一图像，通过这一方式能够较好地提高样本图像的图像质量，使得样本图像符合训练需求。需要说明的是，第一图像可以是无语义的文本图像。
上述步骤S201至步骤S203可以通过开源的文本图像生成工具来实现，这一过程能够通过数据增强的方式有效地提高用于训练的第一图像的图像质量，从而在训练过程中提高模型的泛化能力。
在一些实施例的步骤S103中，将第一图像输入至预设的神经网络模型中，其中，神经网络模型包括轻量化网络、池化网络、解码网络，其中，轻量化网络可以由mobilnet_v3-small网络结构构建而成，相较于相关技术的CNN网络结构，mobilnet_v3-small网络结构的参数量更小，处理速度更快，能够使得神经网络模型的整体大小较大程度地被缩减，提高了模型的轻量化程度。轻量化网络主要用于对输入图像进行卷积处理，提取输入图像的图像特征。池化网络主要用于对提取到的图像特征进行池化处理，预测图像特征的语义信息，得到池化特征，解码网络主要用于对池化特征进行解码处理，推断出池化特征对应的语义内容，将池化特征解码成文字，从而生成输入图像对应的文本信息。
请参阅图3，在一些实施例中，步骤S104可以包括但不限于包括步骤S301至步骤S302：
步骤S301，通过轻量化网络对第一图像进行卷积处理，得到第一图像特征图；
步骤S302，对第一图像特征图进行下采样处理，得到样本图像特征图。
在一些实施例的步骤S301中，通过轻量化网络的第一卷积层对第一图像进行卷积处理，得到初始图像特征，再通过轻量化网络的第二卷积层对初始图像特征进行卷积处理，得到第一图像特征图，其中，第一卷积层的卷积核的尺寸为1*1，第二卷积层的卷积核的尺寸为3*3。
在一些实施例的步骤S302中，通过轻量化网络的池化层对第一图像特征图进行下采样处理，得到第一池化特征，并通过Relu函数等激活函数对第一池化特征进行激活处理，将第一池化特征映射到更高维度的向量空间，得到高维向量特征图，即样本图像特征图。
需要说明的是，Relu函数能够用于增加神经网络模型的各层之间的非线性关系。Relu函数本质上为分段线性函数，能够把所有的负值都变为0，而正值不变，这种操作称为单侧抑制。通过单侧抑制能够使得神经网络模型中的神经元具有稀疏激活性，即通过Relu函数能够使得神经网络模型更好地挖掘并学习深层次的相关特征，从而更好地拟合训练数据，提高模型的训练效果，优化模型性能。
在一些实施例的步骤S105中，通过池化网络对样本图像特征图进行池化处理时，可以采用全局平均池化的方式来处理，得到样本池化特征。具体地，通过全局平均池化的方式可以实现对样本图像特征图的降维处理，从而淡化样本池化特征之间的相对位置的组合关系，从而极大地减少神经网络模型的网络参数，实现对整个神经网络模型在结构上的正则化处理，能够有效地防止模型过拟合。
请参阅图4，在一些实施例中，步骤S106可以包括但不限于包括步骤S401至步骤S402：
步骤S401，通过预设函数对样本池化特征进行字段概率计算，得到第一字段概率值；
步骤S402，对第一字段概率值进行筛选处理，得到样本字段概率值。
在一些实施例的步骤S401中，预设函数为softmax函数，通过softmax函数对样本池化特征进行字段概率计算，得到样本池化特征对应每一参考文本的概率分布情况，根据概率分布情况得到每一参考文本对应的第一字段概率值。
在一些实施例的步骤S402中，通过概率分布情况反映样本池化特征对应的语义内容与参考文本的匹配程度，若第一字段概率值越大，则表明样本池化特征对应的语义内容与参考文本越接近，因此，对第一字段概率值进行筛选处理，选取数值最大的第一字段概率值作为样本字段概率值。
在一些实施例的步骤S107中，根据样本字段概率值对神经网络模型的损失函数进行优化，包括根据损失函数进行反向传播，更新损失函数的损失参数，以对损失函数进行优化。具体地，采用梯度下降法等等将样本字段概率值进行后向传播处理，修改神经网络模型的模型参数，直至模型损失满足预设的迭代条件，停止反向传播，从而将最后的模型参数作为最终的模型参数，从而实现对神经网络模型的更新，得到图像处理模型。其中，预设的迭代条件是可以迭代次数达到预设值，或者是损失函数的变化方差小于预设阈值，还可以是其他，不限于此。
本申请实施例，根据损失函数进行反向传播，以通过优化损失函数更新神经网络模型，更新神经网络模型的内部参数(也即损失参数)，得到图像处理模型。可以理解的是，反向传播原理可以应用常规的反向传播原理，本申请实施例不做限定。
本申请实施例的图像处理模型的训练方法，其通过获取样本图像；并对样本图像进行数据增强处理，得到第一图像，能够提高用于训练的第一图像的图像质量，从而在训练过程中提高模型的泛化能力。进一步地，将第一图像输入至预设的神经网络模型中，其中，神经网络模型包括轻量化网络、池化网络、解码网络；通过轻量化网络对第一图像进行特征提取，得到样本图像特征图；通过池化网络对样本图像特征图进行池化处理，得到样本池化特征；通过解码网络对样本池化特征进行概率计算，得到样本字段概率值，能够对神经网络模型的特征提取部分和池化部分进行轻量化设计，有效地减小模型的结构。最后，根据样本字段概率值对神经网络模型的损失函数进行优化，得到图像处理模型，能够使得模型专注于对样本字段概率值的学习，并根据学习结果对损失函数进行优化，从而提高模型的鲁棒性。本申请实施例通过对神经网络模型的部分网络进行轻量化设计，能够有效地减小模型大小，使得模型能够被部署在移动端设备上，提高了模型的适用性。
第二方面，图5是本申请实施例提供的图像处理方法的一个可选的流程图，图5中的方法可以包括但不限于包括步骤S501至步骤S502。
步骤S501，获取待处理的目标图像；
步骤S502，将目标图像输入至图像处理模型进行图像识别处理，得到目标图像对应的目标文本信息，其中，图像处理模型根据如第一方面实施例的训练方法训练得到。
在一些实施例的步骤S501中，可以通过照相机拍摄或者摄像机拍摄得到目标图像，也可以是从各种类型的网络图像库中获取目标图像，还可以通过其他途径获取目标图像，不限于此。
在一些实施例的步骤S502中，图像处理模型包括轻量化网络、池化网络以及解码网络，将目标图像输入至图像处理模型进行图像识别处理时，首先过轻量化网络对目标图像进行特征提取，得到目标图像特征图；再通过池化网络对目标图像特征图进行池化处理，得到目标池化特征，最后通过解码网络的预设函数对目标池化特征进行预测处理，得到目标概率向量，对目标概率向量进行解码处理，将目标概率向量转换为文字，得到目标字段。最后，对这一系列的目标字段进行拼接处理，得到目标文本信息，该目标文本信息可以用于表征目标图像的图像语义内容。
本申请实施例的图像处理方法，其通过训练得到的图像处理模型对输入的目标图像进行图像识别处理，得到目标图像对应的目标文本信息，能够提高图像的识别精度，使得根据目标图像的图像特征生成的文本信息更为准确。
请参阅图6，在一些实施例，图像处理模型包括轻量化网络、池化网络以及解码网络，步骤S502还包括但不限于包括步骤S601至步骤S603：
步骤S601，通过轻量化网络对目标图像进行特征提取，得到目标图像特征图；
步骤S602，通过池化网络对目标图像特征图进行池化处理，得到目标池化特征；
步骤S603，通过解码网络的预设函数对目标池化特征进行预测处理，得到目标概率向量，并根据目标概率向量得到目标文本信息。
在一些实施例的步骤S601中，通过轻量化网络对目标图像进行卷积处理，提取目标图像的图像特征，得到目标图像特征图。
在一些实施例的步骤S602中，通过池化网络对提取到的目标图像特征图进行池化处理，其中，池化处理可以是全局平均池化，这一方式能够较好地预测图像特征的语义信息，得到目标池化特征。
在一些实施例的步骤S603中，通过解码网络的预设函数对目标池化特征进行解码处理，推断出目标池化特征对应的语义内容，具体地，预设函数为softmax函数，通过softmax函数对目标池化特征进行字段概率计算，得到目标池化特征对应每一预设字段的概率分布情况(即初始概率向量)。通过概率分布情况反映目标池化特征对应的语义内容与预设字段的匹配程度，若初始概率向量越大，则表明目标池化特征对应的语义内容与预设字段越接近，因此，选取数值最大的初始概率向量作为目标概率向量，对目标概率向量进行解码处理，将目标概率向量转换为文字，得到目标字段。最后，对这一系列的目标字段进行拼接处理，得到目标文本信息，该目标文本信息可以用于表征目标图像的图像语义内容。
第三方面，请参阅图7，本申请实施例还提供一种图像处理模型的训练装置，可以实现上述图像处理模型的训练方法，该装置包括：
第一图像获取模块701，用于获取样本图像；
数据增强模块702，用于对样本图像进行数据增强处理，得到第一图像；
输入模块703，用于将第一图像输入至预设的神经网络模型中，其中，神经网络模型包括轻量化网络、池化网络、解码网络；
特征提取模块704，用于通过轻量化网络对第一图像进行特征提取，得到样本图像特征图；
池化模块705，用于通过池化网络对样本图像特征图进行池化处理，得到样本池化特征；
概率计算模块706，用于通过解码网络对样本池化特征进行概率计算，得到样本字段概率值；
训练模块707，用于根据样本字段概率值对神经网络模型的损失函数进行优化，得到图像处理模型。
在一些实施例中，数据增强模块702包括：
字符处理单元，用于从预设字典中抽取参考字符，并对参考字符进行拼接处理，得到参考文本；
融合单元，用于根据预设的图像风格对参考文本和样本图像进行融合处理，得到中间图像；
增强单元，用于根据预设的增强方式对中间图像进行增强处理，得到第一图像。
在一些实施例中，特征提取模块704包括：
卷积单元，用于通过轻量化网络对第一图像进行卷积处理，得到第一图像特征图；
采样单元，用于对第一图像特征图进行下采样处理，得到样本图像特征图。
在一些实施例中，概率计算模块706包括：
计算单元，用于通过预设函数对样本池化特征进行字段概率计算，得到第一字段概率值；
筛选单元，用于对第一字段概率值进行筛选处理，得到样本字段概率值。
该模型训练装置的具体实施方式与上述模型训练方法的具体实施例基本相同，在此不再赘述。
第四方面，请参阅图8，本申请实施例还提供一种图像处理装置，可以实现上述图像处理方法，该装置包括：
第二图像获取模块801，用于获取待处理的目标图像；
图像识别模块802，用于将目标图像输入至图像处理模型进行图像识别处理，得到目标图像对应的目标文本信息，其中，图像处理模型根据如第一方面实施例的图像处理模型的训练方法训练得到。
在一些实施例中，图像处理模型包括轻量化网络、池化网络以及解码网络，图像识别模块802包括：
提取单元，用于通过轻量化网络对目标图像进行特征提取，得到目标图像特征图；
池化单元，用于通过池化网络对目标图像特征图进行池化处理，得到目标池化特征；
预测单元，用于通过解码网络的预设函数对目标池化特征进行预测处理，得到目标概率向量，并根据目标概率向量得到目标文本信息。
该图像处理装置的具体实施方式与上述图像处理方法的具体实施例基本相同，在此不再赘述。
第五方面，本申请实施例还提供了一种电子设备，电子设备包括：存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线，程序被处理器执行时实现上述模型训练方法或者图像处理方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
请参阅图9，图9示意了另一实施例的电子设备的硬件结构，电子设备包括：
处理器901，可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；
存储器902，可以采用只读存储器(ReadOnlyMemory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory，RAM)等形式实现。存储器902可以存储操作***和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器902中，并由处理器901来调用执行本申请实施例的图像处理模型的训练方法或者图像处理方法；
输入/输出接口903，用于实现信息输入及输出；
通信接口904，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；
总线905，在设备的各个组件(例如处理器901、存储器902、输入/输出接口903和通信接口904)之间传输信息；
其中处理器901、存储器902、输入/输出接口903和通信接口904通过总线905实现彼此之间在设备内部的通信连接。
第六方面，本申请实施例还提供了一种存储介质，存储介质为计算机可读存储介质，用于计算机可读存储，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现上述图像处理模型的训练方法或者图像处理方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例提供的图像处理模型的训练方法、图像处理方法、图像处理模型的训练装置、图像处理装置、电子设备及存储介质，其通过获取样本图像；并对样本图像进行数据增强处理，得到第一图像，能够提高用于训练的第一图像的图像质量，从而在训练过程中提高模型的泛化能力。进一步地，将第一图像输入至预设的神经网络模型中，其中，神经网络模型包括轻量化网络、池化网络、解码网络；通过轻量化网络对第一图像进行特征提取，得到样本图像特征图；通过池化网络对样本图像特征图进行池化处理，得到样本池化特征；通过解码网络对样本池化特征进行概率计算，得到样本字段概率值，能够对神经网络模型的特征提取部分和池化部分进行轻量化设计，有效地减小模型的结构。最后，根据样本字段概率值对神经网络模型的损失函数进行优化，得到图像处理模型，能够使得模型专注于对样本字段概率值的学习，并根据学习结果对损失函数进行优化，从而提高模型的鲁棒性。本申请实施例通过对神经网络模型的部分网络进行轻量化设计，能够有效地减小模型大小，使得模型能够被部署在移动端设备上，提高了模型的适用性。通过训练得到的图像处理模型对输入的目标图像进行图像识别处理，得到目标图像对应的目标文本信息，能够提高图像的识别精度，使得根据目标图像的图像特征生成的文本信息更为准确。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本领域技术人员可以理解的是，图1-6中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims (8)

1.一种图像处理模型的训练方法，其特征在于，所述方法包括：
获取样本图像；
对所述样本图像进行数据增强处理，得到第一图像；
将所述第一图像输入至预设的神经网络模型中，其中，所述神经网络模型包括轻量化网络、池化网络、解码网络；
通过所述轻量化网络对所述第一图像进行特征提取，得到样本图像特征图；
通过所述池化网络对所述样本图像特征图进行池化处理，得到样本池化特征；
通过所述解码网络对所述样本池化特征进行概率计算，得到样本字段概率值；
根据所述样本字段概率值对所述神经网络模型的损失函数进行优化，得到图像处理模型；
其中，所述对所述样本图像进行数据增强处理，得到第一图像的步骤，包括：
从预设字典中抽取参考字符，并对所述参考字符进行拼接处理，得到参考文本；
根据预设的图像风格对所述参考文本和所述样本图像进行融合处理，得到中间图像；
根据预设的增强方式对所述中间图像进行增强处理，得到所述第一图像；
所述通过所述解码网络对所述样本池化特征进行概率计算，得到样本字段概率值的步骤，包括：
通过预设函数对所述样本池化特征进行字段概率计算，得到第一字段概率值；
对所述第一字段概率值进行筛选处理，得到所述样本字段概率值；
其中，所述通过预设函数对所述样本池化特征进行字段概率计算，得到第一字段概率值；对所述第一字段概率值进行筛选处理，得到所述样本字段概率值，包括：
通过所述预设函数对所述样本池化特征进行字段概率计算，得到用于指示所述样本池化特征对应的语义内容与参考文本的匹配程度的概率分布情况，并基于所述概率分布情况得到每个参考文本对应的第一字段概率值，其中，所述第一字段概率值越大，则所述样本池化特征对应的语义内容与参考文本越接近；
选取数值最大的第一字段概率值作为所述样本字段概率值。
2.根据权利要求1所述的训练方法，其特征在于，所述通过所述轻量化网络对所述第一图像进行特征提取，得到样本图像特征图的步骤，包括：
通过所述轻量化网络对所述第一图像进行卷积处理，得到第一图像特征图；
对所述第一图像特征图进行下采样处理，得到所述样本图像特征图。
3.一种图像处理方法，其特征在于，所述方法包括：
获取待处理的目标图像；
将所述目标图像输入至图像处理模型进行图像识别处理，得到所述目标图像对应的目标文本信息，其中，所述图像处理模型根据如权利要求1至2任一项所述的图像处理模型的训练方法训练得到。
4.根据权利要求3所述的图像处理方法，其特征在于，所述图像处理模型包括轻量化网络、池化网络以及解码网络，所述将所述目标图像输入至图像处理模型进行图像识别处理，得到所述目标图像对应的目标文本信息的步骤，包括：
通过所述轻量化网络对所述目标图像进行特征提取，得到目标图像特征图；
通过所述池化网络对所述目标图像特征图进行池化处理，得到目标池化特征；
通过所述解码网络的预设函数对所述目标池化特征进行预测处理，得到目标概率向量，并根据所述目标概率向量得到所述目标文本信息。
5.一种图像处理模型的训练装置，其特征在于，所述装置包括：
第一图像获取模块，用于获取样本图像；
数据增强模块，用于对所述样本图像进行数据增强处理，得到第一图像；
输入模块，用于将所述第一图像输入至预设的神经网络模型中，其中，所述神经网络模型包括轻量化网络、池化网络、解码网络；
特征提取模块，用于通过所述轻量化网络对所述第一图像进行特征提取，得到样本图像特征图；
池化模块，用于通过所述池化网络对所述样本图像特征图进行池化处理，得到样本池化特征；
概率计算模块，用于通过所述解码网络对所述样本池化特征进行概率计算，得到样本字段概率值；
训练模块，用于根据所述样本字段概率值对所述神经网络模型的损失函数进行优化，得到图像处理模型；
其中，所述对所述样本图像进行数据增强处理，得到第一图像，包括：
从预设字典中抽取参考字符，并对所述参考字符进行拼接处理，得到参考文本；
根据预设的图像风格对所述参考文本和所述样本图像进行融合处理，得到中间图像；
根据预设的增强方式对所述中间图像进行增强处理，得到所述第一图像；
所述通过所述解码网络对所述样本池化特征进行概率计算，得到样本字段概率值，包括：
通过预设函数对所述样本池化特征进行字段概率计算，得到第一字段概率值；
对所述第一字段概率值进行筛选处理，得到所述样本字段概率值；
其中，所述通过预设函数对所述样本池化特征进行字段概率计算，得到第一字段概率值；对所述第一字段概率值进行筛选处理，得到所述样本字段概率值，包括：
通过所述预设函数对所述样本池化特征进行字段概率计算，得到用于指示所述样本池化特征对应的语义内容与参考文本的匹配程度的概率分布情况，并基于所述概率分布情况得到每个参考文本对应的第一字段概率值，其中，所述第一字段概率值越大，则所述样本池化特征对应的语义内容与参考文本越接近；
选取数值最大的第一字段概率值作为所述样本字段概率值。
6.一种图像处理装置，其特征在于，所述装置包括：
第二图像获取模块，用于获取待处理的目标图像；
图像识别模块，用于将所述目标图像输入至图像处理模型进行图像识别处理，得到所述目标图像对应的目标文本信息，其中，所述图像处理模型根据如权利要求1至2任一项所述的训练方法训练得到。
7.一种电子设备，其特征在于，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如权利要求1至2任一项所述的图像处理模型的训练方法或者如权利要求3至4任一项所述的图像处理方法的步骤。
8.一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至2任一项所述的图像处理模型的训练方法或者如权利要求3至4任一项所述的图像处理方法的步骤。
CN202210582857.3A 2022-05-26 2022-05-26 图像处理模型的训练方法和装置、电子设备及介质 Active CN114863245B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210582857.3A CN114863245B (zh) 2022-05-26 2022-05-26 图像处理模型的训练方法和装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210582857.3A CN114863245B (zh) 2022-05-26 2022-05-26 图像处理模型的训练方法和装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN114863245A CN114863245A (zh) 2022-08-05
CN114863245B true CN114863245B (zh) 2024-06-04

Family

ID=82641187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210582857.3A Active CN114863245B (zh) 2022-05-26 2022-05-26 图像处理模型的训练方法和装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN114863245B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489682B1 (en) * 2017-12-21 2019-11-26 Automation Anywhere, Inc. Optical character recognition employing deep learning with machine generated training data
CN111832564A (zh) * 2020-07-20 2020-10-27 浙江诺诺网络科技有限公司 一种图像文字识别方法、***及电子设备和存储介质
CN114494703A (zh) * 2022-04-18 2022-05-13 成都理工大学 一种智能车间场景目标轻量级语义分割方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10289083A (ja) * 1997-04-10 1998-10-27 Internatl Business Mach Corp <Ibm> 情報処理装置および方法、並びに、制御プログラムを記録したコンピュータ読取り可能な記録媒体
CN106157341B (zh) * 2015-03-30 2019-05-14 阿里巴巴集团控股有限公司 生成合成图片的方法及装置
CN106599900B (zh) * 2015-10-20 2020-04-21 华中科技大学 一种识别图像中的字符串的方法和装置
CN109147890B (zh) * 2018-05-14 2020-04-24 平安科技（深圳）有限公司 一种医学报告的生成方法及设备
CN111191715A (zh) * 2019-12-27 2020-05-22 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111401375B (zh) * 2020-03-09 2022-12-30 苏宁云计算有限公司 文本识别模型训练方法、文本识别方法、装置及设备
CN111696110B (zh) * 2020-06-04 2022-04-01 山东大学 场景分割方法及***
US20220048733A1 (en) * 2020-08-17 2022-02-17 Mitsubishi Electric Research Laboratories, Inc. Contactless Elevator Service for an Elevator Based on Augmented Datasets
CN112288750B (zh) * 2020-11-20 2022-09-20 青岛理工大学 一种基于深度学习网络的机械装配体图像分割方法和设备
KR102349506B1 (ko) * 2021-06-08 2022-01-14 주식회사 산돌메타랩 폰트 인식을 위한 신경망 학습 데이터 생성 및 학습 결과를 반영한 생성 조건의 동적 설정 방법
CN114119621A (zh) * 2021-11-30 2022-03-01 云南电网有限责任公司输电分公司 基于深度编解码融合网络的sar遥感图像水域分割方法
CN114418834A (zh) * 2021-12-29 2022-04-29 北京字跳网络技术有限公司 一种文字生成方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489682B1 (en) * 2017-12-21 2019-11-26 Automation Anywhere, Inc. Optical character recognition employing deep learning with machine generated training data
CN111832564A (zh) * 2020-07-20 2020-10-27 浙江诺诺网络科技有限公司 一种图像文字识别方法、***及电子设备和存储介质
CN114494703A (zh) * 2022-04-18 2022-05-13 成都理工大学 一种智能车间场景目标轻量级语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
M Widiansyah,et al..Image segmentation of skin cancer using MobileNet as an encoder and linknet as a decoder.Journal of Physics: Conference Series.2021,第1-11页. *

Also Published As

Publication number Publication date
CN114863245A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
US10706333B2 (en) Medical image analysis method, medical image analysis system and storage medium
US11941807B2 (en) Artificial intelligence-based medical image processing method and medical device, and storage medium
CN114399454A (zh) 图像处理方法、装置、电子设备及存储介质
GB2571825A (en) Semantic class localization digital environment
WO2023165012A1 (zh) 问诊方法和装置、电子设备及存储介质
US11430123B2 (en) Sampling latent variables to generate multiple segmentations of an image
CN111755118B (zh) 医疗信息处理方法、装置、电子设备及存储介质
CN111429421A (zh) 模型生成方法、医学图像分割方法、装置、设备及介质
EP4336378A1 (en) Data processing method and related device
CN114723996A (zh) 模型的训练方法、图像描述生成方法和装置、设备、介质
EP4361843A1 (en) Neural network searching method and related device
CN112270200B (zh) 一种文本信息的翻译方法、装置、电子设备和存储介质
CN115239675A (zh) 分类模型的训练方法、图像分类方法和装置、设备及介质
CN111091010A (zh) 相似度确定、网络训练、查找方法及装置和存储介质
CN116129141A (zh) 医学数据处理方法、装置、设备、介质和计算机程序产品
CN111915542A (zh) 一种基于深度学习的图像内容描述方法及***
Chauhan et al. Convolution neural network for effective burn region segmentation of color images
CN114549859A (zh) 骨龄预测方法、装置、电子设备及存储介质
CN113935957A (zh) 医疗图像对比方法、装置、电子设备及存储介质
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
CN114781393B (zh) 图像描述生成方法和装置、电子设备及存储介质
CN114863245B (zh) 图像处理模型的训练方法和装置、电子设备及介质
CN114863521A (zh) 表情识别方法、表情识别装置、电子设备及存储介质
CN115205648A (zh) 图像分类方法、图像分类装置、电子设备及存储介质
CN114359194B (zh) 基于改进U-Net网络的多模态脑卒中梗死区域图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant