CN116977190A - 图像处理方法、装置、设备、存储介质及程序产品 - Google Patents
图像处理方法、装置、设备、存储介质及程序产品 Download PDFInfo
- Publication number
- CN116977190A CN116977190A CN202210398173.8A CN202210398173A CN116977190A CN 116977190 A CN116977190 A CN 116977190A CN 202210398173 A CN202210398173 A CN 202210398173A CN 116977190 A CN116977190 A CN 116977190A
- Authority
- CN
- China
- Prior art keywords
- image
- curve
- mapping curve
- feature representation
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 39
- 238000003860 storage Methods 0.000 title claims abstract description 33
- 238000013507 mapping Methods 0.000 claims abstract description 217
- 238000012937 correction Methods 0.000 claims abstract description 129
- 238000000034 method Methods 0.000 claims abstract description 89
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000004458 analytical method Methods 0.000 claims abstract description 34
- 230000008569 process Effects 0.000 claims description 36
- 230000009466 transformation Effects 0.000 claims description 27
- 230000011218 segmentation Effects 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 11
- 230000000903 blocking effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000000638 solvent extraction Methods 0.000 claims description 8
- 238000012986 modification Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 description 29
- 238000004422 calculation algorithm Methods 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000003321 amplification Effects 0.000 description 9
- 238000003199 nucleic acid amplification method Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 238000013475 authorization Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 235000012434 pretzels Nutrition 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法、装置、设备、存储介质及程序产品,涉及图像处理技术领域。该方法包括:获取第一图像;获取预设映射曲线;对第一图像进行特征分析,得到与第一图像对应的曲线修正系数;以曲线修正系数对预设映射曲线的曲线参数进行修正,得到目标映射曲线;基于目标映射曲线对第一图像进行色彩参数调整,得到第一图像对应的第二图像。由于在对第一图像进行色彩参数调整时,只需要计算修正系数,而不是计算整个映射曲线,计算量大大减小,从而提高了图像色彩增强处理的效率。
Description
技术领域
本申请实施例涉及图像处理技术领域,特别涉及一种图像处理方法、装置、设备、存储介质及程序产品。
背景技术
通过移动端进行图像拍摄时,拍摄的图像受到设备、环境以及拍摄技术等因素的影响会出现局部曝光、画面发灰、色彩寡淡等问题,对于这些图像往往需要进行色彩增强处理得到优化的图像。
相关技术中,通过训练深度双边学习算法中的深度神经网络,可以直接拟合图像之间的映射曲线,将需要进行色彩增强的目标图像输入到训练好的深度双边学习算法中可以得到优化后的图像。
然而,上述算法中映射曲线的拟合过程难度较大,需要深度神经网络包含较多的参数,算法的计算量比较大,使得目标图像色彩增强处理的速度较慢,色彩增强处理的效率较低。
发明内容
本申请实施例提供了一种图像处理方法、装置、设备、存储介质及程序产品,可以提高色彩增强处理的效率。所述技术方案如下:
一方面,提供了一种图像处理方法,所述方法包括:
获取第一图像,所述第一图像是待进行色彩参数调整的图像;
获取预设映射曲线,所述预设映射曲线对应有预先设定的曲线参数;
对所述第一图像进行特征分析,得到与所述第一图像对应的曲线修正系数;
以所述曲线修正系数对所述预设映射曲线的曲线参数进行修正,得到目标映射曲线;
基于所述目标映射曲线对所述第一图像进行色彩参数调整,得到所述第一图像对应的第二图像,所述第二图像为在所述第一图像的基础上进行色彩参数调整后的图像。
另一方面,提供了一种图像处理装置,所述装置包括:
获取模块,用于获取第一图像,所述第一图像是待进行色彩参数调整的图像;
所述获取模块,还用于获取预设映射曲线,所述预设映射曲线对应有预先设定的曲线参数;
分析模块,用于对所述第一图像进行特征分析,得到与所述第一图像对应的曲线修正系数;
修正模块,用于以所述曲线修正系数对所述预设映射曲线的曲线参数进行修正,得到目标映射曲线;
调整模块,用于基于所述目标映射曲线对所述第一图像进行色彩参数调整,得到所述第一图像对应的第二图像,所述第二图像为在所述第一图像的基础上进行色彩参数调整后的图像。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现本申请实施例中任一所述的图像处理方法。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行以实现本申请实施例任一所述的图像处理方法。
另一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例中任一所述的图像处理方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
通过对第一图像(是指待进行色彩参数调整的图像)进行特征分析获取曲线修正系数,基于该曲线修正系数去修正预设映射曲线(预先设定曲线参数的映射曲线),基于调整后的预设映射曲线对第一图像进行色彩参数调整,由于在对第一图像进行色彩参数调整时,只需要计算修正系数,而不是计算整个映射曲线,计算量大大减小,从而提高了图像色彩增强处理的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的伽马变换曲线示意图;
图2是本申请一个示例性实施例提供的获取修正后映射曲线的过程示意图;
图3是本申请一个示例性实施例提供的实施环境示意图;
图4是本申请一个示例性实施例提供的图像处理方法的流程图;
图5是本申请一个示例性实施例提供的模型训练流程图;
图6是本申请另一个示例性实施例提供的图像处理方法的流程图;
图7是本申请一个示例性实施例提供的获取预测修正系数的过程示意图;
图8是本申请一个示例性实施例提供的图像处理方法的流程示意图;
图9是本申请另一个示例性实施例提供的图像处理方法的流程图;
图10是本申请一个示例性实施例提供的并行处理图像内容的流程示意图;
图11是本申请一个示例性实施例提供的图像处理方法的对象评测结果图;
图12是本申请一个示例性实施例提供的图像处理方法和样本方法三的速度对比图;
图13是本申请一个示例性实施例提供的图像处理装置的结构框图;
图14是本申请另一个示例性实施例提供的图像处理装置的结构框图;
图15是本申请一个示例性实施例提供的服务器的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分,应理解,“第一”、“第二”之间不具有逻辑或时序上的依赖关系,也不对数量和执行顺序进行限定。
首先,针对本申请实施例中涉及的名词进行简单介绍:
像素:像素是组成图像的最小单位,可以理解成颜色各异的小方块。图像经过数字化处理之后在计算机中其实就是一个数字矩阵,数字矩阵中的像素至少具有两个属性:位置和像素值。其中,位置由行、列表示,像素值代表的是像素方块的平均亮度,在灰度图像中,灰度值即为像素值。
颜色空间:图像在计算机中可以映射到不同的颜色空间中进行表示,在彩色图像中每个像素对应有多个通道,常见的多通道颜色空间有:RGB(Red Green Blue,红绿蓝)空间和HSV(Hue Saturation Value,色调饱和度亮度)空间。
图像色彩增强:数字图像处理是指利用计算机将图像数字化之后进行处理和分析的过程,数字图像处理包括图像变换、图像色彩增强、图像恢复、图像分割、图像的识别分类等。图像色彩增强属于数字图像处理的一种,主要是对图像的色彩参数进行调节,优化图像显示,提升人的视觉主观感受,例如:提高图像的饱和度,将主体从背景凸显出来,达到突出图像画面主体的效果。
在一些实施例中,可以直接在相机或者图像处理软件上人工对图像的色彩参数进行调整,随着计算机技术的发展,还可以通过图像增强算法实现对图像参数的自动调整,常见的图像增强算法有:基于直方图均衡化的图像增强算法、基于拉普拉斯算子的图像增强算法、基于对数变换的图像增强算法、基于伽马变换的图像增强算法等。
本申请实施例主要以基于伽马变换的图像增强算法为例进行说明,伽马变换主要用于图像的校正:对灰度过高(过曝)或者灰度过低(过暗)的图像进行灰度的调整,从而改善图像各部分亮度的显示效果。伽马变换的变换公式如下公式一所示:
公式一:S1=crγ
其中,r为初始灰度,在执行伽马变换时需要将0至255的灰度动态范围缩放到0至1的灰度动态范围,执行伽马变换后再恢复原动态范围,故r的取值范围为[0,1];S1为经过伽马变换后的灰度;c为灰度系数,用于整体拉伸图像灰度,通常取值为1;γ为伽马因子,其取值决定了输入图像和输出图像之间的灰度映射方式。
请参考图1,其示出了一组伽马变换曲线100,其中横坐标代表的是输入灰度,纵坐标代表的是输出灰度(输入灰度和输出灰度都进行了缩放),每条曲线上方的数字代表的是伽马因子γ的大小,例如:伽马变换曲线101的伽马因子γ为0.1。
相关技术中,图像色彩增强的处理方法主要通过如下方式:
(1)由专业设计师对需要进行色彩增强的图像修图,该过程耗时耗力,图像色彩增强的效率较低,且不具备普适性;
(2)通过图像色彩增强算法自动合成色彩表现佳的图像,示意性的,通过原始图像和标注图像(在原始图像基础上获取的优化后的图像)训练图像色彩增强算法,然后将需要进行色彩增强的图像输入到图像色彩增强算法中,利用其中包含的深度神经网络直接拟合图像之间的映射曲线得到优化后的图像,实现色彩增强的效果。由上述说明可知图像色彩增强算法需要对图像中所有的像素点的参数进行调整,这一拟合过程的难度较大,要求其中包含的深度神经网络有较多的参数量;而且这一图像增强过程中的计算量较大,图像增强处理的效率较低。
本申请实施例提供了一种图像处理方法,示意性的,请参考图2,首先,选定一种映射曲线作为预设映射曲线201,可以对预设映射曲线201的曲线参数进行设定;其次,采用卷积层网络对第一图像202进行图像特征提取和融合,从而估算第一图像202对于预设映射曲线201的曲线修正系数X,基于该曲线修正系数X对预设映射曲线201进行修正得到修正后映射曲线203;最后,利用修正后映射曲线203对第一图像202进行色彩参数调整。通过上述过程可知在对第一图像202进行色彩参数调整时,只需要计算预设映射曲线201的曲线修正系数X,不需要计算整个映射曲线,计算量大大减小,从而提高了图像色彩增强处理的效率。
可选地,上述方法中的卷积层网络可替换成全连接层网络或者转化器(Transformer)层网络,值得注意的是,全连接层网络或者Transformer层网络的方案计算速度会慢于卷积层网络的方案。
图3是本申请一个示例性实施例提供的实施环境示意图,如图3所示,该实施环境中包括终端310、服务器320和通信网络330,其中,终端310和服务器320之间通过通信网络330连接,在一些可选的实施例中,通信网络330可以是有线网络,也可以是无线网络,本实施例对此不加以限定。
在一些可选的实施例中,终端310是智能手机、平板电脑、笔记本电脑、台式计算机、智能家电、智能车载终端、智能音箱、数码相机等,但并不局限于此。以终端310实现为智能手机为例进行说明,可选地,终端310中安装有目标应用程序,示意性地,该目标应用程序可以是传统应用程序,可以是云应用程序,可以实现为宿主应用程序中的小程序或应用模块,也可以是某个网页平台,本实施例对此不加以限定。可选地,该目标应用程序提供有图像色彩参数调整功能,示意性的,当需要对图像进行色彩参数调整时,如图3所示,终端310将第一图像(也即需要进行色彩参数调整的图像)上传至服务器320,服务器320对第一图像进行色彩参数调整,得到第二图像(也即在第一图像的基础上进行色彩参数调整后的图像),并将第二图像反馈给终端310。
在一些可选的实施例中,服务器320用于为终端310中安装的目标应用程序提供图像色彩参数调整服务。可选地,服务器320中设置有曲线修正模型和预设映射曲线,其中,预设映射曲线是预先设定曲线参数的映射曲线。示意性的,服务器320接收到第一图像后,将第一图像输入曲线修正模型中,首先提取第一图像的图像特征表示,然后对该图像特征表示进行特征分析,得到第一图像对应的曲线修正系数,基于该曲线修正系数,服务器320对预设映射曲线进行修正得到目标映射曲线,基于该目标映射曲线,服务器320对第一图像进行色彩参数调整,得到第二图像,最终将第二图像反馈至终端310,终端310接收到第二图像后,通过目标应用程序对第二图像进行显示。
在一些可选的实施例中,曲线修正模型也可以部署在终端310侧,由终端310在本地实现图像色彩参数调整,无需借助服务器320,本实施例对此不加以限定。
值得注意的是,服务器320能够是独立的物理服务器,也能够是多个物理服务器构成的服务器集群或者分布式***,还能够是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。
其中,云技术(Cloud Technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模型应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络***的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台***进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的***后盾支撑,只能通过云计算来实现。可选地,服务器320还可以实现为区块链***中的节点。
需要说明的是,本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号,均为经用户授权或者经过各方充分授权的,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如,本申请中涉及到的样本图像和参考图像都是在充分授权的情况下获取的。
本申请实施例提供的图像处理方法至少可以应用于如下应用场景:
一、当使用移动端(例如:手机)拍摄图像的时候,受到拍摄环境、拍摄技巧以及拍摄设备等因素的影响,往往拍摄出来的图像会存在局部曝光、画面色彩过暗等问题,这样的拍摄图像无法满足人们对图像质量的需求,若人工对拍摄图像的参数进行调整会比较耗时耗力,且非专业人士也很难对拍摄图像进行最优调整,本申请提供的图像处理方法可以对拍摄照片的色彩参数自动进行调整得到优化后的图像,且调整过程中不是直接计算待调整图像到优化图像之间的映射曲线,而是计算预先设定的映射曲线的修正系数,大大减少了计算量,提高了图像色彩增强处理的效率,满足了在移动端上实时处理图像的需求。
二、在小视频应用程序上观看小视频时,视频的质量层次不齐,视频画面会存在色彩暗淡,亮度分布不均匀等问题,且难以通过手动调整色彩参数去改善视频画面的视觉效果,通过本申请提供的图像处理方法可以对视频中的视频帧画面进行色彩参数的自动调整,从而提升视频画面质量,且调整过程中不是直接计算待调整画面到优化画面之间的映射曲线,而是计算预先设定的映射曲线的修正系数,大大减少了计算量,提高了图像色彩增强处理的效率,在提升了视频观赏性的同时保证了视频播放过程的流畅性。
值得注意的是,上述应用场景仅为示意性的举例,本申请实施例对图像处理方法的其他应用场景不加以限定。
结合上述介绍和实施环境,对本申请实施例提供的图像处理方法进行说明,图4是本申请实施例提供的一种图像处理方法的流程图,如图4所示,该方法包括:
步骤401,获取第一图像。
第一图像是待进行色彩参数调整的图像。
可选地,第一图像包括独立的一张图片、图片中的某块需要进行色彩参数调整的区域、视频中的一帧画面等中的至少一种。
可选地,对第一图像进行色彩参数调整是指对第一图像中像素点的色彩参数进行调整。
可选地,色彩参数是指影响图像色彩表现的参数,示意性的,色彩参数包括对比度、亮度、饱和度、色调、灰度等参数中的至少一种。
步骤402,获取预设映射曲线。
可选地,预设映射曲线用于对图像中的色彩参数进行基准调整,示意性的,预设映射曲线对图像中像素点的灰度进行调整的过程可以为:获取图像各像素点对应的灰度,将获取的各像素点对应的灰度输入到预设映射曲线中,输出各像素点对应在预设映射曲线上映射得到的灰度。
可选地,预设映射曲线是基准色彩参数调整曲线,例如:对数变换曲线、伽马变换曲线。其中对数变换曲线可以将图像的低灰度部分扩展,显示出低灰度部分更多的细节,将其高灰度部分压缩,减少高灰度部分的细节,从而达到强调图像低灰度部分的目的;伽马变换曲线主要用于图像的校正,将灰度过高或者灰度过低的图像进行修正,从而改善图像过曝的问题。
其中,预设映射曲线对应有预先设定的曲线参数。
可选地,曲线参数用于调整预设映射曲线的曲线形状,不同形状的预设映射曲线可以对第一图像有不同的调整效果,示意性的,当预设映射曲线实现为伽马变换曲线时,如图1所示,伽马因子γ即为伽马变换曲线中的其中一种曲线参数,不同伽马因子γ对应的伽马变换曲线的形状不同,其中:
(1)γ>1时,可以将图像较亮部分的灰度映射到更小的灰度,同时较暗部分的灰度变化较小,图像整体看起来变暗了;
(2)γ<1时,可以将图像较暗部分的灰度映射到更大的灰度,同时较亮部分的灰度变化较小,图像整体看起来变亮了;
(3)γ=1时,不改变输入的原图像。
步骤403,对第一图像进行特征分析,得到与第一图像对应的曲线修正系数。
其中,曲线修正系数是指对预设映射曲线的曲线参数进行修正的系数。
在一些可选的实施例中,对第一图像进行特征分析,得到与第一图像对应的曲线修正系数是指将第一图像输入曲线修正模型,输出得到第一图像对应的曲线修正系数。
可选地,曲线修正模型为通过样本图像对训练得到的模型。
其中,样本图像对中包括构成图像对的样本图像和参考图像,参考图像为样本图像进行色彩参数调整后的图像。
示意性的,参考图像和样本图像的获取方式包括以下方式中的至少一种:
(1)获取经过专业设计师修图过后的图像作为参考图像,将修图前的图像作为样本图像;
(2)利用基准的深度学习图像色彩增强算法自动化合成高画质图像,然后通过标注人员筛选其中色彩分布合理的图像作为参考图像,处理前的图像作为样本图像。
上述参考图像和样本图像的获取方式仅为示意性的举例,本申请实施例对此不加以限定。
示意性的,请参考图5,其示出了本申请一个示例性实施例提供的曲线修正模型的训练过程,如图5所示,曲线修正模型的训练数据为样本图像501和参考图像502,则曲线修正模型的训练步骤为:
步骤一:将样本图像501经由图像扩增模块503扩增图像的多样性,可选地,图像扩增模块503包括多种扩增方法,样本图像的扩增方式包括以下方式中的至少一种:
(1)图像随机旋转方法,在一定角度范围内随机旋转图像;
(2)图像随机缩放方法,在一定分辨率内缩放图像;
(3)图像随机补边方法,在图像四周补充黑边,黑边的像素宽度值随机;
(4)图像随机水平翻转方法,以一定概率水平根据随机角度翻转图像;
(5)图像随机垂直翻转方法,以一定概率垂直根据随机角度翻转图像。
上述样本图像的扩增方式仅为示意性的举例,本申请实施例对此不加以限定。
步骤二:将经过扩增后的样本图像添加图像噪声。
其中,添加图像噪声是指生成一个随机数,然后将这个随机数加到图像的像素值上。
示意性的,图像噪声包括:高斯噪声,椒盐噪声,瑞利噪声,指数分布噪声和均匀分布噪声等中的至少一种。
值得注意的是,上述步骤一和步骤二为可选的并列步骤,可以单独执行步骤一,也可以单独执行步骤二,还可以同时执行步骤一和步骤二。
步骤三:将添加图像噪声的扩增后的样本图像501输入到曲线修正模型504中获取第一预测修正系数,通过第一预测修正系数对预设映射曲线进行调整,将调整过后的预设映射曲线作用于样本图像501从而获取预测图像In;将未添加图像噪声的扩增后的样本图像501输入到曲线修正模型504中获取第二预测修正系数,通过第一预测修正系数对预设映射曲线进行调整,将调整过后的预设映射曲线作用于样本图像501从而获取获取预测图像Io。
步骤四:将参考图像502也经由图像扩增模块扩增图像的多样性得到扩增后的参考图像It,其中扩增方式参考步骤一中样本图像的扩增方式,此处不再赘述。
其中,样本图像501和参考图像502可以选择同一种扩增方式也可以选择不同的扩增方式,本申请实施例对此不加以限定。
步骤五:将预测图像In、预测图像Io和扩增后的参考图像It输入到损失计算模块505中计算损失,基于该损失对曲线修正模型504进行训练。
可选地,在损失计算模块中计算的损失包括以下损失中的至少一种:
(1)像素一致性损失,用于约束预测图像Io和扩增后的参考参考图像It像素值一致;
(2)噪声鲁棒损失,用于约束预测图像In和预测图像Io像素值一致。
示意性的,基于像素一致性损失对曲线修正模型504进行训练,或者,基于噪声鲁棒损失对曲线修正模型504进行训练,或者,基于像素一致性损失和噪声鲁棒损失的联合损失对曲线修正模型504进行训练。
若实现为基于像素一致性损失和噪声鲁棒损失的联合损失对曲线修正模型504进行训练,可选地,将像素一致性损失和噪声鲁棒损失进行加权求和得到联合损失对曲线修正模型504进行训练。
步骤404,以曲线修正系数对预设映射曲线的曲线参数进行修正,得到目标映射曲线。
可选地,曲线修正系数可以对预设映射曲线的曲线参数进行修正从而改变预设映射曲线的形状,得到目标映射曲线。
示意性的,将曲线修正系数与预设映射曲线的曲线参数结合得到目标映射曲线,由上述介绍可知伽马变换曲线的公式为公式一,可选地,将曲线修正系数与灰度系数c或者伽马因子γ进行结合,结合方式包括求和、求乘积等计算方式中的至少一种。
在一些可选的实施例中,上述获取目标映射曲线的过程还包括:
对曲线修正系数和预设映射曲线进行加权求和,得到目标映射曲线。
示意性的,若曲线修正系数和预设映射曲线的加权数为1,则目标映射曲线为:
S2=crγ+a
其中,r为初始灰度;S2经过已修正伽马变换的灰度;c为灰度系数;a为曲线修正系数。
步骤405,基于目标映射曲线对第一图像进行色彩参数调整,得到第一图像对应的第二图像。
其中,第二图像为在第一图像的基础上进行色彩参数调整后的图像。
示意性地,以预设映射曲线实现为伽马变换曲线进行说明,将修正后的预设映射曲线,也即目标映射曲线设为S3,首先获取第一图像中各像素点的灰度,分别将各像素点的灰度输入S3曲线得到校正过后的灰度,基于校正过后的灰度修改第一图像的像素点从而得到第二图像。
综上所述,本申请实施例提供的图像处理方法,通过对第一图像(是指待进行色彩参数调整的图像)进行特征分析获取曲线修正系数,通过该曲线修正系数去修正预设映射曲线(预先设定曲线参数的映射曲线),基于调整后的预设映射曲线对第一图像进行色彩参数调整,由于在对第一图像进行色彩参数调整时,只需要计算修正系数,而不是计算整个映射曲线,计算量大大减小,从而提高了图像色彩增强处理的效率。
图6是本申请实施例提供的一种图像处理方法的流程图,如图6所示,该方法包括:
步骤601,获取第一图像。
第一图像是待进行色彩参数调整的图像。
可选地,获取第一图像的方式包括以下方式中的至少一种:
第一、通过图像拍摄工具拍摄图像,受到拍摄环境、拍摄技巧以及拍摄设备等因素的影响,拍摄出来的图像会存在局部曝光或者画面色彩过暗等问题,需要进行色彩参数的调整,则将该拍摄得到的图像作为第一图像,其中,图像拍摄工具包括数码相机、手机、平板电脑等中的至少一种。
第二、用扫描工具扫描印刷品或者实体相片上的图像,受到扫描物体本身、扫描环境、扫描角度等因素的影响,扫描出来的图像会存在曝光过度或者画面暗淡等问题,需要进行色彩参数的调整,则将该扫描得到的图像作为第一图像,其中,扫描工具可以是扫描仪,也可以是手机或者平板电脑上安装的具有扫描功能的目标应用程序等。
第三、从屏幕上捕捉图像(例如:通过手机的截图功能截取手机屏幕上的图像),由于不同设备屏幕的画质不相同,截取的图像会存在画面色彩暗淡等问题,需要进行色彩参数调整,则将该捕捉得到的图像作为第一图像。
上述第一图像的获取方式仅为示意性的举例,本申请实施例对此不加以限定。
步骤602,获取预设映射曲线。
预设映射曲线对应有预先设定的曲线参数。
可选地,上述预设映射曲线是经过量化处理的曲线。
其中,量化处理是指将连续的曲线近似为有限个映射值,表现在图像上就是将光滑的曲线处理成有限个点组成的离散图像,该离散图像即为量化后的预设映射曲线。
步骤603,将第一图像输入曲线修正模型,提取第一图像的图像特征表示。
曲线修正模型的训练过程在步骤403中已经进行了具体说明,此处不再赘述。
可选地,第一图像的图像特征表示用于指示第一图像的图像特征。
可选地,通过特征提取网络提取第一图像的图像特征表示,曲线修正模型中可以包括一个特征提取网络,也可以包括多个特征提取网络。
值得注意的是,其中特征提取网络包括卷积层网络、全连接层网络、Transformer层网络等中的至少一种,本实施例对此不加以限定。
可选地,上述第一图像的图像特征包括纹理特征、全局特征、局部特征、语义特征等中的至少一种。其中,纹理特征用于描述整个图像或者图像中某块区域所对应的内容的表面性质,示意性的,若图像中存在水面时,纹理特征包括用于表示水面波纹的特征;全局特征用于描述图像的整体属性,全局特征的种类包括颜色特征、形状特征等;局部特征是指从图像中子图区域抽取的特征,包括边缘、角点、线、曲线等中的其中一种;语义特征用于描述图像的内容指示的语义,例如:图像中有一只猫,那么“猫”就属于图像的语义特征。
可选地,上述第一图像的图像特征表示可以是一种图像特征表示,也可以是两种及以上图像特征表示的融合特征表示,则上述提取第一图像的图像特征表示包括以下方式中的至少一种:
(1)提取第一图像的纹理特征表示,纹理特征表示用于指示第一图像的图像纹理特征;基于纹理特征表示提取第一图像的全局特征表示,全局特征表示用于指示第一图像的整体图像特征;基于纹理特征表示提取第一图像的局部特征表示,局部特征表示用于指示第一图像中子图区域的图像特征;基于纹理特征表示提取第一图像的语义特征表示,语义特征表示用于指示第一图像所包含的语义内容;对纹理特征表示、全局特征表示、局部特征表示和语义特征表示进行融合,得到第一图像的图像特征表示。
可选地,上述得到第一图像的图像特征表示的过程包括:将第一图像输入到第一特征提取网络,通过第一特征提取网络提取第一图像的纹理特征表示;将纹理特征表示和第一图像输入到第二特征提取网络,通过第二特征提取网络提取第一图像的全局特征表示;将纹理特征表示和第一图像输入到第三特征提取网络,通过第三特征提取网络提取第一图像的局部特征表示;将纹理特征表示和第一图像输入到第四特征提取网络,通过第四特征提取网络提取第一图像的语义特征表示;最后,将纹理特征表示、全局特征表示、局部特征表示和语义特征表示进行融合,得到第一图像的图像特征表示。
(2)提取第一图像的纹理特征表示;提取第一图像的全局特征表示;提取第一图像的局部特征表示;提取第一图像的语义特征表示;对纹理特征表示、全局特征表示、局部特征表示和语义特征表示进行融合,得到第一图像的图像特征表示。
可选地,上述得到第一图像的图像特征表示的过程包括:将第一图像输入到第五特征提取网络,通过第五特征提取网络提取第一图像的纹理特征表示;将第一图像输入到第六特征提取网络,通过第六特征提取网络提取第一图像的全局特征表示;将第一图像输入到第七特征提取网络,通过第七特征提取网络提取第一图像的局部特征表示;将第一图像输入到第八特征提取网络,通过第八特征提取网络提取第一图像的语义特征表示;最后,将纹理特征表示、全局特征表示、局部特征表示和语义特征表示进行融合,得到第一图像的图像特征表示。
(3)提取第一图像的全局特征表示,作为第一图像的图像特征表示。
(4)提取第一图像的局部特征表示,作为第一图像的图像特征表示。
(5)提取第一图像的纹理特征表示,作为第一图像的图像特征表示。
(6)提取第一图像的语义特征表示,作为第一图像的图像特征表示。
上述提取第一图像的图像特征表示方式仅为示意性的举例,本申请实施例对此不加以限定。
步骤604,对图像特征表示进行特征分析,得到第一图像对应的曲线修正系数。
示意性的,提取第一图像的图像特征表示实现为方式(1),请参考图7,其示出了得到曲线修正系数的过程,如图7所示:
首先提取第一图像701的纹理特征702,然后基于纹理特征702分别提取第一图像701的全局特征703、语义特征704和局部特征705,最后将第一图像701的纹理特征702、全局特征703、语义特征704和局部特征705进行融合得到融合特征706,对融合特征706进行特征分析得到预测修正系数707,也即曲线修正系数。
步骤605,以曲线修正系数对预设映射曲线的曲线参数进行修正,得到目标映射曲线。
在一些可选的实施例中,曲线修正系数中包括n个子系数,n为大于1的整数,则获取目标映射曲线的方法包括:
对预设映射曲线进行分段处理,得到n个分段映射曲线;通过n个子系数对n个分段映射曲线分别进行修正,得到目标映射曲线。
其中,第k个分段映射曲线通过第k个子系数进行修正,k为正整数且k≤n。
可选地,对预设映射曲线进行分段处理,得到n个分段映射曲线的方法包括以下方式中的至少一种:
1、将预设映射曲线按照预设映射曲线所在坐标轴的横坐标进行平均分段处理,得到n个分段映射曲线。
2、将预设映射曲线按照预设映射曲线所在坐标轴的纵坐标进行平均分段处理,得到n个分段映射曲线。
可选地,获取曲线修正系数中n个子系数的方法包括以下方式中的至少一种:
1、将预设映射曲线按照预设映射曲线所在坐标轴的横坐标进行平均分段处理,得到n个分段映射曲线,将第k个分段映射曲线作为预设映射曲线,获取其修正系数,也即第k个子系数,示意性的,假设将预设映射曲线分成两段:第一预设映射曲线和第二预设映射曲线,则需要获取第一预设映射曲线对应的子系数A和第二预设映射曲线对应的子系数B。
示意性的,上述子系数A的获取过程包括:获取第一预设映射曲线;将第一图像输入到曲线修正模型1中,得到与第一图像对应的子系数A,其中,子系数A用于对第一预设映射曲线进行调整,曲线修正模型1为预先训练得到的模型。
示意性的,上述子系数B的获取过程包括:获取第二预设映射曲线;将第一图像输入到曲线修正模型2中,得到与第一图像对应的子系数B,其中,子系数B用于对第二预设映射曲线进行调整,曲线修正模型1为预先训练得到的模型。
可选地,子系数A和子系数B的获取过程可以同步执行,也可以不同步执行。
2、将预设映射曲线按照预设映射曲线所在坐标轴的纵坐标进行平均分段处理,得到n个分段映射曲线,将第k个分段映射曲线作为预设映射曲线,获取其修正系数,也即第k个子系数,其中子系数的获取过程参考上述方法1中的对子系数A和子系数B的获取过程的说明。
示意性的,请参考图1,将伽马变换曲线101按照横坐标分为5段:[0,0.2]、(0.2,0.4]、(0.4,0.6]、(0.6,0.8]、(0.8,1]。分别获取这5段伽马变换曲线的曲线修正子系数,通过这5个曲线修正子系数对这5段伽马变换曲线分别进行修正,得到目标映射曲线,其中,第k段伽马变换曲线通过第k个子系数进行修正,k为正整数且k≤5。
步骤606,对第一图像进行像素级特征变换,得到与第一图像对应的全分辨率特征图。
可选地,通过特征变换网络对第一图像进行像素级特征变换得到与第一图像对应的全分辨率特征图,其中特征变换网络包括卷积层神经网络、全连接层网络、Transformer层网络等中的至少一种,本实施例对此不加以限定。
可选地,像素级特征变换是指将输入的第一图像中的像素点进行特征变换,示意性的,将HSV空间中的像素点转换为RGB空间中的像素点。
步骤607,将目标映射曲线作用于全分辨率特征图,通过线性插值得到像素级映射系数。
可选地,预设映射曲线是量化处理后的曲线,则目标映射曲线属于量化的曲线,从而上述线性插值处理是指对目标映射曲线进行扩充,示意性的,线性插值处理是指使用已有的曲线点来计算其他的曲线点从而实现曲线的扩充。
将目标映射曲线作用于全分辨率特征图,对其中的目标映射曲线进行线性插值处理得到像素级映射系数。
步骤608,将像素级映射系数作用于第一图像得到第二图像。
可选地,将第一图像中每个像素点对应的像素级映射系数作用于每个像素点本身,从而获取第二图像。
综上所述,本申请实施例提供的图像处理方法,通过对第一图像(是指待进行色彩参数调整的图像)进行特征分析获取曲线修正系数,基于该曲线修正系数去修正预设映射曲线(预先设定曲线参数的映射曲线),基于调整后的预设映射曲线对第一图像进行色彩参数调整,由于在对第一图像进行色彩参数调整时,只需要计算修正系数,而不是计算整个映射曲线,计算量大大减小,从而提高了图像色彩增强处理的效率。
本申请实施例提供的图像处理方法,通过对第一图像的图像特征表示进行特征分析得到曲线修正系数,其中图像特征表示包括了多个图像特征的融合表示,使得得到的曲线修正系数的的准确度更高。
示意性的,请参考图8,其示出了本申请实施例提供的一种图像处理方法的完整流程图,如图8所示:
获取第二图像的具体步骤包括:
步骤一、获取预设映射曲线801。
可选地,首先选定一种可以对图像进行色彩增强的映射曲线,然后设定其中的曲线参数。
步骤二、将第一图像802输入到曲线修正模型中进行特征提取和融合处理,从而获取预设映射曲线801的曲线修正系数803。
步骤三、通过曲线修正系数803对预设映射曲线801进行修正得到修正后映射曲线804。
步骤四、将第一图像802输入到深度卷积神经网络中进行像素级特征变换得到全分辨率特征图805。
步骤五、将修正后映射曲线804作用于全分辨率特征图805,通过线性插值得到像素级映射系数806。
步骤六、将像素级映射系数806作用于第一图像802得到画质增强后图像807。
值得注意的是,上述步骤一、步骤二中的一、二不代表步骤间的先后顺序,示意性的,上述步骤一和步骤四可以是同时进行。
图9是本申请实施例提供的一种图像处理方法的流程图,如图9所示,该方法包括:
步骤901,获取第一图像。
第一图像是待进行色彩参数调整的图像。
第一图像的获取过程在步骤601中已经进行了具体说明,此处不再赘述。
步骤902,获取预设映射曲线。
预设映射曲线对应有预先设定的曲线参数。
获取预设映射曲线的具体过程在步骤402中已经进行了具体说明,此处不再赘述。
步骤903,对第一图像进行分块处理,得到至少两个图像块。
可选地,对第一图像进行分块处理之前还包括,对第一图像进行调整从而提高第一图像的分辨率,使得第一图像实现为高分辨率图像。
可选地,上述对第一图像进行分块处理,得到至少两个图像块的方法包括以下方法中的至少一种:
1、按照预设分块数量对第一图像进行平均分块,得到至少两个图像块。
可选地,第一图像的形状为矩形图像,预设分块数量为偶数,将第一图像按照预设分块数量平均分块得到至少两个尺寸相同的图像块。
2、对第一图像进行随机分块,得到至少两个图像块。
可选地,通过若干随机线段对第一图像进行切割,得到至少两个尺寸不相同的图像块。
可选地,上述若干随机线段的位置关系可以是交叉,也可以是平行。
示意性的,以按照预设分块数量对第一图像进行平均分块,得到至少两个图像块为例进行说明,请参考图10,对第一图像1001进行网格化处理得到若干图像块1002,其中,若干图像块1002中的每个图像块的尺寸相同。
步骤904,对至少两个图像块分别进行特征分析,得到与至少两个图像块对应的至少两个块修正系数。
其中,第i个图像块对应第i个块修正系数,曲线修正系数是至少两个块修正系数的集合。
可选地,上述得到至少两个块修正系数的过程具体包括:
步骤一、将至少两个图像块输入到曲线修正模型中,并行提取至少两个图像块中每个图像块对应的图像块特征表示。
示意性的,图像特征表示的种类包括全局特征表示、局部特征表示、语义特征表示、纹理特征表示等。
可选地,至少两个图像块中每个图像块的图像块特征表示包括一种图像块特征表示或者两种及以上图像块特征表示。
上述提取至少两个图像块中每个图像块对应的图像块特征表示的方法与提取第一图像的图像特征表示的方法大致相同,在步骤603中已经进行了具体说明,此处不再赘述。
步骤二、对至少两个图像块中每个图像块对应的图像块特征表示分别进行特征分析,得到与至少两个图像块对应的至少两个块修正系数。
示意性的,请参考图10,将网格化处理得到的若干图像块1002输入到曲线修正模型中,通过曲线修正模型,并行提取若干图像块1002中每个图像块对应的全局特征、局部特征、语义特征和纹理特征,并融合这些特征得到若干图像块1002中每个图像块对应的图像块特征表示,分别对若干图像块1002中每个图像块的图像块特征表示进行特征分析,得到与若干图像块1002中每个图像块对应的映射曲线修正系数。
步骤905,以曲线修正系数对预设映射曲线的曲线参数进行修正,得到目标映射曲线。
曲线修正系数实现为通过第一图像直接获取的曲线修正系数,通过该曲线修正系数得到目标映射曲线的过程在步骤404中已经进行了具体说明,此处不再赘述。
可选地,曲线修正系数实现为至少两个块修正系数的集合,通过至少两个块修正系数的集合得到目标映射曲线的过程包括:
将至少两个块修正系数分别作用于预设映射曲线得到至少两个块修正系数对应的块目标映射曲线。
其中,第i个块修正系数对应第i个块目标映射曲线,目标映射曲线是至少两个块目标映射曲线的集合。
示意性地,请参考图10,将若干图像块1002中每个图像块对应的映射曲线修正系数分别作用于预设映射曲线1003得到若干图像块1002中每个图像块对应的修正后映射曲线,若干图像块1002中每个图像块对应的修正后映射曲线与若干图像块1002中每个图像块的内容一一对应,是若干图像块1002中每个图像块独有的映射曲线。
可选地,当预设映射曲线实现为较为复杂的映射曲线时,对每个图像块进行标注,通过给定标注的图像块训练深度卷积神经网络,从而使得图像块之间平滑连接。
步骤906,基于目标映射曲线对第一图像进行色彩参数调整,得到第一图像对应的第二图像。
第二图像为在第一图像的基础上进行色彩参数调整后的图像。
目标映射曲线实现为通过第一图像直接获取的目标映射曲线,通过该目标映射曲线得到第二图像的过程在步骤405中已经进行了具体说明,此处不再赘述。
可选地,目标映射曲线实现为至少两个块目标映射曲线的集合,通过至少两个块目标映射曲线的集合得到第二图像的过程包括:
基于至少两个块目标映射曲线分别对与其对应的至少两个图像块进行色彩参数调整,得到第一图像对应的第二图像。
其中,第i个块目标映射曲线对第i个图像块进行调整。
综上所述,本申请实施例提供的图像处理方法,通过对第一图像(是指待进行色彩参数调整的图像)进行特征分析获取曲线修正系数,基于该曲线修正系数去修正预设映射曲线(预先设定曲线参数的映射曲线),基于调整后的预设映射曲线对第一图像进行色彩参数调整,由于在对第一图像进行色彩参数调整时,只需要计算修正系数,而不是计算整个映射曲线,计算量大大减小,从而提高了图像色彩增强处理的效率。
本申请实施例提供的图像处理方法,通过对第一图像的分块处理,提升了图像处理的并行度,并且对于每个图像块独立的获取块目标映射曲线,然后将该块目标映射曲线分别作用于与其对应的图像块,调整图像块的色彩参数,实现了更智能化的色彩增强效果。
图11是本申请一个示例性实施例提供的图像处理方法的对象测评结果,如图11所示:在调研的105个样本中,共有54个样本(占比约51%)认为本方法1101效果更好;共有38个样本(占比约36%)认为样本方法一1102效果更好;共有25个样本(占比约24%)认为样本方法二1103效果更好。
从图11示出的数据1100中不难看出主观评价下,本申请示例性实施例提供的图像处理方法处理得到的图像的增强效果较好,评价较高。
值得注意的是,上述提到的测评结果是经过对象授权后获取的数据。
图12是本申请一个示例性实施例提供的图像处理方法和样本方法三的速度对比图,图12展示了在1080x1920分辨率下图像处理的速度对比,黑色柱状图为本申请提出的方法1201,白色柱状图则为样本方法三1202。
从图12中示出的数据1200中可以看到本申请提出的方法1201较样本方法三1202在处理速度上有明显优势,在不同机型上可提供40%~60%的性能加速。
值得注意的是,上述提到的速度对比数据是经过对象授权后获取的数据。
请参考图13,其示出了本申请一个示例性的实施例提供的图像处理装置结构框图,该装置包括如下模块:
获取模块1310,用于获取第一图像,所述第一图像是待进行色彩参数调整的图像;
所述获取模块1310,还用于获取预设映射曲线,所述预设映射曲线对应有预先设定的曲线参数;
分析模块1320,用于对所述第一图像进行特征分析,得到与所述第一图像对应的曲线修正系数;
修正模块1330,用于以所述曲线修正系数对所述预设映射曲线的曲线参数进行修正,得到目标映射曲线;
调整模块1340,用于基于所述目标映射曲线对所述第一图像进行色彩参数调整,得到所述第一图像对应的第二图像,所述第二图像为在所述第一图像的基础上进行色彩参数调整后的图像。
在一些可选的实施例中,请参考图14,所述分析模块1320,包括:
处理子模块1321,用于将所述第一图像输入曲线修正模型,输出得到所述第一图像对应的曲线修正系数,所述曲线修正模型为通过样本图像对训练得到的模型;
其中,所述样本图像对中包括构成图像对的样本图像和参考图像,所述参考图像为所述样本图像进行色彩参数调整后的图像。
在一些可选的实施例中,所述处理子模块1321,包括:
特征提取单元1322,用于将所述第一图像输入所述曲线修正模型,提取所述第一图像的图像特征表示;
特征分析单元1323,用于对所述图像特征表示进行特征分析,得到所述第一图像对应的曲线修正系数。
在一些可选的实施例中,所述特征提取单元1322,还用于提取所述第一图像的纹理特征表示,所述纹理特征表示用于指示所述第一图像的图像纹理特征;所述特征提取单元1322,还用于基于所述纹理特征表示提取所述第一图像的全局特征表示,所述全局特征表示用于指示所述第一图像的整体图像特征;所述特征提取单元1322,还用于基于所述纹理特征表示提取所述第一图像的局部特征表示,所述局部特征表示用于指示所述第一图像中子图区域的图像特征;所述特征提取单元1322,还用于基于所述纹理特征表示提取所述第一图像的语义特征表示,所述语义特征表示用于指示所述第一图像所包含的语义内容;所述特征提取单元1322,还包括:
特征融合子单元1324,用于对所述纹理特征表示、所述全局特征表示、所述局部特征表示和所述语义特征表示进行融合,得到所述第一图像的图像特征表示。
在一些可选的实施例中,所述分析模块1320,包括:
分块子模块1325,用于对所述第一图像进行分块处理,得到至少两个图像块;
所述分析模块1320,还用于对所述至少两个图像块分别进行特征分析,得到与所述至少两个图像块对应的至少两个块修正系数,其中,第i个图像块对应第i个块修正系数,所述曲线修正系数是所述至少两个块修正系数的集合。
在一些可选的实施例中,所述分块子模块1325,用于按照预设分块数量对所述第一图像进行平均分块,得到所述至少两个图像块;或者,用于对所述第一图像进行随机分块,得到所述至少两个图像块。
在一些可选的实施例中,所述修正模块1330,还用于以所述曲线修正系数对所述预设映射曲线直接进行修正,得到目标映射曲线。
在一些可选的实施例中,所述曲线修正系数中包括n个子系数,n为大于1的整数;所述修正模块1330,包括:
分段子模块1331,用于对所述预设映射曲线进行分段处理,得到n个分段映射曲线;
所述修正模块1330,还用于通过n个子系数对所述n个分段映射曲线分别进行修正,得到所述目标映射曲线,其中,第k个分段映射曲线通过第k个子系数进行修正,k为正整数且k≤n。
在一些可选的实施例中,所述分段子模块1331用于将所述预设映射曲线按照所述预设映射曲线所在坐标轴的横坐标进行平均分段处理,得到n个分段映射曲线;或者,用于将所述预设映射曲线按照所述预设映射曲线所在坐标轴的纵坐标进行平均分段处理,得到n个分段映射曲线。
在一些可选的实施例中,所述调整模块1340,包括:
特征变换子模块1341,用于对所述第一图像进行像素级特征变换,得到与所述第一图像对应的所述全分辨率特征图;
线性插值子模块1342,用于将所述目标映射曲线作用于所述全分辨率特征图,通过线性插值得到像素级映射系数;
作用子模块1343,用于将所述像素级映射系数作用于所述第一图像得到所述第二图像。
综上所述,本申请实施例提供的图像处理装置,通过对第一图像(是指待进行色彩参数调整的图像)进行特征分析获取曲线修正系数,基于该曲线修正系数去修正预设映射曲线(预先设定曲线参数的映射曲线),基于调整后的预设映射曲线对第一图像进行色彩参数调整,由于在对第一图像进行色彩参数调整时,只需要计算修正系数,而不是计算整个映射曲线,计算量大大减小,从而提高了图像色彩增强处理的效率。
需要说明的是:上述实施例提供的图像处理装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的图像处理装置和图像处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图15示出了本申请一个示例性实施例提供的服务器的结构示意图。该服务器可以是如图3所示的服务器。具体来讲包括以下结构:
服务器1500包括中央处理单元(Central Processing Unit,CPU)1501、包括随机存取存储器(Random Access Memory,RAM)1502和只读存储器(Read Only Memory,ROM)1503的***存储器1504,以及连接***存储器1504和中央处理单元1501的***总线1505。服务器1500还包括用于存储操作***1513、应用程序1514和其他程序模块1515的大容量存储设备1506。
大容量存储设备1506通过连接到***总线1505的大容量存储控制器(未示出)连接到中央处理单元1501。大容量存储设备1506及其相关联的计算机可读介质为服务器1500提供非易失性存储。也就是说,大容量存储设备1506可以包括诸如硬盘或者紧凑型光盘只读存储器(Compact Disc Read Only Memory,CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、带电可擦可编程只读存储器(Electrically Erasable Programmable Read Only Memory,EEPROM)、闪存或其他固态存储技术,CD-ROM、数字通用光盘(Digital Versatile Disc,DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知计算机存储介质不局限于上述几种。上述的***存储器1504和大容量存储设备1506可以统称为存储器。
根据本申请的各种实施例,服务器1500还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1500可以通过连接在***总线1505上的网络接口单元1511连接到网络1512,或者说,也可以使用网络接口单元1511来连接到其他类型的网络或远程计算机***(未示出)。
上述存储器还包括一个或者一个以上的程序,一个或者一个以上程序存储于存储器中,被配置由CPU执行。
本申请的实施例还提供了一种计算机设备,该计算机设备可以实现为如图3所示的终端或者服务器。该计算机设备包括处理器和存储器,该存储器中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的图像处理方法。
本申请的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行,以实现上述各方法实施例提供的图像处理方法。
本申请的实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例提供的图像处理方法。
可选地,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、固态硬盘(SSD,Solid State Drives)或光盘等。其中,随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM,Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (14)
1.一种图像处理方法,其特征在于,所述方法包括:
获取第一图像,所述第一图像是待进行色彩参数调整的图像;
获取预设映射曲线,所述预设映射曲线对应有预先设定的曲线参数;
对所述第一图像进行特征分析,得到与所述第一图像对应的曲线修正系数;
以所述曲线修正系数对所述预设映射曲线的曲线参数进行修正,得到目标映射曲线;
基于所述目标映射曲线对所述第一图像进行色彩参数调整,得到所述第一图像对应的第二图像,所述第二图像为在所述第一图像的基础上进行色彩参数调整后的图像。
2.根据权利要求1所述的方法,其特征在于,所述对所述第一图像进行特征分析,得到与所述第一图像对应的曲线修正系数,包括:
将所述第一图像输入曲线修正模型,输出得到所述第一图像对应的曲线修正系数,所述曲线修正模型为通过样本图像对训练得到的模型;
其中,所述样本图像对中包括构成图像对的样本图像和参考图像,所述参考图像为所述样本图像进行色彩参数调整后的图像。
3.根据权利要求2所述的方法,其特征在于,所述将所述第一图像输入曲线修正模型,输出得到所述第一图像对应的曲线修正系数,包括:
将所述第一图像输入所述曲线修正模型,提取所述第一图像的图像特征表示;
对所述图像特征表示进行特征分析,得到所述第一图像对应的曲线修正系数。
4.根据权利要求3所述的方法,其特征在于,所述提取所述第一图像的图像特征表示,包括:
提取所述第一图像的纹理特征表示,所述纹理特征表示用于指示所述第一图像的图像纹理特征;
基于所述纹理特征表示提取所述第一图像的全局特征表示,所述全局特征表示用于指示所述第一图像的整体图像特征;
基于所述纹理特征表示提取所述第一图像的局部特征表示,所述局部特征表示用于指示所述第一图像中子图区域的图像特征;
基于所述纹理特征表示提取所述第一图像的语义特征表示,所述语义特征表示用于指示所述第一图像所包含的语义内容;
对所述纹理特征表示、所述全局特征表示、所述局部特征表示和所述语义特征表示进行融合,得到所述第一图像的图像特征表示。
5.根据权利要求1至4任一所述的方法,其特征在于,所述对所述第一图像进行特征分析,得到与所述第一图像对应的曲线修正系数,包括:
对所述第一图像进行分块处理,得到至少两个图像块;
对所述至少两个图像块分别进行特征分析,得到与所述至少两个图像块对应的至少两个块修正系数,其中,第i个图像块对应第i个块修正系数,所述曲线修正系数是所述至少两个块修正系数的集合。
6.根据权利要求5所述的方法,其特征在于,所述对所述第一图像进行分块处理,得到至少两个图像块,包括:
按照预设分块数量对所述第一图像进行平均分块,得到所述至少两个图像块;或者,
对所述第一图像进行随机分块,得到所述至少两个图像块。
7.根据权利要求1至4任一所述的方法,其特征在于,所述方法还包括:
以所述曲线修正系数对所述预设映射曲线直接进行修正,得到目标映射曲线。
8.根据权利要求1至4任一所述的方法,其特征在于,所述曲线修正系数中包括n个子系数,n为大于1的整数;
所述以所述曲线修正系数对所述预设映射曲线的曲线参数进行修正,得到目标映射曲线,包括:
对所述预设映射曲线进行分段处理,得到n个分段映射曲线;
通过n个子系数对所述n个分段映射曲线分别进行修正,得到所述目标映射曲线,其中,第k个分段映射曲线通过第k个子系数进行修正,k为正整数且k≤n。
9.根据权利要求7所述的方法,其特征在于,所述对所述预设映射曲线进行分段处理,得到n个分段映射曲线,包括:
将所述预设映射曲线按照所述预设映射曲线所在坐标轴的横坐标进行平均分段处理,得到n个分段映射曲线;
或者,
将所述预设映射曲线按照所述预设映射曲线所在坐标轴的纵坐标进行平均分段处理,得到n个分段映射曲线。
10.根据权利要求1至4任一所述的方法,其特征在于,所述基于所述目标映射曲线对所述第一图像进行色彩参数调整,得到所述第一图像对应的第二图像,包括:
对所述第一图像进行像素级特征变换,得到与所述第一图像对应的所述全分辨率特征图;
将所述目标映射曲线作用于所述全分辨率特征图,通过线性插值得到像素级映射系数;
将所述像素级映射系数作用于所述第一图像得到所述第二图像。
11.一种图像处理装置,其特征在于,所述装置包括:
获取模块,用于获取第一图像,所述第一图像是待进行色彩参数调整的图像;
所述获取模块,还用于获取预设映射曲线,所述预设映射曲线对应有预先设定的曲线参数;
分析模块,用于对所述第一图像进行特征分析,得到与所述第一图像对应的曲线修正系数;
修正模块,用于以所述曲线修正系数对所述预设映射曲线的曲线参数进行修正,得到目标映射曲线;
调整模块,用于基于所述目标映射曲线对所述第一图像进行色彩参数调整,得到所述第一图像对应的第二图像,所述第二图像为在所述第一图像的基础上进行色彩参数调整后的图像。
12.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一段程序,所述至少一段程序由所述处理器加载并执行以实现如权利要求1至10任一所述的图像处理方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行以实现如权利要求1至10任一所述的图像处理方法。
14.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序被处理器执行时实现如权利要求1至10任一所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210398173.8A CN116977190A (zh) | 2022-04-15 | 2022-04-15 | 图像处理方法、装置、设备、存储介质及程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210398173.8A CN116977190A (zh) | 2022-04-15 | 2022-04-15 | 图像处理方法、装置、设备、存储介质及程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116977190A true CN116977190A (zh) | 2023-10-31 |
Family
ID=88483626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210398173.8A Pending CN116977190A (zh) | 2022-04-15 | 2022-04-15 | 图像处理方法、装置、设备、存储介质及程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116977190A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117745713A (zh) * | 2024-01-24 | 2024-03-22 | 广东省建筑工程监理有限公司 | 基于图像处理的护坡结构变形检测方法和*** |
-
2022
- 2022-04-15 CN CN202210398173.8A patent/CN116977190A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117745713A (zh) * | 2024-01-24 | 2024-03-22 | 广东省建筑工程监理有限公司 | 基于图像处理的护坡结构变形检测方法和*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Gladnet: Low-light enhancement network with global awareness | |
CN110046673B (zh) | 基于多特征融合的无参考色调映射图像质量评价方法 | |
CN110163808B (zh) | 一种基于卷积神经网络的单帧高动态成像方法 | |
CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
Li et al. | A multi-scale fusion scheme based on haze-relevant features for single image dehazing | |
CN111105376B (zh) | 基于双分支神经网络的单曝光高动态范围图像生成方法 | |
US20170316597A1 (en) | Texturing a three-dimensional scanned model with localized patch colors | |
CN106485668A (zh) | 用于过曝修正的方法、***和装置 | |
CN110136055B (zh) | 图像的超分辨率方法和装置、存储介质、电子装置 | |
CN111598799A (zh) | 图像调色增强方法和图像调色增强神经网络训练方法 | |
JP2021531571A (ja) | 証明書画像抽出方法及び端末機器 | |
CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
CN113096029A (zh) | 基于多分支编解码器神经网络的高动态范围图像生成方法 | |
US11887218B2 (en) | Image optimization method, apparatus, device and storage medium | |
Park et al. | High dynamic range and super-resolution imaging from a single image | |
Steffens et al. | Cnn based image restoration: Adjusting ill-exposed srgb images in post-processing | |
CN111951172A (zh) | 一种图像优化方法、装置、设备和存储介质 | |
CN111489322A (zh) | 给静态图片加天空滤镜的方法及装置 | |
KR20140035273A (ko) | 화상 처리장치, 화상 처리프로그램을 기록한 컴퓨터-리더블 기록매체, 및 화상 처리방법 | |
Wang et al. | Low-light image enhancement based on virtual exposure | |
Shutova et al. | NTIRE 2023 challenge on night photography rendering | |
CN115205160A (zh) | 基于局部场景感知的无参考低照度图像增强方法 | |
Jang et al. | Dynamic range expansion using cumulative histogram learning for high dynamic range image generation | |
Feng et al. | Low-light image enhancement algorithm based on an atmospheric physical model | |
Liu et al. | Progressive complex illumination image appearance transfer based on CNN |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |