CN113240599A - 图像调色方法及装置、计算机可读存储介质、电子设备 - Google Patents

图像调色方法及装置、计算机可读存储介质、电子设备 Download PDF

Info

Publication number
CN113240599A
CN113240599A CN202110505184.7A CN202110505184A CN113240599A CN 113240599 A CN113240599 A CN 113240599A CN 202110505184 A CN202110505184 A CN 202110505184A CN 113240599 A CN113240599 A CN 113240599A
Authority
CN
China
Prior art keywords
image
processed
information
pixel value
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110505184.7A
Other languages
English (en)
Inventor
汪路超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110505184.7A priority Critical patent/CN113240599A/zh
Publication of CN113240599A publication Critical patent/CN113240599A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及图像处理技术领域,提供了一种图像调色方法及装置、计算机可读存储介质、电子设备,该方法包括:获取待处理图像的统计特征,以及获取参考图像的统计特征;根据所述待处理图像的统计特征和所述参考图像的统计特征生成与所述待处理图像对应的目标映射关系;根据所述目标映射关系对所述待处理图像进行调色处理。本公开通过待处理图像和参考图像的统计特征动态生成目标映射关系,生成的目标映射关系具有针对性,并根据目标映射关系对待处理图像进行调色处理,提高了图像处理的准确率。

Description

图像调色方法及装置、计算机可读存储介质、电子设备
技术领域
本公开涉及图像处理技术领域,具体而言,涉及一种资源信息获取方法、资源信息获取装置、计算机可读存储介质及电子设备。
背景技术
随着图像处理技术的发展,可以针对一张图像进行多种风格的调节,实现同一内容的图像具有多种风格的变换。
现有技术中,经常使用LUT表进行调色,但是LUT表是由设计人员手工制作,通常是针对一种风格制作一个LUT表,不同的待处理图像使用同一个LUT表进行调色。现有技术中利用静态的LUT表进行调色的方法不具有针对性,调色效果较差。
发明内容
本公开的目的在于提供一种图像调色方法、图像调色装置、计算机可读存储介质及电子设备,进而至少在一定程度上解决了现有技术中针对性不高的问题。
根据本公开的第一方面,提供一种图像调色方法,所述图像调色方法包括:获取待处理图像的统计特征,以及获取参考图像的统计特征;根据所述待处理图像的统计特征和所述参考图像的统计特征生成与所述待处理图像对应的目标映射关系;根据所述目标映射关系对所述待处理图像进行调色处理。
根据本公开的第二方面,提供一种图像调色装置,所述图像调色装置包括:特征获取模块,用于获取待处理图像的统计特征,以及获取参考图像的统计特征;映射生成模块,用于根据所述待处理图像的统计特征和所述参考图像的统计特征生成与所述待处理图像对应的目标映射关系;调色处理模块,用于根据所述目标映射关系对所述待处理图像进行调色处理。
根据本公开的第三方面,提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现如上述实施例中所述的图像调色方法。
根据本公开的第四方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上述实施例中所述的图像调色方法。
由上述技术方案可知,本公开示例性实施例中的图像调色方法及装置、***、计算机可读存储介质、电子设备至少具备以下优点和积极效果:
本公开的图像调色方法,识别语音信息对应的文本信息,并获取文本信息对应的实体片段;首先,获取待处理图像的统计特征,以及获取参考图像的统计特征;然后,根据待处理图像的统计特征和参考图像的统计特征生成待处理图像对应的目标映射关系;最后,根据目标映射关系对待处理图像进行调色处理。本公开的图像调色方法通过待处理图像和参考图像的统计特征动态生成目标映射关系,生成的目标映射关系具有针对性,并根据目标映射关系对待处理图像进行调色处理,提高了图像处理的准确率。
本公开应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性示出了本示例性实施方式的一种***架构的示意图;
图2示意性示出了本示例性实施方式的电子设备的示意图;
图3示意性示出了根据本公开的一实施例的图像调色方法的流程示意图;
图4示意性示出了根据本公开的一实施例的获取待处理图像的统计特征的方法流程示意图;
图5示意性示出了根据本公开的一实施例的生成目标映射关系的方法流程示意图;
图6示意性示出了根据本公开的一实施例的获取输入像素值对应的特征信息的方法流程示意图;
图7示意性示出了根据本公开的一实施例的生成目标映射关系的方法流程示意图;
图8示意性示出了根据本公开的一具体实施例的图像调色方法的流程示意图;
图9示意性示出了根据本公开的一实施例的图像调色装置的框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本公开的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
在本领域的相关技术中,通过设计人员手工调制不同风格的LUT表,确定目标风格的LUT表对待处理图像进行LUT映射,以得到待处理图像对应的目标风格的输出图像。但是,手工调制获得的LUT表是静态的,不具备扩展性,只能作为滤镜使用,对不同的待处理图像调色的针对性较低。
基于相关技术中存在的问题,本公开实施例首先提供了一种图像调色方法,该图像调色方法应用于本公开示例性实施方式的***架构中。图1示出了本公开示例性实施方式的一种***架构的示意图,如图1所示,该***架构100可以包括:终端110、网络120和服务器130。终端110可以是具有音频采集功能的各种电子设备,包括但不限于手机、平板电脑、个人电脑、智能穿戴设备等。网络120用以在终端110和服务器130之间提供通信链路的介质,可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等。应该理解,图1中的终端、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端、网络和服务器。比如服务器130可以是多个服务器组成的服务器集群等。
本公开实施方式所提供的图像调色方法可以由终端110执行,例如在终端110获取待处理图像和参考图像,根据待处理图像和参考图像的统计特征生成目标映射关系,并根据目标映射关系对待处理图像进行调色处理。
另外,本公开实施方式所提供的图像调色方法也可以由服务器130执行,例如终端110获取待处理图像和参考图像之后,将待处理图像和参考图像上传到服务器130,使服务器130根据获取待处理图像和参考图像的统计特征生成目标映射关系,并根据目标映射关系对待处理图像进行调色处理,将调色处理之后的待处理图像返回至终端110,本公开对此不做限定。
本公开的示例性实施方式提供一种用于实现图像调色方法的电子设备,其可以是图1中的终端110或服务器130。该电子设备至少包括处理器和存储器,存储器用于存储处理器的可执行指令,处理器配置为经由执行可执行指令来执行图像调色方法。
电子设备可以以各种形式来实施,例如可以包括手机、平板电脑、笔记本电脑、个人数字助理(Personal Digital Assistant,PDA)、导航装置、可穿戴设备、无人机等移动设备,以及台式电脑、智能电视等固定设备。
下面以图2中的移动终端200为例,对电子设备的构造进行示例性说明。本领域技术人员应当理解,除了特别用于移动目的的部件之外,图2中的构造也能够应用于固定类型的设备。在另一些实施方式中,移动终端200可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出,并不构成对移动终端200的结构限定。在另一些实施方式中,移动终端200也可以采用与图2不同的接口连接方式,或多种接口连接方式的组合。
如图2所示,移动终端200具体可以包括:处理器210、内部存储器221、外部存储器接口222、USB接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(Subscriber Identification Module,SIM)卡接口295等。传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803、气压传感器2804等。
处理器210可以包括一个或多个处理单元,例如:处理器210可以包括应用处理器(Application Processor,AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit,GPU)、图像信号处理器(Image Signal Processor,ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor,DSP)、基带处理器和/或神经网络处理器(Neural-Network Processing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
NPU为神经网络(Neural-Network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现移动终端200的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
处理器210中设置有存储器。存储器可以存储用于实现六个模块化功能的指令:检测指令、连接指令、信息管理指令、分析指令、数据传输指令和通知指令,并由处理器210来控制执行。
充电管理模块240用于从充电器接收充电输入。电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入,为处理器210、内部存储器221、显示屏290、摄像模组291和无线通信模块260等供电。
移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。其中,天线1和天线2用于发射和接收电磁波信号;移动通信模块250可以提供应用在移动终端200上的包括2G/3G/4G/5G等无线通信的解决方案;调制解调处理器可以包括调制器和解调器;无线通信模块260可以提供应用在移动终端200上的包括无线局域网(Wireless Local Area Networks,WLAN)(如无线保真(Wireless Fidelity,Wi-Fi)网络)、蓝牙(Bluetooth,BT)等无线通信的解决方案。在一些实施例中,移动终端200的天线1和移动通信模块250耦合,天线2和无线通信模块260耦合,使得移动终端200可以通过无线通信技术与网络以及其他设备通信。
移动终端200通过GPU、显示屏290及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏290和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器210可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
移动终端200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。其中,ISP用于处理摄像模组291反馈的数据;摄像模组291用于捕获静态图像或视频;数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号;视频编解码器用于对数字视频压缩或解压缩,移动终端200还可以支持一种或多种视频编解码器。
外部存储器接口222可以用于连接外部存储卡,例如Micro SD卡,实现扩展移动终端200的存储能力。外部存储卡通过外部存储器接口222与处理器210通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器221可以用于存储计算机可执行程序代码,可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。其中,存储程序区可存储操作***,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储移动终端200使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器221可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(Universal Flash Storage,UFS)等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令,执行移动终端200的各种功能应用以及数据处理。
移动终端200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。
深度传感器2801用于获取景物的深度信息。在一些实施例中,深度传感器可以设置于摄像模组291。
压力传感器2802用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器2802可以设置于显示屏290。压力传感器2802的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。
陀螺仪传感器2803可以用于确定移动终端200的运动姿态。在一些实施方式中,可以通过陀螺仪传感器2803确定移动终端200围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器2803可以用于拍摄防抖、导航、体感游戏场景等。
此外,还可以根据实际需要在传感器模块280中设置其他功能的传感器,例如气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器、骨传导传感器等。
移动终端200中还可包括其它提供辅助功能的设备。例如,按键294包括开机键,音量键等,用户可以通过按键输入,产生与移动终端200的用户设置以及功能控制有关的键信号输入。再如,指示器292、马达293、SIM卡接口295等。
下面对本公开示例性实施方式的图像调色方法和图像调色装置进行具体说明。图3示出了图像调色方法的流程示意图,如3所示,该图像调色方法至少包括以下步骤:
步骤S310:获取待处理图像的统计特征,以及获取参考图像的统计特征;
步骤S320:根据待处理图像的统计特征和参考图像的统计特征生成与待处理图像对应的目标映射关系;
步骤S330:根据目标映射关系对待处理图像进行调色处理。
本公开中的图像调色方法,通过待处理图像和参考图像的统计特征动态生成目标映射关系,生成的目标映射关系具有针对性,并根据目标映射关系对待处理图像进行调色处理,提高了调色处理的准确率。
为了使本公开的技术方案更清晰,接下来对图像调色方法的各步骤进行说明。
在步骤S310中,获取待处理图像的统计特征,以及获取参考图像的统计特征。
在本公开的示例性实施例中,待处理图像是指用于图像调色的目标图像。可以获取用户输入的图像作为待处理图像,也可以通过图像采集单元拍摄得到待处理图像,还可以通过图像编辑软件绘制得到待处理图像,本公开对待处理图像的获取方式和获取路径不做具体限定。
另外,参考图像是指在图像调色过程中,用于提供风格信息的源图像。例如,参考图像可以是具有复古风格的图像,也可以是具有暖色调或冷色调的图像,本公开对此不做具体限定。
举例而言,基于图像A和图像B,通过图像调色处理,输出一幅目标图像C,目标图像C具有图像A的形状和具有图像B的风格。此时,可以认为图像A是待处理图像,图像B是参考图像。
在本公开的示例性实施例中,在获取待处理图像的统计特征之前,对待处理图像进行缩放处理,以得到处理后的待处理图像,其中,处理后的待处理图像的分辨率小于待处理图像的分辨率。
具体地,利用缩放函数对待处理图像进行缩放处理,以得到分辨率较小的待处理图像。其中,可以利用resize缩放函数对待处理图像进行缩放处理。比如,将分辨率为1080*1920的图像,经resize缩放函数进行缩放处理后,得到640*360的图像。当然,缩放倍数可以是任意倍数,本公开对此不做具体限定。
在本公开的示例性实施例中,统计特征包括特征均值信息和特征标准差信息。其中,特征均值信息包括待处理图像的特征信息对应的特征均值,特征标准差信息包括待处理图像的特征信息对应的特征标准差。
具体地,图4示出了获取待处理图像的统计特征的方法流程示意图,如图4所示,该流程至少包括步骤S410至步骤S420,详细介绍如下:
在步骤S410中,将待处理图像输入特征提取模型中,以得到与待处理图像对应的特征信息。
在本公开的示例性实施例中,特征提取模型可以是卷积神经网络(ConvolutionalNeural Networks,CNN),卷积神经网络是一种层次模型(hierarchical model),其输入为原始数据(raw data),如RGB图像、原始音频数据等。卷积神经网络通过卷积(convolution)操作、池化(pooling)操作和非线性激活函数(non-linear activation function)映射等一系列操作的层层堆叠,将高层语义信息逐层由原始数据输入层中抽取出来,逐层轴线,这一过程便是“前馈运算”(feed-forward)。
举例而言,上述特征提取模型可以是具有1*1卷积核的卷积神经网络,该特征提取模型对输入的待处理图像中各像素点进行上采样,将各像素点中RGB通道上采样为多通道的特征信息。比如,可以是将RGB通道的像素信息转化为64通道的特征信息,本公开对卷积神经网络的具体结构不做具体限定。
具体地,将待处理图像输入卷积神经网络中,通过卷积神经网络对待处理图像进行特征提取,以得到待处理图像的特征信息。另外,还可以将经缩放处理之后的待处理图像输入卷积神经网络中,以得到待处理图像的特征信息。
在步骤S420中,根据待处理图像的特征信息计算待处理图像的特征均值信息和特征标准差信息。
在本公开的示例性实施例中,在获取到待处理图像的特征信息之后,计算待处理图像的特征信息对应的均值和标准差,将待处理图像的特征信息对应的均值和标准差配置为待处理图像的统计特征。
在本公开的示例性实施例中,可以通过特征提取模型对参考图像进行特征提取,以得到参考图像的特征信息,并计算参考图像的特征信息对应的均值和标准差,将参考图像的特征信息对应的均值和标准差配置为参考图像的统计特征。特征提取模型可以与上述获取待处理图像的特征信息的特征提取模型相同,也可以不同,本公开对此不做具体限定。
其中,可以预先对参考图像进行特征提取,获取参考图像的特征信息,并根据参考图像的特征信息计算参考图像的统计特征。将参考图像对应的统计特征存储至数据库中,可以直接从数据库中获取参考图像的统计特征。例如,选择某一风格图像对待处理图像进行调色处理,则在数据库中获取与该风格图像对应的统计特征。
另外,还可以利用特征提取模型实时对参考图像进行特征提取,并实时获取参考图像的统计特征。
在步骤S320中,根据待处理图像的统计特征和参考图像的统计特征生成与待处理图像对应的目标映射关系。
在本公开的示例性实施例中,目标映射关系可以是LUT表,LUT表的索引编号为输入像素值,LUT表的索引值为输出像素值。输入像素值和输出像素值均包括RGB通道的值,具体包括由红色通道R、绿色通道G、蓝色通道B组成的像素值。
在本公开的示例性实施例中,可以将待处理图像的统计特征和参考图像的统计特征存储至ADAIN模块中,并通过ADAIN模块生成目标映射关系。图5示出了生成目标映射关系的方法流程示意图,如图5所示,该流程至少包括步骤S510至步骤S520,详细介绍如下:
在步骤S510中,获取输入像素值,并对输入像素值进行特征提取,以获得与输入像素值对应的特征信息。
在本公开的示例性实施例中,输入像素值可以预先设定的一组像素值。比如,可以是红色通道R、绿色通道G、蓝色通道B分别为0~255的像素值。比如,输入像素值为(0,0,0)、(0,0,1)、(0,1,0)、(1,0,0)、...(0,0,255)、(0,255,0)、(255,0,0)、...(255,255,255)等256*256*256个输入像素值。又比如,输入像素值还可以为(0,0,0)、(0,0,8)、(0,8,0)、(8,0,0)、...(0,0,32)、(0,32,0)、(32,0,0)、...(0,0,255)、(0,255,0)、(255,0,0)、...(255,255,255)等33*33*33个输入像素值。
另外,该输入像素值还可以通过遍历待处理图像,获取待处理图像对应的像素值作为输入像素值。具体地,图6示出了获取输入像素值对应的特征信息的方法流程示意图,如图6所示,该流程至少包括步骤S610至步骤S630,详细介绍如下:
在步骤S610中,遍历待处理图像,获取与待处理图像对应的像素值,将待处理图像的像素值配置为输入像素值。
在本公开的示例性实施例中,遍历待处理图像中所有像素点,获取所有像素点对应的像素值,将所有像素点对应的像素值均作为输入像素值。
另外,还可以遍历待处理图像的各像素点的像素值,可以获取待处理图像中像素值的像素范围,根据待处理图像对应的像素范围配置输入像素值。比如,若待处理图像中像素点在红色通道R、绿色通道G、蓝色通道B的像素范围为132~255,则将输入像素值配置为(0,0,132)、(0,132,0)、(132,0,0)、...(0,0,255)、(0,255,0)、(255,0,0)、...(255,255,255)等。
在步骤S620中,将输入像素值进行矩阵变换,以得到与输入像素值对应的图像信息。
在本公开的示例性实施例中,将输入像素值输入reshape函数中进行矩阵变换,以得到与输入像素值对应的图像信息。该图像信息可以包括W*H个RGB通道值,其中,W除以H,或H除以W可以得到任意正整数。比如,将输入像素值输入reshape函数中进行矩阵变换,得到33*1089的图像信息。
在步骤S630中,将图像信息输入特征提取模型中,以得到与图像信息对应的特征信息。
在本公开的示例性实施例中,通过特征提取模型对图像信息进行特征提取,以得到图像信息对应的特征信息,即为输入像素值对应的特征信息。
另外,还可以获取33*33*33的初始LUT表,该初始LUT表的索引编号分别为33*33*33个输入像素值,33*33*33个输入像素值包括:(0,0,0,)、(0,0,8,)、(0,8,0,)、(8,0,0,)...(0,0,255,)、(0,255,0,)、(255,0,0,)。初始LUT表的索引值为33*33*33个初始输出像素值,该初始输出像素值可以是任一像素值,本公开对此不做具体限定。
将33*33*33的初始LUT表输入reshape函数中进行矩阵变换,得到一33*1089的图像信息,将该初始LUT表对应的图像信息输入特征提取模型中,以得到初始LUT表对应的特征信息。
继续参照图5所示,在步骤S520中,根据输入像素值的特征信息、待处理图像的统计特征以及参考图像的统计特征生成与待处理图像对应的目标映射关系。
在本公开的示例性实施例中,根据输入像素值对应的特征信息、待处理图像的统计特征以及参考图像的统计特征,计算与输入像素值的特征信息对应的输出特征信息,并将输出特征信息输入特征映射模型中,以得到输出像素值。
具体地,图7示出了生成目标映射关系的方法流程示意图,如图7所示,该流程至少包括步骤S710至步骤S730,详细介绍如下:
在步骤S710中,根据输入像素值的特征信息、待处理图像的统计特征以及参考图像的统计特征获取与输入像素值的特征信息对应的输出特征信息。
在本公开的示例性实施例中,根据如下公式(1)计算输出特征信息,公式(1)如下所示:
Figure BDA0003058081320000131
其中,P表示输出特征信息,s表示输入像素值的特征信息,μ(x)表示待处理图像的特征均值信息,σ(x)表示待处理图像的特征标准差信息,μ(y)表示参考图像的特征均值信息,σ(y)表示参考图像的特征标准差信息。
在步骤S720中,对输出特征信息进行特征映射,以得到与输出特征信息对应的输出像素值。
在本公开的示例性实施例中,将输出特征信息输入特征映射模型中,以得到与输出特征信息对应的输出像素值。其中,特征映射模型可以是卷积神经网络,该卷积神经网络可以将多通道的输出特征信息进行下采样,将多通道的输出特征信息映射至RGB通道,得到RGB通道的输出像素值。
在步骤S730中,根据输入像素值和输出像素值生成目标映射关系。
在本公开的示例性实施例中,针对输入像素值,以及输入像素值对应的输出像素值创建目标映射关系。该目标映射关系可以是索引的形式,将输入像素值作为索引编号,将输入像素值对应的输出像素值作为索引编号对应的索引值。
另外,得到初始LUT表对应的特征信息之后,根据上述公式(1),获取初始LUT表对应的输出特征信息,并通过特征映射模型对输出特征信息进行特征映射,得到初始LUT表对应的输出像素值。根据输出像素值对应替换初始LUT表中的初始输出像素值,以得到目标LUT表。
在步骤S330中,根据目标映射关系对待处理图像进行调色处理。
在本公开的示例性实施例中,获取待处理图像中各像素点的像素值,将各像素点的像素值与目标映射关系中输入像素值进行匹配,获取与各像素点的像素值相匹配的输入像素值对应的输出像素值,利用输出像素值替换对应的各像素点的像素值,以得到调色处理之后的目标图像。
其中,若在目标映射关系中不存在与待处理图像中像素点的像素值对应的输入像素值,则获取与待处理图像中像素点的像素值最接近的两个或两个以上的输入像素值,并将两个或两个以上的输入像素值进行插值运算,以得到像素点对应的输出像素值。
图8示出了本具体实施例的一种图像调色方法的流程示意图,如图8所示,该流程至少包括步骤S810至步骤S890,详细介绍如下:
在步骤S810中,获取待处理图像,并对待处理图像进行缩放处理,以得到处理后的待处理图像。
其中,待处理图像的分辨率为1080*1920,将待处理图像的图像分辨率经缩放处理得到分辨率为640*360的图像。
在步骤S820中,通过特征提取模型对处理后的待处理图像进行特征提取,以得到待处理图像的特征信息,并获取待处理图像的特征信息对应的特征均值信息和特征标准差信息。
在步骤S830中,通过特征提取模型对参考图像进行特征提取,以得到参看图像的特征信息,并获取参考图像的特征信息对应的特征均值信息和特征标准差信息。
在步骤S840中,将待处理图像的特征均值信息和特征标准差信息,以及参考图像的特征均值信息和特征标准差信息存储至ADAIN模型中。
其中,根据上述实施例中的公式(1)构建ADAIN模型,该ADAIN模型的输入为输入像素值的特征信息,ADAIN模型的输出为输出特征信息。
在步骤S850中,获取初始LUT表,将该初始LUT表中的输入像素值进行矩阵变换,以得到初始LUT表对应的图像信息,并通过特征提取模型获取初始LUT表的图像信息对应的特征信息。
其中,初始LUT表包括输入像素值和初始输出像素值,输入像素值为预先设定的个数为33*33*33的RGB像素值。
在步骤S860中,将初始LUT表对应的特征信息输入ADAIN模型中,通过ADAIN模型根据公式(1)得到初始LUT表对应的输出特征信息。
在步骤S870中,将初始LUT表对应的输出特征信息输入特征映射模型,以得到输出特征信息对应的输出像素值,并根据输出像素值替换初始LUT表中的初始输出像素值,以得到目标LUT表。
在步骤S880中,获取待处理图像中各像素点的像素值,根据各像素点的像素值作为输入像素值在目标LUT表中进行索引,以得到各像素点对应的输出像素值。
在步骤S890中,根据各像素点对应的输出像素值生成调色之后的目标图像。
在本公开的具体实施例中,将待处理图像的分辨率从1080*1920进行缩放处理至分辨率为640*360的图像,计算量从1080*1920=2073600缩小至640*360+33*33*33=266337,缩小了一个量级。并且,通过实验验证,将任意分辨率的图像缩小至360P均不会造成明显的进度损失。因此,分辨率越大的待处理图像将获取更大的加速比。
本实施例的图像调色方法,通过待处理图像和参考图像的统计特征生成目标映射关系,再根据目标映射关系对待处理图像进行调色处理。一方面,本公开可以根据待处理图像和参考图像的不同,动态生成目标映射关系,生成的目标映射关系与待处理图像和参考图像具有针对性,使得调色的准确率更高;另一方面,通过缩放处理降低待处理图像的分辨率,针对处理后的待处理图像的统计信息生成目标映射关系,大大缩小了计算量,减小了生成目标映射关系的***消耗。
本领域技术人员可以理解实现上述实施方式的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时,执行本发明提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中,该存储介质可以是只读存储器,磁盘或光盘等。
此外,需要注意的是,上述附图仅是根据本发明示例性实施方式的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
以下介绍本公开的装置实施例,可以用于执行本公开上述的图像调色方法。对于本公开装置实施例中未披露的细节,请参照本公开上述的图像调色方法的实施例。
图9示意性示出了根据本公开的一个实施例的图像调色装置的框图。
参照图9所示,根据本公开的一个实施例的图像调色装置900,图像调色装置900包括:特征获取模块901、映射生成模块902、以及调色处理模块903。具体地:
特征获取模块901,用于获取待处理图像的统计特征,以及获取参考图像的统计特征;
映射生成模块902,用于根据待处理图像的统计特征和参考图像的统计特征生成与待处理图像对应的目标映射关系;
调色处理模块903,用于根据目标映射关系对待处理图像进行调色处理。
在本公开的示例性实施例中,映射生成模块902,还可以用于获取输入像素值,并对输入像素值进行特征提取,以获得与输入像素值对应的特征信息;根据输入像素值的特征信息、待处理图像的统计特征以及参考图像的统计特征生成与待处理图像对应的目标映射关系。
在本公开的示例性实施例中,映射生成模块902,还可以用于根据输入像素值的特征信息、待处理图像的统计特征以及参考图像的统计特征获取与输入像素值的特征信息对应的输出特征信息;对输出特征信息进行特征映射,以得到与输出特征信息对应的输出像素值;根据输入像素值和输出像素值生成目标映射关系。
在本公开的示例性实施例中,映射生成模块902,还可以用于根据如下公式(1)计算输出特征信息,公式(1)如下所示:
Figure BDA0003058081320000161
其中,P表示输出特征信息,s表示输入像素值的特征信息,μ(x)表示待处理图像的特征均值信息,σ(x)表示待处理图像的特征标准差信息,μ(y)表示参考图像的特征均值信息,σ(y)表示参考图像的特征标准差信息。其中,统计特征包括特征均值信息和特征标准差信息。
在本公开的示例性实施例中,映射生成模块902,还可以用于遍历待处理图像,获取与待处理图像对应的像素值,将待处理图像的像素值配置为输入像素值;将输入像素值进行矩阵变换,以得到与输入像素值对应的图像信息;将图像信息输入特征提取模型中,以得到与图像信息对应的特征信息。
在本公开的示例性实施例中,特征获取模块901,还可以用于将待处理图像输入特征提取模型中,以得到与待处理图像对应的特征信息;根据待处理图像的特征信息计算待处理图像的特征均值信息和特征标准差信息。
在本公开的示例性实施例中,图像调色装置900还可以包括缩放处理模块(图中未示出),该缩放处理模块用于对待处理图像进行缩放处理,以得到处理后的待处理图像,其中,处理后的待处理图像的分辨率小于待处理图像的分辨率。
上述图像调色装置中各模块的具体细节在图像调色方法部分实施方式中已经详细说明,未披露的细节内容可以参见图像调色方法部分的实施方式内容,因而不再赘述。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为***、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“***”。
本公开的示例性实施方式还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤,例如可以执行图3至图8中任意一个或多个步骤。
本公开的示例性实施方式还提供了一种用于实现上述方法的程序产品,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施方式。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的,本公开的真正范围和精神由权利要求指出。

Claims (10)

1.一种图像调色方法,其特征在于,包括:
获取待处理图像的统计特征,以及获取参考图像的统计特征;
根据所述待处理图像的统计特征和所述参考图像的统计特征生成与所述待处理图像对应的目标映射关系;
根据所述目标映射关系对所述待处理图像进行调色处理。
2.根据权利要求1所述的图像调色方法,其特征在于,根据所述待处理图像的统计特征和所述参考图像的统计特征生成与所述待处理图像对应的目标映射关系,包括:
获取输入像素值,并对所述输入像素值进行特征提取,以获得与所述输入像素值对应的特征信息;
根据所述输入像素值的特征信息、所述待处理图像的统计特征以及所述参考图像的统计特征生成与所述待处理图像对应的目标映射关系。
3.根据权利要求2所述的图像调色方法,其特征在于,根据所述输入像素值的特征信息、所述待处理图像的统计特征以及所述参考图像的统计特征生成与所述待处理图像对应的目标映射关系,包括:
根据所述输入像素值的特征信息、所述待处理图像的统计特征以及所述参考图像的统计特征获取与所述输入像素值的特征信息对应的输出特征信息;
对所述输出特征信息进行特征映射,以得到与所述输出特征信息对应的输出像素值;
根据所述输入像素值和所述输出像素值生成所述目标映射关系。
4.根据权利要求3所述的图像调色方法,其特征在于,所述统计特征包括特征均值信息和特征标准差信息;
根据所述输入像素值的特征信息、所述待处理图像的统计特征以及所述参考图像的统计特征获取与所述输入像素值的特征信息对应的输出特征信息,包括:
根据如下公式(1)计算所述输出特征信息,公式(1)如下所示:
Figure FDA0003058081310000011
其中,P表示所述输出特征信息,s表示所述输入像素值的特征信息,μ(x)表示所述待处理图像的特征均值信息,σ(x)表示所述待处理图像的特征标准差信息,μ(y)表示所述参考图像的特征均值信息,σ(y)表示所述参考图像的特征标准差信息。
5.根据权利要求2所述的图像调色方法,其特征在于,在获取待处理图像的统计特征之前,所述方法还包括:
对所述待处理图像进行缩放处理,以得到处理后的待处理图像,其中,所述处理后的待处理图像的分辨率小于所述待处理图像的分辨率。
6.根据权利要求5所述的图像调色方法,其特征在于,获取输入像素值,并对所述输入像素值进行特征提取,以获得与所述输入像素值对应的特征信息,包括:
遍历所述待处理图像,获取与所述待处理图像对应的像素值,将所述待处理图像的像素值配置为所述输入像素值;
将所述输入像素值进行矩阵变换,以得到与所述输入像素值对应的图像信息;
将所述图像信息输入特征提取模型中,以得到与所述图像信息对应的特征信息。
7.根据权利要求6所述的图像调色方法,其特征在于,获取待处理图像的统计特征,包括:
将所述待处理图像输入所述特征提取模型中,以得到与所述待处理图像对应的特征信息;
根据待处理图像的特征信息计算所述待处理图像的特征均值信息和特征标准差信息。
8.一种图像调色装置,其特征在于,包括:
特征获取模块,用于获取待处理图像的统计特征,以及获取参考图像的统计特征;
映射生成模块,用于根据所述待处理图像的统计特征和所述参考图像的统计特征生成与所述待处理图像对应的目标映射关系;
调色处理模块,用于根据所述目标映射关系对所述待处理图像进行调色处理。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至7中任一项所述的图像调色方法。
10.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至7中任一项所述的图像调色方法。
CN202110505184.7A 2021-05-10 2021-05-10 图像调色方法及装置、计算机可读存储介质、电子设备 Pending CN113240599A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110505184.7A CN113240599A (zh) 2021-05-10 2021-05-10 图像调色方法及装置、计算机可读存储介质、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110505184.7A CN113240599A (zh) 2021-05-10 2021-05-10 图像调色方法及装置、计算机可读存储介质、电子设备

Publications (1)

Publication Number Publication Date
CN113240599A true CN113240599A (zh) 2021-08-10

Family

ID=77133247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110505184.7A Pending CN113240599A (zh) 2021-05-10 2021-05-10 图像调色方法及装置、计算机可读存储介质、电子设备

Country Status (1)

Country Link
CN (1) CN113240599A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114449199A (zh) * 2021-08-12 2022-05-06 荣耀终端有限公司 视频处理方法、装置、电子设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180308269A1 (en) * 2017-04-24 2018-10-25 Intel Corporation Hdr enhancement with temporal multiplex
CN109285112A (zh) * 2018-09-25 2019-01-29 京东方科技集团股份有限公司 基于神经网络的图像处理方法、图像处理装置
CN109754375A (zh) * 2018-12-25 2019-05-14 广州华多网络科技有限公司 图像处理方法、***、计算机设备、存储介质和终端
CN110070124A (zh) * 2019-04-15 2019-07-30 广州小鹏汽车科技有限公司 一种基于生成式对抗网络的图像扩增方法及***
CN110222722A (zh) * 2019-05-14 2019-09-10 华南理工大学 交互式图像风格化处理方法、***、计算设备及存储介质
CN110473141A (zh) * 2019-08-02 2019-11-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111489322A (zh) * 2020-04-09 2020-08-04 广州光锥元信息科技有限公司 给静态图片加天空滤镜的方法及装置
CN111583165A (zh) * 2019-02-19 2020-08-25 京东方科技集团股份有限公司 图像处理方法、装置、设备及存储介质
US20210049468A1 (en) * 2018-11-14 2021-02-18 Nvidia Corporation Generative adversarial neural network assisted video reconstruction

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180308269A1 (en) * 2017-04-24 2018-10-25 Intel Corporation Hdr enhancement with temporal multiplex
CN109285112A (zh) * 2018-09-25 2019-01-29 京东方科技集团股份有限公司 基于神经网络的图像处理方法、图像处理装置
US20210049468A1 (en) * 2018-11-14 2021-02-18 Nvidia Corporation Generative adversarial neural network assisted video reconstruction
CN109754375A (zh) * 2018-12-25 2019-05-14 广州华多网络科技有限公司 图像处理方法、***、计算机设备、存储介质和终端
CN111583165A (zh) * 2019-02-19 2020-08-25 京东方科技集团股份有限公司 图像处理方法、装置、设备及存储介质
CN110070124A (zh) * 2019-04-15 2019-07-30 广州小鹏汽车科技有限公司 一种基于生成式对抗网络的图像扩增方法及***
CN110222722A (zh) * 2019-05-14 2019-09-10 华南理工大学 交互式图像风格化处理方法、***、计算设备及存储介质
CN110473141A (zh) * 2019-08-02 2019-11-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111489322A (zh) * 2020-04-09 2020-08-04 广州光锥元信息科技有限公司 给静态图片加天空滤镜的方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114449199A (zh) * 2021-08-12 2022-05-06 荣耀终端有限公司 视频处理方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN112989904B (zh) 风格图像生成方法、模型训练方法、装置、设备和介质
CN111369427B (zh) 图像处理方法、装置、可读介质和电子设备
CN112562019A (zh) 图像色彩调整方法及装置、计算机可读介质和电子设备
WO2022068451A1 (zh) 风格图像生成方法、模型训练方法、装置、设备和介质
CN111950570B (zh) 目标图像提取方法、神经网络训练方法及装置
CN111866483B (zh) 颜色还原方法及装置、计算机可读介质和电子设备
CN112581635B (zh) 一种通用的快速换脸方法、装置、电子设备和存储介质
US12019669B2 (en) Method, apparatus, device, readable storage medium and product for media content processing
JP2022517463A (ja) 符号化方法並びにその、装置、機器及びコンピュータプログラム
WO2023072015A1 (zh) 人物风格形象图的生成方法、装置、设备及存储介质
CN111833242A (zh) 人脸变换方法、装置、电子设备和计算机可读介质
CN113744286A (zh) 虚拟头发生成方法及装置、计算机可读介质和电子设备
CN112967193A (zh) 图像校准方法及装置、计算机可读介质和电子设备
CN112785669B (zh) 一种虚拟形象合成方法、装置、设备及存储介质
CN113284206A (zh) 信息获取方法及装置、计算机可读存储介质、电子设备
CN113936089A (zh) 界面渲染方法及装置、存储介质及电子设备
CN113240599A (zh) 图像调色方法及装置、计算机可读存储介质、电子设备
CN110619602B (zh) 一种图像生成方法、装置、电子设备及存储介质
WO2023140787A2 (zh) 视频的处理方法、装置、电子设备、存储介质和程序产品
CN114418835A (zh) 图像处理方法、装置、设备及介质
CN113409204A (zh) 待处理图像的优化方法及装置、存储介质及电子设备
CN111310701B (zh) 手势识别方法、装置、设备及存储介质
CN113537470A (zh) 模型量化方法及装置、存储介质及电子设备
CN113362260A (zh) 图像优化方法及装置、存储介质及电子设备
CN113010728A (zh) 一种歌曲推荐方法、***、智能设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination