CN115908596B - 一种图像处理方法及电子设备 - Google Patents
一种图像处理方法及电子设备 Download PDFInfo
- Publication number
- CN115908596B CN115908596B CN202110964854.1A CN202110964854A CN115908596B CN 115908596 B CN115908596 B CN 115908596B CN 202110964854 A CN202110964854 A CN 202110964854A CN 115908596 B CN115908596 B CN 115908596B
- Authority
- CN
- China
- Prior art keywords
- image
- lookup table
- sub
- user
- lut
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000011282 treatment Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims description 87
- 230000000694 effects Effects 0.000 claims description 64
- 238000003062 neural network model Methods 0.000 claims description 60
- 230000008569 process Effects 0.000 claims description 50
- 238000003860 storage Methods 0.000 claims description 20
- 238000009499 grossing Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 18
- 238000004519 manufacturing process Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 238000007726 management method Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 210000004027 cell Anatomy 0.000 description 7
- 239000003086 colorant Substances 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 101100510695 Arabidopsis thaliana LUT2 gene Proteins 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 235000019646 color tone Nutrition 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
一种图像处理方法及电子设备,涉及图像处理技术领域。该图像处理方法包括:显示第一界面,通过该第一界面确定用户选择的第一文件;显示第二界面,在该第二界面中显示生成的查找表;通过第二界面确定查找表中用户选择的目标查找表,利用目标查找表对第一文件进行调色处理;显示调色处理后的第一文件。该图像处理方法能根据用户的需求进行图像处理,降低图像处理的难度。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像处理方法及电子设备。
背景技术
LUT(Look Up Table)指的是查找表,也称为颜色查找表、色彩对应表,可用于对图像的颜色值进行调整。LUT可以被存储成LUT文件,其文件格式为.lut。电子设备可根据LUT将图像中各个像素的原始颜色值(即RGB的值)转换成对应的目标颜色值,从而改变图像原本呈现的颜色效果。
当图像处理的专业人员需要对多张图像或者视频进行调色时,例如需要将一组颜色较暗的照片调亮时,需要先手动制作LUT,并将制作好的LUT进行存储,然后利用存储的LUT对需要调色的多张图像或者视频进行调色,使得这多张图片或视频呈现统一的风格。目前,LUT的制作生成只能由专业的技术人员在专业工具上处理而成。以制作LUT的工具为PhotoShop软件举例,技术人员需要先选择一张图片(例如图片A)导入到PhotoShop软件中,进而在PhotoShop软件中调整图片A的色阶得到调整后的图片A1,再利用曲线工具调整图片A1的颜色,得到调整后的图片A2。如果对图片A2的颜色效果仍然不满意,技术人员还可以再对图片A2中不满意的地方进行微调,得到最终的图片A3。在上述过程中,PhotoShop软件可以根据每次调整的参数(例如色阶的取值、RGB的取值)计算出LUT。用户可以利用PhotoShop软件提供的导出LUT的功能将计算出的LUT导出到指定位置进行存储。
可以看出,在PhotoShop软件中制作一个LUT的过程较为复杂。并且,用户在学习使用PhotoShop软件等专业工具以及学习相关图像处理原理的学习成本较高,比较困难,导致普通用户自行制作LUT的难度较大。
发明内容
本申请提供一种图像处理方法及电子设备,能够大大降低生成LUT的难度,提高生成LUT的效率。
第一方面,本申请提供一种图像处理方法。该方法中,首先显示第一界面,通过该第一界面确定用户选择的第一文件;然后,显示第二界面,在该第二界面中显示生成的查找表;通过该第二界面确定上述查找表中用户选择的目标查找表,利用该目标查找表对第一文件进行调色处理;并显示调色处理后的第一文件。
采用本方案,用户可以在界面上显示的多个查找表中,根据自己的需要选择目标查找表来进行调色处理,能够满足用户对图像处理的需求,提高用户体验;并且在图像处理的过程中用户无需自己制作查找表,对用户来说,大大降低了图像处理的难度。
在本申请第一方面的一种可能的实施方式中,上述方法还包括生成查找表的步骤,如下:首先确定用户选择的第一图像以及与第一图像对应的第二图像,其中,第二图像是第一图像经过第一调色处理后的图像;根据上述第一图像与第二图像生成第一调色处理对应的查找表(LUT);其中,该第一调色处理对应的查找表用于对上述第一文件进行调色处理时,可使得该第一文件与第二图像具备相同的调色效果。
在本实施方式中,根据第一图像以及第二图像可以自动生成对应的查找表(LUT),供用户使用。与现有技术中制作LUT的过程相比,更加简便,能够降低制作LUT的难度,提高制作LUT的效率;并且,针对用户喜欢的任何调色风格,均能够快速生成LUT,从而对需要处理的文件添加该调色风格,满足用户对图像调色的需求。
在本申请第一方面的一种可能的实施方式中,上述查找表可以包括全局查找表和局部查找表。
具体的,根据上述第一图像与第二图像生成全局查找表时,将上述第一图像与第二图像输入预置的深度神经网络模型中,可以得到该深度神经网络模型输出的全局查找表。在该实施方式中,生成全局查找表的过程简单,利用全局查找表进行图像处理时,处理速度较快,效率较高。
根据上述第一图像与第二图像生成局部查找表时,将上述第一图像与第二图像按照相同的分割方式分割成N个子块;将第一图像的子块作为第一子块,将第二图像的子块作为第二子块,之后,将第一图像中的第一子块与第二图像中的第二子块组合成输入数据对,得到N个输入数据对;其中,每个输入数据对中的第一子块在第一图像中的位置与第二子块在第二图像中的位置相同;将组合得到的N个输入数据对输入上述深度神经网络模型中,得到该深度神经网络模型输出的N个子块查找表;将该N个子块查找表进行合并,得到局部查找表。在该实施方式中,采用局部查找表进行图像处理时,局部查找表能够分别针对图像的不同部分进行不同的调色处理,使得不同部分之间存在对比,从而呈现更加丰富的细节,改善调色处理的效果。
在本申请第一方面的一种可能的实施方式中,在将N个子块查找表进行合并前,可以先将N个子块查找表进行平滑处理;之后,将平滑处理后的N个子块查找表进行合并,得到局部查找表。经过平滑处理后的局部查找表在进行调色处理时,各个局部之间能更好的融合形成统一的调色效果,在视觉体验上更加平滑,能够避免图像颜色变化差异大导致调色效果差的问题。
具体的,对N个子块查找表进行平滑处理包括:确定每个子块查找表对应的权重;计算第N个子块查找表的输出值与第N个子块查找表对应的权重的第一乘积,以及相邻查找表的输出值与所述相邻查找表对应的权重的第二乘积;其中,该相邻查找表为与上述第N个子块查找表相邻的子块查找表;然后,将该第N个子块查找表的输出值替换为上述第一乘积与第二乘积之和。在该实施方式中,采用加权求和的算法对各个子块查找表进行平滑处理,可以结合每个子块查找表的输出值的影响,来确定最终的局部查找表,使得局部查找表具有统一的调色效果。
在本申请第一方面的一种可能的实施方式中,生成上述深度神经网络模型包括:获取第一样本,以及该第一样本经过不同调色处理的多个第二样本;将一个第一样本与一个第二样本组合成样本对;将得到的样本对输入一深度神经网络模型中,以对该深度神经网络模型进行训练,使得训练完成后的该深度神经网络模型能输出上述样本对对应的查找表。在该实施方式中,深度神经网络模型针对不同的输入都能够输出对应的查找表,可提高确定查找表的效率。
在本申请第一方面的一种可能的实施方式中,根据上述第一图像与第二图像生成查找表时,可以将第一图像的颜色值作为输入值,将第二图像的颜色值作为输出值;通过多项式拟合算法确定上述输入值与输出值之间的目标多项式;通过目标多项式计算第一图像与第二图像的调色效果对应的查找表。在该实施方式中,多项式拟合的方式不需要提前训练模型,节省时间;并且目标多项式只需要拟合当前的一组第一图像与第二图像,计算速度快。
在本申请第一方面的一种可能的实施方式中,在对第一文件进行调色处理时,可以向用户显示第三界面,通过第三界面来确定用户选择的查找表类型,该查找表类型包括全局查找表和局部查找表;然后,根据用户选择的查找表类型获取对应的查找表,从而将获取的查找表显示在第二界面中。本实施方式中,用户不仅可以选择全局查找表对文件(即第一文件)进行调色处理,也可以选择局部查找表来对文件进行调色处理,可以为用户提供更多的调色处理方式和调色处理效果,满足用户需求,提高用户体验。
在本申请第一方面的一种可能的实施方式中,所述第一文件包括图像、视频中至少一种。用户可以利用生成的查找表对多张图像进行调色处理,处理后的这多张图像具备统一的调色效果,用户也可以利用查找表对多个视频进行调色处理,处理后的视频也将具备用户想要的调色效果,降低了调色处理的难度,提高了调色处理的效率。
第二方面,本申请提供一种电子设备,该电子设备包括存储器、显示屏、一个或多个处理器。其中,显示屏用于显示处理器生成的图像;该存储器中存储有一个或多个计算机程序,计算机程序包括指令,当该指令被处理器执行时,可使得电子设备执行如第一方面及其任一种可能的实施方式中的方法。
第三方面,本申请提供一种电子设备,该电子设备包括存储器、显示屏、一个或多个处理器。其中,显示屏用于显示处理器生成的图像;该存储器中存储有一个或多个计算机程序,计算机程序包括指令,当该指令被处理器执行时,使得电子设备执行如下步骤:显示第一界面,通过该第一界面确定用户选择的第一文件;显示第二界面,在该第二界面中显示生成的查找表;通过该第二界面确定上述查找表中用户选择的目标查找表,利用该目标查找表对第一文件进行调色处理;并显示调色处理后的第一文件。
在本申请第三方面的一种可能的实施方式中,当该指令被处理器执行时,使得电子设备执行如下步骤:确定用户选择的第一图像以及与第一图像对应的第二图像,其中,第二图像是第一图像经过第一调色处理后的图像;根据上述第一图像与第二图像生成第一调色处理对应的查找表(LUT);其中,该第一调色处理对应的查找表用于对上述第一文件进行调色处理时,可使得该第一文件与第二图像具备相同的调色效果。
在本申请第三方面的一种可能的实施方式中,上述查找表包括全局查找表和局部查找表。
在本申请第三方面的一种可能的实施方式中,当该指令被处理器执行时,使得电子设备执行如下步骤:将第一图像与第二图像输入预置的深度神经网络模型中,得到该深度神经网络模型输出的全局查找表。
在本申请第三方面的一种可能的实施方式中,当该指令被处理器执行时,使得电子设备执行如下步骤:对第一图像以及第二图像按照相同的分割方式分割成N个子块;将第一图像中的第一子块与第二图像中的第二子块组合成输入数据对,得到N个输入数据对,其中,输入数据对中的第一子块在第一图像中的位置与第二子块在第二图像中的位置相同;将N个输入数据对输入深度神经网络模型中,得到N个子块查找表;将N个子块查找表进行合并,得到局部查找表,其中,N为正整数。
在本申请第三方面的一种可能的实施方式中,当该指令被处理器执行时,使得电子设备执行如下步骤:对每个子块查找表进行平滑处理;将平滑处理后的N个子块查找表进行合并,得到局部查找表。
在本申请第三方面的一种可能的实施方式中,当该指令被处理器执行时,使得电子设备执行如下步骤:确定每个子块查找表对应的权重;计算第N个子块查找表的输出值与第N个子块查找表对应的权重的第一乘积,以及相邻查找表的输出值与相邻查找表对应的权重的第二乘积,其中,相邻查找表为与第N个子块查找表相邻的子块查找表;将第N个子块查找表的输出值替换为第一乘积与所述第二乘积之和。
在本申请第三方面的一种可能的实施方式中,当该指令被处理器执行时,使得电子设备执行如下步骤:获取第一样本,以及第一样本经过不同调色处理的多个第二样本;将第一样本与第一样本的第二样本组合成样本对,其中,每一组样本对中包含一个第一样本以及该第一样本的一个第二样本;将样本对输入深度神经网络模型中,以对该深度神经网络模型进行训练,使得训练完成后的深度神经网络模型能输出每一样本对对应的全局查找表。
在本申请第三方面的一种可能的实施方式中,当该指令被处理器执行时,使得电子设备执行如下步骤:将第一图像的颜色值作为输入值,将第二图像的颜色值作为输出值;通过多项式拟合算法确定该输入值与该输出值之间的目标多项式;通过该目标多项式输出第一调色效果对应的查找表。
在本申请第三方面的一种可能的实施方式中,当该指令被处理器执行时,使得电子设备执行如下步骤:显示第三界面,通过该第三界面确定用户选择的查找表类型,其中该查找表类型包括全局查找表以及该局部查找表;获取该查找表类型对应的查找表,以将所述查找表类型对应的查找表显示在所述第二界面。
在本申请第三方面的一种可能的实施方式中,所述第一文件包括图像、视频中至少一种。
第四方面,本申请提供一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当该指令在电子设备上运行时,使得电子设备执行如第一方面及其任一种可能的实施方式所述的方法。
第五方面,本申请提供一种计算机程序产品,当该计算机程序产品在电子设备上运行时,使得该电子设备执行如第一方面及任一种可能的实施方式所述的方法。
可以理解地,上述提供的第二方面、第三方面及其任一种可能的实施方式所述的电子设备,第四方面所述的计算机可读存储介质,第五方面所述的计算机程序产品所能达到的有益效果,可参考第一方面及其任一种可能的设计方式中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种电子设备的硬件结构示意图;
图2为本申请实施例提供的一种图像处理方法的应用场景示意图;
图3为本申请实施例提供的一种手机的图像处理界面示意图;
图4为本申请实施例的一种图像处理方法中确定原始图像与目标图像的界面示意图;
图5为本申请实施例的一种图像处理方法中图像的示意图;
图6为本申请实施例提供的一种图像处理方法的一种应用场景示意图;
图7为本申请实施例提供的一种图像处理方法的另一种应用场景示意图;
图8为本申请实施例提供的一种手机的生成LUT的界面示意图;
图9为本申请实施例提供的一种手机的图像处理界面示意图;
图10为本申请实施例提供的另一种手机的图像处理界面示意图;
图11为本申请实施例提供的一种图像处理方法中确定第一文件的界面示意图;
图12为本申请实施例提供的一种图像处理方法中确定目标查找表的界面示意图;
图13为本申请实施例提供的一种图像处理方法中确定目标查找表的另一界面示意图。
具体实施方式
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
目前,手机等电子设备已经广泛地应用到人们的日常生活中。电子设备中显示或存储的图像也可称为数字图像,后续统称为图像。图像是电子设备获取信息、传递信息的重要手段,也是用户感知的视觉基础。
一般,图像是由一个个像素构成,每个像素都是由红(Red)、绿(Green)、蓝(Blue)三种子像素构成。其中,每个子像素的取值范围均为0至255,像素的RGB的取值也可称为像素的颜色值、颜色或色彩。例如,RGB(0,0,0)表示红色、绿色和蓝色三个子像素的取值均为0,此时该像素的颜色呈白色;RGB(255,0,0)表示红色取值255,其他子像素取值为0,该像素的颜色呈正红色;RGB(255,255,255)表示红色、绿色和蓝色三个子像素均取值255,此时该像素的颜色呈黑色。
LUT是一种颜色值的映射表,用于表征颜色值的输入值与输出值的对应关系。例如,如表1所示:
表1
当颜色值的输入值为(14,22,24)时,经过表1所示的LUT的映射,该颜色值的输出值为(6,9,4,)。当颜色值的输入值为(61,34,67)时,经过表1所示的LUT的映射,输出值为(66,17,47)。当颜色值的输入值为(94,14,171)时,经过表1所示的LUT的映射,颜色值的输出值为(117,82,187)。当颜色值的输入值为(241,216,222)时,经过表1所示的LUT的映射,颜色值的输出值为(255,247,243)。
LUT主要分为1D LUT和3D LUT,即一维查找表和三维查找表。1D LUT中每个R、G、B输入值从0至255都有特定的输出值,并且三个子像素之间取值互相独立。也就是说,如果某个像素中红色子像素R的值改变时,不影响其他两个子像素(G和B)的输出值,只有红色子像素R的输出值会发生改变。可见,1D LUT中每个像素内一种颜色的改变不会影响其他颜色的改变。而3D LUT中某一个子像素(例如R)的取值改变时都会导致另外两个子像素(G和B)的取值发生改变。因此,3D LUT相比于1D LUT来说,具有更加丰富的颜色变化,能够满足比较精细的色彩控制需求。
常规技术中,LUT需要由专业的技术人员利用专业的工具制作,例如PhotoShop、Image等软件,制作过程复杂繁琐,对于普通用户来说自行制作LUT的难度较大。并且,这些专有的工具通常难以在手机等便携终端上安装运行,因此无法在手机上制作或导出LUT,不能满足用户的图像处理需求。
基于此,本申请实施例提供一种图像处理方法及电子设备,可以解决LUT制作过程复杂,耗时长的问题。在本申请实施例中,电子设备根据用户选择的第一图像以及该第一图像经过特定的调色处理(即第一调色处理)后得到的第二图像,可以自动生成与第二图像具有相同调色效果的LUT,从而将该LUT应用到用户需要处理的第一文件(如视频或图像)中,完成对第一文件的调色处理;可见,本实施例提供的技术方案能够省去繁琐复杂的LUT制作过程,快速按照用户想要的调色效果生成LUT,可以降低制作LUT的难度,提高生成LUT的效率。
并且,用户可以根据自己的喜好选择第一图像以及第一图像的调色效果(即第二图像),针对同一第一图像的不同调色效果可以得到不同的LUT,从而针对同一第一文件可以得到多种调色效果,满足用户的调色需求,提升用户在调色处理时的操作体验。
下面将结合附图对本实施例的实施方式进行详细描述。
本申请实施例首先提供一种图像处理方法。示例性的,该图像处理方法可应用于手机、平板电脑、个人计算机(personal computer,PC)、可穿戴电子设备(如智能手表)、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备、车载设备(也可称为车机)等具有显示功能的电子设备,本申请实施例对此不做任何限制。
以上述电子设备为手机举例。请参考图1,其示出本申请实施例提供的一种电子设备100的结构示意图。该电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。
其中,上述传感器模块180可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器180A,环境光传感器,骨传导传感器等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器神经网络处理器(neural-network processing unit,NPU),和/或微控制单元(micro controller unit,MCU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了***的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,串行外设接口(serial peripheral interface,SPI),集成电路内置音频(inter-integrated circuit sound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronousreceiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processorinterface,MIPI),通用输入输出(general-purpose input/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serialbus,USB)接口等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks,WLAN)(如Wi-Fi网络),蓝牙(blue tooth,BT),全球导航卫星***(global navigation satellite system,GNSS),调频(frequency modulation,FM),NFC,红外技术(infrared,IR)等无线通信的解决方案。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。该显示屏是触摸屏。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。ISP用于处理摄像头193反馈的数据。摄像头193用于捕获静态图像或视频。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:贴膜状态识别,图像修复、图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作***,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
触摸传感器180A,也称“触控面板(TP)”。触摸传感器180A可以设置于显示屏194,由触摸传感器180A与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180A用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180A也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
按键190包括开机键,音量键等。马达191可以产生振动提示。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。SIM卡接口195用于连接SIM卡。
一般情况下,手机或者摄像机等图像采集设备拍摄出图像后,用户会对拍摄的图像进行调色,例如调整颜色亮度、饱和度等。对图像进行调色可以使图像的色彩效果更好,呈现出用户想要的风格或者氛围感。同一张图片处理成不同的色调可以表达不同的情感氛围,如温暖、阴冷等。在专业领域(如电影或电视领域)中,用户观看的通常都是经过调色处理后的拍摄画面。真实的拍摄画面由于受到环境变换的影响(如光线的明暗),可能导致拍摄画面比较跳跃,此时可以通过调色来达到统一的明暗效果。
在一种示例性的应用场景中,当用户A希望学习其他业务人员(如用户B)对图片A的调色处理时,通过本实施例的图像处理方法可以确定出与图片A的调色效果对应的LUT。这样,业务人员1可使用该LUT复现出与图像A相似的调色效果。
在另一种示例性的应用场景中,当用户A希望将一段视频处理成与特定图片(如图片A)相统一的调色效果时,通过本实施例提供的图像处理方法,电子设备可以生成图片A上的调色效果对应的LUT,然后用户可以利用生成的上述LUT对要处理的视频进行调色处理,使得该视频整体具备与图片A相似的调色效果。
示例性的,手机的相册、图库等应用可以读取手机内存中存储的图像,并显示出来。如图2所示,用户可以从手机显示的多张图像中选择出图像201和图像202。其中,图像202是图像201经过特定的调色处理(即第一调色处理)后的图像。手机在检测到用户的选择操作后,可以将用户选择的图像201确定为第一图像,将图像202确定为调色后的第二图像。然后,手机可建立第一图像201中的颜色与第二图像202中的颜色之间的映射关系,并根据这种映射关系计算出与第二图像202上的调色效果对应的LUT 203。
后续,当用户希望对手机中的第一文件(例如图像204)进行调色时,可以操作手机通过LUT 203对图像204进行调色处理,从而在图像204上添加LUT 203对应的调色效果,得到调色后的图像205。图像205具备与第二图像202相同或相似的调色效果。例如,如果第二图像202是一种“浪漫”的色调,则图像205也可呈现“浪漫”的色调。
上述实施方式中,用户不需要手动制作LUT 203,而是通过选择已有LUT调色效果的第二图像202以及对应的第一图像201,触发手机自动计算出第二图像202使用的LUT203。这样,手机可将自动生成的LUT 203应用到用户需要处理的文件(例如上述图像204)上,使该文件具备同样的调色效果。可以看出,上述方案不仅能够在手机等电子设备中提供生成LUT的功能,便于LUT技术的推广使用,还能够降低LUT的制作难度,提高效率。
下面,对本示例性实施方式提供的一种图像处理方法进行更加详细的说明。
示例性的,本实施例的图像处理方法可以包括以下步骤:
步骤一:手机获取用户选择的第一图像以及该第一图像对应的第二图像,其中,第二图像是第一图像经过调色处理后的图像。
示例性的,第一图像以及第二图像可以由用户预先导入到手机。例如,用户可以通过手机下载一张第一图像,以及在该第一图像上添加了某一调色风格的第二图像。用户还可以针对同一第一图像下载多张具有不同调色风格的第二图像,保存在手机上。或者,第一图像还可以由手机摄像头采集。当手机摄像头拍照得到第一图像后,用户可以通过手机上的图像处理软件对第一图像进行调色处理,得到处理后的第二图像。又或者,手机可以与另一电子设备(如另一手机)互连,从而获取另一手机传输的第一图像以及第二图像。
需要说明的是,第二图像是在第一图像的基础上经过调色处理之后得到的图像。经过不同的调色处理可以将第一图像处理成不同风格的调色效果,也就是说,一张第一图像可以存在多张第二图像。并且,第二图像是第一图像经过调色处理之后得到的图像,因此第二图像与第一图像的图像内容相同,图像分辨率相同。除此之外,第一图像与第二图像的其他属性可以不同,例如,图像大小、文件格式等属性可以不同。
示例性的,当用户在手机上看到一图像(如图像201)经过调色处理后的图像202的调色效果特别好,希望将手机上的其他图像也处理成相似的调色效果;或者用户希望获取图像202上的调色效果对应的LUT进行保存,以备后续使用时,用户可以先将图像201和图像202保存在手机上。进而,在制作与图像202对应的LUT时,手机可基于用户的选择将图像201作为第一图像,并将图像202作为第二图像。
例如,当用户需要生成图像的LUT时,用户可以打开手机上的图库、相册等图像处理软件。图像处理软件可以检索手机内存中存储的所有图像,并进行显示。示例性的,如图3所示,当图像处理软件(例如图库)被打开时可以显示显示界面300,该显示界面300中可以包括用于创建LUT的控件301。例如,控件301的名称为“生成LUT”。当手机检测到该控件301被用户点击时,手机可以获取本次制作LUT时的第一图像和第二图像。
在一些实施例中,手机可以在不同的显示界面中分别获取用户选择的第一图像,以及第二图像。
示例性的,响应于用户在上述显示界面300中点击控件301的操作,如图4中的(a)所示,手机可以先显示显示界面401,显示界面401可以为用户选择本次制作LUT时第一图像的入口。例如,显示界面401中包括手机存储的一张或多张图像,用户可以在显示界面401中选中任意一副图像。手机可以根据用户在显示界面401上的点击操作,标记出用户选中的图像(例如图像4011)。后续,如果检测到用户点击显示界面401中的“确定”控件,则手机可将用户选中的图像4011确定为第一图像。可选的,手机还可以获取图像4011的图像名称、图像标识号等信息。类似的,手机将图像4011确定为第一图像后,如图4中的(b)所示,手机可显示显示界面402,显示界面402可以为用户选择本次制作LUT时第二图像的入口。与显示界面401类似的,显示界面402中可以包括手机存储的一张或多张图像。不同的是,用户可以在显示界面402中选择一张或多张图像作为本次制作LUT时的第二图像。例如,如果检测到用户在显示界面402中选择图像4021和图像4022后,点击“确定”控件,则手机可将用户选中的图像4021和图像4022确定为第二图像。
在另一些实施例中,手机也可以在同一显示界面中,按照用户选择图像的先后顺序来获取第一图像与第二图像。
示例性的,手机可以将用户先选择的图像作为第一图像,将用户后选择的图像作为第二图像。以图4中的(b)所示的显示界面402为例,用户在显示界面402中可以同时选择多个图像。手机可以接收用户在显示界面中选择图像的操作,并记录图像的选择顺序。当检测到用户点击显示界面402中的“确定”控件后,手机可以将用户选择的第一个图像作为第一图像,将用户选择的第二个图像作为第二图像。如果用户进行两次以上的操作,即用户在显示界面402中选择了两个以上的图像,则手机可将用户选择的第一个图像作为第一图像,将剩余的用户选择的多个图像均作为第二图像。
在一些实施例中,手机可以在显示界面402中显示一提示消息,该提示消息可用于提示用户选择第一图像和第二图像的顺序。例如通过提示消息“请先选择一个第一图像”来提示用户,使得用户按照手机的提示依次选择第一图像与第二图像。此外,上述实施方式中,手机也可以将用户后选择的图像作为第一图像,将用户先选择的图像作为第二图像。例如,用户在如图4中的(b)所示的显示界面402中依次选择了三个图像,手机可以记录用户选择图像的顺序,将用户最后一个选择的图像作为第一图像,将其他图像作为第二图像。
手机确定出本次用户选择的第一图像与第二图像后,手机可以为第一图像与第二图像分别添加不同的标识,以便于进行识别。例如第一图像标识为“1”,第二图像标识为“2”。再例如第一图像标识为“0”,第二图像标识为“1”等。此外,上述标识还可以是字母、符号,或者数字、字母、符号之间的组合,本实施方式对此不做特殊限定。
步骤二:手机根据第一图像与第二图像生成第一调色效果对应的查找表(LUT)。
手机获取到用户选择的第一图像与第二图像之后,可以读取第一图像的像素点以及第二图像的像素点。手机可以将读取到的第一图像的像素点与第二图像的像素点进行一一对应,根据互相对应的两个像素点可以计算该第一图像与第二图像之间像素点颜色值的变化关系,从而确定第二图像的调色效果所对应的查找表(LUT)。
示例性的,LUT(查找表)可以包括全局查找表(Global LUT)和局部查找表(LocalLUT)。局部查找表是针对图像的每个局部的LUT,相对于全局查找表来说,局部查找表能够分别针对图像的不同部分进行调色处理,控制图像调色效果,使得图像调色处理后各部分具备更加精细的对比效果。以3D LUT为例,全局三维查找表(Global 3D LUT)能够控制图像整体的颜色效果,而局部三维查找表(Local 3D LUT)不仅能够控制图像的颜色效果,还能够控制图像的各个局部之间的对比度。
在一些实施方式中,手机可以通过多项式拟合的方式来确定第二图像的调色效果所对应的全局查找表。
示例性的,手机可将第一图像中各个像素点的颜色值作为输入值,将第二图像中相同位置处的像素点的颜色值作为输出值。进而,手机可以利用输入值与输出值计算第一图像与第二图像之间的目标多项式。
仍以图2为例,第一图像201与第二图像202均包括m*n个像素点,其中,m*n为第一图像和第二图像的分辨率。手机可以依次读取第一图像201的像素点(0,0)的颜色值X1、像素点(0,1)的颜色值X2、像素点(0,2)的颜色值X3……像素点(m,n)的颜色值Xmn,将X1,X2,X3,……,Xmn作为输入值;手机还可以依次读取第二图像202的像素点(0,0)的颜色值Y1、像素点(0,1)的颜色值Y2、像素点(0,2)的颜色值Y3……像素点(m,n)的颜色值Ymn,然后将Y1作为X1的输出值、将Y2作为X2的输出值、将Y3作为X3的输出值、……、将Ymn作为Xmn的输出值。
这样,相同位置的像素点其颜色值输入值和输出值可以构成一个样本点,即,(X1,Y1)、(X2,Y2)、(X3,Y3)、……、(Xmn,Ymn)。此时,第一图像与第二图像可以构成m*n个样本点。
进而,手机可采用多项式拟合的方式来将上述m*n个样本点代入多项式公式中,计算出多项式的各项系数,得到目标多项式。其中,多项式公式为:y=a0+a1x+a2x2+a3x3+…+anxn,手机可将上述m*n个样本点(X1,Y1)、(X2,Y2)、(X3,Y3)、……、(Xmn,Ymn)代入上述多项式中。手机可以根据上述m*n个样本点计算各个项的系数,a0、a1、a2……an,得到各个项的系数的值,确定目标多项式。
手机确定上述目标多项式后,可利用该目标多项式计算每种颜色值对应的输出值,得到第二图像的调色效果对应的LUT。例如,当颜色值为0时,目标多项式中x=0,对应的y的值即为该种颜色值对应的输出值。同理的,通过目标多项式可以计算出每一种颜色值的输入值对应的输出值,将每种颜色值的输入值对应的输出值按照LUT的文件格式进行保存,得到第二图像对应的LUT。
示例性的,在多项式拟合的过程中,可以采用最小二乘法确定上述目标多项式中的各项系数,即a0、a1、a2……an。最小二乘法是用于计算拟合过程中误差的方法,通过最小化误差的平方和来求得多项式系数的最优值。具体的,手机可以先为上述多项式的各个系数初始化一个值,例如均为1,此时将各个项系数均为1的多项式作为目标多项式1。对于m*n个样本点,将输入值(如上述X1)作为x计算出目标多项式1对应的y值,计算将该y值与样本点真实的输出值(如上述Y1)之差的平方S,再将每个样本点对应S相加得到误差s1,变换目标多项式1的各个项的系数得到目标多项式2,同理的,计算目标多项式2对应的误差s2,目标多项式3对应的误差s3等等,多项式系数可以改变r次,计算r个目标多项式分别对应的误差,将其中误差最小的目标多项式作为最终的目标多项式。其中,r可以由本领域技术人员根据经验设置,本实施方式不作限定。
此外,也可以不设置r,而是根据误差来判断是否需要继续优化目标多项式,例如,当目标多项式1对应的误差s1大于阈值q时,则变化多项式系数,得到目标多项式2,反复迭代,直到某一目标多项式对应的误差不大于上述阈值q时,将该目标多项式确定为最终的目标多项式。其中,误差的阈值可以根据实际情况确定,例如阈值可以为0.1、0.2等,本实施方式不作限定。
当然,本领域技术人员还可以使用其他算法或模型确定上述目标多项式中的各项系数,本申请实施例对此不做任何限制。
在另一些实施方式中,手机可以通过深度神经网络模型确定与第二图像的调色效果所对应的全局查找表。其中,深度神经网络模型可提取第一图像与第二图像的对应像素点的变化,从而学习这种变化关系,利用学习到的变化关系确定调色效果对应的查找表。
示例性的,手机可以将用户选择的第一图像与第二图像输入到预置在手机中的深度神经网络模型中,得到该深度神经网络模型输出的全局三维查找表。上述深度神经网络模型可以根据第一图像与第二图像中对应像素点的颜色变化来确定输入值与输出值之间的映射关系,从而根据该映射关系预测出每一种颜色值的输入值对应的输出值,得到全局三维查找表。
本实施方式中,上述深度神经网络模型不仅仅只用于一种调色效果,而是能够得到与多种调色效果对应的全局三维查找表。例如,如图5所示,图像501的三种具有不同调色效果的图像,分别为图像502、图像503、图像504。当用户选择的第一图像为图像501时,无论用户选择的第二图像是图像502、图像503或图像504,该深度神经网络模型均可以输出对应的查找表。例如,当用户选择的第一图像为图像501,第二图像为图像502时,该深度神经网络模型可以输出对应的查找表1,当用户选择的第一图像为图像501,第二图像为图像503时,该深度神经网络模型可以输出对应的查找表2。可见,深度神经网络模型训练完成后可以应对各种输入,效率较高。
通过深度神经网络模型的方式来确定查找表时,需要先在预设设备上训练得到该深度神经网络模型,然后预设设备可以将训练完成后得到的深度神经网络模型如深度神经网络模型601发送给手机,以便于手机利用该深度神经网络模型得到与用户选择的第二图像对应的全局查找表。
该预设设备需要获取第一样本以及第一样本的多个第二样本,与步骤一同理,一个第二样本也是第一样本的经过一种调色处理后的所得的图像。如图6所示,第一样本为图像501,第二样本为图像502、503、504。然后预设设备可以将第一样本与该第一样本的一个第二样本作为一组样本对,当第一样本存在多个第二样本时,可以组合得到多个样本对。最后,该预设设备将得到的样本对输入深度神经网络模型601中,对该深度神经网络模型601进行训练,该深度神经网络模型601的学习目标是要确定一种映射关系,根据该映射关系能够将第一样本映射为对应的第二样本,然后根据该映射关系输出全局查找表。
具体的,预先可以人工收集一定数量的第一样本,以及每个第一样本的不同调色效果的多个第二样本。第一样本的多张第二样本可以由专业人员针对每个第一样本进行调色处理,得到不同调色效果的第二样本。专业人员或者图像创作者一般会将自己手动处理的各种调色效果的前后对比图上传到网络,达到互相交流学习的目标。因此可以通过网络下载保存调色处理之前的图像为第一样本,调色处理之后的图像为第二样本,从而得到一定数量的样本,如1000组样本对。当然,样本的数量也可以取其他值,例如500组样本对等,根据实际需求确定,本实施方式对此不作限定。
将第一样本与其一种调色效果的第二样本进行组合,作为一组样本对。若一个第一样本具有多种调色效果,则每一种调色效果的第二样本均可以与该第一样本组合成样本对,可以得到每种调色效果对应的样本对。如图5所示,第一样本501具有三种不同调色效果的第二样本502、503、504,得到的样本对分别为(501,502)、(501,503)、(501,504)。
本实施方式例提供的深度神经网络模型可以包含两个输入通道,每一样本对作为深度神经网络模型的一组输入,分别输入到该深度神经网络模型对应的输入通道。如图6所示,从输入通道一输入第一样本501,从输入通道二输入一个第二样本502。深度神经网络模型601可以将第一样本501以及第二样本502的每个像素点的颜色值进行对应,然后计算两个对应的像素点的颜色值之间的映射关系。预设设备可以先为深度神经网络模型601确定一个初始的映射关系,然后从第一样本与第二样本中依次读取像素点,则第一样本的第一个像素点的颜色值与第二样本的第一像素点的颜色值对应,例如,从第一样本501和第二样本502的左上角第一个像素点(0,0)开始读取,第一次读取到第一样本501的像素点(0,0)的颜色值rgb1和第二样本502的像素点(0,0)的颜色值rgb2,将rgb1与rgb2作为一组值计算该初始的映射关系的损失,通过计算出的损失优化上述初始的映射关系。
由于需要学习不同调色效果的映射关系,因此深度神经网络模型601可以包括多个卷积层,每个卷积层可以采用不同的关系式Y。并且每个卷积层还可以设置不同的权重系数W,在计算损失时,每个关系式与其对应的权重系数W相结合计算得到一次训练的损失。举例来说,卷积层1可以采用y=ax2+bx+c来学习两个输入的颜色值之间的映射关系,其中,a、b、c为模型的参数,将一个输入例如第一样本501的第一个像素点的颜色值作为x的值,代入上述关系式y=ax2+bx+c中计算得到y值,计算该y值与另一个输入第二样本502的第一个像素点的颜色值之间的误差,同理的,计算出第一样本501的所有像素点的误差之和,再结合该卷积层1的权重系数W可以的该卷积层1的损失。通过多次迭代优化可以使得该深度神经网络模型的损失符合要求,将此时的参数作为最终的参数如a,b,c,W,确定出最终的映射关系。利用该映射关系可以计算出每一种颜色值对应的输出值,从而得到不同调色效果的3DLUT,如第一样本501与第二样本502对应的3D LUT 602。
电子设备可以将训练完成的深度神经网络模型进行封装,将封装后的深度神经网络设置在手机中,例如添加在手机的应用程序框架层。手机上的应用程序可以使用预设的调用接口来调用深度神经网络,并获得深度神经网络返回的结果,即LUT。当手机中的应用(例如应用1)需要生成LUT时可以调用该调用接口,通过调用接口将用户选择的第一图像与第二图像输入上述深度神经网络模型。深度神经网络模型可确定用户选择的第一图像与第二图像之间的映射关系,并利用该映射关系得到该第一图像与第二图像之间LUT。进而,深度神经网络模型可通过上述调用接口将生成的LUT返回给应用1或其他应用。在深度神经网络模型的训练过程中,样本无需进行人工标注,属于无监督的机器学习,与需要人工标注的算法相比,更加简单,节省人力。
需要说明的是,手机除了可以按照上述方法生成全局查找表之外,还可以根据第一图像与第二图像生成局部查找表。
在利用第一图像与第二图像生成局部查找表的场景中:手机首先将第一图像分割成多个子块,将第二图像也分割成相同数量的多个子块,然后将第一图像中的第一子块与第二图像中的第二子块构成的输入数据对输入到上述训练得到的深度神经网络模型中,可以得到该深度神经网络模型针对该输入数据对而输出的子块查找表。该子块查找表即为输入数据对对应的全局查找表。需要理解的是,每一个输入数据对中均包含一个第一子块与一个第二子块,并且,该第一子块在第一图像中的位置与该第二子块在第二图像中的位置相同。最后,手机可以将所有的子块查找表进行合并,将合并后可以得到第二图像对应的局部查找表,也就是说,局部查找表中包含了多个子块查找表。
示例性的,第一图像可以分割成3×3的9个子块,也可以分割成4×4的16个子块,也可以按照其他分割方式进行分割,本实施方式对此不作特殊限定。对第二图像的分割方式需要与第一图像保持一致。例如,第一图像在像素坐标(10,y)处进行分割,其中y为整数,取值在0到第一图像的高度之间,即从第一图像的水平方向的第10个像素点处进行垂直分割,则第二图像也需要从(10,y)处进行分割。也就是说,分割之后,第二图像分割得到的子块的数量和大小与第一图像的子块相同。
如图7所示,第一图像501可以平均分割成4×4个子块,第二图像502也按照同样的分割方式分割成4×4个子块。第一图像分割后的子块可以为第一子块,第二图像分割后的子块可以为第二子块。例如第一图像501分割后可以得到4×4个第一子块,第二图像502分割后可以得到4×4个第二子块。
手机可以将第一子块与第二子块组成输入数据对,作为深度神经网络模型的输入。其中,每一个输入数据对中可以包含一个第一子块与一个第二子块,并且,第一子块与第二子块的像素点位置相同,例如由第一图像501中的第一子块5011与第二图像502中的第二子块5021作为一个输入数据对,由第一子块5012与第二子块5022作为一个输入数据对,由第一子块5013与第二子块5023作为一个输入数据对等等。手机将每一个输入数据对输入到深度神经网络模型中,可以得到对应的输出结果,作为该输入数据对的子块查找表(子块LUT)。这样,手机将第一图像501与第二图像502的每个输入数据对输入深度神经网络模型可以得到每个输入数据对对应的子块LUT。例如,当输入数据对为(5011,5021),对应的子块LUT为LUT 7011;当输入数据对为(5012,5022),对应的子块LUT为LUT 7012;当输入数据对为(5013,5023),对应的子块LUT为LUT 7013等。
手机按照上述方法可获取到第一图像501与第二图像502中每个数据对对应的子块LUT。进而,手机可以将第一图像501与第二图像502的所有的子块LUT进行合并,合并后可以得到第二图像502对应的局部查找表。
示例性的实施方式中,手机将第一图像与第二图像输入深度神经网络模型中,得到深度神经网络模型输出的所有子块LUT后,可以对每个子块LUT进行平滑处理,将经过平滑处理后的子块LUT作为局部查找表。
示例性的,平滑处理的过程具体包括以下步骤:首先确定每个子块LUT的权重;然后针对每个子块LUT,将该子块自身的值乘以自身权重,再与相邻子块的值乘以相邻子块的权重相加,得到该子块最终的局部查找表。
各个子块LUT的权重可以预先设置,本实施方式对此不作限定。举例来说,假设子块LUT 7011的权重为a,与该子块LUT相邻的子块LUT分别为:7012、7014、7015,其各自的权重分别为:b,c,d。对于子块LUT 7011来说,Aa+Bb+Cc+Dd=子块LUT 7011平滑处理后的LUT,其中,A、B、C、D分别为各子块LUT的值。例如,子块LUT 7011中的一值:(1,2,3),平滑处理后为(a+Bb+Cc+Dd,2a+Bb+Cc+Dd,3a+Bb+Cc+Dd)。平滑处理之后的局部LUT即不仅可以控制图像的各个局部之间的对比度,并且在视觉体验上也更加平滑,能够减少图像颜色变化差异较大导致调色效果差的问题。
手机生成LUT后可以将生成的LUT进行导出。用户可以选择导出全局LUT,也可以选择导出局部LUT。并且,用户可以对导出的LUT进行管理,例如对LUT进行命名、指定LUT的存储路径等。
示例性的,如图8中的(a)所示,在显示界面801中,当用户选择了第一图像与第二图像之后可以弹出提示框8011,该提示框8011用于提示用户选择导出的LUT的类型。该提示框8011中可以显示一控件8012,手机可以通过控件8012来接收用户选择的LUT的类型。当用户点击该控件8012时,手机可以根据用户点击的位置确定用户需要选择的LUT类型(例如用户可以选择局部LUT),手机根据用户的操作可以生成并导出用户所选的LUT类型对应的LUT。并且,用户之前选择的第一图像与第二图像可以在显示界面801中进行预览,用来提示用户当前需要导出的LUT所对应的调色效果。
用户可以通过操作手机选择要导出的LUT的存储位置以及命名。如图8中的(b)所示,在显示界面802中,当用户选择了第一图像与第二图像后可以弹出提示框8021,该提示框8021用来提示用户输入LUT的文件名称以及存储路径。或者,当用户在显示界面801的提示框中选择LUT的类型后,用户可以点击“确定”控件,当该“确定”控件被点击时,手机可以显示该显示界面802,进而利用提示框8021来进一步确定用户要保存的文件名称和存储路径。
在提示框8021中可以显示一控件8022以及控件8023。其中,控件8022可用于接收用户输入的文件名称,控件8023可用于接收用户输入的存储路径。用户可以在控件8022和控件8023中输入LUT的文件名称以及文件的存储路径,当用户输入完成后可以点击“确定”控件,当该“确定”控件被点击时,手机可以通过控件8022来获取用户输入的内容,将用户输入到该控件8022中的内容作为导出的LUT的文件名称,手机通过控件8023可以获取用户在该控件8023内输入的内容,将该控件8023内输入的内容作为导出的LUT的文件路径。手机根据获取的文件名称和文件路径可以将用户所需的LUT以指定的文件名称存储到指定的位置。
示例性的,手机可以直接将用户要导出的LUT按照默认的类型(例如默认为全局LUT)、默认的文件名称和默认的存储路径直接进行存储,存储完成后手机可以显示一提示消息,该提示消息可用于提示用户所需的LUT被存储的类型,文件名称以及存储路径。
示例性的,用户根据LUT存储的文件路径,可以查找到手机上存储的LUT,将手机上存储的LUT共享到另一电子设备如另一手机上,或电脑等。并且,手机上存储的LUT可以被手机的应用程序层中的任意应用读取和使用。
步骤三:手机获取用户选择的第一文件。
上述第一文件可以包括图像或视频中的至少一项。
示例性的,用户可以在手机中选择需要进行调色的图像或者视频。例如,用户可以打开手机中的应用如相册,在相册选择一个照片作为第一文件,或者用户可以打开手机相机拍摄一张图片或者录制一段视频作为第一文件。并且,用户也可以选择多张图像或者多个视频作为第一文件。也就是说,第一文件可以包括多个图像或者多个视频,也可以同时包括图像或视频。
示例性的,如图9所示,在手机的相册APP的显示界面900(即第一界面)中,手机可以在相册APP的工具栏中显示控件901,例如控件901的名称为“添加LUT”,该控件901可用于提示用户可以对所选的图像使用LUT进行调色处理。用户可以选择多张图像,例如图像902和图像903,当手机检测到用户对控件901的操作时,手机可以获取到用户选择的图像902和图像903,将该图像902与图像903均作为第一文件,进行后续的调色处理。
示例性的,如图10所示,用户可以在手机中打开相机应用,来实时地拍摄图片或视频。在相机应用的显示界面1000(即第一界面)中可以显示一控件1001,该控件1001可用于提示用户对拍摄的照片和视频进行调色处理。当手机检测到用户对控件1001的操作时,手机可以将用户接下来拍摄的图片或视频作为第一文件,针对接下来将拍摄的图片和视频进行调色处理。
示例性的,如图11中的(a)所示,在显示界面1110中可以显示一控件1101以及控件1102,此时,该显示界面1110为第一界面。其中,控件1101可以用于提示用户从手机存储的图像中选择第一文件,控件1102可用于提示用户从手机存储的视频中选择第一文件。并且,用户可以先通过控件1101来选择图像,然后再通过控件1102来选择视频,手机可以将用户选择的图像以及视频均作为第一文件。用户可以先点击控件1101,手机检测到用户对控件1101的点击操作时,手机可以显示界面1120,如图11中(b)所示。在显示界面1120中可以显示手机上存储的所有的图像,供用户选择,在用户选择完成点击“确定”控件后,手机可以获取用户在显示界面1120中选择的图像作为第一文件。同理的,手机也可以通过控件1102获取用户选择的视频作为第一文件。用户在显示界面1110中点击“确定”控件后,手机可以确定最终的第一文件包括的图像和视频。
步骤四:手机确定用户选择的目标查找表,根据该目标查找表对第一文件进行调色处理。
示例性的,通过上述实施例中的步骤可以生成多个查找表,多个查找表可以包括全局查找表以及局部查找表,还可以包括3D Global LUT(三维全局查找表),3D Local LUT(三维局部查找表)。
用户可以在手机中选择任意一种类型的查找表来对第一文件进行调色处理,例如,用户可以选择局部查找表进行调色,也可以选择全局查找表进行调色。用户在多个查找表中选出的查找表则为目标查找表。
例如,手机根据上述步骤一和步骤二可以得到多个LUT,这些LUT可以是与同一调色效果对应的不同类型的查找表,也可以是与不同调色效果对应的不同查找表。对于用户所选的第一文件,用户可以指定上述多个LUT中的一个LUT。手机获取到用户指定的LUT后,将该用户指定的LUT作为目标查找表,根据该目标查找表对用户选择的第一文件进行调色处理。
在一种实施方式中,仍以相册应用为例,例如当用户点击控件901“添加LUT”之后,手机可以获取内存中存储的所有LUT的信息,进而将每个LUT的信息(如LUT的文件名称)进行显示。如图12所示,手机可以显示一显示界面1200(即第二界面),在该显示界面中可以包括一控件1201,该控件1201用于显示手机上存储的所有LUT的信息,例如显示所有LUT的文件名称。用户可以在控件1201中进行选择,当手机检测到用户在控件1201中选择LUT的操作时,手机可以根据用户的操作获取用户选择的LUT(即目标查找表)。如当检测到用户点击文件名称为“LUT 2”的LUT后,该文件名称为“LUT2”的LUT则为目标查找表,手机可使用该目标查找表对用户选择的图像(例如图像902和图像903)进行调色处理,并显示调色处理后的第一文件。
在另一种实施方式中,手机可以先确定用户需要的查找表类型,之后,再根据用户需要的查找表类型对手机上所有的查找表进行筛选,从而只显示与用户需要的查找表类型相符的查找表,供用户选择。举例来说,如图13所示,仍以相册应用为例,例如当用户点击控件901“添加LUT”之后,手机可以显示一显示界面1300(即第三界面),在该显示界面1300中可以包括一控件1301,该控件1301可用于显示手机上存储的所有LUT涉及到的查找表类型,例如手机当前存储有全局LUT和局部LUT。手机通过该控件1301可以确定用户选择的查找表类型,如用户选择“全局LUT”,则手机可以从存储的所有LUT中筛选出全局LUT,进而将筛选出的全局LUT进行显示,供用户选择出目标查找表。例如,筛选出的全局LUT可以显示在显示界面1200中的控件1201中,手机可以通过该控件1201确定出用户选择的目标查找表。
手机可以读取将第一文件如图像902和图像903的每一个像素点的颜色值,将读取到的该颜色值作为输入值,通过查询LUT可以确定该输入值对应的输出值,查询到对应的输出值之后可以将输出值替换为图片的像素点的颜色值,从而改变图片呈现的颜色,即完成对图片的调色处理。手机可以显示调色处理后的图像902和图像903,该图像902和图像903的颜色可以呈现出用户想要的效果,即用户在生成LUT时选择的第二图像相似的效果。
3D LUT的三个子像素(R、G、B)的取值互相影响,共有255×255×255种取值,要确定每一种输入值对应的输出值,3D LUT需要占用非常大的空间,采用查表插值法,来对图像进行LUT调色,可以大大减少存储LUT所需的空间。示例性的,可采用4×4×4的立方体来存储LUT,如图6中LUT 602所示的结构,将每个颜色值通道的取值均分为4个顶点3段的方式,则3D LUT的三个子像素R、G、B共有64个顶点,根据确定出的映射关系可以计算出每个顶点对应的输出值,例如,确定(0,0,0)的输出值,(255,255,255)的输出值,(0,255,0)的输出值,(0,0,255)的输出值,(255,0,0)的输出值等等,存储在LUT立方体中。在其他实施方式,LUT可以采用其他方式存储,例如8×8×8的立方体等,本实施方式对此不作限定。
采用上述立方体来存储LUT时,立方体的顶点越多,可以存储的输出值越多,3DLUT对图像的调色效果越精确,3D LUT所占用的空间也越大,并且应用3D LUT对图像进行调色所需的计算量也越大。另一部分取值不在该立方体顶点上的,可以采用插值算法方式来计算。插值算法是利用已知的像素点计算未知像素点的方法,具体可以选择双线性插值法、最邻近插值法等,其中,最邻近插值法将未知像素点的输出值等于与该像素点距离最近的像素点的输出值;双线性插值法则是通过计算未知像素点相邻的所有像素点的平均值来确定未知像素点的输入值;在实际应用中,可以根据需求来选择插值算法,本实施方式对此不作限定。
需要理解的是,本实施方式中的上述步骤一、二、三、四之间并不具有严格的顺序关系,根据实际需求上述步骤可以按照任意顺序执行。例如,先按照步骤一、二的顺序重复执行多次,生成多个用户所需的LUT,然后在用户需要进行调色处理的时候,再执行步骤三、四从上述生成的LUT中选择出一个利用到调色处理中;再例如,先执行步骤三,确定用户需要处理的第一文件,然后执行步骤一、二生成该第一文件对应的LUT,最后执行步骤四将生成的LUT作为目标查找表应用到用户需要处理的第一文件中。
本实施例提供的图像处理方法可以集成在手机相机或者相册或者图库等应用程序中,作为这些程序的新增功能,提供给用户。在这些应用程序的显示界面中可以添加一控件,通过新增的控件来提示用户使用新增功能。例如图9所示,在相册应用中可以添加如控件901,通过控件901提示用户使用该新增的功能。或者,如图10所示,在相机应用中可以添加如控件1001来提示用户使用新增功能。当手机检测到上述控件被触发时可以执行本实施例提供的图像处理方法,实现对图像的调色处理。
或者,本实施例提供的图像处理方法可以封装成单独的应用程序(APP)如“应用A”。当用户打开手机上的“应用A”时可以触发手机执行本实施例提供的图像处理方法,使得手机生成用户所需的LUT,并在用户需要的时候利用生成的LUT对图像进行调色处理。
上述实施例中,手机可以根据用户所选的第一图像与第二图像自动生成对应的LUT,用户无需手动制作LUT,这样一来,本实施例的图像处理方法可以使生成LUT的过程更加便捷,提高生成LUT的效率;并且对用户来说,用户不需要掌握图像的原理也可以实现专业的图像调色,能够改善用户的体验,满足用户对图像处理的需求。
需要理解的是,上述实施例中是以在手机中执行该图像处理方法为例,而本实施例提供的图像处理方法还可以应用于平板电脑、个人计算机、可穿戴电子设备等其他电子设备中,本申请对此不作任何限制。
本申请实施例还提供了一种电子设备,该电子设备可以包括:显示屏(如触摸屏)、摄像头、存储器和一个或多个处理器。该显示屏、摄像头、存储器和处理器耦合。该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令。当处理器执行计算机指令时,电子设备可执行上述方法实施例中手机执行的各个功能或者步骤。该电子设备的结构可以参考图1所示的电子设备100的结构。
本申请实施例还提供一种计算机存储介质,该计算机存储介质包括计算机指令,当所述计算机指令在电子设备上运行时,使得该电子设备执行上述方法实施例中手机执行的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行上述方法实施例中手机执行的各个功能或者步骤。
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (13)
1.一种图像处理方法,其特征在于,所述方法包括:
显示第一界面,通过所述第一界面确定用户选择的第一文件;
显示第二界面,在所述第二界面中显示生成的查找表;
通过所述第二界面确定所述查找表中用户选择的目标查找表,利用所述目标查找表对所述第一文件进行调色处理;
显示调色处理后的第一文件;
所述方法还包括:
确定用户选择的第一图像以及所述第一图像对应的第二图像,其中,所述第二图像是所述第一图像经过第一调色处理后的图像;
将所述第一图像与所述第二图像输入预置的深度神经网络模型中,得到所述深度神经网络模型输出的查找表;或者,将所述第一图像的颜色值作为输入值,将所述第二图像的颜色值作为输出值,通过多项式拟合算法确定所述输入值与所述输出值之间的目标多项式,通过所述目标多项式输出所述第一调色处理对应的查找表。
2.根据权利要求1所述的方法,其特征在于,所述第一调色处理对应的查找表用于对所述第一文件进行调色处理时,使得所述第一文件与所述第二图像具备相同的调色效果。
3.根据权利要求1或2所述的方法,其特征在于,所述查找表包括全局查找表和局部查找表。
4.根据权利要求3所述的方法,其特征在于,所述深度神经网络模型输出所述全局查找表。
5.根据权利要求3所述的方法,其特征在于,所述方法还包括:
对所述第一图像以及所述第二图像按照相同的分割方式分割成N个子块;
将所述第一图像中的第一子块与所述第二图像中的第二子块组合成输入数据对,得到N个输入数据对,其中,所述输入数据对中的第一子块在所述第一图像中的位置与所述第二子块在所述第二图像中的位置相同;
所述将所述第一图像与所述第二图像输入预置的深度神经网络模型中,得到所述深度神经网络模型输出的查找表,包括:
将N个所述输入数据对输入所述深度神经网络模型中,得到N个子块查找表;
将N个所述子块查找表进行合并,得到所述局部查找表,其中,N为正整数。
6.根据权利要求5所述的方法,其特征在于,所述将N个所述子块查找表进行合并,得到所述局部查找表包括:
对每个子块查找表进行平滑处理;
将平滑处理后的N个子块查找表进行合并,得到所述局部查找表。
7.根据权利要求6所述的方法,其特征在于,所述对每个子块查找表进行平滑处理包括:
确定每个所述子块查找表对应的权重;
计算第N个子块查找表的输出值与所述第N个子块查找表对应的权重的第一乘积,以及相邻查找表的输出值与所述相邻查找表对应的权重的第二乘积,其中,所述相邻查找表为与所述第N个子块查找表相邻的子块查找表;
将所述第N个子块查找表的输出值替换为所述第一乘积与所述第二乘积之和。
8.根据权利要求4所述的方法,其特征在于,所述方法还包括:
获取第一样本,以及所述第一样本经过不同调色处理的多个第二样本;
将所述第一样本与所述第一样本的所述第二样本组合成样本对,其中,每一组样本对中包含一个第一样本以及所述第一样本的一个第二样本;
将所述样本对输入所述深度神经网络模型中,以对所述深度神经网络模型进行训练,使得训练完成后的所述深度神经网络模型能输出所述每一样本对对应的全局查找表。
9.根据权利要求1所述的方法,其特征在于,所述显示第二界面,在所述第二界面中显示生成的查找表之前,所述方法还包括:
显示第三界面,通过所述第三界面确定用户选择的查找表类型,其中所述查找表类型包括全局查找表以及局部查找表;
获取所述查找表类型对应的查找表,以将所述查找表类型对应的查找表显示在所述第二界面。
10.根据权利要求1所述的方法,其特征在于,所述第一文件包括图像、视频中至少一种。
11.一种电子设备,其特征在于,包括:
显示屏;
一个或多个处理器;
存储器;
其中,所述显示屏用于显示所述处理器生成的图像;所述存储器中存储有一个或多个计算机程序,所述一个或多个计算机程序包括指令,当所述指令被所述电子设备执行时,使得所述电子设备执行如权利要求1-10中任一项所述的图像处理方法。
12.一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,其特征在于,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求1-10中任一项所述的图像处理方法。
13.一种计算机程序产品,其特征在于,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如权利要求1-10中任一项所述的图像处理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110964854.1A CN115908596B (zh) | 2021-08-20 | 2021-08-20 | 一种图像处理方法及电子设备 |
US18/279,093 US20240153157A1 (en) | 2021-08-20 | 2022-04-29 | Image processing method and electronic device |
PCT/CN2022/090655 WO2023020017A1 (zh) | 2021-08-20 | 2022-04-29 | 一种图像处理方法及电子设备 |
EP22857335.8A EP4287129A1 (en) | 2021-08-20 | 2022-04-29 | Image processing method and electronic device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110964854.1A CN115908596B (zh) | 2021-08-20 | 2021-08-20 | 一种图像处理方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115908596A CN115908596A (zh) | 2023-04-04 |
CN115908596B true CN115908596B (zh) | 2023-11-24 |
Family
ID=85240002
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110964854.1A Active CN115908596B (zh) | 2021-08-20 | 2021-08-20 | 一种图像处理方法及电子设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240153157A1 (zh) |
EP (1) | EP4287129A1 (zh) |
CN (1) | CN115908596B (zh) |
WO (1) | WO2023020017A1 (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102385746A (zh) * | 2010-09-06 | 2012-03-21 | 索尼公司 | 图像处理装置及其方法,以及程序 |
CN102714688A (zh) * | 2010-01-19 | 2012-10-03 | 阿克佐诺贝尔国际涂料股份有限公司 | 从图像确定颜色的方法和*** |
CN103733219A (zh) * | 2011-05-11 | 2014-04-16 | I3研究所股份有限公司 | 图像处理装置、图像处理方法、及储存程序的储存媒体 |
KR20190074938A (ko) * | 2017-12-20 | 2019-06-28 | 연세대학교 산학협력단 | 인공 신경망을 위한 디지털 뉴런, 인공 뉴런 및 이를 포함하는 추론 엔진 |
CN110852980A (zh) * | 2019-11-13 | 2020-02-28 | 北京京东方专用显示科技有限公司 | 交互式图像填充方法及***、服务器、设备及介质 |
CN111489322A (zh) * | 2020-04-09 | 2020-08-04 | 广州光锥元信息科技有限公司 | 给静态图片加天空滤镜的方法及装置 |
CN112435156A (zh) * | 2020-12-08 | 2021-03-02 | 烟台艾睿光电科技有限公司 | 一种基于fpga的图像处理方法、装置、设备及介质 |
WO2021052342A1 (zh) * | 2019-09-19 | 2021-03-25 | 华为技术有限公司 | 电子设备调整画面色彩的方法和装置 |
CN113256504A (zh) * | 2020-02-11 | 2021-08-13 | 北京三星通信技术研究有限公司 | 图像处理的方法和电子设备 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120057785A1 (en) * | 2010-09-07 | 2012-03-08 | Peter Morovic | Method and system to modify a color lookup table |
KR102280922B1 (ko) * | 2014-11-11 | 2021-07-26 | 삼성디스플레이 주식회사 | 데이터 처리 장치 및 이를 포함하는 표시 장치 |
US10748058B2 (en) * | 2015-12-28 | 2020-08-18 | International Business Machines Corporation | LUT based neuron membrane potential update scheme in STDP neuromorphic systems |
CN106791756A (zh) * | 2017-01-17 | 2017-05-31 | 维沃移动通信有限公司 | 一种多媒体数据处理方法及移动终端 |
US10922449B2 (en) * | 2018-11-21 | 2021-02-16 | Best Apps, Llc | Computer aided systems and methods for creating custom products |
-
2021
- 2021-08-20 CN CN202110964854.1A patent/CN115908596B/zh active Active
-
2022
- 2022-04-29 WO PCT/CN2022/090655 patent/WO2023020017A1/zh active Application Filing
- 2022-04-29 EP EP22857335.8A patent/EP4287129A1/en active Pending
- 2022-04-29 US US18/279,093 patent/US20240153157A1/en active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102714688A (zh) * | 2010-01-19 | 2012-10-03 | 阿克佐诺贝尔国际涂料股份有限公司 | 从图像确定颜色的方法和*** |
CN103119923A (zh) * | 2010-01-19 | 2013-05-22 | 阿克佐诺贝尔国际涂料股份有限公司 | 从图像确定颜色的方法和*** |
CN102385746A (zh) * | 2010-09-06 | 2012-03-21 | 索尼公司 | 图像处理装置及其方法,以及程序 |
CN103733219A (zh) * | 2011-05-11 | 2014-04-16 | I3研究所股份有限公司 | 图像处理装置、图像处理方法、及储存程序的储存媒体 |
KR20190074938A (ko) * | 2017-12-20 | 2019-06-28 | 연세대학교 산학협력단 | 인공 신경망을 위한 디지털 뉴런, 인공 뉴런 및 이를 포함하는 추론 엔진 |
WO2021052342A1 (zh) * | 2019-09-19 | 2021-03-25 | 华为技术有限公司 | 电子设备调整画面色彩的方法和装置 |
CN110852980A (zh) * | 2019-11-13 | 2020-02-28 | 北京京东方专用显示科技有限公司 | 交互式图像填充方法及***、服务器、设备及介质 |
CN113256504A (zh) * | 2020-02-11 | 2021-08-13 | 北京三星通信技术研究有限公司 | 图像处理的方法和电子设备 |
CN111489322A (zh) * | 2020-04-09 | 2020-08-04 | 广州光锥元信息科技有限公司 | 给静态图片加天空滤镜的方法及装置 |
CN112435156A (zh) * | 2020-12-08 | 2021-03-02 | 烟台艾睿光电科技有限公司 | 一种基于fpga的图像处理方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2023020017A1 (zh) | 2023-02-23 |
US20240153157A1 (en) | 2024-05-09 |
CN115908596A (zh) | 2023-04-04 |
EP4287129A1 (en) | 2023-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108594997B (zh) | 手势骨架构建方法、装置、设备及存储介质 | |
CN104601971B (zh) | 色彩调整方法及装置 | |
CN111179282B (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
EP3996046A1 (en) | Image-text fusion method and apparatus, and electronic device | |
CN105609035B (zh) | 图像显示装置及方法 | |
CN109584180A (zh) | 人脸图像处理方法、装置、电子设备及计算机存储介质 | |
CN109361867B (zh) | 一种滤镜处理方法及移动终端 | |
CN105991982B (zh) | 用于成像***的颜色匹配 | |
CN112562019A (zh) | 图像色彩调整方法及装置、计算机可读介质和电子设备 | |
CN112530382B (zh) | 电子设备调整画面色彩的方法和装置 | |
CN113810602A (zh) | 一种拍摄方法及电子设备 | |
CN112887582A (zh) | 一种图像色彩处理方法、装置及相关设备 | |
CN112287852A (zh) | 人脸图像的处理方法、显示方法、装置及设备 | |
CN107644396A (zh) | 一种唇色调整方法和装置 | |
CN111866483A (zh) | 颜色还原方法及装置、计算机可读介质和电子设备 | |
CN113965694A (zh) | 录像方法、电子设备及计算机可读存储介质 | |
CN113132696A (zh) | 图像色调映射方法、装置、电子设备和存储介质 | |
CN105574834B (zh) | 图像处理方法及装置 | |
CN112967193A (zh) | 图像校准方法及装置、计算机可读介质和电子设备 | |
CN116668656B (zh) | 图像处理方法及电子设备 | |
CN112634155A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN115908596B (zh) | 一种图像处理方法及电子设备 | |
CN110766606A (zh) | 一种图像处理方法及电子设备 | |
CN112383719B (zh) | 图像亮度的调整方法、装置、设备及可读存储介质 | |
CN115546858A (zh) | 人脸图像处理方法和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |