CN111489322A - 给静态图片加天空滤镜的方法及装置 - Google Patents
给静态图片加天空滤镜的方法及装置 Download PDFInfo
- Publication number
- CN111489322A CN111489322A CN202010273375.0A CN202010273375A CN111489322A CN 111489322 A CN111489322 A CN 111489322A CN 202010273375 A CN202010273375 A CN 202010273375A CN 111489322 A CN111489322 A CN 111489322A
- Authority
- CN
- China
- Prior art keywords
- image
- sky
- neural network
- picture
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000003068 static effect Effects 0.000 title abstract description 8
- 238000013528 artificial neural network Methods 0.000 claims abstract description 105
- 238000012545 processing Methods 0.000 claims abstract description 44
- 239000000463 material Substances 0.000 claims abstract description 30
- 238000012937 correction Methods 0.000 claims abstract description 19
- 238000002156 mixing Methods 0.000 claims abstract description 18
- 230000007797 corrosion Effects 0.000 claims abstract description 14
- 238000005260 corrosion Methods 0.000 claims abstract description 14
- 230000011218 segmentation Effects 0.000 claims description 106
- 238000012549 training Methods 0.000 claims description 55
- 230000000694 effects Effects 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 4
- 210000003746 feather Anatomy 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000001747 exhibiting effect Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30192—Weather; Meteorology
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种给静态图片加天空滤镜的方法及装置，本发明包括将神经网络参数模型载入到移动客户端，获取原始图像确定待处理的图像；将待处理的图像输入神经网络参数模型中，转化为天空区域呈灰度的图像，得到第一图像；对第一图像进行膨胀腐蚀操作，得到第二图像；采用高斯卷积核对第二图像进行高斯模糊处理，得到第三图像；对原始图像中的每个像素进行颜色校正，得到第四图像；将用于替换的天空素材图像、第三图像、第四图像进行线性混合获取具有天空滤镜的图像。本发明通过构建神经网络模型，对原始图像进行分割以及处理，最终输出美化的天空图像，本申请可快速实现图像中天空区域的分割，实现自然的天空美化效果。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种给静态图片加天空滤镜的方法及装置。
背景技术
目前市面上对图像中天空进行滤镜调色的方式有：首先基于YCRBCR空间、HSV空间、RGB空间的一些天空分割算法。但是此类方法主要停留在论文和demo测试阶段，在基于生活场景的大量图片测试中，分割效果不佳；且该算法在市面上通常用于识别照片上是否有天空区域，并且进行一定HDR的光线优化，在这些使用场景下，对天空分割区域的精准度、速度都无太高要求。
除此之外，由于此类方法，运算速度慢，所得的天空区域边缘感较强，且对于海天相连、绿水青山等场景下图片中的分割效果不够准确，会出现颜色相似的非天空区域错误分割的情况。如果直接使用该算法，分割出图片的天空区域直接进行色彩填充美化，天空区域与其他正常成像的区域相比会出现明显色差，边缘过渡效果生硬，图像表现效果低劣不自然，渲染出现卡顿等现象，且被美化的天空区域与原图无法自然融合，效果突兀。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种给静态图片加天空滤镜的方法及装置，以解决现有技术中天空区域与非天空区域分割的准确度低，运算速度慢，天空边缘过渡效果生硬，图像整体效果不自然的问题。
为实现以上目的，本发明采用如下技术方案：给静态图片加天空滤镜的方法，包括：
对神经网络进行训练，得到神经网络参数模型；
将所述神经网络参数模型载入到移动客户端，利用所述移动客户端获取原始图像，并根据所述原始图像，确定待处理的图像；
将所述待处理的图像输入所述神经网络参数模型中，所述神经网络参数模型将所述待处理的图像转化为天空区域呈灰度的图像，得到第一图像；
对所述第一图像进行膨胀腐蚀操作，得到第二图像；
对所述第二图像进行高斯模糊处理，得到第三图像；
采用颜色查找映射算法对所述原始图像中的每个像素进行颜色校正，得到第四图像；
获取用于替换的天空素材图像，并将所述用于替换的天空素材图像、第三图像、第四图像进行线性混合，获取具有天空滤镜的图像。
进一步的，所述对神经网络进行训练，得到神经网络参数模型，包括：
获取多个天空图片，并根据所述天空图片确定待处理的天空图片；
对所述待处理的天空图片进行处理，得到掩码分割图；其中，所述掩码分割图为黑白图片，白色区域表示天空区域，黑色区域表示非天空区域；
采用抠像算法处理所述掩码分割图，得到alpha通道分割图；
将所述天空图片、掩码分割图、alpha通道分割图进行调整至预设尺寸以构成训练数据；
将所述训练数据输入到神经网络中进行处理，得到精细alpha通道分割图；
初始化神经网络，采用交叉熵损失函数计算预测的alpha通道分割图与得到的精细alpha通道分割图之间的图像数据损失，根据所述图像数据损失再采用自适应估计矩阵算法更新神经网络参数；
在训练过程中动态调节学***滑效果时，存储神经网络参数，获取神经网络参数模型。
进一步的，所述根据所述原始图像，确定待处理的图像，包括：
对原始图像进行尺寸调整至预设尺寸，将所述调整为预设尺寸的图像确定为待处理的图像。
进一步的，所述采用颜色查找映射算法对所述原始图像中的每个像素进行颜色校正，得到第四图像，包括：
获取用于替换的天空素材图像对应的LUT查找表；
根据所述LUT查找表采用颜色查找映射算法对原始图像中每个像素进行颜色校正，得到第四图像。
进一步的，所述将所述用于替换的天空素材图像、第三图像、第四图像进行线性混合，获取具有天空滤镜的图像，包括：
对所述第三图像进行三通道分离，得到R通道、G通道和B通道并计算所述第三图像中每个像素值的G通道分量；
所述G通道分量在0-1范围内时，将所述第四图像和用于替换的天空素材图像以所述G通道分量比例进行线性混合；
获取呈现天空滤镜效果的图像。
进一步的，所述获取多个天空图片，并根据所述天空图片确定待处理的天空图片，包括：
获取多个天空图片；
标注出多个所述天空图片的天空区域；
将所述标注出天空区域的天空图片确定为待处理的天空图片。
进一步的，所述神经网络包括：分割模块和羽化模块；
所述分割模块包括：池化层、卷积层、批标准化层、激活层、上采样层和Softmax层；
所述羽化模块包括：卷积层和Sigmoid层。
进一步的，所述将所述训练数据输入到神经网络中进行处理，得到精细alpha通道分割图，包括：
将训练数据中的天空图片与掩码分割图输入分割模块进行处理，得到粗略掩码分割图；
将所述粗略掩码分割图和训练数据中的alpha分割图输入到羽化模块进行处理，得到精细alpha通道分割图。
本申请实施例提供一种给静态图片加天空滤镜的装置，包括：
训练模块，用于对神经网络进行训练，得到神经网络参数模型；
获取模块，用于将所述神经网络参数模型载入到移动客户端，利用所述移动客户端获取原始图像，并根据所述原始图像，确定待处理的图像；
神经网络模块，用于将所述待处理的图像输入所述神经网络参数模型中，所述神经网络参数模型将所述待处理的图像转化为天空区域呈灰度的图像，得到第一图像；
膨胀腐蚀模块，用于对所述第一图像进行膨胀腐蚀操作，得到第二图像；
高斯模糊模块，用于对所述第二图像进行高斯模糊处理，得到第三图像；
颜色校正模块，用于采用颜色查找映射算法对所述原始图像中的每个像素进行颜色校正，得到第四图像；
线性混合模块，用于获取用于替换的天空素材图像，并将所述用于替换的天空素材图像、第三图像、第四图像进行线性混合，获取具有天空滤镜的图像。
进一步的，所述获取模块，包括：
第一获取单元，用于获取多个天空图片，并根据所述天空图片确定待处理的天空图片；
处理单元，用于对所述待处理的天空图片进行处理，得到掩码分割图；其中，所述掩码分割图为黑白图片，白色区域表示天空区域，黑色区域表示非天空区域；
计算单元，用于采用抠像算法处理所述掩码分割图，得到alpha通道分割图；
调整单元，用于将所述天空图片、掩码分割图、alpha通道分割图进行调整至预设尺寸以构成训练数据；
训练单元，用于将所述训练数据输入到神经网络中进行处理，得到精细alpha通道分割图；
更新单元，用于初始化神经网络，采用交叉熵损失函数计算预测的alpha通道分割图与得到的精细alpha通道分割图之间的图像数据损失，根据所述图像数据损失再采用自适应估计矩阵算法更新神经网络参数；
第二获取单元，用于在训练过程中动态调节学***滑效果时，存储神经网络参数，获取神经网络参数模型。
本发明采用以上技术方案，能够达到的有益效果包括：
本发明通过构建神经网络模型，对原始图像进行分割以及处理，最终输出美化的天空图像，解决了天空区域与其他正常成像的区域相比会出现明显色差，边缘过渡效果生硬，图像表现效果低劣不自然，渲染出现卡顿等现象的问题，本申请可快速实现图像中天空区域的分割，实现自然的天空美化效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种给静态图片加天空滤镜的方法步骤示意图；
图2为本发明一种给静态图片加天空滤镜的方法的流程示意图；
图3为本发明构建神经网络参数模型的步骤示意图；
图4为本发明一种给静态图片加天空滤镜装置的结构示意图；
图5为本发明一种给静态图片加天空滤镜装置的另一种结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
下面结合附图介绍本申请实施例中提供的一个具体的给静态图片加天空滤镜的方法。
如图1所示，本申请提供一种给静态图片加天空滤镜的方法，包括：
S101、对神经网络进行训练，得到神经网络参数模型；
具体的，如图2所示，采用多次训练数据对神经网络进行训练，最终得到最优的神经网络参数模型。
S102、将所述神经网络参数模型载入到移动客户端，利用所述移动客户端获取原始图像，并根据所述原始图像，确定待处理的图像；
将训练后得到的神经网络参数模型载入到移动客户端，用户通过移动客户端拍摄图片，或是从移动客户端存储的图片库中获取图片作为原始图像，即原始图像是通过拍照类软件或图像类产品获得的风景或街景二维图像，对原始图像的尺寸进行调整，调整为预设尺寸的图像，以方便对图像进行处理，预设尺寸的图像即为待处理的图像。
其中，移动客户端为设有摄像头的终端，例如：移动客户端可以是手机、平板电脑等。
S103、将所述待处理的图像输入所述神经网络参数模型中，所述神经网络参数模型将所述待处理的图像转化为天空区域呈灰度的图像，得到第一图像；
将调整为预设尺寸的图像输入到神经网络参数模型中，得到天空区域蒙版灰度图像，称为第一图像。
S104、对所述第一图像进行膨胀腐蚀操作，得到第二图像；
将第一图像进行膨胀腐蚀操作，使其中灰度骤变的局部区域一定程度的范围扩大且变化趋缓，得到第二图像。
S105、采用高斯卷积核对所述第二图像进行高斯模糊处理，得到第三图像；
S106、采用颜色查找映射算法对所述原始图像中的每个像素进行颜色校正，得到第四图像；
在文件***中获取用于替换的天空素材图像对应的LUT查找表，采用颜色查找映射算法对原始图像中每个像素进行颜色校正，使原始图像呈现特定的氛围调色效果，得到第四图像。
S107、获取用于替换的天空素材图像，并将所述用于替换的天空素材图像、第三图像、第四图像进行线性混合，获取具有天空滤镜的图像。
在文件***中获取用于替换的天空素材图像，采用第三图像中的每个像素值的G通道分量，在0-1的范围内，将第四图像和用于替换的天空素材图像进行G通道分量比例的线性混合，使画面呈现出天空滤镜的效果，从而得到具有天空滤镜的图像。
一些实施例中，如图3所示，所述对神经网络进行训练，得到神经网络参数模型，包括：
S301、获取多个天空图片，并根据所述天空图片确定待处理的天空图片；
在文件***中获取多个天空图片，并标注出所有天空图片中的天空区域，标注出天空区域的天空图片即为待处理的天空图片。
S302、对所述待处理的天空图片进行处理，得到掩码分割图；其中，所述掩码分割图为黑白图片，白色区域表示天空区域，黑色区域表示非天空区域；
对标注出天空区域的天空图片进行分割处理，即对天空区域与非天空区域进行分割，得到掩码分割图。
S303、采用抠像算法处理所述掩码分割图，得到alpha通道分割图；
通过抠像算法对天空区域与非天空区域进行分割细节和突出边缘，得到天空区域与非天空区域的alpha通道分割图。
S304、将所述天空图片、掩码分割图、alpha通道分割图进行调整至预设尺寸以构成训练数据；
将天空图片、掩码分割图、alpha通道分割图的尺寸进行调整，调整为预设尺寸的天空图片，其中预设尺寸为用户预设的，调整为对图片进行放大或缩小，掩码分割图为天空图片对应的掩码分割图，调整为预设尺寸的天空图片、掩码分割图、alpha通道分割图即为训练数据。
S305、将所述训练数据输入到神经网络中进行处理，得到精细alpha通道分割图；
将调整为预设尺寸的天空图片、掩码分割图、alpha通道分割图输入到神经网络中，神经网络对上述训练数据的处理后，输出精细alpha通道分割图。
S306、初始化神经网络，采用交叉熵损失函数计算预测的alpha通道分割图与得到的精细alpha通道分割图之间的图像数据损失，根据所述图像数据损失再采用自适应估计矩阵算法更新神经网络参数；
采用自适应估计矩阵算法更新神经网络参数以优化所述神经参数模型，提高训练的精确度。
S307、在训练过程中动态调节学***滑效果时，存储神经网络参数，获取神经网络参数模型。
一些实施例中，所述根据所述原始图像，确定待处理的图像，包括：
对原始图像进行尺寸调整至预设尺寸，将所述调整为预设尺寸的图像确定为待处理的图像。
其中，预设尺寸为提前设定的尺寸，用户可根据实际情况进行设定，本申请在此不做限定。
一些实施例中，所述采用颜色查找映射算法对所述原始图像中的每个像素进行颜色校正，得到第四图像，包括：
获取用于替换的天空素材图像对应的LUT查找表；
根据所述LUT查找表采用颜色查找映射算法对原始图像中每个像素进行颜色校正，得到第四图像。
一些实施例中，所述将所述用于替换的天空素材图像、第三图像、第四图像进行线性混合，获取具有天空滤镜的图像，包括：
对所述第三图像进行三通道分离，得到R通道、G通道和B通道并计算所述第三图像中每个像素值的G通道分量；
所述G通道分量在0-1范围内时，将所述第四图像和用于替换的天空素材图像以所述G通道分量比例进行线性混合；
获取呈现天空滤镜效果的图像。
具体的，将第三图像进行三通道分离，得到R通道、G通道和B通道并计算所述第三图像中每个像素值的G通道分量，在0-1的范围内，将第四图像和用于替换的天空素材图像进行G通道分量比例的线性混合，使画面呈现出天空滤镜的效果。
一些实施例中，所述获取多个天空图片，并根据所述天空图片确定待处理的天空图片，包括：
获取多个天空图片；
标注出多个所述天空图片的天空区域；
将所述标注出天空区域的天空图片确定为待处理的天空图片。
一些实施例中，所述神经网络包括：分割模块和羽化模块；
所述分割模块包括：池化层、卷积层、批标准化层、激活层、上采样层和Softmax层；
所述羽化模块包括：卷积层和Sigmoid层。
优选的，所述将所述训练数据输入到神经网络中进行处理，得到精细alpha通道分割图，包括：
将训练数据中的天空图片与掩码分割图输入分割模块进行处理，得到粗略掩码分割图；
将所述粗略掩码分割图和训练数据中的alpha分割图输入到羽化模块进行处理，得到精细alpha通道分割图。
具体的，神经网络包含分割模块和羽化模块，其中分割模块包含池化层、卷积层、批标准化层、激活层、上采样层和Softmax层，其中羽化模块包含卷积层和Sigmoid层，
训练数据中的天空图片与对应的掩码分割图经过分割模块处理，产出粗略掩码分割图，再将所述粗略掩码分割图与训练数据中的alpha通道分割图输入羽化模块，输出精细alpha通道分割图。
如图4所示，本申请实施例提供一种给静态图片加天空滤镜的装置，包括：
训练模块401，用于对神经网络进行训练，得到神经网络参数模型；
获取模块402，用于将所述神经网络参数模型载入到移动客户端，利用所述移动客户端获取原始图像，并根据所述原始图像，确定待处理的图像；
神经网络模块403，用于将所述待处理的图像输入所述神经网络参数模型中，所述神经网络参数模型将所述待处理的图像转化为天空区域呈灰度的图像，得到第一图像；
膨胀腐蚀模块404，用于对所述第一图像进行膨胀腐蚀操作，得到第二图像；
高斯模糊模块405，用于对所述第二图像进行高斯模糊处理，得到第三图像；
颜色校正模块406，用于采用颜色查找映射算法对所述原始图像中的每个像素进行颜色校正，得到第四图像；
线性混合模块407，用于获取用于替换的天空素材图像，并将所述用于替换的天空素材图像、第三图像、第四图像进行线性混合，获取具有天空滤镜的图像。
本申请提供的一种给静态图片加天空滤镜的装置的工作原理是，训练模块401对神经网络进行训练，得到神经网络参数模型；获取模块402将所述神经网络参数模型载入到移动客户端，利用所述移动客户端获取原始图像，并根据所述原始图像，确定待处理的图像；神经网络模块403将所述待处理的图像输入所述神经网络参数模型中，所述神经网络参数模型将所述待处理的图像转化为天空区域呈灰度的图像，得到第一图像；膨胀腐蚀模块404对所述第一图像进行膨胀腐蚀操作，得到第二图像；高斯模糊模块405对所述第二图像进行高斯模糊处理，得到第三图像；颜色校正模块406采用颜色查找映射算法对所述原始图像中的每个像素进行颜色校正，得到第四图像；线性混合模块407获取用于替换的天空素材图像，并将所述用于替换的天空素材图像、第三图像、第四图像进行线性混合，获取具有天空滤镜的图像。
一些实施例中，如图5所示，所述获取模块401，包括：
第一获取单元501，用于获取多个天空图片，并根据所述天空图片确定待处理的天空图片；
处理单元502，用于对所述待处理的天空图片进行处理，得到掩码分割图；其中，所述掩码分割图为黑白图片，白色区域表示天空区域，黑色区域表示非天空区域；
计算单元503，用于采用抠像算法处理所述掩码分割图，得到alpha通道分割图；
调整单元504，用于将所述天空图片、掩码分割图、alpha通道分割图进行调整至预设尺寸以构成训练数据；
训练单元505，用于将所述训练数据输入到神经网络中进行处理，得到精细alpha通道分割图；
更新单元506，用于初始化神经网络，采用交叉熵损失函数计算预测的alpha通道分割图与得到的精细alpha通道分割图之间的图像数据损失，根据所述图像数据损失再采用自适应估计矩阵算法更新神经网络参数；
第二获取单元507，用于在训练过程中动态调节学***滑效果时，存储神经网络参数，获取神经网络参数模型。
综上所述，本申请提供的给静态图片加天空滤镜的方法及装置，包括对神经网络进行训练，得到神经网络参数模型；将所述神经网络参数模型载入到移动客户端，利用所述移动客户端获取原始图像，并根据所述原始图像，确定待处理的图像；将所述待处理的图像输入所述神经网络参数模型中，所述神经网络参数模型将所述待处理的图像转化为天空区域呈灰度的图像，得到第一图像；对所述第一图像进行膨胀腐蚀操作，得到第二图像；对所述第二图像进行高斯模糊处理，得到第三图像；采用颜色查找映射算法对所述原始图像中的每个像素进行颜色校正，得到第四图像；获取用于替换的天空素材图像，并将所述用于替换的天空素材图像、第三图像、第四图像进行线性混合，获取具有天空滤镜的图像，本发明通过构建神经网络模型，对原始图像进行分割以及处理，最终输出美化的天空图像，本申请可快速实现图像中天空区域的分割，实现自然的天空美化效果。
可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的方法。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种给静态图片加天空滤镜的方法，其特征在于，包括：
对神经网络进行训练，得到神经网络参数模型；
将所述神经网络参数模型载入到移动客户端，利用所述移动客户端获取原始图像，并根据所述原始图像，确定待处理的图像；
将所述待处理的图像输入所述神经网络参数模型中，所述神经网络参数模型将所述待处理的图像转化为天空区域呈灰度的图像，得到第一图像；
对所述第一图像进行膨胀腐蚀操作，得到第二图像；
对所述第二图像进行高斯模糊处理，得到第三图像；
采用颜色查找映射算法对所述原始图像中的每个像素进行颜色校正，得到第四图像；
获取用于替换的天空素材图像，并将所述用于替换的天空素材图像、第三图像、第四图像进行线性混合，获取具有天空滤镜的图像。
2.根据权利要求1所述的方法，其特征在于，所述对神经网络进行训练，得到神经网络参数模型，包括：
获取多个天空图片，并根据所述天空图片确定待处理的天空图片；
对所述待处理的天空图片进行处理，得到掩码分割图；其中，所述掩码分割图为黑白图片，白色区域表示天空区域，黑色区域表示非天空区域；
采用抠像算法处理所述掩码分割图，得到alpha通道分割图；
将所述天空图片、掩码分割图、alpha通道分割图进行调整至预设尺寸以构成训练数据；
将所述训练数据输入到神经网络中进行处理，得到精细alpha通道分割图；
初始化神经网络，采用交叉熵损失函数计算预测的alpha通道分割图与得到的精细alpha通道分割图之间的图像数据损失，根据所述图像数据损失再采用自适应估计矩阵算法更新神经网络参数；
在训练过程中动态调节学***滑效果时，存储神经网络参数，获取神经网络参数模型。
3.根据权利要求1所述的方法，其特征在于，所述根据所述原始图像，确定待处理的图像，包括：
对原始图像进行尺寸调整至预设尺寸，将所述调整为预设尺寸的图像确定为待处理的图像。
4.根据权利要求1所述的方法，其特征在于，所述采用颜色查找映射算法对所述原始图像中的每个像素进行颜色校正，得到第四图像，包括：
获取用于替换的天空素材图像对应的LUT查找表；
根据所述LUT查找表采用颜色查找映射算法对原始图像中每个像素进行颜色校正，得到第四图像。
5.根据权利要求1所述的方法，其特征在于，所述将所述用于替换的天空素材图像、第三图像、第四图像进行线性混合，获取具有天空滤镜的图像，包括：
对所述第三图像进行三通道分离，得到R通道、G通道和B通道并计算所述第三图像中每个像素值的G通道分量；
所述G通道分量在0-1范围内时，将所述第四图像和用于替换的天空素材图像以所述G通道分量比例进行线性混合；
获取呈现天空滤镜效果的图像。
6.根据权利要求2所述的方法，其特征在于，所述获取多个天空图片，并根据所述天空图片确定待处理的天空图片，包括：
获取多个天空图片；
标注出多个所述天空图片的天空区域；
将所述标注出天空区域的天空图片确定为待处理的天空图片。
7.根据权利要求1所述的方法，其特征在于，所述神经网络包括：分割模块和羽化模块；
所述分割模块包括：池化层、卷积层、批标准化层、激活层、上采样层和Softmax层；
所述羽化模块包括：卷积层和Sigmoid层。
8.根据权利要求7所述的方法，其特征在于，所述将所述训练数据输入到神经网络中进行处理，得到精细alpha通道分割图，包括：
将训练数据中的天空图片与掩码分割图输入分割模块进行处理，得到粗略掩码分割图；
将所述粗略掩码分割图和训练数据中的alpha分割图输入到羽化模块进行处理，得到精细alpha通道分割图。
9.一种给静态图片加天空滤镜的装置，其特征在于，包括：
训练模块，用于对神经网络进行训练，得到神经网络参数模型；
获取模块，用于将所述神经网络参数模型载入到移动客户端，利用所述移动客户端获取原始图像，并根据所述原始图像，确定待处理的图像；
神经网络模块，用于将所述待处理的图像输入所述神经网络参数模型中，所述神经网络参数模型将所述待处理的图像转化为天空区域呈灰度的图像，得到第一图像；
膨胀腐蚀模块，用于对所述第一图像进行膨胀腐蚀操作，得到第二图像；
高斯模糊模块，用于对所述第二图像进行高斯模糊处理，得到第三图像；
颜色校正模块，用于采用颜色查找映射算法对所述原始图像中的每个像素进行颜色校正，得到第四图像；
线性混合模块，用于获取用于替换的天空素材图像，并将所述用于替换的天空素材图像、第三图像、第四图像进行线性混合，获取具有天空滤镜的图像。
10.根据权利要求9所述的装置，其特征在于，所述获取模块，包括：
第一获取单元，用于获取多个天空图片，并根据所述天空图片确定待处理的天空图片；
处理单元，用于对所述待处理的天空图片进行处理，得到掩码分割图；其中，所述掩码分割图为黑白图片，白色区域表示天空区域，黑色区域表示非天空区域；
计算单元，用于采用抠像算法处理所述掩码分割图，得到alpha通道分割图；
调整单元，用于将所述天空图片、掩码分割图、alpha通道分割图进行调整至预设尺寸以构成训练数据；
训练单元，用于将所述训练数据输入到神经网络中进行处理，得到精细alpha通道分割图；
更新单元，用于初始化神经网络，采用交叉熵损失函数计算预测的alpha通道分割图与得到的精细alpha通道分割图之间的图像数据损失，根据所述图像数据损失再采用自适应估计矩阵算法更新神经网络参数；
第二获取单元，用于在训练过程中动态调节学***滑效果时，存储神经网络参数，获取神经网络参数模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010273375.0A CN111489322B (zh) | 2020-04-09 | 2020-04-09 | 给静态图片加天空滤镜的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010273375.0A CN111489322B (zh) | 2020-04-09 | 2020-04-09 | 给静态图片加天空滤镜的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111489322A true CN111489322A (zh) | 2020-08-04 |
| CN111489322B CN111489322B (zh) | 2023-05-26 |
Family
ID=71791869
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010273375.0A Active CN111489322B (zh) | 2020-04-09 | 2020-04-09 | 给静态图片加天空滤镜的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111489322B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634165A (zh) * | 2020-12-29 | 2021-04-09 | 广州光锥元信息科技有限公司 | 用于图像适配vi环境的方法及装置 |
| CN113034514A (zh) * | 2021-03-19 | 2021-06-25 | 影石创新科技股份有限公司 | 天空区域分割方法、装置、计算机设备和存储介质 |
| CN113240599A (zh) * | 2021-05-10 | 2021-08-10 | Oppo广东移动通信有限公司 | 图像调色方法及装置、计算机可读存储介质、电子设备 |
| CN113486271A (zh) * | 2021-07-06 | 2021-10-08 | 网易（杭州）网络有限公司 | 一种图像主色调的确定方法、装置以及电子终端 |
| CN115908596B (zh) * | 2021-08-20 | 2023-11-24 | 荣耀终端有限公司 | 一种图像处理方法及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017084391A1 (zh) * | 2015-11-19 | 2017-05-26 | 广景视睿科技（深圳）有限公司 | 一种投影仪图像荧光处理的方法及*** |
| CN109003237A (zh) * | 2018-07-03 | 2018-12-14 | 深圳岚锋创视网络科技有限公司 | 全景图像的天空滤镜方法、装置及便携式终端 |
| CN109325495A (zh) * | 2018-09-21 | 2019-02-12 | 南京邮电大学 | 一种基于深度神经网络建模的作物图像分割***及方法 |
| WO2019180742A1 (en) * | 2018-03-21 | 2019-09-26 | Artificial Learning Systems India Private Limited | System and method for retinal fundus image semantic segmentation |
| CN110610526A (zh) * | 2019-08-12 | 2019-12-24 | 江苏大学 | 一种基于wnet对单目人像进行分割和景深渲染的方法 |
| WO2020015470A1 (zh) * | 2018-07-16 | 2020-01-23 | Oppo广东移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
-
2020
- 2020-04-09 CN CN202010273375.0A patent/CN111489322B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017084391A1 (zh) * | 2015-11-19 | 2017-05-26 | 广景视睿科技（深圳）有限公司 | 一种投影仪图像荧光处理的方法及*** |
| WO2019180742A1 (en) * | 2018-03-21 | 2019-09-26 | Artificial Learning Systems India Private Limited | System and method for retinal fundus image semantic segmentation |
| CN109003237A (zh) * | 2018-07-03 | 2018-12-14 | 深圳岚锋创视网络科技有限公司 | 全景图像的天空滤镜方法、装置及便携式终端 |
| WO2020015470A1 (zh) * | 2018-07-16 | 2020-01-23 | Oppo广东移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
| CN109325495A (zh) * | 2018-09-21 | 2019-02-12 | 南京邮电大学 | 一种基于深度神经网络建模的作物图像分割***及方法 |
| CN110610526A (zh) * | 2019-08-12 | 2019-12-24 | 江苏大学 | 一种基于wnet对单目人像进行分割和景深渲染的方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634165A (zh) * | 2020-12-29 | 2021-04-09 | 广州光锥元信息科技有限公司 | 用于图像适配vi环境的方法及装置 |
| CN112634165B (zh) * | 2020-12-29 | 2024-03-26 | 广州光锥元信息科技有限公司 | 用于图像适配vi环境的方法及装置 |
| CN113034514A (zh) * | 2021-03-19 | 2021-06-25 | 影石创新科技股份有限公司 | 天空区域分割方法、装置、计算机设备和存储介质 |
| CN113240599A (zh) * | 2021-05-10 | 2021-08-10 | Oppo广东移动通信有限公司 | 图像调色方法及装置、计算机可读存储介质、电子设备 |
| CN113486271A (zh) * | 2021-07-06 | 2021-10-08 | 网易（杭州）网络有限公司 | 一种图像主色调的确定方法、装置以及电子终端 |
| CN115908596B (zh) * | 2021-08-20 | 2023-11-24 | 荣耀终端有限公司 | 一种图像处理方法及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111489322B (zh) | 2023-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Gladnet: Low-light enhancement network with global awareness | |
| CN111489322B (zh) | 给静态图片加天空滤镜的方法及装置 | |
| US20200160493A1 (en) | Image filtering based on image gradients | |
| CN109191395B (zh) | 图像对比度增强方法、装置、设备及存储介质 | |
| US20050280869A1 (en) | Image correcting apparatus and method, and image correcting program, and look-up table creating apparatus and method, and look-up table creating program | |
| CN111383232B (zh) | 抠图方法、装置、终端设备及计算机可读存储介质 | |
| JP2004537791A (ja) | ノイズを考慮してデジタルイメージを修正する方法およびシステム | |
| CN109658330B (zh) | 一种发色调整方法及装置 | |
| KR20150031241A (ko) | 이미지의 색 조화를 위한 장치 및 방법 | |
| CN113039576A (zh) | 图像增强***和方法 | |
| CN114862725B (zh) | 基于光流法实现运动感知模糊特效的方法及装置 | |
| RU2697627C1 (ru) | Способ корректировки освещенности объекта на изображении в последовательности изображений и вычислительное устройство пользователя, реализующее упомянутый способ | |
| WO2022194079A1 (zh) | 天空区域分割方法、装置、计算机设备和存储介质 | |
| CN108596992B (zh) | 一种快速实时的唇彩化妆方法 | |
| CN113706393A (zh) | 视频增强方法、装置、设备及存储介质 | |
| CN114862722A (zh) | 一种图像亮度增强实现方法及处理终端 | |
| JP2008011286A (ja) | 画像処理プログラムおよび画像処理装置 | |
| CN111010605B (zh) | 一种视频画中画窗口的显示方法 | |
| KR100791374B1 (ko) | 색역 내에 존재하는 색상을 영상 적응적으로 조절하는 방법및 장치 | |
| US20220398704A1 (en) | Intelligent Portrait Photography Enhancement System | |
| JP2015158737A (ja) | 画像処理装置及び画像処理方法 | |
| US11200708B1 (en) | Real-time color vector preview generation | |
| CN116977190A (zh) | 图像处理方法、装置、设备、存储介质及程序产品 | |
| CN115082345A (zh) | 图像阴影去除方法、装置、计算机设备和存储介质 | |
| KR20140138046A (ko) | 픽처를 처리하기 위한 방법 및 디바이스 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |