CN110335206B - 智能滤镜方法、装置及计算机可读存储介质 - Google Patents
智能滤镜方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110335206B CN110335206B CN201910480677.2A CN201910480677A CN110335206B CN 110335206 B CN110335206 B CN 110335206B CN 201910480677 A CN201910480677 A CN 201910480677A CN 110335206 B CN110335206 B CN 110335206B
- Authority
- CN
- China
- Prior art keywords
- picture data
- data set
- convolutional neural
- neural network
- style
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 104
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 90
- 238000006243 chemical reaction Methods 0.000 claims abstract description 47
- 230000006870 function Effects 0.000 claims description 92
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 8
- 238000004378 air conditioning Methods 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种人工智能技术,揭露了一种智能滤镜方法,包括:获取原始图片数据集和风格图片数据集,并将所述原始图片数据集标定为训练集;将所述训练集输入至影像转换网络中,生成标签图片数据集;将所述训练集、所述风格图片数据集和所述标签图片数据集输入至卷积神经网络模型中训练,使所述卷积神经网络模型根据损失函数自动调节自身的模型参数,直至所述模型参数满足阈值要求时退出训练;接收用户输入的图片数据,利用所述影像转换网络和卷积神经网络模型,生成目标风格图片数据。本发明还提出一种智能滤镜装置以及一种计算机可读存储介质。本发明可以实现精准的智能滤镜功能。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种基于图片场景自动生成的智能滤镜方法、装置及计算机可读存储介质。
背景技术
图片风格化,即智能滤镜是目前人们在图像处理领域的一个研究热点。当前随着深度神经网络在图片分类、语音识别等领域大放异彩,研究者们逐渐将注意力转向图片风格处理。而多数的图片风格化方法都是采用传统神经网络模型,在网络层次过深时无法有效提高准确率,影响用户视觉效果。
发明内容
本发明提供一种智能滤镜方法、装置及计算机可读存储介质,其主要目的在于当用户在使用图片自动风格化时,给用户呈现出精准的图片风格化处理结果。
为实现上述目的,本发明提供的一种智能滤镜方法,包括:
获取原始图片数据集和风格图片数据集,并将所述原始图片数据集标定为训练集;
将所述训练集输入至影像转换网络中,生成标签图片数据集;
将所述训练集、所述风格图片数据集和所述标签图片数据集输入至卷积神经网络模型中训练,使所述卷积神经网络模型根据损失函数自动调节自身的模型参数,直至所述模型参数满足阈值要求时退出训练;
接收用户输入的图片数据,利用所述影像转换网络和卷积神经网络模型,生成目标风格图片数据。
可选地,其特征在于,所述影像转换网络包括11层网络,其中:
前3层网络均依次由卷积层与正则化操作组成,中间5层网络均依次由卷积层、线性整流激活函数及卷积层组成,后3层网络均依次由卷积层与正则化操作组成。
可选地,所述卷积神经网络模型包括VGG16模型和两种损失函数;
所述VGG16模型包含16层网络,其中的每层网络均由卷积层和池化层组成;
可选地,所述卷积神经网络模型根据损失函数自动调节模型参数,直至满足阈值要求退出训练包括:
其中λc为内容损失函数偏置系数,λs为风格损失函数偏置系数;
所述最终损失函数L在训练过程的输出值小于指定阈值,则所述卷积神经网络退出训练。
可选地,将所述接收的图片数据输入至所述影像转换网络和卷积神经网络模型,生成目标风格图片数据集包括:
将所述接收的图片数据输入至所述影像转换网络,生成对应的目标标签图片数据集;
将所述接收的图片数据、所述目标标签图片数据集及所述风格图片数据集输入至卷积神经网络模型,所述卷积神经网络模型根据所述满足阈值要求的模型参数和所述内容损失函数与风格损失函数,生成目标风格图片数据集。
此外,为实现上述目的,本发明还提供一种智能滤镜装置,该装置包括存储器和处理器,所述存储器中存储有可在所述处理器上运行的智能滤镜程序,所述智能滤镜程序被所述处理器执行时实现如下步骤:
获取原始图片数据集和风格图片数据集,并将所述原始图片数据集标定为训练集;
将所述训练集输入至影像转换网络中,生成标签图片数据集;
将所述训练集、所述风格图片数据集和所述标签图片数据集输入至卷积神经网络模型中训练,使所述卷积神经网络模型根据损失函数自动调节自身的模型参数,直至所述模型参数满足阈值要求时退出训练;
接收用户输入的图片数据,利用所述影像转换网络和卷积神经网络模型,生成目标风格图片数据。
可选地,其特征在于,所述影像转换网络包括11层网络,其中:
前3层网络均依次由卷积层与正则化操作组成,中间5层网络均依次由卷积层、线性整流激活函数及卷积层组成,后3层网络均依次由卷积层与正则化操作组成。
可选地,所述卷积神经网络模型包括VGG16模型和两种损失函数;
所述VGG16模型包含16层网络,其中的每层网络均由卷积层和池化层组成;
可选地,所述卷积神经网络模型根据损失函数自动调节模型参数,直至满足阈值要求退出训练包括:
其中λc为内容损失函数偏置系数,λs为风格损失函数偏置系数;
所述最终损失函数L在训练过程的输出值小于指定阈值,则所述卷积神经网络退出训练。
可选地,将所述接收的图片数据输入至所述影像转换网络和卷积神经网络模型,生成目标风格图片数据集包括:
将所述接收的图片数据输入至所述影像转换网络,生成对应的目标标签图片数据集;
将所述接收的图片数据、所述目标标签图片数据集及所述风格图片数据集输入至卷积神经网络模型,所述卷积神经网络模型根据所述满足阈值要求的模型参数和所述内容损失函数与风格损失函数,生成目标风格图片数据集。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有智能滤镜程序,所述智能滤镜程序可被一个或者多个处理器执行,以实现如上所述的智能滤镜方法的步骤。
本发明提出的智能滤镜方法、装置及计算机可读存储介质利用从网络中获取的原始图片数据集和风格图片数据集,训练影像转换网络和卷积神经网络模型,并利用所述训练的影像转换网络中和卷积神经网络模型将用户的图片数据转换为目标风格图片数据,为用户提供了智能的滤镜功能。
附图说明
图1为本发明一实施例提供的智能滤镜方法的流程示意图;
图2为本发明一实施例提供的影像转换网络模型示意图;
图3为本发明一实施例提供的智能滤镜装置的内部结构示意图;
图4为本发明一实施例提供的智能滤镜装置中智能滤镜程序的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种智能滤镜方法。参照图1所示,为本发明一实施例提供的智能滤镜方法的流程示意图。该方法可以由一个装置执行,该装置可以由软件和/或硬件实现。
在本实施例中,智能滤镜方法包括:
S1、获取原始图片数据集和风格图片数据集,并将所述原始图片数据集标定为训练集。
本发明较佳实施例从网络等渠道采集原始图片集和风格图片数据集。其中,所述原始图片集可以包括任意的图片,所述风格图片数据集包括,如春天万物复苏,秋天落叶苦黄、高山流水等场景的图片,并将原始图片集标定为训练集。
S2、将所述训练集输入至影像转换网络中,生成标签图片数据集。
本发明较佳实施例中,所构建的影像转换网络本质上是一个卷积神经网络,所述卷积神经网络是一个深度残差网络,不用任何的池化层。本发明所述卷积神经网络由五个残差块组成。本发明所述卷积神经网络中,除了最末的输出层以外,所有的非残差卷积层都跟着一个空间性的正则化操作和线性整流激活函数。所述正则化操作用来防止过拟合。所述影像转换网络最末的输出层使用缩放的Tanh函数确保输出图像的像素在[0,255]之间。
本发明较佳实施例所述的影像转换网络的网络结构如附图2所示。在该网络结构共包括11层网络,其中前3层网络均依次由卷积层与正则化操作组成,中间5层网络均依次由卷积层、线性整流激活函数及卷积层组成,后3层网络均依次由卷积层与正则化操作组成。
S3、将所述训练集、所述风格图片数据集和所述标签图片数据集输入至卷积神经网络模型中训练,使所述卷积神经网络模型根据损失函数自动调节自身的模型参数,直至所述模型参数满足阈值要求时退出训练。
本发明所述卷积神经网络模型包括两个部分:VGG-16网络结构和两种损失(loss)函数。所述VGG-16模型的每一层包括多个卷积层和池化层,负责对图像的内容和风格进行分段抽象。整个VGG-16模型都使用同样大小的卷积核尺寸(3*3)和最大池化核(2*2),通过不断加深网络结构来提升性能。在本发明较佳实施例中,所述卷积神经网络模型使用VGG16深度学习预训练模型,无需自己训练神经网络权重参数,使用VGG-16已经训练好的模型来得到不同尺度的特征。
进一步地,本发明较佳实施例根据VGG-16已经训练好的特征得到的不同尺度的特征输入至两种损失函数。本发明较佳实施例中,所述两种损失函数分别为内容损失函数和风格损失函数/>中,其中所述内容损失函数和风格损失函数计算公式分别如下:/>
y,ys分别为所述训练集、所述标签图片数据集和所述风格图片数据集,Cj、Hj、Wj是将所述训练集中的图像特征分为三个维度进行表示,/>为格拉姆矩阵,用来描述图像特征、图像纹理的相似程度,φj为半正定矩阵向量。
本发明较佳实施例采用内容损失函数和风格损失函数进行风格和内容对比,从而进行前项反馈训练神经网络,提高了模型的准确率,当内容损失函数最小时,影像转换网络能让输出非常接近目标图像y,但并没有做到完全的匹配。
进一步的,本发明较佳实施例在所述卷积神经网络模型根据损失函数自动调节自身的模型参数,直至满足阈值要求退出训练包括:
其中λc为内容损失函数偏置系数,λs为风格损失函数偏置系数;
当所述最终损失函数L在训练过程的输出值小于指定阈值时,所述卷积神经网络退出训练。
S4、接收用户输入的图片数据,利用所述影像转换网络和卷积神经网络模型,生成目标风格图片数据。
本发明较佳实施例将所接收的图片数据进行预处理操作后,输入到训练之后的卷积神经网络模型中之后,可以生成一张目标风格图片数据或者多张不同风格的目标风格图片集,用户可以在所述目标风格图片集内选择一张喜欢的目标风格图片并执行输出操作。
本发明还提供一种智能滤镜装置。参照图3所示,为本发明一实施例提供的智能滤镜装置的内部结构示意图。
在本实施例中,所述智能滤镜装置1可以是PC(Personal Computer,个人电脑),或者是智能手机、平板电脑、便携计算机等终端设备,也可以是一种服务器等。该智能滤镜装置1至少包括存储器11、处理器12,通信总线13,以及网络接口14。
其中,存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是智能滤镜装置1的内部存储单元,例如该智能滤镜装置1的硬盘。存储器11在另一些实施例中也可以是智能滤镜装置1的外部存储设备,例如智能滤镜装置1上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器11还可以既包括智能滤镜装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于智能滤镜装置1的应用软件及各类数据,例如智能滤镜程序01的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器11中存储的程序代码或处理数据,例如执行智能滤镜程序01等。
通信总线13用于实现这些组件之间的连接通信。
网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口),通常用于在该装置1与其他电子设备之间建立通信连接。
可选地,该装置1还可以包括用户接口,用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在智能滤镜装置1中处理的信息以及用于显示可视化的用户界面。
图3仅示出了具有组件11-14以及智能滤镜程序01的智能滤镜装置1,本领域技术人员可以理解的是,图1示出的结构并不构成对智能滤镜装置1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
在图3所示的装置1实施例中,存储器11中存储有智能滤镜程序01;处理器12执行存储器11中存储的智能滤镜程序01时实现如下步骤:
步骤一、获取原始图片数据集和风格图片数据集,并将所述原始图片数据集标定为训练集。
本发明较佳实施例从网络等渠道采集原始图片集和风格图片数据集。其中,所述原始图片集可以包括任意的图片,所述风格图片数据集包括,如春天万物复苏,秋天落叶苦黄、高山流水等场景的图片,并将原始图片集标定为训练集。
步骤二、将所述训练集输入至影像转换网络中,生成标签图片数据集。
本发明较佳实施例中,所构建的影像转换网络本质上是一个卷积神经网络,所述卷积神经网络是一个深度残差网络,不用任何的池化层。本发明所述卷积神经网络由五个残差块组成。本发明所述卷积神经网络中,除了最末的输出层以外,所有的非残差卷积层都跟着一个空间性的正则化操作和线性整流激活函数。所述正则化操作用来防止过拟合。所述影像转换网络最末的输出层使用缩放的Tanh函数确保输出图像的像素在[0,255]之间。
本发明较佳实施例所述的影像转换网络的网络结构如附图2所示。在该网络结构共包括11层网络,其中前3层网络均依次由卷积层与正则化操作组成,中间5层网络均依次由卷积层、线性整流激活函数及卷积层组成,后3层网络均依次由卷积层与正则化操作组成。
步骤三、将所述训练集、所述风格图片数据集和所述标签图片数据集输入至卷积神经网络模型中训练,使所述卷积神经网络模型根据损失函数自动调节自身的模型参数,直至所述模型参数满足阈值要求时退出训练。
本发明所述卷积神经网络模型包括两个部分:VGG-16网络结构和两种损失(loss)函数。所述VGG-16模型的每一层包括多个卷积层和池化层,负责对图像的内容和风格进行分段抽象。整个VGG-16模型都使用同样大小的卷积核尺寸(3*3)和最大池化核(2*2),通过不断加深网络结构来提升性能。在本发明较佳实施例中,所述卷积神经网络模型使用VGG16深度学习预训练模型,无需自己训练神经网络权重参数,使用VGG-16已经训练好的模型来得到不同尺度的特征。
进一步地,本发明较佳实施例根据VGG-16已经训练好的特征得到的不同尺度的特征输入至两种损失函数。本发明较佳实施例中,所述两种损失函数分别为内容损失函数和风格损失函数/>中,其中所述内容损失函数和风格损失函数计算公式分别如下:
y,ys分别为所述训练集、所述标签图片数据集和所述风格图片数据集,Cj、Hj、Wj是将所述训练集中的图像特征分为三个维度进行表示,/>为格拉姆矩阵,用来描述图像特征、图像纹理的相似程度,φj为半正定矩阵向量。
本发明较佳实施例采用内容损失函数和风格损失函数进行风格和内容对比,从而进行前项反馈训练神经网络,提高了模型的准确率,当内容损失函数最小时,影像转换网络能让输出非常接近目标图像y,但并没有做到完全的匹配。
进一步的,本发明较佳实施例在所述卷积神经网络模型根据损失函数自动调节自身的模型参数,直至满足阈值要求退出训练包括:
其中λc为内容损失函数偏置系数,λs为风格损失函数偏置系数;
当所述最终损失函数L在训练过程的输出值小于指定阈值时,所述卷积神经网络退出训练。
步骤四、接收用户输入的图片数据,利用所述影像转换网络和卷积神经网络模型,生成目标风格图片数据。
本发明较佳实施例将所接收的图片数据进行预处理操作后,输入到训练之后的卷积神经网络模型中之后,可以生成一张目标风格图片数据或者多张不同风格的目标风格图片集,用户可以在所述目标风格图片集内选择一张喜欢的目标风格图片并执行输出操作。
可选地,在其他实施例中,智能滤镜程序还可以被分割为一个或者多个模块,一个或者多个模块被存储于存储器11中,并由一个或多个处理器(本实施例为处理器12)所执行以完成本发明,本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段,用于描述智能滤镜程序在智能滤镜装置中的执行过程。
例如,参照图4所示,为本发明智能滤镜装置一实施例中的智能滤镜程序的程序模块示意图,该实施例中,所述智能滤镜程序可以被分割为图片数据集接收模块10、影像转换网络模块20、卷积神经网络分析模块30以及目标图片生成模块40,示例性地:
所述图片接收模块10用于:获取原始图片数据集和风格图片数据集,并将所述原始图片数据集标定为训练集;将所述训练集输入至影像转换网络中,生成标签图片数据集。
所述影像转换网络模块20用于:将所述训练集、所述风格图片数据集和所述标签图片数据集输入至卷积神经网络模型中训练,使所述卷积神经网络模型根据损失函数自动调节自身的模型参数,直至所述模型参数满足阈值要求时退出训练。
所述卷积神经网络分析模块30用于:将所述训练集、所述风格图片数据集和所述标签图片数据集输入至卷积神经网络模型中训练,使所述卷积神经网络模型根据损失函数自动调节自身的模型参数,直至所述模型参数满足阈值要求时退出训练。
所述目标图片生成模块40用于:接收用户输入的图片数据,利用所述影像转换网络和卷积神经网络模型,生成目标风格图片数据。
上述图片数据集接收模块10、影像转换网络模块20、卷积神经网络分析模块30以及目标图片生成模块40等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同,在此不再赘述。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有智能滤镜程序,所述智能滤镜程序可被一个或多个处理器执行,以实现如下操作:
获取原始图片数据集和风格图片数据集,并将所述原始图片数据集标定为训练集;将所述训练集输入至影像转换网络中,生成标签图片数据集。
将所述训练集、所述风格图片数据集和所述标签图片数据集输入至卷积神经网络模型中训练,使所述卷积神经网络模型根据损失函数自动调节自身的模型参数,直至所述模型参数满足阈值要求时退出训练。
将所述训练集、所述风格图片数据集和所述标签图片数据集输入至卷积神经网络模型中训练,使所述卷积神经网络模型根据损失函数自动调节自身的模型参数,直至所述模型参数满足阈值要求时退出训练。
接收用户输入的图片数据,利用所述影像转换网络和卷积神经网络模型,生成目标风格图片数据。
本发明计算机可读存储介质具体实施方式与上述智能滤镜装置和方法各实施例基本相同,在此不作累述。
需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (3)
1.一种智能滤镜方法,其特征在于,所述方法包括:
获取原始图片数据集和风格图片数据集,并将所述原始图片数据集标定为训练集;
将所述训练集输入至影像转换网络中,生成标签图片数据集;
将所述训练集、所述风格图片数据集和所述标签图片数据集输入至卷积神经网络模型中训练,使所述卷积神经网络模型根据损失函数自动调节自身的模型参数,直至所述模型参数满足阈值要求时退出训练;
接收用户输入的图片数据,利用所述影像转换网络和卷积神经网络模型,生成目标风格图片数据;
其中,所述影像转换网络包括11层网络,其中:前3层网络均依次由卷积层与正则化操作组成,中间5层网络均依次由卷积层、线性整流激活函数及卷积层组成,后3层网络均依次由卷积层与正则化操作组成;
所述卷积神经网络模型包括VGG16模型和两种损失函数;
所述VGG16模型包含16层网络,其中的每层网络均由卷积层和池化层组成;
所述卷积神经网络模型根据损失函数自动调节自身的模型参数,直至满足阈值要求退出训练包括:所述卷积神经网络将所述训练集、所述风格图片数据集作为所述内容损失函数的输入参数,将所述训练集、所述标签图片数据集作为所述风格损失函数的输入参数;所述卷积神经网络将所述内容损失函数/>与风格损失函数的输出作为最终损失函数L的输入,所述最终损失函数L为:
其中λc为内容损失函数偏置系数,λs为风格损失函数偏置系数;
当所述最终损失函数L在训练过程的输出值小于指定阈值时,所述卷积神经网络退出训练;
接收用户输入的图片数据,利用所述影像转换网络和卷积神经网络模型,生成目标风格图片数据,包括:将接收的图片数据输入至所述影像转换网络,生成对应的目标标签图片数据集;将所述接收的图片数据、所述目标标签图片数据集及所述风格图片数据集输入至卷积神经网络模型中,所述卷积神经网络模型根据所述满足阈值要求的模型参数和所述内容损失函数与风格损失函数,生成目标风格图片数据集。
2.一种智能滤镜装置,其特征在于,所述装置包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的智能滤镜程序,所述智能滤镜程序被所述处理器执行时实现如下步骤:
获取原始图片数据集和风格图片数据集,并将所述原始图片数据集标定为训练集;
将所述训练集输入至影像转换网络中,生成标签图片数据集;
将所述训练集、所述风格图片数据集和所述标签图片数据集输入至卷积神经网络模型中训练,使所述卷积神经网络模型根据损失函数自动调节自身的模型参数,直至所述模型参数满足阈值要求时退出训练;
接收用户输入的图片数据,利用所述影像转换网络和卷积神经网络模型,生成目标风格图片数据;
其中,所述影像转换网络包括11层网络,其中:前3层网络均依次由卷积层与正则化操作组成,中间5层网络均依次由卷积层、线性整流激活函数及卷积层组成,后3层网络均依次由卷积层与正则化操作组成;
所述卷积神经网络模型包括VGG16模型和两种损失函数;
所述VGG16模型包含16层网络,其中的每层网络均由卷积层和池化层组成;
所述卷积神经网络模型根据损失函数自动调节自身的模型参数,直至满足阈值要求退出训练包括:所述卷积神经网络将所述训练集、所述风格图片数据集作为所述内容损失函数的输入参数,将所述训练集、所述标签图片数据集作为所述风格损失函数的输入参数;所述卷积神经网络将所述内容损失函数/>与风格损失函数的输出作为最终损失函数L的输入,所述最终损失函数L为:
其中λc为内容损失函数偏置系数,λs为风格损失函数偏置系数;
当所述最终损失函数L在训练过程的输出值小于指定阈值时,所述卷积神经网络退出训练;
接收用户输入的图片数据,利用所述影像转换网络和卷积神经网络模型,生成目标风格图片数据,包括:将接收的图片数据输入至所述影像转换网络,生成对应的目标标签图片数据集;将所述接收的图片数据、所述目标标签图片数据集及所述风格图片数据集输入至卷积神经网络模型中,所述卷积神经网络模型根据所述满足阈值要求的模型参数和所述内容损失函数与风格损失函数,生成目标风格图片数据集。
3.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有智能滤镜程序,所述智能滤镜程序可被一个或者多个处理器执行,以实现如权利要求1所述的智能滤镜方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910480677.2A CN110335206B (zh) | 2019-05-31 | 2019-05-31 | 智能滤镜方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910480677.2A CN110335206B (zh) | 2019-05-31 | 2019-05-31 | 智能滤镜方法、装置及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110335206A CN110335206A (zh) | 2019-10-15 |
CN110335206B true CN110335206B (zh) | 2023-06-09 |
Family
ID=68140223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910480677.2A Active CN110335206B (zh) | 2019-05-31 | 2019-05-31 | 智能滤镜方法、装置及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110335206B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111475668B (zh) * | 2020-04-14 | 2023-03-17 | 华南理工大学 | 针对复杂关系描述的图片视觉推理方法、设备及存储介质 |
CN111898619A (zh) * | 2020-07-13 | 2020-11-06 | 上海眼控科技股份有限公司 | 图片特征提取方法、装置、计算机设备和可读存储介质 |
CN111985544A (zh) * | 2020-08-07 | 2020-11-24 | 中移(杭州)信息技术有限公司 | 分形图形风格融合方法、装置、电子设备及存储介质 |
CN113111791B (zh) * | 2021-04-16 | 2024-04-09 | 深圳市格灵人工智能与机器人研究院有限公司 | 图像滤镜转换网络训练方法、计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107609598A (zh) * | 2017-09-27 | 2018-01-19 | 武汉斗鱼网络科技有限公司 | 图像鉴别模型训练方法、装置及可读存储介质 |
CN107705242A (zh) * | 2017-07-20 | 2018-02-16 | 广东工业大学 | 一种结合深度学习与深度感知的图像风格化迁移方法 |
CN108537776A (zh) * | 2018-03-12 | 2018-09-14 | 维沃移动通信有限公司 | 一种图像风格迁移模型生成方法及移动终端 |
CN109426858A (zh) * | 2017-08-29 | 2019-03-05 | 京东方科技集团股份有限公司 | 神经网络、训练方法、图像处理方法及图像处理装置 |
CN109766895A (zh) * | 2019-01-03 | 2019-05-17 | 京东方科技集团股份有限公司 | 用于图像风格迁移的卷积神经网络的训练方法和图像风格迁移方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106847294B (zh) * | 2017-01-17 | 2018-11-30 | 百度在线网络技术(北京)有限公司 | 基于人工智能的音频处理方法和装置 |
-
2019
- 2019-05-31 CN CN201910480677.2A patent/CN110335206B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107705242A (zh) * | 2017-07-20 | 2018-02-16 | 广东工业大学 | 一种结合深度学习与深度感知的图像风格化迁移方法 |
CN109426858A (zh) * | 2017-08-29 | 2019-03-05 | 京东方科技集团股份有限公司 | 神经网络、训练方法、图像处理方法及图像处理装置 |
CN107609598A (zh) * | 2017-09-27 | 2018-01-19 | 武汉斗鱼网络科技有限公司 | 图像鉴别模型训练方法、装置及可读存储介质 |
CN108537776A (zh) * | 2018-03-12 | 2018-09-14 | 维沃移动通信有限公司 | 一种图像风格迁移模型生成方法及移动终端 |
CN109766895A (zh) * | 2019-01-03 | 2019-05-17 | 京东方科技集团股份有限公司 | 用于图像风格迁移的卷积神经网络的训练方法和图像风格迁移方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110335206A (zh) | 2019-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110335206B (zh) | 智能滤镜方法、装置及计算机可读存储介质 | |
CN110516544B (zh) | 基于深度学习的人脸识别方法、装置及计算机可读存储介质 | |
CN109711481B (zh) | 用于画作多标签识别的神经网络、相关方法、介质和设备 | |
CN109471945B (zh) | 基于深度学习的医疗文本分类方法、装置及存储介质 | |
CN107808129B (zh) | 一种基于单个卷积神经网络的面部多特征点定位方法 | |
CN110413773B (zh) | 智能文本分类方法、装置及计算机可读存储介质 | |
CN110738203B (zh) | 字段结构化输出方法、装置及计算机可读存储介质 | |
CN107679513B (zh) | 图像处理方法、装置及服务器 | |
CN111414353A (zh) | 智能化的缺失数据填充方法、装置及计算机可读存储介质 | |
CN113255557B (zh) | 一种基于深度学习的视频人群情绪分析方法及*** | |
CN110532431B (zh) | 短视频关键词提取方法、装置及存储介质 | |
US11599727B2 (en) | Intelligent text cleaning method and apparatus, and computer-readable storage medium | |
CN111738344A (zh) | 一种基于多尺度融合的快速目标检测方法 | |
CN110399812B (zh) | 人脸特征智能提取方法、装置及计算机可读存储介质 | |
CN113191338B (zh) | 一种行人重识别方法、装置、设备及可读存储介质 | |
CN111797589A (zh) | 一种文本处理网络、神经网络训练的方法以及相关设备 | |
CN112464833A (zh) | 基于光流的动态手势识别方法、装置、设备及存储介质 | |
CN110866042B (zh) | 表格智能查询方法、装置及计算机可读存储介质 | |
CN111666873A (zh) | 一种基于多任务深度学习网络的训练方法、识别方法及*** | |
CN111935487B (zh) | 一种基于视频流检测的图像压缩方法及*** | |
CN110705547B (zh) | 图像内文字识别方法、装置及计算机可读存储介质 | |
CN115050045A (zh) | 一种基于Vision MLP的行人重识别方法 | |
US20230072445A1 (en) | Self-supervised video representation learning by exploring spatiotemporal continuity | |
CN114612681A (zh) | 基于gcn的多标签图像分类方法、模型构建方法及装置 | |
CN112668509B (zh) | 社交关系识别模型的训练方法、识别方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |