CN111652830A - 图像处理方法及装置、计算机可读介质及终端设备 - Google Patents
图像处理方法及装置、计算机可读介质及终端设备 Download PDFInfo
- Publication number
- CN111652830A CN111652830A CN202010601380.XA CN202010601380A CN111652830A CN 111652830 A CN111652830 A CN 111652830A CN 202010601380 A CN202010601380 A CN 202010601380A CN 111652830 A CN111652830 A CN 111652830A
- Authority
- CN
- China
- Prior art keywords
- image
- matrix
- processing
- style migration
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 239000011159 matrix material Substances 0.000 claims abstract description 208
- 230000005012 migration Effects 0.000 claims abstract description 108
- 238000013508 migration Methods 0.000 claims abstract description 108
- 238000012545 processing Methods 0.000 claims abstract description 98
- 230000009466 transformation Effects 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000007499 fusion processing Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 67
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000007781 pre-processing Methods 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 15
- 230000007704 transition Effects 0.000 claims description 12
- 238000012935 Averaging Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000003709 image segmentation Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 230000002452 interceptive effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本公开涉及多媒体数据处理技术领域，具体涉及一种图像处理方法、一种图像处理装置、一种计算机可读介质以及一种终端设备。所述方法包括：获取原始图像，以及自定义风格迁移配置参数；其中，自定义风格迁移配置参数包括原始图像的待处理区域，以及所述待处理区域对应的参考图像；根据原始图像的特征矩阵和所述参考图像的特征矩阵计算对应的特征转换矩阵；基于所述原始图像特征矩阵的第一均值处理参数、所述特征转换矩阵以及所述参考图像特征矩阵的第二均值处理参数获取风格迁移图像；对所述风格迁移图像与所述原始图像进行图像融合处理，以获取符合所述自定义风格迁移配置数据的目标图像。本方法能自定义参考图像对原始图像进行自定义的风格变换。
Description
技术领域
本公开涉及多媒体数据处理技术领域，具体涉及一种图像处理方法、一种图像处理装置、一种计算机可读介质以及一种终端设备。
背景技术
随着图像处理技术的不断发展，在智能终端设备上，用户可以利用应用程序对图像或视频进行多种风格、色彩或者内容的变换。例如，同时为图片施加滤镜的方式。
现有技术在对图像进行滤镜处理时，一般采用像素映射的模式，通过预设映射表改变像素来实现对图像施加不同的滤镜效果。并且，大多数算法对图像施加一种滤镜效果，无法区分前景和背景。用户也无法对图像中指定的内容进行图像风格的变换。并且，由于现有算法比较复杂，对图像的处理速度较慢，耗时较长。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开提供一种图像处理方法、一种图像处理装置、一种计算机可读介质以及一种终端设备，能够根据参考图像对原始图像进行自定义的风格变换。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的第一方面，提供一种图像处理方法，包括：
获取原始图像，以及自定义风格迁移配置参数；其中，所述自定义风格迁移配置参数包括所述原始图像的待处理区域，以及所述待处理区域对应的参考图像；
根据所述原始图像的特征矩阵和所述参考图像的特征矩阵计算对应的特征转换矩阵；
基于所述原始图像特征矩阵的第一均值处理参数、所述特征转换矩阵以及所述参考图像特征矩阵的第二均值处理参数获取风格迁移图像；
对所述风格迁移图像与所述原始图像进行图像融合处理，以获取符合所述自定义风格迁移配置数据的目标图像。
根据本公开的第二方面，提供一种图像处理装置，包括：
图形获取模块，用于获取原始图像，以及自定义风格迁移配置参数；其中，所述自定义风格迁移配置参数包括所述原始图像的待处理区域，以及所述待处理区域对应的参考图像；
特征转换矩阵计算模块，用于根据所述原始图像的特征矩阵和所述参考图像的特征矩阵计算对应的特征转换矩阵；
风格迁移图像获取模块，用于基于所述原始图像特征矩阵的第一均值处理参数、所述特征转换矩阵以及所述参考图像特征矩阵的第二均值处理参数获取风格迁移图像；
图像融合处理模块，用于对所述风格迁移图像与所述原始图像进行图像融合处理，以获取符合所述自定义风格迁移配置数据的目标图像。
根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像处理方法。
根据本公开的第四方面，提供一种终端设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的图像处理方法。
本公开的一种实施例所提供的图像处理方法，通过预先为原始图像自定义参考图像，从而可以根据原始图像和参考图像构建特征转换矩阵，再利用原始图像、参考图像和特征转换矩阵来进行计算获取风格迁移图像，再将风格迁移图像和原始图像进行融合来获取满足自定义风格迁移配置的目标图像，从而实现将原始图像中的待处理区域转换为参考图像的风格。能够对原始图像中的不同区域图像同时转换为不同的风格。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出本公开示例性实施例中一种图像处理方法的流程示意图；
图2示意性示出本公开示例性实施例中一种原始图像的示意图；
图3示意性示出本公开示例性实施例中一种原始图像对应的主体模板的示意图；
图4示意性示出本公开示例性实施例中一种原始图像对应的背景模板的示意图；
图5示意性示出本公开示例性实施例中一种参考图像的示意图；
图6示意性示出本公开示例性实施例中一种原始图像对应的风格迁移图像的示意图；
图7示意性示出本公开示例性实施例中一种融合后图像的示意图；
图8示意性示出本公开示例性实施例中一种风格迁移模型的训练方法的示意图；
图9示意性示出本公开示例性实施例中一种图像处理装置的组成示意图；
图10示意性示出本公开示例性实施例中一种终端设备的电子设备结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
现有智能终端设备中，例如手机和平板电脑，为了提升用户拍照体验，增加图像的多样化，一般可以对图像添加滤镜效果。一般来说，可以通过对图像的目标区域和背景区域施加不同的色彩处理方式，使得目标区域的亮度或色度高于背景区域的亮度和色度，使得目标区域对应的主题更加显著地突出显示，实现终端用户拍照或拍摄视频时具有电影特效。但是，大多数的方案并不能支持用户对滤镜效果的自定义处理。并且，一张图像在处理时也仅能使用一种滤镜效果。
针对上述的现有技术的缺点和不足，本示例实施方式中提供了一种图像处理方法。参考图1中所示，上述的图像处理方法可以包括以下步骤：
S11，获取原始图像，以及自定义风格迁移配置参数；其中，所述自定义风格迁移配置参数包括所述原始图像的待处理区域，以及所述待处理区域对应的参考图像；
S12，根据所述原始图像的特征矩阵和所述参考图像的特征矩阵计算对应的特征转换矩阵；
S13，基于所述原始图像特征矩阵的第一均值处理参数、所述特征转换矩阵以及所述参考图像特征矩阵的第二均值处理参数获取风格迁移图像；
S14，对所述风格迁移图像与所述原始图像进行图像融合处理，以获取符合所述自定义风格迁移配置数据的目标图像。
本示例实施方式所提供的图像处理方法中，一方面，用户可以通过预先配置参考图像来自定义待转换的风格，并且可以配置参考图像对应的原始图像中的待处理区域；另一方面，通过利用原始图像、参考图像和特征转换矩阵来进行计算获取风格迁移图像，再将风格迁移图像和原始图像进行融合来获取满足自定义风格迁移配置的目标图像，从而实现将原始图像中的待处理区域转换为参考图像的风格。并能够实现对原始图像中的不同区域同时转换为不同的风格。
下面，将结合附图及实施例对本示例实施方式中的图像处理方法的各个步骤进行更详细的说明。
在步骤S11中，获取原始图像，以及自定义风格迁移配置参数；其中，所述自定义风格迁移配置参数包括所述原始图像的待处理区域，以及所述待处理区域对应的参考图像；
本示例实施方式中，上述的图像处理方法可以应用于手机、平板电脑或者笔记本电脑等智能终端设备。智能终端设备可以配置有成像单元，可以用于输出相机预览图像或者视频拍摄的图像流(一定帧率的图像流)至处理器。智能终端设备还可以胚子有存储器、处理器。其中，存储器可以用于存储已拍摄的图像或视频，可被处理器获取并处理；处理器通常可以包含CPU、GPU、DSP中的一种或者多种处理器，上述的图像处理方法可以运行在GPU或DSP处理器上。智能终端设备还可以配置有输入输出设备，包括不限于显示器、触摸屏等，用户通过输入输出设备进行交互，包括为原始图像配置风格迁移配置参数，以及在交互界面显示图像等等。
举例来说，可以在智能终端设备提供一交互界面，在该交互界面上用户可以输入待处理的原始图像，以及对应的参考图像。
具体来说，上述的原始图像可以是来自终端设备成像单元的实时的相机预览图像、或者来自存储器的已拍摄图像、或者成像单元的视频拍摄时的一定帧率的图像流、或者来自存储器的已拍摄的视频。在输入为视频时，可以对视频进行分割处理，从而得到连续的多帧图像，作为原始图像。
终端在获取用户输入的原始图像后，便可以调用分割处理模型对原始进行进行图像分割处理，得到对应的前景图像和背景图像，以及前景图像对应的主体模板和背景图像对应的背景模板。并自动将前景图像及前景模板配置为待处理区域，将参考图像配置为前景图像区域的风格迁移参考图像。或者，用户可以自定义前景图像或背景图像作为待处理区域，并配置对应的参考图像。
举例来说，可以采用基于深度神经网络的图像分割模型对原始图像进行分割。若图像分割模型采用人像主体检测与分割模型，则可以输出原始图像对应的人像主体模板和唯一的背景模板。若图像分割模型采用主体检测与分割模型，则可以输出唯一主体模板和唯一的背景模板。若图像分割模型采用语义分割模型，则可以输出多个语义主体模版和唯一的背景模板。例如，参考图2所示的原始图像，可以对其进行图像分割处理，以得到对应的图3和图4所示的主体模板和背景模板。其中，模板格式可以为灰度图，灰度图的尺寸可以与输入图像保持一致。若为对应区域内的像素值为255，否则像素值为0。具体的，若为主体模板，则主体区域内的像素值为255，其余像素值为0；若为背景模板，则背景区域内的像素值为255，其余像素值为0。
在步骤S12中，根据所述原始图像的特征矩阵和所述参考图像的特征矩阵计算对应的特征转换矩阵。
本示例实施方式中，可以预先训练一风格迁移模型，用于对图像参考自定义的参考图像进行风格迁移。在获取原始图像及对应的参考图像后，便可以将其作为风格迁移模型的输入参数。首先，可以计算对应的特征转换矩阵。具体来说，可以包括：
步骤S21，对所述原始图像进行编码并获取对应的第一特征矩阵，对所述第一特征矩阵进行卷积处理以获取第一卷积结果，对所述第一卷积结果计算通道维度的第一协方差矩阵，对所述第一协方差矩阵进行全连接处理，以获取第一预处理矩阵；以及
步骤S22，对所述参考图像进行编码并获取对应的第二特征矩阵，对所述第二特征矩阵进行卷积处理以获取第二卷积结果，对所述第二卷积结果计算通道维度的第二协方差矩阵，对所述第二协方差矩阵进行全连接处理，以获取第二预处理矩阵；
步骤S23，对所述第一预处理矩阵和第二预处理矩阵相乘，以获取所述特征转换矩阵。
具体来说，可以利用编码器网络模型对原始图像和参考图像进行编码而获取对应的特征矩阵。举例来说，编码器网络可以采用VGG网络的浅层部分，网络层数到达relu3_1，网络结构为全卷积层结构。编码器网络模型可以预先利用公开数据集进行训练，并固定模型参数。具体的，可以将原始图像和参考图像作为编码器网络模型的输入，其输出为relu3_1特征层输出的的特征矩阵，维度为(W,H,C)；其中，W为特征层通道宽度、H为特征层通道高度、C为通道数，且W、H与输入图像的尺寸有关。对于第一特征矩阵和第二特征矩阵，分别通过3层的卷积层网络进行卷积处理；卷积结果再计算通道维度的协方差矩阵，维度为(C,C)；此时C与输入图像的尺寸无关。之后，再分别通过层数为1的全连接层，将全连接层输出的维度为(C,C)的原始图像对应的第一预处理矩阵和参考图像对应的第二预处理矩阵进行矩阵相乘，最终得到当前原始图像和参考图像对应的特征转换矩阵，维度为(C,C)。
另外，上述的步骤S21和步骤S22可以同步进行，从而可以同时获取原始图像对应的第一预处理矩阵和参考图像对应的第二预处理矩阵。
基于上述内容，在本公开的其他示例性实施例中，在计算特征转换矩阵时，对于编码器输出的特征矩阵，还可以先对对特征矩阵进行下采样，实现对特征矩阵的降维处理。从而降低特征转换矩阵的维度(C,C)，即降低C的值，使得特征转换矩阵计算过程中相关的卷积层、全连接层的计算量进一步降低，提升特征转换矩阵的计算效率。
基于上述内容，在本公开的其他示例性实施例中，对于各参考图像来说，可以将对应的第二预处理矩阵进行存储，并配置对应的标识信息。当再次使用该图像作为参考图像时，可以根据标识信息从数据库中直接调用对应的第二预处理矩阵进行使用来计算当前的特征转换矩阵，避免重复计算，提升运算效率。
在步骤S13中，基于所述原始图像特征矩阵的第一均值处理参数、所述特征转换矩阵以及所述参考图像特征矩阵的第二均值处理参数获取风格迁移图像。
本示例实施方式中，具体来说，作为解码器，在获取特征转换矩阵后，便可以将所述特征转换矩阵与对所述原始图像特征矩阵去均值处理后的第一均值处理参数的乘积，与所述参考图像特征矩阵取均值操作后的第二均值处理参数进行求和，获取原始图像对应的所述风格迁移图像。此时，是将原始图像的全部内容均进行了风格迁移，而得到的风格迁移图像；具体的，公式可以包括：
F_dst＝T*F_ori_relu3_1_zero_mean+mean(F_style_relu3_1)
其中，特征矩阵转换模块输出记为F_dst；原始图像对应的特征矩阵记为F_ori_relu3_1，且其去均值后的特征矩阵记为F_ori_relu3_1_zero_mean，维度处理为(C,W*H)；参考图像对应的特征矩阵记为F_style_relu3_1，维度处理为(C,W*H)；mean(F_style_relu3_1)表示对F_style_relu3_1的第二个维度(W*H)参数取均值操作，取均值操作后的特征矩阵维度处理为(C)。特征转换矩阵记为T，维度为(C*C)。
在步骤S14中，对所述风格迁移图像与所述原始图像进行图像融合处理，以获取符合所述自定义风格迁移配置数据的目标图像。
本示例实施方式中，在获取风格迁移图像后，便可以根据选定的待处理区域的模板信息，将风格迁移后的图像和原图进行融合，实现选定区域的风格化且非选定区域保持原图效果。
例如，对于图2所示的原始图像，选择的对应的参考图像如图5所示。利用上述步骤计算后获取的原始图像对应的风格迁移图像如图6所示。然后，根据原始图像和背景模板确定背景区域，根据风格迁移图像和前景模板可以确定风格迁移后的前景区域，再将变换后的前景区域和背景区域进行融合处理，从而选定的待处理区域的图像风格变换，以及非选定区域保持原图效果，得到目标图像，如图7所示。
基于上述内容，在本公开的其他示例性实施例中，对于上述的步骤S12，在计算特征转换矩阵时，也可以将待转换的前景图像或背景图像及对应的参考图像作为输入。即，在待转换区域为原始图像的前景图像区域时，可以对图像分割处理后获取的前景区域，和参考图像执行上述的编码、卷积、计算通道数维度的协方差矩阵、全连接和矩阵相乘，从而可以输出针对待迁移风格的前景图像和参考图像的特征转换矩阵。从而使得特征转换矩阵可以直接应用于前景图像；使得特征转换矩阵可以更具有针对性，并提升特征转换矩阵的性能。基于此，在上述的步骤S13中，在计算风格迁移图像时，可以直接利用该特征转换矩阵，以及前景图像，从而获取仅包含风格转换后的前景内容的风格迁移图像。进而，在上述的步骤S14中，可以节约计算量，提升图像处理的速度。
此外，在本公开的其他示例性实施例中，对于原始图像中的不同区域，可以选择不同的参考图像，同时进行不同风格的转换。具体来说，在终端侧来说，上述的方法还可以包括：
步骤S21，接收用户输入的所述原始图像，以及一个或多个所述参考图像；
步骤S22，对所述原始图像进行分割处理，并展示分割处理后的主体模板和背景模板；
步骤S23，响应于用户的选择操作，为所述主体模板配置对应的第一参考图像和/或为所述背景模板配置对应的第二参考图像；
步骤S24，基于所述主体模板和所述第一参考图像建立第一图像处理任务以获取第一风格迁移图像；和/或。
基于所述背景模板和所述第二参考图像建立第二图像处理任务以获取第二风格迁移图像。以及
步骤S25，将所述第一风格迁移图像、所述第二风格迁移图像与所述原始图像进行图像融合处理，以获取符合所述自定义风格迁移配置数据的目标图像。
具体来说，用户在输入原始图像及多个参考图像时，交互界面中首先展示对原始图像的分割处理结果。例如，展示前景区域图像及前景模板，背景区域图像及背景模板。或者，当原始图像中包括多个人像或者物品时，可以分别将各人像或物品作为多个前景图像。
在交互界面中，可以展示分割处理后的各个前景图像以及背景图像，并展示多个用户输入的参考图像。此时，用户可以在交互界面中通过点击选中的操作方式，为各个前景图像配置对应的参考图像。并且，分别为各前景图像和背景图像创建对应的图像处理任务。
例如，对于图2所示的原始图像，当分割为前景图像和背景图像，且分别为前景图像和背景图像分别配置了不同的参考图像时，便可以建立两个图像处理任务；该两个图像处理任务可以同时执行，从而获取对应的不同的风格迁移图像。最终，可以基于原始图像对两个风格迁移图像进行图像融合处理，进而得到前景和背景均进行了不同转换的目标图像。
另外，本示例实施方式中，基于上述内容，还可以训练一风格迁移模型，用于执行上述的图像处理方法中步骤S12-步骤S13的内容。具体来说，参考图8所示，可以包括以下步骤：
步骤S31，获取训练样本图像以及对应的训练参考图像；
步骤S32，基于所述训练样本图像的特征矩阵和所述训练参考图像的特征矩阵计算对应的训练特征转换矩阵；
步骤S33，基于所述训练样本图像特征矩阵的第一均值处理参数、所述训练特征转换矩阵以及所述训练参考图像特征矩阵的第二均值处理参数获取训练风格迁移图像；
步骤S34，对所述训练风格迁移图像、所述训练参考图像进行编码以获取对应的格拉姆矩阵，并计算所述格拉姆矩阵的欧几里得距离以获取风格损失函数；
步骤S35，对所述训练风格迁移图像、所述训练样本图像进行编码以获取对应的特征矩阵，并计算所述特征矩阵的欧几里得距离以获取内容损失函数；
步骤S36，基于上述风格损失函数和所述内容损失函数确定目标损失函数，并根据所述目标损失函数训练所述风格迁移模型。
具体来说，风格迁移模型可以包括对于特征转换矩阵计算网络的训练和风格迁移图像计算网络的训练。
对于训练样本图像，可以对其进行图像分割获取对应的前景图像和背景图形，以及对应的前景模板和背景模板。并随机建立训练样本图像和训练参考图像的对应关系，作为一对输入参数。为了提高模型对不同风格迁移的适应性，对于一个训练样本图像，可以设置多个训练参考图像。各对图像，可以首先利用编码器网络计算对应的特征矩阵，用于训练特征转换矩阵模型。编码器可以预先利用公开数据集训练，并固定模型参数，不参与风格迁移模型参数的训练过程。编码器网络可以采用VGG网络的浅层部分，网络层数到达relu3_1，网络结构为全卷积层结构。
特征转换矩阵计算网络可以是采用基于深度神经网络模型的结构。分别输入训练样本图像和训练参考图像经过编码器网络处理输出特征矩阵；即relu3_1特征层输出的特征矩阵，该特征层的维度为(W,H,C)，其中W为特征层通道宽度、H为特征层通道高度、C为通道数，其中W、H与输入图像的尺寸有关。再分别通过3层的卷积层网络，再计算通道维度的协方差矩阵，维度为(C,C)，此时C为输入图像的尺寸无关。再分别通过层数为1的全连接层，将全连接层输出的维度为(C,C)的矩阵进行矩阵相乘，得到训练特征转换矩阵，维度为(C,C)。实现对特征转矩阵计算的训练。
基于得到的训练特征转换矩阵，利用下述的公式获取对应的训练风格迁移图像。
F_dst＝T*F_ori_relu3_1_zero_mean+mean(F_style_relu3_1)
其中，在模型训练时，特征矩阵转换模块输出记为F_dst；训练样本图像对应的特征矩阵记为F_ori_relu3_1，且其去均值后的特征层记为F_ori_relu3_1_zero_mean，维度处理为(C,W*H)；训练参考图像对应的特征矩阵记为F_style_relu3_1，维度处理为(C,W*H)。；mean(F_style_relu3_1)表示对F_style_relu3_1的特征矩阵的第二维(W*H)参数取均值操作，取均值操作后得到维度为(C)的特征矩阵；特征转换矩阵记为T，维度为(C*C)。作为解码器网络，可以采用与编码器网络对称的网络结构。
模型的损失函数可以包括内容损失和风格损失两部分。其中，对于风格损失部分，可以利用于训练风格迁移图像、训练参考图像利用第二编码器进行编码以获取对应的格拉姆矩阵，并计算所述格拉姆矩阵的欧几里得距离以获取风格损失函数。具体来说，第二编码器可以基于VGG网络，并预先使用Imagenet数据集进行训练，并输出VGG网络的relu4_1特征层。
将训练风格迁移图像、训练样本图像输入第二编码器，输出relu4_1特征层对应的特征矩阵。计算两个特征矩阵的Gram(格拉姆)矩阵的欧几里德距离，代表风格损失。以及，计算两个特征矩阵的欧几里得距离，代表内容损失。并按预设的权重系数，将以上两个距离乘以预设的权重并相加，得到最终损失函数。并利用该损失函数正向优化风格迁移模型。
本公开实施例所提供的方法，通过对原始图像进行分割，将其中的主体和背景区域进行划分。通过使用用户自定义的参考图像，可以利用其对原始图像中主体区域的前景图像或背景区域的背景图像进行风格迁移处理；或者，通过配置不同的参考图像，对两个区域及新型不同风格的风格迁移处理。在迁移风格时，可以保留图像内容不变，包括图像内容结构、区域边缘等。使得根据区域分割模板，将风格迁移处理后的图像与原图像进行融合，获得比传统滤镜处理更高级的效果。由于支持用户自定义参考图像，用户可通过配置不同风格的参考图像对转换后的图像风格进行定义，比传统滤镜处理的自由度更大。由于模型设计的深度神经网络模型的层数少，总体运算量少，运算速度快，能够支持高帧率图像流处理。
需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
进一步的，参考图9所示，本示例的实施方式中还提供一种图像处理装置90，包括：图形获取模块901、特征转换矩阵计算模块902、风格迁移图像获取模块903和图像融合处理模块904。其中，
所述图形获取模块901可以用于获取原始图像，以及自定义风格迁移配置参数；其中，所述自定义风格迁移配置参数包括所述原始图像的待处理区域，以及所述待处理区域对应的参考图像。
所述特征转换矩阵计算模块902可以用于根据所述原始图像的特征矩阵和所述参考图像的特征矩阵计算对应的特征转换矩阵。
所述风格迁移图像获取模块903可以用于基于所述原始图像特征矩阵的第一均值处理参数、所述特征转换矩阵以及所述参考图像特征矩阵的第二均值处理参数获取风格迁移图像。
所述图像融合处理模块904可以用于对所述风格迁移图像与所述原始图像进行图像融合处理，以获取符合所述自定义风格迁移配置数据的目标图像。
在本公开的一种示例中，所述特征转换矩阵计算模块902可以包括：第一计算单元、第二计算单元和第三计算单元(图中未示出)。其中，
所述第一计算单元可以用于对所述原始图像进行编码并获取对应的第一特征矩阵，对所述第一特征矩阵进行卷积处理以获取第一卷积结果，对所述第一卷积结果计算通道维度的第一协方差矩阵，对所述第一协方差矩阵进行全连接处理，以获取第一预处理矩阵；以及
所述第二计算单元可以用于对所述参考图像进行编码并获取对应的第二特征矩阵，对所述第二特征矩阵进行卷积处理以获取第二卷积结果，对所述第二卷积结果计算通道维度的第二协方差矩阵，对所述第二协方差矩阵进行全连接处理，以获取第二预处理矩阵；
所述第三计算单元可以用于对所述第一预处理矩阵和第二预处理矩阵相乘，以获取所述特征转换矩阵。
在本公开的一种示例中，所述所述风格迁移图像获取模块903可以包括：
将所述特征转换矩阵与对所述原始图像特征矩阵取均值处理后的第一均值处理参数的乘积，与所述参考图像特征矩阵取均值操作后的第二均值处理参数进行求和，以获取所述风格迁移图像。
在本公开的一种示例中，所述装置还可以包括：图像分割模块、图像配置模块(图中未示出)。其中，
所述图像分割模块可以用于对所述原始图像进行分割处理，以获取对应的前景区域图像和背景区域图像。
所述图像配置模块可以用于在将所述前景区域图像配置为所述待处理区域时，则利用所述前景区域图像的特征矩阵和所述参考图像的特征矩阵计算对应的特征转换矩阵；以及基于所述前景区域图像特征矩阵的均值处理参数、所述特征转换矩阵以及所述参考图像特征矩阵的均值处理参数获取风格迁移图像。
在本公开的一种示例中，所述装置还可以包括：数据接收模块、展示模块、参考图像配置模块、任务建立模块(图中未示出)。其中，
所述数据接收模块可以用于接收用户输入的所述原始图像，以及一个或多个所述参考图像。
所述展示模块可以用于对所述原始图像进行分割处理，并展示分割处理后的主体模板和背景模板。
所述参考图像配置模块可以用于响应于用户的选择操作，为所述主体模板配置对应的第一参考图像和/或为所述背景模板配置对应的第二参考图像。
所述任务建立模块可以用于基于所述主体模板和所述第一参考图像建立第一图像处理任务以获取第一风格迁移图像；和/或基于所述背景模板和所述第二参考图像建立第二图像处理任务以获取第二风格迁移图像。
在本公开的一种示例中，所述装置还可以包括：图像融合执行模块(图中未示出)。
所述图像融合执行模块可以用于获取所述第一风格迁移图像和所述第二风格迁移图像时，将所述第一风格迁移图像、所述第二风格迁移图像与所述原始图像进行图像融合处理，以获取符合所述自定义风格迁移配置数据的目标图像。
在本公开的一种示例中，所述装置还可以包括：模型训练模块(图中未示出)。
所述模型训练模块可以用于预先训练风格迁移模型，包括：获取训练样本图像以及对应的训练参考图像，作为输入参数；基于所述训练样本图像的特征矩阵和所述训练参考图像的特征矩阵计算对应的训练特征转换矩阵；基于所述训练样本图像特征矩阵的第一均值处理参数、所述训练特征转换矩阵以及所述训练参考图像特征矩阵的第二均值处理参数获取训练风格迁移图像；对所述训练风格迁移图像、所述训练参考图像进行编码以获取对应的格拉姆矩阵，并计算所述格拉姆矩阵的欧几里得距离以获取风格损失函数；对所述训练风格迁移图像、所述训练样本图像进行编码以获取对应的特征矩阵，并计算所述特征矩阵的欧几里得距离以获取内容损失函数；基于上述风格损失函数和所述内容损失函数确定目标损失函数，并根据所述目标损失函数训练所述风格迁移模型。
上述的图像处理装置中各模块的具体细节已经在对应的图像处理方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
图10示出了适于用来实现本发明实施例的电子设备的示意图。
需要说明的是，图10示出的电子设备100仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
图10示出了适于用来实现本发明实施例的电子设备的计算机***的结构示意图。
需要说明的是，图10示出的电子设备的计算机***100仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示，计算机***100包括中央处理单元(Central Processing Unit，CPU)101，其可以根据存储在只读存储器(Read-Only Memory，ROM)102中的程序或者从储存部分108加载到随机访问存储器(Random Access Memory，RAM)103中的程序而执行各种适当的动作和处理。在RAM 103中，还存储有***操作所需的各种程序和数据。CPU 101、ROM102以及RAM 103通过总线104彼此相连。输入/输出(Input/Output，I/O)接口105也连接至总线104。
以下部件连接至I/O接口105：包括键盘、鼠标等的输入部分106；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分107；包括硬盘等的储存部分108；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分109。通信部分109经由诸如因特网的网络执行通信处理。驱动器110也根据需要连接至I/O接口105。可拆卸介质111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器110上，以便于从其上读出的计算机程序根据需要被安装入储存部分108。
特别地，根据本发明的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分109从网络上被下载和安装，和/或从可拆卸介质111被安装。在该计算机程序被中央处理单元(CPU)101执行时，执行本申请的***中限定的各种功能。
需要说明的是，本发明实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
需要说明的是，作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图1所示的各个步骤。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取原始图像，以及自定义风格迁移配置参数；其中，所述自定义风格迁移配置参数包括所述原始图像的待处理区域，以及所述待处理区域对应的参考图像；
根据所述原始图像的特征矩阵和所述参考图像的特征矩阵计算对应的特征转换矩阵；
基于所述原始图像特征矩阵的第一均值处理参数、所述特征转换矩阵以及所述参考图像特征矩阵的第二均值处理参数获取风格迁移图像；
对所述风格迁移图像与所述原始图像进行图像融合处理，以获取符合所述自定义风格迁移配置数据的目标图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述原始图像、所述参考图像的对应的特征矩阵计算对应的特征转换矩阵，包括：
对所述原始图像进行编码并获取对应的第一特征矩阵，对所述第一特征矩阵进行卷积处理以获取第一卷积结果，对所述第一卷积结果计算通道维度的第一协方差矩阵，对所述第一协方差矩阵进行全连接处理，以获取第一预处理矩阵；以及
对所述参考图像进行编码并获取对应的第二特征矩阵，对所述第二特征矩阵进行卷积处理以获取第二卷积结果，对所述第二卷积结果计算通道维度的第二协方差矩阵，对所述第二协方差矩阵进行全连接处理，以获取第二预处理矩阵；
对所述第一预处理矩阵和第二预处理矩阵相乘，以获取所述特征转换矩阵。
3.根据权利要求1所述的图像处理方法，其特征在于，所述基于所述原始图像特征矩阵的第一均值处理参数、所述特征转换矩阵以及所述参考图像特征矩阵的第二均值处理参数获取风格迁移图像，包括：
将所述特征转换矩阵与对所述原始图像特征矩阵去均值处理后的第一均值处理参数的乘积，与所述参考图像特征矩阵取均值操作后的第二均值处理参数进行求和，以获取所述风格迁移图像。
4.根据权利要求1所述的图像处理方法，其特征在于，所述获取原始图像后，所述方法还包括：
对所述原始图像进行分割处理，以获取对应的前景区域图像和背景区域图像；
在将所述前景区域图像配置为所述待处理区域时，则利用所述前景区域图像的特征矩阵和所述参考图像的特征矩阵计算对应的特征转换矩阵；以及基于所述前景区域图像特征矩阵的均值处理参数、所述特征转换矩阵以及所述参考图像特征矩阵的均值处理参数获取风格迁移图像。
5.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：
接收用户输入的所述原始图像，以及一个或多个所述参考图像；
对所述原始图像进行分割处理，并展示分割处理后的主体模板和背景模板；
响应于用户的选择操作，为所述主体模板配置对应的第一参考图像和/或为所述背景模板配置对应的第二参考图像；
基于所述主体模板和所述第一参考图像建立第一图像处理任务以获取第一风格迁移图像；和/或
基于所述背景模板和所述第二参考图像建立第二图像处理任务以获取第二风格迁移图像。
6.根据权利要求1所述的图像处理方法，其特征在于，获取所述第一风格迁移图像和所述第二风格迁移图像时，所述方法还包括：
将所述第一风格迁移图像、所述第二风格迁移图像与所述原始图像进行图像融合处理，以获取符合所述自定义风格迁移配置数据的目标图像。
7.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：预先训练风格迁移模型，包括：
获取训练样本图像以及对应的训练参考图像；
基于所述训练样本图像的特征矩阵和所述训练参考图像的特征矩阵计算对应的训练特征转换矩阵；
基于所述训练样本图像特征矩阵的第一均值处理参数、所述训练特征转换矩阵以及所述训练参考图像特征矩阵的第二均值处理参数获取训练风格迁移图像；
对所述训练风格迁移图像、所述训练参考图像进行编码以获取对应的格拉姆矩阵，并计算所述格拉姆矩阵的欧几里得距离以获取风格损失函数；
对所述训练风格迁移图像、所述训练样本图像进行编码以获取对应的特征矩阵，并计算所述特征矩阵的欧几里得距离以获取内容损失函数；
基于上述风格损失函数和所述内容损失函数确定目标损失函数，并根据所述目标损失函数训练所述风格迁移模型。
8.一种图像处理装置，其特征在于，包括：
图形获取模块，用于获取原始图像，以及自定义风格迁移配置参数；其中，所述自定义风格迁移配置参数包括所述原始图像的待处理区域，以及所述待处理区域对应的参考图像；
特征转换矩阵计算模块，用于根据所述原始图像的特征矩阵和所述参考图像的特征矩阵计算对应的特征转换矩阵；
风格迁移图像获取模块，用于基于所述原始图像特征矩阵的第一均值处理参数、所述特征转换矩阵以及所述参考图像特征矩阵的第二均值处理参数获取风格迁移图像；
图像融合处理模块，用于对所述风格迁移图像与所述原始图像进行图像融合处理，以获取符合所述自定义风格迁移配置数据的目标图像。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像处理方法。
10.一种终端设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010601380.XA CN111652830A (zh) | 2020-06-28 | 2020-06-28 | 图像处理方法及装置、计算机可读介质及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010601380.XA CN111652830A (zh) | 2020-06-28 | 2020-06-28 | 图像处理方法及装置、计算机可读介质及终端设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111652830A true CN111652830A (zh) | 2020-09-11 |
Family
ID=72343145
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010601380.XA Pending CN111652830A (zh) | 2020-06-28 | 2020-06-28 | 图像处理方法及装置、计算机可读介质及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111652830A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215854A (zh) * | 2020-10-19 | 2021-01-12 | 珠海金山网络游戏科技有限公司 | 一种图像处理的方法及装置 |
| CN112241744A (zh) * | 2020-10-20 | 2021-01-19 | 北京字跳网络技术有限公司 | 图像颜色迁移方法、装置、设备和计算机可读介质 |
| CN112348910A (zh) * | 2020-10-27 | 2021-02-09 | 北京字跳网络技术有限公司 | 获取图像的方法、装置、设备和计算机可读介质 |
| CN113435454A (zh) * | 2021-05-21 | 2021-09-24 | 厦门紫光展锐科技有限公司 | 一种数据处理方法、装置及设备 |
| CN113781292A (zh) * | 2021-08-23 | 2021-12-10 | 北京达佳互联信息技术有限公司 | 图像处理方法和装置、电子设备及存储介质 |
| CN114765692A (zh) * | 2021-01-13 | 2022-07-19 | 北京字节跳动网络技术有限公司 | 一种直播数据处理方法、装置、设备及介质 |
| CN115115572A (zh) * | 2022-01-14 | 2022-09-27 | 长城汽车股份有限公司 | 影像数据生成方法、装置、车辆、电子设备及可读介质 |
| CN115115571A (zh) * | 2022-01-14 | 2022-09-27 | 长城汽车股份有限公司 | 影像数据生成方法、装置、车辆、电子设备及可读介质 |
| CN115439307A (zh) * | 2022-08-08 | 2022-12-06 | 荣耀终端有限公司 | 风格转换方法、风格转换模型的生成方法和风格转换*** |
| CN115937020A (zh) * | 2022-11-08 | 2023-04-07 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备、介质和程序产品 |
| WO2023231918A1 (zh) * | 2022-06-01 | 2023-12-07 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109426858A (zh) * | 2017-08-29 | 2019-03-05 | 京东方科技集团股份有限公司 | 神经网络、训练方法、图像处理方法及图像处理装置 |
| CN109766895A (zh) * | 2019-01-03 | 2019-05-17 | 京东方科技集团股份有限公司 | 用于图像风格迁移的卷积神经网络的训练方法和图像风格迁移方法 |
| CN110852940A (zh) * | 2019-11-01 | 2020-02-28 | 天津大学 | 一种图像处理方法及相关设备 |
| CN110956654A (zh) * | 2019-12-02 | 2020-04-03 | Oppo广东移动通信有限公司 | 图像处理方法、装置、设备及存储介质 |
-
2020
- 2020-06-28 CN CN202010601380.XA patent/CN111652830A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109426858A (zh) * | 2017-08-29 | 2019-03-05 | 京东方科技集团股份有限公司 | 神经网络、训练方法、图像处理方法及图像处理装置 |
| CN109766895A (zh) * | 2019-01-03 | 2019-05-17 | 京东方科技集团股份有限公司 | 用于图像风格迁移的卷积神经网络的训练方法和图像风格迁移方法 |
| CN110852940A (zh) * | 2019-11-01 | 2020-02-28 | 天津大学 | 一种图像处理方法及相关设备 |
| CN110956654A (zh) * | 2019-12-02 | 2020-04-03 | Oppo广东移动通信有限公司 | 图像处理方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| XUETING LI等: "Learning Linear Transformations for Fast Image and Video Style Transfer", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215854A (zh) * | 2020-10-19 | 2021-01-12 | 珠海金山网络游戏科技有限公司 | 一种图像处理的方法及装置 |
| CN112241744A (zh) * | 2020-10-20 | 2021-01-19 | 北京字跳网络技术有限公司 | 图像颜色迁移方法、装置、设备和计算机可读介质 |
| CN112348910A (zh) * | 2020-10-27 | 2021-02-09 | 北京字跳网络技术有限公司 | 获取图像的方法、装置、设备和计算机可读介质 |
| CN114765692B (zh) * | 2021-01-13 | 2024-01-09 | 北京字节跳动网络技术有限公司 | 一种直播数据处理方法、装置、设备及介质 |
| CN114765692A (zh) * | 2021-01-13 | 2022-07-19 | 北京字节跳动网络技术有限公司 | 一种直播数据处理方法、装置、设备及介质 |
| CN113435454A (zh) * | 2021-05-21 | 2021-09-24 | 厦门紫光展锐科技有限公司 | 一种数据处理方法、装置及设备 |
| CN113781292A (zh) * | 2021-08-23 | 2021-12-10 | 北京达佳互联信息技术有限公司 | 图像处理方法和装置、电子设备及存储介质 |
| CN115115572A (zh) * | 2022-01-14 | 2022-09-27 | 长城汽车股份有限公司 | 影像数据生成方法、装置、车辆、电子设备及可读介质 |
| CN115115571A (zh) * | 2022-01-14 | 2022-09-27 | 长城汽车股份有限公司 | 影像数据生成方法、装置、车辆、电子设备及可读介质 |
| WO2023231918A1 (zh) * | 2022-06-01 | 2023-12-07 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN115439307A (zh) * | 2022-08-08 | 2022-12-06 | 荣耀终端有限公司 | 风格转换方法、风格转换模型的生成方法和风格转换*** |
| CN115439307B (zh) * | 2022-08-08 | 2023-06-27 | 荣耀终端有限公司 | 风格转换方法、风格转换模型的生成方法和风格转换*** |
| CN115937020A (zh) * | 2022-11-08 | 2023-04-07 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备、介质和程序产品 |
| CN115937020B (zh) * | 2022-11-08 | 2023-10-31 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备、介质和程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111652830A (zh) | 图像处理方法及装置、计算机可读介质及终端设备 | |
| Zeng et al. | Learning image-adaptive 3d lookup tables for high performance photo enhancement in real-time | |
| US9639956B2 (en) | Image adjustment using texture mask | |
| CN110189246B (zh) | 图像风格化生成方法、装置及电子设备 | |
| CN113034358B (zh) | 一种超分辨率图像处理方法以及相关装置 | |
| CN110163237A (zh) | 模型训练及图像处理方法、装置、介质、电子设备 | |
| CN109587560A (zh) | 视频处理方法、装置、电子设备以及存储介质 | |
| CN110751649A (zh) | 视频质量评估方法、装置、电子设备及存储介质 | |
| WO2023226584A1 (zh) | 图像降噪、滤波数据处理方法、装置和计算机设备 | |
| CN111681177A (zh) | 视频处理方法及装置、计算机可读存储介质、电子设备 | |
| CN113822794A (zh) | 一种图像风格转换方法、装置、计算机设备和存储介质 | |
| CN112200817A (zh) | 基于图像的天空区域分割和特效处理方法、装置及设备 | |
| CN114299088A (zh) | 图像处理方法及装置 | |
| CN113034523A (zh) | 图像处理方法、装置、存储介质及计算机设备 | |
| CN109587559A (zh) | 视频处理方法、装置、电子设备以及存储介质 | |
| CN110689478B (zh) | 图像风格化处理方法、装置、电子设备及可读介质 | |
| CN113034412B (zh) | 视频处理方法及装置 | |
| CN113902636A (zh) | 图像去模糊方法及装置、计算机可读介质和电子设备 | |
| WO2024041235A1 (zh) | 图像处理方法、装置、设备、存储介质及程序产品 | |
| US20240013354A1 (en) | Deep SDR-HDR Conversion | |
| CN111861940A (zh) | 一种基于条件连续调节的图像调色增强方法 | |
| EP4345771A1 (en) | Information processing method and apparatus, and computer device and storage medium | |
| US20230060988A1 (en) | Image processing device and method | |
| US20220398704A1 (en) | Intelligent Portrait Photography Enhancement System | |
| CN115471413A (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |