CN110717953B - 基于cnn-lstm组合模型的黑白图片的着色方法和*** - Google Patents

基于cnn-lstm组合模型的黑白图片的着色方法和*** Download PDF

Info

Publication number
CN110717953B
CN110717953B CN201910914057.5A CN201910914057A CN110717953B CN 110717953 B CN110717953 B CN 110717953B CN 201910914057 A CN201910914057 A CN 201910914057A CN 110717953 B CN110717953 B CN 110717953B
Authority
CN
China
Prior art keywords
color
black
coloring
white
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910914057.5A
Other languages
English (en)
Other versions
CN110717953A (zh
Inventor
宋旭博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Moviebook Science And Technology Co ltd
Original Assignee
Beijing Moviebook Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Moviebook Science And Technology Co ltd filed Critical Beijing Moviebook Science And Technology Co ltd
Priority to CN201910914057.5A priority Critical patent/CN110717953B/zh
Publication of CN110717953A publication Critical patent/CN110717953A/zh
Application granted granted Critical
Publication of CN110717953B publication Critical patent/CN110717953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于CNN‑LSTM组合模型的黑白图片的着色方法和***，该方法包括：采集多张彩色初始图像，将多张彩色初始图像转换为多张黑白图像，基于多张彩色图像和多张黑白图像分别形成训练集和测试集；将训练集中的多张黑白图像和多张彩色图像输入CNN‑LSTM卷积神经网络模型中，分别生成黑白和彩色特征图谱，将黑白特征图谱和生成彩色特征图谱进行色彩匹配测试以最终获得着色网络模型；利用着色网络模型对待着色的黑白图像进行着色。本发明可以使最终得到的着色网络模型的着色准确度得到提升，自动化地对黑白图像进行着色，消除了各逐帧图片的颜色不一致性，从而可以产生更平滑的色彩图像，并获得整体美观的观看体验。

Description

基于CNN-LSTM组合模型的黑白图片的着色方法和***
技术领域
本申请涉及图像识别技术领域，特别是涉及基于CNN-LSTM组合模型的黑白图片的着色方法和***。
背景技术
图像着色是一种图像增强的基本手段，是一种为图像或视频添加颜色的计算机辅助处理技术，通过对黑白图片补色可以得到更好的视觉效果，在娱乐、教育和科研方面以及医疗等方面都有非常广泛的应用。
现有技术中的图像着色方法主要包括以下两种，一种是基于用户提示的着色方法，另一种是不需任何着色提示即可对黑白图片进行着色。第一种着色方法需要人工干预，增加了人力成本和时间成本；第二种着色方法通过采用深度学习方法，该方法使用低级视觉片和空间像素坐标作为深度神经网络的输入，从单个图像自动提取适合用户指定笔画的特征。使用深度神经网络作为分类器，根据整个图像上的提取特征来估计用户笔画概率，这些概率表示每个像素属于每个笔画的可能性；尽管这种着色方法实现了自动化。但是该方法的着色效果不佳，着色单一和准确率也相对较低。
发明内容
本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。
根据本申请的一个方面，提供了一种基于CNN-LSTM组合模型的黑白图片的着色方法，该方法包括以下步骤：
采集多张彩色初始图像，将每张彩色初始图像转换为相对应的黑白图像以获得多张黑白图像，基于所述多张彩色图像和所述多张黑白图像分别形成训练集和测试集；
将训练集中的多张黑白图像输入CNN-LSTM卷积神经网络模型中，提取该多张黑白图像的特征生成黑白特征图谱；将训练集中的多张彩色图像输入CNN-LSTM卷积神经网络模型中，提取该多张彩色图像的特征生成彩色特征图谱，基于所述黑白特征图谱和所述生成彩色特征图谱进行色彩匹配测试以获得着色训练模型；
将所述测试集中的测试样本输入所述着色训练模型中，并将所述测试样本中的黑白图像和彩色图像进行色彩匹配测试，以生成色彩匹配测试结果；根据所述色彩匹配测试结果迭代更新所述着色训练模型，以生成着色网络模型；
利用所述着色网络模型对待着色的黑白图像进行着色。
可选地，所述多张彩色初始图像是从原始视频中提取的帧图片。
可选地，所述多张彩色初始图像来源于ImageNet数据集。
可选地，所述CNN-LSTM卷积神经网络模型中的CNN结构包括多组转换层和全连接层，每组转换层包括卷积层和池化层，所述全连接层连接于池化层后。
可选地，所述生成所述黑白特征图谱包括以下子步骤：
将多张黑白图像输入到卷积层获得第一特征图谱；
将所述第一特征图谱输入到池化层并利用反向传播方法获得第二特征图谱；
利用全连接层将所述第二特征图谱中的特征和第一特征图谱中的特征进行联合形成联合特征；
将所述联合特征输入Softmax层以对黑白图像中的对象进行分类并生成CIE Lab颜色空间数据；
将所述CIE Lab颜色空间数据输入LSTM长短时记忆网络结构中进行训练，获得着色训练模型。
可选地，在每层卷积层后添加ReLU非线性层，利用ReLU非线性层作为跟随每个卷积层的激活函数。
可选地，所述获得着色训练模型包括以下子步骤：
利用所述CIE Lab颜色空间数据建立目标函数，利用该目标函数用以预测颜色和地面真实颜色之间的欧几里德损失；
该目标函数为：
其中，L2为预测颜色和地面真实颜色之间的欧几里德损失；Y是目标函数，是目标函数的映射；h和w分别为CIE Lab颜色空间的通道的高度和宽度；
给定映射模型其中该映射模型中的颜色的概率分布为：
其中，q是量化的a，b值的数量；比较预测反对基本事实模型Z，定义该基本事实模型为/>并将地面实况颜色的目标函数Y转换为矢量Z,其中，g为节点数量，t为时间参数；
利用交叉熵损失函数对颜色级稀有度重新平衡损失，该交叉熵损失函数为：
其中，Lcl为交叉熵损失函数值；v为加权数值；q为量化的a，b值的数量；h和w分别为CIE Lab颜色空间的通道的高度和宽度；
利用映射模型Z的使用函数H(Z)对Y进行着色；所述使用函数H(Z)的公式为：
可选地，在所述利用全连接层将所述第二特征图谱中的特征和第一特征图谱中的特征进行联合形成联合特征步骤前还包括标准化步骤：利用批量标准化方法对第二特征图谱进行处理获得标准化的特征图谱。
根据本申请的另一个方面，提供了一种基于CNN-LSTM组合模型的黑白图片的着色***，该***包括：
采集模块，用于采集多张彩色初始图像，将每张彩色初始图像转换为相对应的黑白图像以获得多张黑白图像，基于所述多张彩色图像和所述多张黑白图像分别形成训练集和测试集；
训练模块，用于将训练集中的多张黑白图像输入CNN-LSTM卷积神经网络模型中，提取该多张黑白图像的特征生成黑白特征图谱；将训练集中的多张彩色图像输入CNN-LSTM卷积神经网络模型中，提取该多张彩色图像的特征生成彩色特征图谱，将所述黑白特征图谱和所述生成彩色特征图谱进行色彩匹配测试以获得着色训练模型；
着色网络模型生成模块，用于将所述测试集中的测试样本输入所述着色训练模型中，并将所述测试样本中的黑白图像和彩色图像进行色彩匹配测试，以生成色彩匹配测试结果；根据所述色彩匹配测试结果迭代更新所述着色训练模型，以生成着色网络模型；
着色模块，用于利用所述着色网络模型对待着色的黑白图像进行着色。
可选地，所述多张彩色初始图像是从原始视频中提取的帧图片。
可选地，所述CNN-LSTM卷积神经网络模型中的CNN结构包括多组转换层和全连接层，每组转换层包括卷积层和池化层；所述全连接层连接于池化层后；
所述训练模块执行以下操作：
将多张黑白图像输入到卷积层获得第一特征图谱；
将所述第一特征图谱输入到池化层并利用反向传播方法获得第二特征图谱；
利用全连接层将所述第二特征图谱中的特征和第一特征图谱中的特征进行联合形成联合特征；
将所述联合特征输入Softmax层并依据所述联合特征对黑白图像中的对象进行分类，根据分类结果生成CIE Lab颜色空间数据；
将所述CIE Lab颜色空间数据输入LSTM长短时记忆网络结构进行训练训练学习，获得着色训练模型。
本申请的基于CNN-LSTM组合模型的黑白图片的着色方法，由于将黑白图像输入到CNN-LSTM组合模型中进行训练，并且将彩色图像作为最终匹配的目标，基于彩色图像和黑白图像的特征图谱的特征间的误差进行反向传播并修改权重，可以使最终得到的着色网络模型的着色准确度得到提升，从而可以自动化地对黑白图像进行着色，消除了各逐帧图片的颜色不一致性，从而可以产生更平滑的色彩图像，并获得整体美观的观看体验。
根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
图1是根据本申请一个实施例的基于CNN-LSTM组合模型的黑白图片的着色方法的流程示意图；
图2是根据本申请一个实施例的的基于CNN-LSTM组合模型的黑白图片的着色***的结构示意图；
图3是根据本申请实施例的计算设备示意图；
图4是根据本申请实施例的计算机可读存储介质示意图。
具体实施方式
图1是根据本申请一个实施例的CNN-LSTM组合模型的黑白图片的着色方法的流程示意图；该着色方法包括以下步骤：
步骤100:采集多张彩色初始图像，将每张彩色初始图像转换为向对应的黑白图像以获得多张黑白图像，基于所述多张彩色图像和所述多张黑白图像形成训练集和测试集；
可选的，该彩色初始图像可以是从原始视频中提取的帧图片。
可选的，所述彩色初始图像来源于ImageNet数据集。
步骤200：将训练集中的多张黑白图像输入CNN卷积神经网络模型中，提取该多张黑白图像的特征生成黑白特征图谱；将训练集中的多张彩色图像输入CNN-LSTM卷积神经网络模型中，提取该多张彩色图像的特征生成彩色特征图谱；基于所述黑白特征图谱和所述生成彩色特征图谱获得着色训练模型
其中，该CNN卷积神经网络模型的结构包括多组转换层和全连接层，每组转换层包括卷积层和池化层；所述全连接层连接于池化层后；优选的，本实例中的转换层包括5组转换层；
可选的，生成所述黑白特征图谱包括以下子步骤：
步骤210：将多张黑白图像输入到卷积层获得第一特征图谱；
优选的，在每层卷积层后添加ReLU非线性层，利用ReLU非线性层可以作为跟随每个卷积层的激活函数，用以加速后期获得的着色训练模型的收敛。
步骤220：将所述第一特征图谱输入到池化层并利用反向传播方法获得第二特征图谱；
步骤230：利用全连接层将所述第二特征图谱中的特征和第一特征图谱中的特征进行联合形成联合特征；
步骤240：将所述联合特征输入该Softmax层并依据所述联合特征对黑白图像中的对象进行分类，根据分类结果生成CIE Lab颜色空间数据；
步骤250：将所述CIE Lab颜色空间数据输入LSTM长短时记忆网络结构进行训练训练学习，获得着色训练模型。
具体的，步骤250包括以下子步骤：
步骤251：利用所述CIE Lab颜色空间数据建立目标函数，利用该目标函数用以预测颜色和地面真实颜色之间的欧几里德损失；
该目标函数为：
其中，L2为预测颜色和地面真实颜色之间的欧几里德损失；Y是目标函数，是目标函数的映射；h和w分别为CIE Lab颜色空间的通道的高度和宽度；
步骤252：给定映射模型其中该映射模型中的颜色的概率分布为：
其中，q是量化的a，b值的数量；比较预测反对基本事实模型Z，定义该基本事实模型为/>并将地面实况颜色的目标函数Y转换为矢量Z,其中，g为节点数量，t为时间参数；
如果一个对象采用一组不同的a，b值，欧几里德损失的最优解将是训练集中的黑白图像的CIE Lab颜色空间数据平均值，在颜色预测中，采用该平均平均值有利于灰色，去饱和的结果；本实施例中，将a，b输出空间量转化为网格大小为10的区间，并保持Q＝310色域内的值。
步骤253：利用交叉熵损失函数对颜色级稀有度重新平衡损失，该交叉熵损失函数为：
其中，Lcl为交叉熵损失函数值；v为加权数值；q为量化的a，b值的数量；h和w分别为CIE Lab颜色空间的通道的高度和宽度。
步骤254：利用映射模型Z的使用函数H(Z)对Y进行着色；所述H(Z)使用函数的公式为：
在另一个实施例中，所述生成所述黑白特征图谱包括以下子步骤：
步骤210：将多张黑白图像输入到卷积层获得第一特征图谱；
步骤220：将所述第一特征图谱输入到池化层并利用反向传播方法获得第二特征图谱；
步骤230：利用批量标准化方法对第二特征图谱进行处理获得标准化的特征图谱；
步骤240：利用全连接层将所述第标准化的特征图谱中的特征和第一特征图谱中的特征进行联合形成联合特征；
步骤250：将所述联合特征输入该Softmax层并依据所述联合特征对黑白图像中的对象进行分类，根据分类结果生成CIE Lab颜色空间数据；
步骤260：将所述Lab颜色空间数据输入LSTM长短时记忆网络结构进行训练训练学习，获得着色训练模型。
步骤300：将所述测试集中的测试样本输入所述着色训练模型中，并将所述测试样本中的黑白图像和彩色图像进行色彩匹配测试，以生成色彩匹配测试结果；根据所述色彩匹配测试结果迭代更新所述着色训练模型中，以生成着色网络模型。
步骤400：利用所述着色网络模型对待着色的黑白图像进行着色。
基于同一发明构思，如图2所示，本申请实施例还提供了一种基于CNN-LSTM组合模型的黑白图片的着色***，该***包括：
采集模块，用于采集多张彩色初始图像，将每张彩色初始图像转换为相对应的黑白图像以获得多张黑白图像，基于所述多张彩色图像和所述多张黑白图像分别形成训练集和测试集；
训练模块，用于将训练集中的多张黑白图像输入CNN-LSTM卷积神经网络模型中，提取该多张黑白图像的特征生成黑白特征图谱；将训练集中的多张彩色图像输入CNN-LSTM卷积神经网络模型中，提取该多张彩色图像的特征生成彩色特征图谱，将所述黑白特征图谱和所述生成彩色特征图谱进行色彩匹配测试以获得着色训练模型；
着色网络模型生成模块，用于将所述测试集中的测试样本输入所述着色训练模型中，并将所述测试样本中的黑白图像和彩色图像进行色彩匹配测试，以生成色彩匹配测试结果；根据所述色彩匹配测试结果迭代更新所述着色训练模型，以生成着色网络模型；
着色模块，用于利用所述着色网络模型对待着色的黑白图像进行着色。
可选的，所述多张彩色初始图像是从原始视频中提取的帧图片。
可选的，所述CNN-LSTM卷积神经网络模型中的CNN结构包括多组转换层和全连接层，每组转换层包括卷积层和池化层，所述全连接层连接于池化层后；
所述训练模块执行以下操作：
将多张黑白图像输入到卷积层获得第一特征图谱；
将所述第一特征图谱输入到池化层并利用反向传播方法获得第二特征图谱；
利用全连接层将所述第二特征图谱中的特征和第一特征图谱中的特征进行联合形成联合特征；
将所述联合特征输入Softmax层并依据所述联合特征对黑白图像中的对象进行分类，根据分类结果生成CIE Lab颜色空间数据；
将所述CIE Lab颜色空间数据输入LSTM长短时记忆网络结构进行训练，获得着色训练模型。
本实施例提供的上述着色***，可以执行上述任一基于CNN-LSTM组合模型的黑白图片的着色方法中的实施例所提供的方法，详细过程详见方法实施例中的描述，此处不赘述。
根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。
本申请实施例还提供了一种计算设备，参照图3，该计算设备包括存储器520、处理器510和存储在所述存储器520内并能由所述处理器510运行的计算机程序，该计算机程序存储于存储器520中的用于程序代码的空间530，该计算机程序在由处理器510执行时实现用于执行任一项根据本发明的着色方法步骤531。
本申请实施例还提供了一种计算机可读存储介质。参照图4，该计算机可读存储介质包括用于程序代码的存储单元，该存储单元设置有用于执行根据本发明的识别方法步骤的程序531′，该程序被处理器执行。
本申请实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时，使得计算机执行根据本发明的方法步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、获取其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid StateDisk(SSD))等。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(英文：non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(英文：magnetic tape)，软盘(英文：floppy disk)，光盘(英文：optical disc)及其任意组合。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (9)

1.一种基于CNN-LSTM组合模型的黑白图片的着色方法，该方法包括以下步骤：
采集多张彩色初始图像，将每张彩色初始图像转换为相对应的黑白图像以获得多张黑白图像，基于所述多张彩色图像和所述多张黑白图像分别形成训练集和测试集；
将训练集中的多张黑白图像输入CNN-LSTM卷积神经网络模型中，提取该多张黑白图像的特征生成黑白特征图谱,包括：将多张黑白图像输入到卷积层获得第一特征图谱；将所述第一特征图谱输入到池化层并利用反向传播方法获得第二特征图谱；利用全连接层将所述第二特征图谱中的特征和第一特征图谱中的特征进行联合形成联合特征；将所述联合特征输入Softmax层并依据所述联合特征对黑白图像中的对象进行分类，根据分类结果生成CIELab颜色空间数据；将所述CIE Lab颜色空间数据输入LSTM长短时记忆网络结构中进行训练，获得着色训练模型；将训练集中的多张彩色图像输入CNN-LSTM卷积神经网络模型中，提取该多张彩色图像的特征生成彩色特征图谱，将所述黑白特征图谱和所述生成彩色特征图谱进行色彩匹配测试以获得着色训练模型；
将所述测试集中的测试样本输入所述着色训练模型中，并将所述测试样本中的黑白图像和彩色图像进行色彩匹配测试，以生成色彩匹配测试结果；根据所述色彩匹配测试结果迭代更新所述着色训练模型，以生成着色网络模型；
利用所述着色网络模型对待着色的黑白图像进行着色。
2.根据权利要求1所述的着色方法，其特征在于：所述多张彩色初始图像是从原始视频中提取的帧图片。
3.根据权利要求1所述的着色方法，其特征在于：所述多张彩色初始图像来源于ImageNet数据集。
4.根据权利要求1所述的着色方法，其特征在于：所述CNN-LSTM卷积神经网络模型中的CNN结构包括多组转换层和全连接层，每组转换层包括卷积层和池化层，所述全连接层连接于池化层后。
5.根据权利要求1所述的着色方法，其特征在于：在每层卷积层后添加ReLU非线性层，利用ReLU非线性层作为跟随每个卷积层的激活函数。
6.根据权利要求1所述的着色方法，其特征在于：所述获得着色训练模型包括以下子步骤：
利用所述CIE Lab颜色空间数据建立目标函数，利用该目标函数用以预测颜色和地面真实颜色之间的欧几里德损失；
该目标函数为：
其中，L2为预测颜色和地面真实颜色之间的欧几里德损失；Y是目标函数，是目标函数的映射；h和w分别为CIE Lab颜色空间的通道的高度和宽度；
给定映射模型其中该映射模型中的颜色的概率分布为：
其中，q是量化的a，b值的数量；比较预测反对基本事实模型Z，定义该基本事实模型为：/>并将地面实况颜色的目标函数Y转换为矢量Z,其中，g为节点数量，t为时间参数；
利用交叉熵损失函数对颜色级稀有度重新平衡损失，该交叉熵损失函数为：
其中，Lcl为交叉熵损失函数值；v为加权数值；q为量化的a，b值的数量；h和w分别为CIELab颜色空间的通道的高度和宽度；
利用映射模型的使用函数H(Z)对Y进行着色；所述使用函数H(Z)的公式为：
7.根据权利要求6所述的着色方法，其特征在于：在所述利用全连接层将所述第二特征图谱中的特征和第一特征图谱中的特征进行联合形成联合特征步骤前还包括标准化步骤：利用批量标准化方法对第二特征图谱进行处理获得标准化的特征图谱。
8.一种基于CNN-LSTM组合模型的黑白图片的着色***，该***包括：
采集模块，用于采集多张彩色初始图像，将每张彩色初始图像转换为相对应的黑白图像以获得多张黑白图像，基于所述多张彩色图像和所述多张黑白图像分别形成训练集和测试集；
训练模块，用于将训练集中的多张黑白图像输入CNN-LSTM卷积神经网络模型中，提取该多张黑白图像的特征生成黑白特征图谱,包括：将多张黑白图像输入到卷积层获得第一特征图谱；将所述第一特征图谱输入到池化层并利用反向传播方法获得第二特征图谱；利用全连接层将所述第二特征图谱中的特征和第一特征图谱中的特征进行联合形成联合特征；将所述联合特征输入Softmax层并依据所述联合特征对黑白图像中的对象进行分类，根据分类结果生成CIE Lab颜色空间数据；将所述CIE Lab颜色空间数据输入LSTM长短时记忆网络结构中进行训练，获得着色训练模型；将训练集中的多张彩色图像输入CNN-LSTM卷积神经网络模型中，提取该多张彩色图像的特征生成彩色特征图谱，将所述黑白特征图谱和所述生成彩色特征图谱进行色彩匹配测试以获得着色训练模型；
着色网络模型生成模块，用于将所述测试集中的测试样本输入所述着色训练模型中，并将所述测试样本中的黑白图像和彩色图像进行色彩匹配测试，以生成色彩匹配测试结果；根据所述色彩匹配测试结果迭代更新所述着色训练模型，以生成着色网络模型；
着色模块，用于利用所述着色网络模型对待着色的黑白图像进行着色。
9.根据权利要求8所述的着色***，其特征在于：所述多张彩色初始图像是从原始视频中提取的帧图片。
CN201910914057.5A 2019-09-25 2019-09-25 基于cnn-lstm组合模型的黑白图片的着色方法和*** Active CN110717953B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910914057.5A CN110717953B (zh) 2019-09-25 2019-09-25 基于cnn-lstm组合模型的黑白图片的着色方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910914057.5A CN110717953B (zh) 2019-09-25 2019-09-25 基于cnn-lstm组合模型的黑白图片的着色方法和***

Publications (2)

Publication Number Publication Date
CN110717953A CN110717953A (zh) 2020-01-21
CN110717953B true CN110717953B (zh) 2024-03-01

Family

ID=69210921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910914057.5A Active CN110717953B (zh) 2019-09-25 2019-09-25 基于cnn-lstm组合模型的黑白图片的着色方法和***

Country Status (1)

Country Link
CN (1) CN110717953B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111354058B (zh) * 2020-02-04 2022-03-04 北京邮电大学 一种图像着色方法、装置、图像采集设备及可读存储介质
US20230419673A1 (en) * 2020-10-28 2023-12-28 Creative Semiconductor Ltd. Deep learning-based wireless camera system with color night vision
CN113411550B (zh) * 2020-10-29 2022-07-19 腾讯科技（深圳）有限公司 视频上色方法、装置、设备及存储介质
CN112884866B (zh) * 2021-01-08 2023-06-06 北京奇艺世纪科技有限公司 一种黑白视频的上色方法、装置、设备及存储介质
CN112991497B (zh) * 2021-05-11 2021-10-19 北京邮电大学 一种对黑白动漫视频的着色方法、装置、存储介质及终端
CN113421312A (zh) * 2021-05-12 2021-09-21 北京邮电大学 一种对黑白视频的着色方法、装置、存储介质及终端
CN113744168A (zh) * 2021-09-03 2021-12-03 武汉平行世界网络科技有限公司 一种填充颜色的方法及装置
CN115690288B (zh) * 2022-11-03 2023-05-16 北京大学 一种由颜色标符指导的自动着色算法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018184204A1 (en) * 2017-04-07 2018-10-11 Intel Corporation Methods and systems for budgeted and simplified training of deep neural networks
CN108921932A (zh) * 2018-06-28 2018-11-30 福州大学 一种基于卷积神经网络的黑白人物图片实时生成多种合理着色的方法
CN109712203A (zh) * 2018-12-29 2019-05-03 福建帝视信息科技有限公司 一种基于自注意力生成对抗网络的图像着色方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018184204A1 (en) * 2017-04-07 2018-10-11 Intel Corporation Methods and systems for budgeted and simplified training of deep neural networks
CN108921932A (zh) * 2018-06-28 2018-11-30 福州大学 一种基于卷积神经网络的黑白人物图片实时生成多种合理着色的方法
CN109712203A (zh) * 2018-12-29 2019-05-03 福建帝视信息科技有限公司 一种基于自注意力生成对抗网络的图像着色方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Colourful Image Colorization;Zhang Richard 等;arxiv：1603.08511v5;2.1节 *
基于长短时记忆单元和卷积神经网络混合神经网络模型的视频着色方法;张政 等;计算机应用;2727-2729页 *

Also Published As

Publication number Publication date
CN110717953A (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
CN110717953B (zh) 基于cnn-lstm组合模型的黑白图片的着色方法和***
US11551333B2 (en) Image reconstruction method and device
CN110084281B (zh) 图像生成方法、神经网络的压缩方法及相关装置、设备
CN108335306B (zh) 图像处理方法及装置、电子设备和存储介质
US11158090B2 (en) Enhanced video shot matching using generative adversarial networks
CN110637460B (zh) 利用深层神经网络的视觉质量保持量化参数预测
CN107679466B (zh) 信息输出方法和装置
CN109711426B (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
US9697583B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
CN110263801B (zh) 图像处理模型生成方法及装置、电子设备
CN109871845B (zh) 证件图像提取方法及终端设备
CN112906649A (zh) 视频分割方法、设备、计算机设备及介质
CN113066017A (zh) 一种图像增强方法、模型训练方法及设备
AU2015201623A1 (en) Choosing optimal images with preference distributions
US11449707B2 (en) Method for processing automobile image data, apparatus, and readable storage medium
CN111583274A (zh) 图像分割方法、装置、计算机可读存储介质及电子设备
Pham Geostatistical simulation of medical images for data augmentation in deep learning
CN115588055A (zh) 数字病理图像的色彩标准化方法及***
CN114187515A (zh) 图像分割方法和图像分割装置
CN116109656A (zh) 一种基于无监督学习的交互式图像分割方法
Chen et al. Hyperspectral remote sensing IQA via learning multiple kernels from mid-level features
US20160098843A1 (en) Image processing apparatus and method of controlling the same
KR102402643B1 (ko) 3차원 모델링의 색상 최적화 처리 시스템
CN115688234A (zh) 一种基于条件卷积的建筑布局生成方法、装置及介质
CN115019057A (zh) 图像特征提取模型确定方法及装置、图像识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant