CN107578455A - 基于卷积神经网络的任意尺寸样本纹理合成方法 - Google Patents
基于卷积神经网络的任意尺寸样本纹理合成方法 Download PDFInfo
- Publication number
- CN107578455A CN107578455A CN201710781915.4A CN201710781915A CN107578455A CN 107578455 A CN107578455 A CN 107578455A CN 201710781915 A CN201710781915 A CN 201710781915A CN 107578455 A CN107578455 A CN 107578455A
- Authority
- CN
- China
- Prior art keywords
- mrow
- neural networks
- convolutional neural
- texture image
- msup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积神经网络的任意尺寸样本纹理合成方法。其步骤为：(1)输入一幅512×512的待处理纹理图像；(2)构建并训练卷积神经网络；(3)划分待处理纹理图像；(4)生成待处理纹理图像的合成图像矩阵；(5)生成待处理纹理图像的合成图像。本发明将卷积神经网络引入到纹理图像合成领域来，克服了现有技术中采用最佳匹配易导致得到的结果是局部最优以及无法合成任意尺寸的纹理图像的不足，合成的纹理图像轮廓更加清晰，更加真实自然。
Description
技术领域
本发明属于图像处理技术领域，更进一步涉及自然图像处理技术领域中的一种基于卷积神经网络的任意尺寸样本纹理合成方法。本发明针对所有不规则自然纹理图像，采用卷积神经网络，可用于任意尺寸纹理图像的合成。
背景技术
目前，纹理合成已经成为图像处理技术领域里的一个很重要的研究主题。根据样本纹理合成时选取的基本单元不同，MRF(Markov Random Field,马尔可夫随机场)模型下的纹理合成方法基本上可以分为两类：一是基于像素的纹理合成；二是基于块的纹理合成。两类方法各有所长，基于像素的方法善于捕捉纹理的局部细节,难于凸现和吻合全局特征；相对而言，基于块的方法能够捕捉较大范围内的纹理特征，但却在边界处理方面较为逊色。纹理合成方法的好坏主要依赖于给定纹理样本的类型(随机纹理、结构纹理、分离元素纹理等)和所采用的合成策略，因此研究纹理的特性及其分类对于研究纹理合成是十分必要的。另外，纹理合成结果质量的好坏需要有衡量的尺度和标准。对于纹理类别的研究，研究者们曾进行过深入的研究，提出了诸如：静态纹理、全局变化纹理、动态纹理、分离元素纹理等多种类型。
天津理工大学在其申请的专利文献“一种基于最佳匹配的图像纹理合成方法”(专利申请号201410112095.6，公开号CN103839271A)中公开了一种新的基于最佳匹配的图像纹理合成方法。该方法中不仅考虑了颜色的相似性，还加入了梯度结构信息，把纹理的颜色差异和梯度结构信息作为衡量两个匹配块间的相似性度量，并深入分析最佳匹配纹理块的大小对合成的影响，根据不同纹理自适应确定纹理块大小，以提高纹理合成的速率和质量。但是，该方法仍然存在的不足之处是，使用的最佳匹配易导致少量获取的特征较少，得到的结果是局部最优，同时像素点之间匹配易出现错误，使得合成的纹理图像易于模糊，且无法合成任意大小的纹理图像。
Alexandre Kaspar等人在其发表的论文“Self Tuning Texture Optimization”(Computer Graphics Forum,2015,34(2):349-359)中公开了一种基于不同块之间的欧氏距离的方法。该方法针对在现实世界中高分辨率纹理往往包含多个尺度的纹理细节，目前的方法难以合成相关的纹理。该方法首先对输入图像的各颜色通道求解欧氏距离，其次求解满足块与块之间的匹配。该方法的优势在于提出了一个通用的、全自动校正的非参数化的纹理合成方法，通过引入一些关键性的改进来合成纹理，展示了比较优越的纹理合成能力。但是，该方法仍然存在的不足之处是，使用像素域上的欧氏距离易导致合成的纹理包含了许多破碎的结构，对于低分辨率的输入图像，算法并不能完成纹理合成。
发明内容
本发明的目的在于克服上述现有技术的缺陷，提出一种基于卷积神经网络的任意尺寸样本纹理合成方法。本发明在纹理合成过程中，提取纹理图像的全局特征，获取更多的纹理信息，最终合成的纹理图像更加真实自然，同时该发明能够合成任意尺寸的纹理图像。
本发明的具体步骤如下：
(1)输入一幅512×512的待处理纹理图像；
(2)构建并训练卷积神经网络：
(2a)构建含有7层的卷积神经网络；
(2b)将纹理图片输入到卷积神经网络，训练卷积神经网络，直到其输出层的损失函数值小于等于0.0001，得到训练好的卷积神经网络；
(3)划分待处理纹理图像：
(3a)将待处理纹理图像输入到训练好的卷积神经网络的前5层，得到前5层的特征图；
(3b)卷积神经网络每一层中待处理纹理图像的特征图矩阵自相乘，组成格拉姆Gram矩阵；
(3c)按照下式，生成待处理纹理图像的子块矩阵：
其中，表示对y的取值操作，y表示待处理纹理图像的子块矩阵，min表示最小值操作，s表示待处理纹理图像的子块权重系数，s∈{1000,2000}，∈表示属于符号，∑表示求和操作，wr表示训练好的卷积神经网络第r层的权重值，Nr、Mr分别表示训练好的卷积神经网络第r层特征向量的行和列，Gr表示在训练好的卷积神经网络中第r层的格拉姆Gram矩阵；
(3d)s＝1000时，生成待处理纹理图像的子块矩阵1，按照阵列式扫描方式，依次将待处理纹理图像的合成图像矩阵放入各自对应的待处理纹理图像的合成图像位置中，得到待处理纹理图像的子块1；
(3e)s＝2000时，生成待处理纹理图像的子块矩阵2，按照阵列式扫描方式，依次将待处理纹理图像的合成图像矩阵放入各自对应的待处理纹理图像的合成图像位置中，得到待处理纹理图像的子块2；
(4)按照下式，生成待处理纹理图像的合成图像矩阵：
其中，表示对T取值操作，T表示待处理纹理图像的合成图像矩阵，min表示最小值操作，λ表示模型参数，且λ∈[0,1]，∑表示求和操作，wq表示训练好的卷积神经网络在第q层的权重值，Nq、Mq分别表示第q层特征向量的行和列，Gq表示在训练好的卷积神经网络中第q层待处理纹理图像的子块1的格拉姆Gram矩阵，Fq表示在训练好的卷积神经网络中第q层待处理纹理图像的子块2的特征图矩阵；
(5)生成待处理纹理图像的合成图像：
按照阵列式扫描方式，依次将待处理纹理图像的合成图像矩阵，放入各自对应的待处理纹理图像的合成图像位置中，得到待处理纹理图像的合成图像。
本发明与现有的技术相比具有以下优点：
第一，由于本发明采用7层卷积神经网络，通过卷积神经网络中多层的网络自学习特征，学习到更多的纹理特征，克服了现有技术中采用最佳匹配易导致得到的结果是局部最优以及无法合成任意尺寸的纹理图像的不足，使得本发明能够得到全局最优解，能够合成任意尺寸纹理图像。
第二，由于本发明采用生成待处理纹理图像的合成图像矩阵，通过计算卷积神经中各层特征向量的格拉姆Gram矩阵，获得纹理图像的全局统计特征，克服了现有技术中采用像素域上的欧氏距离易导致合成的纹理包含了许多破碎的结构以及对于低分辨率的输入纹理图像无法合成纹理图像的不足，使得本发明能够成功地抑制噪声，可以得到丰富的纹理图像细节信息，增强了纹理图像的清晰度。
附图说明
图1是本发明的流程图；
图2是本发明在仿真实验中使用的Stone纹理测试图像；
图3是本发明在仿真实验中得到的200×200的Stone纹理合成图像；
图4是本发明在仿真实验中得到的800×800的Stone纹理合成图像；
图5是本发明在仿真实验中得到的1024×1024的Stone纹理合成图像。
具体实施方式
下面结合附图对本发明做进一步的描述。
参照附图1对本发明的步骤做进一步的描述。
步骤1，输入一幅512×512的待处理纹理图像。
步骤2，构建并训练卷积神经网络。
构建含有7层的卷积神经网络，这7层的卷积神经网络的结构依次是卷积层conv1_1，卷积层conv2_1，卷积层conv3_1，池化层pool4，卷积层conv5_1，全连接层fc6，分类层softmax7。
所述构建含有7层的卷积神经网络的步骤如下：
第1步，将512×512像素大小的纹理图输入卷积层conv1_1，用64个卷积核，对其进行块大小为3×3像素和步长为1像素的卷积操作，得到64幅510×510像素大小的特征图。
第2步，将卷积层conv1_1输出的64幅特征图输入到卷积层conv2_1，用128个卷积核，对其进行块大小为3×3像素和步长为1像素的卷积操作，得到128幅508×508像素大小的特征图。
第3步，将卷积层conv2_1输出的128幅特征图输入卷积层conv3_1，用256个卷积核，对其进行块大小为3×3像素和步长为1像素的卷积操作，得到256幅分辨率为506×506像素的特征图。
第4步，将卷积层conv3_1输出的256幅特征图输入池化层pool4，对其进行最大池化操作，池化块的大小为2×2像素，步长为2像素，得到256幅分辨率为253×253像素的特征图。
第5步，将池化层pool4输出的256幅特征图输入卷积层conv5_1，用512个卷积核，对其进行块大小为3×3像素和步长为1像素的卷积操作，得到512幅分辨率为251×251像素的特征图。
第6步，将卷积层conv5_1输出的512幅特征图输入全连接层fc6，按照下式，对其中每一个像素点进行激活，得到激活后的特征图的像素点的值，将激活后的特征图以列的顺序排列成1维向量，得到1×3136维的特征图：
其中，f(x)表示激活后的特征图的像素点的值，x表示激活前特征图的像素点的值，e表示一个自然常数。
第7步，将全连接层fc6输出的特征向量输入分类层softmax7，得到纹理图的分类标签。
第8步，按照下式，计算分类层softmax7输出的分类标签的概率，输出每个分类标签的概率：
p(β＝t|α；θ)＝eθ
其中，p(·)表示分类层softmax7输出的分类标签的概率，β表示卷积神经网络中全连接层fc6输出的第α个特征图，t表示分类层softmax7输出的分类标签值，t∈1,2,...,20，|表示限制符号，e表示一个自然常数，θ表示模型参数。
第9步，按照下式，计算分类层softmax7的损失函数：
其中，J(θ)表示损失函数，m表示纹理样本的数量，e表示一个自然常数，θ表示模型参数。
所述训练卷积神经网络的步骤如下：
第1步，向前传播阶段，将样本输入卷积神经网络计算相应的实际输出，在此阶段，信息从卷积神经网络输入层经过逐级变换，传送到卷积神经网络输出层。
第2步，向后传播阶段，计算卷积神经网络实际输出与样本标签对应的理想输出的差，按极小化误差的方法，反向传播调整卷积神经网络的权值。
第3步，重复第1步和第2步的操作，直到卷积神经网络分类层softmax7之后的输出的损失函数J(θ)≤0.0001为止，得到训练好的卷积神经网络。
将纹理图片输入到卷积神经网络，训练卷积神经网络，直到其输出层的损失函数值小于等于0.0001，得到训练好的卷积神经网络。
步骤3，划分待处理纹理图像。
将待处理纹理图像输入到训练好的卷积神经网络的前5层，得到前5层的特征图。
卷积神经网络每一层中待处理纹理图像的特征图矩阵自相乘，组成格拉姆Gram矩阵。
按照下式，生成待处理纹理图像的子块矩阵：
其中，表示对y的取值操作，y表示待处理纹理图像的子块矩阵，min表示最小值操作，s表示待处理纹理图像的子块权重系数，s∈{1000,2000}，∈表示属于符号，∑表示求和操作，wr表示训练好的卷积神经网络第r层的权重值，Nr、Mr分别表示训练好的卷积神经网络第r层特征向量的行和列，Gr表示在训练好的卷积神经网络中第r层的格拉姆Gram矩阵。
s＝1000时，生成待处理纹理图像的子块矩阵1，按照阵列式扫描方式，依次将待处理纹理图像的合成图像矩阵放入各自对应的待处理纹理图像的合成图像位置中，得到待处理纹理图像的子块1。
所述阵列式扫描方式的步骤如下：
从左到右、从上到下依次读取矩阵中的每一个元素。
s＝2000时，生成待处理纹理图像的子块矩阵2，按照阵列式扫描方式，依次将待处理纹理图像的合成图像矩阵放入各自对应的待处理纹理图像的合成图像位置中，得到待处理纹理图像的子块2。
步骤4，按照下式，生成待处理纹理图像的合成图像矩阵：
其中，表示对T取值操作，T表示待处理纹理图像的合成图像矩阵，min表示最小值操作，λ表示模型参数，且λ∈[0,1]，∑表示求和操作，wq表示训练好的卷积神经网络在第q层的权重值，Nq、Mq分别表示第q层特征向量的行和列，Gq表示在训练好的卷积神经网络中第q层待处理纹理图像的子块1的格拉姆Gram矩阵，Fq表示在训练好的卷积神经网络中第q层待处理纹理图像的子块2的特征图矩阵。
步骤5，生成待处理纹理图像的合成图像。
按照阵列式扫描方式，依次将待处理纹理图像的合成图像矩阵，放入各自对应的待处理纹理图像的合成图像位置中，得到待处理纹理图像的合成图像。
本发明的效果可以通过以下仿真实验作进一步说明。
1.仿真实验条件：
本发明的实验仿真环境为：
软件：ubuntu 14.04，Ipython2.7
处理器：Intel Xeon(R)CPU [email protected]×8
内存：125.9GB
本发明的仿真实验所用到的图像如附图2所示。该图像来源于标准图像库。
2.仿真实验内容：
本发明的仿真实验具体分为三个仿真实验。
仿真实验一：利用本发明对纹理图像为附图2作为输入，合成200×200的纹理图像，结果如附图3所示。
仿真实验二：利用本发明对纹理图像为附图2作为输入，合成800×800的纹理图像，结果如附图4所示。
仿真实验三：利用本发明对纹理图像为附图2作为输入，合成1024×1024的纹理图像，结果如附图5所示。
3.仿真实验结果分析：
从图3、图4、图5可以看出，本发明得到的合成纹理图像未出现模糊迹象，合成的三种尺寸纹理图像的纹理边缘清晰，说明本发明能成功抑制噪声，能大规模地合成任意大小的纹理图像，且合成的纹理性能很好。
Claims (5)
1.一种基于卷积神经网络的任意尺寸样本纹理合成方法，其特征在于，包括以下步骤：
(1)输入一幅512×512的待处理纹理图像；
(2)构建并训练卷积神经网络：
(2a)构建含有7层的卷积神经网络；
(2b)将纹理图片输入到卷积神经网络，训练卷积神经网络，直到其输出层的损失函数值小于等于0.0001，得到训练好的卷积神经网络；
(3)划分待处理纹理图像：
(3a)将待处理纹理图像输入到训练好的卷积神经网络的前5层，得到前5层的特征图；
(3b)卷积神经网络每一层中待处理纹理图像的特征图矩阵自相乘，组成格拉姆Gram矩阵；
(3c)按照下式，生成待处理纹理图像的子块矩阵：
<mrow>
<munder>
<mi>arg</mi>
<mi>y</mi>
</munder>
<mi>min</mi>
<mo>{</mo>
<mi>s</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>r</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>5</mn>
</munderover>
<msub>
<mi>w</mi>
<mi>r</mi>
</msub>
<mfrac>
<mn>1</mn>
<mrow>
<mn>4</mn>
<msup>
<msub>
<mi>N</mi>
<mi>r</mi>
</msub>
<mn>2</mn>
</msup>
<msubsup>
<mi>M</mi>
<mi>r</mi>
<mn>2</mn>
</msubsup>
</mrow>
</mfrac>
<msup>
<mrow>
<mo>(</mo>
<msup>
<mi>G</mi>
<mi>r</mi>
</msup>
<mo>-</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>}</mo>
</mrow>
其中，表示对y的取值操作，y表示待处理纹理图像的子块矩阵，min表示最小值操作，s表示待处理纹理图像的子块权重系数，s∈{1000,2000}，∈表示属于符号，∑表示求和操作，wr表示训练好的卷积神经网络第r层的权重值，Nr、Mr分别表示训练好的卷积神经网络第r层特征向量的行和列，Gr表示在训练好的卷积神经网络中第r层的格拉姆Gram矩阵；
(3d)s＝1000时，生成待处理纹理图像的子块矩阵1，按照阵列式扫描方式，依次将待处理纹理图像的合成图像矩阵放入各自对应的待处理纹理图像的合成图像位置中，得到待处理纹理图像的子块1；
(3e)s＝2000时，生成待处理纹理图像的子块矩阵2，按照阵列式扫描方式，依次将待处理纹理图像的合成图像矩阵放入各自对应的待处理纹理图像的合成图像位置中，得到待处理纹理图像的子块2；
(4)按照下式，生成待处理纹理图像的合成图像矩阵：
<mrow>
<munder>
<mi>arg</mi>
<mi>T</mi>
</munder>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<mo>{</mo>
<mi>&lambda;</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>q</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>5</mn>
</munderover>
<msub>
<mi>w</mi>
<mi>q</mi>
</msub>
<mfrac>
<mn>1</mn>
<mrow>
<mn>4</mn>
<msup>
<msub>
<mi>N</mi>
<mi>q</mi>
</msub>
<mn>2</mn>
</msup>
<msubsup>
<mi>M</mi>
<mi>q</mi>
<mn>2</mn>
</msubsup>
</mrow>
</mfrac>
<msup>
<mrow>
<mo>(</mo>
<msup>
<mi>G</mi>
<mi>q</mi>
</msup>
<mo>-</mo>
<mi>T</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<mfrac>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>&lambda;</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>q</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>5</mn>
</munderover>
<msub>
<mi>w</mi>
<mi>q</mi>
</msub>
<msup>
<mrow>
<mo>(</mo>
<msup>
<mi>F</mi>
<mi>q</mi>
</msup>
<mo>-</mo>
<mi>T</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>}</mo>
</mrow>
其中，表示对T取值操作，T表示待处理纹理图像的合成图像矩阵，min表示最小值操作，λ表示模型参数，且λ∈[0,1]，∑表示求和操作，wq表示训练好的卷积神经网络在第q层的权重值，Nq、Mq分别表示第q层特征向量的行和列，Gq表示在训练好的卷积神经网络中第q层待处理纹理图像的子块1的格拉姆Gram矩阵，Fq表示在训练好的卷积神经网络中第q层待处理纹理图像的子块2的特征图矩阵；
(5)生成待处理纹理图像的合成图像：
按照阵列式扫描方式，依次将待处理纹理图像的合成图像矩阵，放入各自对应的待处理纹理图像的合成图像位置中，得到待处理纹理图像的合成图像。
2.根据权利要求1所述的基于卷积神经网络的任意尺寸样本纹理合成方法，其特征在于：步骤(2a)中所述7层卷积神经网络的结构依次是，卷积层conv1_1，卷积层conv2_1，卷积层conv3_1，池化层pool4，卷积层conv5_1，全连接层fc6，分类层softmax7。
3.根据权利要求1所述的基于卷积神经网络的任意尺寸样本纹理合成方法，其特征在于：步骤(2a)中所述构建含有7层的卷积神经网络的步骤如下：
第1步，将512×512像素大小的纹理图输入卷积层conv1_1，用64个卷积核，对其进行块大小为3×3像素和步长为1像素的卷积操作，得到64幅510×510像素大小的特征图；
第2步，将卷积层conv1_1输出的64幅特征图输入到卷积层conv2_1，用128个卷积核，对其进行块大小为3×3像素和步长为1像素的卷积操作，得到128幅508×508像素大小的特征图；
第3步，将卷积层conv2_1输出的128幅特征图输入卷积层conv3_1，用256个卷积核，对其进行块大小为3×3像素和步长为1像素的卷积操作，得到256幅分辨率为506×506像素的特征图；
第4步，将卷积层conv3_1输出的256幅特征图输入池化层pool4，对其进行最大池化操作，池化块的大小为2×2像素，步长为2像素，得到256幅分辨率为253×253像素的特征图；
第5步，将池化层pool4输出的256幅特征图输入卷积层conv5_1，用512个卷积核，对其进行块大小为3×3像素和步长为1像素的卷积操作，得到512幅分辨率为251×251像素的特征图；
第6步，将卷积层conv5_1输出的512幅特征图输入全连接层fc6，按照下式，对其中每一个像素点进行激活，得到激活后的特征图的像素点的值，将激活后的特征图以列的顺序排列成1维向量，得到1×3136维的特征图：
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<mi>e</mi>
<mi>x</mi>
</msup>
<mo>-</mo>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mi>x</mi>
</mrow>
</msup>
</mrow>
<mrow>
<msup>
<mi>e</mi>
<mi>x</mi>
</msup>
<mo>+</mo>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mi>x</mi>
</mrow>
</msup>
</mrow>
</mfrac>
</mrow>
其中，f(x)表示激活后的特征图的像素点的值，x表示激活前特征图的像素点的值，e表示一个自然常数；
第7步，将全连接层fc6输出的特征向量输入分类层softmax7，得到纹理图的分类标签；
第8步，按照下式，计算分类层softmax7输出的分类标签的概率，输出每个分类标签的概率：
p(β＝t|α；θ)＝eθ
其中，p(·)表示分类层softmax7输出的分类标签的概率，β表示卷积神经网络中全连接层fc6输出的第α个特征图，t表示分类层softmax7输出的分类标签值，t∈1,2,...,20，|表示限制符号，e表示一个自然常数，θ表示模型参数；
第9步，按照下式，计算分类层softmax7的损失函数：
<mrow>
<mi>J</mi>
<mrow>
<mo>(</mo>
<mi>&theta;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mi>m</mi>
</mfrac>
<mo>&lsqb;</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</munderover>
<mi>i</mi>
<mi> </mi>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</munderover>
<msup>
<mi>ie</mi>
<mi>&theta;</mi>
</msup>
</mrow>
<mi>m</mi>
</mfrac>
<mo>+</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</munderover>
<msup>
<mi>ie</mi>
<mi>&theta;</mi>
</msup>
</mrow>
<mi>m</mi>
</mfrac>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
其中，J(θ)表示分类层softmax7的损失函数，m表示纹理样本的数量，e表示一个自然常数，θ表示模型参数。
4.根据权利要求1所述的基于卷积神经网络的任意尺寸样本纹理合成方法，其特征在于：步骤(2b)中所述训练卷积神经网络的步骤如下：
第1步，向前传播阶段，将样本输入卷积神经网络计算相应的实际输出，在此阶段，信息从卷积神经网络输入层经过逐级变换，传送到卷积神经网络输出层；
第2步，向后传播阶段，计算卷积神经网络实际输出与样本标签对应的理想输出的差，按极小化误差的方法，反向传播调整卷积神经网络的权值；
第3步，重复第1步和第2步的操作，直到卷积神经网络分类层softmax7之后的输出的损失函数J(θ)≤0.0001为止。
5.根据权利要求1所述的基于卷积神经网络的任意尺寸样本纹理合成方法，其特征在于：步骤(3d)、步骤(3e)、步骤(5)中所述阵列式扫描方式是从左到右、从上到下依次读取矩阵中的每一个元素。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710781915.4A CN107578455B (zh) | 2017-09-02 | 2017-09-02 | 基于卷积神经网络的任意尺寸样本纹理合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710781915.4A CN107578455B (zh) | 2017-09-02 | 2017-09-02 | 基于卷积神经网络的任意尺寸样本纹理合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107578455A true CN107578455A (zh) | 2018-01-12 |
| CN107578455B CN107578455B (zh) | 2019-11-01 |
Family
ID=61031158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710781915.4A Active CN107578455B (zh) | 2017-09-02 | 2017-09-02 | 基于卷积神经网络的任意尺寸样本纹理合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107578455B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280861A (zh) * | 2018-01-22 | 2018-07-13 | 厦门启尚科技有限公司 | 一种图片进行智能查找循环处理的方法 |
| CN108986058A (zh) * | 2018-06-22 | 2018-12-11 | 华东师范大学 | 明度一致性学习的图像融合方法 |
| CN110298899A (zh) * | 2019-06-10 | 2019-10-01 | 天津大学 | 一种基于卷积神经网络特征图匹配的图像纹理合成方法 |
| CN110458919A (zh) * | 2018-02-07 | 2019-11-15 | 深圳市腾讯计算机***有限公司 | 一种动态纹理视频生成方法、装置、服务器及存储介质 |
| CN110599530A (zh) * | 2019-09-03 | 2019-12-20 | 西安电子科技大学 | 基于双正则约束的mvct图像纹理增强方法 |
| CN112541856A (zh) * | 2020-12-07 | 2021-03-23 | 重庆邮电大学 | 一种结合马尔科夫场和格拉姆矩阵特征的医学类图像风格迁移方法 |
| CN112967209A (zh) * | 2021-04-23 | 2021-06-15 | 上海大学 | 一种基于多倍采样的内窥镜图像血管纹理增强方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650653A (zh) * | 2016-12-14 | 2017-05-10 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于深度学习的人脸识别和年龄合成联合模型的构建方法 |
-
2017
- 2017-09-02 CN CN201710781915.4A patent/CN107578455B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650653A (zh) * | 2016-12-14 | 2017-05-10 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于深度学习的人脸识别和年龄合成联合模型的构建方法 |
Non-Patent Citations (3)
| Title |
|---|
| IVAN USTYUZHANINOV等: "Texture synthesis using shallow convolutional networks with random filters", 《ARXIV.ORG/ABS/1606.00021》 * |
| LEON A.GATYS等: "Texture synthesis using convolutional neural networks", 《ADVANCES IN NEURAL INFORMATION PROCEEDING SYSTEM 28》 * |
| XIUXIA CAI等: "Combining inconsistent textures using convolutional neural networks", 《JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280861A (zh) * | 2018-01-22 | 2018-07-13 | 厦门启尚科技有限公司 | 一种图片进行智能查找循环处理的方法 |
| CN108280861B (zh) * | 2018-01-22 | 2021-08-27 | 厦门启尚科技有限公司 | 一种图片进行智能查找循环处理的方法 |
| CN110517335A (zh) * | 2018-02-07 | 2019-11-29 | 深圳市腾讯计算机***有限公司 | 一种动态纹理视频生成方法、装置、服务器及存储介质 |
| CN110458919A (zh) * | 2018-02-07 | 2019-11-15 | 深圳市腾讯计算机***有限公司 | 一种动态纹理视频生成方法、装置、服务器及存储介质 |
| CN108986058B (zh) * | 2018-06-22 | 2021-11-19 | 华东师范大学 | 明度一致性学习的图像融合方法 |
| CN108986058A (zh) * | 2018-06-22 | 2018-12-11 | 华东师范大学 | 明度一致性学习的图像融合方法 |
| CN110298899A (zh) * | 2019-06-10 | 2019-10-01 | 天津大学 | 一种基于卷积神经网络特征图匹配的图像纹理合成方法 |
| CN110298899B (zh) * | 2019-06-10 | 2023-04-07 | 天津大学 | 一种基于卷积神经网络特征图匹配的图像纹理合成方法 |
| CN110599530A (zh) * | 2019-09-03 | 2019-12-20 | 西安电子科技大学 | 基于双正则约束的mvct图像纹理增强方法 |
| CN110599530B (zh) * | 2019-09-03 | 2022-03-04 | 西安电子科技大学 | 基于双正则约束的mvct图像纹理增强方法 |
| CN112541856A (zh) * | 2020-12-07 | 2021-03-23 | 重庆邮电大学 | 一种结合马尔科夫场和格拉姆矩阵特征的医学类图像风格迁移方法 |
| CN112541856B (zh) * | 2020-12-07 | 2022-05-03 | 重庆邮电大学 | 一种结合马尔科夫场和格拉姆矩阵特征的医学类图像风格迁移方法 |
| CN112967209A (zh) * | 2021-04-23 | 2021-06-15 | 上海大学 | 一种基于多倍采样的内窥镜图像血管纹理增强方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107578455B (zh) | 2019-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107578455A (zh) | 基于卷积神经网络的任意尺寸样本纹理合成方法 | |
| Zhu et al. | Data Augmentation using Conditional Generative Adversarial Networks for Leaf Counting in Arabidopsis Plants. | |
| CN111753828B (zh) | 一种基于深度卷积神经网络的自然场景水平文字检测方法 | |
| CN105657402B (zh) | 一种深度图恢复方法 | |
| CN110210362A (zh) | 一种基于卷积神经网络的交通标志检测方法 | |
| CN103927531B (zh) | 一种基于局部二值和粒子群优化bp神经网络的人脸识别方法 | |
| CN110633661A (zh) | 一种融合语义分割的遥感图像目标检测方法 | |
| CN110197223A (zh) | 基于深度学习的点云数据分类方法 | |
| CN108399362A (zh) | 一种快速行人检测方法及装置 | |
| CN108154192A (zh) | 基于多尺度卷积与特征融合的高分辨sar地物分类方法 | |
| CN103413151B (zh) | 基于图正则低秩表示维数约简的高光谱图像分类方法 | |
| CN107256246A (zh) | 基于卷积神经网络的印花织物图像检索方法 | |
| CN110728324B (zh) | 基于深度复值全卷积神经网络的极化sar图像分类方法 | |
| CN107563442A (zh) | 基于稀疏低秩正则图张量化嵌入的高光谱图像分类方法 | |
| CN106504233A (zh) | 基于Faster R‑CNN的无人机巡检图像电力小部件识别方法及*** | |
| CN105894045A (zh) | 一种基于空间金字塔池化的深度网络模型的车型识别方法 | |
| CN107229918A (zh) | 一种基于全卷积神经网络的sar图像目标检测方法 | |
| CN107316004A (zh) | 基于深度学习的空间目标识别方法 | |
| CN113160062B (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
| CN106778852A (zh) | 一种修正误判的图像内容识别方法 | |
| CN107944428A (zh) | 一种基于超像素集的室内场景语义标注方法 | |
| CN108564111A (zh) | 一种基于邻域粗糙集特征选择的图像分类方法 | |
| CN109472757A (zh) | 一种基于生成对抗神经网络的图像去台标方法 | |
| CN112396036B (zh) | 一种结合空间变换网络和多尺度特征提取的遮挡行人重识别方法 | |
| CN109344966A (zh) | 一种高效张量化全连接神经网络的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |