CN108984904A - 一种基于深度神经网络的家居设计方法 - Google Patents

Abstract

本发明涉及一种基于深度神经网络的家居设计方法，属于深度神经网络及家居设计技术领域。首先采集家居设计陈列对家居进行标注，再基于经过标注的家居摆放顺序生成序列数据；然后设计家居预测模型，基于所设计的家居预测模型提取家具字符间的结构特征、学习序列数据并对家居摆放顺序进行预测；基于家居物体相对尺寸的参数约束设计双向分层家居预测模型，再进行层次化递归的多轮预测，使多轮预测结果更符合家居设计的实际情况；最后针对实际应用中对不同设计风格的需求，设计了针对特定风格的家居预测模型。本发明运用三维引擎进行三维家居场景绘制，以三维方式直观地证明了模型的有效性和风格学习优势。

Description

一种基于深度神经网络的家居设计方法

技术领域

本发明涉及一种基于深度神经网络的家居设计方法，属于深度学习技术领域。

背景技术

深度神经网络(Deep Neural Network,DNN)是目前许多现代AI应用的基础。不同于传统机器学习算法的是，它可以自主地从数据中学习特征，这一过程是不需要人为干预，更智能化，也更加符合人类感知世界的机理。此外，在许多领域中，DNN的准确性已经超过人类，DNN作为一个父类，其包含的主要算法可以分为四个体系：卷积神经网络、深度堆栈自编码网络、循环神经网络、生成对抗网络。其中，卷积神经网络是在空间上的加深、循环神经网络是在时间上的加深。

循环神经网络(Recurrent Neural Network,RNN)在实际应用中主要是自然语言处理，其特殊之处在于考虑了上下文信息对结果输出的影响，网络的当前输出y_t不仅与当前输入x_t有关，还与上一时刻隐藏层的状态h_t-1有关，根据h_t-1和x_t获得新的隐藏层状态h_t，决定当前时刻的输出并影响下一时刻。由于RNN的特殊性，其在反向传播的过程中，不仅仅依赖于当前层的网络，还依赖前面若干层的网络，这种传播算法称为随时间反向传播算法(backpropagation through time，BPTT)。

现阶段对于家居设计方法的研究中，大都使用高斯模型和贝叶斯网络来训练模型提取对象间的结构特征，这些算法都是基于智能计算方法的，在模型简化上存在一定的提升空间且不能够学习设计风格，算法方面的工作可以大致分为三类：家具布局优化、场景建模与重建、场景合成，这些方法存在着一些问题，比如建模与重建对采集特定数据的需求较高(如Kinect数据)、场景合成需要提取整体特征并时刻把控生成场景与原型之间的相似度。

发明内容

本发明的目的是针对现有家居预测模型在模型简化上还有一定提升空间以及设计风格不能学习的技术缺陷，提出了一种基于深度神经网络的家居设计方法。

本发明的核心思想是：首先采集家居设计陈列对家居序列进行标注，再基于经过标注的家居序列，即家居摆放顺序生成序列数据；然后设计顺序结构家居预测模型，基于所设计的顺序结构家居预测模型提取家具字符间的结构特征、学习序列数据并对家居摆放顺序进行预测；引入限制家居物体相对尺寸的参数约束，构建双向分层家居预测模型，对于每一层的预测任务都事先给定该层的参数约束，同时在预测阶段利用集束搜索进行参数筛选，即进行层次化递归的多轮预测，预测结果更符合家居设计的实际情况；最后设计针对不同风格的家居预测展示模型，实现应用中对不同设计风格的需求，运用三维引擎进行三维家居场景绘制，以三维方式直观地证明了模型的有效性和风格学习优势。

本发明的目的通过以下技术方案实现：

一种基于深度神经网络的家居设计方法包括顺序结构家居预测模型和双向分层家居预测模型，实现方法分为数据预处理阶段、训练阶段、预测阶段以及模型绘制阶段；

其中，顺序结构家居预测模型的数据预处理阶段，包括如下步骤：

步骤1.将采集得到每一组家居摆放数据，按顺序进行人工标注得到家居序列，该序列分为输入序列和输出序列两部分，生成完整的家居数据集；

步骤2.创建对应的家居数据集词汇表，词汇表主要包含特殊标记和家居标记；

顺序结构家居预测模型的训练阶段，包括如下步骤：

步骤3.序列编码过程，具体为：将步骤1的输入序列作为循环神经网络模型的输入，计算并得到状态序列，该状态序列较为完整地保留了输入序列的结构信息；

步骤4.序列解码过程，具体为：对步骤3得到的状态序列加权求和得到当前状态语义向量，该语义向量用于判定模型需要将更多的注意力放于状态序列的哪个位置，使家居的结构信息得以在全部的神经网络模型中传输，将当前状态语义向量作为循环神经网络模型的输入，计算得到出输出序列的概率分布，得到基于循环神经网络的顺序结构家居序列预测模型；

顺序结构家居预测模型的预测阶段，具体为：

步骤5.将一组部分家居序列输入到步骤4得到的模型，生成并得到完整的家居序列；

双向分层家居预测模型的数据预处理阶段，包括如下步骤：

步骤6.在步骤1的家居数据集中加入尺寸参数，并创建带尺寸参数的家居数据集；

步骤7.对所有家居常规尺寸参数化并扩充到步骤2的词汇表中，创建层次化家居模型词汇表，词汇表主要包含特殊标记和家居标记；

步骤8.一个完整的家居序列定义为子序列的集合D，其中D＝{U₁,U₂,…,U_2k-1,U_2k}，每一个子序列U_m包含若干家居模型词汇，即U_m＝{w_m,1,w_m,2,w_m,3…w_m,n}，w_m,n表示该词汇在第m个子序列U_m中的位置n，可以表示如步骤7所示的家居标记的内容含义或特殊标记所表示的当前行为状态，家居序列中U_2i-1表示输入子序列，U_2i表示输出子序列，其中i＝1,2,…,k；

双向分层家居预测模型的训练阶段，分层递归结构建模与实施的过程，包括如下步骤：

步骤9.如步骤8所示家居序列集合，设置递归次数为k，设置i初始值为1；

步骤10.序列编码过程，具体为：将步骤8的输入子序列U_2i-1作为循环神经网络的输入，计算得到该输入子序列对应的编码向量；

步骤11.将步骤10输出的输入子序列对应的编码向量作为循环神经网络的输入，计算得到该输入子序列时刻对应的上下文向量；

步骤12.序列解码过程，具体为：将步骤11输出的上下文向量与步骤8输出子序列U_2i并联一起作为循环神经网络的输入向量，再对该输出子序列进行预测，产生对应该输出子序列的词汇概率分布；

步骤13.置i＝i+1，利用步骤12的输出子序列和下一个输入子序列U_2i-1，组合作为新的输入子序列，迭代执行步骤10至步骤12，直至i＝k遍历完所有子序列，得到基于循环神经网络的分层递归结构家居预测模型；

双向分层家居预测模型的预测阶段，包括如下步骤：

步骤14.基于步骤13家居预测模型，输入家居子序列，预测相应输出子序列；

步骤15.使用集束搜索对预测可选方案进行筛选与排序，在所有满足约束条件的序列中，选择概率得分最高的一个序列作为目标输出，与输入构成当前分层的家居预测序列，最终预测生成完整家居序列；

模型绘制阶段，具体为：利用三维软件进行场景建模，将预测到的家居序列方案在模型库中检索到对应的模型，并在场景中绘制，同时准备不同风格种类的数据集，根据预测序列在模型库中检索对应风格家居进行绘制；

顺序结构家居预测模型和双向分层家居预测模型的模型绘制阶段相同。

有益效果

本发明一种基于深度神经网络的家居设计方法，与现有技术相比，具有如下有益效果：

1.本发明有效地提取了依存结构特征并完成家居摆放顺序预测；

2.根据参数约束有效地预测家居字符间的结构关系和尺寸参数；

3.使家居设计的实现更智能化，同时进行了三维可视化。

附图说明

图1是本发明一种基于深度神经网络的家居设计方法及实施例中顺序结构家居预测模型流程图；

图2是本发明一种基于深度神经网络的家居设计方法及实施例中双向分层家居预测模型流程图。

具体实施方式

下面结合附图对本发明方法的实施例做详细说明，但本发明的实施方式不限于此。构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

实施例1

一种基于深度神经网络的家居设计方法，首先提出了基于依存关系特征的顺序结构家居预测模型，并设计和使用该模型去提取家居字符间的结构特征同时学习顺序摆放序列的预测。具体实现步骤如下：

步骤一，家居数据集的标注及数据集整理

从专业网站家居设计图和家居平面图中采集家居设计陈列，图片采用的标准是空间相对完整且家居陈列符合中等户型规格，对其中涉及到的家居进行标注，在家居标注的选择上，倾向于体积相对较大、个体较独立的对象，用英文单词表示物体的类别，家居对象都是围着墙体摆放一周的，可以按照顺时针顺序，将这些家居的摆放顺序变为序列；在序列中加入了corner(拐角)来表示第一面墙体家居输出结束，第二面墙体家居输出开始，作用相当于某个方向上家居分组隔断的标识；数据集中，每一套序列数据均由四组家居对象组成以保持数据的特征信息完整性；把数据集整理成“输入”和“输出”的对应文件，生成.enc(输入-Encoder)和.dec(输出-Decoder)文件。

步骤二，词汇表创建

词汇表文件的内容是涉及到的家居类别，作用是将输入和输出转换成对应id的形式，在纯结构顺序的家居预测模型中，词汇表包含了32个单词(28种家居类别和4种特殊符号)，词汇表中的内容：_PAD_GO_EOS_UNK chair divan lounge sofa flowerpot……，前四种标识是特殊标记，是用于填充标记输入与输出。_GO标记输入开始，_EOS标记输入结束，_UNK标记在词汇表中未出现的字符，_PAD用来填充序列，保证同一批次中的序列具有相同的长度。

输入和输出转换成的ids文件，.enc中每一行是一个输入，.dec中每一行是一个输出。每一行中的每一个id代表输入或输出中对应词汇表位置的词。

步骤三，顺序结构家居预测模型训练

模型有三种模式，分别是train、test、serve。使用train模式进行训练，test模式来测试，serve模式来验证，模型的Encoder部分选择LSTM，Decoder部分在解码时搜索并输出最优的预测序列，模型加入Attention机制，Encoder与Attention部分并无关联，普通Encoder-Decoder模型都是用于自然语言处理任务的，在家居设计方面，更多是希望预测一些依存关系结构和对称结构以及全局布局分布，模型流程如图1所示。

Encoder部分选用LSTM，使其学会搜索能够与源序列对应的子序列表示，按序读入输入序列(x₁,…,x_Tx)，并计算当前隐藏层状态序列(s₁,…,s_t)；获取每个词x_t的隐藏层状态s_t，当前的隐藏层状态s_t包含了前向词的语义信息，较为完整地保留了输入序列的结构信息；输入门i对输入参数进行处理，遗忘门f设置选择性遗忘的权重，并舍弃部分信息，输出门o对输出参数进行处理，然后计算记忆单元c_t的状态，如公式(1)所示：

其中，x_t表示t时刻网络的输入数据，s_t-1表示t-1时刻隐藏层的神经元状态，U、W是LSTM模型中的权值矩阵，f、i为遗忘门和输入门，为点乘，tanh为激活函数。

计算t时刻LSTM隐藏层的激活值，如公式(2)所示：

其中，o为输出门，为点乘，tanh为激活函数。

用Encoder得到的每一个输入的隐藏层状态信息去预测目标输出，对于每一个预测的条件概率，计算入公式(3)所示：

p(y_i|y₁,…,y_i-1,x)＝g(y_i-1,s_i,c_i) (3)

其中s_i是i时刻RNN的隐藏层状态，g是softmax激活函数，c_i是语义向量。

c_i是由Encode中计算的隐藏层状态序列(h₁,…,h_Tx)决定，每一个h_i包含了完整的输入序列信息，同时在输入序列的第i个位置增加了注意力概率，对h_i加权求和就得到了语义向量c_i；权重参数α_ij或它的关联参数e_ij体现了h_j的重要性并为下一个隐层状态s_i和输出y_i提供了重要信息，这也是Attention Model的作用机制，Decoder部分根据这些信息可以判定需要将更多的注意力放于源句子的哪个位置。

实施例2

一种基于深度神经网络的家居设计方法，进一步引入限制家居物体相对尺寸的参数约束，构建双向分层家居预测模型，对于每一层的预测任务都要事先给定该层的参数约束，同时在预测阶段利用集束搜索进行参数筛选，完成家居序列的方案设计工作，模型流程如图2所示。具体实现步骤如下：

步骤一，层次化的词组级家居数据集构建

在每一个家居字符后追加一个数字，即数字大小表示家居的尺寸，在这里表示的是相对于其摆放墙体的长度，对于每一类家居，设定常用的几个不同尺寸；接下来构建层次化输入与输出对，由于引入了尺寸参数，就需要对每一面墙体都进行单独预测，而非顺序结构中的一对输入和输出序列对就构成一套完整的序列，层次化模型需要进行四次输入和预测输出才会实现完整的方案，因此数据集形式更像是一个序列对的数组。

为构建序列对数组，这里引入了8个元素的集合形式{s1,s2,s3,s4,s5,s6,s7,s8}，代表了输入x与输出y之间四轮“对话”过程，为捕捉交互式预测过程，将特殊的序列结束标记附加到所有训练集序列中，并在来自同输入或同输出中加入标识以表示当前属于输入还是输出阶段。每一个序列的结尾用</s>标记当前序列预测的结束，每四轮预测一套完整家居序列的结束用</d>标记；<x>标记当前是输入阶段，<y>标记当前是输出阶段。

步骤二，层次化家居模型词汇表创建

层次化家居模型词汇表的格式与顺序结构格式相似，其作用是将家居字符转换成对应的id。与顺序结构不同的是引入了参数约束，所以序列是基于词组级的，基于此，统计了所有家居的常规尺寸并将其参数化，扩充到词汇表中。此外表中也包含了扩充的特殊字符，对应格式如表1所示：

表1词汇表内容列表

词汇表内容	含义
		_PAD	序列填充
_GO	输入开始
		_EOS	输入结束
_UNK	陌生字符
		</s>	子序列预测结束
</d>	第四轮预测结束
		chair	家居字符-椅子
divan	家居字符-长沙发
		lounge	家居字符-躺椅
……	家居字符
		(0.3)	参数-0.3m
(0.4)	参数-0.4m
		(0.5)	参数-0.5m
(0.8)	参数-0.8m
		……	参数

词汇表中家居字符包含了28类，描述参数有30个，特殊标记6种，词汇表分为输入与输出两个对应表，两表包含的内容基本相同。

步骤三，双向分层家居预测模型训练

模型由三个循环神经网络模块组成：Encoder、Decoder和Context，Encoder网络模块将每一个子序列映射成一个子序列向量，该向量是经子序列中最后一个字符被处理之后获得的隐藏层状态，Context网络模块实现高层信息的学习与记忆，其通过迭代地处理每个子序列向量来跟踪之前的语义信息，Decoder网络模块利用Context网络模块的隐藏层状态并在下一个子序列预测时产生对应字符的概率分布；

将一次完整的家居序列(四组输入及预测)视为八个子序列的集合D，其中D＝{U₁,U₂,U₃,U₄,U₅,U₆,U₇,U₈}，涉及到输入端和输出端两个交互方，每一个U_m又包含了若干个家居字符，意味着U_m＝{w_m,1,w_m,2,w_m,3…w_m,n}，w_m,n是一个取自词汇表中值的随机变量，代表了其在第m个子序列w中的位置n。字符w_m,n既代表了家居内容的含义又表示了当前的行为状态，即是输入阶段还是预测阶段或者是子序列的结束还是该轮预测的结束,预测模型将概率P的分布进行参数化的过程是由任意长度的所有可能家居完整序列集合中的参数θ来控制。一轮预测过程的概率P可以被分解为如公式(4)所示:

进一步按字符粒度划分又可以分解为如公式(5)所示：

其中，U_<m＝{U₁,…,U_m-1}，w_m,<n＝{w_m,1,…,w_m,n-1}，即表示在子序列U_m中n之前的字符，预测固定的四次分层递归的过程，而对话的回合数是不确定的。模型的抽样可以按照标准对话模型进行，即基于先前采样字符为条件所生成的条件概率p分布P_θ(w_m,n|w_m,<n,U_<m)，每次从中取样一个字符，使用标准的n-grams模型来计算各个完整家居字符预测的联合概率。

在训练阶段，由于每一个Decoder的输出都是有正确答案的，因此不需要对参数进行多余的处理。模型测试阶段，使用集束搜索对可选方案进行筛选与排序，在所有满足约束条件的序列中，选择概率得分最高的一个序列作为目标输出，与输入构成当前分层的家居设计序列。

一种基于深度神经网络的家居设计方法，将前面家居模型所设计的家居方案进行三维可视化，展示基于深度学习的家居模型在学习风格方面的优势。利用Unity3D进行场景建模，将前文预测到的家居序列方案在模型库中检索到对应的模型，并在Unity场景中进行绘制，利用三维场景绘制的方式对场景进行建模其效果更加直观和形象。根据预测序列在模型库中检索对应的中式或欧式家居，绘制效果自然优雅且风格特征明显。

顺序结构家居预测模型在训练次数达到60K左右时，模型的perplexity基本稳定在1.21左右，可以直观地理解为平均情况下，模型预测下一个家居字符时，认为有1～2个词等可能地作为下一个词的合理选择，说明模型基本上可以找到合适的下一个目标预测，模型可以提取家居字符之间结构关系，同时预测的家居设计方案具有一定的场景合理性；

在双向分层家居预测模型中，训练达到50epochs时，模型的perplexity稳定在2.52左右，模型可以根据参数约束有效地预测家居字符间的结构关系和尺寸参数，具有实际合理性，以表格的形式列举一组模型预测客厅场景的家居设计方案，将客厅预测方案的几个子序列依次连接起来，会出现“flowerpot、television、flowerpot”这样的对称结构，同时“divan”也能恰当的同“television”形成正对的布局，观察参数约束方面，最终筛选出的参数每一组对应的子序列长度和不会超过所依附墙体的长度，根据先验知识，不同的家居类型的尺寸参数会在一个适当的范围内变化，如“flowerpot”不会同参数“3.0”关联起来。

表1:客厅预测方案

以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

Claims (1)

1.一种基于深度神经网络的家居设计方法，其特征在于：核心思想是：首先采集家居设计陈列对家居序列进行标注，再基于经过标注的家居序列，即家居摆放顺序生成序列数据；然后设计顺序结构家居预测模型，基于所设计的顺序结构家居预测模型提取家具字符间的结构特征、学习序列数据并对家居摆放顺序进行预测；引入限制家居物体相对尺寸的参数约束，构建双向分层家居预测模型，对于每一层的预测任务都事先给定该层的参数约束，同时在预测阶段利用集束搜索进行参数筛选，即进行层次化递归的多轮预测，预测结果更符合家居设计的实际情况；最后设计针对不同风格的家居预测展示模型，实现应用中对不同设计风格的需求，运用三维引擎进行三维家居场景绘制，以三维方式直观地证明了模型的有效性和风格学习优势；

本发明的目的通过以下技术方案实现：

一种基于深度神经网络的家居设计方法包括顺序结构家居预测模型和双向分层家居预测模型，实现方法分为数据预处理阶段、训练阶段、预测阶段以及模型绘制阶段；

其中，顺序结构家居预测模型的数据预处理阶段，包括如下步骤：

步骤1.将采集得到每一组家居摆放数据，按顺序进行人工标注得到家居序列，该序列分为输入序列和输出序列两部分，生成完整的家居数据集；

步骤2.创建对应的家居数据集词汇表，词汇表主要包含特殊标记和家居标记；

顺序结构家居预测模型的训练阶段，包括如下步骤：

步骤3.序列编码过程，具体为：将步骤1的输入序列作为循环神经网络模型的输入，计算并得到状态序列，该状态序列较为完整地保留了输入序列的结构信息；

步骤4.序列解码过程，具体为：对步骤3得到的状态序列加权求和得到当前状态语义向量，该语义向量用于判定模型需要将更多的注意力放于状态序列的哪个位置，使家居的结构信息得以在全部的神经网络模型中传输，将当前状态语义向量作为循环神经网络模型的输入，计算得到出输出序列的概率分布，得到基于循环神经网络的顺序结构家居序列预测模型；

顺序结构家居预测模型的预测阶段，具体为：

步骤5.将一组部分家居序列输入到步骤4得到的模型，生成并得到完整的家居序列；

双向分层家居预测模型的数据预处理阶段，包括如下步骤：

步骤6.在步骤1的家居数据集中加入尺寸参数，并创建带尺寸参数的家居数据集；

步骤7.对所有家居常规尺寸参数化并扩充到步骤2的词汇表中，创建层次化家居模型词汇表，词汇表主要包含特殊标记和家居标记；

步骤8.一个完整的家居序列定义为子序列的集合D，其中D＝{U₁,U₂,…,U_2k-1,U_2k}，每一个子序列U_m包含若干家居模型词汇，即U_m＝{w_m,1,w_m,2,w_m,3…w_m,n}，w_m,n表示该词汇在第m个子序列U_m中的位置n，可以表示如步骤7所示的家居标记的内容含义或特殊标记所表示的当前行为状态，家居序列中U_2i-1表示输入子序列，U_2i表示输出子序列，其中i＝1,2,…,k；

双向分层家居预测模型的训练阶段，分层递归结构建模与实施的过程，包括如下步骤：

步骤9.如步骤8所示家居序列集合，设置递归次数为k，设置i初始值为1；

步骤10.序列编码过程，具体为：将步骤8的输入子序列U_2i-1作为循环神经网络的输入，计算得到该输入子序列对应的编码向量；

步骤11.将步骤10输出的输入子序列对应的编码向量作为循环神经网络的输入，计算得到该输入子序列时刻对应的上下文向量；

步骤12.序列解码过程，具体为：将步骤11输出的上下文向量与步骤8输出子序列U_2i并联一起作为循环神经网络的输入向量，再对该输出子序列进行预测，产生对应该输出子序列的词汇概率分布；

步骤13.置i＝i+1，利用步骤12的输出子序列和下一个输入子序列U_2i-1，组合作为新的输入子序列，迭代执行步骤10至步骤12，直至i＝k遍历完所有子序列，得到基于循环神经网络的分层递归结构家居预测模型；

双向分层家居预测模型的预测阶段，包括如下步骤：

步骤14.基于步骤13家居预测模型，输入家居子序列，预测相应输出子序列；

步骤15.使用集束搜索对预测可选方案进行筛选与排序，在所有满足约束条件的序列中，选择概率得分最高的一个序列作为目标输出，与输入构成当前分层的家居预测序列，最终预测生成完整家居序列；

模型绘制阶段，具体为：利用三维软件进行场景建模，将预测到的家居序列方案在模型库中检索到对应的模型，并在场景中绘制，同时准备不同风格种类的数据集，根据预测序列在模型库中检索对应风格家居进行绘制；

顺序结构家居预测模型和双向分层家居预测模型的模型绘制阶段相同。