CN105843816A - 一种用于确定图片陈列信息的方法及设备 - Google Patents

Abstract

本申请的目的是提供一种用于确定图片陈列信息的方法及设备。与现有技术相比，本申请所述的设备先获取已标注陈列信息的多个训练图片；再基于所述多个训练图片经卷积神经网络训练得对应的图片检测模型；当获取到待检测图片时，所述设备根据所述图片检测模型确定待检测图片的图片陈列信息。本申请实现高效、准确地识别图片的陈列方式，从而支持进一步改进所陈列图片或该图片的陈列方式，进而提高用户获取信息效率、提供用户终端屏幕资源利用率并改善用户的使用体验。

Description

一种用于确定图片陈列信息的方法及设备

技术领域

本申请涉及计算机领域，尤其涉及一种用于确定图片陈列信息的方法及设备。

背景技术

随着互联网技术的发展，图片因其相对文字具有表达直观、内容丰富等优势，在越来越多的网页及应用中被广泛应用。例如，网购平台为各电商提供了各种商品信息发布机制，商家可以上传多角度、多背景的商品照片，以吸引用户。

然而，在实际应用中，糟糕的图片陈列方式不仅阻碍了用户获取所需信息，也浪费了用户宝贵的带宽资源、降低了用户的屏幕利用率。显然，鉴于互联网的开放性本质，这样的情况将会持续存在；而且，由于互联网信息的爆发性，试图通过人工来审核这些图片的陈列方式也是不可行的。

发明内容

本申请的目的是提供一种用于确定图片陈列信息的方法及设备。

根据本申请的一个方面，提供了一种用于确定图片陈列信息的方法，其中，该方法包括：

获取已标注陈列信息的多个训练图片；

基于所述多个训练图片经卷积神经网络训练得对应的图片检测模型；

根据所述图片检测模型确定待检测图片的图片陈列信息。

根据本申请的另一方面，还提供了一种用于确定图片陈列信息的设备，其中，该设备包括：

第一装置，用于获取已标注陈列信息的多个训练图片；

第二装置，用于基于所述多个训练图片经卷积神经网络训练得对应的图片检测模型；

第三装置，用于根据所述图片检测模型确定待检测图片的图片陈列信息。

与现有技术相比，本申请通过对图片的不同陈列方式的展示进行建模，并通过所建模型来确定待检测图片的图片陈列信息，实现高效、准确地识别图片的陈列方式，从而支持进一步改进所陈列图片或该图片的陈列方式，进而提高用户获取信息效率、提供用户终端屏幕资源利用率并改善用户的使用体验。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本申请一个方面的一种用于确定图片陈列信息的设备示意图；

图2示出根据本申请一个方面的一种用于确定图片陈列信息的设备中所获取的训练图片与陈列信息的对应关系示意图；

图3示出根据本申请一个优选实施例的一种用于确定图片陈列信息的设备中第一装置的示意图；

图4示出根据本申请一个优选实施例的一种用于确定图片陈列信息的设备中第二装置所执行的流程图；

图5示出根据本申请一个优选实施例的一种用于确定图片陈列信息的设备中第三装置的示意图；

图6示出根据本申请另一个方面的一种用于确定图片陈列信息的方法流程图；

图7示出根据本申请一个优选实施例的一种用于确定图片陈列信息的方法中步骤S1的流程图；

图8示出根据本申请另一个优选实施例的一种用于确定图片陈列信息的方法中步骤S3的流程图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

图1示出根据本申请一个方面的一种用于确定图片陈列信息的设备1。其中，所述设备1包括：第一装置11、第二装置12、第三装置13。具体地，所述第一装置11用于获取已标注陈列信息的多个训练图片；所述第二装置12用于基于所述多个训练图片经卷积神经网络训练得到对应的图片检测模型；所述第三装置13用于根据所述图片检测模型确定待检测图片的图片陈列信息。

在此，所述设备1可由网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云等实现。在此，云由基于云计算(CloudComputing)的大量主机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。本领域技术人员应能理解上述网络设备仅为举例，其他现有的或今后可能出现的网络设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。在此，所述设备1包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。

具体地，所述第一装置11按照所述第二装置12构建图片检测模型所要求的尺寸、格式等，通过http、https等约定通信方式远程调用、或通过本地读取等方式获取训练图片及所对应的陈列信息。其中，所述训练图片可以是所存储的源图片，也可以是对源图片进行修剪之后所得到的图片等。所述第一装置11按照陈列信息的分类均匀地获取各训练图片。其中，所述陈列信息包括任何能够描述所述训练图片所展示的物品的摆放信息、以及所述物品的细节或整体效果的信息等。例如，描述服装的训练图片的陈列信息包括但不限于：模特上身陈列信息、模特下身陈列信息、模特全身陈列信息、上身平铺陈列信息、下身平铺陈列信息、全身平铺陈列信息、细节陈列信息、堆叠陈列信息、多图陈列信息、其他陈列信息等。其与训练图片的对应关系如图2举例。又如，描述家具的训练图片的陈列信息包括但不限于：正面陈列信息、立体陈列信息、侧面陈列信息、细节陈列信息、其他陈列信息等。

在此，各所述训练图片所对应的陈列信息可以由对应各训练图片的数据库中直接获取。也可以根据所获取的各训练图片的陈列方式来确定，其中，所述陈列方式包括多种陈列分类信息，所标注的陈列信息包括所述多种陈列分类信息中至少一个。

例如，所述第一装置11中预设了针对下身服装的陈列方式包括三种陈列分类信息，具体为：模特下身陈列分类信息、下身平铺陈列分类信息和下身细节陈列分类信息。所述第一装置11所获取的训练图片包括：模特展示裤子的图片、模特展示半身裙的图片，同时一并获取了该两幅训练图片的陈列方式均为模特下身陈列分类信息，则对应各图片的陈列信息均为：模特下身陈列信息。

又如，所述第一装置11所获取的训练图片中的一幅图片中既包含模特展示裤子的图像还包含裤子细节的图像，则根据所获取的对应的陈列方式，所述第一装置11确定所述图片的陈列信息包含模特下身陈列信息和下身细节陈列分类信息。

优选地，所述第一装置11通过对源图片进行修剪得到多个训练图片。具体地，所述第一装置11包括：第一一单元111、第一二单元112(如图3所示)。

具体地，所述第一一单元111用于获取已标注陈列信息的多个样本图片；所述第一二单元112用于对每个样本图片进行预处理以获得对应的训练图片。

在此，所述第一一单元111通过http、https等约定通信方式远程调用、或通过本地读取等方式获取多个样本图片。由于所获取的样本图片的尺寸、色彩等各不相同，则所述第一二单元112对每个样本图片进行预处理，以得到符合预设尺寸、色彩要求的各训练图片。

在此，所述第一二单元112对每个样本图片进行预处理的方式包括从所获取的样本图片中选取符合预设尺寸、色彩等要求的图片作为所述训练图片。优选地，所述与处理方式包括：对每个样本图片进行归一化处理以获得对应的训练图片。具体地，所述归一化处理的方式包括但不限于以下至少任一项：1)将样本图片转换为三原色表示。例如，所获取的样本图片为JPG格式，则所述第一二单元112将该样本图片转换为RGB格式。2)对样本图片按比例缩放使其一边为定长。例如，所获取的各样本图片的尺寸各不相同，则所述第一二单元112将该样本图片转换成短边尺寸为a、长边尺寸为(a*a_i/b_i)。其中，i为样本图片的序号，0<i<n，n为所获取的样本图片的数量，a_i为第i个样本图片的短边尺寸，b_i为第i个样本图片的长边尺寸。3)裁剪样本图片使其为正方形。例如，所述第一二单元112将所获取的各样本图片的两短边分别裁剪(a_i-a)/2的宽度，两长边分别裁剪(b_i-a)/2的宽度。其中，i为各样本图片的序号，0<i<n，n为所获取的样本图片的数量，a_i为第i个样本图片的短边尺寸，b_i为第i个样本图片的长边尺寸，a为裁剪后的样本图片的长和宽尺寸。

需要说明的是，本领域技术人员应该理解，上述归一化处理的方式仅为举例。事实上，所述第一二单元112还可以先将样本图片转换为三原色表示，再对样本图片按比例缩放使其一边为定长、和/或进行裁剪。

其中，所述样本图片的数量可以与训练图片的数量相同，也可以少于训练图片的数量。

优选地，所述第一二单元112利用移动窗从经所述归一化处理的每个样本图片中截取多个对应的训练图片。例如，所述第一一单元111所获取的样本图片的数量为n，所述第一二单元112现将所获取的样本图片按照上述任一种或多种方式进行归一化处理。接着，以a’*a’的移动窗对每幅裁剪后的尺寸为a*a的样本图片进行地毯式的移动，其中，移动的步进为t。如此，每幅样本图片都被截取出的训练图片的数量为1+(a-a’)/t，则所述第二单元共得到训练图片的数量为n*(1+(a-a’)/t)。更优选地，所述第一二单元112利用移动窗从经所述归一化处理的每个样本图片中截取多个对应的训练图片，以使所得到的训练图片保留原样本图片的下半部信息；例如，第一二单元112通过使移动窗在移动过程中保持与样本图片底部对齐，从该样本图片中截取多个保留原样本图片的下半部信息的训练图片。

更为优选地，所述第一二单元112还可以通过对所截取的训练图片进行如镜像翻转、平面旋转等的旋转处理，得到更多的训练图片。例如，所述第一二单元112按照上述任一种或多种方式进行归一化处理、甚至截取了多个对应的训练图片之后，将所得到的训练图片进行旋转处理，如此得到更多的训练图片，并将其输送至所述第二装置12。

需要说明的是，所述第一装置11所获取的各训练图片中所展示的物品应属于同一类物品。例如，所获取的各训练图片中所展示的均为服装类物品；或者，所获取的各训练图片中所展示的均为数码类物品等。

所述第二装置12基于所述多个训练图片经卷积神经网络训练得到对应的图片检测模型。

具体地，所述第二装置12将所述第一装置11所获取的各训练图片进行卷积神经网络训练，得到对应各陈列信息的特征向量(即神经元)，再按照各陈列信息对所得到的各特征向量进行分类处理，得到图片检测模型。

例如，所述第二装置12将每个训练图片进行卷积神经网络训练，并将得到的特征向量与所属训练图片的陈列信息相对应，当所有训练图片完成卷积神经网络训练后，将对应同一陈列信息的各固定特征向量在所有维度上进行归一化的分类处理，最终得到分类后的每个维度的特征向量对应一个陈列信息的图片检测模型。

在此，所述卷积神经网络(convoluted neural network)包括三层卷积层及两层全连通层。具体地，所述第二装置12采用梯度下降的方式对每层卷积层所得到的结果进行迭代。再利用两层全连通层将所得到的各特征向量建立连接关系。其中，所述卷积神经网络还可以优选地在其中一层全连通层设置dropout(休眠)层(如图4所示)，用以提升模型收敛的效率；在此，Dropout层的作用是将将其对应的卷积层或全连通层中的部分参数休眠，但是其对应的参数值会保留但是不更新，直到下一次不被选中进行休眠才会更新。该卷积神经网络还包括softmax(软性核函数)层；训练阶段，训练图片和对应的陈列信息会一起被利用，整个问题会经过多层网络进行训练，比如dropout层、卷积层、全连通层等等；其中陈列信息是在最后一层的softmax层发挥作用。Softmax层中包含的是一个非线性分类器，其利用全连通层输出的特征向量与对应的标签进行分类器训练。整个softmax的过程可以分为三步，第一步是对固定特征向量X所有维的值求最大值，记为Max_i，第二步使用指数函数exp将向量中的每一维都转化到0～1之间的数，即向量X中的每一维x[i]＝exp(x[i]–Max_i)，第三步对所有的值求和，然后相应的做归一化，即x[i]＝x[i]/sum(x[i])。

例如，所述第二装置12将图片本身作为一个特征输入所述卷积神经网络进行训练，得到的每张训练图片直接转化为一个特征矩阵[W,H,C]，其中，W为所述训练图片的宽度尺寸，H为所述训练图片的高度尺寸，C为所述训练图片的陈列分类信息等陈列信息。然后所有图片以K张为单位调入模型中进行训练，训练过程中使用了随机梯度下降方法对上述的卷积神经网络进行迭代学习，此处K一般取32或64。其中，每一轮迭代都会更新网络中每一层的参数，如网络层内结点的权重值以及偏执值等，直到这些参数值收敛，取得最优解。更为优选地，所述第二装置12可将三层卷基层处理后的结果进行降采样(如图4中的Maxpooling层(最大值合并层)所示)。接着，所述第二装置12使用全连通层将经过降采样所输出的所有特征向量(即神经元)互相之间建立连接关系，从而实现抽象化表达。

优选地，如图4所示，所述第二装置12在每层卷积层后均设置RELU层和归一化层。其中，RELU(rectified linear unit，校正线性单元，一种激活函数)层利用神经网络中的各神经元的不饱和的非线性特性，提高模型整体的训练效率。所述归一化层基于每个像素点的局部窗口进行归一化处理，也就是局部归一化操作，能够增强模型整体的泛化性能。

其中，所述卷积层包括高斯卷积层，所述高斯卷积层用于对前一层的输出结果与多个高斯滤波核进行卷积操作，其中，所述高斯滤波核是基于所述多个训练图片经学习获得的。

例如，所述第二装置12利用高斯卷积层对前一层的输出结果与多个预设的高斯滤波核进行卷积操作。其中，高斯核的参数是经过学习得到的。所述第二装置12设置三层高斯卷积层所使用的高斯核的尺寸均为5*5，并且，在每一个高斯卷积层中，卷积核均是对图片所有的像素点进行遍历计算。其中，所述第二装置12针对第一层卷积层学习了64个高斯卷积核，针对第二层卷积层学习了32个高斯卷积核，针对第三层卷积层学习了16个高斯卷积层。

需要说明的是，本领域技术人员应该理解，上述各层卷积层的高斯卷积核的数量仅为举例，事实上，各层卷积层的高斯卷积核的数量可由实际需求而定。

在建立了图片检测模型后，所述第二装置12将所述图片检测模型提供给所述第三装置13。当用户上传一待检测图片时，所述第三装置13根据所述图片检测模型确定待检测图片的图片陈列信息。

具体地，所述第三装置13将所述待检测图片输入所述图片检测模型，得到所述待检测图片对应各陈列信息的概率向量，取概率向量的值最大者、或者概率值超出预设阈值者所对应的陈列信息为所述待检测图片的图片陈列信息。

在此，所述图片陈列信息可以仅为一个陈列信息，还可以包括所述多种陈列分类信息中至少一个。

例如，所述图片检测模型所能检测的陈列信息包括：三种陈列分类信息，具体为：正面陈列类型、侧面陈列类型及细节陈列类型。当所述第三装置13所得到的各概率向量的值中超出预设阈值的两个概率向量的值分别对应正面陈列类型和细节陈列类型，则所述第三装置13确定所述待检测图片的图片陈列信息包括：正面陈列类型和细节陈列类型。

若所述第三装置13所得到的各概率向量的值均小于预设阈值，则认定所对一个的待检测图片不合规。

优选地，所述第三装置13包括：第三一单元131、第三二单元132。(如图5所示)

所述第三一单元131用于根据待检测图片的图片相关信息从所述图片检测模型中确定对应的所述图片检测子模型。所述第三二单元132用于根据所述图片检测子模型确定所述待检测图片的图片陈列信息，其中，所述图片陈列信息包括所述多种陈列分类信息中至少一个。

在此，每个所述图片检测子模型对应检测一类物品图片。例如，图片检测子模型A对应检测服装类图片，图片检测子模型B对应检测数码产品类图片。

所述第三一单元131在获取待检测图片的同时，还能获取所述待检测图片的图片相关信息。

例如，所述第三一单元131通过http、https等通信约定获取包含待检测图片和图片相关信息的表格。其中，所述图片相关信息包括但不限于：1)所述待检测图片的展示主体信息。其中，所述展示主体信息用于表示所述待检测图片中所展示的物品名称、类别等。例如，所述展示主体信息包括：服装、上衣。2)所述待检测图片的陈列位置信息。其中，所述陈列位置信息用于表示所述待检测图片中所展示的物品的摆放位置等。例如，所述陈列位置信息包括：家具的主体图、家具的左侧图、家具的右侧图、家具的局部图等。3)所述待检测图片所属应用的应用相关信息。其中，所述应用相关信息用于表示上传所述待检测图片的来源信息等。例如，所述应用相关信息包括：应用客户端所提供的数码类信息、WEB页面中的服装类上传信息等。

由上可见，所述第三一单元131可以根据所述图片相关信息得到所对应的图片检测子模型。当所述第三一单元131根据所述图片相关信息无法得到所对应的图片检测子模型时，则认定所获取的待检测图片不合规。

接着，所述第三二单元132根据所述图片检测子模型确定所述待检测图片的图片陈列信息。

需要说明的是，本领域技术人员应该理解，所述第三二单元132根据所述图片检测子模型确定所述待检测图片的图片陈列信息的方式与前述第三装置13根据所述图片检测模型确定所述待检测图片的图片陈列信息的方式相同或相似，在此不再详述。

图6示出根据本申请一个方面的一种用于确定图片陈列信息的方法。其中，所述方法主要由确定设备来执行。其中，所述方法包括步骤S1、S2和S3。具体地，在步骤S1中，所述确定设备获取已标注陈列信息的多个训练图片；在步骤S2中，所述确定设备基于所述多个训练图片经卷积神经网络训练得到对应的图片检测模型；在步骤S3中，所述确定设备根据所述图片检测模型确定待检测图片的图片陈列信息。

在此，所述确定设备可由网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云等实现。在此，云由基于云计算(CloudComputing)的大量主机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。本领域技术人员应能理解上述网络设备仅为举例，其他现有的或今后可能出现的网络设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。在此，所述确定设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。

具体地，所述确定设备按照所述第二装置构建图片检测模型所要求的尺寸、格式等，通过http、https等约定通信方式远程调用、或通过本地读取等方式获取训练图片及所对应的陈列信息。其中，所述训练图片可以是所存储的源图片，也可以是对源图片进行修剪之后所得到的图片等。所述确定设备按照陈列信息的分类均匀地获取各训练图片。其中，所述陈列信息包括任何能够描述所述训练图片所展示的物品的摆放信息、以及所述物品的细节或整体效果的信息等。例如，描述服装的训练图片的陈列信息包括但不限于：模特上身陈列信息、模特下身陈列信息、模特全身陈列信息、上身平铺陈列信息、下身平铺陈列信息、全身平铺陈列信息、细节陈列信息、堆叠陈列信息、多图陈列信息、其他陈列信息等。其与训练图片的对应关系如图2举例。又如，描述家具的训练图片的陈列信息包括但不限于：正面陈列信息、立体陈列信息、侧面陈列信息、细节陈列信息、其他陈列信息等。

在此，各所述训练图片所对应的陈列信息可以由对应各训练图片的数据库中直接获取。也可以根据所获取的各训练图片的陈列方式来确定，其中，所述陈列方式包括多种陈列分类信息，所标注的陈列信息包括所述多种陈列分类信息中至少一个。

例如，所述确定设备中预设了针对下身服装的陈列方式包括三种陈列分类信息，具体为：模特下身陈列分类信息、下身平铺陈列分类信息和下身细节陈列分类信息。所述确定设备所获取的训练图片包括：模特展示裤子的图片、模特展示半身裙的图片，同时一并获取了该两幅训练图片的陈列方式均为模特下身陈列分类信息，则对应各图片的陈列信息均为：模特下身陈列信息。

又如，所述确定设备所获取的训练图片中的一幅图片中既包含模特展示裤子的图像还包含裤子细节的图像，则根据所获取的对应的陈列方式，所述确定设备确定所述图片的陈列信息包含模特下身陈列信息和下身细节陈列分类信息。

优选地，所述确定设备通过对源图片进行修剪得到多个训练图片。具体地，所述步骤S1包括：步骤S11、步骤S12。如图7所示。在步骤S11中，所述确定设备获取已标注陈列信息的多个样本图片；在步骤S12中，所述确定设备对每个样本图片进行预处理以获得对应的训练图片。

在此，所述确定设备通过http、https等约定通信方式远程调用、或通过本地读取等方式获取多个样本图片。由于所获取的样本图片的尺寸、色彩等各不相同，则所述确定设备对每个样本图片进行预处理，以得到符合预设尺寸、色彩要求的各训练图片。

在此，所述确定设备对每个样本图片进行预处理的方式包括从所获取的样本图片中选取符合预设尺寸、色彩等要求的图片作为所述训练图片。优选地，所述与处理方式包括：对每个样本图片进行归一化处理以获得对应的训练图片。具体地，所述归一化处理的方式包括但不限于以下至少任一项：1)将样本图片转换为三原色表示。例如，所获取的样本图片为JPG格式，则所述确定设备将该样本图片转换为RGB格式。2)对样本图片按比例缩放使其一边为定长。例如，所获取的各样本图片的尺寸各不相同，则所述确定设备将该样本图片转换成短边尺寸为a、长边尺寸为(a*a_i/b_i)。其中，i为样本图片的序号，0<i<n，n为所获取的样本图片的数量，a_i为第i个样本图片的短边尺寸，b_i为第i个样本图片的长边尺寸。3)裁剪样本图片使其为正方形。例如，所述确定设备将所获取的各样本图片的两短边分别裁剪(a_i-a)/2的宽度，两长边分别裁剪(b_i-a)/2的宽度。其中，i为各样本图片的序号，0<i<n，n为所获取的样本图片的数量，a_i为第i个样本图片的短边尺寸，b_i为第i个样本图片的长边尺寸，a为裁剪后的样本图片的长和宽尺寸。

需要说明的是，本领域技术人员应该理解，上述归一化处理的方式仅为举例。事实上，所述确定设备还可以先将样本图片转换为三原色表示，再对样本图片按比例缩放使其一边为定长、和/或进行裁剪。

其中，所述样本图片的数量可以与训练图片的数量相同，也可以少于训练图片的数量。

优选地，所述确定设备利用移动窗从经所述归一化处理的每个样本图片中截取多个对应的训练图片。例如，所述确定设备所获取的样本图片的数量为n，所述确定设备现将所获取的样本图片按照上述任一种或多种方式进行归一化处理。接着，以a’*a’的移动窗对每幅裁剪后的尺寸为a*a的样本图片进行地毯式的移动，其中，移动的步进为t。如此，每幅样本图片都被截取出的训练图片的数量为1+(a-a’)/t，则所述确定设备共得到训练图片的数量为n*(1+(a-a’)/t)。更优选地，所述确定设备利用移动窗从经所述归一化处理的每个样本图片中截取多个对应的训练图片，以使所得到的训练图片保留原样本图片的下半部信息；例如，该确定设备通过使移动窗在移动过程中保持与样本图片底部对齐，从该样本图片中截取多个保留原样本图片的下半部信息的训练图片。

更为优选地，所述确定设备还可以通过对所截取的训练图片进行如镜像翻转、平面旋转等的旋转处理，得到更多的训练图片。例如，所述确定设备按照上述任一种或多种方式进行归一化处理、甚至截取了多个对应的训练图片之后，将所得到的训练图片进行旋转处理，如此得到更多的训练图片，并执行步骤S2。

需要说明的是，所述确定设备所获取的各训练图片中所展示的物品应属于同一类物品。例如，所获取的各训练图片中所展示的均为服装类物品；或者，所获取的各训练图片中所展示的均为数码类物品等。

在步骤S2中，所述确定设备基于所述多个训练图片经卷积神经网络训练得到对应的图片检测模型。

具体地，所述确定设备将在所述步骤S1中所获取的各训练图片进行卷积神经网络训练，得到对应各陈列信息的特征向量(即神经元)，再按照各陈列信息对所得到的各特征向量进行分类处理，得到图片检测模型。

例如，所述确定设备将每个训练图片进行卷积神经网络训练，并将得到的特征向量与所属训练图片的陈列信息相对应，当所有训练图片完成卷积神经网络训练后，将对应同一陈列信息的各固定特征向量在所有维度上进行归一化的分类处理，最终得到分类后的每个维度的特征向量对应一个陈列信息的图片检测模型。

在此，所述卷积神经网络(convoluted neural network)包括三层卷积层及两层全连通层。具体地，所述确定设备采用梯度下降的方式对每层卷积层所得到的结果进行迭代。再利用两层全连通层将所得到的各特征向量建立连接关系。其中，所述卷积神经网络还可以优选地在其中一层全连通层设置dropout(休眠)层(如图4所示)，用以提升模型收敛的效率；在此，Dropout层的作用是将将其对应的卷积层或全连通层中的部分参数休眠，但是其对应的参数值会保留但是不更新，直到下一次不被选中进行休眠才会更新。该卷积神经网络还包括softmax(软性核函数)层；训练阶段，训练图片和对应的陈列信息会一起被利用，整个问题会经过多层网络进行训练，比如dropout层、卷积层、全连通层等等；其中陈列信息是在最后一层的softmax层发挥作用。Softmax层中包含的是一个非线性分类器，其利用全连通层输出的特征向量与对应的标签进行分类器训练。整个softmax的过程可以分为三步，第一步是对固定特征向量X所有维的值求最大值，记为Max_i，第二步使用指数函数exp将向量中的每一维都转化到0～1之间的数，即向量X中的每一维x[i]＝exp(x[i]–Max_i)，第三步对所有的值求和，然后相应的做归一化，即x[i]＝x[i]/sum(x[i])。

例如，所述确定设备将图片本身作为一个特征输入所述卷积神经网络进行训练，得到的每张训练图片直接转化为一个特征矩阵[W,H,C]，其中，W为所述训练图片的宽度尺寸，H为所述训练图片的高度尺寸，C为所述训练图片的陈列分类信息等陈列信息。然后所有图片以K张为单位调入模型中进行训练，训练过程中使用了随机梯度下降方法对上述的卷积神经网络进行迭代学习，此处K一般取32或64。其中，每一轮迭代都会更新网络中每一层的参数，如网络层内结点的权重值以及偏执值等，直到这些参数值收敛，取得最优解。更为优选地，所述确定设备可将三层卷基层处理后的结果进行降采样(如图4中的Maxpooling层(最大值合并层)所示)。接着，所述确定设备使用全连通层将经过降采样所输出的所有特征向量(即神经元)互相之间建立连接关系，从而实现抽象化表达。

优选地，如图4所示，所述确定设备在每层卷积层后均设置RELU(rectified linear unit，校正线性单元，一种激活函数)层和归一化层。其中，RELU层利用神经网络中的各神经元的不饱和的非线性特性，提高模型整体的训练效率。所述归一化层基于每个像素点的局部窗口进行归一化处理，也就是局部归一化操作，能够增强模型整体的泛化性能。

其中，所述卷积层包括高斯卷积层，所述高斯卷积层用于对前一层的输出结果与多个高斯滤波核进行卷积操作，其中，所述高斯滤波核是基于所述多个训练图片经学习获得的。

例如，所述确定设备利用高斯卷积层对前一层的输出结果与多个预设的高斯滤波核进行卷积操作。其中，高斯核的参数是经过学习得到的。所述确定设备设置三层高斯卷积层所使用的高斯核的尺寸均为5*5，并且，在每一个高斯卷积层中，卷积核均是对图片所有的像素点进行遍历计算。其中，所述确定设备针对第一层卷积层学习了64个高斯卷积核，针对第二层卷积层学习了32个高斯卷积核，针对第三层卷积层学习了16个高斯卷积层。

需要说明的是，本领域技术人员应该理解，上述各层卷积层的高斯卷积核的数量仅为举例，事实上，各层卷积层的高斯卷积核的数量可由实际需求而定。

在建立了图片检测模型后，所述确定设备保存所述图片检测模型。当用户上传一待检测图片时，所述确定设备执行步骤S3，即根据所述图片检测模型确定待检测图片的图片陈列信息。

具体地，所述确定设备将所述待检测图片输入所述图片检测模型，得到所述待检测图片对应各陈列信息的概率向量，取概率向量的值最大者、或者概率值超出预设阈值者所对应的陈列信息为所述待检测图片的图片陈列信息。

在此，所述图片陈列信息可以仅为一个陈列信息，还可以包括所述多种陈列分类信息中至少一个。

例如，所述图片检测模型所能检测的陈列信息包括：三种陈列分类信息，具体为：正面陈列类型、侧面陈列类型及细节陈列类型。当所述确定设备所得到的各概率向量的值中超出预设阈值的两个概率向量的值分别对应正面陈列类型和细节陈列类型，则所述确定设备确定所述待检测图片的图片陈列信息包括：正面陈列类型和细节陈列类型。

若所述确定设备所得到的各概率向量的值均小于预设阈值，则认定所对一个的待检测图片不合规。

优选地，所述步骤S3包括：步骤S31、S32。如图4所示。

在步骤S31中，所述确定设备根据待检测图片的图片相关信息从所述图片检测模型中确定对应的所述图片检测子模型。在步骤S32中，所述确定设备根据所述图片检测子模型确定所述待检测图片的图片陈列信息，其中，所述图片陈列信息包括所述多种陈列分类信息中至少一个。

在此，每个所述图片检测子模型对应检测一类物品图片。例如，图片检测子模型A对应检测服装类图片，图片检测子模型B对应检测数码产品类图片。

所述确定设备在获取待检测图片的同时，还能获取所述待检测图片的图片相关信息。

例如，所述确定设备通过http、https等通信约定获取包含待检测图片和图片相关信息的表格。其中，所述图片相关信息包括但不限于：1)所述待检测图片的展示主体信息。其中，所述展示主体信息用于表示所述待检测图片中所展示的物品名称、类别等。例如，所述展示主体信息包括：服装、上衣。2)所述待检测图片的陈列位置信息。其中，所述陈列位置信息用于表示所述待检测图片中所展示的物品的摆放位置等。例如，所述陈列位置信息包括：家具的主体图、家具的左侧图、家具的右侧图、家具的局部图等。3)所述待检测图片所属应用的应用相关信息。其中，所述应用相关信息用于表示上传所述待检测图片的来源信息等。例如，所述应用相关信息包括：应用客户端所提供的数码类信息、WEB页面中的服装类上传信息等。

由上可见，所述确定设备可以根据所述图片相关信息得到所对应的图片检测子模型。当所述确定设备根据所述图片相关信息无法得到所对应的图片检测子模型时，则认定所获取的待检测图片不合规。

接着，所述确定设备根据所述图片检测子模型确定所述待检测图片的图片陈列信息。

需要说明的是，本领域技术人员应该理解，所述步骤S32中根据所述图片检测子模型确定所述待检测图片的图片陈列信息的方式与前述步骤S3中的根据所述图片检测模型确定所述待检测图片的图片陈列信息的方式相同或相似，在此不再详述。

综上所述，本申请的用于确定图片陈列信息的方法及设备，通过对同类物品的不同陈列方式的展示进行建模，并通过所建模型来确定待检测图片的图片陈列信息，实现高效、准确地识别图片的陈列方式，从而支持进一步改进所陈列图片或该图片的陈列方式，进而提高用户获取信息效率、提供用户终端屏幕资源利用率并改善用户的使用体验；另外，本申请对所获取的样本图片进行归一化处理，有利于建模时对训练图片的统一处理，实现了使用较少的样本图片的数量来获得足够多的训练图片，提高建模效率；还有，采用三层卷积层和两层全连通层来进行神经网络训练，能够有效提高图片检测模型的准确性，使得在对待检测图片进行判别和识别时，所识别的准确性达到90％以上。所以，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (20)

1.一种用于确定图片陈列信息的方法，其中，该方法包括：

获取已标注陈列信息的多个训练图片；

基于所述多个训练图片经卷积神经网络训练得对应的图片检测模型；

根据所述图片检测模型确定待检测图片的图片陈列信息。

2.根据权利要求1所述的方法，其中，所述获取已标注陈列信息的多个训练图片包括：

获取已标注陈列信息的多个样本图片；

对每个样本图片进行预处理以获得对应的训练图片。

3.根据权利要求2所述的方法，其中，所述对每个样本图片进行预处理以获得对应的训练图片包括：

对每个样本图片进行归一化处理以获得对应的训练图片。

4.根据权利要求3所述的方法，其中，所述对每个样本图片进行预处理以获得对应的训练图片还包括：

利用移动窗从经所述归一化处理的每个样本图片中截取多个对应的训练图片。

5.根据权利要求3或4所述的方法，其中，所述归一化处理包括以下至少任一项：

将样本图片转换为三原色表示；

对样本图片按比例缩放使其一边为定长；

裁剪样本图片使其为正方形。

6.根据权利要求1至5中任一项所述的方法，其中，所述卷积神经网络包括三层卷积层及两层全连通层。

7.根据权利要求6所述的方法，其中所述卷积层包括高斯卷积层，所述高斯卷积层用于对前一层的输出结果与多个高斯滤波核进行卷积操作，其中，所述高斯滤波核是基于所述多个训练图片经学习获得的。

8.根据权利要求1至7中任一项所述的方法，其中，所述获取已标注陈列信息的多个训练图片包括：

获取已标注陈列信息的多个训练图片，其中，关于所述训练图片的陈列方式包括多种陈列分类信息，所标注的陈列信息包括所述多种陈列分类信息中至少一个；

其中，所述根据所述图片检测模型确定待检测图片的图片陈列信息包括：

根据所述图片检测模型确定待检测图片的图片陈列信息，其中，所述图片陈列信息包括所述多种陈列分类信息中至少一个。

9.根据权利要求8所述的方法，其中，所述图片检测模型包括多个图片检测子模型；

其中，所述根据所述图片检测模型确定待检测图片的图片陈列信息包括：

根据待检测图片的图片相关信息从所述图片检测模型中确定对应的所述图片检测子模型；

根据所述图片检测子模型确定所述待检测图片的图片陈列信息，其中，所述图片陈列信息包括所述多种陈列分类信息中至少一个。

10.根据权利要求9所述的方法，其中，所述图片相关信息包括以下至少任一项：

所述待检测图片的展示主体信息；

所述待检测图片的陈列位置信息；

所述待检测图片所属应用的应用相关信息。

11.一种用于确定图片陈列信息的设备，其中，该设备包括：

第一装置，用于获取已标注陈列信息的多个训练图片；

第二装置，用于基于所述多个训练图片经卷积神经网络训练得对应的图片检测模型；

第三装置，用于根据所述图片检测模型确定待检测图片的图片陈列信息。

12.根据权利要求11所述的设备，其中，所述第一装置包括：

第一一单元，用于获取已标注陈列信息的多个样本图片；

第一二单元，用于对每个样本图片进行预处理以获得对应的训练图片。

13.根据权利要求12所述的设备，其中，所述第一二单元用于：

对每个样本图片进行归一化处理以获得对应的训练图片。

14.根据权利要求13所述的设备，其中，所述第一二单元还用于：

利用移动窗从经所述归一化处理的每个样本图片中截取多个对应的训练图片。

15.根据权利要求13或14所述的设备，其中，所述归一化处理包括以下至少任一项：

将样本图片转换为三原色表示；

对样本图片按比例缩放使其一边为定长；

裁剪样本图片使其为正方形。

16.根据权利要求11至15中任一项所述的设备，其中，所述卷积神经网络包括三层卷积层及两层全连通层。

17.根据权利要求16所述的设备，其中所述卷积层包括高斯卷积层，所述高斯卷积层用于对前一层的输出结果与多个高斯滤波核进行卷积操作，其中，所述高斯滤波核是基于所述多个训练图片经学习获得的。

18.根据权利要求11至17中任一项所述的设备，其中，所述第一装置用于：

获取已标注陈列信息的多个训练图片，其中，关于所述训练图片的陈列方式包括多种陈列分类信息，所标注的陈列信息包括所述多种陈列分类信息中至少一个；

其中，所述第三装置用于：

根据所述图片检测模型确定待检测图片的图片陈列信息，其中，所述图片陈列信息包括所述多种陈列分类信息中至少一个。

19.根据权利要求18所述的设备，其中，所述图片检测模型包括多个图片检测子模型；

其中，所述第三装置包括：

第三一单元，用于根据待检测图片的图片相关信息从所述图片检测模型中确定对应的所述图片检测子模型；

第三二单元，用于根据所述图片检测子模型确定所述待检测图片的图片陈列信息，其中，所述图片陈列信息包括所述多种陈列分类信息中至少一个。

20.根据权利要求19所述的设备，其中，所述图片相关信息包括以下至少任一项：

所述待检测图片的展示主体信息；

所述待检测图片的陈列位置信息；

所述待检测图片所属应用的应用相关信息。