CN112239943A - 用于衣服识别的方法、装置及叠衣*** - Google Patents

Abstract

本申请涉及图像处理的衣服识别技术领域，公开一种用于衣服识别的方法。该方法包括：提取待检测图像中衣服的属性，识别衣服的属性的属性值，输出衣服的属性和属性值。该方法提高了衣服识别技术的识别结果与叠衣机需求之间的匹配程度。本申请还公开一种用于衣服识别的装置及叠衣***。

Description

用于衣服识别的方法、装置及叠衣***

技术领域

本申请涉及图像处理的衣服识别技术领域，例如涉及一种用于衣服识别的方法、装置及叠衣***。

背景技术

目前，时尚服装行业价值巨大，高效、精准地对叠衣机中的衣服进行识别，可以提升运营效率、助力时尚服装产业结构升级。

在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：现有的衣服识别技术一般在整体上对衣服进行识别，其识别结果与叠衣机需求之间的匹配程度低。

发明内容

为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

本公开实施例提供了一种用于衣服识别的方法、装置和叠衣***，以解决衣服识别技术的识别结果与叠衣机需求之间的匹配程度低的技术问题。

在一些实施例中，所述方法包括：

提取待检测图像中衣服的属性；

识别所述衣服的属性的属性值；

输出所述衣服的属性和所述属性值。

在一些实施例中，所述装置包括：

提取模块，被配置为提取待检测图像中衣服的属性；

识别模块，被配置为识别所述衣服的属性的属性值；

输出模块，被配置为输出所述衣服的属性和所述属性值。

在一些实施例中，所述装置包括：包括处理器和存储有程序指令的存储器，所述处理器被配置为在执行所述程序指令时，执行前述的方法。

在一些实施例中，所述叠衣***包括：前述的装置，所述装置被设置为将衣服中的属性和属性值发送至叠衣机。

本公开实施例提供的用于识别衣服的方法、装置和叠衣***，可以实现以下技术效果：

叠衣机对衣服的领子、袖子等属性进行折叠，在识别出衣服的属性的属性值，例如领子的形状、袖子的长度等，并将衣物的属性及其对应的属性值输出至叠衣机后，叠衣机即可具有针对性的对衣服的每个属性进行折叠，提高了衣服识别技术的识别结果与叠衣机需求之间的匹配程度。

以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。

附图说明

一个或一个以上实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：

图1是本公开实施例提供的用于衣服的识别的方法的流程示意图；

图2是本公开实施例提供的用于提取衣服的属性的流程示意图；

图3是本公开实施例提供的用于识别衣服的属性的流程示意图；

图4是本公开实施例提供的用于衣服识别的装置的方框示意图；

图5是本公开实施例提供的用于衣服识别的装置的方框示意图；

图6是本公开实施例提供的叠衣***中各装置通信的流程示意图。

附图标记：

41：提取模块；42：识别模块；43：输出模块；51：处理器；52：存储器；53：通信接口；54：总线。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或一个以上实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。

本公开实施例提供了一种用于衣服识别的方法。

如图1所示，在一些实施例中，用于衣服识别的方法包括：

步骤S101、提取待检测图像中衣服的属性。

可选地，通过检测网络提取待检测图像中衣服的属性。

衣服的属性是衣服上的具体部位。可选地，衣服的属性包括：领子、袖子、衣服的肩点与下摆之间的部分、裙子、裤子。其中，领子、袖子和衣服的肩点与下摆之间的部分为通过上述视角区分出的三类，裙子和裤子为通过下身视角区分出的两类。上述分类方式符合认知过程，结构化且满足机器学习的标签只是体系，由此训练的神经网络可广泛应用在服饰图像检索、标签导航、服饰搭配等应用场景。

在步骤S102中识别：衣服的肩点与下摆之间的部分，可识别出衣服的长度。

步骤S102、识别衣服的属性的属性值。

可选地，通过识别网络识别衣服的属性的属性值。可见，用于衣服识别的方法是通过神经网络实现的，该神经网络包括检测网络和识别网络。

其中，属性值包括领型和衣服长度。较少的分类可提高神经网络的训练速度。

在衣服的属性为领子时，属性值包括：荷叶半高领、常规半高领、堆堆领、常规高领、娃娃领、清道夫领、衬衫领、飞行员领、西装领、一片领、青果领、直线领、V领、圆领、深V领、方领、不规则领、抹胸领、一字领、露肩领、半开领、桃形领；在衣服的属性为袖子时，属性值包括：无袖、杯袖、短袖、五分袖、七分袖、九分袖、长袖、超长袖；在衣服的属性为衣服的肩点与下摆之间的部分时，属性值包括：高腰、正常、长款、加长款、及膝、超长、及地；在衣服的属性为裙子时，属性值包括：短裙、中裙、七分裙、九分裙、长裙；在衣服的属性为裤子时，属性值包括：短裤、五分裤、七分裤、九分裤、长裤。细化每一类别的属性值，可提高神经网络的训练和识别精度。

步骤S103、输出衣服的属性和属性值。

叠衣机对衣服的领子、袖子等属性进行折叠，在识别出衣服的属性的属性值，例如领子的形状、袖子的长度等，并将衣物的属性及其对应的属性值输出至叠衣机后，叠衣机即可具有针对性的对衣服的每个属性进行折叠，提高了衣服识别技术的识别结果与叠衣机需求之间的匹配程度。

在一些实施例中，步骤S101之前，还包括：预处理图像，获得待处理图像。上述预处理图像的方式包括但不限于：边界扩增、图像上部随机分割、尺寸调整、随机翻转、标准化、归一化、随机擦除等。

如图2所示，在一些实施例中，步骤S101提取待检测图像中衣服的属性，包括：

步骤S201、通过第一卷积层提取待检测图像的特征图像。

在步骤S201中，提取除了包括衣服的属性的特征图像，剔除了多余的背景区域。

步骤S202、对特征图像进行处理。

可选地，步骤S202中对特征图像进行处理，包括：

通过区域候选网络和区域特征聚集网络处理特征图像。通过该方式处理的特征图像，可被步骤S203中的第一全连接层准确识别。

步骤S203、通过第一全连接层对处理过的特征图像进行回归处理，获得衣服的属性。

第一全连接层为2048维的全连接层。通过第一全连接层对处理过的特征图像进行回归处理后，得到的回归边框即为衣服的属性。

该实施例可获得衣服的属性，剔除了多余的背景区域，减少了步骤S102中处理的数据量，提高了识别速度。

在一些实施例中，步骤S102识别衣服的属性的属性值，包括：

依次通过第二卷积层、池化层、全局池化层、第二全连接层和软化层处理衣服的属性，获得属性值。

通过本实施例即可获得衣服的属性的属性值。

其中，第二卷积层、池化层、全局池化层、第二全连接层和软化层共同组成识别网络。在该识别网络中，第1层为第二卷积层，卷积核的大小为7×7，步长为2；第2层为池化层，池化区间为3×3，步长为2；第3-154层为Resnet(Residual Neural Network，残差神经网络)-152网络；第155层为全局池化层，池化区间为3×3，步长为2；第156层为第二全连接层，维度为2048，第157层为软化层。

可选地，识别网络中的降采样网络为空洞卷积层，步长为2。可提高卷积和池化过程中的图片的分辨率，使得各层的感受野相同。

可选地，在获得属性值后，计算该属性值的损耗。即，识别网络中，在软化层后面设置有损耗网络。

可选地，上述检测网络和/或识别网络为采用随机梯度下降法训练获得的。

可选地，步骤S101中用于提取检测图像中衣服的属性的检测网络，为在训练好的神经网络的基础上，再通过知识蒸馏获得的检测网络；可选地，步骤S102中用于识别衣服的属性的属性值的识别网络，为在所训练好的神经网络的基础上，再通过知识蒸馏获得的识别网络。提升检测网络和/或识别网络的前传速度，提高了检测和/或识别的速度，适应工业化需求。

如图3所示，在一些实施例中，步骤S102中识别衣服的属性的属性值，包括：

步骤S301、识别衣服的属性的子属性；

步骤S302、识别子属性的属性值。

可获得更加准确的识别结果。

例如，在衣服的属性为领子的情况下，其子属性包括脖领设计、领子设计、翻领设计、颈线设计，脖领设计的属性值包括：荷叶半高领、常规半高领、堆堆领、常规高领；领子设计的属性值包括：娃娃领、清道夫领、衬衫领、飞行员领；翻领设计的属性值包括：西装领、一片领、青果领、直线领；颈线设计的属性值包括：V领、圆领、深V领、方领、不规则领、抹胸领、一字领、露肩领、半开领、桃形领。

可选地，上述用于衣服识别的方式既可以应用在检测网络和识别网络的训练阶段，也可应用在检测网络和识别网络的识别阶段。

在检测网络和识别网络的训练阶段，在对训练集的标注中，将衣服的属性划分为领子、袖子、衣服的肩点与下摆之间的部分、裙子、裤子，符合认知过程，结构化且满足机器学习的标签只是体系，由此训练的神经网络可广泛应用在服饰图像检索、标签导航、服饰搭配等应用场景。

在训练过程中，可提高增加训练样本的容量。

在一些实施例中，当步骤S102中识别衣服的属性的属性值实施为：识别衣服的属性的子属性，识别子属性的属性值时，用于服饰识别的神经网络为通过以下训练方式获得的：

首先依据将领型分为脖领设计、领子设计、翻领设计、颈线设计四类，训练神经网络；

在依据脖领设计、领子设计、翻领设计、颈线设计四类的详细分类训练神经网络。

在一些实施例中，前述属性值还包括男装和女装。

本公开实施例提供了一种用于衣服识别的装置，

如图4所示，在一些实施例中，用于衣服识别的装置包括：

提取模块41，被配置为提取待检测图像中衣服的属性；

识别模块42，被配置为识别衣服的属性的属性值；

输出模块43，被配置为输出衣服的属性和属性值。

叠衣机对衣服的领子、袖子等属性进行折叠，在识别出衣服的属性的属性值，例如领子的形状、袖子的长度等，并将衣物的属性及其对应的属性值输出至叠衣机后，叠衣机即可具有针对性的对衣服的每个属性进行折叠，提高了衣服识别技术的识别结果与叠衣机需求之间的匹配程度。

在一些实施例中，检测模块包括：

卷积单元，被配置为通过第一卷积层提取待检测图像的特征图像；

特征图像处理单元，被配置为对特征图像进行处理；

回归单元，被配置为通过第一全连接层对处理过的特征图像进行回归处理，获得衣服的属性。

该实施例可获得衣服的属性，剔除了多余的背景区域，减少了识别模块处理的数据量，提高了识别速度。

在一些实施例中，特征图像处理单元具体被配置为：

通过区域候选网络和区域特征聚集网络处理特征图像。

本实施例所获得的处理后的特征图像可被回归单元准确识别。

在一些实施例中，识别模块具体被配置为：

依次通过第二卷积层、池化层、全局池化层、第二全连接层和软化层处理衣服的属性，获得属性值。

在一些实施例中，衣服的属性包括：领子、袖子、衣服的肩点与下摆之间的部分、裙子、裤子。该分类方式符合认知过程，结构化且满足机器学习的标签只是体系，由此训练的神经网络可广泛应用在服饰图像检索、标签导航、服饰搭配等应用场景。

如图5所示，在一些实施例中，用于衣服识别的装置包括：处理器(processor)51和存储器(memory)52，还可以包括通信接口(Communication Interface)53和总线54。其中，处理器51、通信接口53、存储器52可以通过总线54完成相互间的通信。通信接口53可以用于信息传输。处理器51可以调用存储器52中的逻辑指令，以执行上述实施例的用于衣服识别的方法。

此外，上述的存储器52中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器52作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器51通过运行存储在存储器52中的软件程序、指令以及模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的方法。

存储器52可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非易失性存储器。

本公开实施例提供了一种叠衣***。

在一些实施例中，叠衣***包括前述的用于衣服识别的装置，该装置被设置为将衣服的属性及属性值发送至叠衣机。

可选地，用于衣服识别的装置设置在云端服务器上。

可选地，叠衣***包括中间件，中间件一端与叠衣机连接，另一端与用于衣服识别的装置连接，该中间件被设置可通过分析数据包判断是否进行了拍照。例如，若数据包中没有图像数据，即可判断为未拍照。

可选地，还包括图像获取装置。中间件向图像获取装置发送拍照指令，图像获取装置拍照并将包括图像的数据包发送至中间件。当中间件通过分析数据判断进行了拍照时，则将包含图像的数据包编码后发送至用于衣服识别的装置，例如通过base64编码。用于衣服识别的装置在识别出结果后，将识别结果发送至中间件，中间件再将识别结果发送至叠衣机。其中，不同装置可通过串口实现通信，也可以并行的方式通信，不同通信方式的数据包不同，在叠衣***包括两种通信方式时，在通信前需要对信息进行重新编码。

在一些实施例中，叠衣***中各装置之间的通信流程如图6所示。

其中，叠衣机通知中间件拍照，即为叠衣机的控制器向中间件发送拍照的消息。可选地，拍照的消息可为：AAAAAAAAAA 05 00 11 11 11 11；可选地，拍照失败的消息可为：AAAA AA AA AA 05 FF FF 55 55 55；可选地，拍照成功的消息可为：AA AA AA AA AA 05 FFFF 55 FFFF；可选地，在成功返回识别结果的消息可为：AA AA AA AA AA 05 F5 F5 F5 F5F5+识别结果；可选地，中间件上传云端超过20s未返回或者其他网络错误，则为返回识别结果失败，返回失败的消息可为：AA AA AA AA AA 05 00 00 05 FF FF。

可选地，识别结果总计25个数据包，采用奇偶校验。

第一个数据包是男女装预测信息，总共包含A男装(0x00)B女装(0x01)两类，发送数据为两位十六进制编码；第二个数据包是上下装预测信息：总共包含A上衣(0x00)B裤子(0x01)C裙子(0x02)3类，发送数据为两位十六进制编码；第三，四，五个数据包是衣服的属性和属性值的预测信息，上衣的三个数据包分别为衣服的肩点与下摆之间的部分的属性值、袖子的属性值、领子的属性值；裤子三个数据包分别为0x00,0x00,裤子的属性值；裙子三个数据包分别为0x00,0x00,裙子的属性值。发送数据为两位十六进制编码，例如：高腰七分袖小高领数据包为00 04 04；九分裤数据包为00 00 03)。

后面二十四个数据包为关键点预测信息，采用奇偶校验。关键点预测信息即为衣服的属性的位置信息。发送数据为十位十六进制编码。前四位表示第一个关键点，后四位表示关键点的第二位，最后两位表示关键点第三位。

本公开实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述用于衣服识别的方法。

本公开实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述用于衣服识别的方法。

上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。

本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或一个以上指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。当用于本申请中时，虽然术语“第一”、“第二”等可能会在本申请中使用以描述各元件，但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如，在不改变描述的含义的情况下，第一元件可以叫做第二元件，并且同样地，第二元件可以叫做第一元件，只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件，但可以不是相同的元件。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

附图中的流程图和框图显示了根据本公开实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或一个以上用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (10)

1.一种用于衣服识别的方法，其特征在于，包括：

提取待检测图像中衣服的属性；

识别所述衣服的属性的属性值；

输出所述衣服的属性和所述属性值。

2.根据权利要求1所述的方法，其特征在于，所述提取待检测图像中衣服的属性，包括：

通过第一卷积层提取所述待检测图像的特征图像；

对所述特征图像进行处理；

通过第一全连接层对处理过的特征图像进行回归处理，获得所述衣服的属性。

3.根据权利要求2所述的方法，其特征在于，所述对所述特征图像进行处理，包括：

通过区域候选网络和区域特征聚集网络处理所述特征图像。

4.根据权利要求1所述的方法，其特征在于，所述识别所述衣服的属性的属性值，包括：

依次通过第二卷积层、池化层、全局池化层、第二全连接层和软化层处理所述衣服的属性，获得所述属性值。

5.根据权利要求1至4任一项所述的方法，其特征在于，

所述衣服的属性包括：领子、袖子、衣服的肩点与下摆之间的部分、裙子、裤子。

6.一种用于衣服识别的装置，其特征在于，包括：

提取模块，被配置为提取待检测图像中衣服的属性；

识别模块，被配置为识别所述衣服的属性的属性值；

输出模块，被配置为输出所述衣服的属性和所述属性值。

7.根据权利要求6所述的装置，其特征在于，所述检测模块包括：

卷积单元，被配置为通过第一卷积层提取所述待检测图像的特征图像；

特征图像处理单元，被配置为对所述特征图像进行处理；

回归单元，被配置为通过第一全连接层对处理过的特征图像进行回归处理，获得所述衣服的属性。

8.根据权利要求7所述的装置，其特征在于，所述特征图像处理单元具体被配置为：

通过区域候选网络和区域特征聚集网络处理所述特征图像。

9.一种用于衣服识别的装置，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至5任一项所述的方法。

10.一种叠衣***，其特征在于，包括：

权利要求6至9任一项所述的用于衣服识别的装置，所述装置被设置为将衣服的属性和属性值发送至叠衣机。

Images