CN108229288A - 神经网络训练及衣服颜色检测方法、装置、存储介质、电子设备 - Google Patents

神经网络训练及衣服颜色检测方法、装置、存储介质、电子设备 Download PDF

Info

Publication number
CN108229288A
CN108229288A CN201710487723.2A CN201710487723A CN108229288A CN 108229288 A CN108229288 A CN 108229288A CN 201710487723 A CN201710487723 A CN 201710487723A CN 108229288 A CN108229288 A CN 108229288A
Authority
CN
China
Prior art keywords
color
human body
area image
clothes
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710487723.2A
Other languages
English (en)
Other versions
CN108229288B (zh
Inventor
邵婧
刘希慧
闫俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201710487723.2A priority Critical patent/CN108229288B/zh
Publication of CN108229288A publication Critical patent/CN108229288A/zh
Application granted granted Critical
Publication of CN108229288B publication Critical patent/CN108229288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种神经网络训练及衣服颜色检测方法、装置、存储介质、电子设备。其中，所述神经网络的训练方法包括：基于人体关键点，从样本图像中提取服装区域图像，所述服装区域图像含有人体服装像素点的颜色特征标定数据；通过服装颜色提取网络，从所述服装区域图像获取所述服装区域图像的颜色特征检测数据；根据所述颜色特征标定数据和所述颜色特征检测数据训练所述服装颜色提取网络。通过本发明的实施例，能够使得训练得到的服装颜色提取网络能够精确定位到与人体服装关联的区域图像，减少了背景区域图像的干扰，提高了检测衣服颜色的准确性。

Description

神经网络训练及衣服颜色检测方法、装置、存储介质、电子 设备
技术领域
本发明实施例涉及人工智能技术，尤其涉及一种神经网络的训练方法、装置、存储介质和电子设备，以及，一种人体衣服颜色的检测方法、装置、存储介质和电子设备。
背景技术
人体衣服颜色检测在网络图像查找方面，例如，图像搜索、衣服检索、样式分析等，以及在监控图像检索方面，例如，人体再识别等，都有着广泛应用，尤其在监控跨摄像头场景中，精确地检测出行人衣服颜色能够提高行人检索的准确性。
然而，行人衣服颜色检测不是一项简单的任务，它面临多种挑战。由于监控摄像头清晰度较低，摄像头角度变化范围广，场景光照多变，以及场景复杂度高等因素，严重加大了监控场景中行人衣服颜色的检测难度，甚至同一个行人在同一个监控视频中每一帧的衣服颜色也会发生明显变化，并且行人衣服的样式变化多样，行人的上衣颜色类别往往不只一种，包含拼接袖、格子衫、条纹衫以及各种图案(例如，圆点、卡通图案或商标)等不同的颜色类别。另外，行人上衣有时还包含多件衣服，例如衬衣和外套。与其它刚体物体(例如，车辆)不同，衣服属于非刚体，衣服褶皱和折痕都会影响衣服颜色的检测精度。
现有的行人衣服颜色的检测方法包括不经过训练学习直接判断衣服颜色的方法和基于统计特征信息和机器学习的方法，在跨摄像头导致的光照或场景不一致性的问题上不鲁棒，并且只能有限地描述衣服的部分颜色特征。近年来，深度卷积神经网络在提取图像特征和训练模型上表现卓越，因而在图像分类，物体检测等任务上均取得了良好的效果。近期也有一些基于卷积神经网络的方法来检测行人衣服颜色。然而，这些方法一般都采取分类方式进行检测，并且为了获得高精度，采取全卷积神经网络进行像素级别的分类，这样从标注到训练耗时比较长，并且采用分类方式进行衣服颜色检测需要精确的人工标注，鉴于监控场景中行人衣服颜色种类和样式都比较复杂，人工标注的成本高而且可靠性低。此外，现有的基于卷积神经网络的衣服颜色检测方法还是利用整个行人图像学习特征并训练，有时会受到背景复杂颜色或杂物颜色等干扰导致衣服颜色检测错误。
发明内容
本发明实施例的目的在于，提供一种神经网络训练的技术方案和人体衣服颜色检测的技术方案。
根据本发明实施例的第一方面，提供了一种神经网络的训练方法。所述方法包括：基于人体关键点，从样本图像中提取服装区域图像，所述服装区域图像含有人体服装像素点的颜色特征标定数据；通过服装颜色提取网络，从所述服装区域图像获取所述服装区域图像的颜色特征检测数据；根据所述颜色特征标定数据和所述颜色特征检测数据训练所述服装颜色提取网络。
可选地，所述服装区域图像，包括：第一区域图像，和/或第二区域图像；其中，所述第一区域图像含有人体上衣像素点的第一颜色特征标定数据，所述第二区域图像含有人体下衣像素点的第二颜色特征标定数据。
可选地，所述通过服装颜色提取网络，从所述服装区域图像获取所述服装区域图像的颜色特征检测数据，包括：通过所述服装颜色提取网络，从所述第一区域图像和/或所述第二区域图像中获取所述第一区域图像对应的第一颜色特征检测数据和/或所述第二区域图像对应的第二颜色特征检测数据。
可选地，所述根据所述颜色特征标定数据和所述颜色特征检测数据训练所述服装颜色提取网络，包括：根据所述第一颜色特征标定数据与所述第一颜色特征检测数据训练所述服装颜色提取网络；和/或根据所述第二颜色特征标定数据与所述第二颜色特征检测数据训练所述服装颜色提取网络。
可选地，所述基于人体关键点，从样本图像中提取服装区域图像之前，所述方法还包括：获取所述样本图像中人体上半身的至少两个人体关键点之间的多个第一像素点的颜色特征数据，为所述第一区域图像中的第一颜色特征标定数据；和/或获取所述样本图像中人体下半身的至少两个人体关键点之间的多个第二像素点的颜色特征数据，为所述第二区域图像中的第二颜色特征标定数据。
可选地，所述获取所述样本图像中人体上半身的至少两个人体关键点之间的多个第一像素点的颜色特征数据，为所述第一区域图像中的第一颜色特征标定数据，包括：根据所述第一区域图像中的每个像素点的颜色特征数据确定所述人体上衣的第一颜色中位数值；基于所述第一颜色中位数值，选择所述人体上半身的至少两个人体关键点之间符合第一设定条件的像素点作为所述第一像素点，并且将选择的第一像素点的颜色特征数据确定为所述第一区域图像中的第一颜色特征标定数据；其中，所述第一设定条件包括：所述像素点的颜色特征数据与所述第一颜色中位数值之间的第一距离不超过第一预设阈值。
可选地，所述获取所述样本图像中人体下半身的至少两个人体关键点之间的多个第二像素点的颜色特征数据，为所述第二区域图像中的第二颜色特征标定数据，包括：根据所述第二区域图像中的每个像素点的颜色特征数据确定所述人体下衣的第二颜色中位数值；基于所述第二颜色中位数值，选择所述人体下半身的至少两个人体关键点之间符合第二设定条件的像素点作为所述第二像素点，并且将选择的第二像素点的颜色特征数据确定为所述第二区域图像中的第二颜色特征标定数据；其中，所述第二设定条件包括：所述像素点的颜色特征数据与所述第二颜色中位数值之间的第二距离不超过第二预设阈值。
可选地，所述基于人体关键点，从样本图像中提取服装区域图，包括：基于人体上半身的人体关键点的第一坐标数据，确定所述第一区域图像在所述样本图像中所在区域的第二坐标数据，并且根据所述第二坐标数据从所述样本图像中提取所述第一区域图像；和/或，基于人体下半身的人体关键点的第三坐标数据，确定所述第二区域图像在所述样本图像中所在区域的第四坐标数据，并且根据所述第四坐标数据从所述样本图像中提取所述第二区域图像。
根据本发明实施例的第二方面，提供了一种人体衣服颜色的检测方法。所述方法包括：基于人体关键点，从待检测的人体图像中提取服装区域图像；通过服装颜色提取网络，从所述服装区域图像获取所述服装区域图像的颜色特征预测数据，其中，所述服装颜色提取网络是根据本发明实施例的第一方面所述的方法训练获得的。
可选地，所述基于人体关键点，从待检测的人体图像中提取服装区域图像，包括：基于所述人体关键点，从所述待检测的人体图像中提取与人体上衣关联的第三区域图像和/或与人体下衣关联的第四区域图像。
可选地，所述通过服装颜色提取网络，从所述服装区域图像获取所述服装区域图像的颜色特征预测数据，包括：通过所述服装颜色提取网络，从所述第三区域图像和/或所述第四区域图像获取所述人体上衣的颜色特征预测数据和/或所述人体下衣的颜色特征预测数据。
可选地，所述基于所述人体关键点，从所述待检测的人体图像中提取与人体上衣关联的第三区域图像和/或与人体下衣关联的第四区域图像，包括：基于人体上半身的人体关键点的第五坐标数据，确定所述第三区域图像在所述待检测的人体图像中所在区域的第六坐标数据，并且根据所述第六坐标数据从所述待检测的人体图像中提取所述第三区域图像；和/或，基于人体下半身的人体关键点的第七坐标数据，确定所述第四区域图像在所述待检测的人体图像中所在区域的第八坐标数据，并且根据所述第八坐标数据从所述待检测的人体图像中提取所述第四区域图像。
可选地，所述待检测的人体图像为静态图像，或者为视频帧序列中的视频图像。
根据本发明实施例的第三方面，提供了一种神经网络的训练装置。所述装置包括：第一提取模块，用于基于人体关键点，从样本图像中提取服装区域图像，所述服装区域图像含有人体服装像素点的颜色特征标定数据；第一获取模块，用于通过服装颜色提取网络，从所述服装区域图像获取所述服装区域图像的颜色特征检测数据；训练模块，用于根据所述颜色特征标定数据和所述颜色特征检测数据训练所述服装颜色提取网络。
可选地，所述服装区域图像，包括：第一区域图像，和/或第二区域图像；其中，所述第一区域图像含有人体上衣像素点的第一颜色特征标定数据，所述第二区域图像含有人体下衣像素点的第二颜色特征标定数据。
可选地，所述第一获取模块，包括：第一获取子模块，用于通过所述服装颜色提取网络，从所述第一区域图像和/或所述第二区域图像中获取所述第一区域图像对应的第一颜色特征检测数据和/或所述第二区域图像对应的第二颜色特征检测数据。
可选地，所述训练模块，包括：第一训练子模块，用于根据所述第一颜色特征标定数据与所述第一颜色特征检测数据训练所述服装颜色提取网络；和/或第二训练子模块，用于根据所述第二颜色特征标定数据与所述第二颜色特征检测数据训练所述服装颜色提取网络。
可选地，所述装置还包括：第二获取模块，用于获取所述样本图像中人体上半身的至少两个人体关键点之间的多个第一像素点的颜色特征数据，为所述第一区域图像中的第一颜色特征标定数据；和/或第三获取模块，用于获取所述样本图像中人体下半身的至少两个人体关键点之间的多个第二像素点的颜色特征数据，为所述第二区域图像中的第二颜色特征标定数据。
可选地，所述第二获取模块，具体用于：根据所述第一区域图像中的每个像素点的颜色特征数据确定所述人体上衣的第一颜色中位数值；基于所述第一颜色中位数值，选择所述人体上半身的至少两个人体关键点之间符合第一设定条件的像素点作为所述第一像素点，并且将选择的第一像素点的颜色特征数据确定为所述第一区域图像中的第一颜色特征标定数据；其中，所述第一设定条件包括：所述像素点的颜色特征数据与所述第一颜色中位数值之间的第一距离不超过第一预设阈值。
可选地，所述第三获取模块，具体用于：根据所述第二区域图像中的每个像素点的颜色特征数据确定所述人体下衣的第二颜色中位数值；基于所述第二颜色中位数值，选择所述人体下半身的至少两个人体关键点之间符合第二设定条件的像素点作为所述第二像素点，并且将选择的第二像素点的颜色特征数据确定为所述第二区域图像中的第二颜色特征标定数据；其中，所述第二设定条件包括：所述像素点的颜色特征数据与所述第二颜色中位数值之间的第二距离不超过第二预设阈值。
可选地，所述第一提取模块，包括：第一提取子模块，用于基于人体上半身的人体关键点的第一坐标数据，确定所述第一区域图像在所述样本图像中所在区域的第二坐标数据，并且根据所述第二坐标数据从所述样本图像中提取所述第一区域图像；和/或，第二提取子模块，用于基于人体下半身的人体关键点的第三坐标数据，确定所述第二区域图像在所述样本图像中所在区域的第四坐标数据，并且根据所述第四坐标数据从所述样本图像中提取所述第二区域图像。
根据本发明实施例的第四方面，提供了一种人体衣服颜色的检测装置。所述装置包括：第二提取模块，用于基于人体关键点，从待检测的人体图像中提取服装区域图像；第四获取模块，用于通过服装颜色提取网络，从所述服装区域图像获取所述服装区域图像的颜色特征预测数据，其中，所述服装颜色提取网络是根据本发明实施例的第三方面所述的装置训练获得的。
可选地，所述第二提取模块，包括：第三提取子模块，用于基于所述人体关键点，从所述待检测的人体图像中提取与人体上衣关联的第三区域图像和/或与人体下衣关联的第四区域图像。
可选地，所述第四获取模块，包括：第二获取子模块，用于通过所述服装颜色提取网络，从所述第三区域图像和/或所述第四区域图像获取所述人体上衣的颜色特征预测数据和/或所述人体下衣的颜色特征预测数据。
可选地，所述第三提取子模块，具体用于：基于人体上半身的人体关键点的第五坐标数据，确定所述第三区域图像在所述待检测的人体图像中所在区域的第六坐标数据，并且根据所述第六坐标数据从所述待检测的人体图像中提取所述第三区域图像；和/或，基于人体下半身的人体关键点的第七坐标数据，确定所述第四区域图像在所述待检测的人体图像中所在区域的第八坐标数据，并且根据所述第八坐标数据从所述待检测的人体图像中提取所述第四区域图像。
可选地，所述待检测的人体图像为静态图像，或者为视频帧序列中的视频图像。
根据本发明实施例的第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现本发明实施例的第一方面所述的神经网络的训练方法的步骤。
根据本发明实施例的第六方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现本发明实施例的第二方面所述的人体衣服颜色的检测方法的步骤。
根据本发明实施例的第七方面，提供了一种电子设备，包括：第一处理器、第一存储器、第一通信元件和第一通信总线，所述第一处理器、所述第一存储器和所述第一通信元件通过所述第一通信总线完成相互间的通信；所述第一存储器用于存放至少一可执行指令，所述可执行指令使所述第一处理器执行如本发明实施例的第一方面所述的神经网络的训练方法的步骤。
根据本发明实施例的第八方面，提供了一种电子设备，包括：第二处理器、第二存储器、第二通信元件和第二通信总线，所述第二处理器、所述第二存储器和所述第二通信元件通过所述第二通信总线完成相互间的通信；所述第二存储器用于存放至少一可执行指令，所述可执行指令使所述第二处理器执行如本发明实施例的第二方面所述的人体衣服颜色的检测方法的步骤。
根据本发明实施例提供的神经网络训练方案，基于人体关键点，从样本图像中提取含有人体服装像素点的颜色特征标定数据的服装区域图像，并通过服装颜色提取网络，从服装区域图像获取服装区域图像的颜色特征检测数据，再根据颜色特征标定数据和颜色特征检测数据训练服装颜色提取网络，与现有技术相比，使得训练得到的服装颜色提取网络能够精确定位到与人体服装关联的区域图像，减少了背景区域图像的干扰，提高了检测衣服颜色的准确性。
附图说明
图1是根据本发明实施例一的神经网络的训练方法的流程图；
图2是根据本发明实施例二的神经网络的训练方法的流程图；
图3是根据本发明实施例三的人体衣服颜色的检测方法的流程图；
图4是根据本发明实施例四的人体衣服颜色的检测方法的流程图；
图5是根据本发明实施例五的神经网络的训练装置的结构示意图；
图6是根据本发明实施例六的神经网络的训练装置的结构示意图；
图7是根据本发明实施例七的人体衣服颜色的检测装置的结构框图；
图8是根据本发明实施例八的人体衣服颜色的检测装置的结构框图；
图9是根据本发明实施例九的电子设备的结构示意图；
图10是根据本发明实施例十的电子设备的结构示意图。
具体实施方式
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本发明实施例的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。
本领域技术人员可以理解，本发明实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
实施例一
图1是根据本发明实施例一的神经网络的训练方法的流程图。
参照图1，在步骤S101中，基于人体关键点，从样本图像中提取服装区域图像。
在本实施例中，人体关键点可包括以下中的至少一者：下巴、左肩关节点、右肩关节点、右肘关节点、左肘关节点、右手腕关节点、左手腕关节点、右髋关节点、左髋关节点、右膝关节点、左膝关节点、右脚踝关节点和左脚踝关节点。所述样本图像可为包括人体上半身的图像、包括人体下半身的图像或包括整个人体的图像等。其中，所述服装区域图像为所述样本图像中与人体服装关联的区域的图像，且包含有人体服装像素点的颜色特征标定数据。所述颜色特征标定数据可为RGB值。
在步骤S102中，通过服装颜色提取网络，从所述服装区域图像获取所述服装区域图像的颜色特征检测数据。
在本发明实施例中，所述服装颜色提取网络可以是任意适当的可实现特征提取或目标对象检测的神经网络，包括但不限于卷积神经网络、增强学习神经网络、对抗神经网络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根据实际需求适当设定，如卷积层的层数、卷积核的大小、通道数等等，本发明实施例对此不作限制。其中，所述颜色特征检测数据可为RGB值。
在步骤S103中，根据所述颜色特征标定数据和所述颜色特征检测数据训练所述服装颜色提取网络。
在具体的实施方式中，该步骤可包括：根据所述颜色特征标定数据和所述颜色特征检测数据确定颜色特征差异，再根据所述颜色特征差异调整所述服装颜色提取网络的网络参数。通过计算人体服装的颜色特征差异，对当前获得的颜色特征检测数据进行评估，以作为后续训练服装颜色提取网络的依据。
具体地，可将所述颜色特征差异反向传输给服装颜色提取网络，从而迭代地训练该服装颜色提取网络。服装颜色提取网络的训练是一个迭代的过程，本发明实施例仅对其中的一次训练过程进行了说明，但本领域技术人员应当明了，对服装颜色提取网络的每次训练都可采用该训练方式，直至完成服装颜色提取网络的训练。
本发明的示例性实施例旨在提出一种神经网络的训练方法，基于人体关键点，从样本图像中提取含有人体服装像素点的颜色特征标定数据的服装区域图像，并通过服装颜色提取网络，从所述服装区域图像获取所述服装区域图像的颜色特征检测数据，再根据所述颜色特征标定数据和所述颜色特征检测数据训练所述服装颜色提取网络，与现有技术相比，使得训练得到的服装颜色提取网络能够精确定位到与人体服装关联的区域图像，减少了背景区域图像的干扰，提高了检测衣服颜色的准确性。
本实施例的神经网络的训练方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。
实施例二
图2是根据本发明实施例二的神经网络的训练方法的流程图。
参考图2，在步骤S201中，基于人体关键点，从样本图像中提取服装区域图像。
其中，所述服装区域图像包括：第一区域图像，和/或第二区域图像，所述第一区域图像含有人体上衣像素点的第一颜色特征标定数据，所述第二区域图像含有人体下衣像素点的第二颜色特征标定数据，所述第一颜色特征标定数据和所述第二颜色特征标定数据均可为RGB值。当然，在本发明实施例中，所述服装区域图像包括的区域图像不限制于一个区域图像或两个区域图像，可以是任意个数。例如，帽子区域的图像、发型区域的图像(检测发色)、鞋子区域的图像、背包区域的图像等。具体地，该步骤可包括：基于所述人体关键点，从所述样本图像中提取与人体上衣关联的第一区域图像和/或与人体下衣关联的第二区域图像。
在本实施例中，在执行该步骤S201之前，所述方法还包括：通过用于提取人体关键点的神经网络，从所述样本图像中提取所述人体关键点。其中，用于提取人体关键点的神经网络包括但不限于全卷积神经网络、增强学习神经网络、对抗神经网络中的生成网络等等。
具体地，在该步骤S201之前，并且在所述样本图像中提取得到人体关键点之后，所述方法还包括：获取所述样本图像中人体上半身的至少两个人体关键点之间的多个第一像素点的颜色特征数据，为所述第一区域图像中的第一颜色特征标定数据；和/或获取所述样本图像中人体下半身的至少两个人体关键点之间的多个第二像素点的颜色特征数据，为所述第二区域图像中的第二颜色特征标定数据。
在具体的实施方式中，具有数据处理能力的设备根据样本图像中人体上半身的人体关键点，选择关键点之间的连线上的N个像素点作为第一像素点，并将N个像素点的RGB值作为第一区域图像中的颜色特征标定数据。同样地，具有数据处理能力的设备根据样本图像中人体下半身的人体关键点，选择关键点之间的连线上的M个像素点作为第二像素点，并将M个像素点的RGB值作为第二区域图像中的颜色特征标定数据。其中，N和M均表示小于或等于5的自然数。具有数据处理能力的设备不仅可根据样本图像中人体上半身的人体关键点获得与人体上衣关联的第一区域图像中的第一颜色特征标定数据，而且还可根据样本图像中人体下半身的人体关键点获得与人体下衣关联的第二区域图像的第二颜色特征标定数据。籍此，减少了人工标注的工作量，从而减少了人工标注的成本和人工标注的不可靠干预。
可选地，所述获取所述样本图像中人体上半身的至少两个人体关键点之间的多个第一像素点的颜色特征数据，为所述第一区域图像中的第一颜色特征标定数据，包括：根据所述第一区域图像中的每个像素点的颜色特征数据确定所述人体上衣的第一颜色中位数值；基于所述第一颜色中位数值，选择所述人体上半身的至少两个人体关键点之间符合第一设定条件的像素点作为所述第一像素点，并且将选择的第一像素点的颜色特征数据确定为所述第一区域图像中的第一颜色特征标定数据。其中，所述第一设定条件包括：所述像素点的颜色特征数据与所述第一颜色中位数值之间的第一距离不超过第一预设阈值。籍此，可避免第一像素点选在颜色差异较大的背景图像上。
在具体的实施方式中，具有数据处理能力的设备根据所述第一区域图像中的每个像素点的RGB值计算得到人体上衣的RGB平均值，也即是人体上衣的颜色中位数值。当人体上半身的人体关键点之间的连线上的像素点的RGB值与所述人体上衣的RGB平均值之间的欧氏距离小于或等于第一预设阈值时，则所述设备可确定该像素点作为第一像素点，并将该像素点的RGB值确定为第一区域图像中的第一颜色特征标定数据。其中，所述第一预设阈值可由本领域技术人员在实际操作中通过测试得到。具有数据处理能力的设备可根据样本图像中人体上半身的人体关键点自动获得与人体上衣关联的第一区域图像中的第一颜色特征标定数据。籍此，减少了人工标注的工作量，从而减少了人工标注的成本和人工标注的不可靠干预。
可选地，所述获取所述样本图像中人体下半身的至少两个人体关键点之间的多个第二像素点的颜色特征数据，为所述第二区域图像中的第二颜色特征标定数据，包括：根据所述第二区域图像中的每个像素点的颜色特征数据确定所述人体下衣的第二颜色中位数值；基于所述第二颜色中位数值，选择所述人体下半身的至少两个人体关键点之间符合第二设定条件的像素点作为所述第二像素点，并且将选择的第二像素点的颜色特征数据确定为所述第二区域图像中的第二颜色特征标定数据。其中，所述第二设定条件包括：所述像素点的颜色特征数据与所述第二颜色中位数值之间的第二距离不超过第二预设阈值。籍此，可避免第二像素点选在颜色差异较大的背景图像上。
在具体的实施方式中，具有数据处理能力的设备根据所述第二区域图像中的每个像素点的RGB值计算得到人体下衣的RGB平均值，也即是人体下衣的颜色中位数值。当人体下半身的人体关键点之间的连线上的像素点的RGB值与所述人体下衣的RGB平均值之间的欧氏距离小于或等于第二预设阈值时，则所述设备可确定该像素点作为第二像素点，并将该像素点的RGB值确定为第二区域图像中的第二颜色特征标定数据。其中，所述第二预设阈值可由本领域技术人员在实际操作中通过测试得到。具有数据处理能力的设备可根据样本图像中人体下半身的人体关键点自动获得与人体下衣关联的第二区域图像中的第二颜色特征标定数据。籍此，减少了人工标注的工作量，从而减少了人工标注的成本和人工标注的不可靠干预。
与现有技术相比，本实施例通过具有数据处理能力的设备自动获得与人体上衣关联的第一区域图像的第一颜色特征标定数据以及与人体下衣关联的第二区域图像的第二颜色特征标定数据节省了像素点分类、人工确定标注的像素点以及对确定的标注像素点进行人工标注等工序。
在实际应用中，还可将第一区域图像和第二区域图像送给标注员，此时，标注员只需检查一下第一区域图像中选取的N个像素点是否都在上衣上以及第二区域图像中选取的M个像素点是否都在下衣上。如果有的像素点不在上衣上面，则重新选一个上衣像素点即可。如果有的像素点不在下衣上面，则重新选一个下衣像素点即可。
具体地，该步骤S201包括：基于人体上半身的人体关键点的第一坐标数据，确定所述第一区域图像在所述样本图像中所在区域的第二坐标数据，并且根据所述第二坐标数据从所述样本图像中提取所述第一区域图像；和/或，基于人体下半身的人体关键点的第三坐标数据，确定所述第二区域图像在所述样本图像中所在区域的第四坐标数据，并且根据所述第四坐标数据从所述样本图像中提取所述第二区域图像。
以人体上衣为例，设人体上衣对应K＝4个关键点{(x_k，y_k)，k＝1,...,4}，与人体上衣关联的区域图像的求取方式为{[min(x_1，x_2)，min(y_1，y_2)]，[min(x_1，x_2)，max(y_1，y_2)]，[max(x_3，x_4)，min(y_3，y_4)]，[max(x_3，x_4)，max(y_3，y_4)]}。按照该方式求取的与人体上衣关联的区域图像为规则的长方形。
在步骤S202中，通过所述服装颜色提取网络，从所述第一区域图像和/或所述第二区域图像中获取所述第一区域图像对应的第一颜色特征检测数据和/或所述第二区域图像对应的第二颜色特征检测数据。
在本实施例中，所述服装颜色提取网络可为基于回归机制的深度神经网络，所述深度神经网络包括卷积层、池化层、批正常化层(batch normalization)等层学习样本人体图像的颜色特征，最后输出的是通过回归得到RGB三个颜色通道值。例如，所述服装颜色提取网络可为GoogleNet、VGG或ResNet等。
具体地，所述服装颜色提取网络可为专门针对人体上衣进行训练的神经网络，也可为专门针对人体下衣进行训练的神经网络，还可为针对人体上衣和人体下衣进行训练的神经网络。当所述服装颜色提取网络为针对人体上衣和人体下衣进行训练的神经网络时，所述服装颜色提取网络具有两个输入端和两个输出端，一个输入端用于输入与人体上衣关联的第一区域图像，另一个输入端用于输入与人体下衣关联的第二区域图像，一个输出端用于输出第一区域图像的第一颜色特征检测数据，另一个输出端用于输出第二区域图像的第二颜色特征检测数据。其中，所述第一颜色特征检测数据和所述第二颜色特征检测数据均可为RGB值。
在步骤S203中，根据所述第一颜色特征标定数据与所述第一颜色特征检测数据训练所述服装颜色提取网络；和/或根据所述第二颜色特征标定数据与所述第二颜色特征检测数据训练所述服装颜色提取网络。
具体地，该步骤S203包括：根据所述第一颜色特征标定数据和所述第一颜色特征检测数据确定人体上衣的第一颜色特征差异，和/或根据所述第二颜色特征标定数据和所述第二颜色特征检测数据确定人体下衣的第二颜色特征差异；以及根据所述第一颜色特征差异和/或所述第二颜色特征差异调整所述服装颜色提取网络的网络参数。
在具体的实施方式中，所述根据所述第一颜色特征标定数据和所述第一颜色特征检测数据确定人体上衣的第一颜色特征差异，和/或根据所述第二颜色特征标定数据和所述第二颜色特征检测数据确定人体下衣的第二颜色特征差异，包括：确定所述第一区域图像包含的各个人体上衣像素点的第一颜色特征标定数据分别与所述第一颜色特征检测数据的第一欧氏距离，并且计算所述第一欧式距离的平均值，并将所述第一欧式距离的平均值确定为所述人体上衣的第一颜色特征差异；和/或，确定所述第二区域图像包含的各个人体下衣像素点的第二颜色特征标定数据分别与所述第二颜色特征检测数据的第二欧氏距离，并且计算所述第二欧式距离的平均值，并将所述第二欧式距离的平均值确定为所述人体下衣的第二颜色特征差异。
本发明的示例性实施例旨在提出一种神经网络的训练方法，基于人体关键点，从样本图像中提取与人体上衣关联的第一区域图像和/或与人体下衣关联的第二区域图像，并通过服装颜色提取网络，从所述第一区域图像和/或所述第二区域图像中获取所述第一区域图像对应的第一颜色特征检测数据和/或所述第二区域图像对应的第二颜色特征检测数据，再根据所述第一颜色特征标定数据和所述第一颜色特征检测数据确定人体上衣的第一颜色特征差异，和/或根据所述第二颜色特征标定数据和所述第二颜色特征检测数据确定人体下衣的第二颜色特征差异，再根据所述第一颜色特征差异和/或所述第二颜色特征差异调整所述服装颜色提取网络的网络参数，与现有技术相比，使得训练得到的服装颜色提取网络能够精确定位到与人体上衣关联的区域图像和/或与人体下衣关联的区域图像，减少了背景区域图像的干扰，提高了检测衣服颜色的准确性。
本实施例的神经网络的训练方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。
实施例三
图3是根据本发明实施例三的人体衣服颜色的检测方法的流程图。
参照图3，在步骤S301中，基于人体关键点，从待检测的人体图像中提取服装区域图像。
从图像包含的内容来讲，所述待检测的人体图像可为包括人体上本身的图像、包括人体下半身的图像或包括整个人体的图像等。从图像的类别来讲，所述待检测的人体图像可为拍摄的静态图像，或者为视频帧序列中的视频图像，也可以是合成的图像等。特别地，所述待检测的人体图像可为直播中的视频帧序列中的视频图像。所述服装区域图像可为待检测的人体图像中与人体服装关联的区域的图像。
在步骤S302中，通过服装颜色提取网络，从所述服装区域图像获取所述服装区域图像的颜色特征预测数据。
其中，所述服装颜色提取网络是根据本申请实施例一或本申请实施例二提供的神经网络训练方法训练获得的。所述服装区域图像的颜色特征预测数据可为RGB值。
根据本实施例提供的人体衣服颜色的检测方法，基于人体关键点，从待检测的人体图像中提取服装区域图像，并通过服装颜色提取网络从所述服装区域图像获取所述服装区域图像的颜色特征预测数据，能够精确定位到与人体服装关联的区域图像，减少了背景区域图像的干扰，提高了检测衣服颜色的准确性。
本实施例的人体衣服颜色的检测方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。
实施例四
图4是根据本发明实施例四的人体衣服颜色的检测方法的流程图。
参照图4，在步骤S401中，基于所述人体关键点，从所述待检测的人体图像中提取与人体上衣关联的第三区域图像和/或与人体下衣关联的第四区域图像。
在本实施例中，执行本步骤S401之前，所述方法还包括：通过用于提取人体关键点的神经网络，从所述待检测的人体图像中提取人体关键点。其中，用于提取人体关键点的神经网络包括但不限于全卷积神经网络、增强学习神经网络、对抗神经网络中的生成网络等等。
具体地，该步骤S401包括：基于人体上半身的人体关键点的第五坐标数据，确定所述第三区域图像在所述待检测的人体图像中所在区域的第六坐标数据，并且根据所述第六坐标数据从所述待检测的人体图像中提取所述第三区域图像；和/或，基于人体下半身的人体关键点的第七坐标数据，确定所述第四区域图像在所述待检测的人体图像中所在区域的第八坐标数据，并且根据所述第八坐标数据从所述待检测的人体图像中提取所述第四区域图像。
在步骤S402中，通过所述服装颜色提取网络，从所述第三区域图像和/或所述第四区域图像获取所述人体上衣的颜色特征预测数据和/或所述人体下衣的颜色特征预测数据。
其中，所述服装颜色提取网络是根据本申请实施例一或本申请实施例二提供的神经网络训练方法训练获得的。所述人体上衣的颜色特征预测数据和所述人体下衣的颜色特征预测数据均可为RGB值。
本实施例提供的方法可被用于在监控视频中检索和追踪逃犯，例如案发监控视频中一个嫌疑人身穿红色上衣蓝色裤子，则在其它监控视频中根据衣服颜色进行快速检索，缩小嫌疑人搜索范围。
根据本实施例提供的人体衣服颜色的检测方法，基于人体关键点，从待检测的人体图像中提取与人体上衣关联的第三区域图像和/或与人体下衣关联的第四区域图像，并通过服装颜色提取网络从所述第三区域图像和/或所述第四区域图像获取所述人体上衣的颜色特征预测数据和/或所述人体下衣的颜色特征预测数据，能够精确定位到与人体上衣关联的区域图像和/或与人体下衣关联的区域图像，减少了背景区域图像的干扰，提高了检测衣服颜色的准确性。
本实施例的人体衣服颜色的检测方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。
实施例五
基于相同的技术构思，图5是示出根据本发明实施例五的神经网络的训练装置的结构示意图。可用以执行如实施例一所述的神经网络的训练方法流程。
参照图5，该神经网络的训练装置包括第一提取模块501、第一获取模块502和训练模块503。
第一提取模块501，用于基于人体关键点，从样本图像中提取服装区域图像，所述服装区域图像含有人体服装像素点的颜色特征标定数据；
第一获取模块502，用于通过服装颜色提取网络，从所述服装区域图像获取所述服装区域图像的颜色特征检测数据；
训练模块503，用于根据所述颜色特征标定数据和所述颜色特征检测数据训练所述服装颜色提取网络。
通过本实施例提供的神经网络的训练装置，基于人体关键点，从样本图像中提取含有人体服装像素点的颜色特征标定数据的服装区域图像，并通过服装颜色提取网络，从所述服装区域图像获取所述服装区域图像的颜色特征检测数据，再根据所述颜色特征标定数据和所述颜色特征检测数据训练所述服装颜色提取网络，与现有技术相比，使得训练得到的服装颜色提取网络能够精确定位到与人体服装关联的区域图像，减少了背景区域图像的干扰，提高了检测衣服颜色的准确性。
实施例六
基于相同的技术构思，图6是示出根据本发明实施例六的神经网络的训练装置的结构示意图。可用以执行如实施例二所述的神经网络的训练方法流程。
参照图6，该神经网络的训练装置包括第一提取模块603、第一获取模块604和训练模块605。其中，第一提取模块603，用于基于人体关键点，从样本图像中提取服装区域图像，所述服装区域图像含有人体服装像素点的颜色特征标定数据；第一获取模块604，用于通过服装颜色提取网络，从所述服装区域图像获取所述服装区域图像的颜色特征检测数据；训练模块605，用于根据所述颜色特征标定数据和所述颜色特征检测数据训练所述服装颜色提取网络。
具体地，所述服装区域图像，包括：第一区域图像，和/或第二区域图像；其中，所述第一区域图像含有人体上衣像素点的第一颜色特征标定数据，所述第二区域图像含有人体下衣像素点的第二颜色特征标定数据。
可选地，所述第一获取模块604，包括：第一获取子模块6041，用于通过所述服装颜色提取网络，从所述第一区域图像和/或所述第二区域图像中获取所述第一区域图像对应的第一颜色特征检测数据和/或所述第二区域图像对应的第二颜色特征检测数据。
可选地，所述训练模块605，包括：第一训练子模块6051，用于根据所述第一颜色特征标定数据与所述第一颜色特征检测数据训练所述服装颜色提取网络；和/或第二训练子模块6052，用于根据所述第二颜色特征标定数据与所述第二颜色特征检测数据训练所述服装颜色提取网络。
可选地，所述装置还包括：第二获取模块601，用于获取所述样本图像中人体上半身的至少两个人体关键点之间的多个第一像素点的颜色特征数据，为所述第一区域图像中的第一颜色特征标定数据；和/或第三获取模块602，用于获取所述样本图像中人体下半身的至少两个人体关键点之间的多个第二像素点的颜色特征数据，为所述第二区域图像中的第二颜色特征标定数据。
可选地，所述第二获取模块601，具体用于：根据所述第一区域图像中的每个像素点的颜色特征数据确定所述人体上衣的第一颜色中位数值；基于所述第一颜色中位数值，选择所述人体上半身的至少两个人体关键点之间符合第一设定条件的像素点作为所述第一像素点，并且将选择的第一像素点的颜色特征数据确定为所述第一区域图像中的第一颜色特征标定数据；其中，所述第一设定条件包括：所述像素点的颜色特征数据与所述第一颜色中位数值之间的第一距离不超过第一预设阈值。
可选地，所述第三获取模块602，具体用于：根据所述第二区域图像中的每个像素点的颜色特征数据确定所述人体下衣的第二颜色中位数值；基于所述第二颜色中位数值，选择所述人体下半身的至少两个人体关键点之间符合第二设定条件的像素点作为所述第二像素点，并且将选择的第二像素点的颜色特征数据确定为所述第二区域图像中的第二颜色特征标定数据；其中，所述第二设定条件包括：所述像素点的颜色特征数据与所述第二颜色中位数值之间的第二距离不超过第二预设阈值。
可选地，所述第一提取模块603，包括：第一提取子模块6031，用于基于人体上半身的人体关键点的第一坐标数据，确定所述第一区域图像在所述样本图像中所在区域的第二坐标数据，并且根据所述第二坐标数据从所述样本图像中提取所述第一区域图像；和/或，第二提取子模块6032，用于基于人体下半身的人体关键点的第三坐标数据，确定所述第二区域图像在所述样本图像中所在区域的第四坐标数据，并且根据所述第四坐标数据从所述样本图像中提取所述第二区域图像。
需要说明的是，对于本发明实施例提供的神经网络的训练装置还涉及的具体细节已在本发明实施例提供的神经网络的训练方法中作了详细的说明，在此不在赘述。
实施例七
基于相同的技术构思，图7是示出根据本发明实施例七的人体衣服颜色的检测装置的结构框图。可用以执行如实施例三所述的人体衣服颜色的检测方法流程。
参照图7，该人体衣服颜色的检测装置包括第二提取模块701和第四获取模块702。
第二提取模块701，用于基于人体关键点，从待检测的人体图像中提取服装区域图像；
第四获取模块702，用于通过服装颜色提取网络，从所述服装区域图像获取所述服装区域图像的颜色特征预测数据，
其中，所述服装颜色提取网络是根据实施例五或实施例六所述的装置训练获得的。
通过本实施例提供的人体衣服颜色的检测装置，基于人体关键点，从待检测的人体图像中提取服装区域图像，并通过服装颜色提取网络从所述服装区域图像获取所述服装区域图像的颜色特征预测数据，能够精确定位到与人体服装关联的区域图像，减少了背景区域图像的干扰，提高了检测衣服颜色的准确性。
实施例八
基于相同的技术构思，图8是示出根据本发明实施例八的人体衣服颜色的检测装置的结构框图。可用以执行如实施例四所述的人体衣服颜色的检测方法流程。
参照图8，该人体衣服颜色的检测装置包括第二提取模块801和第四获取模块802。第二提取模块801，用于基于人体关键点，从待检测的人体图像中提取服装区域图像；第四获取模块802，用于通过服装颜色提取网络，从所述服装区域图像获取所述服装区域图像的颜色特征预测数据，其中，所述服装颜色提取网络是根据实施例五或实施例六所述的装置训练获得的。
可选地，所述第二提取模块801，包括：第三提取子模块8011，用于基于所述人体关键点，从所述待检测的人体图像中提取与人体上衣关联的第三区域图像和/或与人体下衣关联的第四区域图像。
可选地，所述第四获取模块802，包括：第二获取子模块8021，用于通过所述服装颜色提取网络，从所述第三区域图像和/或所述第四区域图像获取所述人体上衣的颜色特征预测数据和/或所述人体下衣的颜色特征预测数据。
可选地，所述第三提取子模块8011，具体用于：基于人体上半身的人体关键点的第五坐标数据，确定所述第三区域图像在所述待检测的人体图像中所在区域的第六坐标数据，并且根据所述第六坐标数据从所述待检测的人体图像中提取所述第三区域图像；和/或，基于人体下半身的人体关键点的第七坐标数据，确定所述第四区域图像在所述待检测的人体图像中所在区域的第八坐标数据，并且根据所述第八坐标数据从所述待检测的人体图像中提取所述第四区域图像。
可选地，所述待检测的人体图像为静态图像，或者为视频帧序列中的视频图像。
需要说明的是，对于本发明实施例提供的人体衣服颜色的检测装置还涉及的具体细节已在本发明实施例提供的人体衣服颜色的检测方法中作了详细的说明，在此不在赘述。
实施例九
本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图9，其示出了适于用来实现本发明实施例的终端设备或服务器的电子设备900的结构示意图。如图9所示，电子设备900包括一个或多个第一处理器、第一通信元件等，所述一个或多个第一处理器例如：一个或多个中央处理单元(CPU)901，和/或一个或多个图像处理器(GPU)913等，第一处理器可以根据存储在只读存储器(ROM)902中的可执行指令或者从存储部分908加载到随机访问存储器(RAM)903中的可执行指令而执行各种适当的动作和处理。本实施例中，第一只读存储器902和随机访问存储器903统称为第一存储器。第一通信元件包括通信组件912和/或通信接口909。其中，通信组件912可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，通信接口909包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，通信接口909经由诸如因特网的网络执行通信处理。
第一处理器可与只读存储器902和/或随机访问存储器903中通信以执行可执行指令，通过第一通信总线904与通信组件912相连、并经通信组件912与其他目标设备通信，从而完成本发明实施例提供的任一项神经网络的训练方法对应的操作，例如，基于人体关键点，从样本图像中提取服装区域图像，所述服装区域图像含有人体服装像素点的颜色特征标定数据；通过服装颜色提取网络，从所述服装区域图像获取所述服装区域图像的颜色特征检测数据；根据所述颜色特征标定数据和所述颜色特征检测数据训练所述服装颜色提取网络。
此外，在RAM 903中，还可存储有装置操作所需的各种程序和数据。CPU901或GPU913、ROM902以及RAM903通过第一通信总线904彼此相连。在有RAM903的情况下，ROM902为可选模块。RAM903存储可执行指令，或在运行时向ROM902中写入可执行指令，可执行指令使第一处理器执行上述通信方法对应的操作。输入/输出(I/O)接口905也连接至第一通信总线904。通信组件912可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在通信总线链接上。
以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信接口909。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
需要说明的，如图9所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图9的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信元件可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明的保护范围。
特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的方法步骤对应的指令，例如，基于人体关键点，从样本图像中提取服装区域图像，所述服装区域图像含有人体服装像素点的颜色特征标定数据；通过服装颜色提取网络，从所述服装区域图像获取所述服装区域图像的颜色特征检测数据；根据所述颜色特征标定数据和所述颜色特征检测数据训练所述服装颜色提取网络。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被第一处理器执行时，执行本发明实施例的方法中限定的上述功能。
实施例十
本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图10，其示出了适于用来实现本发明实施例的终端设备或服务器的电子设备1000的结构示意图。如图10所示，电子设备1000包括一个或多个第二处理器、第二通信元件等，所述一个或多个第二处理器例如：一个或多个中央处理单元(CPU)1001，和/或一个或多个图像处理器(GPU)1013等，第二处理器可以根据存储在只读存储器(ROM)1002中的可执行指令或者从存储部分1008加载到随机访问存储器(RAM)1003中的可执行指令而执行各种适当的动作和处理。本实施例中，第二只读存储器1002和随机访问存储器1003统称为第二存储器。第二通信元件包括通信组件1012和/或通信接口1009。其中，通信组件1012可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，通信接口1009包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，通信接口1009经由诸如因特网的网络执行通信处理。
第二处理器可与只读存储器1002和/或随机访问存储器1003中通信以执行可执行指令，通过第二通信总线1004与通信组件1012相连、并经通信组件1012与其他目标设备通信，从而完成本发明实施例提供的任一项人体衣服颜色的检测方法对应的操作，例如，基于人体关键点，从待检测的人体图像中提取服装区域图像；通过服装颜色提取网络，从所述服装区域图像获取所述服装区域图像的颜色特征预测数据，其中，所述服装颜色提取网络是根据上述实施例一或实施例二所述的方法训练获得的。
此外，在RAM 1003中，还可存储有装置操作所需的各种程序和数据。CPU1001或GPU1013、ROM1002以及RAM1003通过第二通信总线1004彼此相连。在有RAM1003的情况下，ROM1002为可选模块。RAM1003存储可执行指令，或在运行时向ROM1002中写入可执行指令，可执行指令使第二处理器执行上述通信方法对应的操作。输入/输出(I/O)接口1005也连接至第二通信总线1004。通信组件1012可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在通信总线链接上。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信接口1009。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
需要说明的，如图10所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图10的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信元件可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明的保护范围。
特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的方法步骤对应的指令，例如，基于人体关键点，从待检测的人体图像中提取服装区域图像；通过服装颜色提取网络，从所述服装区域图像获取所述服装区域图像的颜色特征预测数据，其中，所述服装颜色提取网络是根据上述实施例一或实施例二所述的方法训练获得的。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被第二处理器执行时，执行本发明实施例的方法中限定的上述功能。
需要指出，根据实施的需要，可将本申请中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。
可能以许多方式来实现本发明的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明实施例的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本发明实施例的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明实施例的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明实施例的方法的程序的记录介质。
本发明实施例的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式，很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种神经网络的训练方法，其特征在于，所述方法包括：
基于人体关键点，从样本图像中提取服装区域图像，所述服装区域图像含有人体服装像素点的颜色特征标定数据；
通过服装颜色提取网络，从所述服装区域图像获取所述服装区域图像的颜色特征检测数据；
根据所述颜色特征标定数据和所述颜色特征检测数据训练所述服装颜色提取网络。
2.根据权利要求1所述的方法，其特征在于，所述服装区域图像，包括：第一区域图像，和/或第二区域图像；
其中，所述第一区域图像含有人体上衣像素点的第一颜色特征标定数据，所述第二区域图像含有人体下衣像素点的第二颜色特征标定数据。
3.根据权利要求2所述的方法，其特征在于，所述通过服装颜色提取网络，从所述服装区域图像获取所述服装区域图像的颜色特征检测数据，包括：
通过所述服装颜色提取网络，从所述第一区域图像和/或所述第二区域图像中获取所述第一区域图像对应的第一颜色特征检测数据和/或所述第二区域图像对应的第二颜色特征检测数据。
4.一种人体衣服颜色的检测方法，其特征在于，所述方法包括：
基于人体关键点，从待检测的人体图像中提取服装区域图像；
通过服装颜色提取网络，从所述服装区域图像获取所述服装区域图像的颜色特征预测数据，
其中，所述服装颜色提取网络是根据权利要求1～3中任意一项权利要求所述的方法训练获得的。
5.一种神经网络的训练装置，其特征在于，所述装置包括：
第一提取模块，用于基于人体关键点，从样本图像中提取服装区域图像，所述服装区域图像含有人体服装像素点的颜色特征标定数据；
第一获取模块，用于通过服装颜色提取网络，从所述服装区域图像获取所述服装区域图像的颜色特征检测数据；
训练模块，用于根据所述颜色特征标定数据和所述颜色特征检测数据训练所述服装颜色提取网络。
6.一种人体衣服颜色的检测装置，其特征在于，所述装置包括：
第二提取模块，用于基于人体关键点，从待检测的人体图像中提取服装区域图像；
第四获取模块，用于通过服装颜色提取网络，从所述服装区域图像获取所述服装区域图像的颜色特征预测数据，
其中，所述服装颜色提取网络是根据权利要求5所述的装置训练获得的。
7.一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现权利要求1～3中任意一项权利要求所述的神经网络的训练方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现权利要求4所述的人体衣服颜色的检测方法的步骤。
9.一种电子设备，包括：第一处理器、第一存储器、第一通信元件和第一通信总线，所述第一处理器、所述第一存储器和所述第一通信元件通过所述第一通信总线完成相互间的通信；
所述第一存储器用于存放至少一可执行指令，所述可执行指令使所述第一处理器执行如权利要求1～3中任意一项权利要求所述的神经网络的训练方法的步骤。
10.一种电子设备，包括：第二处理器、第二存储器、第二通信元件和第二通信总线，所述第二处理器、所述第二存储器和所述第二通信元件通过所述第二通信总线完成相互间的通信；
所述第二存储器用于存放至少一可执行指令，所述可执行指令使所述第二处理器执行如权利要求4所述的人体衣服颜色的检测方法的步骤。
CN201710487723.2A 2017-06-23 2017-06-23 神经网络训练及衣服颜色检测方法、装置、存储介质、电子设备 Active CN108229288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710487723.2A CN108229288B (zh) 2017-06-23 2017-06-23 神经网络训练及衣服颜色检测方法、装置、存储介质、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710487723.2A CN108229288B (zh) 2017-06-23 2017-06-23 神经网络训练及衣服颜色检测方法、装置、存储介质、电子设备

Publications (2)

Publication Number Publication Date
CN108229288A true CN108229288A (zh) 2018-06-29
CN108229288B CN108229288B (zh) 2020-08-11

Family

ID=62658147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710487723.2A Active CN108229288B (zh) 2017-06-23 2017-06-23 神经网络训练及衣服颜色检测方法、装置、存储介质、电子设备

Country Status (1)

Country Link
CN (1) CN108229288B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670591A (zh) * 2018-12-14 2019-04-23 深圳市商汤科技有限公司 一种神经网络的训练方法及图像匹配方法、装置
CN109784350A (zh) * 2018-12-29 2019-05-21 天津大学 结合空洞卷积与级联金字塔网络的服饰关键点定位方法
CN110263605A (zh) * 2018-07-18 2019-09-20 桂林远望智能通信科技有限公司 基于二维人体姿态估计的行人服饰颜色识别方法及装置
CN110555393A (zh) * 2019-08-16 2019-12-10 北京慧辰资道资讯股份有限公司 一种从视频数据中分析行人着装特征的方法和装置
CN110598523A (zh) * 2019-07-22 2019-12-20 浙江工业大学 一种服装图片的联合颜色分类与分组方法
CN111325806A (zh) * 2020-02-18 2020-06-23 苏州科达科技股份有限公司 基于语义分割的服装颜色识别方法、装置和***
CN111461017A (zh) * 2020-04-01 2020-07-28 杭州视在科技有限公司 一种用于城市级规模的餐饮后厨工作服高精度识别方法
CN111612011A (zh) * 2020-05-21 2020-09-01 杭州智珺智能科技有限公司 一种基于人体语义分割的服饰色彩提取方法
CN111783724A (zh) * 2020-07-14 2020-10-16 上海依图网络科技有限公司 一种目标对象识别方法和装置
CN112466086A (zh) * 2020-10-26 2021-03-09 福州微猪信息科技有限公司 一种农场工作服视觉识别预警装置及方法
CN112489143A (zh) * 2020-11-30 2021-03-12 济南博观智能科技有限公司 一种颜色识别方法、装置、设备及存储介质
CN112825145A (zh) * 2019-11-20 2021-05-21 上海商汤智能科技有限公司 人体朝向检测方法、装置、电子设备和计算机存储介质
CN113378752A (zh) * 2021-06-23 2021-09-10 济南博观智能科技有限公司 一种行人背包检测方法、装置、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436642A (zh) * 2011-10-24 2012-05-02 葛文英 结合mrf和神经网络的多尺度彩色纹理图像分割方法
CN104778464A (zh) * 2015-05-04 2015-07-15 中国科学院重庆绿色智能技术研究院 一种基于深度卷积神经网络的服装定位检测方法
CN104992142A (zh) * 2015-06-03 2015-10-21 江苏大学 一种基于深度学习和属性学习相结合的行人识别方法
CN105005774A (zh) * 2015-07-28 2015-10-28 中国科学院自动化研究所 一种基于卷积神经网络的人脸亲属关系识别方法及装置
CN105469087A (zh) * 2015-07-13 2016-04-06 百度在线网络技术（北京）有限公司 识别服饰图片的方法、服饰图片的标注方法及装置
CN105631415A (zh) * 2015-12-25 2016-06-01 中通服公众信息产业股份有限公司 一种基于卷积神经网络的视频行人识别方法
CN105913275A (zh) * 2016-03-25 2016-08-31 哈尔滨工业大学深圳研究生院 一种基于视频主角识别的服装广告投放方法及***
CN106127114A (zh) * 2016-06-16 2016-11-16 北京数智源科技股份有限公司 智能视频分析方法
CN106575367A (zh) * 2014-08-21 2017-04-19 北京市商汤科技开发有限公司 用于基于多任务的人脸关键点检测的方法和***
CN106780376A (zh) * 2016-12-07 2017-05-31 中国农业科学院农业信息研究所 基于显著性检测和联合分割算法的背景图像分割方法
US20170154212A1 (en) * 2015-11-30 2017-06-01 International Business Machines Corporation System and method for pose-aware feature learning

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436642A (zh) * 2011-10-24 2012-05-02 葛文英 结合mrf和神经网络的多尺度彩色纹理图像分割方法
CN106575367A (zh) * 2014-08-21 2017-04-19 北京市商汤科技开发有限公司 用于基于多任务的人脸关键点检测的方法和***
CN104778464A (zh) * 2015-05-04 2015-07-15 中国科学院重庆绿色智能技术研究院 一种基于深度卷积神经网络的服装定位检测方法
CN104992142A (zh) * 2015-06-03 2015-10-21 江苏大学 一种基于深度学习和属性学习相结合的行人识别方法
CN105469087A (zh) * 2015-07-13 2016-04-06 百度在线网络技术（北京）有限公司 识别服饰图片的方法、服饰图片的标注方法及装置
CN105005774A (zh) * 2015-07-28 2015-10-28 中国科学院自动化研究所 一种基于卷积神经网络的人脸亲属关系识别方法及装置
US20170154212A1 (en) * 2015-11-30 2017-06-01 International Business Machines Corporation System and method for pose-aware feature learning
CN105631415A (zh) * 2015-12-25 2016-06-01 中通服公众信息产业股份有限公司 一种基于卷积神经网络的视频行人识别方法
CN105913275A (zh) * 2016-03-25 2016-08-31 哈尔滨工业大学深圳研究生院 一种基于视频主角识别的服装广告投放方法及***
CN106127114A (zh) * 2016-06-16 2016-11-16 北京数智源科技股份有限公司 智能视频分析方法
CN106780376A (zh) * 2016-12-07 2017-05-31 中国农业科学院农业信息研究所 基于显著性检测和联合分割算法的背景图像分割方法

Non-Patent Citations (11)

* Cited by examiner, † Cited by third party
Title
BRIAN LAO等: "Convolutional neural networks for fashion classification and object detection", 《CCCV 2015：COMPUTER VISION(2016)》 *
HAIQIANG ZUO等: "Combining Convolutional and Recurrent Neural Networks for Human Skin Detection", 《IEEE SIGNAL PROCESSING LETTERS》 *
MARK J. J. P. VAN GRINSVEN等: "Fast Convolutional Neural Network Training Using Selective Data Sampling: Application to Hemorrhage Detection in Color Fundus Images", 《 IEEE TRANSACTIONS ON MEDICAL IMAGING》 *
NORA LEONARDI等: "Eigenconnectivities of dynamic functional networks: Consistency across subjects", 《2014 48TH ASILOMAR CONFERENCE ON SIGNALS, SYSTEMS AND COMPUTERS》 *
QIANG CHEN等: "Deep domain adaptation for describing people based on fine-grained clothing attributes", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
刘梦迪等: "图像自动标注技术研究进展", 《计算机应用》 *
李继宏: "基于极限学习机的图像标注研究", 《中国优秀硕士学位论文全文数据库 信息科技辑（月刊）》 *
林梓佳: "图像语义标注方法研究", 《中国博士学位论文全文数据库 信息科技辑（月刊）》 *
王建文等: "基于颜色直方图金字塔的图像自动标注方法", 《计算机工程》 *
章星: "基于卷积神经网络的对象颜色识别", 《中国优秀硕士学位论文全文数据库 信息科技辑（月刊）》 *
董俊杰: "基于HOG和SVM的服装图像检索***的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑（月刊）》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263605A (zh) * 2018-07-18 2019-09-20 桂林远望智能通信科技有限公司 基于二维人体姿态估计的行人服饰颜色识别方法及装置
CN109670591A (zh) * 2018-12-14 2019-04-23 深圳市商汤科技有限公司 一种神经网络的训练方法及图像匹配方法、装置
CN109784350A (zh) * 2018-12-29 2019-05-21 天津大学 结合空洞卷积与级联金字塔网络的服饰关键点定位方法
CN110598523A (zh) * 2019-07-22 2019-12-20 浙江工业大学 一种服装图片的联合颜色分类与分组方法
CN110598523B (zh) * 2019-07-22 2021-10-26 浙江工业大学 一种服装图片的联合颜色分类与分组方法
CN110555393A (zh) * 2019-08-16 2019-12-10 北京慧辰资道资讯股份有限公司 一种从视频数据中分析行人着装特征的方法和装置
CN112825145A (zh) * 2019-11-20 2021-05-21 上海商汤智能科技有限公司 人体朝向检测方法、装置、电子设备和计算机存储介质
WO2021164283A1 (zh) * 2020-02-18 2021-08-26 苏州科达科技股份有限公司 基于语义分割的服装颜色识别方法、装置和***
CN111325806A (zh) * 2020-02-18 2020-06-23 苏州科达科技股份有限公司 基于语义分割的服装颜色识别方法、装置和***
CN111461017A (zh) * 2020-04-01 2020-07-28 杭州视在科技有限公司 一种用于城市级规模的餐饮后厨工作服高精度识别方法
CN111461017B (zh) * 2020-04-01 2024-01-19 杭州视在科技有限公司 一种用于城市级规模的餐饮后厨工作服高精度识别方法
CN111612011A (zh) * 2020-05-21 2020-09-01 杭州智珺智能科技有限公司 一种基于人体语义分割的服饰色彩提取方法
CN111612011B (zh) * 2020-05-21 2023-09-05 郑泽宇 一种基于人体语义分割的服饰色彩提取方法
CN111783724A (zh) * 2020-07-14 2020-10-16 上海依图网络科技有限公司 一种目标对象识别方法和装置
CN111783724B (zh) * 2020-07-14 2024-03-26 上海依图网络科技有限公司 一种目标对象识别方法和装置
CN112466086A (zh) * 2020-10-26 2021-03-09 福州微猪信息科技有限公司 一种农场工作服视觉识别预警装置及方法
CN112489143A (zh) * 2020-11-30 2021-03-12 济南博观智能科技有限公司 一种颜色识别方法、装置、设备及存储介质
CN113378752A (zh) * 2021-06-23 2021-09-10 济南博观智能科技有限公司 一种行人背包检测方法、装置、电子设备及存储介质
CN113378752B (zh) * 2021-06-23 2022-09-06 济南博观智能科技有限公司 一种行人背包检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN108229288B (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN108229288A (zh) 神经网络训练及衣服颜色检测方法、装置、存储介质、电子设备
CN110023994B (zh) 组织病理学图像分析
KR102102161B1 (ko) 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램
CN103582893B (zh) 用于增强现实表示的二维图像获取
CN105893925A (zh) 基于肤色的人手检测方法及装置
CN108229355A (zh) 行为识别方法和装置、电子设备、计算机存储介质、程序
US11734824B2 (en) Image processing method, drug sensitivity test method and image processing apparatus
US20210012493A1 (en) Systems and methods to process images for skin analysis and to visualize skin analysis
CN104572538B (zh) 一种基于k‑pls回归模型的中医舌图像颜色校正方法
CN110110709A (zh) 一种基于图像处理的红白细胞分类计数方法、***和设备
CN106169082A (zh) 训练分类器以检测目标环境图像中的对象的方法和***
CN107146229B (zh) 基于元胞自动机模型的结肠息肉图像分割方法
TW201108152A (en) Displaying a visual representation of performance metrics for rendered graphics elements
CN107229560A (zh) 一种界面显示效果测试方法、图像样张获取方法及装置
CN108447061A (zh) 商品信息处理方法、装置、计算机设备和存储介质
CN104951765B (zh) 基于形状先验信息和视觉对比度的遥感图像目标分割方法
CN109643446A (zh) 电路装置、电子设备以及错误检测方法
CN109598249A (zh) 服饰检测方法和装置、电子设备、存储介质
CN110490232A (zh) 训练文字行方向预测模型的方法、装置、设备、介质
CN108601509A (zh) 图像处理装置、图像处理方法以及程序
CN111950457A (zh) 油田安全生产图像识别方法及***
CN108229291A (zh) 特征点检测、网络训练方法、装置、电子设备和存储介质
CN109977834A (zh) 从深度图像中分割人手与交互物体的方法和装置
CN111429547A (zh) 一种基于假同色搜索的异常色觉测试图合成方法
KR20200100062A (ko) 조직학적 이미지 분석

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant