CN111160124A - 一种基于知识重组的深度模型定制方法 - Google Patents
一种基于知识重组的深度模型定制方法 Download PDFInfo
- Publication number
- CN111160124A CN111160124A CN201911265084.0A CN201911265084A CN111160124A CN 111160124 A CN111160124 A CN 111160124A CN 201911265084 A CN201911265084 A CN 201911265084A CN 111160124 A CN111160124 A CN 111160124A
- Authority
- CN
- China
- Prior art keywords
- network
- component
- knowledge
- source
- networks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/96—Management of image or video recognition tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于知识重组的深度模型定制方法,包括:1)收集已有训练好的深度人脸属性识别模型,构建人脸属性识别模型库,将各类模型进行分组归类;2)根据当前对人脸属性识别的任务需求,将目标任务分解为一系列识别不同人脸属性的“组件任务”,并从深度模型库中选择相关的模型;3)对选中的人脸属性识别模型,进行知识过滤,将多个深度模型中,与“组件任务”相关的知识合并到“组件网络”中;4)对“组件网络”进行组合,得到最终的“目标网络”。本发明利用现有深度模型的知识,逐过程指导新模型的学习,有效减少对数据标注、数据量的依赖,降低训练新深度模型耗费的周期和资源。
Description
技术领域
本发明属于在线个性化化妆品推荐模型定制领域,针对在线商品推荐领域中,不同化妆品需要识别不同类型的人脸属性来进行个性化推荐,为此需要重新设计并从头开始训练模型,存在模型获取代价大的问题。本发明提出了一种基于知识重组的人脸属性模型定制方法,利用现有的深度人脸属性识别模型来加快新的深度模型的开发。
背景技术
随着深度学习的迅猛发展,网上出现了大量的预训练的深度模型。复用这些模型来定制新任务上的模型,可以有效降低重新训练模型的代价。已有的模型复用的相关工作主要包含两大类别:知识蒸馏和跨模态知识迁移。
知识蒸馏的目的是通过一个教师-学生的架构,使得结构精简的学生网络模型能够去模拟原始的教师网络的输出,相关的研究集中在学生网络结构的设计和软标签的损失函数上。跨模态知识迁移则通过将特定模态下的知识转移到相似的场景中,例如可以通过训练好的教师网络引导学生网络从未标记的数据模态中进行学习作为对学生网络的预训练,再利用少量的标记数据进行模型调优。
现有的技术方案的一些限制如下:(1)知识蒸馏在分类类别数较多时难以得到跟教师网络性能相当的学生网络模型;(2)跨模态知识迁移受限于相似的知识模态场景,例如需要处理来源于同样场景的深度图和分割图。两类技术方案都不适用于用已有模型来定制新的深度模型。
发明内容
本发明要克服现有技术的上述缺点,提供一种基于知识重组的深度模型定制方法。
本发明用于克服获取人脸多属性识别模型中重新训练深度模型代价大的问题,在现有训练好的人脸属性识别模型库的基础上,提供了一种基于知识重组的人脸属性识别模型定制方法,实现针对目标任务的模型定制。本发明的技术方案是:
一种基于知识重组的深度模型定制方法,包含如下步骤:
1)构建深度人脸属性识别模型库;
从网络上收集大量训练好的人脸属性识别模型,对其进行分组归类,建立一套便于检索的人脸属性识别模型库***;根据其按照不同类型的人脸属性、训练数据集、网络框架等信息,对深度模型进行分组归类,将这些网络称为“源网络”;
2)分解目标人脸属性识别任务;
根据当前人脸属性识别任务订制需求,将目标任务分解为一系列不同人脸属性识别的“组件任务”,并从人脸属性识别模型库中检索得到相关的深度模型;
3)构建人脸属性识别“组件网络”;
将包含多个识别人脸不同属性“组件任务”的“源网络”的中间结果与最终结果,通过特征对齐模块进行特征过滤和特征对齐,实现多个“源网络”和对应“组件网络”之间的特征对齐,并且过滤得到“组件网络”需要的知识。
优选地,采用了1×1的卷积操作,在特征图的通道维度进行加权求和,得到经过线性变换之后的特征:
其中,Fa,c表示对齐的特征Fa的第c个通道特征图,Fc′表示输入特征F的第c′个通道特征图,变换参数wc是可学习的,能够根据“源网络”和“组件网络”之间的特征编码差异,进行自适应的学习和调整,从而实现对齐;同时,由于任务目标的监督和对齐特征数量的限制,目标任务相关的知识优先被“组件网络”所学习,而无关的知识则被滤除。
优选地,采用通过引入了迁移损失来监督“组件网络”的学习并实现特征的对齐过滤:
将wc值限制在一个合理的范围内。
同时对于同一个“组件任务”存在多个“源网络”,不同“源网络”由于训练数据及方式的差异,对同一输入样本存在不同的预测,部分“源网络”正确而部分“源网络”错误,因此需要对“源网络”的预测进行选择性学习。这里采用了置信度作为选择“源网络”预测的度量标准,置信度越高,预测错误的概率越低。具体采用了熵不纯度来衡量置信度(熵不纯度越小,置信度越高),选择熵不纯度最低的“源网络”tse的预测作为“组件网络”的学习目标:
tse=argmin{I(pt(x))} (5)
4)构建“目标网络”;
按照步骤3)中,从“源网络”到“组件网络”的知识重组方式,实现“组件网络”到“目标网络”的知识重组,最终得到目标任务所需的“目标网络”。
本发明的有益效果如下:
本发明是一种基于知识重组的人脸属性识别模型定制方法,可以有效避免针对新的人脸属性识别任务需要从头开始训练深度模型,而产生高昂代价的问题。利用现有深度模型的知识,来逐过程指导新模型的学习,可以有效减少对数据标注、数据量的依赖,降低训练新深度模型耗费的周期和资源。
附图说明
图1是本发明方法的人脸属性识别模型定制框架的示意图。
具体实施方式
下面结合附图,对本发明的技术方案进行清晰、完整的解释和描述。
一种基于知识重组的深度模型定制方法,包含如下步骤:
1)构建深度人脸属性识别模型库;
从网络上收集大量训练好的深度模型,对其进行分组归类,建立一套便于检索的深度模型库***;模型分类具体标准如下:按人脸属性类型分类包括性别,鼻子类型,嘴巴类型,眼睛类型,皮肤,整体脸型,下巴,头发及毛发。按训练数据分类可以由CelebA,LFWA等人脸属性。由此可以得到一系列“源模型”。
2)分解目标人脸属性识别任务;
例如当前需要向用户推荐一款眼霜产品,那么需要分析用户上传的个人肖像图片中分析当前的用户是否化妆来判断是否有购买化妆品的习惯,用户的年龄大小,皮肤的保养状况,眼睛是否有眼袋,以精确推荐适合的产品款式。可以将当前的推荐任务分解为关于识别是否化妆、年龄大小,肤色、是否有眼袋等人脸属性的“组件任务”,并从模型库中检索得到包含相关任务的深度模型。
3)构建人脸属性识别“组件网络”;
将多个包含多个2)中识别人脸不同属性“组件任务”的“源网络”作为复用模型。如图1所示(简洁起见,只画出了一个“源网络”),输入一个批次的无标注人脸图像,经过以上“源网络”和待训练的“组件网络”的处理,通过特征对齐模块对它们输出的中间结果与最终结果进行特征过滤和特征对齐,实现多个“源网络”和对应“组件网络”之间的特征对齐,从而过滤得到“组件网络”所需要的知识。具体采用了1×1的卷积操作,在特征图的通道维度进行加权求和,得到经过线性变换之后的特征:
其中,Fa,c表示对齐的特征Fa的第c个通道特征图,Fc′表示输入特征F的第c′个通道特征图,变换参数wc是可学习的,能够根据“源网络”和“组件网络”之间的特征编码差异,进行自适应的学习和调整,从而实现对齐;同时,由于任务目标的监督和对齐特征数量的限制,目标任务相关的知识优先被“组件网络”所学习,而无关的知识则被滤除。
具体采用通过引入了迁移损失来监督“组件网络”的学习并实现特征的对齐过滤:
将wc值限制在一个合理的范围内。
同时对于同一个“组件任务”存在多个“源网络”,不同“源网络”由于训练数据及方式的差异,对同一输入样本存在不同的预测,部分“源网络”正确而部分“源网络”错误,因此需要对“源网络”的预测进行选择性学习。这里采用了置信度作为选择“源网络”预测的度量标准,置信度越高,预测错误的概率越低。具体采用了熵不纯度来衡量置信度(熵不纯度越小,置信度越高),选择熵不纯度最低的“源网络”tse的预测作为“组件网络”的学习目标:
tse=argmin{I(pt(x))} (5)
4)“目标网络”的构建
按照3)中,从“源网络”到“组件网络”的知识重组方式,实现“组件网络”到“目标网络”的知识重组,最终得到目标任务所需的“目标网络”。与3)不同的是:4)中“组件网络”作为的“目标网络”的学习对象,“目标网络”是4)需要训练得到的模型;而3)中“源网络”作为“组件网络”的学习对象,“组件网络”是3)需要训练得到的模型。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举,本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式,本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (2)
1.一种基于知识重组的深度模型定制方法,包含如下步骤:
1)构建深度人脸属性识别模型库;
从网络上收集大量训练好的人脸属性识别模型,对其进行分组归类,建立一套便于检索的人脸属性识别模型库***;根据其按照不同类型的人脸属性、训练数据集、网络框架等信息,对深度模型进行分组归类,将这些网络称为“源网络”;
2)分解目标人脸属性识别任务;
根据当前人脸属性识别任务订制需求,将目标任务分解为一系列不同人脸属性识别的“组件任务”,并从人脸属性识别模型库中检索得到相关的深度模型;
3)构建人脸属性识别“组件网络”;
将包含多个识别人脸不同属性“组件任务”的“源网络”的中间结果与最终结果,通过特征对齐模块进行特征过滤和特征对齐,实现多个“源网络”和对应“组件网络”之间的特征对齐,并且过滤得到“组件网络”需要的知识;
4)构建“目标网络”;
按照步骤3)中,从“源网络”到“组件网络”的知识重组方式,实现“组件网络”到“目标网络”的知识重组,最终得到目标任务所需的“目标网络”。
2.如权利要求1所述的一种基于知识重组的深度模型定制方法,其特征在于:步骤3)所述的特征过滤和特征对齐,具体包括:
采用了1×1的卷积操作,在特征图的通道维度进行加权求和,得到经过线性变换之后的特征:
其中,Fa,c表示对齐的特征Fa的第c个通道特征图,Fc′表示输入特征F的第c′个通道特征图,变换参数wc是可学习的,能够根据“源网络”和“组件网络”之间的特征编码差异,进行自适应的学习和调整,从而实现对齐;同时,由于任务目标的监督和对齐特征数量的限制,目标任务相关的知识优先被“组件网络”所学习,而无关的知识则被滤除;
采用通过引入了迁移损失来监督“组件网络”的学习并实现特征的对齐过滤:
将wc值限制在一个合理的范围内;
同时对于同一个“组件任务”存在多个“源网络”,不同“源网络”由于训练数据及方式的差异,对同一输入样本存在不同的预测,部分“源网络”正确而部分“源网络”错误,因此需要对“源网络”的预测进行选择性学习;这里采用了置信度作为选择“源网络”预测的度量标准,置信度越高,预测错误的概率越低;具体采用了熵不纯度来衡量置信度(熵不纯度越小,置信度越高),选择熵不纯度最低的“源网络”tse的预测作为“组件网络”的学习目标:
tse=argmin{I(pt(x))} (5)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911265084.0A CN111160124A (zh) | 2019-12-11 | 2019-12-11 | 一种基于知识重组的深度模型定制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911265084.0A CN111160124A (zh) | 2019-12-11 | 2019-12-11 | 一种基于知识重组的深度模型定制方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111160124A true CN111160124A (zh) | 2020-05-15 |
Family
ID=70556962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911265084.0A Withdrawn CN111160124A (zh) | 2019-12-11 | 2019-12-11 | 一种基于知识重组的深度模型定制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111160124A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111832522A (zh) * | 2020-07-21 | 2020-10-27 | 深圳力维智联技术有限公司 | 人脸数据集的构建方法、***及计算机可读存储介质 |
CN112633191A (zh) * | 2020-12-28 | 2021-04-09 | 百果园技术(新加坡)有限公司 | 一种三维人脸重建的方法、装置、设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040093328A1 (en) * | 2001-02-08 | 2004-05-13 | Aditya Damle | Methods and systems for automated semantic knowledge leveraging graph theoretic analysis and the inherent structure of communication |
CN106652025A (zh) * | 2016-12-20 | 2017-05-10 | 五邑大学 | 一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置 |
CN110472217A (zh) * | 2019-08-20 | 2019-11-19 | 同方知网(北京)技术有限公司 | 一种基于重组策略的内容动态重组方法 |
-
2019
- 2019-12-11 CN CN201911265084.0A patent/CN111160124A/zh not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040093328A1 (en) * | 2001-02-08 | 2004-05-13 | Aditya Damle | Methods and systems for automated semantic knowledge leveraging graph theoretic analysis and the inherent structure of communication |
CN106652025A (zh) * | 2016-12-20 | 2017-05-10 | 五邑大学 | 一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置 |
CN110472217A (zh) * | 2019-08-20 | 2019-11-19 | 同方知网(北京)技术有限公司 | 一种基于重组策略的内容动态重组方法 |
Non-Patent Citations (1)
Title |
---|
CHENGCHAO SHEN,ET.AL: "Customizing Student Networks From Heterogeneous Teachers via Adaptive Knowledge Amalgamation", 《ARXIV PREPRINT ARXIV:1908.07121》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111832522A (zh) * | 2020-07-21 | 2020-10-27 | 深圳力维智联技术有限公司 | 人脸数据集的构建方法、***及计算机可读存储介质 |
CN111832522B (zh) * | 2020-07-21 | 2024-02-27 | 深圳力维智联技术有限公司 | 人脸数据集的构建方法、***及计算机可读存储介质 |
CN112633191A (zh) * | 2020-12-28 | 2021-04-09 | 百果园技术(新加坡)有限公司 | 一种三维人脸重建的方法、装置、设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220239988A1 (en) | Display method and apparatus for item information, device, and computer-readable storage medium | |
CN111144448A (zh) | 基于多尺度注意力卷积编码网络的视频弹幕情感分析方法 | |
CN112699774B (zh) | 视频中人物的情绪识别方法及装置、计算机设备及介质 | |
CN110575663B (zh) | 一种基于人工智能的体育辅助训练方法 | |
CN110490136B (zh) | 一种基于知识蒸馏的人体行为预测方法 | |
CN114519809A (zh) | 一种基于多尺度语义网络的视听视频解析装置及方法 | |
CN111464881B (zh) | 基于自优化机制的全卷积视频描述生成方法 | |
US20200065560A1 (en) | Signal retrieval apparatus, method, and program | |
CN116311483B (zh) | 基于局部面部区域重构和记忆对比学习的微表情识别方法 | |
CN111582342A (zh) | 一种图像识别方法、装置、设备以及可读存储介质 | |
CN113435335B (zh) | 微观表情识别方法、装置、电子设备及存储介质 | |
CN110457523B (zh) | 封面图片的选取方法、模型的训练方法、装置及介质 | |
CN115131698B (zh) | 视频属性确定方法、装置、设备及存储介质 | |
CN114724224A (zh) | 一种用于医疗护理机器人的多模态情感识别方法 | |
CN112115967A (zh) | 一种基于数据保护的图像增量学习方法 | |
CN114443899A (zh) | 视频分类方法、装置、设备及介质 | |
CN110704510A (zh) | 一种结合用户画像的题目推荐方法及*** | |
CN113515669A (zh) | 基于人工智能的数据处理方法和相关设备 | |
CN111160124A (zh) | 一种基于知识重组的深度模型定制方法 | |
CN116935170A (zh) | 视频处理模型的处理方法、装置、计算机设备和存储介质 | |
CN117690178B (zh) | 一种基于计算机视觉的人脸图像识别方法与*** | |
CN114330514A (zh) | 一种基于深度特征与梯度信息的数据重建方法及*** | |
CN117237766A (zh) | 一种基于多模态数据的课堂认知投入识别方法和*** | |
CN115168634A (zh) | 一种基于多层级表征的面料跨模态图文检索方法 | |
CN115115979A (zh) | 视频中组成元素的识别、替换方法以及视频推荐方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200515 |