CN111931591A - 用于构建关键点学习模型的方法、装置、电子设备及可读存储介质 - Google Patents

用于构建关键点学习模型的方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN111931591A
CN111931591A CN202010681773.6A CN202010681773A CN111931591A CN 111931591 A CN111931591 A CN 111931591A CN 202010681773 A CN202010681773 A CN 202010681773A CN 111931591 A CN111931591 A CN 111931591A
Authority
CN
China
Prior art keywords
discriminator
key point
prediction model
data
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010681773.6A
Other languages
English (en)
Other versions
CN111931591B (zh
Inventor
孟庆月
赵晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010681773.6A priority Critical patent/CN111931591B/zh
Publication of CN111931591A publication Critical patent/CN111931591A/zh
Priority to EP21162981.1A priority patent/EP3907666A3/en
Priority to JP2021043208A priority patent/JP7135143B2/ja
Priority to US17/204,223 priority patent/US20210201161A1/en
Priority to KR1020210066166A priority patent/KR102527878B1/ko
Application granted granted Critical
Publication of CN111931591B publication Critical patent/CN111931591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了用于构建关键点学习模型的方法、装置、电子设备及计算机可读存储介质，涉及图像处理、图像标注、人工智能、机器学习技术领域。该方法的一具体实施方式包括：获取已标注人体关键点的标注数据和未标注人体关键点的未标注数据；然后，将该标注数据通过初始预测模型和初始判别器按有监督训练方式进行训练，得到第一预测模型和第一判别器；接着，将该未标注数据通过该第一预测模型和该第一判别器按无监督训练方式进行训练，得到第二预测模型和第二判别器；最后，根据该第二预测模型和该第二判别器构建关键点学习模型。该实施方式充分利用了大量存在的未标注数据，降低了构建得到关键点学习模型的门槛和难度。

Description

用于构建关键点学习模型的方法、装置、电子设备及可读存储 介质
技术领域
本申请涉及数据处理技术领域，具体涉及图像处理、图像标注、人工智能、机器学习技术领域，尤其涉及用于构建关键点学习模型的方法、装置、电子设备及计算机可读存储介质。
背景技术
随着互联网技术的发展以及人机交互应用的普及，获取准确、合理的人体关键点技术的应用价值也越来越高，例如在一些体感游戏、人体行为分析、虚拟形象驱动等领域都开始应用了这项技术，甚至在当前的儿童教育、直播特效等都有了很不错的应用进展。
准确的人体关键点是在上述应用场景下实现优良效果的关键，现有技术提供了一种利用机器学习和深度学习算法来构建关键点学习模型的思路，其在构建过程中需要大量、精确的已标注人体关键点的标注数据参与训练。
发明内容
本申请实施例提出了一种用于构建关键点学习模型的方法、装置、电子设备及计算机可读存储介质。
第一方面，本申请实施例提出了一种用于构建关键点学习模型的方法，包括：获取已标注人体关键点的标注数据和未标注人体关键点的未标注数据；将标注数据通过初始预测模型和初始判别器按有监督训练方式进行训练，得到第一预测模型和第一判别器；将未标注数据通过第一预测模型和第一判别器按无监督训练方式进行训练，得到第二预测模型和第二判别器；根据第二预测模型和第二判别器构建关键点学习模型。
第二方面，本申请实施例提出了一种用于构建关键点学习模型的装置，包括：标注/未标注数据获取单元，被配置用于获取已标注人体关键点的标注数据和未标注人体关键点的未标注数据；有监督训练单元，被配置用于将标注数据通过初始预测模型和初始判别器按有监督训练方式进行训练，得到第一预测模型和第一判别器；无监督训练单元，被配置用于将未标注数据通过第一预测模型和第一判别器按无监督训练方式进行训练，得到第二预测模型和第二判别器；关键点学习模型构建单元，被配置用于根据第二预测模型和第二判别器构建关键点学习模型。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的用于构建关键点学习模型的方法。
第四方面，本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的用于构建关键点学习模型的方法。
本申请实施例提供的用于构建关键点学习模型的方法、装置、电子设备及计算机可读存储介质，首先，获取已标注人体关键点的标注数据和未标注人体关键点的未标注数据；然后，将该标注数据通过初始预测模型和初始判别器按有监督训练方式进行训练，得到第一预测模型和第一判别器；接着，将该未标注数据通过该第一预测模型和该第一判别器按无监督训练方式进行训练，得到第二预测模型和第二判别器；最后，根据该第二预测模型和该第二判别器构建关键点学习模型。
区别于必须基于大量的标注数据才能构建出关键点学习模型的现有技术，本申请提供了一种新的半监督方式构建关键点学习模型的方案，先对少量存在的标注数据进行有监督的生成对抗训练，再结合生成对抗训练的初步成果按无监督方式对未标注数据进行下一步训练，充分利用了大量存在的未标注数据，且由于生成对抗思想的加入使得最终构建出的模型精度也相对较高，降低了构建得到关键点学习模型的门槛和难度。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性***架构；
图2为本申请实施例提供的一种用于构建关键点学习模型的方法的流程图；
图3为本申请实施例提供的另一种用于构建关键点学习模型的方法的流程图；
图4为本申请实施例提供的一种用于构建关键点学习模型的装置的结构框图；
图5为本申请实施例提供的一种适用于执行用于构建关键点学习模型的方法的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于构建关键点学习模型的方法、装置、电子设备及计算机可读存储介质的实施例的示例性***架构100。
如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103和服务器105上可以安装有各种用于实现两者之间进行信息通讯的应用，例如数据传输类应用、关键点学习类应用、即时通讯类应用等。
终端设备101、102、103和服务器105可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏和摄像头的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等；当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中，其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器；服务器为软件时，可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。
服务器105通过内置的各种应用可以提供各种服务，以可以提供人体关键点学习模型构建服务的关键点学习类应用为例，服务器105在运行该关键点学习类应用时可实现如下效果：首先，通过网络104从终端设备101、102、103中获取已标注人体关键点的标注数据和未标注人体关键点的未标注数据；然后，将该标注数据通过初始预测模型和初始判别器按有监督训练方式进行训练，得到第一预测模型和第一判别器；接着，将该未标注数据通过该第一预测模型和该第一判别器按无监督训练方式进行训练，得到第二预测模型和第二判别器；最后，根据该第二预测模型和该第二判别器构建关键点学习模型。即服务器105通过上述处理步骤实现了基于少量的标注数据和大量的未标注数据构建得到关键点学习模型的目的。
需要指出的是，已标注人体关键点的标注数据和未标注人体关键点的未标注数据除可以从终端设备101、102、103通过网络104实时获取到之外，也可以通过各种方式预先存储在服务器105本地，当服务器105检测到本地已经存储有这些数据时(例如开始处理之前留存的关键点学习模型构建任务)，可选择直接从本地获取这些数据，在此种情况下，示例性***架构100也可以不包括终端设备101、102、103和网络104。
由于关键点学习模型的构建需要根据标注数据和未标注数据进行大量运算，进而占用较多的运算资源和较强的运算能力，因此本申请后续各实施例所提供的用于构建关键点学习模型的方法一般由拥有较强运算能力、较多运算资源的服务器105来执行，相应地，用于构建关键点学习模型的装置一般也设置于服务器105中。但同时也需要指出的是，在终端设备101、102、103也具有满足要求的运算能力和运算资源时，终端设备101、102、103也可以通过其上安装的关键点学习类应用完成上述本交由服务器105做的全部或部分运算，进而单独或在与服务器105协同下构建出关键点学习模型，尤其是在同时存在多种具有不同运算能力的终端设备的情况下。
当关键点学习类应用判断所在的终端设备拥有较强的运算能力和剩余较多的运算资源时，可以让终端设备来执行上述运算，从而适当减轻服务器105的运算压力，相应的，用于构建关键点学习模型的装置也可以设置于终端设备101、102、103中。在此种情况下，示例性***架构100也可以不包括服务器105和网络104。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
请参考图2，图2为本申请实施例提供的一种用于构建关键点学习模型的方法的流程图，其中流程200包括以下步骤：
步骤201：获取已标注人体关键点的标注数据和未标注人体关键点的未标注数据；
本步骤旨在由用于构建关键点学习模型的方法的执行主体(例如图1所示的服务器105)获取已标注人体关键点的标注数据和未标注人体关键点的未标注数据。
其中，已标注人体关键点的标注数据可通过全身式人体动作捕捉设备直接获取到，也可以由专业的关键点标注人员对未标注数据按一定要求和规则标注得到；包含人体图像的未标注数据则可以直接通过具有拍摄功能的各式电子设备直接拍摄得到。进一步的，未标注数据还可以从包含有人体图像的人体运动视频中截取或抽取得到。
步骤202：将标注数据通过初始预测模型和初始判别器按有监督训练方式进行训练，得到第一预测模型和第一判别器；
在步骤201的基础上，本步骤旨在由上述执行主体基于生成对抗思想使用标注数据对初始预测模型和初始判别器进行有监督训练，从而通过标注数据中已标注的人体关键点实际值和人体关键点预测值和预测准确度完成对预测模型的第一次修正、通过判别器对关键点是否为实际值(也称真值)的判别准确度完成对判别器的第一次修正。
本步骤基于标注数据进行的有监督训练的目的是为了让预测模型从标注数据中学习到哪些位置点应属于关键点，而判别器则是基于生成对抗思路所引入的，意图在于通过对预测模型所输出关键点是否可被判别为实际值，来间接帮助预测模型进行参数修正，从而使得预测模型拥有更好的关键点预测准确度。
步骤203：将未标注数据通过第一预测模型和第一判别器按无监督训练方式进行训练，得到第二预测模型和第二判别器；
在步骤202的基础上，本步骤旨在由上述执行主体基于生成对抗思想使用未标注数据对第一预测模型和第一判别器进行无监督训练，从而进一步结合后续要大量应用的未标注数据来对预测模型和判别器进行第二次修正，以使得第二次修正后的预测模型和判别器更适用于未标注数据，从而尽可能的去除标注数据因其采用的标注方式给予预测模型的错误指引。
具体的，用于基于人体图像预测得到其关键点的预测模型可具体选用多种机器学习和深度学习算法或网络，例如拥有较好防止梯度消失的残差网络、拥有较好对重要但出现次数较少的数据记忆能力的长短期记忆网络，以及一些常规的卷积神经网络等等。进一步的，在算法或网络的大体框架确定的情况下，在算法或网络的规定框架下也可以自行设置包括功能层数量、连接方式、损失函数、激活函数、关键点个数在内的多种参数，以期通过合理的组合来增强预测模型的关键点预测准确度。
其中，功能层包括卷积层、池化层、全连接层、归一化层(softmax层)等，连接方式包括依次连接和并行连接，损失函数包括L1损失函数(也被称为最小绝对值偏差，它把目标值与估计值的绝对差值的总和最小化)、L2损失函数(也称范数损失函数、本质上是求取最小平方误差，即将目标值与估计值的差值的平方和最小化)、交叉熵损失函数、0-1损失函数、指数损失函数中的任意一种和任意种的组合，此处并不做具体限定，可根据实际应用场景的特性灵活选择。
在实际训练过程中，将不断重复如步骤202描述的有监督训练过程和步骤203描述的无监督训练过程，直到预测模型达到满意的准确度后才进行下一步的关键点学习模型构建步骤。
步骤204：根据第二预测模型和第二判别器构建关键点学习模型。
在步骤203的基础上，本步骤旨在由上述执行主体根据经过两次修正后得到的第二预测模型和第二判别器来构建关键点学习模型。
进一步的，所构建的关键点学习模型也可以根据后续获取到的新的样本数据重新进行有监督训练和/或无监督训练过程，以及时更新关键点学习模型的参数，保持模型对关键点预测的准确度。
区别于必须基于大量的标注数据才能构建出关键点学习模型的现有技术，本申请实施例给出的用于构建关键点学习模型的方法提供了一种新的半监督方式构建关键点学习模型的方案，先对少量存在的标注数据进行有监督的生成对抗训练，再结合生成对抗训练的初步成果按无监督方式对未标注数据进行下一步训练，充分利用了大量存在的未标注数据，且由于生成对抗思想的加入使得最终构建出的模型精度也相对较高，降低了构建得到关键点学习模型的门槛和难度。
请参考图3，图3为本申请实施例提供的另一种用于构建关键点学习模型的方法的流程图，其中流程300包括以下步骤：
步骤301：获取已标注人体关键点的标注数据和未标注人体关键点的未标注数据；
本步骤与如图2所示的步骤201一致，相同部分内容请参见上一实施例的相应部分，此处不再进行赘述。
步骤302：利用初始预测模型预测得到标注数据的第一关键点预测值；
本步骤旨在由上述执行主体将标注数据输入初始预测模型，以借助初始预测模型对关键点的初始预测能力，得到第一关键点预测值。
步骤303：根据第一关键点预测值与标注数据中的关键点实际值的差值，修正初始预测模型的预测参数，得到第一预测模型；
在步骤302的基础上，本步骤旨在由上述执行主体通过比较得到标注数据的第一关键点预测值和关键点实际值的差值，并根据该差值来修正初始预测模型用于预测得到关键点的预测参数，以在针对标注数据时可得到预测值更贴近实际值的第一预测模型。
步骤304：利用初始判别器对第一关键点预测值和关键点实际值的判别准确度，修正初始判别器的判别参数，得到第一判别器；
在步骤303的基础上，本步骤旨在由上述执行主体通过初始判别器对第一关键点预测值和关键点实际值的判别准确度来修正初始判别器的判别参数，得到第一判别器。
判别器在本申请中的作用为判别预测模型输出的关键点值是否为真值(即实际值)，也就说当预测模型输出的关键点预测值足够准确时，就可以“欺骗”判别器让其误以为该“预测值”为“实际值”，因此判别器作为生成对抗思想的重要体现，其在本申请起到了严格把控预测模型的参数修正是否到位的效果。
在实际情况下，基于标注数据进行的有监督训练过程中，预测模型和判别器相互之间要通过多轮迭代，以最终满足为判别器预设的迭代跳出条件，该迭代跳出条件在本申请通常可以为判别准确率，例如达到判别器判别预测模型输出的“预测值”有95％均为“实际值”。
步骤305：利用第一预测模型预测得到未标注数据的第二关键点预测值；
在步骤304的基础上，本步骤旨在由上述执行主体将未标注数据输入经第一修正后得到的第一预测模型，得到其输出的第二关键点预测值。
步骤306：利用第一判别器对第二关键点预测值和对应的关键点实际值的判别准确度，修正第一预测模型的预测参数和第一判别器的判别参数，得到第二预测模型和第二判别器；
在步骤305的基础上，本步骤旨在由上述执行主体利用第一判别器对第二关键点预测值和对应的关键点实际值的判别准确度，修正第一预测模型的预测参数和第一判别器的判别参数，得到第二预测模型和第二判别器。
区别于步骤304和步骤305的第一次修正，本步骤直接利用修正后的第一判别器对第二关键点预测值和对应的关键点实际值的判别准确度来同时修正第一预测模型的预测参数和第一判别器的判别参数。
步骤307：根据第二预测模型和第二判别器构建关键点学习模型。
本实施例通过步骤302-步骤304提供了一种具体的有监督训练方案，即依次对预测模型和判别器进行修正；通过步骤305-步骤306提供了一种具体的无监督训练方案，即利用第一预测模型对未标注数据的关键点预测值来进行。由于上述方案均为上一实施例各步骤的下位方案，因此本实施例还具有上一实施例的全部有益效果。
在上述任意实施例的基础上，在构建得到关键点学习模型之后，可将其用于多种场景下实现相应的效果，例如可直接利用构建好的关键点学习模型对新的未标注数据进行关键点的预测，即快速完成将未标注数据变为标注数据。
另外，基于通过关键点学习模型输出的已标注数据的人体关键点，还可以对其位姿进行标注，从而得到人***姿数据。该人***姿数据结合关键点还可以被同步至相同用户在虚拟场景下创建的虚拟人物的对应人体关键点，从而实现虚拟人物的人体各部位位姿与实际用户高度一致，从而便于用户在虚拟场景下执行各种针对虚拟物体的操作。
为加深理解，本申请还针对某一具体应用场景的实际需求，给出了一种具体的实现方案。其实际需求为：通过20％的已标注人体关键点的标注数据和80％的未标注数据构建得到关键点学习模型，并最终将关键点学习模型输出的人体关键点用于支持位姿标注，从而对应VR(Virtual Reality，虚拟现实)操作。
为实现上述目的，本实施例将分为以下几个部分完成：
1)模型基本结构确定；2)半监督训练即模型构建；3)姿态标注及同步。
1)模型基本结构确定
模型框架确定：该关键点学习模型由关键点预测模型和判别器构成，其中，结合人体关键点以及生成对抗思想的特性，本实施例选用残差网络作为预测模型的基本框架，采用依次连接的三层全连接层、一层归一化层和二分类器构建得到初始判别器，以尽可能的提升判别精度。
其中，残差网络的输入为经过预处理的图像数据，输出为N个关键点的坐标值，N的大小可自行调整；判别器的输入为N个关键点的坐标值，输出则为该组关键点的坐标值是否属于真值(即实际值)的判别结果。
损失函数确定：本实施例选用L2损失函数作为残差网络预测得到人体关键点的损失函数，以交叉熵损失函数作为判别器进行二分类的损失函数。
2)半监督训练
准备好训练所需的标注数据以及大量的未标注数据；
有监督训练过程：
将预处理好的标注数据输入残差网络中，输出预测关键点的坐标值Oc，并根据输出的坐标值与坐标真值Gc计算坐标值损失值：Lossc＝‖Oc-Gc‖2，并将该Lossc回传给残差网络用于参数修正；
在对人体关键点进行分类的步骤中，本实施例将坐标真值Gc的类别标注为1，将预测的坐标值Oc的类别标注为0，并期望判别器可以对真值和预测值进行正确分类，在训练时，判别器的输入为一组坐标值，输出则为该组坐标值的类别，并根据输出的类别Ocls以及标注的类别Gcls计算分类损失值：Losscls＝BCE(Ocls,Gcls)，其中BCE()为二值交叉熵损失函数。并将Losscls回传给判别器用于参数修正；
当判别器的准确度达到95％以上之后，则可以结束该阶段训练。
无监督训练过程：
将预处理好的未标注数据输入到已修正过一次的残差网络中，输出预测关键点的坐标值Oc，再将Oc输出给修正后的判别器，得到该组关键点坐标的判别值，并计算预测点的判别值与类别1之间的损失值：Losscls＝BCE(Ocls,Gcls)，并将Losscls再次回传给残差网络进行参数修正，直到判别器的判别准确度达到某一设定值时结束该阶段训练，否则重复上述训练过程中的有监督训练。
即整个训练阶段不断重复有监督训练以及无监督训练两个步骤，直到残差网络达到满意的准确度，再基于修正后的残差网络和判别器构建关键点学习模型。
3)姿态标注及同步
将关键点学习模型输出的人体关键点进行位姿标注，并同步至对应用户在虚拟应用场景下创建的虚拟人物的相应关键点上，实现位姿同步。
进一步参考图4，作为对上述各图所示方法的实现，本申请提供了一种用于构建关键点学习模型的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图4所示，本实施例的用于构建关键点学习模型的装置400可以包括：标注/未标注数据获取单元401、有监督训练单元402、无监督训练单元403和关键点学习模型构建单元404。其中，标注/未标注数据获取单元401，被配置用于获取已标注人体关键点的标注数据和未标注人体关键点的未标注数据；有监督训练单元402，被配置用于将标注数据通过初始预测模型和初始判别器按有监督训练方式进行训练，得到第一预测模型和第一判别器；无监督训练单元403，被配置用于将未标注数据通过第一预测模型和第一判别器按无监督训练方式进行训练，得到第二预测模型和第二判别器；关键点学习模型构建单元404，被配置用于根据第二预测模型和第二判别器构建关键点学习模型。
在本实施例中，用于构建关键点学习模型的装置400中：标注/未标注数据获取单元401、有监督训练单元402、无监督训练单元403和关键点学习模型构建单元404的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-204的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，有监督训练单元402可以进一步被配置用于：利用初始预测模型预测得到标注数据的第一关键点预测值；根据第一关键点预测值与标注数据中的关键点实际值的差值，修正初始预测模型的预测参数，得到第一预测模型；利用初始判别器对第一关键点预测值和关键点实际值的判别准确度，修正初始判别器的判别参数，得到第一判别器。
在本实施例的一些可选的实现方式中，无监督训练单元403可以进一步被配置用于：利用第一预测模型预测得到未标注数据的第二关键点预测值；利用第一判别器对第二关键点预测值和对应的关键点实际值的判别准确度，修正第一预测模型的预测参数和第一判别器的判别参数，得到第二预测模型和第二判别器。
在本实施例的一些可选的实现方式中，初始判别器基于三层全连接层、一层归一化层和二分类器构建得到，三层全连接层依次连接。
在本实施例的一些可选的实现方式中，用于构建关键点学习模型的装置400还可以包括：关键点学习模型预测单元，被配置用于利用关键点学习模型对新的未标注数据进行关键点的预测。
在本实施例的一些可选的实现方式中，用于构建关键点学习模型的装置400还可以包括：位姿标注单元，被配置用于对关键点学习模型输出的人体关键点的位姿进行标注，得到人***姿数据。
在本实施例的一些可选的实现方式中，用于构建关键点学习模型的装置400还可以包括：虚拟场景同步单元，被配置用于将人***姿数据同步至相同用户在虚拟场景下创建的虚拟人物的对应人体关键点。
本实施例作为对应于上述方法实施例的装置实施例存在，区别于必须基于大量的标注数据才能构建出关键点学习模型的现有技术，本实施例提供的用于构建关键点学习模型的装置提供了一种新的半监督方式构建关键点学习模型的方案，先对少量存在的标注数据进行有监督的生成对抗训练，再结合生成对抗训练的初步成果按无监督方式对未标注数据进行下一步训练，充分利用了大量存在的未标注数据，且由于生成对抗思想的加入使得最终构建出的模型精度也相对较高，降低了构建得到关键点学习模型的门槛和难度。
根据本申请的实施例，本申请还提供了一种电子设备和一种计算机可读存储介质。
图5示出了一种适于用来实现本申请实施例的用于构建关键点学习模型的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图5中以一个处理器501为例。
存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的用于构建关键点学习模型的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的用于构建关键点学习模型的方法。
存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的用于构建关键点学习模型的方法对应的程序指令/模块(例如，附图4所示的标注/未标注数据获取单元401、有监督训练单元402、无监督训练单元403和关键点学习模型构建单元404)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的用于构建关键点学习模型的方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储该电子设备在执行用于构建关键点学习模型的方法所创建的各类数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至适用于执行用于构建关键点学习模型的方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
适用于执行用于构建关键点学习模型的方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息，以及产生适用于执行用于构建关键点学习模型的方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。
区别于必须基于大量的标注数据才能构建出关键点学习模型的现有技术，本实施例通过上述技术方案提供了一种新的半监督方式构建关键点学习模型的方案，先对少量存在的标注数据进行有监督的生成对抗训练，再结合生成对抗训练的初步成果按无监督方式对未标注数据进行下一步训练，充分利用了大量存在的未标注数据，且由于生成对抗思想的加入使得最终构建出的模型精度也相对较高，降低了构建得到关键点学习模型的门槛和难度。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (16)

1.一种用于构建关键点学习模型的方法，包括：
获取已标注人体关键点的标注数据和未标注人体关键点的未标注数据；
将所述标注数据通过初始预测模型和初始判别器按有监督训练方式进行训练，得到第一预测模型和第一判别器；
将所述未标注数据通过所述第一预测模型和所述第一判别器按无监督训练方式进行训练，得到第二预测模型和第二判别器；
根据所述第二预测模型和所述第二判别器构建关键点学习模型。
2.根据权利要求1所述的方法，其中，所述将所述标注数据通过初始预测模型和初始判别器按有监督训练方式进行训练，得到第一预测模型和第一判别器，包括：
利用所述初始预测模型预测得到所述标注数据的第一关键点预测值；
根据所述第一关键点预测值与所述标注数据中的关键点实际值的差值，修正所述初始预测模型的预测参数，得到所述第一预测模型；
利用所述初始判别器对所述第一关键点预测值和所述关键点实际值的判别准确度，修正所述初始判别器的判别参数，得到第一判别器。
3.根据权利要求1所述的方法，其中，所述将所述未标注数据通过所述第一预测模型和所述第一判别器按无监督训练方式进行训练，得到第二预测模型和第二判别器，包括：
利用所述第一预测模型预测得到所述未标注数据的第二关键点预测值；
利用所述第一判别器对所述第二关键点预测值和对应的关键点实际值的判别准确度，修正所述第一预测模型的预测参数和所述第一判别器的判别参数，得到第二预测模型和第二判别器。
4.根据权利要求1所述的方法，其中，所述初始判别器基于三层全连接层、一层归一化层和二分类器构建得到，所述三层全连接层依次连接。
5.根据权利要求1所述的方法，还包括：
利用所述关键点学习模型对新的未标注数据进行关键点的预测。
6.根据权利要求1至5任一项所述的方法，还包括：
对所述关键点学习模型输出的人体关键点的位姿进行标注，得到人***姿数据。
7.根据权利要求6所述的方法，还包括：
将所述人***姿数据同步至相同用户在虚拟场景下创建的虚拟人物的对应人体关键点。
8.一种用于构建关键点学习模型的装置，包括：
标注/未标注数据获取单元，被配置用于获取已标注人体关键点的标注数据和未标注人体关键点的未标注数据；
有监督训练单元，被配置用于将所述标注数据通过初始预测模型和初始判别器按有监督训练方式进行训练，得到第一预测模型和第一判别器；
无监督训练单元，被配置用于将所述未标注数据通过所述第一预测模型和所述第一判别器按无监督训练方式进行训练，得到第二预测模型和第二判别器；
关键点学习模型构建单元，被配置用于根据所述第二预测模型和所述第二判别器构建关键点学习模型。
9.根据权利要求8所述的装置，其中，所述有监督训练单元进一步被配置用于：
利用所述初始预测模型预测得到所述标注数据的第一关键点预测值；
根据所述第一关键点预测值与所述标注数据中的关键点实际值的差值，修正所述初始预测模型的预测参数，得到所述第一预测模型；
利用所述初始判别器对所述第一关键点预测值和所述关键点实际值的判别准确度，修正所述初始判别器的判别参数，得到第一判别器。
10.根据权利要求8所述的装置，其中，所述无监督训练单元进一步被配置用于：
利用所述第一预测模型预测得到所述未标注数据的第二关键点预测值；
利用所述第一判别器对所述第二关键点预测值和对应的关键点实际值的判别准确度，修正所述第一预测模型的预测参数和所述第一判别器的判别参数，得到第二预测模型和第二判别器。
11.根据权利要求8所述的装置，其中，所述初始判别器基于三层全连接层、一层归一化层和二分类器构建得到，所述三层全连接层依次连接。
12.根据权利要求8所述的装置，还包括：
关键点学习模型预测单元，被配置用于利用所述关键点学习模型对新的未标注数据进行关键点的预测。
13.根据权利要求8至12任一项所述的装置，还包括：
位姿标注单元，被配置用于对所述关键点学习模型输出的人体关键点的位姿进行标注，得到人***姿数据。
14.根据权利要求13所述的装置，还包括：
虚拟场景同步单元，被配置用于将所述人***姿数据同步至相同用户在虚拟场景下创建的虚拟人物的对应人体关键点。
15.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的用于构建关键点学习模型的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的用于构建关键点学习模型的方法。
CN202010681773.6A 2020-07-15 2020-07-15 用于构建关键点学习模型的方法、装置、电子设备及可读存储介质 Active CN111931591B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010681773.6A CN111931591B (zh) 2020-07-15 2020-07-15 用于构建关键点学习模型的方法、装置、电子设备及可读存储介质
EP21162981.1A EP3907666A3 (en) 2020-07-15 2021-03-16 Method, apparatus, electronic device, readable storage medium and program for constructing key-point learning model
JP2021043208A JP7135143B2 (ja) 2020-07-15 2021-03-17 キーポイント学習モデルを構築するための方法、装置、電子デバイス及びコンピュータ可読記憶媒体
US17/204,223 US20210201161A1 (en) 2020-07-15 2021-03-17 Method, apparatus, electronic device and readable storage medium for constructing key-point learning model
KR1020210066166A KR102527878B1 (ko) 2020-07-15 2021-05-24 키 포인트 학습 모델 구축 방법, 장치, 전자 기기 및 판독 가능한 저장 매체 그리고 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010681773.6A CN111931591B (zh) 2020-07-15 2020-07-15 用于构建关键点学习模型的方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111931591A true CN111931591A (zh) 2020-11-13
CN111931591B CN111931591B (zh) 2024-01-12

Family

ID=73312460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010681773.6A Active CN111931591B (zh) 2020-07-15 2020-07-15 用于构建关键点学习模型的方法、装置、电子设备及可读存储介质

Country Status (5)

Country Link
US (1) US20210201161A1 (zh)
EP (1) EP3907666A3 (zh)
JP (1) JP7135143B2 (zh)
KR (1) KR102527878B1 (zh)
CN (1) CN111931591B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112749734A (zh) * 2020-12-29 2021-05-04 北京环境特性研究所 一种基于可迁移注意力机制的领域自适应的目标检测方法
CN112891922A (zh) * 2021-03-18 2021-06-04 山东梦幻视界智能科技有限公司 一种虚拟现实体感交互方法
CN112990154A (zh) * 2021-05-11 2021-06-18 腾讯科技（深圳）有限公司 一种数据处理方法、计算机设备以及可读存储介质
CN113095336A (zh) * 2021-04-22 2021-07-09 北京百度网讯科技有限公司 关键点检测模型的训练方法和检测目标对象关键点的方法
CN113129370A (zh) * 2021-03-04 2021-07-16 同济大学 结合生成数据和无标注数据的半监督物***姿估计方法
CN113255427A (zh) * 2021-02-09 2021-08-13 阿里巴巴集团控股有限公司 数据处理方法、装置、电子设备和存储介质
CN113901998A (zh) * 2021-09-29 2022-01-07 北京百度网讯科技有限公司 模型的训练方法、装置、设备、存储介质以及检测方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627083A (zh) * 2021-08-05 2021-11-09 广州帕克西软件开发有限公司 一种基于虚拟试穿实现div衣服的方法
CN113610230A (zh) * 2021-08-16 2021-11-05 中国工商银行股份有限公司 训练方法、预测方法、装置、计算机***及存储介质
CN115661254B (zh) * 2022-12-08 2023-05-16 粤港澳大湾区数字经济研究院(福田) 一种多人姿态估计方法及相关装置
CN116246150B (zh) * 2023-05-11 2023-09-05 合肥的卢深视科技有限公司 模型训练方法、关键点检测方法、电子设备及存储介质
CN117953588B (zh) * 2024-03-26 2024-06-21 南昌航空大学 一种融合场景信息的羽毛球运动员动作智能识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509596A (zh) * 2018-04-02 2018-09-07 广州市申迪计算机***有限公司 文本分类方法、装置、计算机设备和存储介质
CN109949317A (zh) * 2019-03-06 2019-06-28 东南大学 基于逐步对抗学习的半监督图像实例分割方法
CN110097131A (zh) * 2019-05-08 2019-08-06 南京大学 一种基于对抗协同训练的半监督医疗图像分割方法
CN110110745A (zh) * 2019-03-29 2019-08-09 上海海事大学 基于生成对抗网络的半监督x光图像自动标注
US10489683B1 (en) * 2018-12-17 2019-11-26 Bodygram, Inc. Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks
CN110765844A (zh) * 2019-09-03 2020-02-07 华南理工大学 一种基于对抗学习的非感应式餐盘图像数据自动标注方法
US10579869B1 (en) * 2017-07-18 2020-03-03 Snap Inc. Virtual object machine learning
CN111062215A (zh) * 2019-12-10 2020-04-24 金蝶软件（中国）有限公司 基于半监督学习训练的命名实体识别方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10607065B2 (en) 2018-05-03 2020-03-31 Adobe Inc. Generation of parameterized avatars

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10579869B1 (en) * 2017-07-18 2020-03-03 Snap Inc. Virtual object machine learning
CN108509596A (zh) * 2018-04-02 2018-09-07 广州市申迪计算机***有限公司 文本分类方法、装置、计算机设备和存储介质
US10489683B1 (en) * 2018-12-17 2019-11-26 Bodygram, Inc. Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks
CN109949317A (zh) * 2019-03-06 2019-06-28 东南大学 基于逐步对抗学习的半监督图像实例分割方法
CN110110745A (zh) * 2019-03-29 2019-08-09 上海海事大学 基于生成对抗网络的半监督x光图像自动标注
CN110097131A (zh) * 2019-05-08 2019-08-06 南京大学 一种基于对抗协同训练的半监督医疗图像分割方法
CN110765844A (zh) * 2019-09-03 2020-02-07 华南理工大学 一种基于对抗学习的非感应式餐盘图像数据自动标注方法
CN111062215A (zh) * 2019-12-10 2020-04-24 金蝶软件（中国）有限公司 基于半监督学习训练的命名实体识别方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
莫凌飞;蒋红亮;李煊鹏;: "基于深度学习的视频预测研究综述", 智能***学报, no. 01 *
陈国炜;刘磊;郭嘉逸;潘宗序;胡文龙;: "基于生成对抗网络的半监督遥感图像飞机检测", 中国科学院大学学报, no. 04 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112749734A (zh) * 2020-12-29 2021-05-04 北京环境特性研究所 一种基于可迁移注意力机制的领域自适应的目标检测方法
CN112749734B (zh) * 2020-12-29 2024-01-05 北京环境特性研究所 一种基于可迁移注意力机制的领域自适应的目标检测方法
CN113255427B (zh) * 2021-02-09 2022-05-27 阿里巴巴集团控股有限公司 数据处理方法、装置、电子设备和存储介质
CN113255427A (zh) * 2021-02-09 2021-08-13 阿里巴巴集团控股有限公司 数据处理方法、装置、电子设备和存储介质
CN113129370A (zh) * 2021-03-04 2021-07-16 同济大学 结合生成数据和无标注数据的半监督物***姿估计方法
CN113129370B (zh) * 2021-03-04 2022-08-19 同济大学 结合生成数据和无标注数据的半监督物***姿估计方法
CN112891922B (zh) * 2021-03-18 2022-11-22 山东梦幻视界智能科技有限公司 一种虚拟现实体感交互方法
CN112891922A (zh) * 2021-03-18 2021-06-04 山东梦幻视界智能科技有限公司 一种虚拟现实体感交互方法
CN113095336A (zh) * 2021-04-22 2021-07-09 北京百度网讯科技有限公司 关键点检测模型的训练方法和检测目标对象关键点的方法
CN113095336B (zh) * 2021-04-22 2022-03-11 北京百度网讯科技有限公司 关键点检测模型的训练方法和检测目标对象关键点的方法
CN112990154B (zh) * 2021-05-11 2021-07-30 腾讯科技（深圳）有限公司 一种数据处理方法、计算机设备以及可读存储介质
CN112990154A (zh) * 2021-05-11 2021-06-18 腾讯科技（深圳）有限公司 一种数据处理方法、计算机设备以及可读存储介质
CN113901998A (zh) * 2021-09-29 2022-01-07 北京百度网讯科技有限公司 模型的训练方法、装置、设备、存储介质以及检测方法

Also Published As

Publication number Publication date
KR20210069609A (ko) 2021-06-11
JP2021193547A (ja) 2021-12-23
EP3907666A2 (en) 2021-11-10
CN111931591B (zh) 2024-01-12
JP7135143B2 (ja) 2022-09-12
EP3907666A3 (en) 2022-03-30
KR102527878B1 (ko) 2023-05-02
US20210201161A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
CN111931591B (zh) 用于构建关键点学习模型的方法、装置、电子设备及可读存储介质
US20170116471A1 (en) Tracking hand/body pose
CN110795569B (zh) 知识图谱的向量表示生成方法、装置及设备
CN111783870A (zh) 人体属性的识别方法、装置、设备及存储介质
WO2018182981A1 (en) Sensor data processor with update ability
CN112270711B (zh) 模型训练以及姿态预测方法、装置、设备以及存储介质
CN110659600B (zh) 物体检测方法、装置及设备
CN112149741B (zh) 图像识别模型的训练方法、装置、电子设备及存储介质
CN111553428A (zh) 用于训练判别模型的方法、装置、设备及可读存储介质
CN111709873A (zh) 图像转换模型生成器的训练方法和装置
CN112507090A (zh) 用于输出信息的方法、装置、设备和存储介质
CN112529180A (zh) 模型蒸馏的方法和装置
CN112241716A (zh) 训练样本的生成方法和装置
CN111523467A (zh) 人脸跟踪方法和装置
CN111783600A (zh) 一种人脸识别模型训练方法、装置、设备及介质
CN111767990A (zh) 神经网络的处理方法和装置
CN112529181A (zh) 用于模型蒸馏的方法和装置
CN112016524A (zh) 模型训练方法、人脸识别方法、装置、设备和介质
CN112329732A (zh) 模型生成方法、装置、电子设备及存储介质
CN111767988A (zh) 神经网络的融合方法和装置
CN112183484A (zh) 一种图像处理方法、装置、设备以及存储介质
CN113128436A (zh) 关键点的检测方法和装置
CN112560678A (zh) 表情识别方法、装置、设备及计算机存储介质
CN112508830B (zh) 图像处理模型的训练方法、装置、设备及存储介质
CN113033258B (zh) 一种图像特征提取方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant