CN106897697A - 一种基于可视化编译器的人物和姿势检测方法 - Google Patents

一种基于可视化编译器的人物和姿势检测方法 Download PDF

Info

Publication number
CN106897697A
CN106897697A CN201710103927.1A CN201710103927A CN106897697A CN 106897697 A CN106897697 A CN 106897697A CN 201710103927 A CN201710103927 A CN 201710103927A CN 106897697 A CN106897697 A CN 106897697A
Authority
CN
China
Prior art keywords
network
pedestrian
posture
compiler
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201710103927.1A
Other languages
English (en)
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201710103927.1A priority Critical patent/CN106897697A/zh
Publication of CN106897697A publication Critical patent/CN106897697A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明中提出的一种基于可视化编译器的人物和姿势检测方法，其主要内容包括：场景描述的数据合成、通过合成数据学习网络、采用基本块定义网络、姿势网络(Pose Net)联合定位，其过程为，先用场景描述作为可视化编译器的输入，用标定好的真实数据注释来训练行人检测***和姿态估计***，再通过合成数据学习网络；接着使用剩余模块和空间置信模块这两个基本单位来定义网络，最后用姿势网络定位行人。本发明可以自动获得检测的注释、身体部位位置和分割掩码，通过使用摄像机来对行人进行定位，估计其姿势并进行活动分析；减少了光照、遮挡等对检测的影响，有效地提高了识别效率。

Description

一种基于可视化编译器的人物和姿势检测方法
技术领域
本发明涉及人物姿势检测领域，尤其是涉及了一种基于可视化编译器的人物和姿势检测方法。
背景技术
人体动作姿势的检测在视频监控、虚拟现实、人际智能交互等领域的广泛应用而成为计算机视觉领域的研究热点，其可以用于公共场合的智能监控和人群中危险姿势的监控等。虽然近年来国内人体姿势检测的研究取得了重要进展，但人体姿势的高复杂性和多变化性使得识别的精确性和高效性并没有完全满足相关行业的使用要求。不同的光照、视角和背景等条件会使得人体行为在姿势和特性上产生差异，此外人体自遮挡、部分遮挡、人体个体差异、多人物识别等都是人体姿势检测复杂性在空间上的体现，所以人物和姿势检测方法需要进一步研究。
本发明提出了一种基于可视化编译器的人物和姿势检测方法，先用场景描述作为可视化编译器的输入，用标定好的真实数据注释来训练行人检测***和姿态估计***，再通过合成数据学习网络；接着使用剩余模块和空间置信模块这两个基本单位来定义网络，最后用姿势网络定位行人。本发明可以自动获得检测的注释、身体部位位置和分割掩码，通过使用摄像机来对行人进行定位，估计其姿势并进行活动分析；减少了光照、遮挡等对检测的影响，有效地提高了识别效率。
发明内容
针对光照、遮挡等会产生影响的问题，本发明的目的在于提供一种基于可视化编译器的人物和姿势检测方法，先用场景描述作为可视化编译器的输入，用标定好的真实数据注释来训练行人检测***和姿态估计***，再通过合成数据学习网络；接着使用剩余模块和空间置信模块这两个基本单位来定义网络，最后用姿势网络定位行人。
为解决上述问题，本发明提供一种基于可视化编译器的人物和姿势检测方法，其主要内容包括：
(一)场景描述的数据合成；
(二)通过合成数据学习网络；
(三)采用基本块定义网络；
(四)姿势网络(Pose Net)联合定位。
其中，所述的可视化编译器，用于生成场景特定的人类检测和姿态估计***；其已知信息有：
(1)相机的内在参数和外在参数；
(2)场景粗略的物理几何布局(行走、坐着、站立)和可能被遮挡(障碍)或物理上不存在的区域(墙)的场景区域；
(3)场景各个区域行人的姿势和方向；
与单个图像一起，场景描述作为编译器的输入，在场景的有效区域中合成物理上接地和几何上精确的人；编译器学习区域特定模型的集合，用于人的检测、姿态估计和分割；在推理期间，这些特定模型中的每一个区域在其对应的区域上同时运行。
其中，所述的场景描述的数据合成，需要高质量的标定好的真实数据注释来训练行人检测***和姿态估计***；无需复杂的人工手动标记过程，可视化编译器使用场景描述模拟适用于场景每个区域的行人外观，从而扩展到大量场景中。
进一步地，所述的场景描述，给定场景描述，编译器首先生成场景的平面3D模型来包围障碍物，即拟合地平面，平面壁和立方体；然后使用相机参数来考虑相机镜头特性(例如，广角相机中的透视失真)和用于渲染几何精确的人的场景；除了在场景的每个“有效行人位置”呈现人的外观之外，渲染管道还可以精确地控制人类外观的变化，如性别、高度、宽度、取向和姿态；虚拟人类数据库包括139个不同的模型，涵盖性别、服装颜色和种族；编译器可从0度到360度，也可以由任何先前的可用信息引导；
为了给渲染图像中的人生成标定好的真实数据标记，首先使用以下标签将属性关联到每个3D虚拟模型：分割掩码27个部分的3D位置以及用于检测的人的中心位置；然后从3D注释和相机投影参数自动提取用于训练的2D标签，这个过程允许生成一致的无噪声标签；此外，还可以均匀地跨越所有的外观、方向、姿势或位置的变化。
其中，所述的通过合成数据学习网络，使用产生的场景特定数据，可视化编译器产生深度神经网络形式的可视化程序，根据场景描述的规范操作训练；
由可视化编译器生成的可视化程序共同完成以下任务：行人的本地化，定义其姿势的界标，并分割定义它们的像素；为了预测行人位置、姿态和分割掩模，网络必须对行人的全貌，地标的局部外观以及这些部件的有效空间配置之前的模型进行建模；为了捕获外观、完整的行人和当地地标外观，学习将RGB输入映射用于行人、局部地标和分割掩码的精确定位的热图回归问题；通过空间置信(SB)模块学习部件位置之间的空间关系上的先验，空间置信模块考虑行人、局部地标和分割掩码的热图之间的相关性；将这种可视化程序的特定实例化称为姿势网络(Pose Net)。
进一步地，所述的人体姿态估计***，通常将检测和姿态估计视为独立和顺序任务，检测之后是姿态估计；这些***或者预期标定好的真实数据人类检测，或者使用现成的检测器进行粗略检测；然而，检测和部件定位是高度相互依赖的过程；检测可以极大地影响姿态估计过程，部件的精确定位用于增强人在相应位置处的存在置信；因此，姿势网络模型耦合这些任务，提高行人检测和姿态估计的效率。
其中，所述的采用基本块定义网络，使用剩余模块和空间置信模块这两个基本单位来定义网络；引入剩余单元解决训练深度卷积网络中消失梯度的问题；采用这个基本单元为网络，并建立它来定义空间置信(SB)模块。
进一步地，所述的空间置信模块，将块的输入特征映射到部分定位置信(热图)，同时处理来自前一块的输入特征和部分定位置信；由该块生成的图像特征和部分定位置信通过级联形成下一块的输入；给定输入x到SB模块，输出y由下式给出：
其中，表示连接操作，r＝frea(x)是通过剩余单元的非同一分支的操作，b＝fbelief(x)表示从输入x到期望热图(人检测、部分检测和分割掩模)通过一系列1×1卷积；SB单元使网络考虑上下文信息检测置信度；来自第i个SB单元的部分定位置信度bi传播到下一个第(i+1)个SB块，并且通过非身份路径处理，捕获各个部分热图之间的相关性；通过递归地应用SB单位运算可以看出，
由于连接操作，每个SB单元中的标识快捷方式和frea()处理来自所有先前SB单元的置信；此外，在每个SB单元中生成的检测置信度图也考虑了在所有先前SB单元处的部分定位置信度，每个SB单位用不同的接收场计算；因此，网络利用在多个阶段和通过多个接收场大小的检测置信度图。
其中，所述的姿势网络(Pose Net)联合定位，给定输入图像，姿势网络联合定位行人，以热图的形式定位身体部分和行人；网络由完全卷积层组成，保持空间上下文，同时提高计算效率；为实现行人的精确定位和姿态估计，在整个网络中使用密集热图预测，防止由于子采样(池)造成的信息丢失；
输入图像通过具有5×5个滤波器的卷积层和3×3的滤波器，遵循用于对象识别的残余网络的设计；之后是3个SB单元，每个具有大接收场的卷积滤波器，增加网络的接收场，同时执行密集预测；SB单元后面是两个1×1卷积层，将图像特征映射到热图；最后，跳过连接用于融合来自多个不同上下文区域的信息，组合来自各种尺度接受字段的特征；用于检测的边界框位置围绕关节的热图、身体中心和分割推断；
通过优化网络，最小化网络预测和用于行人检测、部分定位和分割掩码的理想热图之间的多任务均方误差损失L，定义如下，
其中，α，β和γ是超参数折衷不同的损失函数。
进一步地，所述的姿势网络，它是使用场景中的行人外观的高质量合成图像，可视化编译器学习场景和区域特定的空间变化的完全卷积神经网络；用于行人的同时检测，姿态估计和分割；它能从头开始训练合成数据。
附图说明
图1是本发明一种基于可视化编译器的人物和姿势检测方法的***流程图。
图2是本发明一种基于可视化编译器的人物和姿势检测方法的可视化编译器。
图3是本发明一种基于可视化编译器的人物和姿势检测方法的采用基本块定义网络。
图4是本发明一种基于可视化编译器的人物和姿势检测方法的姿势网络(PoseNet)联合定位。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于可视化编译器的人物和姿势检测方法的***流程图。主要包括场景描述的数据合成，通过合成数据学习网络，采用基本块定义网络，姿势网络(PoseNet)联合定位。
场景描述的数据合成，需要高质量的标定好的真实数据注释来训练行人检测***和姿态估计***；无需复杂的人工手动标记过程，可视化编译器使用场景描述模拟适用于场景每个区域的行人外观，从而扩展到大量场景中。
给定场景描述，编译器首先生成场景的平面3D模型来包围障碍物，即拟合地平面，平面壁和立方体；然后使用相机参数来考虑相机镜头特性(例如，广角相机中的透视失真)和用于渲染几何精确的人的场景；除了在场景的每个“有效行人位置”呈现人的外观之外，渲染管道还可以精确地控制人类外观的变化，如性别、高度、宽度、取向和姿态；虚拟人类数据库包括139个不同的模型，涵盖性别、服装颜色和种族；编译器可从0度到360度，也可以由任何先前的可用信息引导；
为了给渲染图像中的人生成标定好的真实数据标记，首先使用以下标签将属性关联到每个3D虚拟模型：分割掩码27个部分的3D位置以及用于检测的人的中心位置；然后从3D注释和相机投影参数自动提取用于训练的2D标签，这个过程允许生成一致的无噪声标签；此外，还可以均匀地跨越所有的外观、方向、姿势或位置的变化。
通过合成数据学习网络，使用产生的场景特定数据，可视化编译器产生深度神经网络形式的可视化程序，根据场景描述的规范操作训练；
由可视化编译器生成的可视化程序共同完成以下任务：行人的本地化，定义其姿势的界标，并分割定义它们的像素；为了预测行人位置、姿态和分割掩模，网络必须对行人的全貌，地标的局部外观以及这些部件的有效空间配置之前的模型进行建模；为了捕获外观、完整的行人和当地地标外观，学习将RGB输入映射用于行人、局部地标和分割掩码的精确定位的热图回归问题；通过空间置信(SB)模块学习部件位置之间的空间关系上的先验，空间置信模块考虑行人、局部地标和分割掩码的热图之间的相关性；将这种可视化程序的特定实例化称为姿势网络(Pose Net)。
其中，人体姿态估计***，通常将检测和姿态估计视为独立和顺序任务，检测之后是姿态估计；这些***或者预期标定好的真实数据人类检测，或者使用现成的检测器进行粗略检测；然而，检测和部件定位是高度相互依赖的过程；检测可以极大地影响姿态估计过程，部件的精确定位用于增强人在相应位置处的存在置信；因此，姿势网络模型耦合这些任务，提高行人检测和姿态估计的效率。
图2是本发明一种基于可视化编译器的人物和姿势检测方法的可视化编译器。可视化编译器用于生成场景特定的人类检测和姿态估计***；其已知信息有：
(1)相机的内在参数和外在参数；
(2)场景粗略的物理几何布局(行走、坐着、站立)和可能被遮挡(障碍)或物理上不存在的区域(墙)的场景区域；
(3)场景各个区域行人的姿势和方向；
与单个图像一起，场景描述作为编译器的输入，在场景的有效区域中合成物理上接地和几何上精确的人；编译器学习区域特定模型的集合，用于人的检测、姿态估计和分割；在推理期间，这些特定模型中的每一个区域在其对应的区域上同时运行。
图3是本发明一种基于可视化编译器的人物和姿势检测方法的采用基本块定义网络。使用剩余模块和空间置信模块这两个基本单位来定义网络；引入剩余单元解决训练深度卷积网络中消失梯度的问题；采用这个基本单元为网络，并建立它来定义空间置信(SB)模块。
其中，空间置信模块，将块的输入特征映射到部分定位置信(热图)，同时处理来自前一块的输入特征和部分定位置信；由该块生成的图像特征和部分定位置信通过级联形成下一块的输入；给定输入x到SB模块，输出y由下式给出：
其中，表示连接操作，r＝frea(x)是通过剩余单元的非同一分支的操作，b＝fbelief(x)表示从输入x到期望热图(人检测、部分检测和分割掩模)通过一系列1×1卷积；SB单元使网络考虑上下文信息检测置信度；来自第i个SB单元的部分定位置信度bi传播到下一个第(i+1)个SB块，并且通过非身份路径处理，捕获各个部分热图之间的相关性；通过递归地应用SB单位运算可以看出，
由于连接操作，每个SB单元中的标识快捷方式和frea()处理来自所有先前SB单元的置信；此外，在每个SB单元中生成的检测置信度图也考虑了在所有先前SB单元处的部分定位置信度，每个SB单位用不同的接收场计算；因此，网络利用在多个阶段和通过多个接收场大小的检测置信度图。
图4是本发明一种基于可视化编译器的人物和姿势检测方法的姿势网络(PoseNet)联合定位。给定输入图像，姿势网络联合定位行人，以热图的形式定位身体部分和行人；网络由完全卷积层组成，保持空间上下文，同时提高计算效率；为实现行人的精确定位和姿态估计，在整个网络中使用密集热图预测，防止由于子采样(池)造成的信息丢失；
输入图像通过具有5×5个滤波器的卷积层和3×3的滤波器，遵循用于对象识别的残余网络的设计；之后是3个SB单元，每个具有大接收场的卷积滤波器，增加网络的接收场，同时执行密集预测；SB单元后面是两个1×1卷积层，将图像特征映射到热图；最后，跳过连接用于融合来自多个不同上下文区域的信息，组合来自各种尺度接受字段的特征；用于检测的边界框位置围绕关节的热图、身体中心和分割推断；
通过优化网络，最小化网络预测和用于行人检测、部分定位和分割掩码的理想热图之间的多任务均方误差损失L，定义如下，
其中，α，β和γ是超参数折衷不同的损失函数。
其中，姿势网络是使用场景中的行人外观的高质量合成图像，可视化编译器学习场景和区域特定的空间变化的完全卷积神经网络；用于行人的同时检测，姿态估计和分割；它能从头开始训练合成数据。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于可视化编译器的人物和姿势检测方法，其特征在于，主要包括场景描述的数据合成(一)；通过合成数据学习网络(二)；采用基本块定义网络(三)；姿势网络(PoseNet)联合定位(四)。
2.基于权利要求书1所述的可视化编译器，其特征在于，用于生成场景特定的人类检测和姿态估计***；其已知信息有：
(1)相机的内在参数和外在参数；
(2)场景粗略的物理几何布局(行走、坐着、站立)和可能被遮挡(障碍)或物理上不存在的区域(墙)的场景区域；
(3)场景各个区域行人的姿势和方向；
与单个图像一起，场景描述作为编译器的输入，在场景的有效区域中合成物理上接地和几何上精确的人；编译器学习区域特定模型的集合，用于人的检测、姿态估计和分割；在推理期间，这些特定模型中的每一个区域在其对应的区域上同时运行。
3.基于权利要求书1所述的场景描述的数据合成(一)，其特征在于，需要高质量的标定好的真实数据注释来训练行人检测***和姿态估计***；无需复杂的人工手动标记过程，可视化编译器使用场景描述模拟适用于场景每个区域的行人外观，从而扩展到大量场景中。
4.基于权利要求书3所述的场景描述，其特征在于，给定场景描述，编译器首先生成场景的平面3D模型来包围障碍物，即拟合地平面，平面壁和立方体；然后使用相机参数来考虑相机镜头特性(例如，广角相机中的透视失真)和用于渲染几何精确的人的场景；除了在场景的每个“有效行人位置”呈现人的外观之外，渲染管道还可以精确地控制人类外观的变化，如性别、高度、宽度、取向和姿态；虚拟人类数据库包括139个不同的模型，涵盖性别、服装颜色和种族；编译器可从0度到360度，也可以由任何先前的可用信息引导；
为了给渲染图像中的人生成标定好的真实数据标记，首先使用以下标签将属性关联到每个3D虚拟模型：分割掩码27个部分的3D位置以及用于检测的人的中心位置；然后从3D注释和相机投影参数自动提取用于训练的2D标签，这个过程允许生成一致的无噪声标签；此外，还可以均匀地跨越所有的外观、方向、姿势或位置的变化。
5.基于权利要求书1所述的通过合成数据学习网络(二)，其特征在于，使用产生的场景特定数据，可视化编译器产生深度神经网络形式的可视化程序，根据场景描述的规范操作训练；
由可视化编译器生成的可视化程序共同完成以下任务：行人的本地化，定义其姿势的界标，并分割定义它们的像素；为了预测行人位置、姿态和分割掩模，网络必须对行人的全貌，地标的局部外观以及这些部件的有效空间配置之前的模型进行建模；为了捕获外观、完整的行人和当地地标外观，学习将RGB输入映射用于行人、局部地标和分割掩码的精确定位的热图回归问题；通过空间置信(SB)模块学习部件位置之间的空间关系上的先验，空间置信模块考虑行人、局部地标和分割掩码的热图之间的相关性；将这种可视化程序的特定实例化称为姿势网络(Pose Net)。
6.基于权利要求书5所述的人体姿态估计***，其特征在于，通常将检测和姿态估计视为独立和顺序任务，检测之后是姿态估计；这些***或者预期标定好的真实数据人类检测，或者使用现成的检测器进行粗略检测；然而，检测和部件定位是高度相互依赖的过程；检测可以极大地影响姿态估计过程，部件的精确定位用于增强人在相应位置处的存在置信；因此，姿势网络模型耦合这些任务，提高行人检测和姿态估计的效率。
7.基于权利要求书1所述的采用基本块定义网络(三)，其特征在于，使用剩余模块和空间置信模块这两个基本单位来定义网络；引入剩余单元解决训练深度卷积网络中消失梯度的问题；采用这个基本单元为网络，并建立它来定义空间置信(SB)模块。
8.基于权利要求书7所述的空间置信模块，其特征在于，将块的输入特征映射到部分定位置信(热图)，同时处理来自前一块的输入特征和部分定位置信；由该块生成的图像特征和部分定位置信通过级联形成下一块的输入；给定输入x到SB模块，输出y由下式给出：
其中，表示连接操作，r＝frea(x)是通过剩余单元的非同一分支的操作，b＝fbelief(x)表示从输入x到期望热图(人检测、部分检测和分割掩模)通过一系列1×1卷积；SB单元使网络考虑上下文信息检测置信度；来自第i个SB单元的部分定位置信度bi传播到下一个第(i+1)个SB块，并且通过非身份路径处理，捕获各个部分热图之间的相关性；通过递归地应用SB单位运算可以看出，
由于连接操作，每个SB单元中的标识快捷方式和frea()处理来自所有先前SB单元的置信；此外，在每个SB单元中生成的检测置信度图也考虑了在所有先前SB单元处的部分定位置信度，每个SB单位用不同的接收场计算；因此，网络利用在多个阶段和通过多个接收场大小的检测置信度图。
9.基于权利要求书1所述的姿势网络(Pose Net)联合定位(四)，其特征在于，给定输入图像，姿势网络联合定位行人，以热图的形式定位身体部分和行人；网络由完全卷积层组成，保持空间上下文，同时提高计算效率；为实现行人的精确定位和姿态估计，在整个网络中使用密集热图预测，防止由于子采样(池)造成的信息丢失；
输入图像通过具有5×5个滤波器的卷积层和3×3的滤波器，遵循用于对象识别的残余网络的设计；之后是3个SB单元，每个具有大接收场的卷积滤波器，增加网络的接收场，同时执行密集预测；SB单元后面是两个1×1卷积层，将图像特征映射到热图；最后，跳过连接用于融合来自多个不同上下文区域的信息，组合来自各种尺度接受字段的特征；用于检测的边界框位置围绕关节的热图、身体中心和分割推断；
通过优化网络，最小化网络预测和用于行人检测、部分定位和分割掩码的理想热图之间的多任务均方误差损失L，定义如下，
其中，α，β和γ是超参数折衷不同的损失函数。
10.基于权利要求书9所述的姿势网络，其特征在于，它是使用场景中的行人外观的高质量合成图像，可视化编译器学习场景和区域特定的空间变化的完全卷积神经网络；用于行人的同时检测，姿态估计和分割；它能从头开始训练合成数据。
CN201710103927.1A 2017-02-24 2017-02-24 一种基于可视化编译器的人物和姿势检测方法 Withdrawn CN106897697A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710103927.1A CN106897697A (zh) 2017-02-24 2017-02-24 一种基于可视化编译器的人物和姿势检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710103927.1A CN106897697A (zh) 2017-02-24 2017-02-24 一种基于可视化编译器的人物和姿势检测方法

Publications (1)

Publication Number Publication Date
CN106897697A true CN106897697A (zh) 2017-06-27

Family

ID=59184211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710103927.1A Withdrawn CN106897697A (zh) 2017-02-24 2017-02-24 一种基于可视化编译器的人物和姿势检测方法

Country Status (1)

Country Link
CN (1) CN106897697A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107481263A (zh) * 2017-08-10 2017-12-15 上海体育学院 乒乓球目标跟踪方法、装置、存储介质和计算机设备
CN107767419A (zh) * 2017-11-07 2018-03-06 广州深域信息科技有限公司 一种人体骨骼关键点检测方法及装置
CN108038465A (zh) * 2017-12-25 2018-05-15 深圳市唯特视科技有限公司 一种基于合成数据集的三维多人物姿态估计
CN108549844A (zh) * 2018-03-22 2018-09-18 华侨大学 一种基于多层分形网络和关节亲属模式的多人姿态估计方法
CN108717531A (zh) * 2018-05-21 2018-10-30 西安电子科技大学 基于Faster R-CNN的人体姿态估计方法
CN108900788A (zh) * 2018-07-12 2018-11-27 北京市商汤科技开发有限公司 视频生成方法、视频生成装置、电子装置及存储介质
CN109190537A (zh) * 2018-08-23 2019-01-11 浙江工商大学 一种基于掩码感知深度强化学习的多人物姿态估计方法
CN109215080A (zh) * 2018-09-25 2019-01-15 清华大学 基于深度学习迭代匹配的6d姿态估计网络训练方法及装置
CN109784296A (zh) * 2019-01-27 2019-05-21 武汉星巡智能科技有限公司 客车乘客数量统计方法、装置及计算机可读存储介质
CN110008915A (zh) * 2019-04-11 2019-07-12 电子科技大学 基于掩码-rcnn进行稠密人体姿态估计的***及方法
CN110799991A (zh) * 2017-06-28 2020-02-14 奇跃公司 用于使用卷积图像变换执行同时定位和映射的方法和***
CN111950321A (zh) * 2019-05-14 2020-11-17 杭州海康威视数字技术股份有限公司 步态识别方法、装置、计算机设备及存储介质
CN112336342A (zh) * 2020-10-29 2021-02-09 深圳市优必选科技股份有限公司 手部关键点检测方法、装置及终端设备
CN113255420A (zh) * 2020-02-11 2021-08-13 辉达公司 使用未经标记的多视图数据训练的模型进行3d人体姿势估计
CN113408433A (zh) * 2021-06-22 2021-09-17 华侨大学 一种智能监控的手势识别方法、装置、设备和存储介质
CN113436058A (zh) * 2021-06-24 2021-09-24 深圳市赛维网络科技有限公司 一种人物虚拟换衣方法、终端设备及存储介质
CN113785303A (zh) * 2019-05-06 2021-12-10 库卡德国有限公司 借助于机器人引导的相机来机器学习对象识别
CN114322946A (zh) * 2021-12-30 2022-04-12 杭州环木信息科技有限责任公司 一种具有高保真度的从光学数据到惯性数据的转化方法
DE102022119865A1 (de) 2022-08-08 2024-02-08 Audi Aktiengesellschaft Verfahren zum Schätzen von Positionen von Gelenkpunkten und Steuereinrichtung für ein Kraftfahrzeug

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110799991B (zh) * 2017-06-28 2023-09-05 奇跃公司 用于使用卷积图像变换执行同时定位和映射的方法和***
CN110799991A (zh) * 2017-06-28 2020-02-14 奇跃公司 用于使用卷积图像变换执行同时定位和映射的方法和***
CN107481263B (zh) * 2017-08-10 2020-05-19 上海体育学院 乒乓球目标跟踪方法、装置、存储介质和计算机设备
CN107481263A (zh) * 2017-08-10 2017-12-15 上海体育学院 乒乓球目标跟踪方法、装置、存储介质和计算机设备
CN107767419A (zh) * 2017-11-07 2018-03-06 广州深域信息科技有限公司 一种人体骨骼关键点检测方法及装置
CN108038465A (zh) * 2017-12-25 2018-05-15 深圳市唯特视科技有限公司 一种基于合成数据集的三维多人物姿态估计
CN108549844B (zh) * 2018-03-22 2021-10-26 华侨大学 一种基于分形网络和关节亲属模式的多人姿态估计方法
CN108549844A (zh) * 2018-03-22 2018-09-18 华侨大学 一种基于多层分形网络和关节亲属模式的多人姿态估计方法
CN108717531B (zh) * 2018-05-21 2021-06-08 西安电子科技大学 基于Faster R-CNN的人体姿态估计方法
CN108717531A (zh) * 2018-05-21 2018-10-30 西安电子科技大学 基于Faster R-CNN的人体姿态估计方法
CN108900788A (zh) * 2018-07-12 2018-11-27 北京市商汤科技开发有限公司 视频生成方法、视频生成装置、电子装置及存储介质
CN109190537A (zh) * 2018-08-23 2019-01-11 浙江工商大学 一种基于掩码感知深度强化学习的多人物姿态估计方法
CN109190537B (zh) * 2018-08-23 2020-09-29 浙江工商大学 一种基于掩码感知深度强化学习的多人物姿态估计方法
US11200696B2 (en) 2018-09-25 2021-12-14 Tsinghua University Method and apparatus for training 6D pose estimation network based on deep learning iterative matching
CN109215080A (zh) * 2018-09-25 2019-01-15 清华大学 基于深度学习迭代匹配的6d姿态估计网络训练方法及装置
CN109784296A (zh) * 2019-01-27 2019-05-21 武汉星巡智能科技有限公司 客车乘客数量统计方法、装置及计算机可读存储介质
CN110008915A (zh) * 2019-04-11 2019-07-12 电子科技大学 基于掩码-rcnn进行稠密人体姿态估计的***及方法
CN110008915B (zh) * 2019-04-11 2023-02-03 电子科技大学 基于掩码-rcnn进行稠密人体姿态估计的***及方法
CN113785303A (zh) * 2019-05-06 2021-12-10 库卡德国有限公司 借助于机器人引导的相机来机器学习对象识别
CN111950321A (zh) * 2019-05-14 2020-11-17 杭州海康威视数字技术股份有限公司 步态识别方法、装置、计算机设备及存储介质
CN111950321B (zh) * 2019-05-14 2023-12-05 杭州海康威视数字技术股份有限公司 步态识别方法、装置、计算机设备及存储介质
CN113255420A (zh) * 2020-02-11 2021-08-13 辉达公司 使用未经标记的多视图数据训练的模型进行3d人体姿势估计
CN112336342B (zh) * 2020-10-29 2023-10-24 深圳市优必选科技股份有限公司 手部关键点检测方法、装置及终端设备
CN112336342A (zh) * 2020-10-29 2021-02-09 深圳市优必选科技股份有限公司 手部关键点检测方法、装置及终端设备
CN113408433A (zh) * 2021-06-22 2021-09-17 华侨大学 一种智能监控的手势识别方法、装置、设备和存储介质
CN113408433B (zh) * 2021-06-22 2023-12-05 华侨大学 一种智能监控的手势识别方法、装置、设备和存储介质
CN113436058A (zh) * 2021-06-24 2021-09-24 深圳市赛维网络科技有限公司 一种人物虚拟换衣方法、终端设备及存储介质
CN113436058B (zh) * 2021-06-24 2023-10-20 深圳市赛维网络科技有限公司 一种人物虚拟换衣方法、终端设备及存储介质
CN114322946A (zh) * 2021-12-30 2022-04-12 杭州环木信息科技有限责任公司 一种具有高保真度的从光学数据到惯性数据的转化方法
CN114322946B (zh) * 2021-12-30 2024-01-09 杭州环木信息科技有限责任公司 一种具有高保真度的从光学数据到惯性数据的转化方法
DE102022119865A1 (de) 2022-08-08 2024-02-08 Audi Aktiengesellschaft Verfahren zum Schätzen von Positionen von Gelenkpunkten und Steuereinrichtung für ein Kraftfahrzeug

Similar Documents

Publication Publication Date Title
CN106897697A (zh) 一种基于可视化编译器的人物和姿势检测方法
US11816907B2 (en) Systems and methods for extracting information about objects from scene information
Sahu et al. Artificial intelligence (AI) in augmented reality (AR)-assisted manufacturing applications: a review
Häne et al. Dense semantic 3d reconstruction
KR20200040665A (ko) 컨볼루션 신경망을 이용하여 poi 변화를 검출하기 위한 시스템 및 방법
Miclea et al. Monocular depth estimation with improved long-range accuracy for UAV environment perception
CN109752855A (zh) 一种光斑发射装置和检测几何光斑的方法
US10885708B2 (en) Automated costume augmentation using shape estimation
Gao et al. Pose refinement with joint optimization of visual points and lines
Singh et al. Fast semantic-aware motion state detection for visual slam in dynamic environment
Zhu et al. Fusing panoptic segmentation and geometry information for robust visual slam in dynamic environments
Qian et al. LS3D: Single-view gestalt 3D surface reconstruction from Manhattan line segments
CN115984712A (zh) 基于多尺度特征的遥感图像小目标检测方法及***
Doğan et al. An augmented crowd simulation system using automatic determination of navigable areas
Li et al. Dynamic objects recognizing and masking for RGB-D SLAM
Rimboux et al. Smart IoT cameras for crowd analysis based on augmentation for automatic pedestrian detection, simulation and annotation
CN114612545A (zh) 图像分析方法及相关模型的训练方法、装置、设备和介质
Xu et al. Indoor localization using region-based convolutional neural network
Guo et al. 3D object detection and tracking based on streaming data
CN113191462A (zh) 信息获取方法、图像处理方法、装置及电子设备
CN117934733B (zh) 一种全开放词表3d场景图生成方法、装置、设备及介质
US9129147B1 (en) Optimal automatic capture of facial movements and expressions in video sequences
Zeng Deep Building Recognition: Interior Layouts and Exterior Planes
CN117440140B (zh) 一种基于虚拟现实技术的多人异地过节服务***
CN113642395B (zh) 面向城市增强现实信息标注的建筑物场景结构提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20170627