CN107194361B - 二维姿势检测方法及装置 - Google Patents

二维姿势检测方法及装置 Download PDF

Info

Publication number
CN107194361B
CN107194361B CN201710391398.XA CN201710391398A CN107194361B CN 107194361 B CN107194361 B CN 107194361B CN 201710391398 A CN201710391398 A CN 201710391398A CN 107194361 B CN107194361 B CN 107194361B
Authority
CN
China
Prior art keywords
human body
key point
key
key points
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710391398.XA
Other languages
English (en)
Other versions
CN107194361A (zh
Inventor
陈志超
李轩
杨贤立
周剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Topplusvision Science & Technology Co ltd
Original Assignee
Chengdu Topplusvision Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Topplusvision Science & Technology Co ltd filed Critical Chengdu Topplusvision Science & Technology Co ltd
Priority to CN201710391398.XA priority Critical patent/CN107194361B/zh
Publication of CN107194361A publication Critical patent/CN107194361A/zh
Application granted granted Critical
Publication of CN107194361B publication Critical patent/CN107194361B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种二维姿势检测方法及装置,涉及计算机视觉领域。所述二维姿势检测方法包括:从二维人体图像数据中获得多个关键点及各个所述关键点的位置信息;按照预设规则将多个所述关键点映射至预先创建的特征图中;对映射到所述特征图中的任意两个所述关键点之间的亲密联系进行评估;将评估存在所述亲密联系的两个所述关键点连接,生成姿势骨架线,以检测人体的姿势。无需依靠图像的深度信息即可精准快速的生成姿势骨架线,降低对硬件设备的要求。处理速度快,检测结果精确度高。

Description

二维姿势检测方法及装置
技术领域
本发明涉及计算机视觉领域,具体而言,涉及一种二维姿势检测方法及装置。
背景技术
人体姿势检测在健身、安防检测、医疗、国防领域中有着广大应用前景,对于人体姿势检测技术的研究是当今火热课题之一。
姿势骨架线可用于识别人体姿势。利用姿势骨架线进行人体姿势检测得到的结果更加精确,且不易暴露隐私。
但即使发展了这么多年,人体姿势检测依然是计算机视觉方面的一个难题。当前主流的检测方法为在图像中检测出人体,然后再在检测出的人体中检测关键点,过程复杂,计算量大,且需要极高的硬件条件:在GPU方面,大多数采用多张显卡,每张显卡的型号不亚于NVIDIA Tesla K80;在CPU方面,多数采用
Figure BDA0001307603010000011
CoreTMi5,以这样的条件做到生活普遍应用是很困难的,影响其推广使用。
发明内容
为了解决上述问题,本发明实施例采用的技术方案如下:
本发明实施例提供一种二维姿势检测方法。所述方法包括:从二维人体图像数据中获得多个关键点及各个所述关键点的位置信息;按照预设规则将多个所述关键点映射至预先创建的特征图中;对映射到所述特征图中的任意两个所述关键点之间的亲密联系进行评估;将评估存在所述亲密联系的两个所述关键点连接,生成姿势骨架线,以检测人体的姿势。
本发明实施例还提供一种二维姿势检测装置,所述装置包括:获取模块、处理模块、关键点提取模块、第一映射模块、评估模块、生成模块及第二映射模块。其中,获取模块,用于按照预设时间间隔获取一帧包括人体的RGB图像数据。处理模块,用于对所述RGB图像数据进行归一化处理,生成所述二维人体图像数据。关键点提取模块,用于从二维人体图像数据中获得多个关键点及各个所述关键点的位置信息。第一映射模块,用于按照预设规则将多个所述关键点映射至预先创建的特征图中。评估模块,用于对映射到所述特征图中的任意两个所述关键点之间的亲密联系进行评估。生成模块,用于将评估存在所述亲密联系的两个所述关键点连接,生成姿势骨架线,以检测人体的姿势。第二映射模块,用于根据所述姿势骨架线,利用预设变换关系矩阵,映射回所述RGB图像数据中,以得到RGB图像中人体的姿态。
与现有技术相比,本发明提供的一种二维姿势检测方法及装置。其中,所述方法包括:从二维人体图像数据中获得多个关键点及各个所述关键点的位置信息;按照预设规则将多个所述关键点映射至预先创建的特征图中;对映射到所述特征图中的任意两个所述关键点之间的亲密联系进行评估;将评估存在所述亲密联系的两个所述关键点连接,生成姿势骨架线,以检测人体的姿势。基于二维图像的处理速度快。保证精度的同时,能够减小计算量,实时性好。降低对硬件设备的要求,便于推广。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明较佳实施例提供的服务器的方框示意图。
图2示出了本发明实施例提供的一种二维姿势检测方法流程图。
图3为图2中步骤S103的子步骤流程图。
图4为图2中步骤S104的子步骤流程图。
图5为关键点映射到特征图后的示例图。
图6为图2中步骤S105的子步骤流程图。
图7示出了本发明实施例提供的一种二维姿势检测装置示意图。
图8为图7中关键点提取模块的功能子模块示意图。
图9为图7中评估模块的功能子模块示意图。
图标:100-服务器;111-存储器;112-处理器;113-通信单元;200-二维姿势检测装置;201-获取模块;202-处理模块;203-关键点提取模块;2031-提取子模块;2032-第一获取子模块;2033-比较子模块;204-第一映射模块;205-评估模块;2051-第二获取子模块;2052-判断子模块;2053-计算子模块;2054-评估子模块;206-生成模块;207-第二映射模块。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
请参照图1,是服务器100的方框示意图。所述服务器100包括二维姿势检测装置200、存储器111、处理器112及通信单元113。
所述存储器111、处理器112以及通信单元113各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述二维姿势检测装置200包括至少一个可以软件或固件(Firmware)的形式存储于所述存储器111中或固化在所述服务器100的操作***(Operating System,OS)中的软件功能模块。所述处理器112用于执行所述存储器111中存储的可执行模块,例如所述二维姿势检测装置200所包括的软件功能模块及计算机程序等。
其中,所述存储器111可以是,但不限于,随机存取存储器(Random AccessMemory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(ProgrammableRead-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-OnlyMemory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory,EEPROM)等。其中,存储器111用于存储程序或者数据。所述通信单元113用于通过所述网络建立所述服务器100与其它通信终端之间的通信连接,并用于通过所述网络收发数据。
应当理解的是,图1所示的结构仅为服务器100的结构示意图,所述服务器100还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
第一实施例
请参考图2,图2为本发明较佳实施例提供的一种二维姿势检测方法的流程图。二维姿势检测方法包括以下步骤:
步骤S101,按照预设时间间隔获取一帧包括人体的RGB图像数据。
在本实施例中,RGB图像数据可以是通过通信单元113接收与服务器100通信连接的终端发送的RGB图像数据。所述终端可以是图像采集设备(例如,摄像头、手机),也可以是可存储图像的电子设备。在本实施例中,终端为摄像头,服务器100按照预设时间间隔从摄像头获取一帧实时的RGB图像数据。
步骤S102,对所述RGB图像数据进行归一化处理,生成所述二维人体图像数据。
在本实施例中,可以通过计算RGB图像数据上所有像素均值,然后求得RGB图像数据像素的标准差。对RGB图像数据上的像素进行减去均值除以标准差的操作,将像素值归一化到[-1,1]区间上。以形成特定类型的图像数据,特定类型的图像数据是指便于提取特征点类型的图像数据,以特定类型的图像数据作为模型训练集数据。将RGB图像数据进行归一化转换成特定类型的图像数据,能够降低后续计算的复杂性,为提高计算速度起到很好的促进作用。例如,特定类型的图像数据可以是LMDB格式的图像数据,但不限于此。
步骤S103,从二维人体图像数据中获得多个关键点及各个所述关键点的位置信息。
在本实施例中,将二维人体图像数据输入人体检测网络,以获取二维人体图像数据中出现的关键点及关键点对应的位置信息。人体检测网络可以是卷积神经网络,可以是预先训练好的模型。关键点可以包括,但不限于包括鼻子、左眼、右眼、左肩、右肩、锁骨中点、左手肘、右手肘、左手腕、右手腕、左胯、右胯、左膝盖、右膝盖、左脚踝、右脚踝。如图3所示,步骤S103包括以下子步骤:
子步骤S1031,从所述二维人体图像数据中提取人体特征点。
在本实施例中,通过人体检测网络提取二维人体图像数据中出现的所有的人体特征点及人体特征点的位置信息。一个关键点可能对应多个人体特征点,也并非每个人体特征点的位置信息都能准确的表征对应关键点的位置信息。
子步骤S1032,根据所述人体特征点,利用神经卷积网络,获取特征输出函数及所述人体特征点对应的关键点。
在本实施例中,依次利用神经卷积网络中的标签类别C典型划分每个人体特征点所述的关键点。具体地,标签类别C典型划分可以是:鼻子、左眼、右眼、左肩、右肩、锁骨中点、左手肘、右手肘、左手腕、右手腕、左胯、右胯、左膝盖、右膝盖、左脚踝、右脚踝。将每一个人体特征点输入神经卷积网络均会对应输出一个特征输出函数。
子步骤S1033,比较所述特征输出函数与预设置的对应的关键点理想输出。
在本实施例中,根据关键点及理想输出矩阵,获取关键点理想输出。理想输出矩阵是预先根据神经卷积网络及能准确表征关键点的人体特征点而建立的。将关键点输入理想输出矩阵则能获得一对应的关键点理想输出。而关键点理想输出可以理解为将能准确表征关键点的人体特征点输入神经卷积网络后获得的一个特征输出函数。当一个人体特征点的特征输出函数与该人体特征点对应的关键点理想输出的差值在预设的误差范围内时,流程进入子步骤S1034;如果差值不在预设的误差范围内时,则认定该人体特征点的位置信息不能表征关键点的位置,则需继续从表征这一类关键点的其他人体特征点只继续寻找能准确表征关键点的人体特征点。
子步骤S1034,获取所述人体特征点的位置信息作为所述关键点的位置信息。以实现对关键点的定位。
步骤S104,按照预设规则将多个所述关键点映射至预先创建的特征图中。
在本实施例中,将获得的关键点都映射到一张比二维人体图像数据规格小很多的特征图。减小处理的工作量。如图4所示,步骤S104包括以下子步骤:
子步骤S1041,将获得的位于人体中轴线上的关键点映射到所述特征图中的中线上。
在本实施例中,根据人体结构可知位于人体中轴线上的关键点包括,但不限于是,鼻子、脖子、锁骨中心等。在本实施例,位于人体中轴线上的关键点选用鼻子和锁骨中心。连接鼻子和锁骨中心构成人体的中轴线。具体地,可以采用仿射变换进行映射。
子步骤S1042,将获得的位于所述二维人体图像数据中人体中轴线一侧的关键点映射到所述特征图的中线一侧的第一区域,位于所述二维人体图像数据中人体中轴线另一侧的关键点映射到所述特征图的中线另一侧的第二区域。
在本实施例中,特征图的中线将特征图均分为两个区域。特征图中线的一侧为第一区域,另一侧为第二区域。将二维人体图像中位于中轴线一侧的所有关键点都映射到第一区域,将二维人体图像中位于中轴线另一侧的所有关键点都映射到第二区域,如图5所示的特征图,特征图中间的虚线为中线,特征图中的椭圆为关节点,位于中线上的两个关键点自上而下分别是鼻子和锁骨中心。具体地,可以采用仿射变换进行映射。
步骤S105,对映射到所述特征图中的任意两个所述关键点之间的亲密联系进行评估。
在本实施例中,亲密联系对于处在同一区域的两个关键点,如果他们的加权欧拉距离相较于与同一区域其他关节点之间的加权欧拉距离最近,则认为它们有亲密联系。因此,所述的亲密联系不仅受距离的影响,还考虑到所述的两个点是否处在同一边,只有处在同一边的关键点才具有亲密联系。同一区域内寻找某个点具有亲密联系的点,使遍历距离减小,也缩短遍历时间。如图6所示,步骤S105包括以下子步骤:
子步骤S1051,依次获取每一个所述关键点。
在本实施例中,需要通过评估找出与每个关键点存在亲密联系的关键点,因此通过依次获取每一个关键点,对每一个关键点进行处理。
子步骤S1052,判断获取的关键点所属区域。
在本实施例中,判断关键点是被映射在特征图中的第一区域还是第二区域。当所述获取的关键点属于所述第一区域,流程进入子步骤S1053;当所述获取的关键点属于所述第二区域,流程进入子步骤S1054。
需要说明的是,如果关键点位于特征图中线,则依次计算获取的关键点与特征图中其他所述关键点之间的加权欧拉距离。
子步骤S1053,依次计算获取的关键点与第一区域中其他所述关键点之间的加权欧拉距离。
在本实施例中,依次遍历第一区域中的关键点,计算获取的关键点与遍历到的关键点之间的加权欧拉距离。例如,第一区域内的关键点包括左眼、左肩、左手肘、左手腕、左胯、左膝盖、左脚踝,当获取的关键点为左手肘时,则依次计算左手肘与左眼、左肩、左手腕、左胯、右眼、左膝盖、左脚踝之间的加权欧拉距离。
子步骤S1054,依次计算获取的关键点与第二区域中其他所述关键点之间的加权欧拉距离。
在本实施例中,依次遍历第二区域中的关键点,计算获取的关键点与遍历到的关键点之间的加权欧拉距离。例如,第二区域内的关键点包括右眼、右肩、右手肘、右手腕、右胯、右膝盖、右脚踝,当获取的关键点为右手肘时,则依次计算右手肘与右眼、右肩、右手腕、右胯、右膝盖、右脚踝之间的加权欧拉距离。
子步骤S1055,将所述加权欧拉距离最小时对应的所述关键点评估为与所述获取的关键点之间存在亲密联系。例如,位于第一区域的左手肘与第一区域内其他关键点之间的加权欧拉距离中,与第一区域内的左手腕之间的加权欧拉距离最近,则评估左手腕与左手肘之间存在亲密联系。
步骤S106,将评估存在所述亲密联系的两个所述关键点连接,生成姿势骨架线,以检测人体的姿势。
在本实施例中,将所有关键点都扩大为以关键点位中心半径为R的关键点区域。关键点区域的半径R为预先设置的。然后将存在亲密联系的两个关键点分别对应的关键点区域为姿势骨架线的拟合目标,进行拟合连接,生成姿势骨架线。这样使得拟合区域从一个点变为一个区域,使得直线拟合可行性变大,完成直线拟合时间减小。
步骤S107,根据所述姿势骨架线,利用预设变换关系矩阵,映射回所述RGB图像数据中,以得到RGB图像中人体的姿态。
在本实施例中,由于姿势骨架线和RGB图像数据不在一个坐标系下,因此,需要将姿势骨架线映射到RGB图像数据中出现人体所在的人像坐标下,实现人体骨架线与人体融合在一起,方便显示。具体地,通过预设置的特征图坐标与RGB图像数据坐标的变换关系矩阵将人体关键点和姿势骨架线映射到RGB图像数据中再进行显示。使关键点和姿势骨架线与人体图像贴合。
在本实施例中,通过摄像头实时获取每一帧RGB图像数据进行处理,生成贴合了对应关键点及姿势骨架线的RGB图像数据进行显示。根据每一帧贴合了对应关键点及姿势骨架线的RGB图像数据,获得姿势骨架线的运动趋势,进而还可对RGB图像数据中的姿势进行预测。
第二实施例
请参照图7,图7为本发明实施例提供的二维姿势检测装置200的功能模块示意图。所述二维姿势检测装置200包括:获取模块201、处理模块202、关键点提取模块203、第一映射模块204、评估模块205、生成模块206及第二映射模块207。
获取模块201,用于按照预设时间间隔获取一帧包括人体的RGB图像数据。
在本发明实施例中,所述步骤S101可以由获取模块201执行。
处理模块202,用于对所述RGB图像数据进行归一化处理,生成所述二维人体图像数据。
在本发明实施例中,所述步骤S102可以由处理模块202执行。
关键点提取模块203,用于从二维人体图像数据中获得多个关键点及各个所述关键点的位置信息。
在本发明实施例中,所述步骤S103可以由关键点提取模块203执行。如图8所示,关键点提取模块203包括以下子模块:
提取子模块2031,用于从所述二维人体图像数据中提取人体特征点。
在本发明实施例中,所述子步骤S1031可以由提取子模块2031执行。
第一获取子模块2032,用于根据所述人体特征点,利用神经卷积网络,获取特征输出函数及所述人体特征点对应的关键点。
在本发明实施例中,所述子步骤S1032可以由第一获取子模块2032执行。
比较子模块2033,用于比较所述特征输出函数与预设置的对应的关键点理想输出。
在本发明实施例中,所述子步骤S1033可以由比较子模块2033执行。
第一获取子模块2032,还用于当所述特征输出函数与所述关键点理想输出的差值在预设的误差范围内时,获取所述人体特征点的位置信息作为所述关键点的位置信息。
在本发明实施例中,所述子步骤S1034可以由第一获取子模块2032执行。
第一映射模块204,用于按照预设规则将多个所述关键点映射至预先创建的特征图中。
在本发明实施例中,所述步骤S104、子步骤S1041及子步骤S1042均可以由第一映射模块204执行。所述第一映射模块204执行所述将多个所述关键点映射至预先创建的特征图中的方式为:将获得的位于人体中轴线上的关键点映射到所述特征图中的中线上;将获得的位于所述二维人体图像数据中人体中轴线一侧的关键点映射到所述特征图的中线一侧的第一区域,位于所述二维人体图像数据中人体中轴线另一侧的关键点映射到所述特征图的中线另一侧的第二区域。
评估模块205,用于对映射到所述特征图中的任意两个所述关键点之间的亲密联系进行评估。
在本发明实施例中,所述步骤S105可以由评估模块205执行。如图9所示,评估模块205包括以下子模块:
第二获取子模块2051,用于依次获取每一个所述关键点。
在本发明实施例中,所述子步骤S1051可以由第二获取子模块2051执行。
判断子模块2052,用于判断获取的关键点所属区域。
在本发明实施例中,所述子步骤S1052可以由判断子模块2052执行。
计算子模块2053,用于当所述获取的关键点属于所述第一区域,依次计算获取的关键点与第一区域中其他所述关键点之间的加权欧拉距离。
在本发明实施例中,所述子步骤S1053可以由计算子模块2053执行。
计算子模块2053,还用于当所述获取的关键点属于所述第二区域,依次计算获取的关键点与第二区域中其他所述关键点之间的加权欧拉距离。
在本发明实施例中,所述子步骤S1054可以由计算子模块2053执行。
评估子模块2054,用于将所述加权欧拉距离最小时对应的所述关键点评估为与所述获取的关键点之间存在亲密联系。
在本发明实施例中,所述子步骤S1055可以由评估子模块2054执行。
生成模块206,用于将评估存在所述亲密联系的两个所述关键点连接,生成姿势骨架线,以检测人体的姿势。
在本发明实施例中,所述步骤S106可以由生成模块206执行。
第二映射模块207,用于根据所述姿势骨架线,利用预设变换关系矩阵,映射回所述RGB图像数据中,以得到RGB图像中人体的姿态。
在本发明实施例中,所述步骤S107可以由第二映射模块207执行。
综上所述,本发明提供的一种二维姿势检测方法及装置。所述方法包括:从二维人体图像数据中获得多个关键点及各个所述关键点的位置信息;按照预设规则将多个所述关键点映射至预先创建的特征图中;对映射到所述特征图中的任意两个所述关键点之间的亲密联系进行评估;将评估存在所述亲密联系的两个所述关键点连接,生成姿势骨架线,以检测人体的姿势。一方面基于二维图像的处理速度快。保证精度的同时,能够减小计算量。同时该方法实时性好。无需借助图像的深度信息也能快速处理,生成姿势骨架线,降低对硬件设备的要求,便于推广。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种二维姿势检测方法,其特征在于,所述方法包括:
从二维人体图像数据中提取人体特征点;
根据所述人体特征点,利用神经卷积网络,获取特征输出函数及所述人体特征点对应的关键点;
比较所述特征输出函数与预设置的对应的关键点理想输出;其中,所述关键点理想输出为根据所述关键点及理想输出矩阵获取到的;所述理想输出矩阵是预先根据神经卷积网络及能准确表征关键点的人体特征点所建立的,将所述关键点输入理想输出矩阵则能获得一对应的关键点理想输出;所述关键点理想输出为将能准确表征关键点的人体特征点输入神经卷积网络后获得的一个特征输出函数;
当所述特征输出函数与所述关键点理想输出的差值在预设的误差范围内时,获取所述人体特征点的位置信息作为所述关键点的位置信息;
按照预设规则将多个所述关键点映射至预先创建的特征图中;
对映射到所述特征图中的任意两个所述关键点之间的亲密联系进行评估;
将评估存在所述亲密联系的两个所述关键点连接,生成姿势骨架线,以检测人体的姿势。
2.如权利要求1所述的二维姿势检测方法,其特征在于,所述方法还包括步骤:
按照预设时间间隔获取一帧包括人体的RGB图像数据;
对所述RGB图像数据进行归一化处理,生成所述二维人体图像数据。
3.如权利要求2所述的二维姿势检测方法,其特征在于,所述方法还包括步骤:
根据所述姿势骨架线,利用预设变换关系矩阵,映射回所述RGB图像数据中,以得到RGB图像中人体的姿态。
4.如权利要求1所述的二维姿势检测方法,其特征在于,所述按照预设规则将所述关键点映射至预先创建的特征图中的步骤包括;
将获得的位于人体中轴线上的关键点映射到所述特征图中的中线上;
将获得的位于所述二维人体图像数据中人体中轴线一侧的关键点映射到所述特征图的中线一侧的第一区域,位于所述二维人体图像数据中人体中轴线另一侧的关键点映射到所述特征图的中线另一侧的第二区域。
5.如权利要求4所述的二维姿势检测方法,其特征在于,所述对映射到所述特征图中的任意两个所述关键点之间的亲密联系进行评估的步骤包括:
依次获取每一个所述关键点;
判断获取的关键点所属区域;
当所述获取的关键点属于所述第一区域,依次计算获取的关键点与第一区域中其他所述关键点之间的加权欧拉距离;
当所述获取的关键点属于所述第二区域,依次计算获取的关键点与第二区域中其他所述关键点之间的加权欧拉距离;
将所述加权欧拉距离最小时对应的所述关键点评估为与所述获取的关键点之间存在亲密联系。
6.一种二维姿势检测装置,其特征在于,所述装置包括:
获取模块,用于按照预设时间间隔获取一帧包括人体的RGB图像数据;
处理模块,用于对所述RGB图像数据进行归一化处理,生成二维人体图像数据;
关键点提取模块,用于从二维人体图像数据中获得多个关键点及各个所述关键点的位置信息;其中,所述关键点提取模块包括:
提取子模块,用于从所述二维人体图像数据中提取人体特征点;
第一获取子模块,用于根据所述人体特征点,利用神经卷积网络,获取特征输出函数及所述人体特征点对应的关键点;
比较子模块,用于比较所述特征输出函数与预设置的对应的关键点理想输出;其中,所述关键点理想输出为根据所述关键点及理想输出矩阵获取到;所述理想输出矩阵是预先根据神经卷积网络及能准确表征关键点的人体特征点所建立的,将所述关键点输入理想输出矩阵则能获得一对应的关键点理想输出;所述关键点理想输出为将能准确表征关键点的人体特征点输入神经卷积网络后获得的一个特征输出函数;
第一获取子模块,还用于当所述特征输出函数与所述关键点理想输出的差值在预设的误差范围内时,获取所述人体特征点的位置信息作为所述关键点的位置信息;
第一映射模块,用于按照预设规则将多个所述关键点映射至预先创建的特征图中;
评估模块,用于对映射到所述特征图中的任意两个所述关键点之间的亲密联系进行评估;
生成模块,用于将评估存在所述亲密联系的两个所述关键点连接,生成姿势骨架线,以检测人体的姿势;
第二映射模块,用于根据所述姿势骨架线,利用预设变换关系矩阵,映射回所述RGB图像数据中,以得到RGB图像中人体的姿态。
7.如权利要求6所述的二维姿势检测装置,其特征在于,所述第一映射模块执行所述将多个所述关键点映射至预先创建的特征图中的方式为:将获得的位于人体中轴线上的关键点映射到所述特征图中的中线上;将获得的位于所述二维人体图像数据中人体中轴线一侧的关键点映射到所述特征图的中线一侧的第一区域,位于所述二维人体图像数据中人体中轴线另一侧的关键点映射到所述特征图的中线另一侧的第二区域。
8.如权利要求7所述的二维姿势检测装置,其特征在于,所述评估模块包括:
第二获取子模块,用于依次获取每一个所述关键点;
判断子模块,用于判断获取的关键点所属区域;
计算子模块,用于当所述获取的关键点属于所述第一区域,依次计算获取的关键点与第一区域中其他所述关键点之间的加权欧拉距离;
计算子模块,还用于当所述获取的关键点属于所述第二区域,依次计算获取的关键点与第二区域中其他所述关键点之间的加权欧拉距离;
评估子模块,用于将所述加权欧拉距离最小时对应的所述关键点评估为与所述获取的关键点之间存在亲密联系。
CN201710391398.XA 2017-05-27 2017-05-27 二维姿势检测方法及装置 Active CN107194361B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710391398.XA CN107194361B (zh) 2017-05-27 2017-05-27 二维姿势检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710391398.XA CN107194361B (zh) 2017-05-27 2017-05-27 二维姿势检测方法及装置

Publications (2)

Publication Number Publication Date
CN107194361A CN107194361A (zh) 2017-09-22
CN107194361B true CN107194361B (zh) 2021-04-02

Family

ID=59875614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710391398.XA Active CN107194361B (zh) 2017-05-27 2017-05-27 二维姿势检测方法及装置

Country Status (1)

Country Link
CN (1) CN107194361B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229305B (zh) 2017-11-21 2021-06-04 北京市商汤科技开发有限公司 用于确定目标对象的外接框的方法、装置和电子设备
CN108597578B (zh) * 2018-04-27 2021-11-05 广东省智能制造研究所 一种基于二维骨架序列的人体运动评估方法
CN110866417A (zh) * 2018-08-27 2020-03-06 阿里巴巴集团控股有限公司 图像处理方法、装置及电子设备
CN109614867A (zh) * 2018-11-09 2019-04-12 北京市商汤科技开发有限公司 人体关键点检测方法和装置、电子设备、计算机存储介质
CN111222379A (zh) * 2018-11-27 2020-06-02 株式会社日立制作所 一种手部检测方法及装置
CN109583363B (zh) * 2018-11-27 2022-02-11 湖南视觉伟业智能科技有限公司 基于人体关键点检测改进演讲者姿体动作的方法及***
CN109657631B (zh) * 2018-12-25 2020-08-11 上海智臻智能网络科技股份有限公司 人体姿态识别方法及装置
CN109902659B (zh) * 2019-03-15 2021-08-20 北京字节跳动网络技术有限公司 用于处理人体图像的方法和装置
CN110349240A (zh) * 2019-06-26 2019-10-18 华中科技大学 一种无监督下基于姿势转换的行人图片合成方法和***
CN111103981B (zh) * 2019-12-20 2024-06-11 北京奇艺世纪科技有限公司 控制指令生成方法及装置
CN112906512B (zh) * 2021-02-03 2024-06-11 北京海迩西医疗科技有限公司 一种确定人体关节的方法、装置以及存储介质
CN113379144B (zh) * 2021-06-24 2021-11-30 深圳开思信息技术有限公司 用于线上汽配采购平台的门店采购订单生成方法和***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679175A (zh) * 2013-12-13 2014-03-26 电子科技大学 一种基于深度摄像机的快速3d骨骼模型检测方法
CN105069413A (zh) * 2015-07-27 2015-11-18 电子科技大学 一种基于深度卷积神经网络的人体姿势识别方法
CN106295533A (zh) * 2016-08-01 2017-01-04 厦门美图之家科技有限公司 一种自拍图像的优化方法、装置和拍摄终端

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69123991T2 (de) * 1990-03-23 1997-05-22 Canon Kk Bildverarbeitung mit neuronalem Netzwerk
JP2007088557A (ja) * 2005-09-20 2007-04-05 Fuji Xerox Co Ltd 色間クロストーク補正式算出方法及び画像読み取り装置
US8929600B2 (en) * 2012-12-19 2015-01-06 Microsoft Corporation Action recognition based on depth maps
CN105512684B (zh) * 2015-12-09 2018-08-28 江苏航天大为科技股份有限公司 基于主成分分析卷积神经网络的车标自动识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679175A (zh) * 2013-12-13 2014-03-26 电子科技大学 一种基于深度摄像机的快速3d骨骼模型检测方法
CN105069413A (zh) * 2015-07-27 2015-11-18 电子科技大学 一种基于深度卷积神经网络的人体姿势识别方法
CN106295533A (zh) * 2016-08-01 2017-01-04 厦门美图之家科技有限公司 一种自拍图像的优化方法、装置和拍摄终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《一种提取物体线性骨架的新方法》;刘俊涛等;《自动化学报》;20080630;第34卷(第6期);正文第1.4部分 *
《基于视频流的异常人体行为分析》;胡永亮;《中国优秀硕士学位论文全文数据库信息科技辑》;20150715(第2015年第07期);正文第4部分 *

Also Published As

Publication number Publication date
CN107194361A (zh) 2017-09-22

Similar Documents

Publication Publication Date Title
CN107194361B (zh) 二维姿势检测方法及装置
WO2018028546A1 (zh) 一种关键点的定位方法及终端、计算机存储介质
CN109508688B (zh) 基于骨架的行为检测方法、终端设备及计算机存储介质
CN107784282B (zh) 对象属性的识别方法、装置及***
CN106203242B (zh) 一种相似图像识别方法及设备
CN107219925B (zh) 姿势检测方法、装置及服务器
JP6815707B2 (ja) 顔姿勢検出方法、装置及び記憶媒体
Gangrade et al. Vision-based hand gesture recognition for Indian sign language using convolution neural network
Min et al. Support vector machine approach to fall recognition based on simplified expression of human skeleton action and fast detection of start key frame using torso angle
Luo et al. Real-time head pose estimation and face modeling from a depth image
CN108229324A (zh) 手势追踪方法和装置、电子设备、计算机存储介质
CN107292318B (zh) 基于中心暗通道先验信息的图像显著性物体检测方法
CN111242030A (zh) 视频数据处理方法、装置、设备及计算机可读存储介质
CN112633084A (zh) 人脸框确定方法、装置、终端设备及存储介质
CN113177468A (zh) 人体行为检测方法、装置、电子设备及存储介质
Goudelis et al. Fall detection using history triple features
CN111459269A (zh) 一种增强现实显示方法、***及计算机可读存储介质
CN111444850A (zh) 一种图片检测的方法和相关装置
CN111695405B (zh) 一种狗脸特征点的检测方法、装置、***及存储介质
CN111738199A (zh) 图像信息验证方法、装置、计算装置和介质
CN116884045B (zh) 身份识别方法、装置、计算机设备和存储介质
CN108875901B (zh) 神经网络训练方法以及通用物体检测方法、装置和***
Li et al. Location and model reconstruction algorithm for overlapped and sheltered spherical fruits based on geometry
CN110929583A (zh) 一种高检测精度人脸识别方法
CN106406507B (zh) 图像处理方法以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Two-dimensional pose detection method and device

Effective date of registration: 20230116

Granted publication date: 20210402

Pledgee: Industrial Bank Limited by Share Ltd. Chengdu branch

Pledgor: CHENGDU TOPPLUSVISION TECHNOLOGY Co.,Ltd.

Registration number: Y2023510000027