CN104102895B - 用于检测被拍摄用户的身体部位的设备和方法 - Google Patents

用于检测被拍摄用户的身体部位的设备和方法 Download PDF

Info

Publication number
CN104102895B
CN104102895B CN201310126459.1A CN201310126459A CN104102895B CN 104102895 B CN104102895 B CN 104102895B CN 201310126459 A CN201310126459 A CN 201310126459A CN 104102895 B CN104102895 B CN 104102895B
Authority
CN
China
Prior art keywords
user
taken
image
classifier
physical feeling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310126459.1A
Other languages
English (en)
Other versions
CN104102895A (zh
Inventor
刘荣
陈茂林
张帆
胡芝兰
孙讯
宫鲁津
金智渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN201310126459.1A priority Critical patent/CN104102895B/zh
Priority to KR1020130168788A priority patent/KR102211159B1/ko
Priority to US14/249,464 priority patent/US9443136B2/en
Publication of CN104102895A publication Critical patent/CN104102895A/zh
Application granted granted Critical
Publication of CN104102895B publication Critical patent/CN104102895B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

提供一种用于检测被拍摄用户的身体部位的设备和方法，所述设备包括：图像获取单元，用于获取被拍摄用户的深度图像；提取单元，用于从获取的深度图像中提取作为前景的被拍摄用户，其中，所述被拍摄用户为单用户或多用户，单用户是指图像与其它被拍摄用户的图像不发生交叠的单个被拍摄用户，多用户是指图像互相交叠的多个被拍摄用户；以及部位检测单元，用于通过使用基于单用户样本和多用户样本训练出的用于检测身体部位的分类器来检测提取的被拍摄用户的身体部位。根据所述设备和方法，能够有效地检测多用户的身体部位。

Description

用于检测被拍摄用户的身体部位的设备和方法
技术领域
本发明涉及计算机视觉技术和模式识别技术，更具体地说，涉及一种用于从拍摄的图像中检测出用户的各个身体部位的设备和方法。
背景技术
对人体姿势的估计作为计算机视觉技术的重要组成广泛地应用于很多领域，例如，人机交互(包括3D自然交互)、智能监视、用于游戏或电影的现实角色动画等。由于该项技术的学术价值及其广阔的商业应用前景，人们对于它的关注度越来越高，并相应地进行了大量的研究。
在估计人体姿势时，对身体部位的检测是基础技术之一，检测到的身体部位将作为重要的参考信息以用于估计人体姿势。
在实际的应用环境(例如，家庭娱乐环境)中，常常发生多个用户的图像之间存在交叠的情况，例如，当用户做出握手、搭肩等接触动作时，相应用户的图像之间会存在连接，或者，当不同位置的用户在纵深方向上彼此遮挡时，或者，当用户做出挽手臂或拥抱等动作时，相应用户的图像之间会存在重叠。
针对多个用户的图像之间存在交叠的上述情况，现有技术首先通过进行图像分割来获取各个单独的用户，进而从分割出的每个用户检测他/她的身体部位。由于现有技术中主要通过将交叠的用户图像进行分割来检测每个用户的身体部位，因此，身体部位检测的有效性受限于图像分割的准确性，而由于在很多情况下难以实现针对每个用户的准确分割，相应地，也就难以有效地检测到各个用户的身体部位。此外，即便能够准确地分割出重叠图像中的每一个用户，也由于存在局部图像的损失而导致无法检测到身体部位或者检测到的身体部位出现偏差。
例如，图1示出根据现有技术对连接图像进行分割的示例。如图1的(a)和(b)所示，两个用户由于握手和搭肩的动作而使得他们的图像之间存在连接，在这种情况下，现有技术中的图像分割处理会从捕获的连续图像中获得如图1的(c)所示的结果，从图1的(c)可以看出，图像分割处理难以在连接处实现对用户的准确分割，导致无法有效地检测出用户的身体部位(例如，用户各自的胳膊)。
此外，图2示出根据现有技术对重叠图像进行分割的示例。在该示例中，站立在不同位置的两个用户在纵深方向上彼此遮挡，且这两个用户之间的距离比较远。如图2的(a)和(b)所示，两个用户由于站立的位置而使得他们的图像之间存在重叠，在这种情况下，现有技术中的图像分割处理会从捕获的连续图像中获得如图2的(c)所示的结果，从图2的(c)可以看出，由于两个用户之间的距离较远，因此，图像分割处理能够相对完整地分割出距离拍摄装置较近的用户，但距离拍摄装置较远的另一用户的某些身体部位(例如，胳膊)会由于被遮挡而无法被有效地检测。
此外，图3示出根据现有技术对重叠图像进行分割的另一示例。在该示例中，两个用户在纵深方向上彼此遮挡，且这两个用户之间的距离比较近。如图3的(a)和(b)所示，两个用户由于站立的位置或挽手臂的动作而使得他们的图像之间存在重叠，在这种情况下，现有技术中的图像分割处理会从捕获的连续图像中获得如图3的(c)所示的结果，从图3的(c)可以看出，由于两个用户之间的距离较近，因此，图像分割处理难以准确地分割出上述两个用户，例如，两个用户的胳膊图像会存在重叠，导致无法被有效地检测。
综上所述，现有的身体部位检测技术受限于用户图像分割的准确性，因此，在检测图像互相交叠的多用户的身体部位时，难以取得期望的检测结果。
发明内容
本发明的目的在于提供一种能够从拍摄的图像中检测出用户的各个身体部位的设备和方法，其中，所述设备和方法能够有效地检测图像互相交叠的多个用户的身体部位。
根据本发明的一方面，提供一种用于检测被拍摄用户的身体部位的设备，包括：图像获取单元，用于获取被拍摄用户的深度图像；提取单元，用于从获取的深度图像中提取作为前景的被拍摄用户，其中，所述被拍摄用户为单用户或多用户，单用户是指图像与其它被拍摄用户的图像不发生交叠的单个被拍摄用户，多用户是指图像互相交叠的多个被拍摄用户；以及部位检测单元，用于通过使用基于单用户样本和多用户样本训练出的用于检测身体部位的分类器来检测提取的被拍摄用户的身体部位。
所述设备可还包括：划分单元，用于将提取的被拍摄用户划分为单用户和多用户，其中，所述分类器包括基于单用户样本训练出的单用户分类器和基于多用户样本训练出的多用户分类器，并且，部位检测单元包括：单用户部位检测器，用于从划分单元接收划分出的单用户，并通过使用单用户分类器来检测所述划分出的单用户的身体部位；多用户部位检测器，用于从划分单元接收划分出的多用户，并通过使用多用户分类器来检测所述划分出的多用户的身体部位。
在所述设备中，划分单元可标注由提取单元从最初获取的深度图像中提取的各个被拍摄用户，并通过在后续获取的深度图像中跟踪标注的各个被拍摄用户来确定各个被拍摄用户的图像之间的交叠情况，从而将提取的被拍摄用户划分为单用户和多用户，其中，所述最初获取的深度图像中的被拍摄用户的图像之间不存在交叠。
在所述设备中，所述分类器可以是提升型分类器。
在所述设备中，所述提升型分类器可表示为用于描述身体部位本身的属性的多个特征与用于描述所述身体部位周围的上下文属性的多个特征之和。
在所述设备中，所述特征可被实现为多尺度顺序图案特征，其中，所述多尺度顺序图案特征用于指示深度图像中多个相关矩形区域之间在不同尺度下关于深度值的对比关系。
在所述设备中，部位检测单元可通过使用所述分类器基于子窗口执行搜索来检测被拍摄用户的身体部位。
根据本发明的另一方面，提供一种用于检测被拍摄用户的身体部位的方法，包括：获取被拍摄用户的深度图像；从获取的深度图像中提取作为前景的被拍摄用户，其中，所述被拍摄用户为单用户或多用户，单用户是指图像与其它被拍摄用户的图像不发生交叠的单个被拍摄用户，多用户是指图像互相交叠的多个被拍摄用户；以及通过使用基于单用户样本和多用户样本训练出的用于检测身体部位的分类器来检测提取的被拍摄用户的身体部位。
所述方法可还包括：将提取的被拍摄用户划分为单用户和多用户，其中，所述分类器包括基于单用户样本训练出的单用户分类器和基于多用户样本训练出的多用户分类器，并且，所述检测步骤包括：接收划分出的单用户，并通过使用单用户分类器来检测所述划分出的单用户的身体部位；接收划分出的多用户，并通过使用多用户分类器来检测所述划分出的多用户的身体部位。
在所述方法中，所述划分步骤可包括：标注从最初获取的深度图像中提取的各个被拍摄用户，并通过在后续获取的深度图像中跟踪标注的各个被拍摄用户来确定各个被拍摄用户的图像之间的交叠情况，从而将提取的被拍摄用户划分为单用户和多用户，其中，所述最初获取的深度图像中的被拍摄用户的图像之间不存在交叠。
在所述方法中，所述检测步骤可包括：通过使用所述分类器基于子窗口执行搜索来检测被拍摄用户的身体部位。
根据本发明示例性实施例的身体部位检测设备和方法，能够有效地检测多用户的身体部位，而不必受限于图像分割的准确性。
附图说明
通过下面结合附图进行的对实施例的描述，本发明的上述和/或其它目的和优点将会变得更加清楚，其中：
图1示出根据现有技术对连接图像进行分割的示例；
图2示出根据现有技术对重叠图像进行分割的示例；
图3示出根据现有技术对重叠图像进行分割的另一示例；
图4示出根据本发明示例性实施例的用于检测被拍摄用户的身体部位的设备的框图；
图5示出根据本发明另一示例性实施例的用于检测被拍摄用户的身体部位的设备的框图；
图6示出根据本发明示例性实施例的将提取的被拍摄用户划分为单用户的示例；
图7示出根据本发明示例性实施例所划分出的多用户的示例；
图8示出根据本发明示例性实施例的用于检测被拍摄用户的身体部位的方法的流程图；
图9示出根据本发明另一示例性实施例的用于检测被拍摄用户的身体部位的方法的流程图；
图10示出根据本发明示例性实施例的身体部位检测结果。
具体实施方式
现将详细参照本发明的实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。
图4示出根据本发明示例性实施例的用于检测被拍摄用户的身体部位的设备的框图。这里的身体部位主要可包括头部、胳膊和腿部中的至少一个，但并不受限于此。作为非限制性的示例，所述身体部位可包括以下项中的至少一个：头部、颈部、左肩膀、左上臂、左胳膊肘、左下臂、左手腕、左手、右肩膀、右上臂、右胳膊肘、右下臂、右手腕、右手、左大腿、左膝盖、左小腿、左脚踝、左脚、右大腿、右膝盖、右小腿、右脚踝、右脚。
参照图4，根据本发明示例性实施例的身体部位检测设备包括：图像获取单元10、提取单元20和部位检测单元30。
具体说来，图像获取单元10用于获取被拍摄用户的深度图像。作为示例，图像获取单元10可以是用于拍摄深度图像的深度摄像头(例如，Prime-Sense)，或者可以是用于从拍摄装置接收拍摄的深度图像的接口单元。
提取单元20用于从获取的深度图像中提取作为前景的被拍摄用户，其中，所述被拍摄用户为单用户或多用户，单用户是指图像与其它被拍摄用户的图像不发生交叠的单个被拍摄用户，多用户是指图像互相交叠的多个被拍摄用户。这里，提取单元20可利用任何适当的方式从深度图像中提取作为前景的被拍摄用户，具体说来，获取的深度图像中可包括至少一个单用户和/或至少一个多用户，相应地，提取单元20可从所述深度图像中提取出至少一个单用户和/或至少一个多用户。
部位检测单元30用于通过使用基于单用户样本和多用户样本训练出的用于检测身体部位的分类器来检测提取的被拍摄用户的身体部位。根据本发明的示例性实施例，部位检测单元30所采用的分类器在训练时不仅基于单用户样本(例如，保存在单用户样本数据库中)，而且还基于多用户样本(例如，保存在多用户样本数据库中)。因此，根据本发明示例性实施例的身体部位检测设备不需要对多用户进行图像上的分割，从而检测结果不再受限于图像分割的准确性。
作为优选方式，所述分类器可以采用提升型分类器F(x)，其可表示为用于描述被检测对象(即，身体部位)本身的属性的多个特征fo，t(x)与用于描述所述对象周围的上下文属性的多个特征fs，t(x)之和。
作为示例，可通过以下的等式(1)来表示提升型分类器F(x)：
在上述等式(1)中，x表示用于训练分类器的样本中的被检测对象(即，身体部位)的示例，根据本发明的示例性实施例，这里的样本可以是单用户样本或多用户样本。t表示特征fo，t(x)和特征fs，t(x)的序号，To表示特征fo，t(x)的数量，Ts表示特征fs，t(x)的数量。这里的特征fo，t(x)和特征fs，t(x)可实现为多尺度顺序图案(MSOP，multi-scale ordinalpattern)特征，其中，所述多尺度顺序图案特征用于指示图像中多个相关矩形区域之间在不同尺度下关于特定图像属性(例如，深度值)的对比关系。通过设置多尺度顺序图案的位置、大小和类型等参数，可获得用于描述被检测对象本身的属性的特征fo，t(x)与用于描述所述对象周围的上下文属性的特征fs，t(x)。
作为示例，通过下面的等式(2)来计算本发明示例性实施例中的多尺度顺序图案特征：
在上述等式(2)中，fθ表示多尺度顺序图案特征，其包括N个相关矩形区域，N为自然数，例如，N为8；gi表示第i个矩形区域中的图像属性值，gc表示图像属性参考值。作为一种示例，θ表示多尺度顺序图案的参数(例如，位置、大小和类型)，通过设置所述参数θ，可分别获得用于描述被检测对象本身的属性的特征fo，t(x)与用于描述所述对象周围的上下文属性的特征fs，t(x)。
通过上述等式(2)，可计算出多尺度顺序图案特征的具体数值，也可将其表示为二进制符号序列的形式，其反应了图像中多个相关矩形区域之间在不同尺度下关于特定图像属性的对比关系。应理解，上述表达式仅仅是示例性的，各种表示多个相关区域之间在不同尺度下的某种对比关系的特征均可应用于本发明。
在此基础上，本领域技术人员应清楚，根据本发明示例性实施例的分类器并不受限于上述构建方式，任何基于单用户样本和多用户样本的身体部位所训练出的分类器均可应用于部位检测单元30，以检测被拍摄用户的身体部位。
通过利用所述分类器，部位检测单元30可基于子窗口搜索来检测被拍摄用户的身体部位。作为示例，通过设置子窗口的位置和尺寸并基于设置的子窗口执行搜索，部位检测单元30可利用分类器判断各个搜索的子窗口是否包括被拍摄用户的身体部位。例如，部位检测单元30可通过设置子窗口的最小尺寸、最大尺寸、尺寸变化步长、搜索起点、搜素终点和搜索步长等参数来设置不同的各个子窗口，并基于这些设置的子窗口来执行搜索处理。这里，部位检测单元30可将由分类器判断为特定身体部位的相关子窗口进行合并，作为所述特定身体部位的检测结果。
以上示出了由部位检测单元30利用基于单用户样本和多用户样本两者训练出的分类器来检测被拍摄用户的身体部位的方案，此外，为了获得更为有效的检测结果，可通过分别设置基于单用户样本的分类器和基于多用户样本的分类器来分别检测被拍摄的单用户和多用户的身体部位。
图5示出根据本发明另一示例性实施例的用于检测被拍摄用户的身体部位的设备的框图。
参照图5，根据本发明示例性实施例的身体部位检测设备包括：图像获取单元10、提取单元20、划分单元25和部位检测单元30。
具体说来，图像获取单元10用于获取被拍摄用户的深度图像。作为示例，图像获取单元10可以是用于拍摄深度图像的深度摄像头(例如，Prime-Sense)，或者可以是用于从拍摄装置接收拍摄的深度图像的接口单元。
提取单元20用于从获取的深度图像中提取作为前景的被拍摄用户，其中，所述被拍摄用户为单用户或多用户，单用户是指图像与其它被拍摄用户的图像不发生交叠的单个被拍摄用户，多用户是指图像互相交叠的多个被拍摄用户。这里，提取单元20可利用任何适当的方式从深度图像中提取作为前景的被拍摄用户，具体说来，获取的深度图像中可包括至少一个单用户和/或至少一个多用户，相应地，提取单元20可从所述深度图像中提取出至少一个单用户和/或至少一个多用户。
在提取单元20从深度图像中提取作为前景的被拍摄用户之后，划分单元25用于将提取的被拍摄用户划分为单用户和多用户。作为示例，划分单元25可标注由提取单元20从最初获取的深度图像(其中，被拍摄用户的图像之间不存在交叠)中提取的各个被拍摄用户，并通过在后续获取的深度图像中跟踪标注的各个被拍摄用户来确定各个被拍摄用户的图像之间的交叠情况，从而将提取的被拍摄用户划分为单用户和多用户。
图6示出划分单元25将提取的被拍摄用户划分为单用户的示例，其中，单用户是指图像与其它被拍摄用户的图像不发生交叠的单个被拍摄用户。作为示例，假设在最初获取的深度图像中，各个用户的图像之间不存在交叠，此时，提取单元20提取的各个前景遮罩(mask)分别与单个的用户对应，相应地，划分单元25将提取的各个前景遮罩确定为初始的单用户，并为每个单用户分配相应的标识符。随着后续深度图像的输入，不同的前景遮罩之间出现重叠，重叠的部分则对应于出现的多用户。相应地，划分单元25可通过追踪遮罩数目的变化并确定所标识的各个用户之间的重叠来划分出多用户。图7示出划分单元25所划分出的多用户的示例。
在划分单元25将提取的被拍摄用户划分为单用户和多用户之后，部位检测单元30可被配置为包括：单用户部位检测器30a，用于从划分单元25接收划分出的单用户，并通过使用基于单用户样本训练出的单用户分类器来检测所述划分出的单用户的身体部位；多用户部位检测器30b，用于从划分单元25接收划分出的多用户，并通过使用基于多用户样本训练出的多用户分类器来检测所述划分出的多用户的身体部位。
这里，可按照参照图1描述的方式来构建单用户分类器、多用户分类器、单用户部位检测器30a和多用户部位检测器30b，但是本发明并不受限于此，本领域技术人员可采用任何适当的方式来配置相应的用户分类器、多用户分类器、单用户部位检测器30a和多用户部位检测器30b。
根据本发明的示例性实施例，将提取的被拍摄用户划分为单用户和多用户啊，并分别针对单用户和多用户构建了相应的分类器和检测器。通过这种方式，能够进一步提高分类器的有效性，进而改善检测结果。
以下，将参照图8和图9来描述根据本发明示例性实施例的用于检测被拍摄用户的身体部位的方法，所述方法可通过图1和图5所示的检测设备来实现，但本发明并不受限于此。作为示例，所述方法也可通过计算机程序来实现。
图8示出根据本发明示例性实施例的用于检测被拍摄用户的身体部位的方法的流程图。
参照图8，在操作S100，由图像获取单元10获取被拍摄用户的深度图像。
接下来，在操作S200，由提取单元20从获取的深度图像中提取作为前景的被拍摄用户，其中，所述被拍摄用户为单用户或多用户，单用户是指图像与其它被拍摄用户的图像不发生交叠的单个被拍摄用户，多用户是指图像互相交叠的多个被拍摄用户。具体说来，获取的深度图像中可包括至少一个单用户和/或至少一个多用户，相应地，提取单元20可在操作S200从所述深度图像中提取出至少一个单用户和/或至少一个多用户。
在操作S300，由部位检测单元30通过使用基于单用户样本和多用户样本训练出的用于检测身体部位的分类器来检测提取的被拍摄用户的身体部位。根据本发明的示例性实施例，部位检测单元30所采用的分类器在训练时不仅基于单用户样本，而且还基于多用户样本。因此，根据本发明示例性实施例的身体部位检测方法不需要对多用户进行图像上的分割，从而检测结果不再受限于图像分割的准确性。
通过利用所述分类器，部位检测单元30可在操作S300基于子窗口搜索来检测被拍摄用户的身体部位。作为示例，通过设置子窗口的位置和尺寸并基于设置的子窗口执行搜索，部位检测单元30可利用分类器判断各个搜索的子窗口是否包括被拍摄用户的身体部位。例如，部位检测单元30可通过设置子窗口的最小尺寸、最大尺寸、尺寸变化步长、搜索起点、搜素终点和搜索步长等参数来设置不同的各个子窗口，并基于这些设置的子窗口来执行搜索处理。这里，部位检测单元30可将由分类器判断为特定身体部位的相关子窗口进行合并，作为所述特定身体部位的检测结果。
图9示出根据本发明另一示例性实施例的用于检测被拍摄用户的身体部位的方法的流程图。
参照图9，在操作S100，由图像获取单元10获取被拍摄用户的深度图像。
接下来，在操作S200，由提取单元20从获取的深度图像中提取作为前景的被拍摄用户，其中，所述被拍摄用户为单用户或多用户，单用户是指图像与其它被拍摄用户的图像不发生交叠的单个被拍摄用户，多用户是指图像互相交叠的多个被拍摄用户。具体说来，获取的深度图像中可包括至少一个单用户和/或至少一个多用户，相应地，提取单元20可在操作S200从所述深度图像中提取出至少一个单用户和/或至少一个多用户。
然后，在操作S250，由划分单元25将提取的被拍摄用户划分为单用户和多用户。具体说来，所述划分单元25可标注从最初获取的深度图像中提取的各个被拍摄用户，并通过在后续获取的深度图像中跟踪标注的各个被拍摄用户来确定各个被拍摄用户的图像之间的交叠情况，从而将提取的被拍摄用户划分为单用户和多用户，其中，所述最初获取的深度图像中的被拍摄用户的图像之间不存在交叠。
在这种情况下，在操作S300’，由包括在部位检测单元30中的单用户部位检测器30a接收划分出的单用户，并通过使用单用户分类器来检测所述划分出的单用户的身体部位，并且，由包括在部位检测单元30中的多用户部位检测器30b接收划分出的多用户，并通过使用多用户分类器来检测所述划分出的多用户的身体部位，这里，基于单用户样本训练出所述单用户分类器以用于检测单用户的身体部位，并且，基于多用户样本训练出所述多用户分类器以用于检测多用户的身体部位。
图10示出根据本发明示例性实施例的身体部位检测结果。如图10所示，在基于100k个单用户样本训练单用户分类器，并基于100k个多用户样本训练多用户分类器的情况下，可如图10的方框所示，有效地检测出交叠的多用户的头部、胳膊和腿部。
以上描述了根据本发明示例性实施例的用于从拍摄的图像中检测出用户的各个身体部位的设备和方法，其中，所述设备和方法通过利用基于多用户样本的分类器来检测多用户的身体部位，从而能够有效地检测图像互相交叠的多个用户的身体部位。此外，还可将提取的被拍摄用户划分为单用户和多用户啊，并分别针对单用户和多用户构建了相应的分类器和检测器。通过这种方式，能够进一步提高分类器的有效性，进而改善检测结果。
本发明的以上各个实施例仅仅是示例性的，而本发明并不受限于此。本领域技术人员应该理解：在不脱离本发明的原理和精神的情况下，可对这些实施例进行改变，其中，本发明的范围在权利要求及其等同物中限定。

Claims (13)

1.一种用于检测被拍摄用户的身体部位的设备，包括：
图像获取单元，用于获取被拍摄用户的深度图像；
提取单元，用于从获取的深度图像中提取作为前景的被拍摄用户，其中，所述被拍摄用户为单用户或多用户，单用户是指图像与其它被拍摄用户的图像不发生交叠的单个被拍摄用户，多用户是指图像互相交叠的多个被拍摄用户；
划分单元，用于将提取的被拍摄用户划分为单用户和多用户；以及
部位检测单元，用于通过使用基于单用户样本和多用户样本训练出的用于检测身体部位的分类器来检测提取的被拍摄用户的身体部位，
其中，划分单元标注由提取单元从最初获取的深度图像中提取的各个被拍摄用户，并通过在后续获取的深度图像中跟踪标注的各个被拍摄用户来确定各个被拍摄用户的图像之间的交叠情况，从而将提取的被拍摄用户划分为单用户和多用户。
2.如权利要求1所述的设备，其中，所述分类器包括基于单用户样本训练出的单用户分类器和基于多用户样本训练出的多用户分类器，
并且，部位检测单元包括：单用户部位检测器，用于从划分单元接收划分出的单用户，并通过使用单用户分类器来检测所述划分出的单用户的身体部位；多用户部位检测器，用于从划分单元接收划分出的多用户，并通过使用多用户分类器来检测所述划分出的多用户的身体部位。
3.如权利要求1所述的设备，其中，所述最初获取的深度图像中的被拍摄用户的图像之间不存在交叠。
4.如权利要求1所述的设备，其中，所述分类器为提升型分类器。
5.如权利要求4所述的设备，其中，所述提升型分类器表示为用于描述身体部位本身的属性的多个特征与用于描述所述身体部位周围的上下文属性的多个特征之和。
6.如权利要求5所述的设备，其中，所述特征被实现为多尺度顺序图案特征，其中，所述多尺度顺序图案特征用于指示深度图像中多个相关矩形区域之间在不同尺度下关于深度值的对比关系。
7.如权利要求1所述的设备，其中，部位检测单元通过使用所述分类器基于子窗口执行搜索来检测被拍摄用户的身体部位。
8.一种用于检测被拍摄用户的身体部位的方法，包括：
获取被拍摄用户的深度图像；
从获取的深度图像中提取作为前景的被拍摄用户，其中，所述被拍摄用户为单用户或多用户，单用户是指图像与其它被拍摄用户的图像不发生交叠的单个被拍摄用户，多用户是指图像互相交叠的多个被拍摄用户；
将提取的被拍摄用户划分为单用户和多用户；以及
通过使用基于单用户样本和多用户样本训练出的用于检测身体部位的分类器来检测提取的被拍摄用户的身体部位，
其中，所述划分步骤包括：标注从最初获取的深度图像中提取的各个被拍摄用户，并通过在后续获取的深度图像中跟踪标注的各个被拍摄用户来确定各个被拍摄用户的图像之间的交叠情况，从而将提取的被拍摄用户划分为单用户和多用户。
9.如权利要求8所述的方法，其中，所述分类器包括基于单用户样本训练出的单用户分类器和基于多用户样本训练出的多用户分类器，
并且，所述检测步骤包括：接收划分出的单用户，并通过使用单用户分类器来检测所述划分出的单用户的身体部位；接收划分出的多用户，并通过使用多用户分类器来检测所述划分出的多用户的身体部位。
10.如权利要求8所述的方法，其中，所述最初获取的深度图像中的被拍摄用户的图像之间不存在交叠。
11.如权利要求8所述的方法，其中，所述检测步骤包括：通过使用所述分类器基于子窗口执行搜索来检测被拍摄用户的身体部位。
12.一种电子设备，包括：
深度摄像头，用于拍摄被拍摄用户的深度图像；
用于执行权利要求8-11任一所述方法的用于检测被拍摄用户的身体部位的设备。
13.一种电子设备，包括：
用于从拍摄装置接收拍摄的被拍摄用户的深度图像的接口单元；
用于执行权利要求8-11任一所述方法的用于检测被拍摄用户的身体部位的设备。
CN201310126459.1A 2013-04-12 2013-04-12 用于检测被拍摄用户的身体部位的设备和方法 Active CN104102895B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310126459.1A CN104102895B (zh) 2013-04-12 2013-04-12 用于检测被拍摄用户的身体部位的设备和方法
KR1020130168788A KR102211159B1 (ko) 2013-04-12 2013-12-31 사용자 영상의 신체 부위를 검출하는 장치 및 방법
US14/249,464 US9443136B2 (en) 2013-04-12 2014-04-10 Apparatus and method for detecting body parts from user image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310126459.1A CN104102895B (zh) 2013-04-12 2013-04-12 用于检测被拍摄用户的身体部位的设备和方法

Publications (2)

Publication Number Publication Date
CN104102895A CN104102895A (zh) 2014-10-15
CN104102895B true CN104102895B (zh) 2019-10-25

Family

ID=51671037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310126459.1A Active CN104102895B (zh) 2013-04-12 2013-04-12 用于检测被拍摄用户的身体部位的设备和方法

Country Status (2)

Country Link
KR (1) KR102211159B1 (zh)
CN (1) CN104102895B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101930644B1 (ko) * 2017-09-15 2018-12-18 한국과학기술원 환자 맞춤형 최적 이진화 방법과 분수령 알고리즘에 기반한 관절의 완전 자동 영상 분할 방법 및 장치
CN108665429A (zh) * 2018-04-28 2018-10-16 济南浪潮高新科技投资发展有限公司 一种深度学习训练样本优化方法
KR102062386B1 (ko) * 2018-06-01 2020-01-03 건양대학교 산학협력단 딥 러닝을 이용한 엑스레이 영상의 뼈 영역 제거 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101551852A (zh) * 2008-04-01 2009-10-07 索尼（中国）有限公司 训练***、训练方法和检测方法
CN102129569A (zh) * 2010-01-20 2011-07-20 三星电子株式会社 基于多尺度对比特征的对象检测设备和方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010140613A1 (ja) * 2009-06-03 2010-12-09 学校法人中部大学 物体検出装置
US8625897B2 (en) * 2010-05-28 2014-01-07 Microsoft Corporation Foreground and background image segmentation
US8582820B2 (en) * 2010-09-24 2013-11-12 Apple Inc. Coded aperture camera with adaptive image processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101551852A (zh) * 2008-04-01 2009-10-07 索尼（中国）有限公司 训练***、训练方法和检测方法
CN102129569A (zh) * 2010-01-20 2011-07-20 三星电子株式会社 基于多尺度对比特征的对象检测设备和方法

Also Published As

Publication number Publication date
KR102211159B1 (ko) 2021-02-02
KR20140123399A (ko) 2014-10-22
CN104102895A (zh) 2014-10-15

Similar Documents

Publication Publication Date Title
Zhang et al. Martial arts, dancing and sports dataset: A challenging stereo and multi-view dataset for 3d human pose estimation
Luo et al. Intelligent carpet: Inferring 3d human pose from tactile signals
Kitsikidis et al. Dance analysis using multiple kinect sensors
Han et al. Empirical assessment of a RGB-D sensor on motion capture and action recognition for construction worker monitoring
WO2018120964A1 (zh) 一种基于深度信息和骨骼信息的姿势矫正方法
CN103718175B (zh) 检测对象姿势的设备、方法和介质
CN109863535A (zh) 运动识别装置、运动识别程序以及运动识别方法
JP5877053B2 (ja) 姿勢推定装置および姿勢推定方法
CN103376890B (zh) 基于视觉的手势遥控***
EP3474235A1 (en) Information processing device, information processing method and storage medium
CN104063677B (zh) 用于估计人体姿态的设备和方法
CN104035557B (zh) 一种基于关节活跃度的Kinect动作识别方法
WO2022166243A1 (zh) 捏合手势检测识别方法、装置及***
Jiang et al. Real time gait recognition system based on kinect skeleton feature
CN105229666A (zh) 3d图像中的运动分析
Edwards et al. From pose to activity: Surveying datasets and introducing CONVERSE
JP6487642B2 (ja) 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。
CN106030610A (zh) 移动设备的实时3d姿势识别和跟踪***
CN104102895B (zh) 用于检测被拍摄用户的身体部位的设备和方法
Li et al. Searching action proposals via spatial actionness estimation and temporal path inference and tracking
Li Badminton motion capture with visual image detection of picking robotics
Saroja et al. Human pose estimation approaches for human activity recognition
CN115862124A (zh) 视线估计方法、装置、可读存储介质及电子设备
Andriluka et al. Benchmark datasets for pose estimation and tracking
Iwane Arm movement recognition for flag signaling with Kinect sensor

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant