CN104169968A - 部位估计装置、部位估计方法以及部位估计程序 - Google Patents
部位估计装置、部位估计方法以及部位估计程序 Download PDFInfo
- Publication number
- CN104169968A CN104169968A CN201380013587.3A CN201380013587A CN104169968A CN 104169968 A CN104169968 A CN 104169968A CN 201380013587 A CN201380013587 A CN 201380013587A CN 104169968 A CN104169968 A CN 104169968A
- Authority
- CN
- China
- Prior art keywords
- likelihood
- edge
- pixel
- continuity
- generation unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
公开了能够高精度地估计多关节物体的部位的部位估计装置。该装置中,边缘对似然图生成单元(120)计算边缘对似然,生成对每个像素表示该边缘对似然的边缘对似然图,所述边缘对似然表示成对像素是估计对象部位的边缘的似真性。连续性似然图生成单元(130)对边缘对似然图,对设想了估计对象部位的区域内包含的像素的边缘对似然,评价连续性,生成表示具有连续性的边缘对似然作为估计对象部位候选区域的连续性似然图。综合似然图生成单元(140)生成基于预先确定的条件锁定而表示连续性似然图所示的候选区域的综合似然图。
Description
技术领域
本发明涉及估计人、动物或机器人等多关节物体的部位的部位估计装置、部位估计方法以及部位估计程序。
背景技术
近年来,基于拍摄到的运动图像进行人的姿势估计的相关研究积极开展着。姿势估计装置能够利用计算机分析从运动图像中判定人的行动,不依赖于人工就能够进行行动分析。作为行动分析,例如有街头异常行动检测、店铺购买行动分析、工厂作业高效化辅助、以及运动姿势指导。
因此,例如专利文献1中记载了基于由单眼照相机拍摄人得到的图像来估计此人的姿势的技术。
专利文献1记载的技术(以下称为“现有技术”)中,首先基于拍摄了人的图像中包含的椭圆形或平行线,提取部位候选。接着,现有技术使用从多个样本图像中统计求得的似然函数,计算部位似然和部位关系似然。接着,现有技术基于计算出的似然,计算最佳部位候选的组合。由此,现有技术能够确定哪个部位位于哪个区域,无论人的位置或朝向如何,都能够估计人的姿势。
现有技术文献
专利文献
专利文献1:日本专利特开2005-165923号公报
发明内容
发明要解决的问题
但是,现有技术具有在某些拍摄条件下无法高精度地估计部位的问题。这是因为,现有技术的前提是用平行线从拍摄图像中提取部位轮廓。但实际上,由于部位衣服的褶皱或阴影、以及部位背景物体的形状或阴影,难以仅将部位轮廓作为平行线提取出来。
本发明的目的是高精度地估计多关节物体的部位。
解决问题的方案
本发明的一方式的部件估计装置包括:边缘对似然图生成单元,对图像中的每个像素计算边缘对似然,生成对每个所述像素表示该边缘对似然的边缘对似然图,所述边缘对似然表示该像素附近存在的成对像素是估计对象部位的边缘的似真性;连续性似然图生成单元,对于所述边缘对似然图,对设想了所述估计对象部位的区域内包含的像素的边缘对似然,评价连续性,生成表示具有连续性的边缘对似然作为表示所述估计对象部位的候选区域的连续性似然图;以及综合似然图生成单元,生成基于预先确定的条件锁定而表示所述连续性似然图所示的所述候选区域的综合似然图。
本发明的一方式的部件估计方法具有如下步骤:对图像中的每个像素计算边缘对似然,生成对每个所述像素表示该边缘对似然的边缘对似然图的步骤,所述边缘对似然表示该像素附近存在的成对像素是估计对象部位的边缘的似真性;对于所述边缘对似然图,对设想了所述估计对象部位的区域内包含的像素的边缘对似然,评价连续性,生成表示具有连续性的边缘对似然作为表示所述估计对象部位的候选区域的连续性似然图的步骤;以及生成基于预先确定的条件锁定而表示所述连续性似然图所示的所述候选区域的综合似然图的步骤。
本发明的一方式的部件估计程序使输入或生成图像的装置的计算机执行如下处理:对所述图像中的每个像素计算边缘对似然,生成对每个所述像素表示该边缘对似然的边缘对似然图的处理,所述边缘对似然表示该像素附近存在的成对像素是估计对象部位的边缘的似真性;对于所述边缘对似然图,对设想了所述估计对象部位的区域内包含的像素的边缘对似然,评价连续性,生成表示具有连续性的边缘对似然作为表示所述估计对象部位的候选区域的连续性似然图的处理;以及生成基于预先确定的条件锁定而表示所述连续性似然图所示的所述候选区域的综合似然图的处理。
发明效果
根据本发明,能够高精度地估计多关节物体的部位。
附图说明
图1是表示本发明实施方式1的部位估计装置的一例结构的框图。
图2是表示本发明实施方式2的部位估计***的一例结构的***结构图。
图3是表示本发明实施方式2的一例身体模型的图。
图4是表示本发明实施方式2的部位估计装置的一例结构的框图。
图5是表示本发明实施方式2的部位估计装置的一例动作的流程图。
图6是表示本发明实施方式2的边缘对似然图生成处理的一例动作的流程图。
图7是用于说明本发明实施方式2的边缘对似然图生成处理的图。
图8是表示本发明实施方式2的一例边缘对似然图的图。
图9是表示本发明实施方式2的一例连续性似然图的图。
图10是表示本发明实施方式2的综合似然图生成处理的一例动作的流程图。
图11是表示本发明实施方式3的部位估计装置的一例结构的框图。
图12是表示本发明实施方式3的部位估计装置的一例动作的流程图。
图13是表示本发明实施方式3的一例连续性似然图的图。
图14是表示本发明实施方式4的部位估计装置的一例结构的框图。
图15是表示本发明实施方式4的部位估计装置的一例结构的框图。
标号说明
100、100b、100c 部位估计装置
110 图像输入单元
120 边缘对似然图生成单元
130 连续性似然图生成单元
140、140b、140c 综合似然图生成单元
150 结果输出单元
160 方差似然图生成单元
170 轮廓区域提取单元
200 部位估计***
310 监视区
320 监视照相机
330 地面
340 人
具体实施方式
下面,参照附图对本发明的各实施方式进行详细说明。
(实施方式1)
本发明的实施方式1是本发明的基本方式的一例。
<部位估计装置的结构>
图1是表示本实施方式的部位估计装置的一例结构的框图。
在图1中,部位估计装置100具有边缘对似然图生成单元120、连续性似然图生成单元130、以及综合似然图生成单元140。
边缘对似然图生成单元120对图像中的每个像素计算边缘对似然。每个像素的边缘对似然是指,对该像素附近存在的像素是估计对象部位(以下称为“对象部位”)边缘的似真性进行数值化表示而得到的值。边缘对似然图生成单元120基于像素附近存在的、与规定的梯度方向平行的边缘对,计算边缘对似然。并且,边缘对似然图生成单元120生成对每个像素表示计算出的边缘对似然的边缘对似然图。
这里,上述“部位”指作为多关节物体的人的一部分。另外,假设这里的“人”是包含人体、动物、或机器人等多关节物体的、包含所有多关节物体的概念。
连续性似然图生成单元130对于边缘对似然图,对设想了对象部位的大小或形状的区域内包含的像素的边缘对似然,评价连续性。并且,连续性似然图生成单元130生成连续性似然图,该图将具有连续性的边缘对似然表示为部位区域候选。这里的“部位区域”是指图像中“对象部位所占的区域”,换言之是“表示对象部位的区域”。
综合似然图生成单元140基于预先确定的条件锁定连续性似然图所示的部位区域候选,生成表示锁定的部位区域候选的综合似然图。
部位估计装置100例如具有CPU(Central Processing Unit,中央处理单元)、存储控制程序的ROM(Read Only Memory,只读存储器)等存储介质、以及RAM(Random Access Memory,随机存取存储器)等作业用存储器。此时,上述各结构单元的功能通过CPU执行控制程序来实现。
这种部位估计装置100通过以下动作,在复杂的图像中也能够高精度地估计部位。此外,“复杂的图像”例如是胳膊与躯干重叠的图像、存在多个由衣服褶皱或人工物体形成的平行线边缘的图像等。
首先,边缘对似然图生成单元120对图像中的每个像素,基于该像素附近存在的、与规定的梯度方向平行的边缘对,计算边缘对似然。并且,边缘对似然图生成单元120生成对每个像素表示计算出的边缘对似然的边缘对似然图。这里,平行线的宽度采用对象部位的粗细。由此,边缘对似然图生成单元120能够生成与对象部位对应的边缘对似然图。
接着,连续性似然图生成单元130将边缘对似然图作为对象部位进行评价。每个像素的边缘对似然是指,该像素附近存在的像素是对象部位边缘的似真性(plausibility)。因此,在图像中存在对象部位的区域中,设想区域内包含的像素的边缘对似然的总和较大。“设想区域”是预先设想了对象部位的大小或形状的区域。
连续性似然图生成单元130对于边缘对似然图,若设想区域内的边缘对似然的总和大于预先确定的阈值,则留下设想区域内的边缘对似然。如果设想区域内的边缘对似然的总和小于预先确定的阈值,则连续性似然图生成单元130可以在设想区域内设定表示无边缘对似然的值(例如零)。
这样,部位估计装置100并不是用阈值过滤每个像素的边缘对似然,而是留下作为部位区域的可能性较高的区域中包含的像素的边缘对似然。据此,部位估计装置100能够留下虽然边缘对似然较低,但作为部位区域的可能性较高的区域中包含的像素。另外,部位估计装置100删除虽然边缘对似然较高、但作为部位区域的可能性较低的区域中包含的像素的边缘对似然。由此,部位估计装置100能够除去阴影或褶皱等并非部位区域的区域中包含的像素。
因此,与现有技术相比,部位估计装置100也能够从难以仅将对象部位轮廓作为平行线提取的图像中,高精度地估计对象部位。
(实施方式2)
本发明的实施方式2是将本发明适用于估计图像中包含的人的部位的装置时的一例具体方式。
<部位估计***的概要>
首先,说明包含本实施方式的部位估计装置的部位估计***的概要。
图2是表示本实施方式的部位估计***的一例结构的***结构图。图2中,部位估计***200具有拍摄监视区310的监视照相机320、以及与监视照相机320可通信连接的部位估计装置100。
监视照相机320例如是数字摄像机,从斜上方拍摄监视区310。也就是说,监视照相机320拍摄的图像是拍摄包括人340和水平地面330的真实空间得到的图像。并且,监视照相机320将拍摄到的图像发送到部位估计装置100。这里,假设作为部位估计对象的人340正在监视区310的地面330上步行。
部位估计装置100例如是个人计算机,基于从监视照相机320接收到的图像,估计人340的部位。
以上是关于部位估计***200的概要的说明。
<关于人的部位的说明>
接着,说明本实施方式中作为估计对象的人340的部位。
图3是表示人340的一例身体结构模型(以下称为“身体模型”)410的图。身体模型410示意性地表示部位估计中使用的身体各部位的位置关系。身体模型410例如包括躯干411、左大腿412、左小腿413、左脚414、右大腿415、右小腿416、右脚417、头418、右上臂419、右前臂420、左上臂422、以及左前臂423。
上述各部位通过关节连接。因此,各部位的可动区域受到其他部位的限制。例如,左脚414只能在以与左小腿413的连接点为中心的规定的角度范围内移动。本实施方式中,部位估计装置100使用各部位的连接关系,从图像中估计身体模型410中各部位的区域(上述“部位区域”)。此外,部位估计装置100使用的身体模型不限于图3所示的例子。
以上是关于作为估计对象的人340的部位的说明。
<部位估计装置的结构>
接着,对部位估计装置100的结构进行说明。
图4是表示部位估计装置100的一例结构的框图。图4中,部位估计装置100具有图像输入部110、边缘对似然图生成单元120、连续性似然图生成单元130、综合似然图生成单元140、以及结果输出单元150。
图像输入单元110输入图像。
具体而言,图像输入单元110接收由监视照相机320拍摄的图像。并且,图像输入单元110将接收的图像依次输出到边缘对似然图生成单元120。
边缘对似然图生成单元120检测来自图像输入单元110的图像的边缘,对该图像中包含的每个像素(以下称为“关注像素”),检测以关注像素为基准的两个像素(以下称为“边缘对”)。此时,作为边缘对,边缘对似然图生成单元120检测垂直于梯度方向并且位于包含关注像素的直线上的、与关注像素等距离的两个像素。并且,边缘对似然图生成单元120确定以检测出的两个像素的各个像素为中心的规定范围的区域,基于确定的两个区域内的像素的亮度总和,计算关注像素的边缘对似然。并且,边缘对似然图生成单元120生成对每个像素表示计算出的边缘对似然的边缘对似然图。每个像素的边缘对似然是指,对该像素附近存在的像素是对象部位边缘的似真性进行数值化表示的值。边缘对似然图生成单元120对预先定义的多个梯度方向分别生成边缘对似然图。
这里,说明边缘对。如上所述,构成边缘对的两个像素位于垂直于预先定义的梯度方向并且位于包含关注像素的直线上,与关注像素距离相等。另外,两个像素之间的距离是对象部位的粗细。这两个像素称为“梯度方向对像素”。另外,将以梯度方向对像素的各个像素为中心的两个小区域称为“梯度方向对附近区域”。
并且,在梯度方向对附近区域中的任一区域包含了作为边缘的像素(以下简称为“边缘”)的情况下,对关注像素而言,称为“存在边缘对”。并且,此时,由包含在梯度方向对附近区域中的边缘构成的像素集合称为“关注像素的边缘对”。
另外,关注像素的边缘对似然基于关注像素的边缘对来计算。例如,在一个梯度方向对附近区域较多地包含边缘,而另一个梯度方向对附近区域中包含的边缘较少的情况下,边缘对似然较低。此外,关于边缘对似然的具体计算方法,将在后阐述。
另外,将对于图像的所有像素,映射计算出的边缘对似然所得到的图称为“边缘对似然图”。
另外,通过确定表示关注像素位置的x坐标x、y坐标y、梯度方向k,来识别边缘对似然图中包含的所有边缘对似然。
此外,本实施方式中,相对关注像素,将包含预先定义的所有梯度方向的梯度方向对区域的区域称为“局部区域”。
并且,边缘对似然图生成单元120对预先定义的多个梯度方向,分别生成边缘对似然图。随后,边缘对似然图生成单元120将生成的边缘对似然图输出到连续性似然图生成单元130。
此外,关于边缘对似然图的生成方法的详细情况,将在后阐述。
连续性似然图生成单元130对于生成的边缘对似然图的、同一梯度方向的边缘对似然,评价设想区域内包含的像素的边缘对似然的连续性,生成连续性似然图。
每个像素的边缘对似然是指,该像素附近存在的像素是对象部位边缘的似真性。因此,在图像中存在对象部位的区域中,设想区域内包含的像素的边缘对似然的总和较大。
连续性似然图生成单元130对于不同梯度方向的每个边缘对似然图,若设想区域内的边缘对似然的总和较大,则留下设想区域内的边缘对似然。如果设想区域内的边缘对似然的总和较小,则连续性似然图生成单元130可以在设想区域内设定表示无边缘对似然的值(例如零)。
此外,关于连续性似然图的生成方法的细节,将在后阐述。
综合似然图生成单元140从连续性似然图中不同梯度方向上提取出的的部位区域候选之中,提取与预先确定的对象部位条件相符合的区域,生成表示所提取区域的综合似然图。
此外,与对象部位条件相符合的区域的提取方法的细节,将在后阐述。
结果输出单元150输出综合似然图生成单元140的部位估计结果。
具体而言,结果输出单元150例如包括液晶显示器等显示装置。结果输出单元150在估计出部位的情况下将表示该部位的信息通知给用户,在未估计出部位的情况下将表示该情况的信息通知给用户。作为该通知的方法可举出使用了文字及图像中的至少一者的显示。
部位估计装置100例如具有CPU、存储控制程序的ROM等存储介质、以及RAM等作业用存储器。此时,上述各结构单元的功能通过CPU执行控制程序来实现。
以上是关于部位估计装置100的结构的说明。
<部位估计装置的动作说明>
接着,说明部位估计装置100的动作。
本实施方式中,图像输入单元110将图像输出到边缘对似然图生成单元120,该图像是从监视照相机320等输入的图像中提取出估计为人340的区域(以下称为“人候选区域”)所得到的图像。
上述“提取出人候选区域所得到的图像”是在人候选区域以外的像素中存储表示背景的值,仅对人候选区域的像素存储像素值的图像。
就人候选区域的提取来说,可以使用从监视照相机320等输入的图像与背景图像的背景差图像。这里,背景差图像例如是表示在人340不在的状态下拍摄到的背景图像和输入图像之间的差的图像。由此,部位估计装置100能够将从监视照相机等输入的图像中与背景不同的像素作为人候选区域进行处理。
此外,部位估计装置100也可以例如预先保持背景图像,通过计算背景图像和输入图像之间的差来生成背景差图像。或者,部位估计装置100还可以通过从输入的图像中提取移动物体区域,生成背景差图像。例如,基于上次输入的图像和本次输入的图像之间的差,进行静止物体与移动物体的识别。由此,部位估计装置100能够将作为移动体的一部分识别出的像素作为人候选区域。
此外,本实施方式中,图像输入单元110将灰度图像输出到边缘对似然图生成单元120。
在从监视照相机320等输入的图像为RGB(Red Green Blue,红绿蓝)值的情况下,图像输入单元110将图像变换为从各像素的RGB值中仅提取亮度Y(像素的明亮程度)得到的灰度(黑白梯度)图像并输出。亮度Y例如通过下式进行计算。
Y(R,G,B)=R×0.29891+G×0.58661+B×0.11448
另外,本实施方式中,对象部位为胳膊(右上臂419、右前臂420、左上臂422、左前臂423)。此外,部位估计装置100也可以区分前臂与上臂来估计部位。
另外,本实施方式中,提取人候选区域中图像的上部区域作为胳膊候选区域,将胳膊候选区域中包含的全部像素作为处理对象。上部区域例如预先确定为包含人候选区域的规定的比例(例如从上方起10%至50%)的部分的区域。
<部位估计装置的基于流程图的动作说明>
图5是表示部位估计装置100的一例动作的流程图。
在步骤S1000中,图像输入单元110输入1帧的图像数据。
在步骤S2000中,边缘对似然图生成单元120基于输入的图像,进行边缘对似然图生成处理。边缘对似然图生成处理是生成上述边缘对似然图的处理。其细节使用图6及图7在后面阐述。
在步骤S3000中,连续性似然图生成单元130基于边缘对似然图,进行连续性似然图生成处理。连续性似然图生成处理是生成上述连续性似然图的处理。其细节使用图8及图9在后面阐述。
在步骤S4000中,综合似然图生成单元140基于连续性似然图,进行综合似然图生成处理。综合似然图生成处理是生成上述综合似然图的处理。其细节使用图10在后面阐述。
在步骤S5000中,结果输出单元150基于综合似然图,进行结果输出处理。结果输出处理是输出步骤S4000中估计的对象部位的信息的处理。
例如,结果输出单元150对每个像素重叠估计出的部位的候选区域,并显示在液晶显示器上。此外,结果输出单元150可以在进行重叠时,显示为能够通过颜色等区分表示部位候选区域的梯度方向的信息。
在步骤S6000中,结果输出单元150判断是否满足预先设定的规定的处理结束条件。这里的“规定的处理结束条件”例如是通过用户操作而指示部位估计处理的结束。
结果输出单元150在不满足规定的处理结束条件的情况下(S6000:“否”),返回步骤S1000反复执行处理。另一方面,结果输出单元150在满足规定的处理结束条件的情况下(S6000:“是”),结束一系列处理。
通过这种动作,部位估计装置100能够生成从对象部位候选区域中提取最适合的候选区域并进行表示的综合似然图,上述对象部位候选区域是基于每个像素的边缘对似然和每个设想区域的连续性似然提取的。由此,即使是难以用直线提取部位轮廓的图像,部位估计装置100也能够估计人340的对象部位。
以上是对部位估计装置100的动作的说明。
<边缘对似然图生成处理的说明>
接着,使用图6及图7说明一例边缘对似然图生成处理(图5的步骤S2000)。
图6是表示边缘对似然图生成处理(图5的步骤S2000)的一例动作的流程图。图7是用于说明梯度方向为水平方向的边缘对似然图的生成处理的图。这里,说明以水平方向为0度,生成水平方向的边缘对似然图的例子。
在步骤S2001中,边缘对似然图生成单元120选择要生成的边缘对似然图的梯度方向的增量。这里,作为例子,假设将增量预先设定为30度。在以此方式使梯度方向以30度为增量的情况下,生成0度、30度、60度、90度、120度、150度的6个边缘对似然图。因此,在该情况下,边缘对似然图生成单元120将步骤S2002至S2007的处理反复执行6次。
梯度方向的增量影响到对象部位的估计精度。在需要较高的估计精度的情况下,用户可以将增量设定得较小。例如,对比将增量设定为45度时及设定为30度时,在设定为30度时,对象部位的估计精度较高。
在步骤S2002中,边缘对似然图生成单元120从胳膊候选区域710中选择关注像素。胳膊候选区域710是从图像输入单元110输入的图像的一例。例如,图7中,边缘对似然图生成单元120以左上角的像素(由※所示的像素)为起点,将X坐标和Y坐标分别逐一递增1,由此选择图7所示的全部像素作为关注像素。不过,选择的方法不限于此。图7中,以从胳膊候选区域710中选择了关注像素702的情况为例进行说明。
在步骤S2003中,边缘对似然图生成单元120选择梯度方向对像素。图7中,选择704和705作为梯度方向对像素。
如上所述,这里,以生成水平方向的边缘对似然图为例。因此,边缘对似然图生成单元120作为满足两个条件的像素,选择704和705这两个像素作为梯度方向对像素。两个条件是:位于通过关注像素702且垂直于水平直线的直线上,以及与关注像素702的距离是对象部位的粗细701的一半长度703。也就是说,在生成角度为θ的边缘对似然图的情况下,边缘对似然图生成单元120选择两个梯度方向对像素。梯度方向对像素是位于通过关注像素且与角度θ垂直(θ+90度)的直线上、距离为对象部位的粗细701的一半长度703的像素。此外,对象部位的粗细701是表示对象部位的平均粗细的预先确定的值。
在步骤S2004中,边缘对似然图生成单元120分别选择与梯度方向对像素分别相距预先设定的距离以内的像素组,作为梯度方向对附近区域。图7中,作为梯度方向对附近区域706和707,分别选择与梯度方向对像素704和705的距离分别在附近长度708以内的像素组。附近长度708是表示部位的外观误差长度的预先确定的值。
这里,上述“部位的外观误差长度”是图像上对象部位的粗细的差。有时对象部位的端部和中央的粗细不同。另外,在某些拍摄角度下,对象部位在图像上的粗细不同,或者部位两端粗细不同。此外,有时由于衣服的褶皱等,拍摄到的对象部位的粗细并不均匀。因此,本实施方式中,作为部位的外观误差长度,预先设定相对于部位的平均粗细的、规定的图像上的部位的粗细差,由此能够进行鲁棒性估计。
在步骤S2005中,边缘对似然图生成单元120计算关注像素702的边缘对似然。具体而言,边缘对似然图生成单元120计算梯度方向对附近区域706内的像素亮度总和与梯度方向对附近区域707内的像素亮度总和的积,作为边缘对似然。
此外,边缘对似然图生成单元120也可以计算梯度方向对附近区域706内具有规定值以上的亮度Y的像素数与梯度方向对附近区域707内具有规定值以上的亮度Y的像素数的积,作为边缘对似然。由此,边缘对似然图生成单元120能够用各梯度方向对附近区域706、707的大小对边缘对似然进行标准化。
在步骤S2006中,边缘对似然图生成单元120判断关于胳膊候选区域710的全部像素的边缘对似然计算是否已结束。若关于全部像素已结束计算(S2006:“是”),则边缘对似然图生成单元120判断为步骤S2001中选择的增量的边缘对似然图的生成已结束,并进入步骤S2007。另一方面,若关于全部像素未结束计算(S2006:“否”),则边缘对似然图生成单元120判断为步骤S2001中选择的增量的边缘对似然图的生成未结束,并进入步骤S2002。
在步骤S2007中,边缘对似然图生成单元120判断关于全部梯度方向的边缘对似然计算是否已结束。若关于全部梯度方向已结束计算(S2007:“是”),则边缘对似然图生成单元120判断为预先确定的全部梯度方向的边缘对似然图的生成已结束,并结束一系列处理。另一方面,若关于全部梯度方向未结束计算(S2007:“否”),则边缘对似然图生成单元120判断为预先确定的全部梯度方向的边缘对似然图的生成未结束。因此,边缘对似然图生成单元120为了生成尚未生成的梯度方向的边缘对似然图,进入步骤S2001。
此外,在上述图7的说明中,关于部位的粗细701和附近长度708,说明了预先设定值的例子,但不限于此。也就是说,边缘对似然图生成单元120也可以与人物候选区域或胳膊候选区域的大小成比例来动态地改变值,调节为合适的值。由此,边缘对似然图生成单元120能够根据人340的图像上的大小,将对象部位的粗细701和附近长度708改变为合适的值。其结果是,边缘对似然图生成单元120能够对每个梯度方向生成精度更高的边缘对似然图。
<连续性似然图生成处理的说明>
接着,使用图8及图9说明一例连续性似然图生成处理(图5的步骤S3000)。
在边缘对似然图中,与不存在对象部位的区域内的像素相比,存在对象部位的区域内的像素在各像素的各梯度方向对附近区域中存在边缘的几率较高,因此边缘对似然较高。因此,连续性似然图生成单元130利用如下事实:在对象部位候选区域内仅特定像素的边缘对似然较高,特定像素周围像素的边缘对似然较低的情况下,能够判断为该候选区域并非部位区域。
图8是表示一例作为连续性似然图的基础的边缘对似然图的图。图8中,在边缘对似然图的部分区域810中,表示各像素的水平方向的边缘对似然。
在生成连续性似然图时,连续性似然图生成单元130使用作为设想了对象部位的大小或形状的区域的部位矩形801。部位矩形801是设想区域的一例。图8中,部位矩形801例示设想为上臂或前臂的长方形。不过,连续性似然图生成单元130能够设定与对象部位的大小或形状相应的部位矩形。另外,虽然例示了长方形,但部位矩形801也可以使用与对象部位的大小或形状相应的椭圆形。部位的连接根部及端部受连接部位的形状的影响,与部位中央相比,边缘对似然倾向于较低,因此通过使部位矩形为椭圆形,能够减少部位的连接根部及端部的影响程度,高精度地提取候选区域。
图8所示的部位矩形801,将短边设想为对象部位的平均粗细,将长边设想为对象部位的平均长度。
连续性似然图生成单元130使部位矩形801的长边的方向与边缘对似然图的梯度方向一致。并且,连续性似然图生成单元130评价部位矩形801中包含的像素的边缘对似然的总和。
图8中示出梯度方向为水平方向的边缘对似然,因此连续性似然图生成单元130将部位矩形801的长边的方向设定为水平方向。另外,连续性似然图生成单元130例如将部位矩形801的初始位置设定为连续性似然图的左上角。并且,连续性似然图生成单元130反复进行X轴方向上的每一个像素的扫描和Y轴方向上的每一行的移动。由此,连续性似然图生成单元130在连续性似然图的全部区域中评价部位矩形801中包含的像素的边缘对似然的总和。
例如,在图8中,边缘对似然图的边缘对似然P使用表示关注像素的位置的x坐标x、y坐标y、以及梯度方向k,设为P(x,y,k)。另外,设部位矩形801的左上角像素的位置为(i,j),部位矩形的长边长度为r,短边长度为s,梯度方向为k。此时,连续性似然图生成单元130通过下式求由部位矩形801包围的像素的边缘对似然的总和T。
在图8的例子中,(i,j)=(4,3),r=5,s=2。因此,作为上式的计算结果,部位矩形801内的像素的边缘对似然的总和T为41。
连续性似然图生成单元130在边缘对似然的总和为规定的阈值以上的情况下,将部位矩形801中包含的像素在边缘对似然图上的坐标信息追加到总和的评价结果列表信息中进行保持。连续性似然图生成单元130对于胳膊候选区域710的全部区域,结束了部位矩形801中包含的像素的边缘对似然总和的评价之后,进行以下动作。即,连续性似然图生成单元130仅保持在上述列表信息中保持了坐标信息的像素的边缘对似然。或者,连续性似然图生成单元130也可以将剩余像素的边缘对似然设定为表示无边缘对似然的值(例如零)。这样一来,评价了边缘对似然之后的似然称为“连续性似然”。
图9是表示一例基于图8所示的边缘对似然图生成的连续性似然图的图。
图8中,假设在规定的阈值为40的情况下,对于胳膊候选区域的一部分810的全部区域,结束了部位矩形801中包含的像素的边缘对似然总和的评价。此时,边缘对似然总和的评价结果列表信息中保持的像素,仅为图8的部位矩形801所包围的区域的像素。连续性似然图生成单元130将部位矩形801所包围区域以外的像素的边缘对似然,设定为表示无边缘对似然的值(例如零),生成连续性似然图。其结果是,如图9所示那样,生成连续性似然图820。
这里,规定的阈值可以根据对象部位的部位矩形801不同而不同。规定的阈值例如可以与对象部位的部位矩形801的大小成比例地改变阈值。另外,规定的阈值可以根据身体模型中对象部位的位置改变阈值。例如,在对象部位位于身体模型的端部的情况下,对象部位与其他部位不重叠,被检测出的可能性高,因此将阈值设定得较高。另外,在对象部位位于身体模型的中央的情况下,与其他部位重叠的可能性高,被检测出的可能性低,因此将阈值设定得较低。连续性似然图生成单元130可以通过这样设定阈值来生成鲁棒性的连续性似然图。另外,连续性似然图生成单元130也可以使用事先准备的图像的边缘对似然,学习对象部位的部位矩形801中包含的像素的边缘对似然的总和。
连续性似然图生成单元130对于各梯度方向的全部边缘对似然图反复执行上述处理。由此,连续性似然图生成单元130能够对每个梯度方向生成连续性似然图。
这样,连续性似然图生成单元130并不是用阈值过滤各像素的边缘对似然,而是以设想了对象部位的大小或形状的区域为单位设定阈值,过滤边缘对似然。连续性似然图生成单元130例如对于设想了对象部位的大小或形状的区域,以部位矩形801为单位设定阈值。由此,连续性似然图生成单元130能够留下虽然作为单个像素是边缘对似然低的像素,但包含在部位区域中的可能性较高的像素。另外,连续性似然图生成单元130能够将不满足对象部位区域条件的像素的边缘对似然作为噪声除去。不满足对象部位区域条件的情况例如是如下情况:虽然作为单个像素的边缘对似然较高,但设想了对象部位的大小或形状的区域的边缘对似然总和小于阈值。
<综合似然图生成处理的说明>
接着,使用图10说明一例综合似然图生成处理(图5的步骤S4000)。
图10是表示一例综合似然图生成处理(图5的步骤S4000)的动作的流程图。
综合似然图是使用对各梯度方向生成的所有连续性似然图生成的、表示对象部位的可能性最大的区域的图。
在步骤S9001中,综合似然图生成单元140对连续性似然图的同一梯度方向中的每个方向,将对象部位候选区域的数进行计数。也就是说,在有6个梯度方向的情况下,综合似然图生成单元140对6个梯度方向中的每个方向,将候选区域的数进行计数。这里的“对象部位候选区域”是指,在连续性似然图中,对在同一梯度方向上连续的像素赋予了连续性似然的区域。例如,在图9的例子中,对象部位候选区域的数量为1。本实施方式中,假设对6个梯度方向中的每个方向,将候选区域的数进行计数后,提取了5个候选区域。
在步骤S9002中,综合似然图生成单元140将对各梯度方向计数了的对象部位候选区域的数量总和与对象部位的数量进行比较。这里的“对象部位的数量”是预先确定的值。在比较结果是候选区域的数量总和为对象部位的数量以下的情况下(S9002:“是”),综合似然图生成单元140将连续性似然图作为综合似然图,并结束一系列处理。另一方面,在候选区域的数量总和大于对象部位数的情况下(S9002:“否”),综合似然图生成单元140进入步骤S9003。
本实施方式中,对象部位的数为4(右前臂420、右上臂419、左上臂422、左前臂423)。因此,综合似然图生成单元140在候选区域的数量总和为4以下时结束一系列处理,在候选区域的数量总和多于4时进入步骤S9003。
在步骤S9003中,综合似然图生成单元140对各梯度方向上进行了计数的每个对象部位候选区域,计算候选区域中包含的像素的连续性似然的总和。并且,综合似然图生成单元140从计算出的总和最大的区域起,依次提取数量为对象部位数的候选区域。
本实施方式中,对象部位的数为4,因此综合似然图生成单元140对于全部5个候选区域,计算候选区域中包含的像素的连续性似然的总和。并且,综合似然图生成单元140从计算出的总和值最大的区域起,依次提取4个候选区域。
在步骤S9004中,综合似然图生成单元140判定提取出的候选区域是否满足对象部位的身体限制。
例如,本实施方式中,对象部位为上臂或前臂,使用上臂和前臂至少通过关节连接这一身体限制。具体而言,使用的判定基准是:在各候选区域的至少一个端部附近,存在其他候选区域的端部。
这里,说明一例确定表示候选区域端部位置的端部坐标的方法。
例如,在图9所示的梯度方向为水平方向的连续性似然图中,考虑通过候选区域的水平方向(X轴方向)的直线群。在该直线群中,考虑直线与候选区域重叠的长度最长的直线。将该直线和候选区域的边界像素作为候选区域的端部像素。例如,图9中,候选区域的端部像素用X轴和Y轴的值(x,y)表示为(4,3)和(8,3)、或者(4,4)和(8,4)。这里,在候选区域的端部像素有多个的情况下,将各坐标值的平均值作为端部坐标,所以为(4,3.5)和(8,3.5)。
本实施方式中,综合似然图生成单元140用同样的方法求其他3个候选区域的端部坐标。并且,综合似然图生成单元140对每个候选区域,判定从部位区域的任一端部起的规定的距离内是否存在其他候选区域的端部。并且,综合似然图生成单元140在对全部候选区域,从部位区域的任一端部起的规定的距离内存在其他候选区域的端部的情况下,判断为满足身体限制。这里,上述“规定的距离”依赖于部位区域的大小,长度短于部位区域的短边。
在满足身体限制时(S9004:“是”),综合似然图生成单元140生成保持提取出的候选区域的连续性似然,将其他值设定为表示无连续性似然的值(例如零)的综合似然图,并结束一系列处理。另一方面,在不满足身体限制时(S9004:“否”),综合似然图生成单元140返回步骤S9003,继续进行候选区域的提取。
此外,在所有候选区域组合均不满足身体限制时,综合似然图生成单元140将最接近身体限制的候选区域组合视为候选区域进行提取。并且,综合似然图生成单元140生成保持提取出的候选区域的连续性似然,将其他值设定为表示无连续性似然的值(例如零)的综合似然图,并结束一系列处理。
说明综合似然图生成单元140判断规定的候选区域是否最接近身体限制的方法的一例。首先,综合似然图生成单元140对从部位区域的任一端部起的规定的距离内不存在其他候选区域的端部的部位候选,计算从部位区域的任一端部起到其他候选区域的端部的最短距离。并且,综合似然图生成单元140对每个候选区域组合,计算最短距离与规定的距离之差的和。综合似然图生成单元140将该值小的候选区域组合判断为接近身体限制。
这样,部位估计装置100利用对各梯度方向生成的连续性似然图,并且考虑身体限制,仅提取作为部位的可能性最高的区域。由此,部位估计装置100能够高精度地估计部位。
此外,综合似然图生成单元140使用了“前臂和上臂通过关节连接”这一身体限制,另外,也可以进行估计头或肩的位置的处理,使用“在肩附近存在上臂的候选区域的端部”这一身体限制。由此,部位估计装置100能够高精度地估计部位。
另外,本实施方式中,在图9所示的流程中,也可以省略是否满足身体限制的判定(步骤S9004)本身。
如以上说明的,本实施方式能够得到以下作用和效果。也就是说,部位估计装置100首先对输入图像的每个像素,对各梯度方向生成将局部区域中的对象部位相似性数值化而得到的边缘对似然图。由此,部位估计装置100能够无遗漏地提取局部区域中的对象部位相似性。另外,部位估计装置100对各梯度方向生成连续性似然图,该图表示边缘对似然图上基于相当于对象部位的区域判定的对象部位相似性。由此,部位估计装置100能够将虽然局部区域满足部位相似性、但不满足作为区域的部位相似性的区域,判断为并非部位区域。
此外,部位估计装置100生成综合似然图,该图是从连续性似然图中各梯度方向上提取出的候选区域中,锁定了与对象部位最相似的满足身体限制的区域并进行表示的图。由此,部位估计装置100能够估计人340的对象部位。
通过上述一系列动作,如上所述,即使是难以用直线提取部位轮廓的图像,部位估计装置100也能够高精度地估计人340的部位。
(实施方式3)
本发明的实施方式3是将本发明适用于估计拍摄图像中包含的人的部位的装置时的具体方式的一例。
本实施方式是对实施方式2增加功能的方式,对与实施方式2相同的部分附加相同的标号,并省略与其相关的说明。
本实施方式中,部位估计装置在图像中存在与对象部位形状类似的人工物体的情况下,通过将对象部位和人工物体相区别,能够精度更高地估计部位。
首先,包括本实施方式的部位估计装置的部位估计***的概要,与实施方式2是同样的。
<部位估计装置的结构>
首先说明部位估计装置100b的结构。
图11是表示部位估计装置100b的一例结构的框图。图11中,部位估计装置100b具有图像输入单元110、边缘对似然图生成单元120、连续性似然图生成单元130、方差似然图生成单元160、综合似然图生成单元140b、以及结果输出单元150。
图11中,与图4不同之处有两个。一个是增加了方差似然图生成单元160。另一个是综合似然图生成单元140b使用方差似然图生成单元160生成的方差似然图,生成综合似然图。
方差似然图生成单元160在连续性似然图生成单元130对各梯度方向生成的各个连续性似然图中,评价预先定义的设想区域(例如部位矩形)内包含的连续性似然的方差。并且,方差似然图生成单元160反复进行连续性似然的方差评价,直到包括全部连续性似然图为止,由此生成方差似然图。上述“预先定义的设想区域”例如是对象部位候选区域。这里的“对象部位候选区域”是指,在连续性似然图中,对在同一梯度方向上连续的像素赋予了连续性似然的区域。
具体而言,方差似然图生成单元160删除判断为连续性似然图的连续性似然的方差和对象部位的方差不同的连续性似然。或者,方差似然图生成单元160也可以仅保持判断为与对象部位的方差类似的连续性似然。这样的话,方差似然图生成单元160生成方差似然图。
该方差似然图生成处理利用了人工物体与人的部位中连续性似然的方差不同的事实。工业产品等人工物体的边缘与人的部位的边缘的梯度相比,容易用单一的梯度进行提取,方差的值倾向于较小。因此,本实施方式中,通过评价方差能够判别人工物体和人的部位。
此外,关于方差似然图生成方法的细节,在后面阐述。
这种部位估计装置100b首先与上述实施方式1、2同样地进行边缘对似然图生成处理和连续性似然图生成处理。随后,部位估计装置100进行方差似然图生成处理,该处理评价连续性似然的方差,对各梯度方向生成满足对象部位的方差的方差似然图。并且,部位估计装置100b基于各梯度方向的方差似然图,生成满足对象部位的身体限制的综合似然图。这样,即使是难以用直线提取部位轮廓的图像或者混合有人工物体的图像,部位估计装置100b也能够高精度地估计人340的部位。
以上是对部位估计装置100b的结构的说明。
<部位估计装置的动作说明>
接着说明部位估计装置100b的动作。
图12是表示部位估计装置100b的一例动作的流程图。
图12与图5的不同之处在于,在连续性似然图生成处理(S3000)和综合似然图生成处理(S4000)之间,增加了方差似然图生成处理(S7000)。
在步骤S7000中,方差似然图生成单元160进行方差似然图生成处理。方差似然图生成处理是生成上述方差似然图的处理。
<方差似然图生成处理的说明>
这里,说明一例方差似然图生成处理(S7000)。
方差似然图生成单元160使用下式求方差的值。
方差σ2是从各数据xi中减去平均值求出偏差,将这些值的平方和除以数据数n,
由此求得数据和平均值之间的距离所得到的值。
方差σ2越大,表示数据的标准离差越大。
在图像中,工业产品等人工物体的边缘往往由直线构成。因此,本实施方式中,利用与人工物体与人340的部位相比连续性似然图的方差值更小这一点,能够区分人工物体与人340的部位。具体而言,方差似然图生成单元160对各个同一梯度方向求连续性似然图的部位候选区域的方差。若求得的方差值小于规定的阈值,则方差似然图生成单元160将候选区域判断为人工物体。并且,方差似然图生成单元160将方差值小于规定的阈值的像素的连续性似然设定为表示无连续性似然的值(例如零)。另一方面,若求得的方差值大于规定的阈值,则方差似然图生成单元160判断为候选区域是部位的可能性大。并且,方差似然图生成单元160保持方差值大于规定的阈值的像素的连续性似然。例如,方差似然图生成单元160在梯度方向k的候选区域的方差小于规定的阈值时,将该候选区域中包含的像素的梯度方向k的连续性似然设定为表示无似然的值(例如零)。
这里,方差似然图生成单元160作为上述“规定的阈值”,既可以使用预先学***均值进行计算。或者,方差似然图生成单元160还可以使用判别分析法,将本次提取的候选区域的方差分类为人工物体与人340的部位。判别分析法是求分离度最大的阈值,自动进行二值化的公知方法。在分类为人工物体与人340的部位这两个类时,通过类间方差与类内方差之比来求分离度。
接着,说明一例方差似然图生成单元160计算连续性似然图的部位候选区域的方差的方法。
首先,方差似然图生成单元160使用下式计算连续性似然图的部位候选区域的重心C。
设部位候选区域中包含的第k像素Gk的x坐标和y坐标的位置为Gk=(xk,yk),在有m个像素的情况下,通过下式计算重心C。
这里,考虑穿过重心C,并且与包含部位候选区域的连续性似然图的梯度方向垂直的直线。具体而言,例如,在包含部位候选区域的连续性似然图的梯度方向为θ的情况下,考虑穿过重心C并且角度为θ+90度的直线。并且,方差似然图生成单元160将位于部位候选区域中且位于该直线上的像素的值,作为上述求方差σ2的式子的值xi来求方差。
方差似然图生成单元160将这样计算出的部位候选区域的方差与预先设定的规定的阈值进行比较。作为比较结果,若方差的值小于规定的阈值,则方差似然图生成单元160判断为该区域是部位的可能性较低,将该梯度方向的连续性似然设定为表示无连续性似然的值(例如零)。如果作为比较结果,方差的值在规定的阈值以上,则方差似然图生成单元160可以判断为该区域是部位的可能性较高,仅保持该梯度方向的连续性似然。
此外,这里,方差似然图生成单元160仅评价了部位候选区域的重心C这一个点的方差,但也可以计算多个方差,使用其平均值进行判断。由此可提高鲁棒性。例如,方差似然图生成单元160对于穿过重心C并且方向是包含部位候选区域的连续性似然图的梯度方向的直线上的、重心C以外的像素,也可以进行与对上述重心C进行的处理相同的处理,来求多个方差。
此外,连续性似然图生成单元130在使用部位矩形801生成连续性似然图时,也可以留下部位矩形801附近像素的边缘对似然。方差是表示数据的标准离差的值,其大小因与期待值偏离的值的量而改变。因此,连续性似然图生成单元130留下与期待值偏离的边缘对似然时,人工物体与人340的部位的方差之差变大,判别变得更容易。对此,使用图13对此进行说明。
<连续性似然图的一例>
图13表示一例作为方差似然图的基础的连续性似然图。连续性似然图820是连续性似然图生成单元130不仅保持部位矩形801中包含的像素的边缘对似然,还保持部位矩形801的附近区域802中包含的像素的边缘对似然而生成的。
在图13的连续性似然图820中,虽然未包含在部位矩形801中,但部位矩形801的附近区域802中包含的像素也存在比较高的边缘对似然(连续性似然)。因此,使用图13的连续性似然图820计算出的方差大于根据图9的连续性似然图820计算出的方差。由此,方差似然图生成单元160能够高精度地区分人工物体和人340的部位。这样,方差似然图生成单元160不仅包含部位矩形,还包含附近区域802来求方差,从而能够提高判别人工物体和人340的部位的精度。
此外,图13中,作为例子表示了将部位矩形的各边分别增大1像素得到的附近区域802,但不限于此。附近区域802可以根据部位矩形801的大小或对象部位的种类等进行变动。
此外,这里说明了方差似然图生成单元160评价候选区域内的方差的例子,但也可以不使用方差,而使用连续性似然的平均值进行评价。这利用了如下特性:人工物体的连续性似然的方差值较小,因此连续性似然的平均值倾向于较高。在此情况下,方差似然图生成单元160求候选区域内具有连续性似然的像素的平均值。
例如,在图9中,连续性似然图的连续性似然P使用表示像素位置的x坐标x、y坐标y、以及梯度方向k,表示为P(x,y,k)。另外,设部位矩形801的左上角像素的位置为(i,j),部位矩形的长边长度为r,短边长度为s,梯度方向为k,部位矩形内连续性似然为0的像素数为u。此时,部位矩形801中包含的像素的连续性似然的平均值A通过下式来求。
方差似然图生成单元160将通过上式计算出的部位候选区域的连续性似然平均值与预先设定的规定的阈值进行比较。作为比较结果,若平均值大于规定的阈值,则方差似然图生成单元160判断为该区域是人340的部位的可能性较低。并且,方差似然图生成单元160将该梯度方向的连续性似然设定为表示无连续性似然值的值(例如零)。另一方面,如果比较结果是连续性似然的平均值在规定的阈值以下,则方差似然图生成单元160判断为该区域是人340的部位的可能性较高,保持该梯度方向的连续性似然。
此外,本实施方式中,方差似然图生成单元160使用连续性似然图生成了方差似然图,但也可以使用边缘对似然图,同样地生成方差似然图。在此情况下,边缘对似然图中不存在部位候选区域,因此方差似然图生成单元160对全部像素,对该像素的规定的距离内的区域计算方差,从而进行判别人工物体的处理。
通过这样做,本实施方式中,能够从边缘对似然图中排除人工物体可能性较高的区域的边缘对似然,估计部位。
这种部位估计装置100b首先与上述实施方式1、2同样地进行边缘对似然图生成处理和连续性似然图生成处理。随后,部位估计装置100b进行方差似然图生成处理,该处理基于连续性似然图来评价连续性似然的方差,对各梯度方向生成满足对象部位的方差条件的方差似然图。并且,部位估计装置100b基于各梯度方向的方差似然图,生成满足对象部位的身体限制的综合似然图。这样,无论是难以用直线提取部位轮廓的图像,还是混合有人工物体的图像,部位估计装置100b都能够高精度地估计人340的部位。
(实施方式4)
本发明的实施方式4是在对象部位为胳膊(右上臂419、右前臂420、左上臂422、左前臂423)时,使用躯干或头等对象部位以外(以下称为“非估计对象部位”)的信息的情况的例子。
本实施方式的部位估计装置首先从图像中提取非估计对象部位的轮廓。随后,部位估计装置在连续性似然图或方差似然图中,降低提取出的非估计对象部位轮廓的附近区域的边缘对似然或连续性似然,并进行随后的对象部位的估计处理。这是考虑到如下事实:由于对象部位和非估计对象部位在图像上发生重叠,所以非估计对象部位存在的附近区域的像素的边缘对似然或连续性似然有可能较高。通过这样做,部位估计装置能够消除非估计对象部位的影响,高精度地估计部位。
图14是表示本实施方式的部位估计装置的一例结构的框图,对应于实施方式2的图4。图14中,对与图4相同的部分附加相同的标号,并省略与其相关的说明。
在图14中,部位估计装置100c除了具有图4的结构以外还具有轮廓区域估计单元170。
本实施方式中,以对象部位为胳膊(右上臂419、右前臂420、左上臂422、左前臂423)进行说明,以非估计对象部位为头418和躯干411进行说明。
轮廓区域估计单元170从图像中提取人340的非估计对象部位的轮廓,将其附近区域作为轮廓区域提取出来。
<轮廓区域估计的说明>
说明一例轮廓区域估计。
首先,轮廓区域估计单元170根据输入的图像生成背景差图像,提取人340的人候选区域。这里,背景差图像例如是表示在人340不在的状态下拍摄的背景图像和输入图像之间的差的图像。
由此,轮廓区域估计单元170能够将与背景不同的像素作为人候选区域进行处理。
此外,轮廓区域估计单元170例如预先保持背景图像,通过计算背景图像和输入图像之间的差来生成背景差图像。或者,轮廓区域估计单元170还可以通过提取移动物体区域来生成背景差图像。另外,轮廓区域估计单元170例如可以通过在上次输入的图像和本次输入的图像中提取亮度不同的像素,由此提取移动物体区域,并将移动物体区域作为人候选区域。
本实施方式中,首先,轮廓区域估计单元170作为头候选区域提取人候选区域中的上部区域。上部区域例如预先确定为包含人候选区域中上端起向下方规定的比例(例如30%)的部分的区域。轮廓区域估计单元170提取该头候选区域中作为轮廓的像素来作为头的轮廓像素。
此外,轮廓区域估计单元170也可以从所提取的头候选区域中使用霍夫变换等提取头区域。霍夫变换是公知技术,能够从边缘信息中求表示圆心(X坐标、Y坐标)和半径的三个参数。轮廓区域估计单元170可以提取该圆上的像素作为头的轮廓像素。
轮廓区域估计单元170也可以在从头候选区域提取的头的轮廓像素上,加上通过霍夫变换等求得的圆上的像素,作为头的轮廓。通过这样做,轮廓区域估计单元170即使在人候选区域中存在缺损的情况下,也能够更鲁棒地提取头的轮廓像素。
另外,轮廓区域估计单元170也可以提取从头候选区域提取的头的轮廓像素和从头候选区域提取的圆形像素的共同像素作为头的轮廓。通过这样做,轮廓区域估计单元170能够更可靠地提取头的轮廓像素。
接着,轮廓区域估计单元170提取人候选区域中的中部区域作为躯干候选区域。中部区域例如预先确定为包含人候选区域中规定的比例(例如从上方起20%至60%)的部分的区域。轮廓区域估计单元170提取该躯干候选区域中作为轮廓的像素来作为躯干的轮廓。
此外,轮廓区域估计单元170也可以与头的轮廓像素的提取同样,从所提取的躯干候选区域中使用霍夫变换等提取椭圆形的躯干候选区域。
轮廓区域估计单元170也可以在从躯干候选区域提取的躯干的轮廓像素上,加上通过霍夫变换等求出的椭圆上的像素,作为躯干的轮廓像素。通过这样做,轮廓区域估计单元170即使在躯干候选区域中存在缺损的情况下,也能够更鲁棒地提取躯干的轮廓像素。
另外,轮廓区域估计单元170也可以提取从躯干候选区域提取的像素与从躯干候选区域提取的椭圆形上的像素的共同像素作为躯干的轮廓像素。通过这样做,轮廓区域估计单元170能够更可靠地提取躯干的轮廓像素。
轮廓区域估计单元170将以上述方式提取的、头418与躯干411的轮廓像素及其附近区域作为轮廓区域。具体而言,轮廓区域估计单元170将位于以头和躯干的轮廓为中心的规定的距离内的像素作为轮廓区域。这里,规定的距离例如可以基于对象部位在图像上的外观误差的大小来确定。
轮廓区域估计单元170将所估计的轮廓区域输出到综合似然图生成单元140c。
综合似然图生成单元140c使用轮廓区域估计单元170估计的轮廓区域和连续性似然图生成单元生成的连续性似然图,生成综合似然图。
综合似然图生成单元140c,在图10的S9003中,在提取边缘对似然的总和较大的区域时,降低坐标位置与轮廓区域估计单元170估计的轮廓区域重叠的候选区域的优先级并进行提取。“优先级”换言之是进行提取(选择)的优先级。具体而言,综合似然图生成单元140c例如对于坐标位置重叠的区域,变更为从边缘对似然的总和中减去了规定的值所得到的值。通过这样做,综合似然图生成单元140c优先选择坐标位置不重叠的区域作为候选区域。由此,在非估计对象部位的轮廓满足连续性似然图生成时的条件即边缘对似然的连续性的情况下,部位估计装置100c也能够高精度地估计对象部位。
这里,上述“规定的值”例如可以是:相应候选区域中候选区域与轮廓区域重叠的像素的比例(将候选区域中与轮廓区域重叠的像素数除以候选区域的像素数得到的值)、与相应候选区域总和的积。
另外,综合似然图生成单元140c可以使坐标位置与轮廓区域重叠的候选区域的优先级在对象部位数之下。具体而言,例如考虑如下情况:对象部位数为4,提取了6个候选区域,按照边缘对似然的总和从大到小的顺序排列时,第3候选区域的坐标位置重叠。在此情况下,综合似然图生成单元140可以降低该候选区域的优先级,使其总和的顺序从第3降至第5以后,使其不纳入图10中第一次S9004的处理中使用的组合。
此外,部位估计装置100c可以不仅在坐标位置与轮廓区域估计单元170估计的轮廓区域重叠的情况下,而且在轮廓区域的朝向与候选区域的方向一致的情况下,降低优先级。所谓轮廓区域的朝向,例如在对象部位是身体模型410的躯干411的情况下,是用直线近似躯干左右长边的轮廓的情况下的角度。直线的近似可以使用利用最小二乘法求回归直线的方法,该方法是公知技术。通过这样做,在由于轮廓和噪声使候选区域的边缘对似然较高的情况下,部位估计装置100c也能够高精度地估计部位。
此外,综合似然图生成单元140c可以根据候选区域和部位矩形的类似度来改变优先级。关于候选区域和部位矩形的类似度,例如,可以将候选区域和部位矩形在重心处进行重叠,此时对候选区域与部位矩形不一致的像素数进行计数,不一致的像素数越多,则判断为类似度越低,并降低优先级。通过这样做,降低与部位矩形的类似度较低的候选区域的优先级,在由于衣服花纹等噪声使边缘对似然较高的情况下,部位估计装置100c也能够高精度地估计部位。
此外,如图15所示,综合似然图生成单元140c可以使用轮廓区域估计单元170估计的轮廓区域和方差似然图生成单元160生成的方差似然图,生成综合似然图。通过这样做,即使在图像中含有人工物体的情况下,部位估计装置100c也能够高精度地进行部位估计。
由此,部位估计装置100c能够从部位区域候选中排除有可能由于非估计对象部位的存在而使边缘对似然变大的区域,因此能够提高部位估计的精度。
此外,在以上说明的本发明的实施方式2、实施方式3、实施方式4中,说明了从背景差图像中估计对象部位的处理,但不限于此。例如,部位估计装置也可以使用如下图像:使用作为公知技术的中值滤波器,从背景差图像中除去噪声后得到的图像。另外,部位估计装置100也可以使用重叠背景差图像和边缘图像所得到的图像。
另外,上述实施方式1~4中,通过例子说明了由硬件来构成本发明的情况,但是本发明还可以在与硬件的协作下通过软件来实现。
如上所述,本公开的部件估计装置包括:边缘对似然图生成单元,对图像中的每个像素计算边缘对似然,生成对每个所述像素表示该边缘对似然的边缘对似然图,所述边缘对似然表示该像素附近存在的成对像素是估计对象部位的边缘的似真性;连续性似然图生成单元,对于所述边缘对似然图,对设想了所述估计对象部位的区域内包含的像素的边缘对似然评价连续性,生成表示具有连续性的边缘对似然表示作为所述估计对象部位的候选区域的连续性似然图;以及综合似然图生成单元,生成基于预先确定的条件锁定而表示所述连续性似然图所示的所述候选区域的综合似然图。
另外,本公开的部位估计装置还包括:方差似然图生成单元,评价所述连续性似然图所示的具有所述连续性的边缘对似然的方差,生成满足所述估计对象部位的方差的方差似然图,所述综合似然图生成单元基于所述方差似然图,生成所述综合似然图。
另外,本公开的部位估计装置中,所述连续性似然图生成单元除了考虑所述具有连续性的边缘对似然以外,还考虑设想了所述估计对象部位的区域的附近区域中包含的像素的边缘对似然,以生成所述连续性似然图,所述方差似然图生成单元基于所述连续性似然图,生成所述方差似然图。
另外,本公开的部位估计装置还包括:轮廓区域估计单元,估计作为所述估计对象部位以外的部位即非估计对象部位的轮廓区域,所述综合似然图生成单元在锁定所述候选区域时,优先选择坐标与由所述轮廓区域估计单元估计的所述轮廓区域不重叠的候选区域。
另外,本公开的部位估计装置中,所述边缘对似然图生成单元根据所述图像的大小,动态调节所述边缘对似然图生成中使用的值。
另外,本公开的部件估计方法具有如下步骤:对图像中的每个像素计算边缘对似然,生成对每个所述像素表示该边缘对似然的边缘对似然图的步骤,所述边缘对似然表示该像素附近存在的成对像素是估计对象部位的边缘的似真性;对于所述边缘对似然图,对设想了所述估计对象部位的区域内包含的像素的边缘对似然评价连续性,生成表示具有连续性的边缘对似然作为表示所述估计对象部位的候选区域的连续性似然图的步骤;以及生成基于预先确定的条件锁定而表示所述连续性似然图所示的所述候选区域的综合似然图的步骤。
另外,本公开的部件估计程序使输入或生成图像的装置的计算机执行如下处理:对所述图像中的每个像素计算边缘对似然,生成对每个所述像素表示该边缘对似然的边缘对似然图的处理,所述边缘对似然表示该像素附近存在的成对像素是估计对象部位的边缘的似真性;对于所述边缘对似然图,对设想了所述估计对象部位的区域内包含的像素的边缘对似然评价连续性,生成表示具有连续性的边缘对似然作为表示所述估计对象部位的候选区域的连续性似然图的处理;以及生成基于预先确定的条件锁定而表示所述连续性似然图所示的所述候选区域的综合似然图的处理。
2012年3月29日提交的日本特愿2012-076072号所包含的说明书、说明书附图和说明书摘要的公开内容被全部引用于本申请中。
工业实用性
本发明作为对人、动物或机器人等多关节物体的部位进行估计的部位估计装置、部位估计方法、以及部位估计程序是极其有用的。
Claims (7)
1.部位估计装置,包括:
边缘对似然图生成单元,对图像中的每个像素计算边缘对似然,生成对每个所述像素表示该边缘对似然的边缘对似然图,所述边缘对似然表示该像素附近存在的成对像素是估计对象部位的边缘的似真性;
连续性似然图生成单元,对于所述边缘对似然图,对设想了所述估计对象部位的区域内包含的像素的边缘对似然,评价连续性,生成表示具有连续性的边缘对似然作为表示所述估计对象部位的候选区域的连续性似然图;以及
综合似然图生成单元,生成基于预先确定的条件锁定而表示所述连续性似然图所示的所述候选区域的综合似然图。
2.如权利要求1所述的部位估计装置,还包括:
方差似然图生成单元,评价所述连续性似然图所示的具有所述连续性的边缘对似然的方差,生成满足所述估计对象部位的方差的方差似然图,
所述综合似然图生成单元基于所述方差似然图,生成所述综合似然图。
3.如权利要求2所述的部位估计装置,
所述连续性似然图生成单元除了考虑具有所述连续性的边缘对似然以外,还考虑设想了所述估计对象部位的区域的附近区域中包含的像素的边缘对似然,生成所述连续性似然图,
所述方差似然图生成单元基于所述连续性似然图,生成所述方差似然图。
4.如权利要求1所述的部位估计装置,还包括:
轮廓区域估计单元,估计作为所述估计对象部位以外的部位的非估计对象部位的轮廓区域,
所述综合似然图生成单元在锁定所述候选区域时,优先选择坐标与由所述轮廓区域估计单元估计出的所述轮廓区域不重叠的候选区域。
5.如权利要求1所述的部位估计装置,
所述边缘对似然图生成单元根据所述图像的大小,动态调节所述边缘对似然图生成中使用的值。
6.部位估计方法,包括如下步骤:
对图像中的每个像素计算边缘对似然,生成对每个所述像素表示该边缘对似然的边缘对似然图的步骤,所述边缘对似然表示该像素附近存在的成对像素是估计对象部位的边缘的似真性;
对于所述边缘对似然图,对设想了所述估计对象部位的区域内包含的像素的边缘对似然,评价连续性,生成表示具有连续性的边缘对似然作为表示所述估计对象部位的候选区域的连续性似然图的步骤;以及
生成基于预先确定的条件锁定而表示所述连续性似然图所示的所述候选区域的综合似然图的步骤。
7.部位估计程序,使输入或生成图像的装置的计算机执行如下处理:
对所述图像中的每个像素计算边缘对似然,生成对每个所述像素表示该边缘对似然的边缘对似然图的处理,所述边缘对似然表示该像素附近存在的成对像素是估计对象部位的边缘的似真性;
对于所述边缘对似然图,对设想了所述估计对象部位的区域内包含的像素的边缘对似然,评价连续性,生成表示具有连续性的边缘对似然作为表示所述估计对象部位的候选区域的连续性似然图的处理;以及
生成基于预先确定的条件锁定而表示所述连续性似然图所示的所述候选区域的综合似然图的处理。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-076072 | 2012-03-29 | ||
JP2012076072A JP5801237B2 (ja) | 2012-03-29 | 2012-03-29 | 部位推定装置、部位推定方法、および部位推定プログラム |
PCT/JP2013/001777 WO2013145615A1 (ja) | 2012-03-29 | 2013-03-15 | 部位推定装置、部位推定方法、および部位推定プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104169968A true CN104169968A (zh) | 2014-11-26 |
CN104169968B CN104169968B (zh) | 2017-05-10 |
Family
ID=49258929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380013587.3A Active CN104169968B (zh) | 2012-03-29 | 2013-03-15 | 部位估计装置和部位估计方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9639950B2 (zh) |
JP (1) | JP5801237B2 (zh) |
CN (1) | CN104169968B (zh) |
WO (1) | WO2013145615A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109376649A (zh) * | 2018-10-20 | 2019-02-22 | 张彦龙 | 一种从眼部灰度图像缩小似然图计算识别上下眼皮的方法 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5898199B2 (ja) * | 2011-07-15 | 2016-04-06 | パナソニック株式会社 | 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム |
US9934577B2 (en) * | 2014-01-17 | 2018-04-03 | Microsoft Technology Licensing, Llc | Digital image edge detection |
JP6381368B2 (ja) * | 2014-08-26 | 2018-08-29 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US10043084B2 (en) * | 2016-05-27 | 2018-08-07 | Toyota Jidosha Kabushiki Kaisha | Hierarchical context-aware extremity detection |
CN106713964A (zh) * | 2016-12-05 | 2017-05-24 | 乐视控股(北京)有限公司 | 一种生成视频摘要视点图的方法及装置 |
JP6542824B2 (ja) * | 2017-03-13 | 2019-07-10 | ファナック株式会社 | 入力画像から検出した対象物の像の尤度を計算する画像処理装置および画像処理方法 |
JP6977337B2 (ja) * | 2017-07-03 | 2021-12-08 | 富士通株式会社 | 部位認識方法、装置、プログラム、及び撮像制御システム |
US10672174B2 (en) * | 2018-06-28 | 2020-06-02 | Adobe Inc. | Determining image handle locations |
US10621764B2 (en) | 2018-07-05 | 2020-04-14 | Adobe Inc. | Colorizing vector graphic objects |
US10937185B2 (en) * | 2018-12-03 | 2021-03-02 | Everseen Limited | System and method to detect articulate body pose |
JP6723486B1 (ja) * | 2019-07-10 | 2020-07-15 | 三菱電機株式会社 | 情報処理装置、プログラム及び情報処理方法 |
JP7479925B2 (ja) * | 2020-05-14 | 2024-05-09 | キヤノン株式会社 | 画像処理システム、画像処理方法、及びプログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101276416A (zh) * | 2008-03-10 | 2008-10-01 | 北京航空航天大学 | 一种视频中的文本跟踪和多帧增强方法 |
US20090252423A1 (en) * | 2007-12-21 | 2009-10-08 | Honda Motor Co. Ltd. | Controlled human pose estimation from depth image streams |
CN101855650A (zh) * | 2007-11-09 | 2010-10-06 | 富士通株式会社 | 生物体信息取得装置、生物体信息取得方法、生物体信息取得程序以及生物体认证装置 |
CN101882319A (zh) * | 2010-06-24 | 2010-11-10 | 西北工业大学 | 基于最小三维凸包的锥束ct快速重建方法 |
US20100329560A1 (en) * | 2009-06-26 | 2010-12-30 | Changcheng Li | Human pose estimation in visual computing |
CN102028482A (zh) * | 2009-09-30 | 2011-04-27 | 同方威视技术股份有限公司 | 人体检查图像处理方法和人体检查设备 |
CN102096910A (zh) * | 2011-01-25 | 2011-06-15 | 南京大学 | 用于二维相位展开的加权梯度质量图获取方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2620441B2 (ja) * | 1991-11-20 | 1997-06-11 | 山武ハネウエル株式会社 | 部品輪郭抽出方法 |
JPH09198505A (ja) * | 1996-01-16 | 1997-07-31 | Mitsubishi Heavy Ind Ltd | 線位置検出装置 |
JP4318465B2 (ja) | 2002-11-08 | 2009-08-26 | コニカミノルタホールディングス株式会社 | 人物検出装置および人物検出方法 |
JP4419543B2 (ja) | 2003-12-05 | 2010-02-24 | コニカミノルタホールディングス株式会社 | 検出装置および検出方法 |
JP5027201B2 (ja) * | 2009-10-16 | 2012-09-19 | 日本電信電話株式会社 | テロップ文字領域検出方法,テロップ文字領域検出装置およびテロップ文字領域検出プログラム |
EP2463821A1 (en) * | 2010-12-08 | 2012-06-13 | Alcatel Lucent | Method and system for segmenting an image |
JP4784709B1 (ja) * | 2011-03-10 | 2011-10-05 | オムロン株式会社 | 対象物追跡装置、対象物追跡方法、および制御プログラム |
-
2012
- 2012-03-29 JP JP2012076072A patent/JP5801237B2/ja active Active
-
2013
- 2013-03-15 CN CN201380013587.3A patent/CN104169968B/zh active Active
- 2013-03-15 WO PCT/JP2013/001777 patent/WO2013145615A1/ja active Application Filing
- 2013-03-15 US US14/388,254 patent/US9639950B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101855650A (zh) * | 2007-11-09 | 2010-10-06 | 富士通株式会社 | 生物体信息取得装置、生物体信息取得方法、生物体信息取得程序以及生物体认证装置 |
US20090252423A1 (en) * | 2007-12-21 | 2009-10-08 | Honda Motor Co. Ltd. | Controlled human pose estimation from depth image streams |
CN101276416A (zh) * | 2008-03-10 | 2008-10-01 | 北京航空航天大学 | 一种视频中的文本跟踪和多帧增强方法 |
US20100329560A1 (en) * | 2009-06-26 | 2010-12-30 | Changcheng Li | Human pose estimation in visual computing |
CN102028482A (zh) * | 2009-09-30 | 2011-04-27 | 同方威视技术股份有限公司 | 人体检查图像处理方法和人体检查设备 |
CN101882319A (zh) * | 2010-06-24 | 2010-11-10 | 西北工业大学 | 基于最小三维凸包的锥束ct快速重建方法 |
CN102096910A (zh) * | 2011-01-25 | 2011-06-15 | 南京大学 | 用于二维相位展开的加权梯度质量图获取方法 |
Non-Patent Citations (2)
Title |
---|
罗为: "一种基于边缘似然性估计的边界检测方法", 《小型微型计算机***》 * |
郑剑锋: "基于感兴趣区域的图像分割及其在图像检索中的应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109376649A (zh) * | 2018-10-20 | 2019-02-22 | 张彦龙 | 一种从眼部灰度图像缩小似然图计算识别上下眼皮的方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2013206259A (ja) | 2013-10-07 |
US20150055875A1 (en) | 2015-02-26 |
CN104169968B (zh) | 2017-05-10 |
WO2013145615A1 (ja) | 2013-10-03 |
US9639950B2 (en) | 2017-05-02 |
JP5801237B2 (ja) | 2015-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104169968A (zh) | 部位估计装置、部位估计方法以及部位估计程序 | |
CN104408460B (zh) | 一种车道线检测及跟踪检测方法 | |
CN105447853B (zh) | 飞行装置、飞行控制***及方法 | |
US20100166259A1 (en) | Object enumerating apparatus and object enumerating method | |
JP5671281B2 (ja) | 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム | |
CN100407221C (zh) | 面部中央位置检测设备、方法 | |
CN104487999B (zh) | 姿势估计装置和姿势估计方法 | |
US20060126941A1 (en) | Face region estimating device, face region estimating method, and face region estimating program | |
CN102737370B (zh) | 检测图像前景的方法及设备 | |
CN101828201A (zh) | 图像处理装置及方法、学习装置及方法以及程序 | |
CN101833791A (zh) | 一种单摄像机下的场景建模方法及*** | |
CN107452015A (zh) | 一种具有重检测机制的目标跟踪*** | |
JPH0528273A (ja) | 画像処理方法および装置 | |
CN104463899A (zh) | 一种目标对象检测、监控方法及其装置 | |
CN106503605A (zh) | 基于立体视觉技术的人体目标识别方法 | |
CN106846352A (zh) | 一种用于镜头解析力测试的刀口图片获取方法和装置 | |
CN108805016A (zh) | 一种头肩区域检测方法及装置 | |
US8971592B2 (en) | Method for determining eye location on a frontal face digital image to validate the frontal face and determine points of reference | |
US12033406B2 (en) | Method and device for identifying presence of three-dimensional objects using images | |
CN110225335B (zh) | 相机稳定性评估方法及装置 | |
CN107145820B (zh) | 基于hog特征和fast算法的双眼定位方法 | |
CN112438723A (zh) | 认知功能评估方法、认知功能评估装置以及存储介质 | |
CN106372593A (zh) | 一种基于血管收敛的视盘区定位方法 | |
CN106060403A (zh) | 一种具备图像防抖检测功能的摄像装置 | |
CN114612934A (zh) | 一种基于质量维度的步态序列评估方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |