CN103514429B - 检测对象的特定部位的方法及图像处理设备 - Google Patents
检测对象的特定部位的方法及图像处理设备 Download PDFInfo
- Publication number
- CN103514429B CN103514429B CN201210206387.7A CN201210206387A CN103514429B CN 103514429 B CN103514429 B CN 103514429B CN 201210206387 A CN201210206387 A CN 201210206387A CN 103514429 B CN103514429 B CN 103514429B
- Authority
- CN
- China
- Prior art keywords
- privileged site
- image
- tracking
- detected
- coloured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种检测对象的特定部位的方法和图像处理设备。所述方法包括:接收所捕获的至少一幅深度图像和至少一幅彩色图像;从所述深度图像检测一对象;基于深度图像中检测到的对象确定感兴趣区域;利用所述感兴趣区域从彩色图像中检测所述对象的特定部位。利用上述方案,提高了检测和跟踪对象的特定部位(例如人脸或人眼)的可靠性和速度。
Description
技术领域
本申请的实施例涉及图像处理和模式识别,具体涉及一种检测、跟踪对象的特定部位的方法和相应的图像处理设备。
背景技术
近年来,图像处理和模式识别技术已经得到了广泛的应用。例如,利用图像处理技术对捕获的行人的人脸进行识别,从而确定要跟踪的对象。或者,用安装在户外广告牌上的摄像头对行人的人脸或人眼进行识别和跟踪,来计算人们对广告的关注度。
专利文献1(CN101216885A)披露了一种基于视频的行人人脸检测与跟踪算法。该专利文献提出一种利用运动物体检测和运动物体跟踪的算法进行视频分析的行人人脸检测与跟踪的方法。这种算法首先利用运动分析的方法检测行人,然后计算人体重心并根据人体重心确定人脸区域,最后利用肤色模型和模板匹配的方法在人脸区域中检测人脸。
专利文献2(CN101477616A)披露了一种人脸检测与追踪方法。该专利文献通过计算机或具计算能力的微处理器执行人脸检测与追踪,以识别图像画面中的人脸及其所在位置。该方法首先进行人脸检测,以找出图像画面中的人脸;接着,在每帧画面进行人脸追踪,以追踪找到的人脸在此帧画面中的位置,并记录这些人脸所处的位置;在间隔数帧画面后,在略过已发现的人脸所在位置的情况下,再次对图像画面进行一次人脸检测,以便能快速地检测到其他可能新加入的人脸。
专利文献3(CN102147855A)披露了一种户外广告收视率统计的方法和装置。此该专利文献介绍了一种通过一个以上的设置在户外广告上的摄像机或摄像头来获取户外广告前观众的图像、从而确定收视率统计的方法。该方法中的图像分析模块分析并计算摄像机或摄像头所摄取的有效观众人数,传输模块负责将所获取的有效观众人数输出。通过在户外广告(如多媒体屏幕等)周围安装至少一个摄像头,利用此摄像头不停拍照或摄影并将所拍得的照片或所摄取的影像发送至图像分析模块(图像处理器)进行处理;图像分析模块对所接收数据进行分析,并定位人脸和人眼,接着判断出其中哪些人在看屏幕,最后统计观看屏幕的人数并输出。
但是,上述的图像处理方法都存在检测对象的特定部位(例如人脸或人眼)可靠性不高并且速度慢的问题。
发明内容
考虑到现有技术的一个或多个问题,提出了一种检测和/或跟踪对象的特定部位的方法和相应的图像处理设备。
根据本申请的实施例,提供了一种检测对象的特定部位的方法,该方法包括:接收所捕获的至少一幅深度图像和至少一幅彩色图像;从所述深度图像检测一对象;基于深度图像中检测到的对象确定感兴趣区域;利用所述感兴趣区域从彩色图像中检测所述对象的特定部位。
根据本申请的实施例,提供了一种基于环形缓冲器跟踪对象的特定部位的方法,包括步骤:在深度图像中跟踪一对象以便基于深度图像中跟踪的对象来确定感兴趣区域;将所述感兴趣区域和所捕获的彩色图像存储到环形缓冲器中;利用所述感兴趣区域从环形缓冲器存储的最新彩色图像中检测该对象的特定部位,并且将检测到的特定部位存储在环形缓冲器中;用所检测到的特定部位和所述感兴趣区域从环形缓冲器中最早的彩色图像中跟踪所述对象的特定部位,从而获得跟踪的特定部位。
根据本申请的实施例,提供了一种图像处理设备,包括:对象检测单元,从所捕获的至少一幅深度图像检测一对象;感兴趣区域确定单元,基于深度图像中检测到的对象确定感兴趣区域;部位检测单元,利用所述感兴趣区域从彩色图像中检测所述特定部位。
利用上述方案,提高了在检测对象的特定部位(例如人脸或人眼)时的可靠性和速度。
附图说明
从下面结合附图的详细描述中,本发明的上述特征和优点将更明显,其中:
图1是根据本发明的一个实施例的图像处理设备的结构示意图;
图2是根据本发明的实施例中的图像处理设备中所使用的摄像机的结构示意图;
图3A是描述根据本发明的实施例中的图像处理设备从深度图像中检测或者跟踪的ROI的一个例子;
图3B是描述根据本发明的实施例中的图像处理设备从深度图像中检测或跟踪的ROI的另一例子;
图4是描述根据本发明一个实施例的图像处理设备的操作过程的流程图;
图5是根据本发明的实施例的另一图像处理设备的结构示意图;
图6是描述根据本发明的另一实施例的图像处理设备的操作过程的流程图;以及
图7示出了根据本发明实施例的图像处理设备基于循环缓冲器实现对象特定部位的跟踪的一个例子。
具体实施方式
下面,参考附图详细说明本发明的优选实施方式。在附图中,虽然示于不同的附图中,但相同的附图标记用于表示相同的或相似的组件。为了清楚和简明,包含在这里的已知的功能和结构的详细描述将被省略,否则它们将使本发明的主题不清楚。
根据本发明的一些实施例,可以针对一幅或者若干幅图像对象的特定部位(例如人脸、人眼或手等)进行检测,输出检测的结果。根据本发明的另一些实施例,还可以在检测的基础上进行对象或者特定部位的跟踪,从而实现对特定部位的连续监测或数据统计。
根据本发明的一些实施例的图像处理设备,对象检测单元从所捕获的至少一幅深度图像检测一对象。感兴趣区域确定单元基于深度图像中检测的对象确定感兴趣区域。然后,部位检测单元利用该感兴趣区域从彩色图像中检测所述特定部位。
图1是根据本发明一个实施例的图像处理设备100的结构示意图。如图1所示的图像处理设备包括可以同时捕获某个对象(例如人)的至少一幅深度图像和至少一幅彩色图像的摄像机110、从所述深度图像检测所述对象的对象检测单元120、基于深度图像中检测到的对象确定感兴趣区域ROI的ROI确定单元130、利用感兴趣区域从彩色图像中检测所述特定部位(例如人脸或者人眼或者其他某个部位)的部位检测单元140和输出检测或跟踪结果的显示设备150。
图2示出了根据本发明实施例的图像处理设备中使用的摄像机的结构示意图。如图2所示,摄像机110包括捕获深度图像用的透镜和捕获彩色图像用的透镜。这样,当启动摄像机针对某个场景进行图像采集时,摄像机110就能够同时捕获深度图像序列(视频)和彩色图像序列(视频)。
根据本发明的实施例,对象检测单元110和对象跟踪单元120可以利用对象的变化的深度信息来从深度图像中检测/跟踪诸如人体这样的对象。利用深度信息来检测/跟踪运动对象,可以不受光照以及对象本身的不同颜色等条件的影响,具有较强的应用性和可靠性。ROI确定单元130根据特定部位与对象之间的预定关系(例如,人头部在人体中的大致位置或者人眼在人体中的大致位置或人手在人体中的大致位置等)从跟踪的对象中确定感兴趣区域。
图3A是描述根据本发明实施例的图像处理设备从深度图像中检测或者跟踪的ROI的例子。以人脸检测和跟踪为例,图3A示出了在跟踪的人体图像中确定ROI的过程。根据跟踪的人体图像可以得到头部点Ph和颈部点Pn。令头部点Ph和颈部点Pn之间的距离为dhn,图3A中的距离d0表示为α×dhn,d1表示为β×dhn,α和β为根据不同的需要确定的参数。这样,根据特定部位和人体之间的预定关系可以确定包含特定部位的ROI。
图3B是描述根据本发明实施例的图像处理设备从深度图像中检测或跟踪的ROI的另一例子。如图3B所示,根据跟踪人体图像可以更精确地确定ROI(头部区域)。例如将人体区域中颈部点Pn以上区域确定为头部区域。再如,由于颈部点Pn的精确度不高,重新计算颈部点Pn’,Pn’为人体区域中Pn以上具有相同高度的点组成的线中最短的一条的中心点,则人体区域中颈部点Pn’以上区域为头部区域。
根据本发明的实施例,部位检测单元140基于从深度图像确定的感兴趣区域(例如头部区域)在彩色图像中检测特定部位(例如人脸或者人眼)。例如,部位检测单元140可以根据事先训练的人脸模型从彩色图像上由ROI限定的区域中检测人脸。该人脸模型的参数可以从存储器中读出,也可以由用户从外部输入。
检测到特定部位后,显示设备150显示彩色图像并且在彩色图像中指示所检测的部位(例如人脸),或者在检测到正面人脸的情况下进行计数,这样可以用于例如户外广告统计等方面。根据本发明的另一实施例,也可以在检测到人脸或者人眼后,根据人脸的表情或者姿态控制对象所关注的广告牌的内容的显示。或者当摄像机安装在计算机屏幕或者电视屏幕上的情况下,根据检测到的人脸的表情或者人眼的姿态控制屏幕显示内容,例如翻页,滚动,关闭当前窗口等操作。
根据本发明的实施例,摄像机不是图像处理设备所必须的一部分。图像处理设备接收到捕获的深度图像和彩色图像就可以进行后续的图像处理和识别过程。另外,如上所述,检测到的部位不一定要显示出来,也可以用其他的方式输出,例如声音或者光信号的方式表示检测到了特定的部位。
根据本发明的一些实施例,在检测诸如人脸之类的特定部位的方法中,接收针对一对象所捕获的至少一幅深度图像和至少一幅彩色图像。然后从所述深度图像检测所述对象。基于深度图像中检测的对象确定感兴趣区域。利用感兴趣区域从彩色图像中检测所述特定部位。
图4是描述根据本发明一个实施例的图像处理设备的操作过程的流程图400。
在步骤S410,图像处理设备接收针对同一对象捕获的深度图像序列和彩色图像序列。
在步骤S420,图像处理设备在深度图像中检测对象,例如人体或者其他的运动目标,如车辆等。
在步骤S430,基于深度图像中检测的对象确定感兴趣区域。例如,根据特定部位与对象之间的预定关系,从检测的对象中确定ROI,该ROI可能包含了特定部位。
在步骤S440,图像处理设备在彩色图像中由该ROI确定的区域中检测特定部位,例如人脸,人手或者人眼等。例如,利用事先训练的特定部位模型来从彩色图像中由所述感兴趣区域限定的区域中检测所述特定部位。
在步骤S450,显示彩色图像并且在彩色图像中指示检测的特定部位。
在多幅图像或者视频的情况下,还可以对对象和该特定部位进行跟踪,输出跟踪结果。例如,在多幅深度图像中跟踪该对象,从而跟踪该感兴趣区域。然后,基于对该感兴趣区域的跟踪结果在彩色图像中跟踪该特定部位(例如人脸,人眼或者人手)。例如,可以利用检测的特定部位的图像创建***来在彩色图像中跟踪该特定部位。
根据本发明的实施例,利用感兴趣区域在最新捕获的彩色图像中检测该特定部位。
图5是根据本发明实施例的另一图像处理设备500的结构示意图。在该图像处理设备中,不但进行对象和特定部位的检测,而且基于对象的深度视频和彩***进行跟踪和监测。
如图5所示,图像处理设备500包括可以同时捕获某个对象(例如人)的至少一幅深度图像和至少一幅彩色图像的摄像机510、从所述深度图像检测所述对象的对象检测单元520、基于深度图像中检测的对象确定感兴趣区域ROI的ROI确定单元530、利用感兴趣区域从彩色图像中检测所述特定部位(例如人脸或者人眼或者其他某个部位)的部位检测单元540、基于检测的ROI在深度图像中跟踪ROI的ROI跟踪单元560、利用跟踪的ROI和检测的特定部位在彩***中跟踪该特定部位的部位跟踪单元570、和输出检测或跟踪结果的显示设备550。由于上述的摄像机510、对象检测单元520、ROI确定单元530、部位检测单元540与图1所示的图像处理设备中的摄像机110、对象检测单元120、ROI确定单元130和部位检测单元140基本上相同,因此这里不再详细描述,具体参见图1的实施例。
在视频跟踪的情况下,ROI跟踪单元根据ROI确定单元从对象检测单元520所检测的对象中确定的ROI,持续跟踪深度图像中的ROI。同时,部位跟踪单元570利用部位检测单元540所检测的部位创建***来在彩***中由ROI所限定的区域中跟踪特定部位(例如人脸、人眼或人手等)。然后,显示设备550显示彩***并且指示所跟踪的特定部位。
虽然上面以功能模块的方式描述了本发明实施例的图像处理设备,但是本领域的技术人员应该想到可以将上述的对象检测单元、ROI确定单元、ROI跟踪单元、部位检测单元和部位跟踪单元合并成单个的单元或模块。例如将ROI确定单元合并到ROI跟踪单元之中,将部位检测单元合并到部位跟踪单元之中。此外,本领域的技术人员可以用软件的形式实现上述的部分,也可以用硬件的形式实现上述的各个部分。
图6是描述根据本发明的另一实施例的图像处理设备在软件实现的情况下的流程图。图7示出了根据本发明实施例的图像处理设备基于循环缓冲器实现对象特定部位的跟踪的一个例子。
在根据本发明实施例的基于环形缓冲器跟踪对象的特定部位的方法中,在610,从深度和彩色摄像机获得同时捕获的深度视频和彩***。然后,在模块620中进行ROI的确定和跟踪,在模块630进行特定部位的检测,在模块640进行特定部位的跟踪,在模块显示彩***和跟踪结果。
例如,在深度图像中跟踪一对象以便基于深度图像中跟踪的对象确定感兴趣区域。然后将感兴趣区域和所捕获的彩色图像存储到环形缓冲器中。接下来,基于感兴趣区域从环形缓冲器存储的最新彩色图像中检测该对象的特定部位,并且将检测的特定部位存储在环形缓冲器中。用所检测的特定部位和感兴趣区域从环形缓冲器中最早的彩色图像中跟踪所述对象的特定部位,获得跟踪的特定部位。
参见图7,由于每次检测特定部位所需时间不同,并且有可能所需时间较长,所以每次都从最新的彩色图像进行特定部位检测,这样可以检测到最多幅图像。采用最早的彩色图像进行跟踪特定部位一方面是由于特定部位的跟踪需要特定部位的检测,在跟踪的过程中,如果有新的检测结果,那么需要重新初始化***,并进行重新跟踪;另一方面是因为检测特定部位可能需要较长时间。所以,检测采用最新的图像,而跟踪采用最早的图像,跟踪之后显示彩色图像和跟踪结果,并从环形缓冲器中删除该最早的图像,这样可以充分利用特定部位检测结果,并有助于跟踪结果显示。
根据一些实施例,该方法还包括将所跟踪的特定部位缓存在所述环形缓冲器中。
根据一些实施例,该方法还包括从环形缓冲器中的最早缓冲的彩色图像开始显示彩色图像,同时在彩色图像上指示所跟踪的特定部位,并删除环形缓冲器中已显示的彩色图像。
根据一些实施例,上述跟踪所述对象的步骤、检测特定部位的步骤、跟踪所述特定部位的步骤和显示彩色图像的步骤分别由四个独立的线程来实现。
如本领域的技术人员所理解的那样,本申请的实施例是以人脸为例子进行描述的,但是也可以应用于其他的方面例如车辆、动物等对象的特定部位的检测。
虽然已参照几个典型实施例描述了本发明,但应当理解,所用的术语是说明和示例性、而非限制性的术语。由于本发明能够以多种形式具体实施而不脱离发明的精神或实质,所以应当理解,上述实施例不限于任何前述的细节,而应在随附权利要求所限定的精神和范围内广泛地解释,因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。
Claims (4)
1.一种基于环形缓冲器跟踪对象的特定部位的方法,包括步骤:
在深度图像中跟踪一对象以便基于深度图像中跟踪的对象确定感兴趣区域;
将所述感兴趣区域和所捕获的彩色图像存储到环形缓冲器中;
利用所述感兴趣区域从环形缓冲器存储的最新彩色图像中检测该对象的特定部位,并且将检测的特定部位存储在环形缓冲器中;
用所检测的特定部位和所述感兴趣区域从环形缓冲器中最早的彩色图像中跟踪所述对象的特定部位,获得跟踪的特定部位。
2.如权利要求1所述的方法,还包括步骤:将所跟踪的特定部位缓存在所述环形缓冲器中。
3.如权利要求2所述的方法,还包括步骤:从环形缓冲器中的最早缓冲的彩色图像开始显示彩色图像,同时在彩色图像上指示所跟踪的特定部位,并删除环形缓冲器中已显示的彩色图像。
4.如权利要求3所述的方法,其中,跟踪所述对象的步骤、检测特定部位的步骤、跟踪所述特定部位的步骤和显示彩色图像的步骤分别由四个独立的线程来实现。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210206387.7A CN103514429B (zh) | 2012-06-21 | 2012-06-21 | 检测对象的特定部位的方法及图像处理设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210206387.7A CN103514429B (zh) | 2012-06-21 | 2012-06-21 | 检测对象的特定部位的方法及图像处理设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103514429A CN103514429A (zh) | 2014-01-15 |
CN103514429B true CN103514429B (zh) | 2018-06-22 |
Family
ID=49897130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210206387.7A Expired - Fee Related CN103514429B (zh) | 2012-06-21 | 2012-06-21 | 检测对象的特定部位的方法及图像处理设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103514429B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103971380B (zh) * | 2014-05-05 | 2016-09-28 | 中国民航大学 | 基于rgb-d的行人尾随检测方法 |
US10685214B2 (en) | 2015-09-25 | 2020-06-16 | Intel Corporation | Face detection window refinement using depth |
CN106096559A (zh) * | 2016-06-16 | 2016-11-09 | 深圳零度智能机器人科技有限公司 | 障碍物检测方法及***以及运动物体 |
CN106504751A (zh) * | 2016-08-01 | 2017-03-15 | 深圳奥比中光科技有限公司 | 自适应唇语交互方法以及交互装置 |
CN106295570B (zh) * | 2016-08-11 | 2019-09-13 | 北京暴风魔镜科技有限公司 | 交互遮挡过滤***和方法 |
CN106845361B (zh) * | 2016-12-27 | 2020-01-17 | 深圳大学 | 一种行人头部识别方法及*** |
CN108932505A (zh) * | 2018-07-25 | 2018-12-04 | 维沃移动通信有限公司 | 一种图像处理方法和电子设备 |
CN110493527B (zh) * | 2019-09-24 | 2022-11-15 | Oppo广东移动通信有限公司 | 主体对焦方法、装置、电子设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102042986A (zh) * | 2009-10-20 | 2011-05-04 | 西安费斯达自动化工程有限公司 | 基于图像和fpga的汽车尾气自动监测 |
CN102222343A (zh) * | 2010-04-16 | 2011-10-19 | 上海摩比源软件技术有限公司 | 人体运动跟踪方法及其*** |
CN102509074A (zh) * | 2011-10-18 | 2012-06-20 | Tcl集团股份有限公司 | 一种目标识别方法和设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100072772A (ko) * | 2008-12-22 | 2010-07-01 | 한국전자통신연구원 | 스테레오 비전을 이용한 실시간 얼굴 검출 시스템 및 그 방법 |
-
2012
- 2012-06-21 CN CN201210206387.7A patent/CN103514429B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102042986A (zh) * | 2009-10-20 | 2011-05-04 | 西安费斯达自动化工程有限公司 | 基于图像和fpga的汽车尾气自动监测 |
CN102222343A (zh) * | 2010-04-16 | 2011-10-19 | 上海摩比源软件技术有限公司 | 人体运动跟踪方法及其*** |
CN102509074A (zh) * | 2011-10-18 | 2012-06-20 | Tcl集团股份有限公司 | 一种目标识别方法和设备 |
Also Published As
Publication number | Publication date |
---|---|
CN103514429A (zh) | 2014-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103514429B (zh) | 检测对象的特定部位的方法及图像处理设备 | |
Barekatain et al. | Okutama-action: An aerial view video dataset for concurrent human action detection | |
Barris et al. | A review of vision-based motion analysis in sport | |
US11842572B2 (en) | Device, system, and method of computer vision, object tracking, image analysis, and trajectory estimation | |
US11373354B2 (en) | Techniques for rendering three-dimensional animated graphics from video | |
CN102542492B (zh) | 视觉广告效果评估***及方法 | |
Ellis | Performance metrics and methods for tracking in surveillance | |
US20160225410A1 (en) | Action camera content management system | |
US20090060352A1 (en) | Method and system for the detection and the classification of events during motion actions | |
CN109002761A (zh) | 一种基于深度卷积神经网络的行人重识别监控*** | |
CN102112943A (zh) | 确定用户头部运动/注视关系的方法和***以及交互式显示*** | |
CN106663196A (zh) | 视频中的计算机显著人物识别 | |
CN106446002A (zh) | 一种基于运动目标在地图中轨迹的视频检索方法 | |
CN108875730A (zh) | 一种深度学习样本收集方法、装置、设备及存储介质 | |
CN110287907A (zh) | 一种对象检测方法和装置 | |
Nambiar et al. | A multi-camera video dataset for research on high-definition surveillance | |
Conaire et al. | Tennissense: A platform for extracting semantic information from multi-camera tennis data | |
Penate-Sanchez et al. | TGC20ReId: A dataset for sport event re-identification in the wild | |
WO2008132741A2 (en) | Apparatus and method for tracking human objects and determining attention metrics | |
JP7198661B2 (ja) | オブジェクト追跡装置及びそのプログラム | |
Hayashi et al. | Head and upper body pose estimation in team sport videos | |
Reno et al. | Tennis player segmentation for semantic behavior analysis | |
CN111970434A (zh) | 多摄像机多目标的运动员跟踪拍摄视频生成***及方法 | |
Messelodi et al. | A low-cost computer vision system for real-time tennis analysis | |
US11908194B2 (en) | Tracking sparse objects and people in large scale environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180622 Termination date: 20190621 |
|
CF01 | Termination of patent right due to non-payment of annual fee |