CN105744152A - 被摄体追踪设备、摄像设备和被摄体追踪方法 - Google Patents
被摄体追踪设备、摄像设备和被摄体追踪方法 Download PDFInfo
- Publication number
- CN105744152A CN105744152A CN201510993768.8A CN201510993768A CN105744152A CN 105744152 A CN105744152 A CN 105744152A CN 201510993768 A CN201510993768 A CN 201510993768A CN 105744152 A CN105744152 A CN 105744152A
- Authority
- CN
- China
- Prior art keywords
- subject
- image
- region
- unit
- subject region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/164—Detection; Localisation; Normalisation using holistic features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
- G06V10/7515—Shifting the patterns to accommodate for positional errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Geometry (AREA)
Abstract
本发明涉及被摄体追踪设备、摄像设备和被摄体追踪方法。该摄像设备用作用于追踪所提供的图像中所包括的被摄体的被摄体追踪设备,将表示被摄体的部分图像登记为模板,并且通过使用该模板来进行用于估计区域的模板匹配,以及进行用于登记表示被摄体的部分图像的直方图并通过使用该直方图估计区域的直方图匹配。在基于直方图匹配的估计区域和基于模板匹配的估计区域之间的距离在预定范围内的情况下,采用基于模板匹配的估计区域作为被摄体区域,并且在基于直方图匹配的估计区域和基于模板匹配的估计区域之间的距离不在预定范围内的情况下,采用基于直方图匹配的估计区域作为被摄体区域。
Description
技术领域
本发明涉及用于追踪顺次提供的图像中所包括的被摄体的被摄体追踪设备及其控制方法、摄像设备和显示设备。
背景技术
用于从按时间顺序顺次提供的图像中提取特定被摄体并且追踪所提取出的被摄体的技术非常有用,并且例如用于识别运动图片中的人的面部区域和人的身体区域。例如可以在电话会议、人机接口、安全、用于追踪任意被摄体的监视***、以及图像压缩的许多领域中使用这种技术。
在数字静态照相机和数字摄像机中,日本特开2005-318554和日本特开2001-60269提出如下技术:提取并追踪通过使用触摸面板等所指定的拍摄图像中所包括的任意被摄体并且使针对该被摄体的焦点状态和曝光状态最优化。例如,日本特开2005-318554讨论了用于检测(提取)并追踪拍摄图像中所包括的面部的位置并且以最佳曝光水平对面部图像进行调焦和拍摄的技术。日本特开2001-60269讨论了用于通过模板匹配来自动追踪特定被摄体的技术。模板匹配是如下方法:将通过剪切包括要追踪的特定被摄体的图像区域而获得的部分图像登记为模板图像,并且估计图像中与模板图像的相似度最高或者与模板图像的差异最低的区域,以追踪特定被摄体。在模板匹配中,通过使用诸如触摸面板等的输入接口来指定图像中所包括的任何给定区域,并且基于这种区域来登记模板图像。
在模板匹配中,使用图像数据作为评价标准。在模板图像和要搜索的图像之间被摄体的外观存在较大变化(诸如姿势的变化等)的情况下,存在无法估计出正确区域的问题。
针对该问题,存在代替图像数据自身而使用直方图作为匹配的评价标准的方法(直方图匹配)。通过将表示被摄体的信息从图像数据转换成直方图,带来了模糊性,并且可以实现相对于被摄体的姿势变化具有鲁棒性的被摄体追踪。另一方面,在将基于直方图的直方图匹配与基于图像数据的模板匹配进行比较时,在被摄体的外观变化较小的情况下存在位置的估计精度劣化的方面。
发明内容
根据本发明的一个方面,一种被摄体追踪设备,用于追踪顺次提供的图像中所包括的被摄体,所述被摄体追踪设备包括:第一登记单元,用于将表示所提供的图像中的预定图像中的被摄体的部分图像登记为模板;第一匹配单元,用于通过将所提供的图像中的其它图像与所述第一登记单元所登记的模板进行匹配,来估计第一被摄体区域;第二登记单元,用于登记基于表示所提供的图像中的预定图像中的被摄体的部分图像的像素值所生成的直方图;第二匹配单元,用于通过将所述其它图像的部分区域的直方图与所述第二登记单元所登记的直方图进行匹配,来估计第二被摄体区域;以及被摄体区域确定单元,用于基于所述第一匹配单元和所述第二匹配单元的估计结果,通过采用所述第一匹配单元和所述第二匹配单元中任一单元的估计结果来确定所估计的被摄体区域,其中,在所述第二被摄体区域和所述第一被摄体区域之间的距离处于预定范围内的情况下,所述被摄体区域确定单元将所述第一被摄体区域确定为所估计的被摄体区域,以及在所述第二被摄体区域和所述第一被摄体区域之间的距离没有处于所述预定范围内的情况下,所述被摄体区域确定单元将所述第二被摄体区域确定为所估计的被摄体区域。
根据本发明的另一方面,一种摄像设备,包括:上述的被摄体追踪设备;摄像单元,用于向所述被摄体追踪设备顺次提供拍摄图像;以及控制单元,用于根据所述被摄体追踪设备所输出的与被摄体有关的信息来控制所述摄像单元。
根据本发明的又一方面,一种被摄体追踪方法,用于追踪顺次提供的图像中所包括的被摄体,所述被摄体追踪方法包括以下步骤:第一登记步骤,用于将表示所提供的图像中的预定图像中的被摄体的部分图像登记为模板;第一匹配步骤,用于通过将所提供的图像中的其它图像与所述第一登记步骤所登记的模板进行匹配,来估计第一被摄体区域;第二登记步骤,用于登记基于表示所提供的图像中的预定图像中的被摄体的部分图像的像素值所生成的直方图;第二匹配步骤,用于通过将所述其它图像的部分区域的直方图与所述第二登记步骤所登记的直方图进行匹配,来估计第二被摄体区域;以及被摄体区域确定步骤,用于基于所述第一匹配步骤和所述第二匹配步骤的估计结果,通过采用所述第一匹配步骤和所述第二匹配步骤中任一步骤的估计结果来确定所估计的被摄体区域,其中,在所述第二被摄体区域和所述第一被摄体区域之间的距离处于预定范围内的情况下,所述被摄体区域确定步骤将所述第一被摄体区域确定为所估计的被摄体区域,以及在所述第二被摄体区域和所述第一被摄体区域之间的距离没有处于所述预定范围内的情况下,所述被摄体区域确定步骤将所述第二被摄体区域确定为所估计的被摄体区域。
通过以下参考附图对典型实施例的说明,本发明的其它特征将变得明显。
附图说明
图1是例示根据典型实施例的摄像设备的示意性结构的框图。
图2是例示被摄体追踪的帧操作的图。
图3A和3B是用于说明模板匹配的图。
图4A和4B是用于说明直方图匹配的图。
图5是例示根据典型实施例的被摄体追踪处理的流程的流程图。
图6是例示图5的被摄体区域确定处理的流程的流程图。
具体实施方式
以下,将参考附图来说明本发明的典型实施例。
图1是例示根据典型实施例的摄像设备100的示意性结构的框图。在本典型实施例中,摄像设备100被实现为用于拍摄被摄体的图像的数字照相机。摄像设备100还用作用于追踪按时间顺序顺次提供的图像中所包括的被摄体的被摄体追踪设备。
摄像设备100包括:摄像光学***101、摄像元件102、模拟信号处理单元103、A/D转换单元104、控制单元105、图像处理单元106、显示单元107、记录介质108、被摄体指定单元109和被摄体追踪单元110。
表示被摄体图像的光通过摄像光学***101来聚光并且入射到包括电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器的摄像元件102上。摄像元件102以像素为单位来输出与入射光的强度相对应的电气信号(更具体地,摄像元件102对摄像光学***101所形成的被摄体图像进行光电转换)。从摄像元件102输出的电气信号是表示摄像元件102所拍摄到的被摄体图像的图像信号。
模拟信号处理单元103对从摄像元件102输出的视频信号进行诸如相关双采样(correlateddoublesampling,CDS)等的模拟信号处理。A/D转换单元104将从模拟信号处理单元103输出的视频信号转换成数字数据的格式,并且将该视频信号输入至控制单元105和图像处理单元106。
控制单元105包括中央处理单元(CPU)和微控制器,并且被配置为对摄像设备100的工作进行集中控制。控制单元105控制诸如焦点状况和曝光状况等的摄像元件102拍摄图像所用的摄像条件。更具体地,控制单元105基于从A/D转换单元104输出的视频信号,来控制摄像光学***101的焦点控制机构和曝光控制机构(均未示出)。例如,焦点控制机构是用于在光轴方向上驱动摄像光学***101中所包括的透镜的致动器等,并且曝光控制机构是用于驱动光圈和快门的致动器等。另外,控制单元105进行摄像元件102的读取控制(例如,摄像元件102的输出时刻和输出像素)。控制单元105通过将只读存储器(ROM)中所存储的程序代码展开至随机存取存储器(RAM)的工作区域并且顺次执行这些程序代码来控制摄像设备100的各个单元。
图像处理单元106对从A/D转换单元104输出的视频信号进行诸如伽玛校正和白平衡处理等的图像处理。另外,图像处理单元106还具有如下功能:除进行正常图像处理以外,还进行使用与从下述的被摄体追踪单元110所提供的图像中的被摄体区域有关的信息的图像处理。
将从图像处理单元106输出的视频信号发送至显示单元107。显示单元107例如包括液晶显示器(LCD)和有机电致发光(organicelectroluminescent,EL)显示器,并且显示视频信号。将摄像元件102按时间顺次连续拍摄到的图像顺次显示在显示单元107上,以使得显示单元107可以用作电子取景器(EVF)。显示单元107以矩形等来显示包括被摄体追踪单元110所追踪的被摄体的被摄体区域。
将从图像处理单元106输出的视频信号记录至记录介质108(例如,可拆卸的存储卡)。视频信号的记录目的地可以是摄像设备100的内部存储卡或者可以是以摄像设备100可以利用通信接口进行通信的方式而连接的外部设备(均未示出)。
被摄体指定单元109包括例如具有触摸面板和按钮的输入接口。用户(拍摄图像的人)可以利用被摄体指定单元109来将图像中所包括的任意被摄体指定为追踪对象。
被摄体追踪单元110对从图像处理单元106按时间顺序顺次提供的图像(图像信号)(即,在不同的时间点所拍摄到的图像)中所包括的被摄体进行追踪。被摄体追踪单元110基于被摄体的像素图案和直方图来追踪被摄体指定单元109所指定的被摄体。可替代地,被摄体追踪单元110可以被配置为例如包括面部检测所用的特定被摄体检测单元(未示出)以追踪所检测到的被摄体。以下将说明被摄体追踪单元110的细节。
控制单元105可以使用与从被摄体追踪单元110所提供的被摄体区域有关的信息来控制上述的焦点控制机构和曝光控制机构。更具体地,进行使用被摄体区域中的对比度值的焦点控制和使用被摄体区域中的亮度值的曝光控制。因此,摄像设备100可以考虑到拍摄图像中的特定被摄体区域来进行摄像处理。
将说明被摄体追踪单元110的细节。被摄体追踪单元110用作两种类型的匹配单元。其中一种是如下的匹配单元:采用表示对象被摄体的部分图像作为模板并对照所提供的图像的部分区域,并且改变所对照的部分区域,从而估计相似度高或差异低的区域(以下称为模板匹配)。另一种是如下的匹配单元:使用表示对象被摄体的部分图像的直方图并对照所提供的图像的部分区域的直方图,并且改变所对照的部分区域,从而估计相似度高或差异低的区域(以下称为直方图匹配)。基于各个匹配评价值来确定被摄体区域。
图2例示被摄体追踪单元110所进行的被摄体追踪的帧操作。
图像201、202和203是被摄体追踪单元110的输入图像的示例。图像201是由被摄体指定单元109指定了追踪对象的图像,并且是被摄体追踪处理的起始图像。图像202是进行被摄体追踪处理的图像其中之一并且是在最接近当前时间的时间点所拍摄到的图像。图像203是当前时间的图像,并且是进行用于估计被摄体区域的处理的图像。
部分图像204表示追踪的起始图像201中要追踪的被摄体。根据部分图像204生成直方图205,并且登记直方图205。
部分图像206表示紧挨在被摄体追踪处理之前的结果,并且将部分图像206登记为模板。
搜索范围207表示被摄体追踪处理的搜索范围。对搜索范围207执行使用直方图205的直方图匹配和使用模板206的模板匹配。更具体地,进行基于追踪的起始帧(帧1)的直方图匹配和基于紧挨在追踪之前的帧(帧n-1)的模板匹配。
将参考图3A和3B来说明模板匹配的细节。
图3A例示模板匹配中的被摄体模型(模板)的示例。部分图像(模板)301表示要追踪的被摄体,并且将部分图像301的像素图案视为特征量。特征量302表示模板301的特征量,并且采用像素数据的亮度信号作为特征量。通过下式(1)来表示特征量T(i,j):
T(i,j)={T(0,0),T(1,0),···,T(W-1,H-1)}···(1)
其中,模板区域中的坐标是(i,j),水平像素的数量是W,并且垂直像素的数量是H。
图3B例示与搜索追踪对象的图像有关的信息。搜索范围303是进行匹配处理的范围。搜索图像中的坐标由(x,y)表示。部分区域304是获得匹配的评价值的区域。特征量305表示部分区域304的特征量,并且与模板301一样,采用像素数据的亮度信号作为特征量。通过下式(2)来表示特征量S(i,j):
S(i,j)={S(0,0),S(1,0),···,S(W-1,H-1)}···(2)
其中,部分区域中的坐标是(i,j),水平像素的数量是W,并且垂直像素的数量是H。
使用绝对差异和(SAD)的值作为用于评价模板301和部分区域304之间的相似度的计算方法。通过下式(3)来计算SAD值:
按照部分区域304从搜索范围303的左上角起顺次逐像素进行偏移的方式来计算SAD值V(x,y)。所计算出的V(x,y)表示最小值的坐标(x,y)是与模板301最相似的位置。更具体地,表示最小值的位置是搜索图像中所寻找的追踪对象可能存在的位置。
根据本典型实施例,使用与亮度信号有关的一维信息作为特征量。可替代地,可以使用与例如亮度、色相和饱和度的信号有关的三维信息作为特征量。根据本典型实施例,说明了SAD值作为匹配的评价值的计算方法。可替代地,可以使用诸如归一化相关系数(normalizedcorrelationcoefficient,NCC)等的不同的计算方法。
将参考图4A和4B来说明直方图匹配的细节。
图4A例示直方图匹配中的被摄体模型的示例。部分图像401表示要追踪的被摄体的示例,并且将根据部分图像401的像素数据所生成的直方图视为特征量。特征量402表示部分图像401的特征量,并且通过下式(4)来表示该特征量:
p(m)={p(0),p(1),···p(M-1)}···(4)
其中,特征量是M阶亮度信号的直方图。
图4B例示与搜索追踪对象的图像有关的信息。搜索范围403是进行匹配处理的范围。搜索图像中的坐标由(x,y)表示。部分区域404是获得匹配的评价值的区域。特征量405表示根据部分区域404所生成的特征量,并且通过下式(5)来表示特征量:
q(m)={q(0),q(1),···q(M-1)}···(s)
其中,与部分图像401一样,特征量是M阶亮度信号的直方图。
使用巴氏系数(Bhattacharyyacoefficient)作为用于评价部分图像301的直方图和部分区域404的直方图之间的相似度的计算方法。通过下式(6)来获得巴氏系数。
按照部分区域404从搜索范围403的左上角起顺次逐像素进行偏移的方式来计算巴氏系数D(x,y)。所计算出的D(x,y)表示最大值的坐标(x,y)是与部分图像401最相似的位置。更具体地,表示最大值的位置是搜索图像中所寻找的追踪对象可能存在的位置。
根据本典型实施例,使用与亮度信号有关的一维信息作为特征量。可替代地,可以使用与例如亮度、色相和饱和度的信号有关的三维信息作为特征量。根据本典型实施例,说明了巴氏系数作为匹配的评价值的计算方法。可替代地,可以使用诸如直方图交叉(histogramintersection)等的不同的计算方法。
根据本典型实施例的摄像设备100根据基于模板匹配和直方图匹配的评价值和估计区域(估计位置)来确定被摄体区域。
从上述的表达式可以理解,直方图匹配与模板匹配相比向特征量提供更多的模糊性。在模板匹配中,采用亮度信号的像素值的图案是否相似作为评价标准。然而,在直方图匹配中,采用亮度信号的像素值的比是否相似作为评价标准。因此,在被摄体模型和搜索图像之间的被摄体的状态中被摄体的姿势变化较大的情况下,直方图匹配中估计的成功几率更高。另一方面,通过向特征量赋予模糊性,直方图匹配与模板匹配相比具有较低的位置估计精度。在被摄体区域的估计中,与模板匹配相比,直方图匹配的被摄体区域的粗略估计的性能较高,但这意味着与模板匹配相比直方图匹配的详细位置调整的性能较低。
与直方图匹配相比较,在外观的变化(例如,被摄体的姿势变化)较大的情况下,模板匹配难以估计出正确的被摄体区域。另一方面,在被摄体的外观变化较小的情况下,模板匹配具有较高的的位置估计精度(位置调整的性能较高)。
有鉴于上述的特性,被摄体追踪单元110被配置为进行用于从追踪的起始帧起登记被摄体模型的直方图匹配、并且进行用于从紧挨在追踪之前的帧起登记被摄体模型的模板匹配。在直方图匹配中,登记基于被摄体指定单元109的信息的被摄体模型,并且在模板匹配中,对基于被摄体追踪单元110的结果的被摄体模型进行顺次更新。因此,从被摄体模型是否正确地包括对象被摄体的观点来看,不进行顺次更新的直方图匹配更佳。模板匹配可能包括被摄体追踪单元110的估计误差和估计误差的影响,并且可能在被摄体模型中包括除对象被摄体以外的信息(例如,背景)。基于各个匹配功能的评价值来进行匹配的可靠度判断,但可靠度判断的精度归因于被摄体模型的可靠度。更具体地,在直方图匹配中,可靠度判断的精度较高,但模板匹配的可靠度判断的精度较低。
上述情况仅是示例,并且根据被摄体的姿势变化和外观变化的程度,被摄体区域的直方图可能发生改变。因此,即使在直方图匹配中也可以从紧挨在追踪之前的帧起登记被摄体模型。然而,为了防止被摄体模型中包括背景,期望仅在顺次进行基于位置估计精度较高的模板匹配的被摄体追踪的情况下更新直方图匹配的被摄体模型。可替代地,在直方图匹配和模板匹配的任何之一中,可以从追踪的起始帧和紧挨在追踪之前的帧两者起登记被摄体模型并且使用从这两个帧所获得的被摄体模型。
将说明用于通过利用上述的特性来根据各个匹配评价值而确定被摄体区域的方法。在基于直方图匹配的估计区域附近存在基于模板匹配的估计区域的情况下,采用基于模板匹配的估计区域作为被摄体区域。在基于直方图匹配的估计区域附近不存在基于模板匹配的任何估计区域的情况下,采用基于直方图匹配的估计区域作为被摄体区域。针对直方图匹配的可靠度较高的情况,受限地进行用于判断采用了哪种匹配方法来获得估计区域的处理,由此可以应对直方图匹配的搜索失败或所找到的被摄体从搜索范围内的图像中消失的情况。
图5是例示根据本典型实施例的被摄体追踪处理的流程图。
在步骤S501中,将图像从图像处理单元106输入至被摄体追踪单元110。在步骤S502中,被摄体追踪单元110基于输入图像和来自被摄体指定单元109的信息来确定表示要追踪的被摄体的部分图像。
在步骤S503中,被摄体追踪单元110基于表示要追踪的被摄体的部分图像来登记作为直方图匹配的被摄体模型的直方图。在步骤S504中,被摄体追踪单元110将表示要追踪的被摄体的部分图像登记为作为模板匹配的被摄体模型的模板。
在步骤S505中,将图像从图像处理单元106输入至被摄体追踪单元110。步骤S505的输入图像表示被摄体追踪单元110的搜索图像,并且步骤S501的输入图像和步骤S505的输入图像是各自在不同的时间点所拍摄到的图像。在步骤S506中,基于步骤S505的输入图像来进行直方图匹配。然后,在步骤S507中,进行模板匹配。
在步骤S508中,被摄体追踪单元110基于直方图匹配和模板匹配的评价值及相关的区域信息来确定被摄体区域。
将参考图6来说明步骤S508的被摄体区域确定处理的流程。
在步骤S601中,被摄体追踪单元110判断直方图匹配的评价值的可靠度是否高。例如,在可靠度判断中,在式(6)的巴氏系数D(x,y)的最大值等于或大于预定阈值的情况下,判断为可靠度高,并且在巴氏系数D(x,y)的最大值小于预定阈值的情况下,判断为可靠度低。
在直方图匹配的评价值的可靠度高的情况下(步骤S601为是),处理进入步骤S602。在步骤S602中,进行如下判断:直方图匹配的估计区域附近是否存在任何基于模板匹配的估计区域。例如,在该判断中,对式(6)的巴氏系数D(x,y)的最大值的坐标(x,y)和式(3)的SAD值V(x,y)的最小值的坐标(x,y)之间的距离进行计算,并且基于所计算出的距离是否在预定范围内来进行判断。
在基于直方图匹配的估计区域附近不存在任何基于模板匹配的估计区域的情况下(步骤S602中的否),处理进入步骤S604。然后,在步骤S604中,采用基于直方图匹配的估计区域。更具体地,将通过式(6)而获得的巴氏系数D(x,y)的最大值的坐标(x,y)确定为被摄***置。与此相对,在直方图匹配的估计区域附近存在基于模板匹配的估计区域的情况下(步骤S602为是),处理进入步骤S605。然后,在步骤S605中,采用基于模板匹配的估计区域。更具体地,将通过式(3)而获得的SAD值V(x,y)的最小值的坐标(x,y)确定为被摄***置。
另一方面,在直方图匹配的评价值的可靠度低的情况下(步骤S601为否),处理进入步骤S603。在步骤S603中,进行如下判断:模版匹配的评价值的可靠度是否高。例如,在可靠度判断中,在通过式(3)所获得的SAD值V(x,y)的最小值小于预定阈值的情况下,判断为可靠度高,并且在SAD值V(x,y)的最小值等于或大于预定阈值的情况下,判断为可靠度低。
在模板匹配的评价值的可靠度高的情况下(步骤S603为是),处理进入步骤S605。然后,在步骤S605中,采用基于模板匹配的估计区域。与此相对,在模板匹配的评价值的可靠度低的情况下(步骤S603为否),处理进入步骤S606。然后,在步骤S606中,基于模板匹配的估计区域和基于直方图匹配的估计区域这两者均不被采用。
如上所述,在基于直方图匹配的可靠度判断的可靠度高的情况下,在无需依赖于基于模板匹配的可靠度判断的可靠度的状态下,进行如下判断:是采用基于模板匹配的估计区域还是采用基于直方图匹配的估计区域。
返回至图5的说明,在步骤S508中确定出被摄体区域的情况下,在步骤S509中,被摄体追踪单元110判断是否要基于结果继续进行追踪。例如,在该判断中,如步骤S606中的处理那样,在模板匹配的估计区域和直方图匹配的估计区域两者均不被采用的情况下,判断为不继续进行追踪。另一方面,如步骤S604和步骤S605中那样,在采用模板匹配的估计区域和直方图匹配的估计区域中的任何之一的情况下,继续进行追踪。在判断为不继续进行追踪的情况下(步骤S509为否),终止被摄体追踪处理。在要追踪的被摄体不再存在于搜索范围内的图像中的情况下预期要执行该过程。在判断为继续进行追踪的情况下(步骤S509为是),处理进入步骤S510。在步骤S510中,基于所估计出的被摄体区域来更新模板。然后,处理返回至步骤S505,并且基于顺次提供的图像来执行重复处理。
如上所述,使用了直方图匹配和模板匹配两者,并且可以考虑到匹配方法各自的特性来精确地估计被摄体区域,由此被摄体追踪的性能可以得到改善。
已经参考典型实施例说明了本发明,但以上典型实施例只是说明用于实施本发明的典型实施例的示例,并且应当理解,不应以限制性的方式来解释本发明的技术范围。更具体地,可以在没有背离本发明的技术思想或主要特征的情况下,以各种方式来实施本发明。
在上述的典型实施例中,说明了将被摄体追踪设备应用于摄像设备的情况作为示例,但应用被摄体追踪设备的装置不限于摄像设备。例如,被摄体追踪设备还可以应用于用于显示从外部装置或记录介质所提供的图像(再现数据)的显示设备。该显示设备通过采用再现数据作为被摄体追踪处理的数据来进行被摄体追踪处理。该显示设备中的诸如微控制器等的控制单元基于与被摄体追踪处理所提取出的被摄体有关的信息(图像中的被摄体的位置和大小),来控制用于显示图像的显示条件。更具体地,控制单元控制以重叠的方式对图像的被摄***置处的表示被摄体的信息(诸如框等)的显示,并且控制与被摄体部分的亮度和颜色信息相对应的显示图像的亮度和色调等。
本发明还可以通过如下处理来实现:将用于实现以上典型实施例的一个或多个功能的程序经由网络或存储介质提供给***或设备,并且***或设备的计算机中的一个或多个处理器读取和执行该程序。本发明还可以通过用于实现一个或多个功能的电路(例如,专用集成电路(ASIC))来实现。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改以及等同结构和功能。
Claims (7)
1.一种被摄体追踪设备,用于追踪顺次提供的图像中所包括的被摄体,所述被摄体追踪设备包括:
第一登记单元,用于将表示所提供的图像中的预定图像中的被摄体的部分图像登记为模板;
第一匹配单元,用于通过将所提供的图像中的其它图像与所述第一登记单元所登记的模板进行匹配,来估计第一被摄体区域;
第二登记单元,用于登记基于表示所提供的图像中的预定图像中的被摄体的部分图像的像素值所生成的直方图;
第二匹配单元,用于通过将所述其它图像的部分区域的直方图与所述第二登记单元所登记的直方图进行匹配,来估计第二被摄体区域;以及
被摄体区域确定单元,用于基于所述第一匹配单元和所述第二匹配单元的估计结果,通过采用所述第一匹配单元和所述第二匹配单元中任一单元的估计结果来确定所估计的被摄体区域,
其中,在所述第二被摄体区域和所述第一被摄体区域之间的距离处于预定范围内的情况下,所述被摄体区域确定单元将所述第一被摄体区域确定为所估计的被摄体区域,以及
在所述第二被摄体区域和所述第一被摄体区域之间的距离没有处于所述预定范围内的情况下,所述被摄体区域确定单元将所述第二被摄体区域确定为所估计的被摄体区域。
2.根据权利要求1所述的被摄体追踪设备,其中,
所述第一登记单元基于紧挨在所述被摄体追踪设备所进行的追踪之前的帧内所提供的图像,来更新模板,以及
所述第二登记单元基于所述被摄体追踪设备所进行的追踪的起始帧所提供的图像,来登记直方图。
3.根据权利要求1所述的被摄体追踪设备,其中,还包括判断单元,所述判断单元用于判断所述第一被摄体区域的可靠度和所述第二被摄体区域的可靠度,
其中,在所述第二被摄体区域的可靠度大于预定值的情况下,所述被摄体区域确定单元使用所述第一匹配单元的估计结果和所述第二匹配单元的估计结果两者来确定所估计的被摄体区域。
4.根据权利要求1所述的被摄体追踪设备,其中,还包括判断单元,所述判断单元用于判断所述第一被摄体区域的可靠度和所述第二被摄体区域的可靠度,
其中,在所述第一被摄体区域的可靠度和所述第二被摄体区域的可靠度均小于预定值的情况下,所述被摄体区域确定单元终止被摄体的追踪。
5.根据权利要求1所述的被摄体追踪设备,其中,所述第一登记单元基于所述部分图像的亮度值来登记模板。
6.一种摄像设备,包括:
根据权利要求1所述的被摄体追踪设备;
摄像单元,用于向所述被摄体追踪设备顺次提供拍摄图像;以及
控制单元,用于根据所述被摄体追踪设备所输出的与被摄体有关的信息来控制所述摄像单元。
7.一种被摄体追踪方法,用于追踪顺次提供的图像中所包括的被摄体,所述被摄体追踪方法包括以下步骤:
第一登记步骤,用于将表示所提供的图像中的预定图像中的被摄体的部分图像登记为模板;
第一匹配步骤,用于通过将所提供的图像中的其它图像与所述第一登记步骤所登记的模板进行匹配,来估计第一被摄体区域;
第二登记步骤,用于登记基于表示所提供的图像中的预定图像中的被摄体的部分图像的像素值所生成的直方图;
第二匹配步骤,用于通过将所述其它图像的部分区域的直方图与所述第二登记步骤所登记的直方图进行匹配,来估计第二被摄体区域;以及
被摄体区域确定步骤,用于基于所述第一匹配步骤和所述第二匹配步骤的估计结果,通过采用所述第一匹配步骤和所述第二匹配步骤中任一步骤的估计结果来确定所估计的被摄体区域,
其中,在所述第二被摄体区域和所述第一被摄体区域之间的距离处于预定范围内的情况下,所述被摄体区域确定步骤将所述第一被摄体区域确定为所估计的被摄体区域,以及
在所述第二被摄体区域和所述第一被摄体区域之间的距离没有处于所述预定范围内的情况下,所述被摄体区域确定步骤将所述第二被摄体区域确定为所估计的被摄体区域。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014263335A JP6521626B2 (ja) | 2014-12-25 | 2014-12-25 | 被写体追跡装置、方法およびプログラム |
JP2014-263335 | 2014-12-25 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105744152A true CN105744152A (zh) | 2016-07-06 |
CN105744152B CN105744152B (zh) | 2019-06-18 |
Family
ID=56164831
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510993768.8A Active CN105744152B (zh) | 2014-12-25 | 2015-12-25 | 被摄体追踪设备、摄像设备和被摄体追踪方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10013632B2 (zh) |
JP (1) | JP6521626B2 (zh) |
CN (1) | CN105744152B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6444835B2 (ja) * | 2015-09-07 | 2018-12-26 | 株式会社東芝 | 画像処理装置、画像処理プログラムおよび画像処理システム |
US10579879B2 (en) * | 2016-08-10 | 2020-03-03 | Vivint, Inc. | Sonic sensing |
CN106327526B (zh) | 2016-08-22 | 2020-07-07 | 杭州保新科技有限公司 | 图像目标跟踪方法与*** |
CN107480605B (zh) * | 2017-07-28 | 2020-05-08 | 广州翼拍联盟网络技术有限公司 | 图像维度信息评判方法、装置及计算设备 |
WO2020039567A1 (ja) * | 2018-08-23 | 2020-02-27 | 日本電気株式会社 | 物体照合装置 |
WO2020049935A1 (ja) * | 2018-09-05 | 2020-03-12 | 日本電産株式会社 | 物体認識装置および物体認識方法 |
JP2021197623A (ja) * | 2020-06-12 | 2021-12-27 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020198681A1 (en) * | 2001-06-13 | 2002-12-26 | Kouritzin Michael A. | Flexible efficient branching particle tracking algorithms |
CN101051385A (zh) * | 2006-04-07 | 2007-10-10 | 欧姆龙株式会社 | 特定被摄体跟踪方法和装置以及特征部跟踪方法和装置 |
CN101212658A (zh) * | 2007-12-21 | 2008-07-02 | 北京中星微电子有限公司 | 一种目标跟踪方法及装置 |
CN101369346A (zh) * | 2007-08-13 | 2009-02-18 | 北京航空航天大学 | 一种视频运动目标自适应窗口的跟踪方法 |
CN101939980A (zh) * | 2008-02-06 | 2011-01-05 | 松下电器产业株式会社 | 电子摄像机和图像处理方法 |
CN102103754A (zh) * | 2009-12-21 | 2011-06-22 | 佳能株式会社 | 被摄体跟踪设备、被摄体区域提取设备及其控制方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3768073B2 (ja) | 1999-06-15 | 2006-04-19 | 株式会社日立国際電気 | 物体追跡方法及び物体追跡装置 |
JP4154400B2 (ja) | 2004-04-01 | 2008-09-24 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
JP4969291B2 (ja) * | 2007-03-30 | 2012-07-04 | セコム株式会社 | 移動物体追跡装置 |
JP5167236B2 (ja) * | 2009-12-21 | 2013-03-21 | キヤノン株式会社 | 被写体追跡装置及びその制御方法 |
JP2012033022A (ja) * | 2010-07-30 | 2012-02-16 | Panasonic Corp | 空間における変化領域検出装置及び方法 |
JP2013098746A (ja) * | 2011-10-31 | 2013-05-20 | Jvc Kenwood Corp | 撮像装置、撮像方法およびプログラム |
-
2014
- 2014-12-25 JP JP2014263335A patent/JP6521626B2/ja active Active
-
2015
- 2015-12-11 US US14/967,057 patent/US10013632B2/en active Active
- 2015-12-25 CN CN201510993768.8A patent/CN105744152B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020198681A1 (en) * | 2001-06-13 | 2002-12-26 | Kouritzin Michael A. | Flexible efficient branching particle tracking algorithms |
CN101051385A (zh) * | 2006-04-07 | 2007-10-10 | 欧姆龙株式会社 | 特定被摄体跟踪方法和装置以及特征部跟踪方法和装置 |
CN101369346A (zh) * | 2007-08-13 | 2009-02-18 | 北京航空航天大学 | 一种视频运动目标自适应窗口的跟踪方法 |
CN101212658A (zh) * | 2007-12-21 | 2008-07-02 | 北京中星微电子有限公司 | 一种目标跟踪方法及装置 |
CN101939980A (zh) * | 2008-02-06 | 2011-01-05 | 松下电器产业株式会社 | 电子摄像机和图像处理方法 |
CN102103754A (zh) * | 2009-12-21 | 2011-06-22 | 佳能株式会社 | 被摄体跟踪设备、被摄体区域提取设备及其控制方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6521626B2 (ja) | 2019-05-29 |
US20160189392A1 (en) | 2016-06-30 |
JP2016123044A (ja) | 2016-07-07 |
US10013632B2 (en) | 2018-07-03 |
CN105744152B (zh) | 2019-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105744152A (zh) | 被摄体追踪设备、摄像设备和被摄体追踪方法 | |
CN107707871B (zh) | 图像处理设备、摄像设备、图像处理方法和存储介质 | |
JP5159515B2 (ja) | 画像処理装置およびその制御方法 | |
US9258481B2 (en) | Object area tracking apparatus, control method, and program of the same | |
JP7223079B2 (ja) | 画像処理装置およびその制御方法、ならびに撮像装置 | |
JP6685823B2 (ja) | 被写体追跡装置およびその制御方法、撮像装置、プログラム | |
US20210256713A1 (en) | Image processing apparatus and image processing method | |
JP5167236B2 (ja) | 被写体追跡装置及びその制御方法 | |
JP5539565B2 (ja) | 撮像装置及び被写体追跡方法 | |
JP2016081095A (ja) | 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム | |
JP5451364B2 (ja) | 被写体追跡装置及びその制御方法 | |
JP6555940B2 (ja) | 被写体追跡装置、撮像装置、及び被写体追跡装置の制御方法 | |
JP2009009206A (ja) | 画像中の輪郭抽出方法及びその画像処理装置 | |
JP5222429B2 (ja) | 被写体追跡装置及びその制御方法 | |
JP7034781B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5247419B2 (ja) | 撮像装置および被写体追跡方法 | |
US10565712B2 (en) | Image processing apparatus and method for controlling the same | |
US12008773B2 (en) | Object tracking apparatus and control method thereof using weight map based on motion vectors | |
US20220309706A1 (en) | Image processing apparatus that tracks object and image processing method | |
JP2024056441A (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
JP2023086274A (ja) | 画像処理装置およびその制御方法 | |
JP2023086273A (ja) | 画像処理装置およびその制御方法 | |
JP2021040178A (ja) | 画像処理装置、撮像装置、制御方法、およびプログラム | |
JP2019079440A (ja) | 被写体追跡装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |