具体实施方式
以下,参照附图对本发明的一个实施方式进行说明。
图1示出具有追踪装置的摄像装置100的一例的结构图。摄像装置(本装置)100包含摄影光学***102、焦点调整机构104、光圈106、光圈驱动机构108、快门110、快门驱动机构112、摄像元件114、摄像元件接口(IF)电路116、SDRAM118、显示元件120、显示元件驱动电路122、触摸面板124、触摸面板驱动电路126、记录介质128、搭载CPU1301的***控制器130、相机操作开关132、闪存(FlashROM)134。
摄像部101包含摄影光学***102、焦点调整机构104、光圈106、光圈驱动机构108、快门110、快门驱动机构112、摄像元件114、摄像元件接口(IF)电路116。
摄影光学***102将来自被摄体的光束F会聚到摄像元件114的受光面上。摄影光学***102包含对焦透镜等多个透镜。焦点调整机构104包含电动机和该电动机的驱动电路等。焦点调整机构104根据CPU1301的控制,在摄影光学***102内的对焦透镜的光轴方向(图示点划线方向)上驱动该对焦透镜。
光圈106开闭自如,并且调整经由摄影光学***102入射到摄像元件114的光束F的量。光圈驱动机构108包含用于驱动光圈106的驱动机构。光圈驱动机构108根据***控制器130内的CPU1301的控制来驱动光圈106。
快门110将摄像元件114的受光面设为遮光状态或曝光状态,调整摄像元件114的曝光时间。快门驱动机构112包含用于驱动快门110的驱动机构。快门驱动机构112根据***控制器130内的CPU1301的控制来驱动快门110。
摄像元件114包含受光面。经由摄影光学***102会聚的来自被摄体的光束F在摄像元件114的受光面上成像。摄像元件114的受光面是将多个像素配置成二维状而成的。在摄像元件114的受光面的光入射侧设有滤色器。摄像元件114将与在受光面上成像的光束F对应的像(被摄体像)转换为与其光量对应的电信号(以下称作图像信号)。作为摄像元件114,公知有例如CCD方式或CMOS方式等各种结构的摄像元件。滤色器的颜色排列公知有例如拜耳排列等各种的排列。本实施方式的摄像元件114的结构不限于特定的结构,可以使用各种结构的摄像元件。
摄像元件IF电路116按照CPU1301的控制来驱动摄像元件114,读出通过摄像元件114的驱动而输出的图像信号。摄像元件IF电路116对从摄像元件114读出的图像信号实施CDS(相关双采样)处理和AGC(自动增益控制)处理等模拟处理,将该模拟处理后的图像信号转换为数字信号(以下称作图像数据)。
在SDRAM118中例如作为存储区域形成有工作区域118a、追踪图像区域118b、追踪色日志区域118c、追踪数据日志区域118d。
在工作区域118a中暂时存储在摄像装置100的各部中产生的数据。工作区域118a中暂时存储的数据例如是通过摄像元件IF电路116得到的图像数据等。
在追踪图像区域118b中暂时存储追踪图像数据。追踪图像数据是包含进行追踪处理时的追踪对象即被摄体的帧的图像数据。
在追踪色日志区域118c中暂时存储对作为追踪对象的被摄体进行追踪时的颜色信息日志。
在追踪数据日志区域118d中暂时存储追踪数据日志。在本实施方式中,使用被摄体的脸部、亮度信息、颜色信息等的多个追踪处理来追踪被摄体。由此,在追踪数据日志区域118d中暂时存储在该追踪处理中所使用的追踪数据。
显示元件120例如是液晶显示器(LCD)。显示元件120对实时取景用的图像和记录介质128中所记录的图像数据等各种图像进行显示。以下,将显示元件120称作LCD120。显示元件驱动电路122根据通过CPU1301的控制而输入的图像数据来驱动LCD120,在LCD120中显示图像。
触摸面板124在LCD120的显示画面上一体地设置。触摸面板124检测用户的手指等对LCD120的显示画面上的接触(触摸),输出包含示出该触摸位置的坐标的接触检测信号。触摸面板驱动电路126驱动触摸面板124,并且将来自触摸面板124的接触检测信号发送到CPU1301。CPU1301从来自触摸面板124的接触检测信号中检测用户对显示画面上的接触操作,执行与该接触操作对应的处理。
记录介质128例如是存储卡。记录介质128记录由摄影动作得到的图像文件128a。图像文件128a是对图像数据赋予预定的文件头而形成的。在文件头中,记录表示摄影条件的数据和表示追踪位置的数据等作为标签数据。
***控制器130控制摄像装置100整体的动作。***控制器130包含CPU1301、作为各种控制电路的AF控制电路1302、AE控制电路1303、图像处理电路1304、作为焦点检测信息取得电路的测距位置设定电路1305、群组化设定电路1306和追踪特征检测电路1307、作为追踪处理电路的追踪位置设定电路1308和追踪电路1309、脸检测处理电路1310、亮度追踪处理电路1311、颜色信息追踪处理电路1312、以及存储器控制电路1313。
CPU1301控制焦点调整机构104、光圈驱动机构108、快门驱动机构112、显示元件驱动电路122、触摸面板驱动电路126等的动作,并且控制***控制器130内部的上述各种控制电路的动作。
本装置100包含通过CPU1301的动作控制来追踪追踪对象的功能。如上述图21所示,追踪功能包含多个焦点检测区域C。追踪功能根据各焦点检测区域C对于作为图像数据中的追踪对象的被摄体A的各对焦状态来追踪被摄体A。
AF控制电路1302控制对比度AF处理。具体而言,AF控制电路1302提取由摄像元件IF电路116得到的图像数据的高频分量,通过对提取到的高频分量进行累加,由此取得AF用的对焦评价值。CPU1301一边根据对焦评价值来评价图像数据的对比度,一边控制焦点调整机构104,将摄影光学***102的对焦透镜调整到成为对焦状态的位置。
AE控制电路1303控制AE动作。具体而言,AE控制电路1303使用由摄像元件IF电路116得到的图像数据来计算被摄体的亮度。AE控制电路1303根据被摄体的亮度来计算曝光时的光圈106的开口量(光圈值)、快门110的开放时间(快门速度值)。
图像处理电路1304对图像数据进行各种图像处理。图像处理例如包含颜色校正处理、伽马(γ)校正处理、压缩处理等。图像处理电路1304还对被压缩的图像数据实施解压缩处理。
焦点检测信息取得电路包含测距位置设定电路1305、群组化设定电路1306和追踪特征检测电路1307。焦点检测信息取得电路取得对于通过图21所示的多个焦点检测区域C检测到的被摄体A的对焦状态。
测距位置设定电路1305在多个焦点检测区域C中设定对于作为追踪对象的被摄体A处于对焦状态的焦点检测区域C。例如图21所示,测距位置设定电路1305在焦点检测区域C内的多个焦点检测用像素中检测对于被摄体A的对焦状态。
群组化设定电路1306根据对焦状态对由测距位置设定部1305所设定的焦点检测区域C进行群组化。例如图2所示,当存在2组对于被摄体处于对焦状态的多个焦点检测区域C(斜线部分)时,群组化设定电路1306对这些焦点检测区域C的各组进行群组化,并分别设为焦点检测区域群组C1、C2。形成这些焦点检测区域群组C1、C2意味着存在2个被摄体。
具体而言,在进行群组化的情况下,如图3所示,群组化设定部1306将多个焦点检测区域C中彼此相邻并且为相同的焦距的各焦点检测区域作为相同的1个群组而进行群组化。例如当各焦点检测区域Ca、Cb彼此相邻并且是相同的焦距时,群组化设定部1306将这些焦点检测区域Ca、Cb作为同1个群组而进行群组化。
关于各焦点检测区域C的相邻,图3的附图中,不限于左右的位置关系的各焦点检测区域Ca、Cb之间,也可以是处于上下关系的各焦点检测区域Ca、Cc之间、处于斜向关系的各焦点检测区域Ca、Cd之间。
在进行群组化的情况下,如图4所示,群组化设定部1306将由测距位置设定部1305设定的例如焦点检测区域Ca,以及相对于该焦点检测区域Ca隔开预先设定的像素数的焦点检测区域Ce和与该焦点检测区域Ce相邻的焦点检测区域Cf作为不同的群组,例如焦点检测区域群组C1、C2而进行群组化。
追踪特征检测电路1307检测由群组化设定部1306进行群组化后的例如焦点检测区域群组C1、C2区域内的作为追踪对象的被摄体A的特征量。追踪特征检测电路1307检测人体的脸部、亮度、颜色作为被摄体A的特征量。
追踪位置设定电路1308将由测距位置设定部1308设定的焦点检测区域C设定为第1追踪位置。追踪位置设定电路1308将由追踪特征检测部1307检测到的特征量的部分即作为被摄体A的特征量的人体的脸部、亮度、颜色部分设定为第2追踪位置。
追踪电路1309根据由群组化设定部1306设定的群组的数量,根据由追踪位置设定部1308设定的第1追踪位置(焦点检测区域C),在由多个连续的帧构成的动态图像上追踪作为追踪对象的被摄体A(第1追踪处理),或者根据第2追踪位置(作为被摄体A的特征量的脸部、亮度、颜色部分),在由多个连续的帧构成的动态图像上追踪作为追踪对象的被摄体A(第2追踪处理)。
当通过群组化设定部1306群组化为多个群组、例如焦点检测区域群组C1、C2时,追踪电路1309根据第2追踪位置与多个群组之间的位置关系来选择第1追踪位置(焦点检测区域C)或第2追踪位置(作为被摄体A的特征量的脸部、亮度、颜色部分)。
如果不存在由群组化设定部1306设定的群组,则追踪电路1309选择第2追踪位置(作为被摄体A的特征量的脸部、亮度、颜色部分)。如果群组是1个,则追踪电路1309选择第1追踪位置(焦点检测区域C)。如果群组是多个,则追踪电路1309根据第2追踪位置和处于对焦状态的焦点检测区域C来选择第1或第2追踪位置。
如果是由多个连续的帧构成的动态图像,则追踪电路1309按照多个帧图像中的每一个帧图像来更新第1或第2追踪位置,在多个摄像数据上追踪作为追踪对象的被摄体A。
脸检测处理电路1310检测图像数据中的被摄体(人物)的脸部,进行该脸部的追踪。脸检测处理求出在动态图像的各帧中得到的图像数据与例如图5A所示的各脸部器官402、404、406的各相关量。脸部器官402是与人物的鼻部周围的阴影的图案对应的图像数据。脸部器官404是与人物的眼部周围的阴影的图案对应的图像数据。脸部器官406是与人物的嘴部周围的阴影的图案对应的图像数据。如图5B所示,当成为表示人物的脸部的预定配置时,图像数据与各脸部器官402、404、406的各相关量成为最大。设为当各相关量成为最大时,在包含各脸部器官402、404、406的区域408中存在脸。在该图中,将脸部区域设为矩形区域,但也可以设为圆形区域。
亮度追踪处理电路1311使用图像数据的亮度信息来追踪被摄体A。在使用亮度信息的追踪处理中,例如在图6A所示的(N-1)帧中设定了追踪对象的情况下,将(N-1)帧的图像数据作为评价图像数据存储在SDRAM118中。亮度追踪处理电路1311将包含评价图像数据的追踪对象的预定范围202的图像数据设定为基准图像数据(以下设为基准图像数据202)。然后,亮度追踪处理电路1311从参照图像数据内搜索与评价图像数据中所包含的基准图像数据202对应的部分。
举例对N帧的追踪处理进行说明。首先,亮度追踪处理电路1311将N帧的图像数据作为参照图像数据存储到SDRAM118中。亮度追踪处理电路1311求出参照图像数据中的预定的搜索范围204的图像数据与基准图像数据202的相关量,从预定的搜索范围204的图像数据内搜索与基准图像数据202对应的部分。相关量是例如根据基准图像数据与参照图像数据的差分绝对值和(按照每个像素求出亮度差的绝对值,并对其进行累加后得到的结果)来判定的。
例如,当设为求出了图6B所示的参照图像数据的区域206内的参照图像数据与基准图像数据202的差分绝对值和时,参照图像数据的区域206与基准图像数据202明显是不同的图像数据,差分绝对值和较大。与此相对,当设为求出参照图像数据的区域208与基准图像数据202的差分绝对值和时,差分绝对值和较小。这样,随着参照图像数据与基准图像数据202的相关量变大,差分绝对值和变小。
在使用亮度信息的追踪处理中,从参照图像数据中搜索相关量最大、即差分绝对值和最小的区域。在图6B所示的例中,差分绝对值和最小的区域为区域208。
在追踪位置日志区域中,将记录区域208中一致度最高的位置记录为追踪位置。在存在多个记录为追踪位置的位置的情况下,例如将靠近区域208的中心的位置作为追踪位置。在下次的追踪处理时,优先将该追踪位置作为追踪处理的开始位置。能够减少追踪处理所需的时间。
颜色信息追踪处理电路1312根据特征信息、例如颜色信息从由摄像部101的摄像所取得的图像数据中进行被摄体、例如人物的脸部的追踪。颜色信息追踪处理电路1312使用由摄像部101的摄像所取得的图像数据的颜色信息来进行人物的脸部的追踪处理。
简单地对使用颜色信息的追踪处理进行说明。使用颜色信息的追踪处理对被判定为是与在评价图像数据内所设定的颜色信息相同的颜色信息的区域、即追踪颜色区域进行追踪。
例如图7A所示,在(N-1)帧中指定了被摄体的某个位置302的情况下,颜色信息追踪处理电路1312取得评价图像数据中的位置302的颜色信息。颜色信息追踪处理电路1312将位置302作为追踪处理的开始位置,搜索具有与该位置302相同的颜色信息的区域。
具体而言,颜色信息追踪处理电路1312以位置302为开始位置朝向周围依次取得颜色信息,判定取得的颜色信息与位置302的颜色信息是否相同。在判定的结果为颜色信息与位置302的颜色信息相同的情况下,颜色信息追踪处理电路1312将位置302包含进追踪颜色区域中。在不能判定为取得的颜色信息与位置302的颜色信息相同的情况下,颜色信息追踪处理电路1312不将位置302包含进追踪颜色区域中。
在这样搜索到追踪颜色区域时,例如,在图7A所示的单色的被摄体的情况下,内接于被摄体的矩形区域304成为追踪颜色区域。设为在追踪位置日志区域中记录的追踪位置与例如追踪颜色区域304的重心位置、例如图7A所示的位置302相同。在下次的追踪处理中,将追踪位置(位置302)设为追踪处理的开始位置。
举例示出N帧的追踪处理,颜色信息追踪处理电路1312在作为图7B所示的参照图像数据而存储的N帧的图像数据的预定搜索范围中,将(N-1)帧的追踪位置302设为追踪处理的开始位置。颜色信息追踪处理电路1312从追踪位置302的周围起依次搜索可判定为与追踪颜色区域304的颜色信息为相同颜色信息的区域作为追踪颜色区域。在该图所示的例中,区域306成为追踪颜色区域。颜色信息追踪处理电路1312将重心位置308作为追踪位置,将该追踪位置308记录在追踪位置日志区域中。在追踪颜色区域日志区域中,记录表示追踪颜色区域306的范围的信息(例如,四角的位置)。
存储器控制电路1313是通过CPU1301等来进行用于访问SDRAM118、记录介质128、闪存134的控制的接口。
相机操作开关132是由用户操作的各种操作部件。相机操作开关132例如包含释放按钮、动态图像按钮、模式拨盘、选择键、电源按钮等。
释放按钮包含第1释放开关和第2释放开关。第1释放开关在用户半按下释放按钮时打开。通过打开第1释放开关来进行AF处理等摄影准备动作。第2释放开关在用户全按下释放按钮时打开。通过打开第2释放开关来进行静态图像摄影用的曝光动作。
动态图像按钮是用于指示动态图像摄影的开始或结束的操作部件。当由用户按下动态图像按钮时,动态图像摄影处理开始。当在动态图像摄影处理执行中按下动态图像按钮时,动态图像摄影处理结束。
模式拨盘是用于选择摄像装置的摄影设定的操作部件。在本实施方式中,作为摄像装置的摄影设定,例如可以选择静态图像摄影模式和动态图像摄影模式。静态图像摄影模式是用于对静态图像进行摄影的摄影设定。动态图像摄影模式是用于对动态图像进行摄影的摄影设定。
选择键是用于进行例如菜单画面上的项目的选择和确定的操作部件。当由用户操作了选择键时,进行菜单画面上的项目的选择或确定。
电源按钮是用于接通或断开本装置100的电源的操作部件。当由用户操作了电源按钮时,本装置100起动而成为能够进行动作的状态。在本装置起动的期间内按下电源按钮时,本装置100成为省电待机状态。
在闪存134中存储有用于CPU1301执行各种处理的程序代码。闪存134中存储有本装置100的摄影动作流程图和摄影光学***102、光圈106及摄像元件114等的动作所需要的控制参数,以及图像处理电路1304中的图像处理所需要的控制参数等各种控制参数。闪存134中还存储有脸检测处理电路1310中的脸检测中使用的脸部器官的数据和用于显示追踪框的数据等。
接着,参照图8所示的摄影动作流程图来说明如上所述构成的本装置的摄影动作。
CPU1301从闪存134读入需要的程序代码,控制本装置100的动作。
在步骤S100中,CPU1301判定当前的本装置100的摄影设定是静态图像摄影模式和动态图像摄影模式中的哪种。摄影设定是利用模式拨盘来设定的。
当判定的结果为摄影设定是静态图像摄影模式时,在步骤S102中,CPU1301开始实时取景动作。实时取景动作如下所述。CPU1301在控制快门驱动机构112使快门110开放后,控制摄像元件IF电路116,开始摄像元件114的摄像。CPU1301将作为摄像元件114的摄像结果而存储在RAM118的工作区域中的图像数据输入到图像处理电路1304,实施实时取景显示用的图像处理。CPU1301将被图像处理为实时取景显示用的图像数据输入到显示元件驱动电路122,在显示元件120中显示图像。CPU1301通过反复执行以上的显示动作,对被摄体的图像进行动态图像显示(实时取景显示)。用户可以通过该动态图像显示观察被摄体。
在步骤S104中,CPU1301判定第1释放开关是否被打开。通过进行该判定,CPU1301继续进行实时取景动作直到判定为第1释放开关打开为止。
当判定的结果为第1释放开关被打开时,在步骤S106中,CPU1301进行释放AF处理。在该释放AF处理中,CPU1301通过扫描驱动将对焦透镜驱动至对焦位置。即,在扫描驱动中,CPU1301控制焦点调整机构104在预定的扫描范围内朝一个方向驱动对焦透镜,同时对由AF控制电路1302依次计算出的对焦评价值进行评价。CPU1301在对焦评价值的评价结果为对比度成为最大的透镜位置处,停止对焦透镜的驱动。在AF前的对焦透镜的位置与对焦位置的差较大的情况下进行这样的扫描驱动。
在步骤S108中,例如图21所示,CPU1301控制显示元件驱动电路122,在显示元件120中显示追踪框W。追踪框W被显示在显示元件120的画面上的作为追踪对象的被摄体A的位置上。例如,当将通过释放AF进行了对焦的被摄体A作为追踪对象时,也可以将追踪框W显示在该被摄体A上。
在通过脸检测处理电路1310检测到被摄体A的脸部的情况下,例如图9或图10所示,也可以将追踪框D1显示在脸部上。在通过触摸面板124指定了在显示元件120的画面上显示的被摄体A的情况下,也可以将追踪框D1显示在被摄体A上。
在步骤S110中,CPU1301进行追踪被摄体A的追踪处理。
在步骤S112中,CPU1301进行AF处理以对焦到追踪位置的被摄体A,并且进行AE处理以使追踪位置的被摄体A的曝光适当。在追踪处理后的AF处理中,通过扫描驱动或摆动驱动使对焦透镜驱动至对焦位置。在摆动驱动中,CPU1301判定在驱动了对焦透镜时由AF控制电路1302计算出的对焦评价值是否相对于前次的透镜位置处的对焦评价值增大。
在判定的结果为对焦评价值增大的情况下,CPU1301在与前次相同的方向上对对焦透镜进行微小驱动。在对焦评价值减小的情况下,CPU1301在与前次相反的方向上对对焦透镜进行微小驱动。CPU1301高速地反复进行这样的动作,逐渐将对焦透镜驱动至对焦位置。
在AE处理中,CPU1301计算用于将由AE控制电路1303计算出的追踪位置的被摄体的亮度设为预先设定的适当量(适当曝光量)的正式曝光时的光圈106的开口量(光圈值)、快门110的开放时间(快门速度值)。
在步骤S114中,CPU1301判定第2释放开关是否被打开。在判定为第2释放开关未被打开时,CPU1301执行步骤S110的追踪处理以后的处理。当设定为静态图像摄影模式时,CPU1301继续进行追踪处理直到第2释放开关被打开为止。
在第2释放开关被打开后,步骤S116中,CPU1301控制显示元件驱动电路122不显示追踪框D1。
在步骤S118中,CPU1301进行将静态图像数据记录到记录介质128中的处理。在进行记录处理时,CPU1301控制快门驱动机构112使快门110关闭。然后,CPU1301控制光圈驱动机构108而将光圈106缩小至之前计算出的光圈值。接着,CPU1301控制快门驱动机构112,使快门110开放之前计算出的开放时间,同时进行基于摄像元件114的摄像(曝光)。
CPU1301将经由摄像元件114得到的静态图像数据在图像处理电路1304中进行处理。CPU1301对在图像处理电路1304中处理后的静态图像数据赋予文件头来生成静态图像文件,将生成的静态图像文件记录在记录介质128中。
在步骤S120中,CPU1301将表示作为上述步骤S110的追踪处理的结果而得到的追踪位置的数据补写到之前记录在记录介质128中的静态图像文件中。
另一方面,当在上述步骤S100中判定为摄影设定是动态图像摄影模式时,CPU1301在步骤S122中开始实时取景动作。
在判定为作为动态图像摄影打开的指示的动态图像按钮被打开时,CPU1301在步骤S126中控制显示元件驱动电路122,在显示元件120中例如图9或图10所示,在脸部上显示追踪框D1。
在步骤S128中,CPU1301进行追踪被摄体A的追踪处理。
在步骤S130中,CPU1301向AF控制电路1302指示AF处理以对焦到追踪位置的被摄体A,并且向AE控制电路1303指示AE处理以使得追踪位置的被摄体A的曝光变得适当。在此时的AF处理中,CPU1301通过摆动驱动使摄影光学***102的对焦透镜驱动至对焦位置。
在步骤S132中,CPU1301进行将动态图像数据记录到记录介质128中的处理。在进行该记录处理时,CPU1301控制光圈驱动机构108,将光圈106缩小至在AE处理中计算出的光圈值。CPU1301使摄像元件114在与AE处理中计算出的快门速度值对应的时间内执行摄像(曝光)。在曝光结束后,CPU1301生成动态图像文件并记录在记录介质128中。CPU1301在图像处理电路1304中对经由摄像元件114得到的动态图像数据进行处理,将在图像处理电路1304中处理后的动态图像数据记录在动态图像文件中。
在步骤S134中,CPU1301将表示作为上述步骤S128的追踪处理的结果而得到的追踪位置的数据记录到之前记录在记录介质128中的动态图像文件中。
在步骤S136中,CPU1301判定动态图像按钮是否被关闭。在判定的结果为判定为动态图像按钮未被关闭时,CPU1301执行步骤S128的追踪处理以后的处理。
这样,在动态图像摄影模式时,在动态图像按钮被关闭之前,继续进行追踪处理和动态图像数据的记录。当判定为动态图像按钮被关闭时,CPU1301在步骤S138中控制显示元件驱动电路122不显示追踪框D1。
接着,参照图11所示的追踪处理流程图来说明追踪动作。
在步骤S200中,CPU1301判定是否是开始追踪被摄体A的第1帧的图像数据。
当判定的结果为是追踪开始的第1帧时,步骤S202中,当第1释放开关被打开时,CPU1301进行对图12所示的释放AF对焦区域AFE的释放AF处理。在该释放AF处理中,CPU1301进行扫描驱动,将对焦透镜驱动至对焦位置。CPU1301进行释放AF处理,在对被摄体A的对焦位置处停止对焦透镜的驱动。CPU1301将对被摄体A的对焦位置更新作为基准焦点信息。
在步骤S204中,如图12所示,测距位置设定电路1305在释放AF对焦区域AFE中,更新作为基准的焦点检测区域C(斜线部分)。
在步骤S206中,CPU1301通过摄像元件114进行摄像,通过摄像元件IF电路116取得帧图像数据。在步骤S208中,CPU1301将该帧图像数据取入到SDRAM118中。
在步骤S210中,CPU1301设定成根据由测距位置设定电路1305设定的焦点检测区域F、即多个焦点检测区域C中对于作为追踪对象的被摄体A处于对焦状态的焦点检测区域F,来进行对被摄体A的第1追踪处理。
在步骤S212中,追踪特征检测电路1307检测由群组化设定部1306群组化后的例如焦点检测区域群组C1、C2的区域内的第2追踪处理用的被摄体A的特征量。追踪特征检测电路1307检测人体的脸部、亮度、颜色作为被摄体A的特征量。
在步骤S214中,追踪特征检测电路1307根据作为被摄体A的特征量的人体的脸部、亮度、颜色信息来计算被摄体A的追踪位置。图13示出根据对于被摄体A的亮度、颜色信息来追踪被摄体A的亮度/颜色信息追踪区域G1。
在步骤S216中,CPU1301进行优先追踪位置的判定,在该优先追踪位置的判定中,判定优先进行根据对于作为追踪对象的被摄体A处于对焦状态的焦点检测区域F来追踪被摄体A的第1追踪处理、或者根据作为被摄体A的特征量的人体的脸部、亮度、颜色来追踪被摄体A的第2追踪处理中的哪个处理。
在步骤S218中,CPU1301判定优先追踪位置的判定结果即该所判定的第1追踪处理或第2追踪处理的可靠性。在步骤S220中,CPU1301计算被摄体A的追踪位置。在步骤S222中,CPU1301更新图21所示的追踪框W的位置和尺寸。
接着,参照图14A和图14B所示的第1追踪处理流程图来说明第1追踪处理的动作。
在步骤S300中,群组化设定电路1306将根据对焦状态对焦点检测区域C进行群组化时的群组号(No)初始化为“0”。例如将对图2所示的焦点检测区域群组C1、C2赋予的群组号初始化为“0”。
在步骤S302中,测距位置设定电路1305输出来自摄像元件114中的全部焦点检测用像素的图像信号,取得对于全部焦点检测区域C中的被摄体A的对焦状态等焦点信息。能够通过焦点信息来判别例如在图12所示的多个焦点检测区域C中,分别对于被摄体A是已经对焦还是未对焦。
在步骤S304中,群组化设定电路1306设定焦点检测区域C的区域数i。首先,群组化设定电路1306将区域数i设定为“1”,然后,重复循环“1”。在循环“1”中,判定多个焦点检测区域C的每个(i=1、2、3、…、n)被群组化到焦点检测区域群组C1、C2等中的哪一个群组中。
在步骤S306中,如下式(1)所示,群组化设定电路1306求出焦点检测区域C的焦点信息与基准焦点信息的差分的绝对值,判定该绝对值是否小于预先设定的阈值。
|焦点检测区域C的焦点信息-基准焦点信息|<阈值…(1)
当判定的结果为焦点检测区域C的焦点信息与基准焦点信息的差分的绝对值小于阈值时,群组化设定电路1306在步骤S308中判定焦点检测区域C的区域数i是否不为“0”。
当判定的结果为焦点检测区域C的区域数i不为“0”即为“1”时,群组化设定电路1306在步骤S310中转移到循环“2”。
在循环“2”中,群组化设定电路1306将焦点检测区域群组号设定为J(=1)。
在步骤S312中,群组化设定电路1306判定是否是与该焦点检测区域群组号J(=1)同一群组的焦点检测区域C。在该判定中,判定作为判定对象的焦点检测区域C是否与焦点检测区域群组号为J(=1)的焦点检测区域C相邻。
当判定的结果为相邻时,在步骤S314中,群组化设定电路1306将作为判定对象的焦点检测区域C追加为与焦点检测区域群组号J(=1)同一群组。
当上述判定的结果为不相邻时,群组化设定电路1306不将作为判定对象的焦点检测区域C追加为与焦点检测区域群组号J(=1)同一群组。群组化设定电路1306重复步骤S312、S314,按照每个焦点检测区域群组号J(=1、2、3、...、m)判定相邻而成为同一群组的焦点检测区域C。
在步骤S318中,群组化设定电路1306判定作为判定对象的焦点检测区域C是否与多个焦点检测区域群组、例如群组号J(=1、2、3)相邻。
当判定的结果为作为判定对象的焦点检测区域C与多个焦点检测区域群组相邻时,在步骤S320中,群组化设定电路1306将该相邻的多个焦点检测区域群组、例如群组号J(=1、2、3)合并为1个群组号J(=1)。
在步骤S322中,群组化设定电路1306根据下式(2)来修正群组号J。
群组号J=群组号J-相邻群组数-1...(2)
在步骤S324中,群组化设定电路1306判定作为判定对象的焦点检测区域C的相邻的焦点检测区域群组号J是否不存在。
当判定的结果为不存在相邻的焦点检测区域群组号J时,群组化设定电路1306在步骤S326中将焦点检测区域群组号J递增1。在步骤S328中,群组化设定电路1306向焦点检测区域群组号J追加焦点检测区域C(i=1、2、3、...、n)。
在步骤S330中,群组化设定电路1306重复以上的循环“1”。
在步骤S332中,群组化设定电路1306搜索包含基准焦点检测区域C的焦点检测区域群组号J。
群组化设定电路1306在步骤S334中判定搜索的结果是否具有包含基准焦点检测区域C的焦点检测区域群组号J。
当判定的结果为具有包含基准焦点检测区域C的焦点检测区域群组号J时,群组化设定电路1306在步骤S336中将包含基准焦点检测区域C的焦点检测区域群组号J作为第1追踪位置。
另一方面,当不存在包含基准焦点检测区域C的焦点检测区域群组号J时,群组化设定电路1306在步骤S338中将全部的焦点检测区域群组号J作为第1追踪位置。
如以上那样,当如图3所示,多个焦点检测区域C中彼此相邻并且为相同的焦距的各焦点检测区域,例如各焦点检测区域Ca、Cb彼此相邻并且为相同的焦距时,群组化设定部1306将这些焦点检测区域Ca、Cb作为相同的1个群组而进行群组化。
关于各焦点检测区域C的相邻,图3的附图中,不限于左右的位置关系的各焦点检测区域Ca、Cb之间,也可以是处于上下关系的各焦点检测区域Ca、Cc之间、处于斜向关系的各焦点检测区域Ca、Cd之间。
如图4所示,群组化设定部1306搜索相对于由测距位置设定部1305设定的例如焦点检测区域Ca相离预先设定的像素数的焦点检测区域Ce和该焦点检测区域Ce,将这些焦点检测区域Ce和与该焦点检测区域Ce相邻的焦点检测区域Cf作为另外的群组,例如焦点检测区域群组C1、C2而进行群组化。
接着,参照图15所示的优先追踪位置判定流程图来说明优先追踪位置判定的动作。
追踪电路1309根据由群组化设定部1306设定的群组的数量,并按照由追踪位置设定部1308设定的第1追踪位置(焦点检测区域C)或第2追踪位置(作为被摄体A的特征量的脸部、亮度、颜色部分)来追踪作为追踪对象的被摄体A。
具体而言,在步骤S400中,追踪电路1309判定第1追踪位置(焦点检测区域C)的群组数是“0”、“1”或“2以上”中的哪一个。
当判定的结果为第1追踪位置(焦点检测区域C)的群组数是“0”时,追踪电路1309在步骤S404中选择第2追踪位置(作为被摄体A的特征量的脸部、亮度、颜色部分),将第2追踪位置作为追踪位置。
当上述判定的结果为第1追踪位置(焦点检测区域C)的群组数是“1”时,追踪电路1309在步骤S406中选择第1追踪位置(焦点检测区域C),将第1追踪位置作为追踪位置。例如,图16示出具有1个焦点检测区域群组C1的被摄体A的构图。
在步骤S412中,追踪电路1309根据第1追踪位置(焦点检测区域C)的焦点信息来更新基准焦点信息。
在步骤S414中,追踪电路1309根据第1追踪位置(焦点检测区域C)的焦点信息来更新基准焦点检测区域C。
在步骤S416中,追踪电路1309根据第1追踪位置(焦点检测区域C)来校正第2追踪位置(作为被摄体A的特征量的脸部、亮度、颜色部分)。
当上述判定的结果为第1追踪位置(焦点检测区域C)的群组数是“2以上”时,追踪电路1309在步骤S402中判定是否存在含有第2追踪位置(作为被摄体A的特征量的脸部、亮度、颜色部分)的焦点检测区域群组C1、C2等。例如,图17示出2个被摄体A、E接近的状态的构图。图18示出2个被摄体A、E离开的状态的构图。2个被摄体A、E离开的状态相当于具有2个焦点检测区域群组C1、C2即2以上的群组数的状态。
当上述判定的结果为存在含有第2追踪位置的焦点检测区域群组C1、C2等时,在步骤S408中,追踪电路1309将含有第2追踪位置的焦点检测区域群组C1、C2等作为第1追踪位置(焦点检测区域C),根据该第1追踪位置的焦点信息来更新基准焦点检测区域C,转移到步骤S412。
另一方面,当不存在含有第2追踪位置的焦点检测区域群组C1、C2等时,在步骤S410中,追踪电路1309根据第2追踪位置(作为被摄体A的特征量的脸部、亮度、颜色部分)来更新基准焦点检测区域C。
由此,上述第1实施方式设定多个焦点检测区域C中的对于被摄体A处于对焦状态的焦点检测区域C,根据对焦状态对焦点检测区域C进行群组化,检测焦点检测区域群组C1、C2等区域内的被摄体A的特征量,设定处于对焦状态的焦点检测区域C作为第1追踪位置,或者设定被摄体A的特征量部分作为第2追踪位置,根据焦点检测区域群组C1、C2等的群组数,并根据第1或第2追踪位置来追踪被摄体A。由此,在上述第1实施方式中,即便在被摄体A的附近或与被摄体A相邻地存在其他的被摄体E,也不会从作为追踪对象的被摄体A转换到其他的被摄体E,能够可靠地追踪作为追踪对象的被摄体A,能够提高追踪的可靠性。
在将焦点检测区域C作为焦点检测区域群组而进行了群组化的情况下,如果不存在焦点检测区域群组,则选择第2追踪位置。如果群组数是1个,则选择第1追踪位置。如果群组数是2以上的多个,则根据第2追踪位置和处于对焦状态的焦点检测区域C来选择第1或第2追踪位置。由此,例如图17所示,即便从2个被摄体A、E接近的状态成为图18所示2个被摄体A、E离开的状态,追踪对象也不会从被摄体A转移到被摄体E,能够将追踪对象设为被摄体A而继续追踪。
如图19所示,当车体H作为其他被摄体进入拍摄被摄体A的构图内时,追踪特征检测电路1307根据作为车体H的特征量的亮度、颜色信息来计算车体H的追踪位置,根据这些亮度、颜色信息来设定追踪车体H的亮度/颜色信息追踪区域G2。
另外,具有该图所示的被摄体A和车体H是指,例如图18所示,在作为焦点检测区域群组C1、C2,第1追踪位置(焦点检测区域C)的群组数为“2以上”,并且是图19所示的情况下时,在被摄体A的焦点检测区域群组C1内不包含车体H的第2追踪位置(作为车体H的特征量的脸部、亮度、颜色部分)。
如图20所示,追踪电路1309将含有第2追踪位置的焦点检测区域群组C1作为第1追踪位置(焦点检测区域C),根据该第1追踪位置的焦点信息来更新基准焦点检测区域C。
因此,即便车体H进入了拍摄被摄体A的构图内,追踪对象也不会从被摄体A转移到被摄体E,能够将追踪对象设为被摄体A来继续追踪。
本领域技术人员将容易地想起其他优点和变形例。因此,本发明的更广的方面不限于这里给出和描述的具体细节和代表性实施例。因此,可以在不脱离如用所附权利要求及它们的等同例定义的一般发明概念的精神或范围的情况下进行各种变形。