CN103039068A

CN103039068A - 图像处理装置以及图像处理程序

Info

Publication number: CN103039068A
Application number: CN2011800374432A
Authority: CN
Inventors: 阿部启之
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2010-07-29
Filing date: 2011-07-27
Publication date: 2013-04-10
Also published as: WO2012014946A1; JP2012034069A; US20130129226A1

Abstract

本发明提供一种图像处理装置以及图像处理程序。图像处理装置包括：边缘图像生成装置，其从图像内提取边缘，生成边缘图像；匹配装置，其将由边缘图像生成装置生成的边缘图像作为对象，进行使用了模板的模板匹配，所述模板示出了规定形状的固定图案的形状；评价值计算装置，其基于由匹配装置部得到的匹配结果，计算用于确定图像内的规定形状的固定图案的位置的评价值；以及确定装置，其基于由评价值计算装置计算出的评价值，确定图像内的规定形状的固定图案的位置。

Description

图像处理装置以及图像处理程序

技术领域

本发明涉及一种图像处理装置以及图像处理程序。

背景技术

已知如下图案匹配方法。该图案匹配方法将图像分成多个区域，并按照各区域进行模板匹配处理，提取相似度最高的区域作为匹配区域(专利文献1)。

专利文献1：日本特开平5-81433号公报

发明内容

然而，在使用现有方法的模板匹配中，在图像不清晰时，可能导致图像内的被拍摄***置的确定精度下降。

根据本发明的第一方面的图像处理装置包括：边缘图像生成装置，其从图像内提取边缘，生成边缘图像；匹配装置，其将由边缘图像生成装置生成的边缘图像作为对象，进行使用了模板的模板匹配，所述模板示出了规定形状的固定图案的形状；评价值计算装置，其基于由匹配装置得到的匹配结果，计算用于确定图像内的规定形状的固定图案的位置的评价值；以及确定装置，其基于由评价值计算装置计算出的评价值，确定图像内的规定形状的固定图案的位置。

本发明的第二方面优选如下：在根据第一方面的图像处理装置中，评价值计算装置在图像内移动模板，同时在各个模板位置上，对模板的各像素的像素值、与模板的各像素位于同一位置的边缘图像的各像素的像素值求积，并将求积结果针对模板的所有像素合计或积算，从而计算评价值。

本发明的第三方面优选如下：在根据第二方面的图像处理装置中，确定装置在图像内将计算出的评价值最大的模板的位置确定为规定形状的固定图案的位置。

本发明的第四方面如下：在根据第一至第三方面的图像处理装置中，规定形状的固定图案也可以是被配置在照相机的拍摄画面内的AF区域。

根据本发明的第五方面的图像处理程序使计算机执行如下步骤，其中，边缘图像生成步骤：从图像内提取边缘，生成边缘图像；匹配步骤：将在边缘图像生成步骤中生成的边缘图像作为对象，进行使用了模板的模板匹配，所述模板示出了规定形状的固定图案的形状；评价值计算部，基于匹配步骤中的匹配结果，计算用于确定图像内的规定形状的固定图案的位置的评价值；以及确定步骤，基于在评价值计算步骤中计算出的评价值，确定图像内的规定形状的固定图案的位置。

发明效果

根据本发明，能够高精度地确定图像内的固定图案的位置。

附图说明

图1是表示照相机的一个实施方式的结构的框图。

图2是表示拍摄画面内的AF框的显示例的图。

图3是表示脸部检测框的显示例的图。

图4是表示脸部的特征点与AF框重合的情况下的具体例子的图。

图5(a)～(c)是示意性地示出使用了AF框的相邻像素的消除方法的图。

图6是表示AF框消除后的脸部检测结果的图。

图7是表示不清晰图像的具体例子的图。

图8(a)～(c)是表示检测区域的设定例子的图。

图9是表示边缘图像的具体例子的图。

图10是表示模板的具体例子的图。

图11是表示通过存储介质或互联网等的数据信号提供图像处理程序的情况的图。

具体实施方式

图1是表示应用根据本发明的图像处理装置的照相机的一个实施方式的结构的框图。照相机100具备：操作部件101、透镜102、摄像元件103、控制装置104、内存卡插槽105、监视器106。操作部件101包括由使用者操作的各种输入部件、例如电源按钮、快门按钮、变焦按钮、十字键、确定键、回放按钮、删除按钮等。

透镜102由多个光学透镜构成，但在图1中代表地由单个透镜表示。摄像元件103例如是CCD或CMOS等图像传感器，对由透镜102成像的被拍摄体图像进行拍摄。然后，将由拍摄得到的图像信号输出至控制装置104。

控制装置104基于从摄像元件103输入的图像信号，生成规定的图像格式、例如JPEG格式的图像数据(以下，称为“原图像数据”)。并且，控制装置104基于生成的图像数据，生成显示用图像数据、例如缩略图图像数据。控制装置104包含生成的原图像数据与缩略图图像数据，进而生成附加有标头信息的图像文件，并将其输出至内存卡插槽105。在本实施方式中，原图像数据与缩略图图像数据均设为由RGB色度***表示的图像数据。

内存卡插槽105是用于***作为存储介质的内存卡的插槽，将从控制装置104中输出的图像文件写入并记录到内存卡内。并且，内存卡插槽105基于来自控制装置104的指示，读取内存卡内存储的图像文件。

监视器106是搭载在照相机100的背面的液晶监视器(背面监视器)，该监视器106显示有内存卡中存储的图像或用于设定照相机100的设定菜单等。并且，当由用户将照相机100的模式设定为拍摄模式时，控制装置104将从摄像元件103中按照时间序列取得到的图像的显示用图像数据输出至监视器106。由此，监视器106显示有实时取景。

控制装置104由CPU、存储器和其他周边电路构成，控制照相机100。另外，构成控制装置104的存储器包含有SDRAM或闪速存储器。SDRAM是易失性存储器，被用作用于CPU在程序执行时展开程序的工作存储器，或被用作用于临时存储数据的缓冲存储器。另外，闪速存储器是非易失性存储器，存储有控制装置104执行的程序的数据或程序执行时读取的各种参数等。

在本实施方式中，控制装置104在被显示在监视器106上的实时取景(拍摄画面)上，重叠显示与测距传感器的配置位置对应的框(AF框)。例如，在拍摄画面上，如图2所示显示有51个AF框。在本实施方式中的照相机100中，使用从该51个AF框中、控制装置104进行已知的AF处理所选择出的1个AF框、或由用户指定出的1个AF框对应的测距传感器的测距信息，进行焦点调节。

另外，本实施方式的照相机100具备脸部检测功能，控制装置104通过将拍摄画面内作为对象执行已知的脸部检测处理，从而能够检测拍摄画面内存在的人物的脸部。例如，如图3所示，控制装置104通过使用脸部检测框3a包围包含检测出的脸部的区域并将其显示在实时取景上，从而向用户明示出脸部的检测结果。并且，控制装置104通过在帧间跟踪检测出的脸部，也能够在实时取景显示中进行被拍摄体跟踪，或自动选择位于检测出的脸部附近的AF框进行焦点调节。

一般而言，拍摄画面内的脸部检测通过从拍摄画面内提取眼部或口部等脸部特征点，并基于其特征点的位置关系，判定其特征点是否是人物的脸部来进行。在该情况下，如本实施方式中的照相机100那样，如图4所示，当人物的眼部或口部等特征点与AF框4a的显示位置重合时，控制装置104无法检测脸部的特征点，可能无法准确检测人物的脸部。作为用于解决这种问题点的方法，考虑以下方法。

另外，以下所示的处理作为图像处理程序例如被存储在控制装置104的闪速存储器中，并由起图像处理装置作用的控制装置104来执行。以下处理将拍摄画面内的图像作为脸部检测用图像存储在缓冲存储器内后，再将该脸部检测用图像作为对象来进行，并不影响监视器106上显示的实时取景。即，在进行以下处理的期间内，在监视器106上也仍继续显示拍摄画面，该拍摄画面显示有图2所示的AF框。

控制装置104通过将脸部检测用图像内的所有AF框4a作为对象，并使用相邻像素置换AF框4a的框线所在的像素，从而消除AF框4a，并插补AF框4a隐藏的像素。另外，如图2所示，由于AF4a被配置在拍摄画面内的规定的位置，因此预先将AF框4a的拍摄画面内的位置信息存储至闪速存储器等中，从而使得控制装置104能够确定每个脸部检测用图像内是否都存在AF框4a。

在本实施方式中，例如，针对以下情况的处理进行了说明：AF框4a的框线的宽度为2个像素，如图5(a)所示，AF框4a由像素5a以及像素5b、像素5c以及像素5d构成，其中该像素5a以及像素5b构成纵向框线，该像素5c以及像素5d构成横向框线。

控制装置104对于这些像素中、构成纵向框线的像素5a以及像素5b，如图5(b)所示进行像素的置换。即，控制装置104对于像素5a使用与该像素5a的右侧相邻的像素5e进行置换，对于像素5b使用与该像素5b的左侧相邻的像素5f进行置换。并且，控制装置104对于构成横向框线的像素5c以及像素5d，如图5(c)所示进行像素的置换。即，控制装置104对于像素5c使用与该像素5c的上侧相邻像素5g进行置换，对于像素5d使用与该像素5d的下侧相邻的像素5h进行置换。

通过以上处理，即使在如图4所示人物的眼部与AF框4a重合的情况下，也能够如图6所示使用相邻像素消除AF框4a，并插补相当于AF框4a隐藏的眼部6a的像素。然后，其结果，控制装置104能够通过脸部检测处理检测人物的脸部，并将检测框3a显示在实时取景上。

然而，为了使用上述方法消除AF框4a，需要控制装置104把握好脸部检测用图像内的AF框4a的位置。例如，在上述方法中，预先将AF框4a的拍摄画面内的位置信息存储在闪速存储器等中，从而使得控制装置104能够确定在每个脸部检测用图像内是否都存在AF框4a。

然而，拍摄画面内的AF框4a的位置存在不能保证稳定地位于同一位置的情况。例如，存在拍摄画面内的AF框4a的位置机械式地偏离的情况、或发生光学性偏移的情况。在这种情况下，如果使用预先存储的AF框4a的位置信息消除AF框4a，并进行用于插补像素的处理，则可能导致插补精度下降。

作为解决这种问题的方法，考虑如下情况：预先将AF框4a的图像存储至闪速存储器中，将该AF框4a的图像作为模板来使用，进行将拍摄画面内的图像作为对象的模板匹配，从而检测拍摄画面内的AF框4a的位置。但是，该方法也存在如下问题。即，作为模板匹配中的匹配运算方法，使用已知的互相关法或残差逐次检测法，但这些方法是在运算用的部分信号与模板信号的对应位置之间进行信号强度的运算，并在整个信号上合计其结果的。在该情况下，当将AF框4a那样的固定标记作为对象进行模板匹配时，在不清晰图像、例如图像的明亮度或变形的变动较大的环境下，可能导致匹配精度下降。另外，还考虑为了提高匹配精度使匹配对象的图像与模板二值化，但在该情况下，很难导出二值化时的阈值。

因此，在本实施方式中，控制装置104如下那样地检测拍摄画面内的AF框4a的位置。这里，例如，针对将图7所示的不清晰图像作为对象，检测拍摄画面内的AF框4a的位置的例子进行说明。另外，如上所述，拍摄画面内的AF框4a的位置信息预先被存储在闪速存储器等中，因此控制装置104能够基于该位置信息推定大致的AF框4a的位置。图8(a)是放大了包含图7所示的图像内的人物的脸部的区域内的图像后的图。

如图8(b)所示，控制装置104在推定出的AF框4a的位置的周围设定规定大小的检索区域8a。图8(c)是放大了所设定的检索区域8a内的图像后的图。然后，控制装置104通过将设定的检索区域8a作为对象，取相邻的像素之间的差量，从而提取边缘。由此，例如，将图8(b)所示的检索区域8a作为对象，生成图9所示的边缘图像。

控制装置104将计算出的检索区域8a内的边缘图像作为对象，进行使用了用于确定AF框4a的位置的模板的模板匹配。如图10所示，这里使用的模板是示出AF框4a的掩膜图像，最外侧的像素为1，其内部像素为0。通过使用该模板进行将检索区域8a内的边缘图像作为对象的模板匹配，从而能够确定检索区域8a内的AF框4a的位置。

具体而言，控制装置104在检索区域8a内移动图10所示的模板，同时在各个模板位置上，对模板的各像素的像素值、与模板的各像素同一位置的边缘图像的各像素的像素值求积，并将求积结果针对模板的所有像素合计。控制装置104将合计结果作为评价值来使用，并判定在该评价值为最大值的模板位置存在AF框4a，从而能够判定检索区域8a内的AF框4a的位置，作为结果，能够确定拍摄画面内的AF框4a的位置。

根据上述的本实施方式，能够取得如下效果。

(1)控制装置104使用相邻像素置换AF框4a的框线所在的像素，从而消除AF框4a。由此，在AF框4a与脸部的特征点重合的情况下，也能够消除AF框4a，并插补相当于AF框4a隐藏的眼部6a的像素，并能够进行脸部检测。

(2)被重叠显示在拍摄画面内的是示出测距传感器的配置位置的AF框。由此，能够考虑到这样被配置在拍摄画面内的固定位置上的信息很可能导致脸部的特征部分隐藏，有效消除妨碍脸部检测的信息。

(3)控制装置104从检索区域8a内提取边缘，生成边缘图像，将生成的边缘图像作为对象，进行使用了示出AF框4a的形状的模板的模板匹配，并基于匹配结果，计算用于确定拍摄画面内的AF框4a的位置的评价值，基于该评价值，确定拍摄画面内的AF框4a的位置。由此，在图像不清晰的情况下，也能够高精度地确定拍摄画面内的AF框4a的位置。

(4)控制装置104在设定于拍摄画面内的检索区域8a内移动模板，同时在各个模板位置上，对模板的各像素的像素值、与模板的各像素位于同一位置的边缘图像的各像素的像素值求积，并将求积结果针对模板的所有像素合计，从而计算出评价值。由此，能够高精度地确定检索区域8a内的AF框4a的位置。

(5)控制装置104将计算出的评价值最大的模板的位置确定为拍摄画面内的AF框4a的位置。由此，能够通过简单的处理确定拍摄画面内的AF框4a的位置。

变形例

另外，上述实施方式的照相机也能够进行如下变形。

(1)在上述实施方式中，针对控制装置104检测拍摄画面内的AF框4a的位置的例子进行了说明。然而，也可以是，控制装置104使用上述实施方式中的方法，检测包含在拍摄画面内或图像内的规定形状的固定图案的位置。例如，也能够检测包含在图像内的AF框4a以外的矩形、或晶圆内的对准标记的位置。

(2)在上述实施方式中，由于拍摄画面内的AF框4a的位置信息预先存储在闪速存储器等内，因此控制装置104基于该位置信息推定大致的AF框4a的位置，并在其周围设定检索区域8a。然后，控制装置104将该检索区域8a内作为对象，生成边缘图像，进行模板匹配。然而，也可以是，在无法推定包含在拍摄画面内或图像内的规定形状的固定图案的位置时，控制装置104将整个拍摄画面或整个图像作为对象生成边缘图像，进行模板匹配。

(3)在上述实施方式中，针对以下示例进行了说明：控制装置104在检索区域8a内移动模板，同时在各个模板位置上，对模板的各像素的像素值、与模板的各像素位于同一位置的边缘图像的各像素的像素值求积，并将求积结果针对模板的所有像素合计，从而计算评价值。然而，也可以是，控制装置104通过在检索区域8a内移动模板，同时在各个模板位置上，对模板的各像素的像素值、与模板的各像素位于同一位置的边缘图像的各像素的像素值求积，并将求积结果针对模板的所有像素积算，从而能够计算评价值。

(4)在上述实施方式中，针对将本发明应用于照相机100的情况进行了说明。然而，本发明也能够应用于具备拍摄功能的其他器械、例如带有照相机的移动电话或视频照相机等。

(5)另外，在将本发明应用于个人计算机等的情况下，与上述控制有关的图像处理程序能够通过CD-ROM等存储介质或互联网等的数据信号来提供。图11是表示其情况的图。个人计算机300经由CD-ROM300接受程序的供给。并且，个人计算机300具有与通信线路301的连接功能。计算机302是供给上述程序的服务器计算机，在硬盘303等存储介质中存储程序。通信线路301为互联网、个人计算机通信等的通信线路、或专用通信线路等。计算机302使用硬盘303读出程序，并经由通信线路301将程序发送至个人计算机300。即，将程序作为数据信号表现为载波，并经由通信线路301发送。这样，程序能够作为存储机制或载波等各种形态的计算机可读的计算机程序产品来供给。

另外，只要不有损本发明的特征性功能，本发明就丝毫不限定于上述实施方式中的结构。并且，也可以采用组合了上述实施方式与多个变形例的结构。

本申请以日本专利申请2010-170035号(2010年7月29日申请)为基础，其内容作为引用文献而援引至此。

Claims

1.一种图像处理装置，包括：

边缘图像生成装置，其从图像内提取边缘，生成边缘图像；

匹配装置，其将由所述边缘图像生成装置生成的边缘图像作为对象，进行使用了模板的模板匹配，所述模板示出了规定形状的固定图案的形状；

评价值计算装置，其基于由所述匹配装置得到的匹配结果，计算用于确定所述图像内的所述规定形状的固定图案的位置的评价值；以及

确定装置，其基于由所述评价值计算装置计算出的所述评价值，确定所述图像内的所述规定形状的固定图案的位置。

2.根据权利要求1所述的图像处理装置，其中，

所述评价值计算装置在所述图像内移动所述模板，同时在各个模板位置上，对模板的各像素的像素值、与模板的各像素位于同一位置的边缘图像的各像素的像素值求积，并且将求积结果针对模板的所有像素合计或积算，从而计算所述评价值。

3.根据权利要求2所述的图像处理装置，其中，

所述确定装置在所述图像内，将计算出的所述评价值最大的所述模板的位置确定为所述规定形状的固定图案的位置。

4.根据权利要求1～3中的任一项所述的图像处理装置，其中，

所述规定形状的固定图案是被配置在照相机的拍摄画面内的AF区域。

5.一种图像处理程序，用于使计算机执行如下步骤：

边缘图像生成步骤，其从图像内提取边缘，生成边缘图像；

匹配处理步骤，其将在所述边缘图像生成步骤中生成的边缘图像作为对象，进行模板的模板匹配，所述模板示出了规定形状的固定图案的形状；

评价值计算步骤，其基于所述匹配步骤中的匹配结果，计算用于确定所述图像内的所述规定形状的固定图案的位置的评价值；以及

确定步骤，其基于由所述评价值计算部计算出的所述评价值，确定所述图像内的所述规定形状的固定图案的位置。