CN106062824B - 边缘检测装置和边缘检测方法 - Google Patents

Abstract

提供针对图像信息的图像内的变动较少的边缘能够提高边缘检测的检测率的边缘检测装置、边缘检测方法和程序。边缘检测装置具有：第1处理部(42)，其使用包含第1像素块的第1局部区域的多个像素的像素值，求出第1像素块中的像素值的变动方向；第2处理部(42)，其使用包含与第1像素块不同的第2像素块的第2局部区域的多个像素值，求出第2像素块中的像素值的变动方向；以及第3处理部(43)，其将第1像素块的像素中的像素值的变动方向与第2像素块的像素中的像素值的变动方向之差为基准值以上的所述第1像素块作为边缘。

Description

边缘检测装置和边缘检测方法

技术领域

本发明一般涉及图像处理技术，特别涉及针对图像的边缘检测技术。

背景技术

公知有如下的各种技术：对从照相机等摄像装置取得的二维图像进行边缘检测，应用检测到的边缘的信息来检测图像中的特定对象(以下记载为对象物。例如写实图像中映出的建造物。)。

例如，公开了如下的增强现实(AR：Augmented Reality)技术：根据检测到的边缘的信息求出图像中的对象物(构造物)的区域，进而，通过对三维地图和各图像的区域进行图案匹配，确定各对象物(构造物)，显示构造物的属性信息。(专利文献1)

并且，公开了如下的方法：对图像进行边缘检测，通过检测对象物(建筑物)的边缘和边缘的消失点，生成对象物(建筑物)的三维模型。(专利文献2)

现有技术文献

专利文献

专利文献1：日本特开平11-057206号公报

专利文献2：日本专利第4964801号公报

在上述这种使用边缘检测的应用技术中，适当检测对象物的边缘是很重要的。

作为现有的边缘检测方法，例如公知有坎尼(Canny)法、拉普拉斯(Laplacian)法。

在这些边缘检测方法中，通过对图像(图像信息)进行微分(差分)处理来检测边缘。具体而言，通过对图像信息进行微分(差分)处理来求出梯度，根据所得到的梯度的值检测边缘。

图1是示出基于现有方法即坎尼法的边缘检测处理流程的概要的图。

在附图中，11表示噪声去除处理，12表示梯度确定处理，13表示二值化处理。并且，图的上端表示处理流程的开始，下端表示处理流程的结束。

在坎尼法中，首先，为了去除图像中的噪声，进行噪声去除处理。(步骤11)

作为噪声去除的方法，能够应用各种方法，例如，通过应用使用高斯(Gaussian)滤波器的所谓模糊处理，能够去除噪声。

接着，针对图像中的要关注的像素(以下记载为关注像素。)，使用关注像素的亮度值和位于关注像素周边的像素(以下记载为周边像素。)的亮度值，针对关注像素求出亮度值的梯度。(步骤12)

使用被称为索贝尔算子(Sobel Operator)的3×3的系数矩阵的算子，对包含关注像素的区域(以下记载为局部区域。这里为3像素×3像素的区域。)进行积和运算，由此求出梯度。

接着，针对求出了梯度的各像素，对梯度的值和判定用阈值进行比较，判定是否将该关注像素作为边缘，进行表示是否是边缘的二值化。(步骤13)

例如,在判定为边缘的情况下使用1进行二值化，在判定为非边缘的情况下使用0进行二值化，由此，对应于原本的图像，得到表示边缘的图像。

发明内容

发明要解决的课题

关于这种现有的边缘检测，在包含关注像素的局部区域中，在亮度值的梯度较大的情况下是有效的，但是，在亮度值之差较小的情况下，很难进行边缘的检测。

这里，作为边缘检测的例子，假设针对仅拍摄了地面、建造物和蓝天的图像检测边缘的情况。

图2是示出理想的边缘检测结果的边缘图像的1例的图。

在附图中，20表示图像，21表示蓝天，22表示建造物，23表示地面，24表示建造物与天空的边界(对应的边缘)，25表示与建造物的凸部分对应的边缘，26和27表示建造物的表面。

另外，为了容易理解，在附图中，以如下情况为例：建造物22为长方体这样的简单形状，表面26和27出现在图像上。

在附图中，检测到隔开作为对象物的建造物22和作为非对象物的蓝天21的边缘24，还检测到建造物22自身的凸部分的边缘25。

在图2的情况下，多数情况下，对象物(建造物)22和蓝天21的亮度值大幅不同。该情况下，与对象物和蓝天的边界对应的边缘24的检测大多比较容易。

不限于蓝天21的情况，在对象物(建造物)22的周围的亮度值大幅不同的情况下，针对对象物与周围的边界的边缘检测比较容易。

另一方面，相比于上述建造物22与天空的边界的情况，大多很难进行针对对象物自身的凹凸的边缘的检测。

在图2中，能够看到对象物(建造物)22的表面26和表面27，但是，例如在构成表面26和27的物质或表面的着色相同的情况下，多数情况下，表面26与表面27的亮度值之差变小。这是因为，以大厦或住房为代表的建造物很少根据其表面而使物质或着色等不同。

因此，在现有的边缘检测方法中，存在很难将表面26与表面27之间的边界即边缘25这种对象物22自身的各部的边界判断为边缘的课题。

图3是示出不充分的边缘检测结果的边缘图像的1例的图。图3的理解方法与图2相同。

在附图中，可知未检测到与对象物(建造物)22的表面26和表面27之间的边界对应的边缘25。该情况下，存在表面26和表面27被检测为一个面的课题。

因此，存在无法以充分的精度进行使用边缘检测的各种应用技术、例如(1)上述专利文献1所记载的基于三维模型与边缘图像的比较而实现的对象物的确定、(2)专利文献2所记载的三维模型的生成的课题。

本发明是为了解决上述课题而完成的，其目的在于，提供在图像信息例如亮度值在图像内变动较少的情况下也能够提高边缘检测的检测率的边缘检测装置、边缘检测方法和程序。

用于解决课题的手段

本发明的边缘检测装置具有：第1处理部，其使用包含图像的第1像素块的第1局部区域的多个像素的像素值，求出所述第1像素块中的像素值的变动方向；第2处理部，其使用包含与所述第1像素块不同的第2像素块的第2局部区域的像素的像素值，求出所述第2像素块的像素中的像素值的变动方向；以及第3处理部，其将由所述第1处理部求出的所述第1像素块的像素中的像素值的变动方向与由所述第2处理部求出的所述第2像素块的像素中的像素值的变动方向之差为基准值以上的所述第1像素块作为边缘。

本发明的边缘检测方法包括以下步骤：使用包含所述图像的第1像素块的所述图像的第1局部区域的多个像素的像素值，求出所述第1像素块中的像素值的变动方向；使用包含与所述第1像素块不同的第2像素块的第2局部区域的多个像素的像素值，求出所述第2像素块的像素中的像素值的变动方向；以及将由所述第1处理部求出的所述第1像素块的像素中的像素值的变动方向与由所述第2处理部求出的所述第2像素块的像素中的像素值的变动方向之差为基准值以上的所述第1像素作为边缘。

本发明的程序为了检测图像内的边缘，使计算机作为边缘检测装置发挥功能，所述边缘检测装置具有：第1处理部，其使用包含所述图像的第1像素块的所述图像的第1局部区域的多个像素的像素值，求出所述第1像素块中的像素值的变动方向；第2处理部，其使用包含与所述第1像素块不同的第2像素块的第2局部区域的多个像素的像素值，求出所述第2像素块的像素中的像素值的变动方向；以及第3处理部，其将由所述第1处理部求出的所述第1像素块的像素中的像素值的变动方向与由所述第2处理部求出的所述第2像素块的像素中的像素值的变动方向之差为基准值以上的所述第1像素作为边缘。

发明效果

根据本发明的边缘检测装置，能够提供针对图像信息的图像内的变动较少的图像也能够提高边缘的检测率的边缘检测装置、边缘检测方法和程序。

附图说明

图1是示出基于作为现有方法的坎尼法的边缘检测方法的处理流程的概要的图。

图2是示出理想的边缘检测结果的边缘图像的1例的图。

图3是示出不充分的边缘检测结果的边缘图像的1例的图。

图4是示出本发明的实施方式1中的边缘检测装置的内部结构的概要的图。

图5是示出本发明的实施方式1中的边缘检测装置的处理的流程的概要的图。

图6是示出本发明的实施方式1中的局部区域的亮度值的分布的1例的图。

图7是示出本发明的实施方式1中的像素值的频谱与变动方向的对应关系的图。

图8是示出本发明的实施方式1中的一个图像中的亮度值的变动方向的分布的1例的图。

图9是示出本发明的实施方式1中的对象物的凹凸的方向的1例的图。

图10是示出本发明的实施方式2中的边缘检测装置的内部结构的概要的图。

图11是示出本发明的实施方式2中的边缘检测装置的处理的流程的概要的图。

图12是示出本发明的实施方式3中的边缘检测装置的处理的流程的概要的图。

图13是示出本发明的实施方式4中的边缘检测装置的内部结构的概要的图。

图14是示出本发明的实施方式4中的边缘检测装置的处理的流程的概要的图。

图15是示出本发明的实施方式4中的利用移动中的摄像装置拍摄的图像的1例的图。

图16是示出本发明的实施方式4中的频谱的1例的图。

图17是示出本发明的实施方式5中的边缘检测装置的内部结构的概要的图。

具体实施方式

下面，使用附图对本发明的各实施方式进行说明。

在以下的各实施方式的附图中，对相同或同样的部分标注相同或同样的标号，在各实施方式的说明中，有时省略其说明的一部分。

并且，为了对本发明进行说明，为了简便，对附图的各要素进行了分割，其实现形式不限于附图的结构、分割、名称等。并且，分割的方式本身也不限于图示的分割。

并且，在以下的说明中，“…部”也可以置换为“…单元”、“…器件”、“…处理装置”、“…功能单位”等。

实施方式1.

下面，使用图4～图9对本发明的各实施方式1进行说明。

另外，在本实施方式中，为了在不丧失一般性的前提下容易理解说明，以(1)图像表示通过由“宽度×高度”规定的多个像素构成的二维图像、(2)对一个图像进行边缘检测处理的情况为例进行说明。

图4是示出本发明的实施方式1中的边缘检测装置的内部结构的概要的图。

在附图中，40表示边缘检测装置，41表示图像取得部，42表示角度取得部(第1和第2处理部)，43表示边缘取得部(第3处理部)。

图像取得部41取得作为边缘检测处理对象的图像的图像信息。

作为图像信息，除了各像素中的表示图像深浅等的信息(以下记载为像素值。)以外，还可以包含与该图像有关的各种信息。作为像素值，例如可以使用表示(1)亮度、(2)颜色的值。

像素值的表现可以使用各种表现方法，例如可以使用(1)RGB表现、(2)YCbCr表现。

图像信息的取得方法可以应用各种方法，例如可以应用(1)从照相机等摄像装置取得写实图像的图像信息的方法、(2)通过读取存储介质中保存的图像的图像信息来取得的方法。

并且，作为图像取得部41的实现，可以应用各种实现形式，例如可以应用(1)具有照相机等摄像装置的形式、(2)具有用于从边缘检测装置的外部取得图像信息的输入接口的形式、(3)具有用于从内置于边缘检测装置中的或者能够内置于边缘检测装置中的存储单元取得图像信息的输入接口的形式。

角度取得部(第1和第2处理部)42根据由图像取得部41取得的图像信息，以像素块单位求出像素值的变动方向。

这里，像素块包括至少一个像素。并且，局部区域可以包含对应的像素块的周边像素。

详细地讲，角度取得部42使用包含第1像素块的第1局部区域的多个像素的像素值，针对第1像素块求出像素值的变动方向。(第1处理部)

并且，角度取得部42使用包含与上述第1像素块不同的第2像素块的第2局部区域的像素的像素值，针对第2像素块的像素求出像素值的变动方向。(第2处理部)

另外，作为像素块和局部区域的像素的数量的设定(确定)方法，可以应用各种方法，例如可以应用(1)预先设定在装置中的方法、(2)从装置外部进行设定的方法、(3)在装置内部确定的方法、(4)上述(1)～(3)中的一部分或全部的组合。

在后述处理流程的概要中对像素值的变动方向的求解方法的例子进行说明。

边缘取得部(第3处理部)43根据由角度取得部(第1和第2处理部)42得到的像素值的变动方向的信息求出边缘。

详细地讲，将由角度取得部(第1和第2处理部)42得到的第1像素块的像素中的像素值的变动方向与第2像素块的像素中的像素值的变动方向之差为基准值以上的第1像素块作为边缘。

接着，对边缘检测的处理流程的概要进行说明。

另外，为了在不丧失一般性的前提下容易理解说明，在以下的说明中，以(1)使用图像的亮度值作为与各像素对应的像素值、(2)以像素单位求出亮度值的变动方向、即一个像素块中的像素的数量为1的情况为例进行说明。

图5是示出发明的实施方式1中的边缘检测装置的处理流程的概要的图。

在附图中，51表示图像取得处理，52表示频率分析处理，53表示角度取得处理，54表示边缘取得处理。并且，附图的上端表示处理流程的开始，下端表示处理流程的结束。

首先，图像取得部41取得作为边缘检测处理对象的图像的图像信息。(步骤51)

接着，角度取得部42根据由图像取得部41取得的图像信息，使用局部区域中包含的多个像素的亮度值进行频率分析、即所谓的空间频率分析，求出频谱。(步骤52)

详细地讲，首先，在本说明中，设一个像素块中的像素的数量为1，所以，在对要关注的某一个像素(关注像素)进行频率分析的情况下，使用包含该关注像素的局部区域的像素的亮度值进行频率分析。然后，依次变更关注像素，同样对其他像素进行频率分析。

结合变动方向的求解方法，在后面叙述频率分析的详细情况和分析的例子。

作为亮度值的求解方法，可以应用各种方法，例如可以应用(1)图像取得部41取得图像信息本身的一部分、角度取得部42从图像取得部41取得该图像信息本身的一部分的方法、(2)在图像取得部41中根据图像取得部41取得的图像信息求出亮度值、角度取得部42从图像取得部41取得该亮度值的方法、(3)角度取得部42取得从图像取得部41取得的图像信息、角度取得部42进行求解的方法。

接着，角度取得部42根据通过步骤52的频率分析而得到的频谱，以像素单位求出亮度值的变动方向。(步骤53)

在后面叙述变动方向的求解方法的详细情况和例子。

变动方向的值例如由(1)度数法、(2)弧度法表示。

接着，边缘取得部43根据步骤53中得到的亮度值的变动方向的分布，决定是否将某个像素作为边缘。(步骤54)

详细地讲，对关注像素(第1像素)的亮度值的变动方向和与关注像素不同的像素(第2像素)的亮度值的变动方向进行比较，在存在基准值(阈值)以上的方向差的情况下，将该关注像素作为边缘。

变动方向的比较方法及其实现方法可以应用各种方法，例如可以应用(1)通过方向差的绝对值进行比较的方法、(2)通过方向和大小进行比较的方法。

在本实施方式中，关于与关注像素不同的像素(第2像素)，以使用与关注像素(第1像素)相邻的像素进行比较的情况为例进行说明。

然后，依次变更关注像素，同样对其他像素进行比较。

另外，“比较”用作包含(1)直接比较亮度值的变动方向、(2)求出亮度值的变动方向的差并观察差的正/负等的概念，只要是实质上的比较动作即可，实现方法没有限定。

并且，表示是否是边缘的信息的实现形式可以应用各种实现方法，例如可以应用(1)在方向差大于基准值的情况下作为边缘、(2)在方向差小于基准值的情况下不作为边缘、(3)根据是否是边缘使用不同的数值(例如0和1)等。

这里，需要在边缘检测处理(步骤54)时确定边缘检测的基准值。

该基准值成为本实施方式中的边缘检测的灵敏度。

通过设较小的角度例如15度(度数法表示)作为基准值，能够检测更多的边缘，但是，由于噪声的影响，容易将不是边缘的像素也判断为边缘。

另一方面，在设较大的角度例如60度作为基准值时，能够抑制噪声的影响，但是，将应该作为边缘的像素判断为不是边缘的情况变多。

作为其对策，例如，可以根据检测对象的图像的种类等，根据进行了本发明的边缘检测后的结果对基准值进行调整，应用(1)再次重新进行边缘检测处理、(2)反复进行检测处理整体的处理流程。由此，能够使用更佳的基准值。

这里，使用附图对频率分析、亮度值的变动方向的分布和边缘检测的1例进行说明。

图6是示出本发明的实施方式1中的某个局部区域内的亮度值的分布的1例的图。

由于是亮度值的分布，所以对应于与图像的明亮度有关的深浅分布。

在附图中，格子表示局部区域内的各像素，格子中的数字表示亮度值，X和Y表示示出二维图像中的像素的位置的简单坐标。

图6示出局部区域的大小即局部区域内的像素数为8×8的大小的情况的例子，并且，设图中的数字1最亮，数字3最暗。

根据附图可知如下状况：在该局部区域中，从左下朝向右上的方向(或从右上朝向左下的方向)存在主要的变动。

并且，可知与X方向上的变动的周期相比，Y方向上的变动的周期较短。因此，通过进行频率分析，与主要的变动成分对应的频谱成分的频率小于Y方向上的变动的主要频谱成分的频率。

图7是示出本发明的实施方式1中的像素值(亮度值)的频谱与变动方向的对应关系的图。图7是示出根据图6中例示的局部区域、即针对某个关注像素规定的局部区域的像素值(亮度值)的分布求出的频谱与该关注像素中的变动方向的关系的图。

另外，在进行了频率分析的情况下，在频谱成分为一个的情况下，大多得到较少的多个频谱成分，但是，这里，为了容易理解说明，作为频谱，仅示出与峰值对应的频率成分71。

在图中，横轴表示横向(X方向)的频率，纵轴表示纵向(Y方向)的频率，71表示作为频率分析的结果而得到的频谱中的振幅成为峰值的频谱的位置，θ表示振幅成为峰值的频谱71的方向。

在图7中，关于频谱的峰值的位置，在fX方向上是a的位置，在fY方向上是b的位置。根据该a和b求出峰值的角度θ，将该角度θ作为亮度值的变动方向。

如上所述，对应于图6中例示的亮度值的分布的主要变动，求出亮度值的变动方向θ。

另外，在存在多个频谱的峰值的情况下，求出变动方向θ的频谱的选择方法可以应用各种方法，例如可以应用(1)针对噪声较少的图像使用最大峰值。(2)在噪声较多的图像的情况下使用各峰值的中间的位置作为峰值、的方法。

在上述(1)的情况下，可得到精度优良的边缘检测结果。在(2)的情况下，考虑当使用最大的峰值时被噪声影响的可能性，但是，通过应用变形为使用各峰值的中间的位置作为峰值的处理流程，能够减少噪声的影响。

由角度取得部42得到的像素单位的亮度值的变动方向θ能够对应于原本的图像的像素，能够看作表示亮度值的变动方向的分布的图像(以下记载为角度图像。)。

角度图像的各像素的像素值是与输入图像对应的像素的位置处的像素值的变动方向θ，该值例如通过度数法或弧度法来表现。

图8是示出本发明的实施方式1中的亮度值的变动方向θ的分布(角度图像)的1例的图。即，是示出表示针对作为边缘处理对象的图像的各像素得到的亮度值的变动方向θ的分布的角度图像的图。另外，为了容易理解，利用箭头示出变动方向θ。

在附图中，格子表示图像的各像素，格子中的箭头表示亮度值的变动方向，81表示关注像素，82表示与关注像素相邻的像素(以下记载为相邻像素。)。

并且，在附图中，成为针对具有8×8(＝64个)像素的图像求出亮度值的变动方向θ的情况的例子。

设规定基准值例如为30度(度数法)。

当观察附图时，可知图中的关注像素81与相邻像素82之间的变动方向之差存在30度以上。因此，边缘取得部43将像素81判断为边缘。

同样依次变更关注像素，由此，将位于附图的像素81和像素82的上方的多个像素判断为边缘。

另外，作为与关注像素(图中为像素81。)进行比较的像素，可以使用各种像素，例如可以(1)与上下左右相邻的4个像素分别进行比较、(2)与包含倾斜方向相邻的像素在内的8个像素分别进行比较。在(1)的情况下，像素81和像素82这两个像素成为边缘。

由边缘取得部43得到的表示是否是边缘的信息能够对应于原本的图像的像素，能够看作表示边缘的分布的图像(以下记载为边缘图像。)。边缘图像成为按照每个像素表示是边缘还是非边缘的二值图像。

在实际的图像的情况下，例如在对象物是人工物的情况下，一般而言，多数情况下在图像中的对象物的表面存在像素值的直线的特征。

例如，如果是建造物，则存在规则配置的柱子、部件的接缝、梁、按照楼层的边界而描绘的装饰、窗户、阳台(以下将这些对象物的表面存在的部分记载为表面特征。)。

这些表面特征存在如下倾向：在对象物的某个面中，配置规则很少大幅变化。

例如，建造物的窗户或阳台等一般配置在水平方向上，但是，该水平角度很少在某个面内从中途变化。

并且，在建造物中，多数情况下，表面特征的配置规则在建造物的多个面中统一。

这样，表面特征的配置大多具有直线的特征，所以，通过读取图像的亮度值，能够求出表面特征的直线的方向即角度。因此，能够对应于表面特征而求出图像中表现的亮度值的变动的方向。

图9是示出本发明的实施方式1中的对象物的凹凸的变动方向的1例的图。

图9是与图2相同的图像，附图的理解方法也与图2相同。

在附图中，91(虚线的箭头)表示建造物的表面特征的方向。

观察图9可知，在面26与面27的边界即边缘25附近，表面特征的方向大幅变化。

关于面26与面27的边界部分，如上所述进行频率分析、像素单位的亮度值的变动方向θ的计算和边缘的检测，由此，在表面26与表面27之间的亮度值之差不大的情况下，也容易检测到与表面26和表面27的边界对应的边缘25。

如上所述，根据本实施方式的边缘检测装置和边缘检测方法，能够提供针对图像信息的图像内的变动较少的图像也能够提高边缘的检测率的边缘检测装置、边缘检测方法和程序。

并且，能够高精度地进行基于图像的三维模型的生成、以及基于三维模型与边缘图像的比较而实现的对象物的确定。

另外，在本实施方式中，对设局部区域的大小为8×8来进行频率分析的情况(参照图6)进行了说明，但是，作为局部区域的大小，可以应用各种大小，例如可以应用(1)16×16、(2)32×32。并且，局部区域的大小可以是固定值，也可以是能够变动的值。

在局部区域的尺寸更大的情况下，能够提取更大范围内的像素值的变动，并且，还能够减少噪声的影响。

另外，在本实施方式中，作为检测到的边缘的宽度，说明了成为2个像素的宽度的情况(参照图8的像素81和像素82。)，但是，在使用边缘检测结果的应用较多的情况下，作为检测到的边缘的宽度，多数情况下假设1个像素。

该情况下，装置也可以构成为，在角度取得部42中求出像素值的变动方向θ后，例如(1)针对关注像素限制为左侧和上侧的像素来进行比较、(2)在步骤54之后进行边缘的细线化处理，不限于上述装置和处理流程的附图。

另外，作为细线化处理，可以应用现有的和新的各种方法。

并且，在本实施方式中，以像素单位进行频率分析并以像素单位求出方向，但是，也可以包含多个像素作为像素块，以像素块单位进行频率分析并以像素块单位求出像素值的变动方向。

该情况下，也可以设像素块是与局部区域相同的大小，即，在局部区域中不包含周边像素。

并且，该情况下，也可以将针对像素块得到的变动方向θ作为像素块内的全部像素的变动方向。

这样，在将包含多个像素的范围作为单位进行分析的情况下，边缘检测结果的精度降低，但是，能够减少处理所需要的运算量。

并且，在按照每个像素块进行频率分析的情况下，在需要使角度图像与原本的图像的大小一致的情况下，在求出角度之后，也可以对所得到的角度图像进行插值处理。

作为插值方法，可以应用现有的和新的插值方法，例如可以应用作为现有方法的(1)最近插值、(2)线性插值、(3)双三次插值。

在上述(1)～(3)中，最近插值的插值精度相对不高，但是能够进行高速处理。线性插值或双三次插值的运算量较多，处理速度相对较慢，但是能够进行高精度的插值。

另外，在本实施方式中，假设针对图像内的全部像素求出变动方向，但是，不需要必须针对图像内的全部像素求出变动方向，也可以针对画面内的一部分像素求出变动方向。

并且，图像的端部的像素、像素块、局部区域的大小也可以与端部以外的部分不同。

并且，在本实施方式的图5的说明中，在步骤52的频率分析中，针对需要频率分析的全部像素进行频率分析，在此后的步骤53中求出角度，但是，只要步骤54的结果相同，则不限于上述说明，例如也可以(1)针对某个像素进行步骤52和53，接着，针对其他像素同样进行步骤52和53；(2)针对是否是边缘的判断所需要的一组像素进行步骤52～54，然后针对其他组的像素进行步骤52～54；(3)分割为多个区域进行并列处置。

实施方式2.

下面，使用图10和图11对本发明的各实施方式2进行说明。

另外，针对与上述实施方式1的边缘检测装置的内部结构以及动作相同的结构要素和动作，有时省略其说明。

图10是示出本发明的实施方式2的变形中的边缘检测装置的内部结构的概要的图。

在附图中，40表示边缘检测装置，41表示图像取得部，42表示角度取得部(第1和第2处理部)，43表示第1边缘候选取得部(第3处理部)，101表示第2边缘候选取得部(第4处理部)，102表示边缘统合部。

与上述实施方式的图4的主要不同之处在于，边缘取得部(第3处理部)43置换为第1边缘候选取得部，追加了第2边缘候选取得部(第4处理部)101和边缘统合部102。

第1边缘候选取得部(第3处理部)43进行与上述实施方式1的边缘取得部(第3处理部)43相同的处理。

但是，检测结果看作边缘候选(第1边缘候选)。

第2边缘候选取得部(第4处理部)101从图像取得部41取得与上述实施方式1的边缘取得部(第3处理部)43取得的图像相同的图像的图像信息。

另外，根据各个处理内容，所使用的图像信息的一部分也可以不同。

并且，第2边缘候选取得部(第4处理部)101根据图像取得部41取得的图像信息，通过与上述实施方式1的边缘处理不同的边缘检测方法进行边缘检测处理。

第2边缘候选取得部(第4处理部)101的检测结果看作第2边缘候选。

作为第2边缘候选取得部(第4处理部)101中的边缘候选的检测方法，可以应用现有的和新的各种检测方法，例如可以应用基于像素值的梯度的大小的检测方法。

作为基于像素值的梯度的大小的检测方法，例如可以应用(1)坎尼法、(2)拉普拉斯法。

边缘统合部102根据由第1边缘候选取得部(第3处理部)43得到的边缘候选(第1边缘候选)和由第2边缘候选取得部(第4处理部)101得到的边缘候选(第2边缘候选)求出边缘。

接着，对边缘检测的处理流程的概要进行说明。

图11是示出本发明的实施方式2的变形中的边缘检测装置的处理流程的概要的图。

在附图中，51表示图像取得处理，52表示频率分析处理，53表示角度取得处理，54表示第1边缘候选取得处理，111表示第2边缘候选取得处理，112表示边缘统合处理。并且，附图的上端表示处理流程的开始，下端表示处理流程的结束。

第1边缘候选取得部(第3处理部)43根据图像取得部41取得的图像信息，进行与上述实施方式1的边缘取得部(第3处理部)43相同的处理。检测结果看作第1边缘候选。

第1边缘候选的分布可以视为第1边缘候选图像。

第2边缘候选取得部(第4处理部)101根据与图像取得部41取得的图像信息相同的图像信息，进行基于与第1边缘候选取得部(第3处理部)43不同的边缘检测方法的边缘检测处理。检测结果看作第2边缘候选。

接着，主要对边缘检测的处理流程的概要中的与上述实施方式1的不同之处进行说明。假设使用与上述实施方式相同的亮度值作为像素值的情况。

第2边缘候选取得部(第4处理部)101针对从图像取得部41取得的图像信息，应用与上述实施方式1的边缘处理(步骤52～步骤54)不同的边缘检测方法，求出第2边缘候选。(步骤111)

第2边缘候选的分布可以视为第2边缘候选图像。

边缘统合部102根据由第1边缘候选取得部(第3处理部)43得到的边缘候选(第1边缘候选)和由第2边缘候选取得部(第4处理部)121得到的边缘候选(第2边缘候选)求出边缘(边缘图像)。(步骤112)

另外，由第1边缘候选取得部(第3处理部)43得到的第1边缘候选和由第2边缘候选取得部(第4处理部)121得到的第2边缘候选在关于边缘候选的属性例如(1)边缘图像的大小、(2)边缘的宽度的方面不需要完全一致。

例如在2个边缘候选图像以像素单位表示是否是边缘的情况下，边缘统合部102比较在原本的图像内位置对应的2个像素。

在求出边缘时，在任意一个像素或两个像素是边缘候选的情况下，将该位置的像素作为边缘。即，仅在两个像素是非边缘的情况下，成为非边缘。该情况下，能够通过表示是否是边缘的值的逻辑和(OR)而容易地求出。

或者，例如，边缘统合部102也可以仅在对应的2个边缘像素双方是边缘候选的情况下将其作为边缘。该情况下，能够通过表示是否是边缘的值的逻辑积(AND)而容易地求出。

如上所述，根据本实施方式的边缘检测装置和边缘检测方法，发挥与上述实施方式1相同的效果。

并且，通过与不同于上述实施方式的处理方式的边缘检测处理进行组合，能够得到不同的边缘图像，能够进一步提高边缘检测的检测效率。

另外，在与上述实施方式1相同的处理中，作为局部区域的大小，可以应用各种大小。并且，局部区域的大小可以是固定值，也可以是能够变动的值。

并且，边缘检测装置也可以构成为，在与上述实施方式1相同的处理中，进行边缘候选的细线化处理。

并且，在与上述实施方式1相同的处理中，也可以包含多个像素作为像素块，以像素块单位进行频率分析并以像素块单位求出像素值的变动方向。此时，与上述实施方式1同样，也可以对所得到的角度图像进行插值处理。

并且，在与上述实施方式1相同的处理中，不需要必须针对图像内的全部像素求出变动方向，也可以针对画面内的一部分像素求出变动方向。

并且，在与上述实施方式1相同的处理中，图像的端部的像素、像素块、局部区域的大小可以与端部以外的部分不同。

并且，在与上述实施方式1相同的处理中，与上述实施方式1同样，能够进行处理流程的各种变形。

进而，在本实施方式的图10和图11中，成为并列求出第1和第2边缘候选的流程，但是，只要在最终求出边缘时(步骤112)求出第1和第2边缘候选即可，不限于附图的流程的处理顺序。

实施方式3.

下面，使用图12对本发明的各实施方式3进行说明。

另外，针对与上述各实施方式1的结构要素相同或同样的结构要素及其动作，有时省略其说明。

图12是示出本发明的实施方式3中的边缘检测装置的处理的流程的概要的图。

在附图中，51表示图像取得处理，53表示角度取得处理，54表示第1边缘候选取得处理，111表示第2边缘候选取得处理，112表示边缘统合处理，121表示梯度算子处理。并且，附图的上端表示处理流程的开始，下端表示处理流程的结束。

边缘检测装置的内部结构的概要与上述实施方式2的图10相同。

与实施方式2的图11的处理流程的不同之处在于，代替频率分析处理52而记载了梯度算子处理121。

角度取得部(第1和第2处理部)42根据由图像取得部41取得的图像信息，以像素块单位求出像素值的变动方向θ。(步骤121～步骤53)

详细地讲，首先，应用求出像素值梯度的算子。(步骤121)

作为用于求出像素值梯度的算子，可以应用现有的和新的算子，例如可以应用(1)索贝尔算子(Sobel operator)、(2)普鲁伊特算子(Prewitt operator)。

在使用索贝尔算子和罗伯特算子的情况下，针对以关注像素为中心的3×3的大小的局部区域应用算子。

接着，角度取得部(第1和第2处理部)42根据通过应用上述梯度算子而得到的各方向上的梯度量，以像素单位求出亮度值的变动方向。(步骤53)

作为变动方向的求解方法，能够根据水平方向和垂直方向的梯度的大小，通过反三角函数求出。详细地讲，例如，通过水平方向用的梯度算子求出水平方向的梯度，通过垂直方向用的梯度算子求出垂直方向的梯度。能够使用所求出的各方向的梯度，通过反三角函数求出。

如上所述，根据本实施方式的边缘检测装置和边缘检测方法，发挥与上述实施方式2相同的效果。

并且，与上述实施方式2相比，能够高速求出像素值的变动方向。

这是因为，在实施方式2中，由于使用频率分析例如傅里叶变换，所以，在装置的实现中大多使用浮动小数点运算，但是，在应用算子的情况下，能够通过整数的积和运算来实现，所以，能够实现电路规模的减小和处理的高速化。

另外，与上述实施方式2相同的结构和动作能够与上述实施方式2同样进行各种变形。

实施方式4.

下面，使用图13～图16对本发明的各实施方式4进行说明。

另外，针对与上述各实施方式的结构要素相同或同样的结构要素，有时省略其说明。

图13是示出本发明的实施方式4中的边缘检测装置的内部结构的概要的图。

在附图中，40表示边缘检测装置，41表示图像取得部，42表示角度取得部(第1和第2处理部)，43表示第1边缘候选取得部(第3处理部)，101表示第2边缘候选取得部(第4处理部)，102表示边缘统合部，131表示移动信息取得部，132表示移动分析部。

与实施方式2的图10的主要不同之处在于，追加了移动信息取得部131和移动分析部132。

并且，在本实施方式中，假设图像取得部41能够掌握照相机等拍摄装置(未图示)的移动状况(包含静止状态)的情况。

移动信息取得部131掌握拍摄装置的移动状况，求出与拍摄装置的移动有关的信息(以下记载为移动信息。)。

作为移动信息，只要是能够掌握拍摄装置的移动状况的信息即可，可以应用各种信息，例如可以应用(1)摄像装置的加速度、(2)摄像装置的速度、(3)摄像装置的位置。

移动状况的掌握方法可以应用各种实现方法，例如在使用加速度进行掌握的情况下，可以应用如下的方法：在图像取得部41中内置(或一体化)加速度传感器，(1)输出加速度信号，由移动信息取得部131取得加速度信号并进行掌握；(2)在图像取得部41内将加速度信号转换为移动信息，移动信息取得部131取得该移动信息进行掌握。

另外，作为移动信息取得部131的定义，可以包含用于取得移动信息的传感器。

移动分析部132根据由移动信息取得部131得到的摄像装置的移动信息，对由于摄像装置的移动而在摄像图像上产生的像素值的变化中的、在求出变动方向θ时成为问题的成分进行分析。

在后述处理流程中对本实施方式中的上述成分进行说明。

角度取得部42根据移动分析部132的分析结果，排除由于移动而引起的成分，或者根据不存在基于移动的影响的成分，求出像素值的变动方向θ。

接着，对边缘检测的处理流程的1例的概要进行说明。

在以下的说明中，作为移动信息，以取得摄像装置移动时的加速度的信息的情况为例进行说明。

并且，在本实施方式中，作为由于移动而引起的成分，移动分析部132求出与由于移动而产生的残像对应的频谱成分。

由于残像而引起的频谱的求解方法在后面叙述。

图14是示出本发明的实施方式4中的边缘检测装置的处理流程的概要的图。

在附图中，51表示图像取得处理，52表示频率分析处理，53表示角度取得处理，54表示第1边缘候选取得处理，111表示第2边缘候选取得处理，112表示边缘统合处理，141表示移动信息取得处理，142表示移动分析处理。并且，附图的上端表示处理流程的开始，下端表示处理流程的结束。

与实施方式2的图11的不同之处在于，在频率分析处理52与角度取得处理53之间追加了移动信息取得处理141和移动分析处理142。

首先，角度取得部42根据由图像取得部41取得的图像信息，使用局部区域中包含的多个像素的亮度值进行频率分析，求出频谱。(步骤52)

接着，移动信息取得部131掌握拍摄装置的移动状况，求出移动信息。(步骤141)

接着，移动分析部132根据由角度取得部42得到的频谱和由移动信息取得部131得到的移动信息，求出与由于摄像装置的移动而在图像上产生的残像的图案对应的频谱成分。(步骤142)

另外，在求出像素值的变动方向时求出移动信息和基于移动分析部132的由于残像而引起的频谱成分即可，处理的顺序和定时不限于附图。

这里，角度取得部42确定通过步骤52的频率分析而得到的频谱中的、与残像的图案对应的频谱成分。

另外，与残像对应的频谱成分可以是确定的，也可以估计的。并且，在求出与残像对应的频谱成分时，还可以考虑由于残像而产生的可能性。

角度取得部42还排除与残像对应的频谱成分，或者根据不存在基于移动的影响的成分，求出像素值的变动方向θ。

另外，例如根据摄像对象，残像对图像的影响可能出现差异，所以，在求出变动方向时，还可以考虑由于残像而产生频谱成分的峰值的可能性。

并且，不需要必须考虑与残像对应的全部频谱成分，也可以适当选择主要成分。

这里，对排除由于移动而引起的频谱成分的例子进行说明。

通常，在摄像装置移动的情况下，如果摄像装置的快门时间非常短或未实施手抖校正等校正处理，则在摄像结果的图像中产生残像。

在与移动方向的消失点相同的方向上产生该残像，所以，在角度取得部42求出变动方向时，残像的方向可能造成影响。

图15是示出本发明的实施方式4中的利用移动中的摄像装置拍摄的图像的1例的图。

在附图中，21表示蓝天，22表示建造物，23表示地面，151表示道路，152表示消失点，153表示某个像素块(或局部区域)的范围。

并且，假设摄像装置在道路151上朝向消失点移动。

当考虑要关注的像素块(或局部区域)的范围153时，由于摄像装置朝向消失点移动，所以，可能产生沿着朝向消失点152的方向的残像。

图16是示出与某个像素块(或局部区域)的范围153对应的频谱的1例的图。附图的理解方法与图7相同。

在附图中，161表示对象物自身的频谱成分的峰值，162表示由于残像而产生的频谱成分的峰值，163表示以峰值162为中心的附近的范围。

在附图的情况下，在残像的影响较大的情况下，例如在峰值162的大小大于峰值161的大小的情况下，检测对象物的边缘的精度可能降低。

这种情况下，角度取得部42排除峰值162后，求出变动方向θ。

如上所述，发挥与实施方式2相同的效果。

并且，在取得图像时摄像装置移动的情况下，例如在将摄像装置安装在便携设备或汽车上进行摄像的情况下，能够抑制边缘的误检测的增加。

另外，与上述各实施方式相同的结构和动作能够与上述各实施方式同样进行各种变形。

并且，在本实施方式中，将由于摄像装置的移动而产生的、或者可能产生的频谱的峰值的成分162排除，但是，在实际的图像中，大多在峰值162的附近产生多个频谱成分，所以，也可以将附近范围163内的频谱成分排除。

实施方式5.

下面，使用图17对本发明的各实施方式5进行说明。

另外，针对与上述实施方式1的结构相同或同样的要素和功能，有时省略其说明。

图17是示出本发明的实施方式5中的边缘检测装置的内部结构的概要的图。

在附图中，171表示照相机(Camera)，172表示输入接口(Input Interface)，173表示总线(Bus)，174表示CPU(Central Processing Unit)，175表示RAM(Random AccessMemory)，176表示ROM(Read Only Memory)，177表示输出接口(Output Interface)，178表示控制用接口(Control Interface)。

另外，例如可以定义不包含照相机171的狭义的边缘检测装置。或者，也可以定义包含未图示的其他结构要素、例如(1)电源、(2)显示装置的广义的边缘检测装置。

照相机171生成图像信息。

输入接口172从照相机171取得图像信息。

另外，在假设不包含照相机171的边缘检测装置40的情况下，从边缘检测装置40外部输入图像信息。该情况下，输入接口172的实现例如可以是所谓的连接器。

总线173对结构要素之间进行连接。

CPU174进行各种处理例如(1)运算处理、(2)控制处理。

RAM175和ROM176存储各种信息。

输出接口177向边缘检测装置40的外部输出各种信息。

控制用接口178与边缘检测装置40的外部交换控制信息。

在本实施方式中，使图17所示的结构要素和上述各实施方式中的任意或全部结构要素对应起来。

例如，主要能够使照相机171和输入接口172与图像取得部41、移动信息取得部131或这双方对应起来。

并且，例如，主要能够使CPU174与角度取得部(第1和第2处理部)42、边缘取得部(第3处理部)43、第1边缘候选取得部(第3处理部)43、第2边缘候选取得部(第4处理部)101、边缘统合部102和移动分析部132中的一部分或全部对应起来。

边缘检测装置的动作的概要与上述各实施方式相同，所以，省略其说明。

如上所述，根据本实施方式的边缘检测装置和边缘检测方法，对应于上述各实施方式，发挥与上述各实施方式相同的效果。

另外，本实施方式的图17的CPU174在附图的说明中仅设为CPU，但是，只要能够实现以运算等为代表的处理功能即可，例如也可以是(1)微处理器(Microprocessor)、(2)FPGA(Field Programmable Gate Array)、(3)ASIC(Application Specific IntegratedCircuit)、(4)DSP(Digital Signal Processor)。

并且，处理可以是(1)模拟处理、(2)数字处理、(3)双方的混合处理中的任意处理。进而，可以进行(1)基于硬件的实现、(2)基于软件(程序)的实现、(3)基于双方混合的实现等。

并且，本实施方式的RAM175在附图的说明中仅设为RAM，但是，只要能够易失性地存储保持数据即可，例如也可以是(1)SRAM(Static RAM)、(2)DRAM(Dynamic RAM)、(3)SDRAM(Synchronous DRAM)、(4)DDR-SDRAM(Double Data Rate SDRAM)。

并且，可以进行(1)基于硬件的实现、(2)基于软件的实现、(3)基于双方混合的实现等。

并且，本实施方式的ROM176在附图的说明中仅记载为ROM，但是，只要能够存储保持数据即可，例如也可以是(1)EPROM(Electrical Programmable ROM)、(2)EEPROM(Electrically Erasable Programmable ROM)。并且，可以进行基于硬件的实现、基于软件的实现、基于双方混合的实现等。

另外，在上述各实施方式中，对使用亮度值作为像素值的情况进行了说明，但是不限于亮度值。

例如，在彩色图像中，可以(1)使用构成RGB、HSV、YCbCr等颜色空间的一个成分作为像素值来应用本发明、(2)按照各成分应用本发明。

并且，在上述实施方式2以后，以各一种的方式对基于像素值的变动方向的第1边缘候选的检测和基于与其不同的方式的第2边缘候选的检测进行组合，但是，也可以构成为使用多种检测方式，不限于上述实施方式。

并且，为了容易理解说明，上述各实施方式所示的附图是省略了详细功能、内部构造等的附图。因此，在本发明的处理装置的结构和实现中，也可以包含除了图示的功能或结构要素以外的功能或结构要素、例如显示单元(功能)、通信单元(功能)。

并且，上述各实施方式中的装置的结构、功能和处理的分割方式是一例，在装置的实现中，只要能够实现等效功能即可，不限于各本实施方式。

并且，通过连接附图的各部之间的箭头而运送的信号和信息的内容有时根据分割方式而变化，该情况下，通过箭头或线而运送的信号和信息在(1)是否明确实现、并且(2)是否是明确规定的信息这样的信息的属性的方面可以不同。

并且，上述各实施方式中的各种处理或动作能够在(1)变形为实质上等效(或相当)的处理(或动作)来实现、(2)分割为实质上等效的多个处理来实现、(3)多个块中共通的处理作为包含它们的块的处理来实现、(4)某个块统一实现等本发明的课题和效果的范围内进行各种变形。

标号说明

11：图像取得处理；12：梯度取得处理；13：二值化处理；20：图像；21：天空；22：建造物；23：地面；24和25：边缘；25和26：建造物的表面；40：边缘检测装置；41：图像取得部；42：角度取得部(第1和第2处理部)；43：边缘取得部(第3处理部)或第1边缘候选取得部；51：图像取得处理；52：频率分析处理；53：角度取得处理；54：边缘取得处理；71：频谱的峰值；81和82：像素；91：表面特征；101：第2边缘候选取得部；102：边缘统合部；111：现有方式处理；113：边缘统合处理；121：梯度算子处理；131：移动信息取得部；132：移动分析部；141：移动信息取得处理；142：移动分析处理；151：道路；152：消失点；153：某个像素块(或局部区域)的范围；161和162：频谱的峰值；163：峰值162的周边；171：照相机；172：输入接口；173：总线(Bus)；174：CPU；175：RAM；176：ROM；177：输出接口；178：控制用接口。

Claims (4)

1.一种边缘检测装置，其检测由摄像装置取得的图像内的边缘，其中，所述边缘检测装置具有：

第1处理部，其对所述图像的包含第1像素块的第1局部区域的多个像素的像素值应用频率分析，根据所述摄像装置的移动状况的信息求出所得到的频率成分中的由于取得所述图像时的所述摄像装置的移动而产生的频率成分，根据由于所述摄像装置的移动而产生的频率成分以外的频率成分，求出所述第1像素块中的像素值的变动方向；

第2处理部，其对包含与所述第1像素块不同的第2像素块的第2局部区域的多个像素的像素值应用频率分析，根据所述摄像装置的移动状况的信息求出所得到的频率成分中的由于取得所述图像时的所述摄像装置的移动而产生的频率成分，根据由于所述摄像装置的移动而产生的频率成分以外的频率成分，求出所述第2像素块中的像素值的变动方向；以及

第3处理部，其将由所述第1处理部求出的所述第1像素块中的像素值的变动方向与由所述第2处理部求出的所述第2像素块中的像素值的变动方向之差为基准值以上的所述第1像素块作为边缘。

2.根据权利要求1所述的边缘检测装置，其中，

所述边缘检测装置还具有第4处理部和边缘统合部，

该第4处理部通过与所述第1处理部、所述第2处理部以及所述第3处理部中的处理不同的处理方式来检测所述图像内的边缘，

该边缘统合部将由所述第3处理部检测到的边缘作为第1边缘候选，将由所述第4处理部检测到的边缘作为第2边缘候选，根据所述第1边缘候选和所述第2边缘候选求出边缘。

3.根据权利要求1或2所述的边缘检测装置，其中，

所述第1像素块和所述第2像素块分别包含多个像素，

关于各像素块内的全部像素，设各像素块内的像素值的变动方向为同一方向。

4.一种边缘检测方法，检测由摄像装置取得的图像内的边缘，包含以下步骤：

在第1处理部中，对所述图像的包含第1像素块的第1局部区域的多个像素的像素值应用频率分析，根据所述摄像装置的移动状况的信息求出所得到的频率成分中的由于取得所述图像时的所述摄像装置的移动而产生的频率成分，根据由于所述摄像装置的移动而产生的频率成分以外的频率成分，求出所述第1像素块中的像素值的变动方向；

在第2处理部中，对包含与所述第1像素块不同的第2像素块的第2局部区域的多个像素的像素值应用频率分析，根据所述摄像装置的移动状况的信息求出所得到的频率成分中的由于取得所述图像时的所述摄像装置的移动而产生的频率成分，根据由于所述摄像装置的移动而产生的频率成分以外的频率成分，求出所述第2像素块中的像素值的变动方向；以及

在第3处理部中，将由所述第1处理部求出的所述第1像素块中的像素值的变动方向与由所述第2处理部求出的所述第2像素块中的像素值的变动方向之差为基准值以上的所述第1像素块作为边缘。