CN109089035A - 图像处理设备、图像处理方法和存储介质 - Google Patents

Abstract

本发明涉及一种图像处理设备、图像处理方法和存储介质。可计算误差小的图像合成所用的变换参数并减少合成图像中出现的失真。该图像处理设备包括：特征点提取单元，其从第一图像和第二图像的各图像提取在两个图像之间彼此对应的特征点，第一图像和第二图像是拍摄纸质文档获得的图像并且其拍摄范围彼此不同；边缘提取单元，其从各图像提取在两个图像之间彼此对应的边缘；消失点检测单元，其从各图像检测纸质文档所属的平面的消失点；变换参数导出单元，其通过使用与交点相对应的坐标，导出图像合成所用的变换参数，该交点是连接特征点和消失点的直线与边缘的交点；以及图像合成单元，其通过使用变换参数来合成第一图像和第二图像。

Description

图像处理设备、图像处理方法和存储介质

技术领域

本发明涉及通过合成多个图像来生成合成图像的图像处理设备。

背景技术

通过使用照相机拍摄诸如商业表单等的纸质文档并且进行字符识别，已提取了在纸质文档上描述的信息。然而，根据纸质文档的薄片大小和照相机的图像感测元件的分辨率，存在不能从所拍摄图像以足够的精度提取信息的情况。结果，通过以下操作已提取了信息：通过代替一次摄像而是将摄像分割成多次来拍摄薄片全体，通过将多次摄像所获得的各图像合成来生成包括薄片全体的一个图像，并且针对所生成的合成图像进行字符识别。日本特开2004-342067描述了如下的方法：通过从具有重叠区域的两个图像中提取在这两个图像中彼此对应的特征点、并且通过使用根据所提取的特征点导出的透视投影变换的变换参数，来进行图像合成。日本特开2002-57879描述了通过消失点检测来校正图像的失真的方法。

在合成图像时所使用的变换参数中存在误差的情况下，存在合成图像中发生失真的可能性。此外，存在原本应当作为直线连接的部分(例如，商业表单的格线)弯曲或者这些部分未连接的情况。结果，为了使得可以针对合成图像以足够的精度提取信息，需要抑制上述的图像的失真和格线的偏移。

结果，本发明的目的是提供一种图像处理设备，其能够计算误差小的图像合成所使用的变换参数、并且使得在最终生成的合成图像中出现的失真小。

发明内容

根据本发明的一个方面，一种图像处理设备，包括：特征点提取单元，用于从第一图像和第二图像的各图像中提取在两个图像之间彼此对应的特征点，其中所述第一图像和所述第二图像是通过拍摄纸质文档所获得的图像，并且所述第一图像和所述第二图像的拍摄范围彼此不同；边缘提取单元，用于从所述各图像中提取在两个图像之间彼此对应的边缘；消失点检测单元，用于从所述各图像中检测所述纸质文档所属的平面的消失点；变换参数导出单元，用于通过使用与如下的交点相对应的坐标，来导出图像合成所用的变换参数，其中所述交点是连接所提取的特征点和所检测到的消失点的直线与所提取的边缘的交点；以及图像合成单元，用于通过使用所导出的变换参数来合成所述第一图像和所述第二图像。

根据本发明的一个方面，一种图像处理方法，包括以下步骤：从第一图像和第二图像的各图像中提取在两个图像之间彼此对应的特征点，其中所述第一图像和所述第二图像是通过拍摄纸质文档所获得的图像，并且所述第一图像和所述第二图像的拍摄范围彼此不同；从所述各图像中提取在两个图像之间彼此对应的边缘；从所述各图像中检测所述纸质文档所属的平面的消失点；通过使用与如下的交点相对应的坐标，来导出图像合成所用的变换参数，其中所述交点是连接所提取的特征点和所检测到的消失点的直线与所提取的边缘的交点；以及通过使用所导出的变换参数来合成所述第一图像和所述第二图像。

根据本发明的一个方面，一种非暂时性计算机可读存储介质，其存储程序，所述程序用于使计算机进行图像处理方法，所述图像处理方法包括以下步骤：从第一图像和第二图像的各图像中提取在两个图像之间彼此对应的特征点，其中所述第一图像和所述第二图像是通过拍摄纸质文档所获得的图像，并且所述第一图像和所述第二图像的拍摄范围彼此不同；从所述各图像中提取在两个图像之间彼此对应的边缘；从所述各图像中检测所述纸质文档所属的平面的消失点；通过使用与如下的交点相对应的坐标，来导出图像合成所用的变换参数，其中所述交点是连接所提取的特征点和所检测到的消失点的直线与所提取的边缘的交点；以及通过使用所导出的变换参数来合成所述第一图像和所述第二图像。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出本发明的第一实施例的图像处理设备的结构的框图；

图2是示出直到根据所拍摄图像生成合成图像为止的处理流程的流程图；

图3A～3C是示出通过将摄像分割成多次来拍摄作为处理对象的商业表单的方式的图；

图4是用于说明消失点的检测方法的图；

图5A和5B是用于说明作为合成对象的图像的合成的图；

图6是示出第一实施例中的在步骤S208中所进行的四点选择处理的流程图；

图7A～7C是示出第一实施例中的选择透视投影变换的参数计算所使用的四个点的方式的图；

图8是示出第二实施例中的在步骤S208中所进行的四点选择处理的流程图；

图9A～9C是示出第二实施例中的选择透视投影变换的参数计算所使用的四个点的方式的图；以及

图10是示出在存在仅一个匹配的特征点的情况下所选择的、透视投影变换的参数计算所使用的四个点的图。

具体实施方式

第一实施例

图1是示出本发明的第一实施例的图像处理设备的结构的框图。本实施例中的图像处理设备10包括摄像单元101、图像存储单元102、特征点检测单元103、消失点检测单元104、特征点匹配单元105、边缘检测单元106、变换参数导出单元107和图像合成单元108。摄像单元101和图像存储单元102可以安装在图像处理设备10的外部。

摄像单元101拍摄被摄体并获取图像数据。在本实施例中，采用纸面上的沿垂直方向和水平方向绘制了格线的商业表单作为被摄体。图像存储单元102存储摄像单元101获取到的图像数据。图像存储单元102是具有例如RAM、闪速存储器和HDD等的存储装置。特征点检测单元103从图像存储单元102中内所存储的图像数据中提取特征点。特征点检测单元103通过使用诸如角点检测和SIFT等的方法来检测特征点，并且提取从以所检测到的点为中心的周边像素归一化得到的特征量。消失点检测单元104从图像存储单元102内所存储的图像数据中检测消失点。消失点检测单元104获取(各自均存在于利用图像数据表示的图像内的)纸端、格线和通过检测一个字符的区域并排列其重心的多个坐标构成的线等，作为向着消失点延伸的直线。然后，消失点检测单元104检测到这些直线的交点作为消失点。特征点匹配单元105通过在两个图像数据之间比较由特征点检测单元103从图像数据获得的特征点和该特征点具有的特征量，来计算相似度。然后，特征点匹配单元105提取在两个图像数据之间彼此对应的特征点。边缘检测单元106通过从图像存储单元102内所存储的图像数据中检测边缘并通过使用所检测到的边缘中所包括的像素进行霍夫变换，来获得表示直线的函数。然后，边缘检测单元106提取在两个图像数据之间彼此对应的边缘。对于边缘检测，使用诸如Sobel滤波器、拉普拉斯算子和Canny等的方法其中之一。还可以通过组合利用多个这些方法获得的结果来检测边缘。变换参数导出单元107导出图像合成所用的变换参数。更具体地，变换参数导出单元107根据由消失点检测单元104获取到的消失点、由特征点匹配单元105提取的特征点和由边缘检测单元106提取的边缘(直线)来计算透视投影变换的变换参数(变换矩阵)。图像合成单元108通过根据由变换参数导出单元107获得的变换参数变换由摄像单元101拍摄到的多个图像数据来生成合成图像数据。在下文，存在将图像数据简单地表示为图像的情况。

图2是示出直到根据所拍摄图像生成合成图像为止的处理流程的流程图。

在步骤S201中，摄像单元101通过拍摄被摄体来获取图像数据。将所获取到的图像数据存储在图像存储单元102中。图3A～3C是示出通过将摄像分割成多次来拍摄作为处理对象的商业表单的方式的图。图3A示出通过将摄像分割成三次来拍摄商业表单全体的方式。图3B示出通过将摄像分割成六次来拍摄商业表单全体的方式。图3C示出通过将摄像分割成九次来拍摄商业表单全体的方式。这些图中的矩形框表示拍摄范围，并且该框内的数字表示拍摄范围是哪个编号的拍摄范围。拍摄商业表单的方法可以是摄像单元的位置固定但被摄体(薄片)的位置移动的固定式摄像方法、或者被摄体的位置固定但摄像单元的位置移动的手持式摄像。在下文，采用如下情况作为示例：通过合成拍摄范围不同的六个部分图像来生成商业表单的全体图像，其中这六个部分图像是通过如图3B所示将摄像分割成六次通过手持式摄像拍摄商业表单所获得的。

在步骤S202，图像合成单元108判断是否获取到所有的作为处理对象的图像数据。这里，作为处理对象的图像数据是通过拍摄图3B所示的六个拍摄范围所获得的六个图像数据。在获取到所有的作为处理对象的图像数据的情况下(步骤S202中为“是”)，处理进入步骤S210。另一方面，在没有获取到所有的作为处理对象的图像数据的情况下，处理进入步骤S203。可以通过例如使用户进行用以指示摄像完成的操作来判断是否获取到所有的作为处理对象的图像数据。此外，还可以例如通过采用缩小图像作为对象以生成合成图像、并且检测到纸面全体包括在所生成的合成图像中，来进行判断。

在步骤S203中，特征点检测单元103进行用以从由摄像单元101新获取到的图像数据中检测特征点的处理。

在步骤S204中，消失点检测单元104进行用以从在步骤S203中处理后的图像数据中检测消失点的处理。图4是用于说明消失点的检测方法的图。图4示出从通过拍摄商业表单的左下部分(左下方作为一个面)所获得的图像中检测消失点的方式。如图4所示，消失点检测单元104通过根据图像数据进行边缘检测和特征点检测来通过霍夫变换获得表示直线的函数。然后，消失点检测单元104通过收集大量这些函数并使用RANSAC(随机采样一致性)拟合由各函数表示的直线的交点，来检测消失点。

在步骤S205中，特征点匹配单元105判断在步骤S203和S204中处理后的图像数据是否是第二个或后续图像的图像数据。在第二个或后续图像的情况下(步骤S205中为“是”)，处理进入步骤S206。在图像数据不是第二个或后续图像的图像数据的情况下(步骤S205中为“否”)，处理返回至步骤S201。

在步骤S206中，特征点匹配单元105进行特征点匹配。具体地，特征点匹配单元105使用从由摄像单元101新获取到的图像数据中检测到的特征点作为关键字，并且进行与从先前获取到的图像数据中检测到的特征点的匹配。然后，特征点匹配单元105提取特征量匹配的特征点。在通过特征点提取处理提取了大量特征点的情况下，特征点匹配单元105进行特征点的过滤。在本实施例中，特征点匹配单元105通过从所提取的特征点中选择四组特征点以求出透视投影变换的变换参数、通过使用RANSAC拟合变换参数、并且排除变为异常值的特征点，来进行特征点的过滤。

在步骤S207中，变换参数导出单元107选择计算透视投影变换的变换参数所针对的图像的组合、即根据步骤S206中获得的特征点匹配结果而要合成的图像的组合。如图5A所示，在拍摄第三个图像的情况下，在步骤S206中针对第一个图像和第二个图像进行特征点匹配。在第一个图像和第三个图像中都存在重叠区域，因此在第一个图像和第三个图像之间获得匹配的特征点。然而，第一个图像和第三个图像的重叠区域小，因此变换参数导出单元107不选择第一个图像和第三个图像的组合作为用于计算透视投影变换的参数的组合。结果，选择第二个图像和第三个图像的组合作为用于计算透视投影变换的参数的组合。如图5B所示，在拍摄第四个图像的情况下，在第四个图像与第一个图像、第二个图像和第三个图像各自之间存在重叠区域。然而，第二个图像和第四个图像之间的重叠区域小，因此选择第一个图像和第三个图像作为用于计算针对第四个图像的透视投影变换的参数的组合。

在步骤S208中，确定透视投影变换的参数计算所要使用的四个点的组合、即合成两个图像所需的四个点的组合。该处理(以下称为四点选择处理)由边缘检测单元106和变换参数导出单元107进行。后面将通过使用图6来说明四点选择处理的详情。

在步骤S209中，变换参数导出单元107根据在步骤S208中确定的四个点的组合来估计(计算)透视投影变换的参数。通过步骤S206～S209的处理，针对步骤S201中由摄像单元101新获取到的图像数据，求出针对先前获取到的图像数据的变换参数。

在步骤S210中，图像合成单元108进行图像合成。这里，图像合成单元108通过使用通过步骤S201～S209的处理求出的变换参数来合成与图3B所示的六个拍摄范围相对应的图像数据。图像合成单元108通过选择用作合成源的一个图像并将其它图像叠加在所选择的图像上来合成图像。作为合成源的图像，可以选择首先拍摄到的图像，可以选择最后拍摄到的图像，或者可以选择拍摄范围在商业表单的中心附近的图像。此外，还可以在改变合成源的图像的同时进行合成。在该阶段，没有校正合成源的图像所具有的透视投影失真。结果，图像合成单元108通过使用与步骤S204中已提取的从合成源的图像中所检测到的消失点有关的信息，来将合成图像校正成从正面拍摄图像的状态。

通过以上处理，可以通过合成通过多次图像拍摄所获得的图像来生成一个合成图像。

接着，通过使用图6来说明在步骤S208中进行的四点选择处理。图6是示出第一实施例中的在步骤S208中所进行的四点选择处理的流程图。在透视投影变换的参数计算所要使用的四个点之间的距离小的情况下，在以像素为单位使这些点彼此对应的条件下，像素的表现中的误差的影响在要计算的变换参数中显著出现。由此，在以下处理中，以点之间的距离变大的方式选择透视投影变换的参数计算所要使用的四个点。

首先，变换参数导出单元107通过采用通过步骤S206的处理而匹配的特征点作为对象来确定特征点之间的距离变为最大的四个特征点的组合，并采用这些特征点作为初始值(步骤S601)。特征点之间的距离变为最大的特征点的组合是使各特征点之间的距离最大的组合、即用于使各特征点所包围的面积最大的组合。

接着，变换参数导出单元107判断特征点之间的各距离是否大于或等于预先确定的固定值(步骤S602)。例如，在各特征点与图像上的其它特征点分开了100个像素以上的情况下(步骤S602中为“是”)，变换参数导出单元107判断为对透视投影变换的参数产生的影响微小并终止该处理。在这种情况下，根据这些特征点的坐标来计算变换参数。在特征点之间的距离小于预先确定的固定值的情况下(步骤S602中为“否”)，处理进入步骤S603。在步骤S603和后续步骤的处理中，进行特征点替换。在步骤S602的判断处理中，代替基于特征点之间的距离进行判断，还可以判断各特征点所包围的面积是否大于或等于预先确定的固定值。

接着，边缘检测单元106从两个图像中检测边缘(步骤S603)。通过该边缘检测处理，指定边缘上的像素并且可以获取这些像素的坐标。

接着，边缘检测单元106进行边缘提取处理，以从步骤S603中检测到的边缘中提取在两个图像之间彼此对应的边缘(步骤S604)。通过在纸面外没有检测到特征点并且在纸面与纸面外之间存在颜色差异的条件，可以指定纸端的边缘。此外，还可以指定纸面中所包括的诸如格线等的直线，并且可以使直线在两个图像之间彼此对应。对于除纸端以外的直线，可以通过采用例如纸端的边缘作为基准、或者采用诸如存在于这些直线周围的字符和特征点等的信息作为基准，来使直线彼此对应。

接着，边缘检测单元106从通过步骤S604的处理所提取的边缘中选择特征点重新配置于的边缘(步骤S605)。在本实施例中，边缘检测单元106选择纸端的边缘和离纸端的边缘最远的边缘，并且根据构成这些边缘的像素的坐标通过霍夫变换来获得表示直线的函数。如图3C所示，在通过将摄像分割成九次来拍摄商业表单的情况下，从中央图像中没有检测到纸端的边缘。结果，对于这样的图像，从所提取的边缘中选择边缘之间的距离最大的两个边缘就足够了。

接着，边缘检测单元106求出将步骤S601获得的四个特征点和图2所示的步骤S204中已检测到的消失点连接的直线，并且求出这些直线与步骤S605中选择的边缘的直线的交点(步骤S606)。各直线由线性函数表示，因此交点的坐标是在包含与小数部分的坐标有关信息的状态下获得的。

接着，变换参数导出单元107从步骤S606中获得的交点中选择各特征点重新配置于的各交点(步骤S607)。在求出用于合成图7A所示的两个图像#1和#2的变换参数的情况下，选择图7A所示的交点A、B、C和D。图7B中示出的利用虚线表示的线是连接特征点和消失点的直线。在本实施例中，针对各边缘，离该边缘最近的特征点和离该边缘第二近的特征点重新配置在该边缘处。结果，在图7B中，特征点A和B重新配置在上侧的边缘上的交点A'和B'处，并且特征点C和D重新配置在下侧的边缘上的交点C'和D'处。

如上所述，通过将特征点A、B、C和D重新配置在交点A'、B'、C'和D'处，可以使重新配置之后的特征点之间的距离大于重新配置之前的特征点之间的距离。此外，通过将特征点A、B、C和D重新配置在直线上的交点A'、B'、C'和D'处，在合成两个图像时直线彼此重叠。由此，可以防止商业表单的纸端和商业表单内的格线折断或弯曲，因此可以使由于合成而产生的图像之间的偏移不太明显。

在通过步骤S604的处理求出仅一个边缘的情况下，仅重新配置离该边缘最近和第二近的特征点。例如，如图7C所示，在两个图像之间彼此对应的边缘仅是与纸端相对应的边缘的情况下，使特征点C和D配置在交点C'和D'处。

如上所述，根据本实施例，可以使计算图像合成所用的变换参数所需的四个点之间的距离尽可能大，因此可以求出误差小的变换参数。此外，在本实施例中，使用具有与小数部分的坐标有关的信息的边缘上的点来计算变换参数。此外，在本实施例中，使用具有与小数部分的坐标有关的信息的交点的坐标来计算变换参数，因此可以使变换参数的误差进一步变小。结果，可以使在最终生成的合成图像中出现的失真变小。

将图像表现为作为最小单位的像素的集合，因此存在要合成的两个图像其中之一中的一个像素在另一图像中变为包括多个像素的区域的一部分的情况。由此，存在合成之后的图像中直线(纸质文档的纸端、纸质文档内的格线)折断或弯曲的情况。然而，在本实施例中，使边缘上的点彼此对应，因此即使在采用诸如商业表单等的包括格线的纸质文档作为对象的情况下，也可以防止在合成之后的图像中直线折断或弯曲。

在本实施例中，选择在图像合成时用作基准的图像，并通过将其它图像叠加在选择的图像上来进行合成。然而，在透视投影变换的变换参数中包含误差的情况下，随着合成的进展，误差的影响变大。结果，也可以从使用被认为包含较小误差的变换参数的合成起顺次进行合成。根据这种方面，可以使最终生成的图像中的失真变小。例如，在图3A中，在从图像#1和图像#2的重叠区域提取的四个点之间的距离大于从图像#2和图像#3的重叠区域提取的四个点之间的距离的情况下，首先合成图像#2和图像#3。通过根据用于求出透视投影变换的变换参数的四个点之间的距离对合成顺序进行排序，可以进一步使合成图像中出现的失真变得不太明显。

此外，在步骤S602中判断为特征点之间的距离小于固定值的情况下，还可以通过经由显示装置(并未示意性示出)等向用户通知在合成时图像发生失真的可能性高来提示用户再次进行摄像。此时，还可以向用户通知要拍摄的范围。例如，在与邻接图像的重叠区域不够大的情况下，还可以提示用户移动要拍摄的范围以增加重叠区域。

此外，在本实施例中，在最后阶段进行图像的合成。然而，在步骤S204中已求出消失点，因此可以预先校正各图像的透视投影失真。结果，还可以在进行校正使得例如各图像变成仿佛从正面进行拍摄的图像之后，进行特征点检测和特征点匹配。在这种情况下，透视投影失真的校正之后的各图像根据摄像距离而在比例方面不同于其它图像，因此需要通过利用三个点之间的对应关系求出的仿射变换来校正和定位图像。结果，步骤S208的处理从用以选择四个点的处理改变为用以选择三个点的处理，并且通过步骤S209的处理，计算仿射变换的变换参数(变换矩阵)。其它处理与导出透视投影的变换参数的情况相同。

此外，在本实施例中，说明了合成通过手持式摄像拍摄到的多个图像的情况。然而，在合成通过固定式摄像拍摄到的多个图像的情况下也可以应用本实施例，其中在该固定式摄像中，如文档照相机那样，摄像单元和放置有摄像对象的平面(对象平面)之间的关系是固定的。在这种情况下，在始终可以从正面拍摄图像的条件下，求出面内转动的参数(转动矩阵)就足够了。此时，可以在已知两个图像中存在的两个特征点之间的对应关系的情况下进行转动和定位。根据从正面拍摄到的图像，在步骤S204不能求出消失点。由此，在步骤S606中，通过绘制相对于诸如纸端的边缘等的所选择的边缘的垂线来求出交点。

第二实施例

在第一实施例中，说明了根据图6所示的流程来进行步骤S208的处理(四点选择处理)的示例。然而，根据摄像对象，存在步骤S206中匹配的特征点的数量少于四个的情况。通过使用图8来说明这种情况下的处理。图8是示出第二实施例中的在步骤S208中所进行的四点选择处理的流程图。

首先，变换参数导出单元107判断是否存在步骤S206中所提取的四个以上的特征点(步骤S801)。在存在四个以上的点的情况下(步骤S801中为“是”)，进行根据图6所示的流程的处理(步骤S601～S607的处理)。在存在三个以下的点的情况下(步骤S801中为“否”)，处理进入步骤S802。

接着，边缘检测单元106从两个图像中检测边缘(步骤S802)。该处理与步骤S603的处理相同。

接着，边缘检测单元106从步骤S802中检测到的边缘中提取在两个图像之间彼此对应的边缘(步骤S803)。该处理与步骤S604的处理相同。然而，在第一实施例中，仅求出方向与纸端的边缘的方向相同的边缘，但在本实施例中，在仅存在一个匹配的特征点的情况下，还提取沿与纸端的边缘垂直的方向上的边缘(以下简称为沿垂直方向的边缘)，并且使这些边缘彼此对应。在这种情况下，使从各图像中提取的边缘通过离特征点的距离和相对于纸端的边缘的方向彼此对应。

接着，边缘检测单元106从步骤S803中提取的边缘中选择特征点重新配置于的边缘(步骤S804)。该处理与步骤S605的处理相同。然而，在存在仅一个匹配的特征点的情况下，边缘检测单元106选择纸端的边缘和离纸端的边缘最远的边缘，同时进一步从步骤S803中提取的沿垂直方向的边缘中选择两个边缘。在存在三个以上的沿垂直方向的边缘的情况下，选择夹持有特征点且边缘之间的距离最大的彼此相对的两个边缘。

接着，边缘检测单元106求出连接步骤S206中提取的特征点和步骤S204中检测到的消失点的直线，并且求出这些直线与步骤S804中选择的边缘的直线的交点(步骤S805)。该处理与步骤S606的处理相同。

接着，变换参数导出单元107从步骤S206中提取的特征点和步骤S805中获得的交点中选择用于求出透视投影变换的变换参数的四个点(步骤S806)。如图9A所示，在步骤S206中匹配的特征点仅是特征点A和B、即少于四个点的情况下，选择图9B所示的交点A'、B'、A”和B”。图9B所示的交点A'和B'是连接特征点和消失点的直线与纸端的边缘的交点。交点A”和B”是连接特征点和消失点的直线与离纸端的边缘最远的边缘的交点。在通过步骤S803的处理提取了仅一个边缘的情况下，例如在如图9C所示在两个图像中彼此对应的边缘仅是纸端的边缘的情况下，选择特征点A和B以及交点A'和B'。

如上所述，在本实施例中，在存在仅一个在步骤S206中匹配的特征点的情况下，在步骤S803中还提取沿垂直方向的边缘。由此，如图10所示，可以获得包括沿垂直方向的边缘的四个边缘与通过连接消失点和特征点这两个点所获得的两个直线的四个交点作为用于求出透视投影变换的变换参数的四个点。图10所示的点C表示连接消失点和特征点的直线与纸端的边缘的交点。图10所示的点A表示连接消失点和特征点的直线与沿纸端的边缘的相同方向的边缘的交点。图10所示的点B和D表示连接特征点和消失点的直线与沿垂直方向的边缘的交点。

如上所述，根据本实施例，即使在存在三个以下的匹配的特征点的情况下，也可以提取用于求出透视投影变换的变换参数的四个点，因此可以与第一实施例相同求出误差小的变换参数。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

根据本发明，可以计算误差小的图像合成所使用的变换参数，并且可以减少在最终生成的合成图像中出现的失真。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (16)

1.一种图像处理设备，包括：

特征点提取单元，用于从第一图像和第二图像的各图像中提取在两个图像之间彼此对应的特征点，其中所述第一图像和所述第二图像是通过拍摄纸质文档所获得的图像，并且所述第一图像和所述第二图像的拍摄范围彼此不同；

边缘提取单元，用于从所述各图像中提取在两个图像之间彼此对应的边缘；

消失点检测单元，用于从所述各图像中检测所述纸质文档所属的平面的消失点；

变换参数导出单元，用于通过使用与如下的交点相对应的坐标，来导出图像合成所用的变换参数，其中所述交点是连接所提取的特征点和所检测到的消失点的直线与所提取的边缘的交点；以及

图像合成单元，用于通过使用所导出的变换参数来合成所述第一图像和所述第二图像。

2.根据权利要求1所述的图像处理设备，其中，

所述变换参数导出单元还用于：

在所述第一图像和所述第二图像的各图像中，将所提取的特征点至少之一重新配置在所述交点处；以及

通过使用重新配置之后的各特征点的坐标来导出所述图像合成所用的变换参数。

3.根据权利要求2所述的图像处理设备，其中，

所述变换参数导出单元将所提取的特征点至少之一重新配置在所述交点处，使得重新配置之后的特征点之间的距离变得大于重新配置之前的特征点之间的距离。

4.根据权利要求2所述的图像处理设备，其中，

在重新配置之前的特征点之间的距离小于固定值的情况下，所述变换参数导出单元将所提取的特征点至少之一重新配置在所述交点处。

5.根据权利要求2所述的图像处理设备，其中，

所述特征点提取单元从所述各图像中提取在两个图像之间彼此对应的四个特征点，以及

所述变换参数导出单元通过使用重新配置之后的四个特征点的坐标，来导出透视投影变换的变换矩阵作为所述图像合成所用的变换参数。

6.根据权利要求5所述的图像处理设备，其中，

在所述特征点提取单元提取出四个以上的特征点的情况下，所述变换参数导出单元从所提取的特征点中选择特征点之间的距离变为最大的四个特征点，并且通过使用重新配置之后的四个特征点的坐标来导出透视投影变换的变换矩阵。

7.根据权利要求5所述的图像处理设备，其中，

在所述特征点提取单元所提取的特征点在数量上少于四个的情况下，所述变换参数导出单元通过使用从重新配置之前的各特征点和重新配置之后的各特征点中所选择的四个特征点的坐标来导出透视投影变换的变换矩阵。

8.根据权利要求7所述的图像处理设备，其中，

所述变换参数导出单元在从重新配置之前的各特征点和重新配置之后的各特征点中选择四个特征点时，以特征点之间的距离变为最大的方式选择四个特征点。

9.根据权利要求2所述的图像处理设备，其中，

所述特征点提取单元从所述各图像中提取在两个图像之间彼此对应的三个特征点，以及

所述变换参数导出单元通过使用重新配置之后的三个特征点的坐标，来导出仿射变换的变换参数作为所述图像合成所用的变换参数。

10.根据权利要求2所述的图像处理设备，其中，

所述特征点提取单元从所述各图像中提取在两个图像之间彼此对应的两个特征点，以及

所述变换参数导出单元通过使用重新配置之后的两个特征点的坐标，来导出转动矩阵作为所述图像合成所用的变换参数。

11.根据权利要求1所述的图像处理设备，其中，

所述纸质文档是商业表单。

12.根据权利要求1所述的图像处理设备，其中，

所述第一图像和所述第二图像包括所述纸质文档的一部分是以重叠方式拍摄的重叠区域，以及

所述特征点提取单元从所述第一图像中的重叠区域和所述第二图像中的重叠区域分别提取在两个图像之间彼此对应的特征点。

13.根据权利要求1所述的图像处理设备，其中，

所述边缘提取单元所提取的边缘是所述纸质文档的纸端的边缘或者所述纸质文档中所包含的直线的边缘。

14.根据权利要求1所述的图像处理设备，其中，还包括：

存储器，用于存储程序；以及

处理器，用于执行所述程序，

其中，所述处理器通过执行所述程序而用作所述特征点提取单元、所述边缘提取单元、所述消失点检测单元、所述变换参数导出单元和所述图像合成单元。

15.一种图像处理方法，包括以下步骤：

从第一图像和第二图像的各图像中提取在两个图像之间彼此对应的特征点，其中所述第一图像和所述第二图像是通过拍摄纸质文档所获得的图像，并且所述第一图像和所述第二图像的拍摄范围彼此不同；

从所述各图像中提取在两个图像之间彼此对应的边缘；

从所述各图像中检测所述纸质文档所属的平面的消失点；

通过使用与如下的交点相对应的坐标，来导出图像合成所用的变换参数，其中所述交点是连接所提取的特征点和所检测到的消失点的直线与所提取的边缘的交点；以及

通过使用所导出的变换参数来合成所述第一图像和所述第二图像。

16.一种非暂时性计算机可读存储介质，其存储程序，所述程序用于使计算机进行图像处理方法，所述图像处理方法包括以下步骤：

从第一图像和第二图像的各图像中提取在两个图像之间彼此对应的特征点，其中所述第一图像和所述第二图像是通过拍摄纸质文档所获得的图像，并且所述第一图像和所述第二图像的拍摄范围彼此不同；

从所述各图像中提取在两个图像之间彼此对应的边缘；

从所述各图像中检测所述纸质文档所属的平面的消失点；

通过使用与如下的交点相对应的坐标，来导出图像合成所用的变换参数，其中所述交点是连接所提取的特征点和所检测到的消失点的直线与所提取的边缘的交点；以及

通过使用所导出的变换参数来合成所述第一图像和所述第二图像。