CN101546424A - 图像处理方法和装置及水印检测*** - Google Patents
图像处理方法和装置及水印检测*** Download PDFInfo
- Publication number
- CN101546424A CN101546424A CN200810087720A CN200810087720A CN101546424A CN 101546424 A CN101546424 A CN 101546424A CN 200810087720 A CN200810087720 A CN 200810087720A CN 200810087720 A CN200810087720 A CN 200810087720A CN 101546424 A CN101546424 A CN 101546424A
- Authority
- CN
- China
- Prior art keywords
- image
- width
- cloth
- images
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明提供了一种图像处理方法及装置,用于从三幅或三幅以上的多幅图像中找出共有图案。该方法包括:对N幅图像进行图像特征提取,根据特征提取的结果将N幅图像分为C层,使得共有图案的图像基本上聚集在C层中的某一层中,其中C为自然数且大于等于2;计算每一层的N幅图像的平均相似度;以及将平均相似度最大的那一层的合成图像确定为包含共有图案的图像,其中,合成图像是以该层的基准图像为基础,将N幅图像进行合成而得到的,而基准图像是该层的N幅图像中的一幅与其余N-1幅图像的匹配优选的图像。本发明还提供了一种包含上述图像处理装置的水印检测***。本发明可以应用于从多幅文档图像中检测水印。
Description
技术领域
本发明总体上涉及图像处理领域,并且尤其是涉及一种用于从多幅待处理图像中找出或者确定形状、颜色和位置等在这多幅文档图像中都相同的共有图案的技术。
背景技术
随着计算机技术以及数字技术的日益发展,人们越来越多地需要从多幅图像中找出它们之间的共有图案。例如,出于对文档进行标识和版权保护等各种目的,目前许多的 Office Word文档或PowerPoint文档的背景中都嵌入有数字、文字或者图形等作为水印,但是,在后续需要对打印电子文档而得到的文档纸件进行进一步的处理、例如复印或者扫描时,人们往往希望从文档图像中提取出水印并对提取出来的水印进行认证,以确保文件的完整性,和/或从文档图像中去除水印以仅仅保留正文部分等。此外,人们在利用数码相机、扫描仪等设备对某一个具有较大尺寸或范围的对象或场景进行拍摄或扫描时,往往不能一次获得该对象或场景的图像,而是需要对该对象或场景进行多角度的连续拍摄或扫描,得到多幅图像,然后找出多幅图像间的共同部分并据此对多幅图像进行拼接。除此之外,从多幅图像中找出它们之间的共有图案,还有许多其他可能的应用。
为此,目前已经提出了许多从图像中找出共有图案的方法。例如,在Yusaku FUJII、Hiroaki TAKEBE、Katsuhito FUJIMOTO和SatoshiNAOI所著的“Confidential Pattern Extraction from Document ImagesBased on the Color Uniformityof the Pattern”(Technical Report ofIEICE,SIS2006-81,第1~5页,2007年3月)一文中,公开了一种基于图案的颜色一致性从多幅文档图像中提取共有的机密图案的方法,其中,首先对每幅文档图像进行颜色分类,以第一幅文档图像作为基准图像,在每一个颜色分类中,将其他文档图像与其进行对准,并对所有图像进行累加,然后基于共有图案的颜色一致性确定重叠概率最高的合成图像作为共有图案。
此外,现有技术中还提出了很多用于实现图像拼接的方法及***。例如,在由M.Toyoda等人提出的、名为“Image forming method and animage forming apparatus therefore”的美国专利US 6,690,482B1,以及由T.Kitaguchi等人提出的、名为“Method of and apparatus for composinga series of partial images into one image based upon a calculated amountof overlap”的美国专利US 7,145,596 B2中,分别公开了一种用于基于所计算的两两部分图像之间的重叠量,对多幅部分图像进行拼接或者合成的方法及装置。
但是,在目前所提出的各种方法和装置中,要么是对待处理的多幅图像进行两两处理,要么是以其中任意一幅图像作为基准图像对两幅以上的图像进行处理,但是都没有考虑到待处理的多幅图像之间的关联性,而且也没有考虑到其中共有图案有所劣化的情形。在实际情况中,在待处理的多幅图像中经常会出现共有图案劣化的情形。例如,由于对文档图像进行扫描或复印等处理时的误差,每幅文档图像中的例如水印图案之类的共有图案可能会在位置、角度和/或尺度方面有所不同;由于文档正文部分的遮挡而造成水印图像残缺;待拼接的两幅或多幅图像的公共部分(即,共有图案)由于遮挡或者对焦不准等原因而出现残缺或者模糊;以及诸如此类的情况。图1示出了一个其中6幅文档图像中带有水印图案的例子,如图所示,虽然在6幅文档图像中都包含了同样的水印内容,但是由于正文部分的遮挡,没有一幅图像中包含完整的水印字符串“CONFIDENTIAL”。一旦出现了共有图案有所劣化的情况,利用现有的各种方法和装置,都无法令人满意地从多幅图像中找出共有图案。
因此,迫切地需要一种能够比较准确地和/或令人满意地从多幅(三幅或三幅以上)待处理的图像中找出或者确定其中的共有图案的技术,其能够克服现有技术中的上述缺陷,即使在因各种原因而导致共有图案劣化的情况下,也能够获得令人满意的结果。
发明内容
在下文中给出了关于本发明的简要概述,以便提供关于本发明的某些方面的基本理解。但是,应当理解,这个概述并不是关于本发明的穷举性概述。它并不是意图用来确定本发明的关键性部分或重要部分,也不是意图用来限定本发明的范围。其目的仅仅是以简化的形式给出关于本发明的某些概念,以此作为稍后给出的更详细描述的前序。
针对现有技术中存在的上述问题,本发明的一个目的是提供一种用于从三幅或三幅以上的多幅待处理图像中找出或确定其中的共有图案的图像处理方法及装置,其由于考虑了多幅待处理图像之间的关联性,而能够确保即使共有图案劣化也能够较为可靠和准确地找出其中的共有图案,从而获得令人满意的结果。
本发明的另一个目的是提供一种用于从三幅或三幅以上的多幅待处理图像中确定一幅与其余多幅图像的匹配最优的图像作为基准图像的方法及装置。
本发明的再一个目的是提供一种用于计算三幅或三幅以上的多幅待处理图像的平均相似度的方法及装置。
本发明的另一目的是提供一种其上存储有程序代码的计算机可读存储介质,该程序代码在计算机上执行时,使得所述计算机执行上述方法之一。
本发明还有一个目的是提供一种用于从三幅或三幅以上的多幅文档图像中提取水印的水印检测***。
为了实现上述目的,根据本发明的一个方面,提供了一种图像处理方法,用于从N幅待处理图像中找出或者确定这N幅图像中的共有图案,其中N为自然数且大于等于3,该图像处理方法包括以下步骤:对N幅图像进行图像特征提取,并根据特征提取的结果将N幅图像分为C层,使得共有图案的图像基本上聚集在C层中的某一层中,其中C为自然数且大于等于2;计算每一层的N幅图像的平均相似度;以及将平均相似度最大的那一层的N幅图像的合成图像确定为包含共有图案的图像,其中,合成图像是以该层的基准图像为基础,将该层中的N幅图像进行合成而得到的,而基准图像是该层的N幅图像中的一幅与其余N-1幅图像的匹配优选的图像。
根据本发明的另一个方面,还提供了一种图像处理装置,用于从N幅待处理图像中找出或者确定这N幅图像中的共有图案,其中N为自然数且大于等于3,该图像处理装置包括:图像特征提取单元,用于对N幅图像进行图像特征提取,并根据特征提取的结果将N幅图像分为C层,使得共有图案的图像基本上聚集在C层中的某一层中,其中C为自然数且大于等于2;基准图像确定单元,用于从一层中的N幅图像中确定一幅与其余N-1幅图像的匹配优选的图像,作为基准图像;平均相似度计算单元,用于计算一层的N幅图像的平均相似度;以及图像合成单元,用于以一层的基准图像为基础,将该层中的N幅图像进行合成,从而得到该层的合成图像,其中,平均相似度最大的那一层的合成图像被确定为包含共有图案的图像。
根据本发明还有的一个方面,还提供了一种水印检测***,包括以上所述的图像处理装置,其中,N幅待处理图像为文档图像,共有图案为嵌入在文档图像中的水印。
根据本发明的另一个方面,还提供了一种基准图像确定方法,用于从N幅图像中确定一幅与其余N-1幅图像的匹配优选的图像作为基准图像,其中N为自然数且大于等于3,该方法包括以下步骤:根据N幅图像中的每幅图像与其他N-1幅图像的两两图像间的匹配参数,计算针对该幅图像的其他N-1幅图像两两之间的预测匹配参数,从而得到针对每幅图像的预测匹配参数矩阵;根据针对每幅图像的预测匹配参数矩阵,计算每幅图像的平均预测误差;以及将N幅图像中的平均预测误差小于预定阈值的任意一幅图像,或者在将N幅图像按平均预测误差从小到大的顺序排序后的前n幅图像之一,确定为所述基准图像,其中n为预先设定的自然数。
根据本发明的另一个方面,还提供了一种基准图像确定装置,用于从N幅图像中确定一幅与其余N-1幅图像的匹配优选的图像作为基准图像,其中N为自然数且大于等于3,所述基准图像确定装置包括:用于根据N幅图像中的每幅图像与其他N-1幅图像的两两图像间的匹配参数,计算针对该幅图像的其他N-1幅图像两两之间的预测匹配参数,从而得到针对每幅图像的预测匹配参数矩阵的装置;用于根据针对每幅图像的预测匹配参数矩阵,计算每幅图像的平均预测误差的装置;以及用于将N幅图像中的平均预测误差小于预定阈值的任意一幅图像,或者在将N幅图像按平均预测误差从小到大的顺序排序后的前n幅图像之一,确定为所述基准图像的装置,其中n为预先设定的自然数。
根据本发明的另一个方面,还提供了一种平均相似度计算方法,用于计算N幅图像的平均相似度,其中N为自然数且大于等于3,该方法包括以下步骤:根据N幅图像中的每幅图像与其他N-1幅图像的两两图像间的匹配参数,计算针对该幅图像的其他N-1幅图像两两之间的预测匹配参数,从而得到针对每幅图像的预测匹配参数矩阵;根据针对每幅图像的预测匹配参数矩阵,计算每幅图像的平均预测误差;根据每幅图像的平均预测误差,计算每幅图像的预测准确性概率;根据每幅图像与其他N-1幅图像的两两图像间的相似度,利用每幅图像的预测准确性概率来计算每幅图像的相似度;以及根据每幅图像的相似度,计算所有N幅图像的平均相似度。
根据本发明的另一个方面,还提供了一种用于计算N幅图像的平均相似度的平均相似度计算装置,其中N为自然数且大于等于3,所述平均相似度计算装置包括:用于根据N幅图像中的每幅图像与其他N-1幅图像的两两图像间的匹配参数,计算针对该幅图像的其他N-1幅图像两两之间的预测匹配参数,从而得到针对每幅图像的预测匹配参数矩阵的装置;用于根据针对每幅图像的预测匹配参数矩阵,计算每幅图像的平均预测误差的装置;用于根据每幅图像的平均预测误差,计算每幅图像的预测准确性概率的装置;用于根据每幅图像与其他N-1幅图像的两两图像间的相似度,利用每幅图像的预测准确性概率来计算每幅图像的相似度的装置;以及用于根据每幅图像的相似度,计算所有N幅图像的平均相似度的装置。
依据本发明的其它方面,还提供了相应的计算机可读存储介质。
在根据本发明的方案中,在确定基准图像和/或计算平均相似度的过程中考虑了多幅图像之间的关联性,并为此引入了平均预测误差和预测准确性概率参数(其具体含义及计算方法将在下文中进行详细介绍),从而使得即使在如图1所示共有图案有残缺或者模糊的情况下,也能够准确和可靠地找出共有图案。
本发明的另一个优点在于,本发明不仅可以用于对灰度图像进行处理,而且也可以对彩色图像进行处理。
本发明的又一个优点在于,可以根据需要将根据本发明的图像处理方法和装置用在对文档图像进行水印检测、对多幅图像进行拼接等许多实际应用。
通过以下结合附图对本发明的最佳实施例的详细说明,本发明的这些以及其他优点将更加明显。
附图说明
本发明可以通过参考下文中结合附图所给出的详细描述而得到更好的理解,其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并形成说明书的一部分,用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中:
图1示出了一个其中带有水印图案的多幅待处理文档灰度图像的例子,其中每幅文档图像中都包含了同样的水印字符串“CONFIDENTIAL;
图2示出了可以在其上应用根据本发明的图像处理方法和装置的一个示例性数据处理***的框图;
图3示出根据本发明的一个实施例从如图1所示的多幅待处理文档灰度图像中找出其中的共有图案(例如,共有的水印字符串)的图像处理方法300的流程图;
图4示出了在按图3所示的方法对图1所示的6幅文档图像进行边缘检测后将其分为三层时共有图案所在的那一层中的6幅文档边缘图像;
图5示出了通过对图4所示的6幅图像进行两两匹配而计算得到的平移匹配参数的值;
图6示出了根据图5所示的平移匹配参数计算得到的针对图4所示的图像1的预测平移匹配参数的值;
图7示出了根据图5和图6所示的值而得到的针对图4所示的图像1的平移预测误差的值;
图8示出了按图3所示的方法基于所确定的基准图像对图4所示的文档边缘图像进行合成后得到的合成文档边缘图像;
图9示出了在对图8所示的合成文档边缘图像进行去除噪声处理(即,去除背景)之后所得到的边缘图像;
图10示出了利用传统方法随意选择一幅文档图像作为基准图像而得到的合成文档边缘图像;
图11示出了利用图3所示的方法对图1所示的6幅文档图像按边缘强度进行分层后的第一层中的两两图像之间的相似度值,以及该层中每幅文档边缘图像的预测准确性概率值;
图12示出了第二层(该层是包含共有图案的那一层)中的两两图像之间的相似度值,以及该层中每幅图像的预测准确性概率值;
图13示出了根据本发明另一个实施例的图像处理方法1300,它是如图3所示的方法300的一个变体;以及
图14示出了根据本发明一个实施例的图像处理装置1400的示意性方框图。
本领域技术人员应当理解,附图中的元件仅仅是为了简单和清楚起见而示出的,而且不一定是按比例绘制的。例如,附图中某些元件的尺寸可能相对于其他元件放大了,以便有助于提高对本发明实施例的理解。
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见,在说明书中并未描述实际实施方式的所有特征。然而,应该了解,在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定,以便实现开发人员的具体目标,例如,符合与***及业务相关的那些限制条件,并且这些限制条件可能会随着实施方式的不同而有所改变。此外,还应该了解,虽然开发工作有可能是非常复杂和费时的,但对得益于本公开内容的本领域技术人员来说,这种开发工作仅仅是例行的任务。
在此,还需要说明的一点是,为了避免因不必要的细节而模糊了本发明,在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤,而省略了与本发明关系不大的其他细节。
为了简单起见,在下文中,以从图1所示的六幅文档图像(在此假设为灰度图像)中找出这六幅图像中共有的水印图案、即字符串“CONFIDENTIAL”为例,对根据本发明的图像处理方法及装置进行描述。但是,显然本发明也可以适用于其他情形。
图2示出了可以在其上应用根据本发明的图像处理方法和装置的一个示例性数据处理***200的框图。
如图2所示,数据处理***200可以是包括连接至***总线206的多个处理器202和204的对称多处理器(SMP)***。然而,作为选择,也可以采用单处理器***(图中并未示出)。此外,存储器控制器/高速缓存208也连接至***总线206,用于提供与本地存储器209的接口。I/O总线桥210与***总线206相连,并且提供与I/O总线212的接口。存储器控制器/高速缓存208和I/O总线桥210可以如所描绘的那样被集成在一起。连接至I/O总线212的***部件互联(PCI)总线桥214提供了与PCI本地总线216的接口。调制解调器218和网络适配器220可以连接至PCI本地总线216。典型的PCI总线实现方式可以支持四个PCI扩展槽或者内插式连接器。附加的PCI总线桥222和224为附加的PCI本地总线226和228提供了接口,借此,使得可以支持附加的调制解调器或者网络适配器。依照此方式,数据处理***200允许与多个外部设备、例如网络计算机进行连接。存储器映射的图形适配器230和硬盘232可以如图中所描绘的那样直接或者间接地与I/O总线212相连。
根据本发明的图像处理装置可以集成在例如图2所示的处理器202或204中,或者是作为一个外部设备通过I/O总线与数据处理***200相连。
本领域普通技术人员将会明白,图2中描绘的硬件可以发生改变。例如,除了所描绘的硬件之外,或者作为对它们的替代,可以使用诸如光盘驱动器等之类的其它***设备。图2中所描绘的示例并不意味着对可适用本发明的体系结构加以限制。
图3示出了根据本发明的一个实施例从N幅(其中,N为自然数且N≥3)待处理文档图像(例如,图1所示的六幅文档灰度图像)中找出其中的共有图案(例如,共有的水印字符串)的图像处理方法300的流程图。
如图3所示,方法300在步骤S305中开始之后,在步骤S310中,对所有的N幅文档图像进行处理,以提取每幅图像的特征。在现有技术中,对文档图像进行特征提取的方法可以有很多。在此使用的一种方法是,首先利用CANNY算子提取所有N幅文档图像中所有的边缘,然后计算每个边缘点的边缘强度大小。其中,CANNY算子是一种常用的适合于对灰度图像进行处理的边缘检测算子,其更多细节可以参见J.Canny所著的“A Computational Approach to Edge Detection”(IEEE Transactions onPattern Analysis and Machine Intelligence,第8卷第6期,1986年11月)。此外,其更多细节也可以参见网页:http://www.pages.drexel.edu/~weg22/ can tut.html。
接下来,在步骤S315中,根据步骤S310中计算得到的N幅图像的所有边缘点的边缘强度大小,对N幅图像进行分层。假设将N幅图像分为C层,则对于每一幅文档图像Ii(i=1,2,...,N),都可以得到C幅文档边缘图像(其分别处于第一至第C层中)。换句话说,在将N幅图像分为C层之后,总计可以得到N×C幅文档边缘图像,并且每一层中都有N幅文档边缘图像。即使因复印、扫描等后续处理导致不同文档图像的灰度级或色差等参数发生变化而彼此不同,不同文档图像中的共有图案的边缘强度也是一致的(都变强或者都变弱),也就是说,不同文档图像中的共有图案的边缘强度具有相互一致性。因此,在对N幅图像分层之后,共有图案的边缘会基本上同时出现在C层中的某一层中。
图4示出了在按上述方法对图1所示的6幅文档图像进行特征提取(即,边缘检测)后将其分为三层(即,C=3)时共有图案所在的那一层中的6幅文档边缘图像。从图4中可以看出,图1所示的6幅文档图像中的共有图案、即共有字符串“CONFIDENTIAL”的边缘都出现在该层中。
返回参见图3,方法300在步骤S320至S345中从第一层开始对每一层(用l表示当前处理的层)中的N幅文档边缘图像进行处理,从中找出一幅与其余N-1幅图像匹配最优的图像(也可以称之为最可靠的图像),作为基准图像,然后把该N-1幅图像和基准图像进行对准和合成,从而得到合成边缘图像。
平均预测误差的计算过程如下。首先,对N幅文档边缘图像进行两两匹配,得到两两匹配参数。假设两幅图像之间的差异可以通过平移、旋转和/或伸缩变换来实现,这样可以计算出第i幅和第j幅两幅图像之间的匹配参数Mij(Pt,Pr,Ps),其中,Pt、Pr和Ps分别表示在平移、旋转和伸缩变换中的相应参数,i和j均为介于1和N之间(包括两个端点)的自然数,且i≠j。
在此,两两图像之间的匹配参数可以使用任何一种已知的方法来计算。例如,可以使用在B.Srinivasa Reddy和B.N.Chatterji所著的“AnFFT-Based Technique for Translation,Rotation and Scale-InvariantImage Registration”(IEEE TRANSACTIONS ON IMAGEPROCESSING,第5卷第8期第1266~1271页,1996年8月)一文中所公开的方法来计算匹配参数Mij。
对于N幅图像来说,经过两两匹配,可以计算出N×(N-1)/2个匹配参数。如果图像两两匹配都能够计算出正确的匹配参数,那么N×(N-1)/2个匹配参数显然是有冗余的。对每一幅文档图像,都能够计算出它和其它N-1幅图像之间的两两匹配参数,然后利用这N-1个匹配参数,又可以预测出其他N-1幅图像之间的两两匹配参数。例如,通过第一幅和第二幅图像间的匹配参数M12与第一幅和第三幅图像间的匹配参数M13,可以预测出针对第一幅图像的第二幅和第三幅图像间的匹配参数M23的值(用M23 1e表示)。也就是说,根据第m幅和第i幅图像间的匹配参数Mmi与第m幅和第j幅图像间的匹配参数Mmj,可以预测出针对第m幅图像的第i幅和第j幅图像间的匹配参数Mij的值Mij me,其中m为介于1和N之间(包括两个端点)的自然数,且m≠i≠j。
在实际的情况下,如图1所示,很多文档图像中的共有图案都是残缺的。因此,实际计算出的两两匹配参数和预测出的两两匹配参数之间会存在一定的误差。也就是说,由第i幅和第j幅图像两两匹配计算出的匹配参数Mij与根据匹配参数Mmi和Mmj预测的匹配参数Mij me之间存在一定的误差,在下文中将这个误差称为“针对第m幅图像的第i幅和第j幅图像间的预测误差”,在此假设用εij m(Pt,Pr,Ps)表示。
如上所述,针对每一幅图像,都可以获得其他N-1幅图像间的预测误差,从而可以得到针对该幅图像的分别在平移、旋转和/或伸缩方面的预测误差矩阵。
然后,对于每一幅图像,根据针对该幅图像的分别在平移、旋转和/或伸缩方面的预测误差矩阵,综合考虑平移、旋转和伸缩这三个方面的因素,计算该幅图像的平均预测误差。在此,可以采用现有技术中任何一种已知的计算方法来得到一幅图像的平均预测误差(将在下文中进行进一步的详细说明)。
如图3所示,在步骤S320中获得了当前层中的所有N幅图像的平均预测误差之后,方法300的处理流程进行到步骤S325,将该层中平均预测误差最小的那一幅图像确定为基准图像。在此,平均预测误差最小的图像,就是N幅图像中的与其他N-1幅图像的匹配最优的那幅图像,即最可靠的图像。
本领域技术人员应当明白,虽然在此将N幅图像中的平均预测误差最小的图像(即,N幅图像中的与其他N-1幅图像的匹配最优的那幅图像,也可以称为最可靠的图像)确定为基准图像,但是采用其他适当的图像(例如,匹配次最优的图像等)作为基准图像同样也能够实现本发明的目的。例如,可以对所计算的N幅图像的平均预测误差按从小到大的顺序进行排序,排在前1/n(n为大于0小于等于N的自然数,并且n的值可以根据经验进行设定)的图像都可以被认为是一幅与其他N-1幅图像的匹配优选的图像(或者称之为可靠的图像);或者,可以根据经验为平均预测误差预先设定一个阈值,平均预测误差小于所述阈值的图像都可以被认为是一幅与其他N-1幅图像的匹配优选的图像(即,可靠的图像),并因此将所述与其他N-1幅图像的匹配优选的图像(即,可靠的图像)确定为基准图像。
接下来,在步骤S330中,以基准图像为基础,利用前面所计算的基准图像与其余N-1幅图像间两两匹配参数,通过平移,旋转和/或伸缩变换,将其余N-1幅图像变换到具有和基准图像同样的位置、角度和大小(即,将其余N-1幅图像与基准图像对准),然后对经对准后的N幅图像进行合成,从而得到一幅合成的文档边缘图像。
在此,可以使用现有技术中已知的任意方法来对N幅图像进行合成。例如,一种比较简单的方法是,对于变换对准以后的N幅图像按照像素点进行累加,每个像素点上的数值是该像素点上所有重合的边缘点的总个数,并且为了便于显示,将所获得的每个像素点上的0~N的数值进行线性转换,从而得到合成的图像(例如,将0~N的数值线性转换成0~255的灰度值,从而得到合成的灰度图像)。此外,也可以使用在例如由P.Shivakumara、G.Hemantha Kumar、D.S.Guru和P.Nagabhushan所著的“Sliding Window based Approach for Document Image Mosaicing”(Image and Vision Computing,2006年第24期第94~100页),以及由Anthony Zappalá、Andrew Gee和Michael Taylor所著的“DocumentMosaicing(Image and Vision Computing,1999年第17期第589~595页)中所公开的技术来进行合成。
为了简单起见,在此仅以平移为例,结合图5至7对平均预测误差的计算方法进行更为具体的说明。也就是说,在此假设每一层中所有图像的两两匹配参数Mij(Pt,Pr,Ps)中的旋转参数Pr和伸缩参数Ps均为0,这样可以将匹配参数简化为Mij(x,y),其中x和y的值分别表示在x和y方向上的平移量。
图5示出了通过对图4所示的6幅边缘图像进行两两匹配而计算得到的平移匹配参数Mij(x,y)的值。图6示出了按照上述方法根据图5所示的平移匹配参数计算得到的针对图像1的预测平移匹配参数的值,其中:
Mij 1e(x,y)=M1j(x,y)-M1i(x,y) (1)。
图7示出了根据图5和图6所示的值而得到的针对图像1的平移预测误差εij 1(x,y)的值,其中:
εij 1(x,y)=Mij 1e(x,y)-Mij(x,y) (2)。
如图5~7中所示,其中用(NA,NA)或N/A表示无效值,以表示无需对这些值进行计算。
正如以上所描述的那样,可以用任何已知的方法来对图7所示的平移预测误差εij 1(x,y)进行计算,以求出图像1的平均预测误差。在此使用的一种比较简单的方法是,将图7所示的所有有效的预测误差值取x和y方向的总平均值。具体来说,对将图7所示的矩阵中有效的20个位置处的x和y值分别相加后得到的和sum(x)与sum(y)求取总平均值,即:
从而得到图像1的平均预测误差是1.05。这样,按照同样的方法,可以得到所有N幅图像的平均预测误差。
虽然以上仅以平移变换为例结合图5至7对如何计算一幅图像的平均预测误差进行了描述,但是本领域普通技术人员不难想到在同时考虑平移、旋转和/或伸缩的情况下如何计算一幅图像的平均预测误差。例如,较为简单的一张方法是,按照上述方法分别计算一幅图像的平均平移预测误差、平均旋转预测误差和平均伸缩预测误差,然后对这三个误差值进行加权平均,从而得到该幅图像的平均预测误差。
图8示出了按上述方法基于所确定的基准图像对图4所示的文档边缘图像进行合成后得到的合成文档边缘图像。从图8中可以看到,该合成文档边缘图像中除了共有图案以外,还经常会有一些噪声存在。
返回参考图3,为了进一步去除噪声的影响以便得到理想的结果,如图3所示,在步骤S335中,对步骤S330中得到的合成文档边缘图像进行去除噪声处理。
例如,在如上所述通过对变换以后的N幅图像按照像素点进行累加来进行图像合成的情况下,如果合成文档边缘图像中的某一像素点的数值小于一定的阈值T,则说明在该像素点位置上的重合边缘点的数目不够多,因此认为该像素点是噪声点,把该点的数值置为0(即,设置为背景)。图9示出了在对如图8所示的共有图案所在的那一层的合成文档边缘图像进行去除噪声处理(即,去除背景)之后所得到的边缘图像。显然,也可以采用现有技术中已知的其他去除噪声的方法。
图10示出了根据Yusaku FUJII、Hiroaki TAKEBE、KatsuhitoFUJIMOTO和Satoshi NAOI的“Confidential Pattern Extraction fromDocument Images Based on the Color Uniformity of the Pattern”一文中公开的方法,随意选择一幅文档图像(平均预测误差不是最小的文档图像)作为基准图像而得到的包含共有图案的合成文档边缘图像(其中已经进行了去除噪声处理)。通过比较图9和10所示的图像不难看出,图9中在“C”、“N”和“F”等几个水印字符上比采用传统方法得到的结果(图10)更加清晰。
再次返回参见图3,如图所示,方法300的处理流程在进行了去除噪声处理(即,步骤S335)之后进行到步骤S340,计算当前层的所有图像的平均相似度。
正如上文中所提到的那样,在本发明中,考虑了多幅图像之间的关联,为此,在计算图像相似度时引入了预测准确性概率P这一参数,用来表示图像的平均预测误差对该图像的相似度的影响。
在此使用的一种较为简单的计算预测准确性概率Pi的方法如下式(4)所示:
其中,是第i幅图像的平均预测误差,是预先设定好的最大平均预测误差值。在此,表示了平均预测误差参数在平移、旋转和/或伸缩方面的可能取值范围。这样,所计算的预测准确性概率Pi的值介于0和1(包括两端点)之间。
利用所计算的预测准确性概率Pi,将第i幅文档图像的相似度定义为:
CONFi=Pi×∑CONF2(i,j)/(N-1),j=1,2,...,i-1,i+1,...,N (5)
其中,CONF2(i,j)表示第i幅图像和第j幅图像之间的相似度(这两幅图像已经经过了平移、旋转和/或伸缩变换而彼此对准)。
在理想的情况下,图像的平均预测误差为0,所以根据等式(4),Pi=1,这时本发明中计算的图像的相似度和利用传统方法得到的相似度是相同的;而在非理想情况下,图像的平均预测误差不为0,所以Pi<1,因此,利用预测准确性概率Pi表示了第i幅图像的平均预测误差对该图像的相似度的影响。
对于二值图像来说,一种较为简单的计算两幅图像(假设它们已经彼此对准了)之间的相似度的方法如下:
CONF2(i,j)=2*两幅图像中重叠的前景像素点个数/(第i幅图像中的前景像素点个数+第j幅图像中的前景像素点个数) (6)。
显然,在根据本发明的方法300中,也可以采用其他任何一种已知的方法来计算两幅图像之间的相似度,并且也可以根据需要对上述等式(5)进行修改。
然后,可以将当前层的所有图像的平均相似度定义为:
CONFIDENCE=∑CONFi/N,i=1,2,...,N (7)。
再次参考图3,在步骤S340中计算了当前层的平均相似度之后,方法300的处理进行到步骤S345,在其中判断是否已经完成了对所有C层的处理。如果在步骤S345中确定还没有完成对所有C层的处理,则将l加1,并且方法300的处理返回到步骤S320,对下一层(即,第l+1层)的所有N幅图像重复步骤S320至步骤S340中的处理。
如上所述,在图像特征提取过程中对N幅图像进行分层,从而把每幅图像按照图像边缘强度的不同分成了C层,并且虽然像水印这样的共有图像会聚集在C层中的某一层中,但是具体在哪一层还是未知的。因此,对每一层中的所有N幅文档边缘图像,都会进行从步骤S320至步骤S335中的处理,并且如步骤S340所示,还会为每一层计算该层的平均相似度。
如图3所示,如果在步骤S345中确定已经完成了对所有C层的处理,则方法300的处理流程进行到步骤S350,确定平均相似度最大的那一层即为共有图案所在的那一层,因此可以将平均相似度最大的那一层的合成文档边缘图像(已经过了去除噪声处理)确定为包含共有图案的边缘图像,从而找出或者确定了共有图案。
正如上文中所提到的那样,由于在方法300的步骤S340中所使用的相似度算法考虑了多幅图像之间的关联,即,考虑了预测误差对相似度的准确性带来的影响,所以与传统的方法相比,根据本发明的方法能够获得更为准确的结果。例如,在如上所述的从多幅图像中找出共有图案的应用背景下,如果多幅图像中碰巧有两幅图像非常相似,则会导致这两幅图像之间的相似度很高,并因而可能使得N幅图像的平均相似度(在不考虑预测误差对相似度的准确性的影响的情况下)较大。但是,如果这两幅图像和其它的N-2幅图像之间无法进行很好的匹配,那么它们的平均预测误差会很高,这样,根据本发明,会使得它们的预测准确性概率降低,从而使得这两幅图像的相似度CONFi也会降低,因此N幅图像的平均相似度也会随之降低。
例如,图11示出了利用图3所示的方法300,对图1所示的6幅文档图像按边缘强度进行分层后的第一层中的两两图像之间的相似度值,以及该层中每幅文档边缘图像的预测准确性概率值,而图12示出了第二层(该层是包含共有图案的那一层)中的两两图像之间的相似度值,以及该层中每幅图像的预测准确性概率值。
对于图11所示的情形,在不考虑预测准确性概率的情况下,通过求和后进行平均而获得的平均相似度的值是0.0484。但是,如果考虑了预测准确性概率的影响,则根据上述等式(5),6幅图像的相似度分别是0.0032,0.0178,0.0334,0.0207,0.0298,和0.0246,这样,根据上述等式(7)可知,图11所示的第一层的平均相似度是0.0259。
而对于图12所示的情形,如果不考虑预测准确性概率,则通过求和后进行平均而获得的平均相似度是0.0319。但是,如果考虑了预测准确性概率的影响,则根据上述等式(5),6幅图的相似度分别是0.0299,0.0347,0.0334,0.0271,0.0315,和0.0326,这样,根据上述等式(7)可知,图12所示的第二层的平均相似度是0.0315。
因此,如果不考虑预测准确性概率,根据平均相似度的值来选择,则将会错误地认为图11所代表的第一层是其中包含共有图案的那一层。但是,如果考虑了预测准确性概率,则包含共有图案的那一层(即,图12所代表的第二层)的文档边缘图像的平均相似度要高于不包含共有图案的层(图11所代表的第一层)的文档边缘图像的平均相似度,也就是说,会正确地确定在考虑了预测准确性概率时所计算的平均相似度大的那一层为其中包含共有图案的层,因此能够得出正确的结果。
虽然以上结合图3所示的流程图以图1所示的6幅文档灰度图像为例对根据本发明的图像处理方法进行了描述,但是本领域普通技术人员应当明白,图3所示的流程图仅仅是示例性的,并且可以根据实际应用和具体要求的不同,对图3所示的方法流程进行相应的修改。
根据需要,可以对图3所示的方法300中的某些步骤的执行顺序进行调整,或者可以省去或者添加某些处理步骤。例如,虽然图3中示出了计算平均相似度的处理(即,步骤S340)在对图像进行合成和去除噪声的处理(即,步骤S330和S335)之后执行,但是显然它们也可以并行执行,或者是颠倒顺序地执行。
图13示出了根据本发明另一个实施例的图像处理方法1300,它是如图3所示的方法300的一个变体。
从图3和13所示的方法流程图中可以看出,步骤S1305~S1345中的处理过程与图3所示的步骤S305~S325、S340~S345、S330~S335中的处理过程是类似的。它们的区别之处仅在于,如图13所示,步骤S1340中的图像合成处理和步骤S1345中的去除噪声处理在平均相似度计算步骤S1330之后执行,这时可以仅仅对平均相似度最大的那一层(共有图案所在的那一层)的N幅图像进行合成和去除噪声处理,而不必对所有的层都进行处理,并且省略了步骤S350,因此,与图3所示的方法相比,可以减小计算量。为了避免重复,在此就不再对图13中所示的各个步骤中的具体处理过程进行描述了。
当然,也可能对图3所示的方法300或者图13所示的方法1300进行其他的修改,例如,图13所示的步骤S1325也可以在步骤S1335和步骤S1340之间执行,而且本领域技术人员完全可以很容易地绘制出相应的流程图,在此为了简单起见就不再一一详述了。
而且,上文中所提到的图像特征提取处理、边缘检测处理、对图像进行分层的处理、利用两两图像的匹配参数计算图像的平均预测误差的处理、对多幅图像进行合成的处理、图像去除噪声的处理、计算两两图像的相似度的处理、利用预测准确性概率计算一幅图像与其他图像的相似度的处理等,显然可以使用任何一种已知的技术来进行,而不局限于以上所描述的某一种具体方法。
此外,虽然以上是以文档灰度图像为例对根据本发明的图像处理方法进行描述的,但是显然该方法并不局限于对文档图像进行处理,而是不仅可以适用于对任何灰度图像进行处理,而且还可以适用于对彩色图像进行处理。例如,在从多幅彩色图像中找出共有图案的应用下,可以在图3所示的步骤S310之前,通过彩色→灰度变换将多幅彩色图像转换为灰度图像,然后在利用图3或图13所示的方法进行处理。作为选择,也可以在步骤S310或步骤S1310中直接从彩色图像中进行特征提取,例如,可以直接从彩色图像中提取边缘信息并计算边缘强度(可以参见例如赵景秀等发表的文章“基于彩色信息区分度的彩色边缘检测”,见《计算机应用》2001年第8期)。
另外,虽然以上是以提取边缘信息并计算边缘强度为例对根据本发明的图像处理方法中的对图像进行特征提取和分层的有关处理进行描述,但是,根据本发明的图像处理方法显然并不局限于此,而是本发明可以应用各种已知的图像特征提取方法以及根据特征提取结果对图像进行分层的方法,只要能够根据特征提取的结果使共有图案图像基本上被分在同一层中即可。例如,在不按边缘强度大小而是按共有图案的颜色(对于彩色图像)或者像素灰度值(对于灰度图像)进行分层的情况下,同样能够得到类似的结果。例如,在对待处理的彩色图像或灰度图像进行特征提取后,基于共有图案的颜色或者像素灰度值具有相互一致性这一假设,按颜色或者像素灰度值进行分层,也可以使共有图案的图像基本上被分在同一层中。
而且,虽然以上在对根据本发明的方法进行描述时,引入了平均预测误差和预测准确性概率的概念并给出了它们的计算方法,但是对于得益于本发明公开内容的本领域普通技术人员来说,完全可以根据需要对上述概念和计算方法进行扩展,在此也不再一一详述了。
虽然以上仅仅描述了从多幅文档图像中找出例如水印之类的共有图案的应用,但是,如图3所示的图像处理方法300或如图13所示的方法1300也可以用在对多幅图像进行拼接的应用中。由于通常情况下要拼接的多幅图像彼此之间除了有平移以外,还可能发生尺度(伸缩)和角度(旋转)的变化,甚至还可能会出现类似透视变形或者弯曲变形的情况。在这些情况下,在利用上述方法300或1300找出共有图案之前,需要有一个预处理环节,使得多幅图像都具有一致的尺度、角度和变形系数,或者使多幅图像中的共有图案在由位置、尺度、角度和变形系数等组成的高维参数空间中具有一致性。而且,在找到要拼接的多幅图像中的共有图案之后,也就找到了多幅图像中的共有的“一个原点”,然后根据它来确定要拼接的多幅图像的相对位置,并对多幅图像进行拼接合成,从而可以实现图像拼接。关于图像拼接的技术,目前已知的方法也有很多,例如,可以使用美国专利US 6,690,482 B1和US 7,145,596 B2中所公开的方法来进行拼接。当然,也可以使用其他方法,在此为了简单起见也不再一一详述了。
此外,本领域技术人员应当明白,以上结合图3和13所描述的图像处理方法中的某些处理过程,例如,用于从多幅图像中找出一幅与其他各幅图像的匹配最优的图像作为基准图像的处理过程,用于在考虑多幅图像彼此间的关联的情况下为多幅图像计算平均相似度的处理过程等,显然也可以根据需要用在其他可能的各种应用中。
下面结合图14对根据本发明一个实施例的用于从多幅待处理图像中找出或确定共有图案的图像处理装置进行描述。
图14示出了根据本发明一个实施例的图像处理装置1400的示意性方框图,该图像处理装置1400可以应用如图3所示的方法300或如图13所示的方法1300。如图14所示,图像处理装置1400包括图像特征提取单元1410、基准图像确定单元1420、平均相似度计算单元1430、图像合成单元1440和去噪单元1450。
其中,图像特征提取单元1410用于从所接收的多幅(例如N幅)待处理图像(可以是灰度图像或者彩色图像)中提取出图像特征,以便把这N幅图像进行分层。例如,可以如以上所描述的那样,图像特征提取单元1410利用边缘检测算子提取图像中的所有边缘并计算每个边缘点的边缘强度大小,并且按边缘强度的大小将N幅图像分为C层,以便可以得到N×C幅图像。
基准图像确定单元1420用于从由图像特征提取单元1410得到的每一层中的N幅图像(例如,边缘图像)中,通过采用以上所描述的方法,确定一幅适当的图像(与其余N-1幅图像的匹配最优的图像,具体来说,是平均预测误差最小的图像),作为该层的基准图像。
平均相似度计算单元1430用于按照以上所述的方法,在考虑了预测误差对相似度的准确性的影响的情况下(例如,通过利用每幅图像的平均预测误差计算预测准确性概率),计算每一层中所有图像的平均相似度。
图像合成单元1440用于将一层中的所有图像以基准图像为基础,通过平移、旋转和/或伸缩变换等,使除基准图像之外的N-1幅图像与基准图像对齐,并将N幅图像进行合成(例如,在边缘图像的情况下,按像素点对图像进行累加,每个像素点上的数值为该点上所有重合的边缘点的总个数)。在此,图像合成单元1440可以对每一层的图像都进行合成,或者,为了简化计算,图像合成单元1440也可以根据平均相似度计算单元的计算结果,仅仅对平均相似度最大的那一层的图像进行合成。
去噪单元1450用于对由图像合成单元1440所合成的图像进行去除噪声处理,以消除合成图像中存在的不必要的噪声。
鉴于在上文中已经就各个具体的处理过程进行了较为详细的描述,为避免重复,在此就不再就上述各个单元的具体处理过程进行详述了。
在此需要说明的是,图14所示的图像处理装置1400的结构仅仅是示例性的,本领域技术人员可以根据需要对图13所示的结构框图进行修改。例如,如果图像合成单元1440的合成图像的质量能够满足预定的要求,则可以省略去噪单元1450。另外,在待处理的多幅图像为彩色图像的情况下,可以在图像特征提取单元1410之前添加彩色-灰度转换单元,用于利用彩色-灰度转换将N幅彩色图像转换为N幅灰度图像。
正如上文中所提到的,根据本发明的图像处理方法300和1300以及图像处理装置1400可以应用在如图2所示的通用数据处理***上。但是,根据本发明的图像处理方法和装置显然也可以应用在不同于图2所示的***或设备中。例如,它们还可以应用在扫描仪、复印机或多功能一体机等设备中,使得该扫描仪、复印机或多功能一体机等设备可以从多幅文档图像中提取出嵌入在其中的水印,从而对文档进行管理,并且可以被进一步用于对公司内部拷贝或复印机密文档进行监控和报警。
在根据本发明的一个实施例中,提供了一种基准图像确定方法,用于从N幅图像中确定一幅与其余N-1幅图像的匹配优选的图像作为基准图像,其中N为自然数且大于等于3,该方法包括以下步骤:根据N幅图像中的每幅图像与其他N-1幅图像的两两图像间的匹配参数,计算针对该幅图像的其他N-1幅图像两两之间的预测匹配参数,从而得到针对每幅图像的预测匹配参数矩阵;根据针对每幅图像的预测匹配参数矩阵,计算每幅图像的平均预测误差;以及,将N幅图像中的平均预测误差小于预定阈值的任意一幅图像,或者在将N幅图像按平均预测误差从小到大的顺序排序后的前n幅图像之一,确定为所述基准图像,其中n为预先设定的自然数。
优选的是,基准图像是N幅图像中的一幅与其余N-1幅图像的匹配最优的图像。
更为优选的是,基准图像是N幅图像中的平均预测误差最小的一幅图像。
其中,两两图像之间的匹配参数包括平移、旋转和/或伸缩变换匹配参数。
其中,根据第m幅和第i幅图像间的匹配参数Mmi与第m幅和第j幅图像间的匹配参数Mmj,预测出针对第m幅图像的第i幅和第j幅图像间的匹配参数Mij的值Mij me,从而得到针对第m幅图像的预测匹配参数矩阵,其中m、i和j均为大于等于1小于等于N的自然数。
在根据本发明的又一实施例中,提供了一种基准图像确定装置,用于从N幅图像中确定一幅与其余N-1幅图像的匹配优选的图像作为基准图像,其中N为自然数且大于等于3,所述基准图像确定装置包括:用于根据N幅图像中的每幅图像与其他N-1幅图像的两两图像间的匹配参数,计算针对该幅图像的其他N-1幅图像两两之间的预测匹配参数,从而得到针对每幅图像的预测匹配参数矩阵的装置;用于根据针对每幅图像的预测匹配参数矩阵,计算每幅图像的平均预测误差的装置;以及,用于将N幅图像中的平均预测误差小于预定阈值的任意一幅图像,或者在将N幅图像按平均预测误差从小到大的顺序排序后的前n幅图像之一,确定为所述基准图像的装置,其中n为预先设定的自然数。
优选的是,基准图像是N幅图像中的一幅与其余N-1幅图像的匹配最优的图像。
更为优选的是,基准图像是N幅图像中的平均预测误差最小的一幅图像。
其中,两两图像之间的匹配参数包括平移、旋转和/或伸缩变换匹配参数。
其中,用于计算针对每幅图像的预测匹配参数矩阵的装置根据第m幅和第i幅图像间的匹配参数Mmi与第m幅和第j幅图像间的匹配参数Mmj,预测出针对第m幅图像的第i幅和第j幅图像间的匹配参数Mij的值Mij me,从而得到针对第m幅图像的预测匹配参数矩阵,其中m、i和j均为大于等于1且小于等于N的自然数。
在根据本发明的又一实施例中,还提供了一种平均相似度计算方法,用于计算N幅图像的平均相似度,其中N为自然数且大于等于3,该方法包括以下步骤:根据N幅图像中的每幅图像与其他N-1幅图像的两两图像间的匹配参数,计算针对该幅图像的其他N-1幅图像两两之间的预测匹配参数,从而得到针对每幅图像的预测匹配参数矩阵;根据针对每幅图像的预测匹配参数矩阵,计算每幅图像的平均预测误差;根据每幅图像的平均预测误差,计算每幅图像的预测准确性概率;根据每幅图像与其他N-1幅图像的两两图像间的相似度,利用每幅图像的预测准确性概率来计算每幅图像的相似度;以及根据每幅图像的相似度,计算所有N幅图像的平均相似度。
其中,两两图像之间的匹配参数包括平移、旋转和/或伸缩变换匹配参数。
其中,根据第m幅和第i幅图像间的匹配参数Mmi与第m幅和第j幅图像间的匹配参数Mmj,预测出针对第m幅图像的第i幅和第j幅图像间的匹配参数Mij的值Mij me,从而得到针对第m幅图像的预测匹配参数矩阵,其中m、i和j均为大于等于1且小于等于N的自然数。
其中,第i幅图像的预测准确性概率Pi用下式计算:
根据权利要求42所述的方法,其中,第i幅文档图像的相似度用下式计算:
CONFi=Pi×∑CONF2(i,j)/(N-1),j=1,2,...,i-1,i+1,...,N,
其中,CONF2(i,j)表示第i幅图像和第j幅图像之间的相似度。
其中,所有N幅图像的平均相似度是通过对每一幅图像的相似度求平均而得到的。
在根据本发明的又一实施例中,提供了一种用于计算N幅图像的平均相似度的平均相似度计算装置,其中N为自然数且大于等于3,所述平均相似度计算装置包括:用于根据N幅图像中的每幅图像与其他N-1幅图像的两两图像间的匹配参数,计算针对该幅图像的其他N-1幅图像两两之间的预测匹配参数,从而得到针对每幅图像的预测匹配参数矩阵的装置;用于根据针对每幅图像的预测匹配参数矩阵,计算每幅图像的平均预测误差的装置;用于根据每幅图像的平均预测误差,计算每幅图像的预测准确性概率的装置;用于根据每幅图像与其他N-1幅图像的两两图像间的相似度,利用每幅图像的预测准确性概率来计算每幅图像的相似度的装置;以及,用于根据每幅图像的相似度,计算所有N幅图像的平均相似度的装置。
其中,两两图像之间的匹配参数包括平移、旋转和/或伸缩变换匹配参数。
其中,所述计算针对每幅图像的预测匹配参数矩阵的装置根据第m幅和第i幅图像间的匹配参数Mmi与第m幅和第j幅图像间的匹配参数Mmj,预测出针对第m幅图像的第i幅和第j幅图像间的匹配参数Mij的值Mij me,从而得到针对第m幅图像的预测匹配参数矩阵,其中m、i和j均为大于等于1且小于等于N的自然数。
其中,所述计算每幅图像的预测准确性概率的装置用下式计算第i幅图像的预测准确性概率Pi:
其中,所述计算每幅图像的相似度的装置用下式计算第i幅图像的相似度:
CONFi=Pi×∑CONF2(i,j)/(N-1),j=1,2,...,i-1,i+1,...,N,
其中,CONF2(i,j)表示第i幅图像和第j幅图像之间的相似度。
其中,用于计算所有N幅图像的平均相似度的装置通过对每一幅图像的相似度求平均而得到所有N幅图像的平均相似度。
此外,显然,根据本发明的上述方法的各个操作过程也可以以存储在各种机器可读的存储介质中的计算机可执行程序的方式实现。
而且,本发明的目的也可以通过下述方式实现:将存储有上述可执行程序代码的存储介质直接或者间接地提供给***或设备,并且该***或设备中的计算机或者中央处理单元(CPU)读出并执行上述程序代码。
此时,只要该***或者设备具有执行程序的功能,则本发明的实施方式不局限于程序,并且该程序也可以是任意的形式,例如,目标程序、解释器执行的程序或者提供给操作***的脚本程序等。
上述这些机器可读存储介质包括但不限于:各种存储器和存储单元,半导体设备,磁盘单元例如光、磁和磁光盘,以及其它适于存储信息的介质等。
也就是说,在根据本发明的另一实施例中,还提供了一种其上存储有程序代码的计算机可读存储介质,该程序代码在计算机上执行时,使得所述计算机执行以上所述的任何一种方法。
另外,客户计算机通过连接到因特网上的相应网站,并且将依据本发明的计算机程序代码下载和安装到计算机中然后执行该程序,也可以实现本发明。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上虽然结合附图详细描述了本发明的实施例,但是应当明白,上面所描述的实施方式只是用于说明本发明,而并不构成对本发明的限制。对于本领域的技术人员来说,可以对上述实施方式做出各种修改和变更而没有背离本发明的实质和范围。因此,本发明的范围仅由所附的权利要求及其等效含义来限定。
Claims (28)
1.一种图像处理方法,用于从N幅待处理图像中找出或者确定这N幅图像中的共有图案,其中N为自然数且大于等于3,该图像处理方法包括以下步骤:
对N幅图像进行图像特征提取,并根据特征提取的结果将N幅图像分为C层,使得共有图案的图像基本上聚集在C层中的某一层中,其中C为自然数且大于等于2;
计算每一层的N幅图像的平均相似度;以及
将平均相似度最大的那一层的N幅图像的合成图像确定为包含共有图案的图像,
其中,合成图像是以该层的基准图像为基础,将该层中的N幅图像进行合成而得到的,而基准图像是该层的N幅图像中的一幅与其余N-1幅图像的匹配优选的图像。
2.根据权利要求1所述的图像处理方法,其中,基准图像是该层的N幅图像中的一幅与其余N-1幅图像的匹配最优的图像。
3.根据权利要求2所述的图像处理方法,其中,基准图像是该层的N幅图像中的平均预测误差最小的一幅图像。
4.根据权利要求3所述的图像处理方法,其中,对于该层的N幅图像中的每幅图像,其平均预测误差是通过下述处理来计算的:
根据该幅图像与其他N-1幅图像的两两图像间的匹配参数,计算针对该幅图像的其他N-1幅图像两两之间的预测匹配参数,从而得到针对该幅图像的预测匹配参数矩阵;以及
根据针对该幅图像的预测匹配参数矩阵,计算该幅图像的平均预测误差。
5.根据权利要求4所述的图像处理方法,其中,计算每一层的N幅图像的平均相似度的步骤进一步包括:
根据每幅图像的平均预测误差,计算每幅图像的预测准确性概率;
根据每幅图像与其他N-1幅图像的两两图像间的相似度,利用每幅图像的预测准确性概率来计算每幅图像的相似度;以及
根据每幅图像的相似度,计算N幅图像的平均相似度。
6.根据权利要求1至5中的任意一项权利要求所述的图像处理方法,其中,进行图像特征提取并根据特征提取的结果将N幅图像分为C层的步骤进一步包括:
使用边缘检测算子提取N幅图像中的所有边缘;
计算每个边缘点的边缘强度大小;以及
根据所计算的边缘强度的大小,将N幅图像分为C层。
7.根据权利要求6所述的图像处理方法,其中,所述N幅待处理图像为灰度图像,并且所述边缘检测算子是CANNY算子。
8.根据权利要求6所述的图像处理方法,其中,所述N幅待处理图像为彩色图像,并且所述边缘检测算子适合于直接从彩色图像中提取边缘信息。
9.根据权利要求6所述的图像处理方法,其中,所述N幅待处理图像为彩色图像,在图像特征提取前利用彩色-灰度转换得到N幅灰度图像,并且所述边缘检测算子是CANNY算子。
10.根据权利要求6所述的图像处理方法,其中,合成图像是通过下述处理获得的:
将该层中的其他N-1幅图像与基准图像对准;以及
将对准后的N幅图像按像素点进行累加,每个像素点上的数值是该点上所有重合的边缘点的总个数,从而得到合成后的边缘图像。
11.根据权利要求1至5中的任意一项权利要求所述的图像处理方法,还包括对合成图像进行去除噪声处理的步骤,其中,去除噪声后的合成图像被确定为包含共有图案的图像。
12.根据权利要求1至5中的任意一项权利要求所述的图像处理方法,其中,所述N幅待处理图像为文档图像,共有图案为嵌入在文档图像中的水印。
13.根据权利要求4或5所述的图像处理方法,其中,两两图像之间的匹配参数包括平移、旋转和/或伸缩变换匹配参数。
14.一种图像处理装置,用于从N幅待处理图像中找出或者确定这N幅图像中的共有图案,其中N为自然数且大于等于3,该图像处理装置包括:
图像特征提取单元,用于对N幅图像进行图像特征提取,并根据特征提取的结果将N幅图像分为C层,使得共有图案的图像基本上聚集在C层中的某一层中,其中C为自然数且大于等于2;
基准图像确定单元,用于从一层中的N幅图像中确定一幅与其余N-1幅图像的匹配优选的图像,作为基准图像;
平均相似度计算单元,用于计算一层的N幅图像的平均相似度;以及
图像合成单元,用于以一层的基准图像为基础,将该层中的N幅图像进行合成,从而得到该层的合成图像,
其中,平均相似度最大的那一层的合成图像被确定为包含共有图案的图像。
15.根据权利要求14所述的图像处理装置,其中,基准图像是一层的N幅图像中的一幅与其余N-1幅图像的匹配最优的图像。
16.根据权利要求15所述的图像处理装置,其中,基准图像是一层的N幅图像中的平均预测误差最小的一幅图像。
17.根据权利要求16所述的图像处理装置,其中,基准图像确定单元进一步包括:
根据一层的N幅图像中的每幅图像与其他N-1幅图像的两两图像间的匹配参数,计算针对每幅图像的其他N-1幅图像两两之间的预测匹配参数,从而得到针对每幅图像的预测匹配参数矩阵的装置;以及
用于根据针对每幅图像的预测匹配参数矩阵,计算每幅图像的平均预测误差的装置。
18.根据权利要求17所述的图像处理装置,其中,平均相似度计算单元进一步包括:
用于根据N幅图像中的每幅图像的平均预测误差,计算每幅图像的预测准确性概率的装置;
用于根据N幅图像中的每幅图像与其他N-1幅图像的两两图像间的相似度,利用每幅图像的预测准确性概率来计算每幅图像的相似度的装置;以及
用于根据N幅图像中的每幅图像的相似度,计算N幅图像的平均相似度的装置。
19.根据权利要求14至18中的任意一项权利要求所述的图像处理装置,其中,图像特征提取单元进一步包括:
用于使用边缘检测算子提取N幅图像中的所有边缘的装置;
用于计算每个边缘点的边缘强度大小的装置;以及
用于根据所计算的边缘强度的大小将N幅图像分为C层的装置。
20.根据权利要求19所述的图像处理装置,其中,所述N幅待处理图像为灰度图像,并且所述边缘检测算子是CANNY算子。
21.根据权利要求19所述的图像处理装置,其中,所述N幅待处理图像为彩色图像,并且所述边缘检测算子适合于直接从彩色图像中提取边缘信息。
22.根据权利要求19所述的图像处理装置,其中,所述N幅待处理图像为彩色图像,所述图像处理装置进一步包括用于利用彩色-灰度转换将N幅彩色图像转换为N幅灰度图像的彩色-灰度转换单元,并且所述边缘检测算子是CANNY算子。
23.根据权利要求19所述的图像处理装置,其中,图像合成单元将该层中的其他N-1幅图像和基准图像对准,并将对准后的N幅图像按像素点进行累加,每个像素点上的数值是该点上所有重合的边缘点的总个数,从而得到合成后的边缘图像。
24.根据权利要求14至18中的任意一项权利要求所述的图像处理装置,还包括:去噪单元,用于对图像合成单元所合成的合成图像进行去除噪声处理,并且其中,去除噪声后的合成图像被确定为包含共有图案的图像。
25.根据权利要求14至18中的任意一项权利要求所述的图像处理装置,其中,所述N幅待处理图像为文档图像,共有图案为嵌入在文档图像中的水印。
26.根据权利要求17或18所述的图像处理装置,其中,两两图像之间的匹配参数包括平移、旋转和/或伸缩变换匹配参数。
27.一种水印检测***,包括根据权利要求14至26中的任意一项权利要求所述的图像处理装置,其中,N幅待处理图像为文档图像,共有图案为嵌入在文档图像中的水印。
28.根据权利要求27所述的水印检测***,该***被集成在扫描仪、复印机或多功能一体机中。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008100877200A CN101546424B (zh) | 2008-03-24 | 2008-03-24 | 图像处理方法和装置及水印检测*** |
JP2009039885A JP5168185B2 (ja) | 2008-03-24 | 2009-02-23 | 画像処理方法、画像処理装置及び透かし検出システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008100877200A CN101546424B (zh) | 2008-03-24 | 2008-03-24 | 图像处理方法和装置及水印检测*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101546424A true CN101546424A (zh) | 2009-09-30 |
CN101546424B CN101546424B (zh) | 2012-07-25 |
Family
ID=41193545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008100877200A Expired - Fee Related CN101546424B (zh) | 2008-03-24 | 2008-03-24 | 图像处理方法和装置及水印检测*** |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5168185B2 (zh) |
CN (1) | CN101546424B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104427242A (zh) * | 2013-09-10 | 2015-03-18 | 联想(北京)有限公司 | 图像拼接方法、装置及电子设备 |
CN104954678A (zh) * | 2015-06-15 | 2015-09-30 | 联想(北京)有限公司 | 一种图像处理方法及装置、电子设备 |
CN105869122A (zh) * | 2015-11-24 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 图像处理方法和装置 |
CN105868680A (zh) * | 2015-11-24 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 台标分类方法及装置 |
CN105868683A (zh) * | 2015-11-24 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 台标识别方法及装置 |
CN105868755A (zh) * | 2015-11-24 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 数字分离方法及装置 |
CN105868681A (zh) * | 2015-11-24 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 央视台标的识别方法及装置 |
CN105869139A (zh) * | 2015-11-24 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 图像处理方法和装置 |
CN105868682A (zh) * | 2015-11-24 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 地方台标识别方法及装置 |
CN106796625A (zh) * | 2014-08-20 | 2017-05-31 | 凡瑞斯公司 | 使用预测图案的多样性的水印检测 |
CN106845532A (zh) * | 2016-12-30 | 2017-06-13 | 深圳云天励飞技术有限公司 | 一种样本筛选方法 |
CN107770554A (zh) * | 2017-10-26 | 2018-03-06 | 胡明建 | 一种并行位移小波法对图像分层并压缩的设计方法 |
US10499120B2 (en) | 2014-03-13 | 2019-12-03 | Verance Corporation | Interactive content acquisition using embedded codes |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105761196B (zh) * | 2016-01-28 | 2019-06-11 | 西安电子科技大学 | 基于三维预测误差直方图的彩色图像可逆数字水印方法 |
JP2019212138A (ja) * | 2018-06-07 | 2019-12-12 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN111128348B (zh) * | 2019-12-27 | 2024-03-26 | 上海联影智能医疗科技有限公司 | 医学图像处理方法、装置、存储介质及计算机设备 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3154217B2 (ja) * | 1993-12-01 | 2001-04-09 | 沖電気工業株式会社 | 移動物標追尾装置 |
JP3396950B2 (ja) * | 1994-03-31 | 2003-04-14 | 凸版印刷株式会社 | 三次元形状の測定方法および装置 |
JP3636809B2 (ja) * | 1996-03-12 | 2005-04-06 | 株式会社リコー | 画像処理方法 |
JPH09326037A (ja) * | 1996-04-01 | 1997-12-16 | Fujitsu Ltd | パターン生成装置及びパターン生成のプログラムを格納した記憶媒体 |
JPH10164472A (ja) * | 1996-11-25 | 1998-06-19 | Sega Enterp Ltd | 画像情報処理方法及び電子カメラ |
US6148033A (en) * | 1997-11-20 | 2000-11-14 | Hitachi America, Ltd. | Methods and apparatus for improving picture quality in reduced resolution video decoders |
US6285995B1 (en) * | 1998-06-22 | 2001-09-04 | U.S. Philips Corporation | Image retrieval system using a query image |
JP3581265B2 (ja) * | 1999-01-06 | 2004-10-27 | シャープ株式会社 | 画像処理方法およびその装置 |
JP2001103279A (ja) * | 1999-09-30 | 2001-04-13 | Minolta Co Ltd | 画像作成装置 |
GB9929957D0 (en) * | 1999-12-17 | 2000-02-09 | Canon Kk | Image processing apparatus |
JP2002230585A (ja) * | 2001-02-06 | 2002-08-16 | Canon Inc | 3次元画像表示方法及び記録媒体 |
US6782116B1 (en) * | 2002-11-04 | 2004-08-24 | Mediasec Technologies, Gmbh | Apparatus and methods for improving detection of watermarks in content that has undergone a lossy transformation |
JP4070558B2 (ja) * | 2002-09-26 | 2008-04-02 | 株式会社東芝 | 画像追跡装置および方法 |
WO2004090811A2 (en) * | 2003-04-11 | 2004-10-21 | Koninklijke Philips Electronics N.V. | Method of detecting watermarks |
JP4613558B2 (ja) * | 2003-09-16 | 2011-01-19 | パナソニック電工株式会社 | 画像を用いた人体検知装置 |
JP4323334B2 (ja) * | 2004-01-20 | 2009-09-02 | 株式会社山武 | 基準画像選択装置 |
JP4466260B2 (ja) * | 2004-07-30 | 2010-05-26 | パナソニック電工株式会社 | 画像処理装置 |
JP4739082B2 (ja) * | 2006-03-30 | 2011-08-03 | キヤノン株式会社 | 画像処理方法及び画像処理装置 |
JP2007041225A (ja) * | 2005-08-02 | 2007-02-15 | Kawai Musical Instr Mfg Co Ltd | 画像合成装置、方法、プログラム及び電子楽器 |
JP2007080136A (ja) * | 2005-09-16 | 2007-03-29 | Seiko Epson Corp | 画像内に表現された被写体の特定 |
SG130972A1 (en) * | 2005-09-23 | 2007-04-26 | Sony Corp | Techniques for embedding and detection of watermarks in images |
JP2007192752A (ja) * | 2006-01-20 | 2007-08-02 | Horon:Kk | エッジ検出方法およびエッジ検出装置 |
JP2007257287A (ja) * | 2006-03-23 | 2007-10-04 | Tokyo Institute Of Technology | 画像レジストレーション方法 |
JP2007316966A (ja) * | 2006-05-26 | 2007-12-06 | Fujitsu Ltd | 移動ロボット、その制御方法及びプログラム |
JP2007317034A (ja) * | 2006-05-27 | 2007-12-06 | Ricoh Co Ltd | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
-
2008
- 2008-03-24 CN CN2008100877200A patent/CN101546424B/zh not_active Expired - Fee Related
-
2009
- 2009-02-23 JP JP2009039885A patent/JP5168185B2/ja not_active Expired - Fee Related
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104427242A (zh) * | 2013-09-10 | 2015-03-18 | 联想(北京)有限公司 | 图像拼接方法、装置及电子设备 |
US10499120B2 (en) | 2014-03-13 | 2019-12-03 | Verance Corporation | Interactive content acquisition using embedded codes |
US10445848B2 (en) | 2014-08-20 | 2019-10-15 | Verance Corporation | Content management based on dither-like watermark embedding |
CN106796625B (zh) * | 2014-08-20 | 2019-09-24 | 凡瑞斯公司 | 使用预测图案的多样性的水印检测 |
CN106796625A (zh) * | 2014-08-20 | 2017-05-31 | 凡瑞斯公司 | 使用预测图案的多样性的水印检测 |
CN104954678A (zh) * | 2015-06-15 | 2015-09-30 | 联想(北京)有限公司 | 一种图像处理方法及装置、电子设备 |
CN105868682A (zh) * | 2015-11-24 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 地方台标识别方法及装置 |
CN105869139A (zh) * | 2015-11-24 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 图像处理方法和装置 |
CN105868681A (zh) * | 2015-11-24 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 央视台标的识别方法及装置 |
CN105868755A (zh) * | 2015-11-24 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 数字分离方法及装置 |
WO2017088462A1 (zh) * | 2015-11-24 | 2017-06-01 | 乐视控股(北京)有限公司 | 图像处理方法和装置 |
CN105868683A (zh) * | 2015-11-24 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 台标识别方法及装置 |
CN105868680A (zh) * | 2015-11-24 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 台标分类方法及装置 |
CN105869122A (zh) * | 2015-11-24 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 图像处理方法和装置 |
CN106845532A (zh) * | 2016-12-30 | 2017-06-13 | 深圳云天励飞技术有限公司 | 一种样本筛选方法 |
CN106845532B (zh) * | 2016-12-30 | 2018-07-20 | 深圳云天励飞技术有限公司 | 一种样本筛选方法 |
CN107770554A (zh) * | 2017-10-26 | 2018-03-06 | 胡明建 | 一种并行位移小波法对图像分层并压缩的设计方法 |
CN107770554B (zh) * | 2017-10-26 | 2020-08-18 | 胡明建 | 一种并行位移小波法对图像分层并压缩的设计方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2009232450A (ja) | 2009-10-08 |
JP5168185B2 (ja) | 2013-03-21 |
CN101546424B (zh) | 2012-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101546424A (zh) | 图像处理方法和装置及水印检测*** | |
Xiong et al. | A universal denoising framework with a new impulse detector and nonlocal means | |
US7171042B2 (en) | System and method for classification of images and videos | |
Yu et al. | Efficient patch-wise non-uniform deblurring for a single image | |
CN103238159A (zh) | 用于图像认证的***和方法 | |
WO2006073076A1 (ja) | 画像処理システム、学習装置および方法、並びにプログラム | |
Gupta et al. | Passive image forensics using universal techniques: a review | |
CN115797670A (zh) | 基于卷积神经网络的斗轮性能监测方法及其*** | |
WO2010043954A1 (en) | Method, apparatus and computer program product for providing pattern detection with unknown noise levels | |
Chakraborty | PRNU-based image manipulation localization with discriminative random fields | |
Miche et al. | A feature selection methodology for steganalysis | |
Cogranne et al. | Application of hypothesis testing theory for optimal detection of LSB matching data hiding | |
Peng et al. | Building super-resolution image generator for OCR accuracy improvement | |
Kumar et al. | Image denoising via overlapping group sparsity using orthogonal moments as similarity measure | |
Lam | Blind bi-level image restoration with iterated quadratic programming | |
CN103748613A (zh) | 用于图像去噪、压缩和插值的各向异性梯度正则化 | |
CN116310394A (zh) | 显著性目标检测方法及装置 | |
Lu et al. | Assessment framework for deepfake detection in real-world situations | |
Song et al. | Deep semantic-aware remote sensing image deblurring | |
Zhang et al. | Noise removal in embedded image with bit approximation | |
Barglazan et al. | Image Inpainting forgery detection: a review | |
Abdollahi et al. | Image steganography based on smooth cycle-consistent adversarial learning | |
Al-Jaberi et al. | Topological data analysis to improve exemplar-based inpainting | |
Lu et al. | A novel assessment framework for learning-based deepfake detectors in realistic conditions | |
Nataraj et al. | Holistic image manipulation detection using pixel co-occurrence matrices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120725 Termination date: 20180324 |
|
CF01 | Termination of patent right due to non-payment of annual fee |