CN101479768A - 图像处理***、图像处理程序以及图像处理方法 - Google Patents

图像处理***、图像处理程序以及图像处理方法 Download PDF

Info

Publication number
CN101479768A
CN101479768A CNA2007800246758A CN200780024675A CN101479768A CN 101479768 A CN101479768 A CN 101479768A CN A2007800246758 A CNA2007800246758 A CN A2007800246758A CN 200780024675 A CN200780024675 A CN 200780024675A CN 101479768 A CN101479768 A CN 101479768A
Authority
CN
China
Prior art keywords
image
repeat patterns
layer
coefficient
autocorrelation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800246758A
Other languages
English (en)
Other versions
CN101479768B (zh
Inventor
高木淳
佐藤晋介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN101479768A publication Critical patent/CN101479768A/zh
Application granted granted Critical
Publication of CN101479768B publication Critical patent/CN101479768B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/42Analysis of texture based on statistical description of texture using transform domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Generation (AREA)

Abstract

判断在图像中是否存在重复图案(100)。当不存在重复图案时,所述图像被划分为图像块,得到的图像块被用于生成随机重复图案,并且输出所述随机重复图案(108)。此外,当所述图像中的所述重复图案的重复次数为2×2或更多时(102),通过将像素值转换为频率系数而确定重复周期,并且基于确定所述重复周期的结果来提取所述重复图案,并且输出所述重复图案(104)。当所述图像中的所述重复图案的所述重复次数小于2×2时,通过使用自相关系数的局部最大值执行划分来确定所述重复周期,并且基于确定所述重复周期的结果来提取所述重复图案(106)。

Description

图像处理***、图像处理程序以及图像处理方法
技术领域
[0001]本发明涉及图像处理***、图像处理程序以及图像处理方法。更具体地,本发明涉及精确地提取图像中存在的重复图案的图像处理***、图像处理程序以及图像处理方法。
背景技术
[0002]被称为纹理映射的将图像施加到物体上的方法在计算机图形学(下文称为CG)领域是广为人知的,并且用于多种CG***中。
[0003]为了增强逼真性,在一些情况下图案被重复地施加到物体上。然而,如果不考虑这种重复,图案之间的接缝部分可能是不自然的,并且可能减少逼真性。
[0004]当图像中的重复图案被提取或生成时,可以使用图像编辑软件来手工地完成工作。然而,当图案复杂时,需要大量的时间。
[0005]例如,作为一种提取图像中的重复图案的方法的实例,提出了在日本专利申请公开第2002-198406(JP-A-2002-198406)号中描述的技术。
[0006]在JP-A-2002-198406中描述的技术说明了使用诸如傅立叶变换或自相关函数的数学方法,从通过经由摄像元件使物体成像所获得的图像中得出重复图案的重复间距,并且具有该重复间距的区域被视为包含重复图案的区域。
[0007]然而,关于JP-A-2002-198406中描述的技术,尽管文中描述的是使用数学方法得出重复间距,但是不存在对计算周期的特定方法的说明,因此该技术缺乏可行性。
[0008]本发明的目标是精确地提取重复图案。
发明内容
[0009]根据本发明的第一方案的图像处理***包括:多个用于提取重复图案的器件,提取器件使用当提取包含在图像中的重复图案时所用的相互不同的确定重复周期的方法;以及根据包含在图像中的重复图案的重复次数而在多个重复图案提取器件之间执行切换的器件。
[0010]根据本发明的第一方案,多个用于提取重复图案的器件中的一个提取包含在图像中的重复图案。多个重复图案提取器件使用当提取重复图案时所用的互不相同的确定重复周期的各自的方法。例如,图像处理***可以包括用于提取具有相互不同的提取精度的重复图案的多个器件,这取决于重复图案的重复次数。
[0011]切换器件取决于包含在图像中的重复图案的重复次数在重复图案提取器件之间执行切换。具体地,能够使用适应于重复图案的重复次数的最优提取器件来提取重复图案。因此,能够从输入图像处理***的图像中精确地提取重复图案。
[0012]图像处理***可以进一步包括用于生成随机重复图案的器件,其中,当图像中没有包含重复图案时,所述生成器件生成随机重复图案。
[0013]所述多个重复图案提取器件可以包括:第一提取器件,用于通过将图像中的像素值转换为频率系数而确定图像中的重复图案的重复周期来提取重复图案;以及第二提取器件,用于通过以下步骤来提取所述重复图案:构建图像金字塔,图像金字塔被构建为从高分辨率图像到低分辨率图像的具有不同分辨率的一组图像;计算图像金字塔的最深层图像的每个像素的高阶局部自相关特征值,以基于计算出的高阶局部自相关特征值来计算基准像素区域和每个对象像素区域之间的自相关系数;对于比前次计算的层浅一个级别的层的图像执行这种高阶局部自相关特征值和自相关系数的计算,其中,在每次重复中,对于当前层的与自相关系数是比所述当前层的层深一个级别的层的图像中的局部最大值的对象像素区域相对应的每个对象像素区域执行所述计算;将前次计算步骤重复预定的次数;以及使用最浅层的自相关系数的局部最大值来确定所述图像中的重复图案的重复周期。
[0014]根据本发明的第二方案的图像处理***包括:第一提取器件,用于通过将图像中的像素值转换为频率系数而确定图像中的重复图案的重复周期来从图像中提取重复图案;第二提取器件,用于通过以下步骤来提取所述重复图案:构建图像金字塔,所述图像金字塔被构建为从高分辨率图像到低分辨率图像的具有不同分辨率的一组图像;计算图像金字塔的最深层图像的每个像素的高阶局部自相关特征值,以基于计算出的高阶局部自相关特征值来计算基准像素区域和每个对象像素区域之间的自相关系数;对于比前次计算的层浅一个级别的层的图像执行这种高阶局部自相关特征值和自相关系数的计算,其中,在每次重复中,对于当前层的与自相关系数是比所述当前层的层深一个级别的层的图像中的局部最大值的对象像素区域相对应的每个对象像素区域执行所述计算;将所述前次计算步骤重复预定的次数;以及使用最浅层的自相关系数的局部最大值来确定所述图像中的重复图案的重复周期;以及用于生成随机重复图案的器件。当第一提取器件对重复图案的提取结果是提取了重复次数等于或大于预定次数的重复图案时,输出由第一提取器件提取的重复图案。当没有重复图案被所述第一提取器件提取时,或当没有重复次数等于或大于所述预定次数的重复图案被第一提取器件提取时,重复图案的提取由第二提取器件执行。如果重复图案被第二提取器件提取,则输出所述重复图案。如果没有重复图案被第二提取器件提取,则随机重复图案被生成器件生成并输出。
[0015]根据第二方案的图像处理***,第一提取器件通过将图像中的像素值转换为频率系数而确定所述图像中的重复图案的重复周期来提取所述图像中的重复图案。第二提取器件通过以下步骤来提取重复图案:构建图像金字塔,所述图像金字塔被构建为从高分辨率图像到低分辨率图像的具有不同分辨率的一组图像;计算图像金字塔的最深层图像的每个像素的高阶局部自相关特征值,以基于计算出的高阶局部自相关特征值来计算基准像素区域和每个对象像素区域之间的自相关系数;对于比前次计算的层浅一个级别的层的图像执行这种高阶局部自相关特征值和自相关系数的计算,其中,在每次重复中,对于当前层的与自相关系数是比所述当前层的层深一个级别的层的图像中的局部最大值的对象像素区域相对应的每个对象像素区域执行所述计算;将所述前次计算步骤重复预定的次数;以及使用最浅层的自相关系数的局部最大值来确定所述图像中的重复图案的重复周期。生成器件生成随机重复图案。
[0016]当第一提取器件对重复图案的提取结果是提取了重复次数等于或大于预定次数的重复图案时,输出由第一提取器件提取的重复图案。当没有重复图案被所述第一提取器件提取时,或当没有重复次数等于或大于所述预定次数的重复图案被第一提取器件提取时,重复图案的提取由第二提取器件执行。如果重复图案被第二提取器件提取,则输出所述重复图案。如果没有重复图案被第二提取器件提取,则随机重复图案被生成器件生成并输出。因此,能够从输入图像处理***的图像中精确地提取重复图案。此外,通过所述结构,能够从输入图像处理***的图像中自动地提取重复图案。
[0017]根据本发明的第三方案的图像处理程序是使计算机执行以下图像处理过程的图像处理程序。所述图像处理程序包括:多个提取重复图案的步骤,所述步骤使用当提取包含在图像中的重复图案时所用的相互不同的确定重复周期的方法;以及根据包含在所述图像中的重复图案的重复次数而在多个重复图案提取步骤之间执行切换的切换步骤。
[0018]根据第三方案的图像处理程序,多个重复图案提取步骤提取包含在图像中的重复图案。多个重复图案提取步骤使用用于提取重复图案的相互不同的判断重复周期的方法。图像处理过程可以包括多个提取重复图案的步骤,所述步骤取决于重复图案的重复次数而具有相互不同的提取精度。
[0019]切换步骤根据图像中的重复图案的重复次数在重复图案提取器件之间进行切换。由于能够使用适应于重复图案的重复次数的最优提取步骤来提取重复图案。因此,能够从输入图像处理***的图像中精确地提取重复图案。
[0020]图像处理过程可以进一步包括生成随机重复图案的生成步骤,其中,当所述图像中没有包含重复图案时,生成步骤生成随机重复图案。
[0021]例如,多个重复图案提取步骤可以包括:第一提取步骤,通过将所述图像中的像素值转换为频率系数而确定所述图像中的重复图案的重复周期来提取所述重复图案;以及第二提取步骤,通过以下步骤来提取重复图案:构建图像金字塔,图像金字塔被构建为从高分辨率图像到低分辨率图像的具有不同分辨率的一组图像;计算图像金字塔的最深层图像的每个像素的高阶局部自相关特征值,以基于所述计算出的高阶局部自相关特征值来计算基准像素区域和每个对象像素区域之间的自相关系数;对于比前次计算的层浅一个级别的层的图像执行这种高阶局部自相关特征值和自相关系数的计算,其中,在每次重复中,对于当前层的与自相关系数是比所述当前层的层深一个级别的层的图像中的局部最大值的对象像素区域相对应的每个对象像素区域执行所述计算;将所述前次计算步骤重复预定的次数;以及使用最浅层的自相关系数的局部最大值来确定所述图像中的所述重复图案的所述重复周期。
[0022]根据本发明的第四方案的图像处理程序是使计算机执行以下图像处理过程的图像处理程序。所述图像处理过程包括:第一提取步骤,通过将图像中的像素值转换为频率系数而确定所述图像中的重复图案的重复周期来从所述图像中提取重复图案;第二提取步骤,通过以下步骤来提取重复图案:构建图像金字塔,图像金字塔被构建为从高分辨率图像到低分辨率图像的具有不同分辨率的一组图像;计算图像金字塔的最深层图像的每个像素的高阶局部自相关特征值,以基于所述计算出的高阶局部自相关特征值来计算基准像素区域和每个对象像素区域之间的自相关系数;对于比前次计算的层浅一个级别的层的图像执行这种高阶局部自相关特征值和自相关系数的计算,其中,在每次重复中,对于当前层的与自相关系数是比所述当前层的层深一个级别的层的图像中的局部最大值的对象像素区域相对应的每个对象像素区域执行所述计算;将所述前次计算步骤重复预定的次数;以及使用最浅层的自相关系数的局部最大值来确定所述图像中的所述重复图案的所述重复周期;以及生成随机重复图案的生成步骤。当第一提取步骤中对重复图案的提取结果是提取了重复次数等于或大于预定次数的重复图案时,输出提取的所述重复图案。当没有重复图案在第一提取步骤中被提取时,或当没有重复次数等于或大于所述预定次数的重复图案在第一提取步骤中被提取时,重复图案的提取在第二提取步骤中执行。如果重复图案在第二提取步骤中被提取,则输出所述重复图案。如果没有重复图案在第二提取步骤中被提取,则随机重复图案在生成步骤中被生成并输出。
[0023]根据第四方案,第一提取步骤通过将图像中的像素值转换为频率系数而确定所述图像中的重复图案的重复周期来从所述图像中提取重复图案。第二提取步骤通过以下步骤来提取重复图案:构建图像金字塔,图像金字塔被构建为从高分辨率图像到低分辨率图像的具有不同分辨率的一组图像;计算图像金字塔的最深层图像的每个像素的高阶局部自相关特征值,以基于所述计算出的高阶局部自相关特征值来计算基准像素区域和每个对象像素区域之间的自相关系数;对于比前次计算的层浅一个级别的层的图像执行这种高阶局部自相关特征值和自相关系数的计算,其中,在每次重复中,对于当前层的与自相关系数是比所述当前层的层深一个级别的层的图像中的局部最大值的对象像素区域相对应的每个对象像素区域执行所述计算;将所述前次计算步骤重复预定的次数;以及使用最浅层的自相关系数的局部最大值来确定所述图像中的所述重复图案的所述重复周期。生成步骤生成随机重复图案。
[0024]当第一提取步骤中对重复图案的提取结果是提取了重复次数等于或大于预定次数的重复图案时,输出提取的所述重复图案。当没有重复图案在第一提取步骤中被提取时,或当没有重复次数等于或大于所述预定次数的重复图案在第一提取步骤中被提取时,重复图案的提取在第二提取步骤中执行。如果重复图案在第二提取步骤中被提取,则输出所述重复图案。如果没有重复图案在第二提取步骤中被提取,则随机重复图案在生成步骤中被生成并输出。因此,能够从输入图像处理***的图像中精确地提取重复图案。此外,通过执行这种过程,能够从输入图像处理***的图像中自动地提取重复图案。
[0025]根据本发明的第五方案的图像处理方法包括:执行第一次提取,其中通过将图像中的像素值转换为频率系数而确定所述图像中的重复图案的重复周期来从所述图像中提取所述重复图案;当重复次数等于或大于预定次数的重复图案在第一次提取中被提取时,输出在第一次提取中被提取的所述重复图案;当没有重复图案在第一次提取中被提取时,或当没有重复次数等于或大于所述预定次数的重复图案在第一次提取中被提取时,执行第二次提取,在第二次提取中重复图案通过以下步骤被提取:构建图像金字塔;计算所述图像金字塔的最深层图像的每个像素的高阶局部自相关特征值,以基于所述计算出的高阶局部自相关特征值来计算基准像素区域和每个对象像素区域之间的自相关系数;对于比前次计算的层浅一个级别的层的图像执行这种高阶局部自相关特征值和自相关系数的计算,其中,在每次重复中,对于当前层的与自相关系数是比所述当前层的层深一个级别的层的图像中的局部最大值的对象像素区域相对应的每个对象像素区域执行所述计算;将所述前次计算步骤重复预定的次数;以及使用最浅层的自相关系数的局部最大值来确定所述图像中的所述重复图案的所述重复周期;如果重复图案在第二次提取中被提取,则输出在第二次提取中被提取的所述重复图案;以及如果在第一次提取和第二次提取中都没有重复图案被提取,则生成随机重复图案。
[0026]根据本发明的第五方案的图像处理方法,具有能够根据图像中的重复图案的重复次数通过在多个重复图案提取过程之间执行切换来从图像中精确地提取重复图案的优点,多个重复图案提取过程使用当提取包含在图像中的重复图案时所用的相互不同的确定重复周期的方法。
附图说明
[0027]通过以下参照附图对示例性实施例的详细描述,本发明的上述和进一步的目的、特征及优点将变得明显,其中图中相似的附图标记用于表示相似的元件,并且其中:
图1A和1B为用于说明根据本发明的实施例的图像处理***的概况的图;
图2为显示由根据本发明的实施例的图像处理***执行的包括提取过程和生成过程的程序流的实例的流程图;
图3为用于说明通过将像素值转换为频率系数而确定重复周期的方法的流程图;
图4为显示计算沿样本图像的竖直方向的像素的像素值的平均数的结果的图;
图5为显示在样本图像的情况下的功率谱的图;
图6为显示通过提取在样本图像的功率谱中满足关系式S(ω)>S(ω)的平均值的频率分量来确定加权值的结果的图;
图7为显示执行从样本图像的功率谱到时域数据的逆变换的结果的图;
图8为说明通过使用自相关系数的局部最大值来执行划分而确定重复周期的方法的流程图;
图9为显示图像金字塔的概况的图;
图10为用于说明图像金字塔的图;
图11显示用于计算高阶局部自相关特征的25个局部图案;
图12为显示计算高阶局部自相关特征值的实例的图;
图13为显示对于每个水平线和竖直线的特征值的平均值、方差以及标准偏差的计算的图示的图;
图14A为显示相对于水平基准线的相关系数的计算的图示的图;
图14B为显示相对于竖直基准线的相关系数的计算的图示的图;
图15A为显示在水平方向上计算相关系数的结果的图;
图15B为显示在竖直方向上计算相关系数的结果的图;
图16A为显示图15A中所示的局部最大点的回归线的图;
图16B为显示图15B中所示的局部最大点的回归线的图;
图17为用于说明通过执行将图像划分为图像块来生成随机重复图案的方法的流程图;
图18为用于说明将原始图像划分为图像块的图;
图19A为用于说明当放置图像块以便与无缝图像的下边缘部重叠时执行的计算相似度的图;
图19B为用于说明当放置图像块以便与无缝图像的右边缘部重叠时执行的计算相似度的图;
图20A为用于说明当图像块被以图像块延伸超过无缝图像的下边缘的状态放置时执行的计算相似度的图;
图20B为用于说明当图像块被以图像块延伸超过无缝图像的右边缘的状态放置时执行的计算相似度的图;
图20C和20D均为显示设置图像块的方式的实例的图;
图21A为用于说明将被组合的图像块的图;
图21B为用于说明对将被组合的图像块的上边缘部重叠的区域进行的处理的图;
图21C为用于说明对将被组合的图像块的左边缘部重叠的区域进行的处理的图;
图22A为说明无缝图像和将被组合的图像块不重叠的区域的图;
图22B为用于说明对将被组合的图像块进行组合的方法的图;
图23A为用于说明将被组合的图像块超出了无缝图像的右边缘的情况的图;
图23B为用于说明将被组合的图像块超出了无缝图像的下边缘的情况的图;
图23C为用于说明完成线被设定在对应于最小纵坐标的水平线处的过程的图;
图24A和24B为显示包括由改进的图像处理***执行的上述提取和生成过程的程序流的实例的流程图。
具体实施方式
[0028]以下将参照附图对本发明的示例性实施例进行说明。图1为用于说明根据本发明的实施例的图像处理***的概况的图。
[0029]如图1所示,根据本发明的实施例的图像处理***10由包括诸如监视器12的显示器件以及诸如键盘14和鼠标或类似物的输入器件的普通个人电脑或类似物构成。图像处理***10提取输入图像16中存在的重复图案,或使用输入图像16生成重复图案,然后输出所述重复图案。具体地,当输入图1B所示的图像时,图像处理***10自动地提取图像中存在的重复图案18,或生成适于所述图像的重复图案,并输出所述重复图案。
[0030]当输入图像中存在重复图案时,根据本发明的实施例的图像处理***10执行从输入图像中提取重复图案的提取过程。当输入图像中不存在重复图案时,图像处理***10使用输入图像16执行生成重复图案的生成过程。
[0031]图像处理***10基于经由键盘14提供的输入来判断是执行提取过程还是执行生成过程。首先,操作者检查在监视器12上显示的图像,并且通过键盘14将检查结果输入图像处理***10。然后,图像处理***10基于经由键盘14输入的检查结果判断输入图像中是否存在重复图案。然后,图像处理***10判断是执行提取过程还是执行生成过程。
[0032]在图像处理***10中执行的提取过程有两种。所执行的提取过程的不同取决于输入图像中的重复图案的重复次数是否为2×2或更多。当操作者检查在监视器12上显示的图像,并且通过键盘14将检查结果输入图像处理***10中时,图像处理***10基于经由键盘14输入的检查结果来判断输入图像中的重复图案的重复次数是否为2×2或更多,以从两种提取过程中选出将执行的提取过程。
[0033]在该实施例中,当输入图像中的重复图案的重复次数为2×2或更多时,通过将像素值转换为频率系数而确定重复图案的周期来提取重复图案。当输入图像中的重复图案的重复次数小于2×2时,通过使用自相关系数的局部最大值进行划分而确定重复周期来提取重复图案。因此,由图像处理***10执行的两种提取过程在确定重复周期的方法上是不同的。下文将描述两种提取过程中的每一种中确定重复周期的方法的细节。
[0034]当执行生成重复图案的生成过程时,图像处理***10将输入图像划分为规定的图像块,并且随机排列具有相似性的图像块以生成重复图案。下文还将描述通过将图像划分为图像块来生成随机重复图案的方法的细节。
[0035]接下来,将描述由如上构造的根据本发明的实施例的图像处理***10执行的过程。图2为表示由根据本发明的实施例的图像处理***10执行的包括上述提取和生成过程的过程流程的实例的流程图。
[0036]首先,在步骤100中,判断输入图像中是否存在重复图案。所述判断是基于操作者在观察监视器12上显示的图像之后经由键盘14输入的输入结果(检查输入图像中是否存在重复图案的结果)作出的。当判断为肯定时,过程前进到步骤102。
[0037]在步骤102中,判断图像中的重复图案的重复次数是否为2×2或更多。所述判断也是基于操作者在观察监视器12上显示的图像之后经由键盘14输入的输入结果(检查输入图像中的重复图案的重复次数是否为2×2或更多的结果)作出的。当判断为肯定时,过程前进到步骤104。当判断为否定时,过程前进到步骤106。
[0038]在步骤104中,基于上述通过将像素值转换为频率系数而确定重复周期的结果来提取重复图案,并且输出所述重复图案。
[0039]在步骤106中,基于上述使用自相关系数的局部最大值来进行划分而确定重复周期的结果来提取重复图案。
[0040]另一方面,当步骤100中的判断为否定时,也就是说,当判断出输入图像中不存在重复图案时,过程前进到步骤108。在步骤108中,上述图像被划分为图像块,得到的图像块用于生成随机重复图案,然后输出生成的重复图案。
[0041]在该实施例中,这样进行处理能够仅仅通过输入检查输入图像中是否存在重复图案的结果并且输入检查重复图案的重复次数是否为2×2或更多的结果而从输入图像中自动地提取重复图案或生成重复图案。此外,由于提取方法根据重复图案的存在和重复图案的重复次数来进行切换,因此能够精确地提取重复图案。
[0042]关于该实施例,尽管操作者经由键盘输入了是否存在重复图案,并且当不存在重复图案时图像处理***生成重复图案,但本发明不限于该实施例。例如,当在步骤104和106中均没有重复图案被提取时可以执行步骤108中的生成重复图案。
[0043]现在将详细描述两种确定重复周期的方法。首先,将描述通过将像素值转换为频率系数而确定重复周期的方法。图3为用于说明通过将像素值转换为频率系数而确定重复周期的方法的流程图。
[0044]在步骤200中,单独计算输入图像的竖直方向和水平方向上的像素值的平均值,并且过程前进到步骤202。在输入图像被转化为灰度图像之后进行在竖直方向和水平方向上的像素值的平均值的计算。作为实例,图4示出了沿样本图像的竖直方向计算像素的像素值的平均值的结果。对竖直方向和水平方向中的每一个执行以下描述的步骤202至208。然而,以下的描述通过说明的方式仅对竖直方向的情况进行说明。
[0045]在步骤202中,使用傅立叶变换将平均像素值转化为频率系数。傅立叶变换是表示如何将时域函数转换为频域函数的表达式。例如,当给定特定时序数据{f(t):t=1,...,N}(在这种情况下是像素值)时,离散傅立叶变换公式如下。
[0046]
(表达式1)
τ ( ω ) = 1 N Σ t = 0 N - 1 f ( t ) * e i 2 πωt / N
= 1 N Σ t = 0 N - 1 f ( t ) * { cos ( 2 πωt / N ) + i sin ( 2 πωt / N ) }
= 1 N Σ t = 0 N - 1 f ( t ) * cos ( 2 πωt / N ) + i 1 N Σ t = 0 N - 1 f ( t ) * sin ( 2 πωt / N )
= Re ( ω ) + Im ( ω )
[0047]在所述表达式中,ω是角频率,t是时间(每个像素的指标),f(t)是t处的像素值,N是样本数(目标像素的数量),i是虚数单位。
[0048]例如,在样本图像用于获得图4所示的结果的情况下,ω=0,1,...,73,74,并且t=0,1,...,73,74(N(样本的数量)=75)。
[0049]功率谱被表示为
[0050]
(表达式2)
S(ω)=Re2(ω)+IM2(ω)
[0051]图5示出在样本图像用于获得图4所示的结果的情况中的功率谱。
[0052]然后,在步骤204中消减那些作用较小的频带,并且过程前进到步骤206。具体地,仅使用满足S(ω)>S(ω)的平均值的关系式的频带(ω)。为此,满足S(ω)<S(ω)的平均值的关系式的频带(ω)的S(ω)被设定为零。
[0053]在步骤206中,执行取得近似值的逆变换(时序变换)。具体地,首先,计算加权值以便相对于在步骤204中计算的功率谱的总和变为一。这样,能够确定组成频谱的频率的比例。图6表示确定在样本图像中满足S(ω)>S(ω)的平均值的关系式的功率谱峰值的加权值的结果。
[0054]利用傅立叶变换(频域)的实部由余弦函数表示这一事实,功率谱峰值的加权值被分配给频域函数的实部以执行逆变换。
[0055]当使用所述方法时,假定重复图案的重复次数为2×2或更多。此外,余弦函数的幅值取当时域中t=0时的最大值。因此,t=0和tmax之间的间隔被大约视为一个周期,tmax是0和N/2之间不包括端点值的时间t并且此处幅值变为最大。
[0056]通常,傅立叶逆变换(变换到时序)通过以下公式确定。
[0057]
(表达式3)
f ( t ) = &Sigma; &omega; = 0 N - 1 &tau; ( &omega; ) * e - i 2 &pi;&omega;t / N
= &Sigma; &omega; = 0 N - 1 &tau; ( &omega; ) * { cos ( 2 &pi;&omega;t / N ) - i sin ( 2 &pi;&omega;t / N ) }
[0058]图7示出了步骤206中的逆变换的结果(将样本图像的频域数据变换为时域数据的结果)。
[0059]随后,在步骤208中确定重复周期,并且过程前进到步骤210。具体地,基于使用上述逆变换获得的结果来确定重复周期。重复周期r由公式r=tmax-1(像素)表示。例如,在上述图7的情况下,重复周期r=17-1=16。
[0060]在步骤210中,使用这样在水平方向上获得的重复周期,以及按与在水平方向上的重复周期相似的方法获得的在竖直方向上的重复周期来提取重复图案。
[0061]通过将像素值转换为频率系数而确定重复周期,能够自动地提取重复图案。
[0062]接下来,将描述通过使用自相关系数的局部最大值进行划分来确定重复周期的方法。图8为说明通过使用自相关系数的局部最大值进行划分来确定重复周期的方法的流程图。
[0063]在步骤300中,构建图像金字塔。图像金字塔被构建为从高分辨率图像到低分辨率图像的具有不同分辨率的一组图像。如图9所示,为了构建图像金字塔,输入图像被划分为没有重叠的小区域,并且每个小区域由该小区域中的像素值的平均值代替。重复该过程以构建图像金字塔。具体地,如图10所示,当为9×9像素的图像构建图像金字塔时,在金字塔中低(深)一个级别的层由每一个均为NX×NY像素的像素值的平均值表示。例如,如图10所示,在金字塔中低一个级别的层中,A′1=(A1+B1+A2+B2)/(Nx×Ny),D′4=(G7+H7+G8+H8)/(Nx×Ny)。Nx是当生成金字塔中低一个级别的层时像素值被累加的在X方向上的像素的数量,Ny是当生成金字塔中低一个级别的层时像素值被累加的在Y方向上的像素的数量。在图10所示的情况下,Nx=Ny=2,因此不使用A9、B9、C9、D9、E9、F9、G9、H9和I1至I9的像素。
[0064]当从构成图像金字塔的图像中提取基于高阶局部自相关系数的特征时,这组特征包括从对象的特定信息到粗略信息的信息。对象变换的恒定性被特征继承。因此,这些特征在整体上被认为是良好的初始特征。
[0065]在步骤302中,计算高阶局部自相关特征。现在将描述高阶局部自相关特征的计算。已知的是自相关函数对于变换是恒定的。自相关函数扩展到高阶就是高阶自相关函数。
[0066]当图像中的对象由f(r)表示时,相对于位移(a1,a2,...,aN),N阶自相关函数被定义为
[0067]
(表达式4)
xN(a1,a2,...,aN)=∫f(r)f(r+a1)…f(r+aN)dr
[0068]因此,可以存在取决于所采用的阶数和位移的无限个高阶自相关函数。然而,为了满足关于屏幕的相加性的条件,位移需要限制在围绕基准点r的局部区域内。
[0069]为了简便,高阶自相关函数的阶数N被限制为最多是2。此外,位移被限制为围绕基准点r的局部的3×3像素区域内。在这种情况下,当排除掉变换之下的等同特征时,关于二进制图像的特征的总数为25。图11显示了高阶局部自相关特征的25个局部图案。
[0070]可以通过计算对应于每个局部区域内的局部图案的像素的像素值的乘积,并且对整个图像内的乘积求和来进行特征的计算。例如,通过计算在每个局部区域内的基准点的灰度值和该基准点的右侧相邻像素的灰度值的乘积,并且对整个图像内的乘积求和来计算对应于图11所示的2号局部图案的特征。这样计算的特征对于对象的变换明显是恒定的,并且满足与图像有关的相加性的条件。
[0071]因此,对于图像金字塔的最深层(最小)图像的每个像素计算高阶局部自相关特征值(以下被简称为“特征值”)。例如,如图12所示,关于基准点B2的高阶局部自相关函数为B2+B2*C2+C1*B2+B1*B2+A1*B2+...+B1*B2*C2+A1*C1*B2。
[0072]接下来,在步骤304中,计算出自相关系数。自相关系数的计算如下执行。
[0073]当给定符合概率分布的一系列样本{xi:i=1,...,N}时,样本均值被定义为
[0074]
(表达式5)
x &OverBar; = 1 N &Sigma; i = 1 N x i
[0075]样本方差被定义为
[0076]
(表达式6)
&sigma; 2 = 1 N &Sigma; i = 1 N ( x N - x &OverBar; ) 2
[0077]均值是表示随机变量的分布中心在何处的指标。方差是表示随机变量围绕均值分散的范围的指标。
[0078]这些是从一系列样本中计算出来的典型数据,并且同时,是用于图像处理领域中的多种应用中的基本数据。
[0079]样本的方差的平方根被如下定义。
[0080]
(表达式7)
&sigma; = &sigma; 2
[0081]这被称为标准差。
[0082]标准差是表示全部数据是围绕平均值集中还是广泛分散的指标。较小的标准差意味着数据更多地集中在平均值周围。另一方面,较大的标准差意味着数据更多地广泛地分散在平均值周围。
[0083]当给定两个系列的样本{xi:i=1,...,N},以及{yi:i=1,...,N}时,存在相关系数,相关系数是测量样本系列之间的相似度的统计数据,相关系数被定义如下。
[0084]
(表达式8)
&rho; = 1 N &Sigma; i = 1 N ( x i - x &OverBar; ) ( y i - y &OverBar; ) &sigma; x &sigma; y
[0085]应该注意的是σx和σy是两个样本系列的标准差,并且相关系数ρ的范围被表示为-1≤ρ≤1。ρ越接近-1,相似度越低。ρ越接近1,相似度越高。
[0086]更具体地,从在步骤302中计算出的特征值按以下方法计算相关系数。
[0087]如图13所示,首先,计算每一条水平线和竖直线的特征值的平均值、方差以及标准差。如图13所示,由于缺少像素因而不能够计算出相对于最上方的像素和最左侧的像素的特征值,因此,使用从最上方的线和最左侧的线移位的一条线(像素)计算出相对于最左上方像素的特征值。
[0088]然后,如图14A和14B所示,使用计算出的特征值表示竖直基准线和每条竖直线之间,以及水平基准线和每条水平线之间的相关系数。图14A表示相对于水平基准线的相关系数的计算的说明。图14B表示相对于竖直基准线的相关系数的计算的说明。
[0089]在如上所述计算出相关系数之后,在步骤306中提取图15A和15B所示的局部最大点,并且过程前进到步骤308。局部最大点是像素值(i)满足:像素值(i-1)<像素值(i)以及像素值(i+1)<像素值(i)的关系式之处的点,其中像素值(i)是基准线的特征值和第i条线的特征值之间的相关系数的值。图15A示出在水平方向上计算的相关系数的结果。图15B示出在竖直方向上计算的相关系数的结果。应注意的是,关于离基准线最近的线,与基准线的相关性自然高,因此在以下的过程中忽略了对应于这条线的相关系数的局部最大点。
[0090]在步骤308中,计算局部最大点的回归线,也就是局部最大值,并且确定对应于在图16A和16B中所示的回归线的上方有值的相关性的局部最大值。然后,过程前进到步骤310,并且对图像金字塔的较浅层重复所述查找。也就是说,在步骤310中,判断是否已进行相对于最浅层的局部最大值的计算。当判断是否定时,图像金字塔中的级别转换到比前一级别浅一个级别的级别,然后过程返回到步骤302以重复上述程序。当在步骤310中的判断是肯定时,过程前进到步骤302。
[0091]在步骤312中,如图16B所示,使用在图像金字塔的最浅层图像中具有最大值的自相关系数之处的线的位置来提取重复图案以确定重复周期。
[0092]因此,也能够通过使用自相关系数的局部最大值来进行划分而确定重复周期来自动地提取重复图案。
[0093]当使用将像素值转换为频率系数来确定重复周期的方法时,使用了傅立叶变换和傅立叶逆变换。如果重复图案的数目小,尝试使用傅立叶逆变换使余弦波与非周期性图像的像素值相关联,存在不能够确定重复周期的情况。然而,当重复图案的数目小时,利用通过使用自相关系数的局部最大值进行划分来确定重复周期的方法,能够精确地提取重复图案。
[0094]现在将描述使用将图像划分为图像块的过程来生成随机重复图案的上述方法。图17为用于说明通过使用将图像划分为图像块的过程来生成随机重复图案的方法的流程图。
[0095]在说明图17所示的流程图之前,将描述使用将图像划分为图像块的过程来生成随机重复图案的方法的概要。
[0096]在该实施例中,当在输入图像中不存在重复图案时,输入图像被划分为多个图像块,在多个图像块中随机地选中一个图像块作为将要放置的图像块,并且放置所选中的图像块。然后,在输入图像被划分成的多个图像块中查找具有与已放置的图像块的边缘部分相似的边缘部分的图像块,并且放置找到的图像块以与已放置的图像块以预定像素线重叠。相似地,接连地查找具有相似的边缘部分的图像块,并且放置该图像块以与已放置的图像块以预定像素线重叠,从而生成重复图案。例如,首先,随机选中的一个像素块被放置在图像的左上方。然后,从随机选中的多个图像块中查找其左边缘部分与放置在左上位置的图像块的右边缘部分相似的图像块,并且放置找到的图像块以与已放置的图像块重叠。这种查找是建立在相似度的基础上的,并且找到的图像块依次放置,从而布置一行图像块。当布置下一行图像块时,首先,从随机选中的多个图像块中查找其上边缘部分与已放置在最左侧的图像块的下边缘部分相似的图像块,并且放置找到的图像块以与已放置的图像块重叠。当查找下一个相邻图像块时,从随机选中的多个图像块中查找其上边缘部分和左边缘部分分别与已放置的图像块的下边缘部分和右边缘部分相似的图像块,并且放置找到的图像块以便依次与已放置的图像块重叠,从而生成重复图案。
[0097]具体地,首先,在步骤400中,输入图像处理***10的图像被划分为预定尺寸的图像块。为了将图像划分为图像块,在输入图像中扫描每个像素以找出基准像素,并且从基准像素扩展的其尺寸为(预定像素)×(预定像素)的区域被定义为图像块,并且输入图像被划分为多个图像块以便每对相邻的图像块彼此重叠。输入图像被划分以便通过将输入图像划分为图像块而制备的全部图像块具有相同的预定尺寸,并且图像块的尺寸在输入图像的边缘处不变化。此外,为了减少占用的内存,不是通过制备图像块本身来进行输入图像到图像块的划分,而是通过指定输入图像中的图像块的位置和尺寸而获得图像块。例如,图像处理***被设计为,通过指定图18所示的原始图像20中的图像块的位置以及竖直和水平尺寸来读取图像块22的数据。
[0098]接下来,在步骤402中,随机读取图像块,计算图像块的相似度,并且过程前进到步骤404。在步骤404中,判断非相似程度是否小于预定阈值。当判断为否定时,过程前进到步骤406,并且判断是否已对全部图像块进行了非相似程度的计算。当判断为否定时,过程返回到步骤402,随机读取图像块,并且计算该图像块的非相似程度。当找到非相似程度小于预定阈值的图像块,也就是具有特定相似度的图像块时,过程前进到步骤408。当每个图像块的非相似程度不小于预定阈值时,选中具有最小的非相似程度的图像块,过程前进到步骤408。
[0099]具体地,通过使用以下表达式计算平方误差来计算非相似程度。
[00100]
(表达式9)
( p Re peat - p patch ) R 2 + ( p Re peat - p patch ) G 2 + ( p Re peat - p patch ) B 2
[0101]pRepeat是已放置的图像块的像素的像素值,而ppatch是随机选中的图像块的像素的像素值。
[0102]在该实施例中,如图19A所示,当放置图像块22以与已放置的图像块(在下文中的一些情况中也被称为无缝图像24)的下边缘部分重叠时,计算对应于固定坐标x和各个坐标y的每个点处的像素值之间的平方误差,在随机选中的图像块22的上边缘部分与无缝图像24的下边缘部分重叠的区域中取全部坐标x的平方误差的最小值。图19A以实例的方式说明重叠区域由三行像素组成的情况。
[0103]如图19B所示,当放置图像块22以与无缝图像24的右边缘部分重叠时,计算对应于固定坐标y和各个坐标x的每个点处的像素值之间的平方误差,在随机选中的图像块22的左边缘部分与无缝图像24的右边缘部分重叠的区域中取全部坐标y的平方误差的最小值。
[0104]如图20A所示,当被随机选中并且随后将被放置的图像块22延伸超过通过放置图像块生成的重复图案的框架的下边缘26(无缝图像24的下边缘)时,与上述情况相似地计算重复图案的上边缘部分(无缝图像的上边缘部分)和随机选中的图像块22的下边缘部分之间的平方误差,并取最大值,在所述重复图案的上边缘部分中已放置了图像块。当图像块22延伸超过重复图案的框架的下边缘时,图20A中的重叠线的数目被典型地设定以便在下边缘侧的重叠线的数目等于在上边缘侧的重叠线的数目。
[0105]如图20B所示,当被随机选中并且随后将被放置的图像块22延伸超过通过放置图像块生成的重复图案的框架的右边缘26(无缝图像24的右边缘)时,与上述情况相似地计算重复图案的左边缘部分(无缝图像的左边缘部分)和随机选中的图像块22的右边缘部分之间的平方误差,并取最小值,在所述重复图案的左边缘部分中已放置了图像块。当图像块22延伸超过重复图案的框架的右边缘时,图20B中的重叠线的数目被典型地设定以便在右边缘侧的重叠线的数目等于在左边缘侧的重叠线的数目。
[0106]在该实施例中,所述计算出的平方误差的最小值的平均值被计算出来并被用作非相似程度。关于已放置的图像块和随机选中的图像块相重叠的区域,使用预定像素数目的上限计算每种情况中的平方误差的平均值。例如,当在已放置的图像块和随机选中的图像块重叠的区域中像素的行的数目的上限为三时,计算一至三行像素重叠的每种情况中的平方误差的平均值,并取最小平均值。
[0107]如图20C所示,关于在该实施例中当生成重复图案时布置图像块的方法,可从重复图案框架28的左上方按由箭头表示的顺序放置图像块而不保留输入图像。选择性地,如图20D所示,可以通过将原始图像20放置在重复图案框架28内来保留原始图像20,而图像块可从空白部分的左上方按由箭头表示的顺序放置。
[0108]这样,在根据该实施例的图像处理***10中,计算随机选中的图像块相对于已放置的图像块的非相似程度,并且放置非相似程度最小的图像块以与已放置的图像块重叠。
[0109]在步骤408中,通过基于非相似程度进行***来生成重复图案。在该实施例中,当通过如上所述放置图像块来生成重复图案时,制备具有较小的非相似程度的图像块作为将被组合的图像块30,并且放置该图像块以便如图21A所示与无缝图像24重叠以组合这些图像。
[0110]具体地,当放置将被组合的图像块30以使其上边缘部分与无缝图像24重叠时,在坐标轴的负方向上的像素的像素值被设定为相应的无缝图像24的像素的像素值,并且在坐标轴的正方向上的像素的像素值被设定为将被组合的图像块30的在重叠的上边缘部分中的图像块的相应的像素的像素值(图21B)。关于组合像素,使用以下表达式来计算像素值。
[0111]
(表达式10)
Figure A200780024675D00351
[0112]同样当放置将被组合的图像块30以便其左边缘部分与无缝图像24重叠(图21C)时,使用相似的过程。
[0113]关于如图22A所示的其中无缝图像24与将被组合的图像块30不重叠的区域,每个像素值被设定为将被组合的图像块30的相应的像素值。
[0114]因此,如图22B所示,通过依次使用起始点(xs,ys)作为基准点将被组合的图像块30和无缝图像24进行组合来生成重复图案。
[0115]如图23A所示当将被组合的图像块30延伸超过包括已放置的图像块的重复图案的框架26的右边缘时,突出部分与包括已放置的图像块的重复图案的左边缘部分组合。如图23B所示当将被组合的图像块30延伸超过包括已放置的图像块的重复图案的框架26的下边缘时,突出部分与包括已放置的图像块的重复图案的上边缘部分组合。
[0116]当完成上述组合过程时,在对应于最小竖直坐标的水平线处设定完成线,在完成线上已确定全部像素的像素值。这样,产生重复图案。因此,消除了竖直方向上的不均匀度,因而能够减小在组合图像过程中的异常处理。
[0117]接下来将描述根据本发明的实施例的图像处理***10的改进。在上述实施例中,操作者检查在监视器12上显示的输入图像,并且判断是否存在重复图案,以及重复图案的重复次数是否为2×2或更多。在该改进中,自动地作出这两个判断。图像处理***的硬件结构与上述实施例相同,因此将省略其详细说明。
[0118]图24A和24B为表示由改进的图像处理***执行的包括上述提取过程和生成过程的过程流程的实例的流程图。
[0119]在该改进中,在步骤500中,使用通过将像素值转换为频率系数来确定重复周期的上述方法来执行从输入图像中提取重复图案的过程。然后过程前进到步骤502。
[0120]如上所述,在通过将像素值转换为频率系数来确定重复周期的方法的情况下,在一些情况下当重复图案的重复次数的数目小时不能够确定重复周期,并且当不存在重复图案时不能够确定重复周期。为此,在步骤502中,判断在图像中是否存在重复图案。当判断为否定时,过程前进到步骤504。
[0121]在步骤504中,使用通过利用上述自相关系数的局部最大值进行划分而确定重复周期的方法来执行提取重复图案的过程。然后,过程前进到步骤506。
[0122]在步骤506中,判断在图像中是否存在重复图案。当判断为肯定时,过程前进到步骤508。当判断为否定时,过程前进到步骤510。
[0123]在步骤508中,输出使用通过利用上述自相关系数的局部最大值进行划分而确定重复周期的方法所提取的重复图案。
[0124]在步骤510中,通过执行上述将图像划分为图像块来生成随机重复图案,然后输出所述重复图案。
[0125]当在步骤502中的判断为肯定时,过程前进到步骤512,并且判断重复次数是否等于或大于2×2。当判断为否定时,过程前进到上述步骤504。当判断为肯定时,过程前进到步骤514。
[0126]在步骤514中,使用通过将像素值转换为频率系数来确定重复周期的上述方法来提取图案。
[0127]利用这种改进,通过执行上述程序,当输入图像中存在重复图案时,能够自动地从输入图像中提取重复图案,另一方面,当输入图像中不存在重复图案时,能够自动地生成重复图案,其中操作者不需要判断输入图像中是否存在重复图案,也不需要当存在重复图案时判断重复次数是否为2×2或更多。
[0128]尽管结合示例性实施例对本发明进行了描述,但是应该理解的是本发明不限于所描述的实施例或结构。相反,本发明旨在覆盖多种改进和等同配置。此外,尽管在多种组合和配置中示出了示例性实施例的多种元件,但是包括更多、更少或只包括单个元件的其它组合和配置也在本发明的精神和范围内。

Claims (10)

1、一种图像处理***,其特征在于包括:
多个用于提取包含在图像中的重复图案的器件,所述多个重复图案提取器件使用相互不同的确定重复周期的方法;以及
根据包含在所述图像中的所述重复图案的重复次数而在所述多个重复图案提取器件之间执行切换的器件。
2、根据权利要求1所述的图像处理***,其特征在于进一步包括:
用于生成随机重复图案的器件,其中,
当所述图像中没有包含重复图案时,所述生成器件生成所述随机重复图案。
3、根据权利要求1或2所述的图像处理***,其中
所述多个重复图案提取器件包括:
第一提取器件,用于通过将图像中的像素值转换为频率系数而确定所述图像中的所述重复图案的重复周期来提取所述重复图案;
第二提取器件,用于通过以下步骤来提取所述重复图案:构建图像金字塔,所述图像金字塔被构建为从高分辨率图像到低分辨率图像的具有不同分辨率的一组图像;计算所述图像金字塔的最深层图像的每个像素的高阶局部自相关特征值,以基于所述计算出的高阶局部自相关特征值来计算基准像素区域和每个对象像素区域之间的自相关系数;对于比前次计算的层浅一个级别的层的图像执行这种高阶局部自相关特征值和自相关系数的计算,其中,在每次重复中,对于当前层的与自相关系数是比所述当前层的层深一个级别的层的图像中的局部最大值的对象像素区域相对应的每个对象像素区域执行所述计算;将所述前次计算步骤重复预定的次数;以及使用最浅层的自相关系数的局部最大值来确定所述图像中的所述重复图案的所述重复周期。
4、一种图像处理***,其特征在于包括:
第一提取器件,用于通过将图像中的像素值转换为频率系数而确定所述图像中的重复图案的重复周期来从所述图像中提取所述重复图案;
第二提取器件,用于通过以下步骤来提取所述重复图案:构建图像金字塔,所述图像金字塔被构建为从高分辨率图像到低分辨率图像的具有不同分辨率的一组图像;计算所述图像金字塔的最深层图像的每个像素的高阶局部自相关特征值,以基于所述计算出的高阶局部自相关特征值来计算基准像素区域和每个对象像素区域之间的自相关系数;对于比前次计算的层浅一个级别的层的图像执行这种高阶局部自相关特征值和自相关系数的计算,其中,在每次重复中,对于当前层的与自相关系数是比所述当前层的层深一个级别的层的图像中的局部最大值的对象像素区域相对应的每个对象像素区域执行所述计算;将所述前次计算步骤重复预定的次数;以及使用最浅层的自相关系数的局部最大值来确定所述图像中的所述重复图案的所述重复周期;以及
用于生成随机重复图案的器件,
其中:当所述第一提取器件对重复图案的提取结果是提取了重复次数等于或大于预定次数的重复图案时,输出由所述第一提取器件提取的所述重复图案;以及
当没有重复图案被所述第一提取器件提取时,或当没有重复次数等于或大于所述预定次数的重复图案被所述第一提取器件提取时,重复图案的提取由所述第二提取器件执行,并且,如果重复图案被所述第二提取器件提取,则输出所述重复图案,并且如果没有重复图案被所述第二提取器件提取,则所述随机重复图案被所述生成器件生成并输出。
5、一种使计算机执行图像处理过程的图像处理程序,其特征在于
所述图像处理过程包括:
多个提取包含在图像中的重复图案的步骤,所述多个重复图案提取步骤使用相互不同的确定重复周期的方法;以及
根据包含在所述图像中的所述重复图案的重复次数而在所述多个重复图案提取步骤之间执行切换的切换步骤。
6、根据权利要求5所述的图像处理程序,其中
所述图像处理过程进一步包括:
生成随机重复图案的生成步骤,其中,
当所述图像中没有包含重复图案时,所述生成步骤生成所述随机重复图案。
7、根据权利要求5或6所述的图像处理程序,其中
所述多个重复图案提取步骤包括:
第一提取步骤,通过将所述图像中的像素值转换为频率系数而确定所述图像中的所述重复图案的重复周期来提取所述重复图案;以及
第二提取步骤,通过以下步骤来提取所述重复图案:构建图像金字塔,所述图像金字塔被构建为从高分辨率图像到低分辨率图像的具有不同分辨率的一组图像;计算所述图像金字塔的最深层图像的每个像素的高阶局部自相关特征值,以基于所述计算出的高阶局部自相关特征值来计算基准像素区域和每个对象像素区域之间的自相关系数;对于比前次计算的层浅一个级别的层的图像执行这种高阶局部自相关特征值和自相关系数的计算,其中,在每次重复中,对于当前层的与自相关系数是比所述当前层的层深一个级别的层的图像中的局部最大值的对象像素区域相对应的每个对象像素区域执行所述计算;将所述前次计算步骤重复预定的次数;以及使用最浅层的自相关系数的局部最大值来确定所述图像中的所述重复图案的所述重复周期。
8、一种使计算机执行图像处理过程的图像处理程序,其特征在于
所述图像处理过程包括:
第一提取步骤,通过将图像中的像素值转换为频率系数而确定所述图像中的所述重复图案的重复周期来从所述图像中提取重复图案;
第二提取步骤,通过以下步骤来提取所述重复图案:构建图像金字塔,所述图像金字塔被构建为从高分辨率图像到低分辨率图像的具有不同分辨率的一组图像;计算所述图像金字塔的最深层图像的每个像素的高阶局部自相关特征值,以基于所述计算出的高阶局部自相关特征值来计算基准像素区域和每个对象像素区域之间的自相关系数;对于比前次计算的层浅一个级别的层的图像执行这种高阶局部自相关特征值和自相关系数的计算,其中,在每次重复中,对于当前层的与自相关系数是比所述当前层的层深一个级别的层的图像中的局部最大值的对象像素区域相对应的每个对象像素区域执行所述计算;将所述前次计算步骤重复预定的次数;以及使用最浅层的自相关系数的局部最大值来确定所述图像中的所述重复图案的所述重复周期;以及
生成随机重复图案的生成步骤,
其中:当所述第一提取步骤中对重复图案的提取结果是提取了重复次数等于或大于预定次数的重复图案时,输出提取的所述重复图案;以及
当没有重复图案在所述第一提取步骤中被提取时,或当没有重复次数等于或大于所述预定次数的重复图案在所述第一提取步骤中被提取时,重复图案的提取在所述第二提取步骤中执行,并且,如果重复图案在所述第二提取步骤中被提取,则输出所述重复图案,而如果没有重复图案在所述第二提取步骤中被提取,则所述随机重复图案在所述生成步骤中被生成并输出。
9、一种图像处理方法,其特征在于包括:
执行第一次提取,其中通过将图像中的像素值转换为频率系数而确定所述图像中的重复图案的重复周期来从所述图像中提取所述重复图案;
当重复次数等于或大于预定次数的重复图案在所述第一次提取中被提取时,输出在所述第一次提取中被提取的所述重复图案;
当没有重复图案在所述第一次提取中被提取时,或当没有重复次数等于或大于所述预定次数的重复图案在所述第一次提取中被提取时,执行第二次提取,在所述第二次提取中重复图案通过以下步骤被提取:构建图像金字塔,所述图像金字塔被构建为从高分辨率图像到低分辨率图像的具有不同分辨率的一组图像;计算所述图像金字塔的最深层图像的每个像素的高阶局部自相关特征值,以基于所述计算出的高阶局部自相关特征值来计算基准像素区域和每个对象像素区域之间的自相关系数;对于比前次计算的层浅一个级别的层的图像执行这种高阶局部自相关特征值和自相关系数的计算,其中,在每次重复中,对于当前层的与自相关系数是比所述当前层的层深一个级别的层的图像中的局部最大值的对象像素区域相对应的每个对象像素区域执行所述计算;将所述前次计算步骤重复预定的次数;以及使用最浅层的自相关系数的局部最大值来确定所述图像中的所述重复图案的所述重复周期;
如果重复图案在所述第二次提取中被提取,则输出在所述第二次提取中被提取的所述重复图案;以及
如果在所述第一次提取和所述第二次提取中都没有重复图案被提取,则生成随机重复图案。
10、一种图像处理***,包括:
多个用于提取包含在图像中的重复图案的部件,所述多个重复图案提取部件使用相互不同的确定重复周期的方法;以及
根据包含在所述图像中的所述重复图案的重复次数而在所述多个重复图案提取部件之间执行切换的部件。
CN2007800246758A 2006-06-29 2007-06-28 图像处理***和图像处理方法 Expired - Fee Related CN101479768B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006180465A JP4165580B2 (ja) 2006-06-29 2006-06-29 画像処理装置及び画像処理プログラム
JP180465/2006 2006-06-29
PCT/IB2007/001769 WO2008001207A2 (en) 2006-06-29 2007-06-28 Image processing system, image processing program, and image processing method

Publications (2)

Publication Number Publication Date
CN101479768A true CN101479768A (zh) 2009-07-08
CN101479768B CN101479768B (zh) 2012-03-21

Family

ID=38695547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800246758A Expired - Fee Related CN101479768B (zh) 2006-06-29 2007-06-28 图像处理***和图像处理方法

Country Status (5)

Country Link
US (1) US8411954B2 (zh)
EP (1) EP2038845A2 (zh)
JP (1) JP4165580B2 (zh)
CN (1) CN101479768B (zh)
WO (1) WO2008001207A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493293A (zh) * 2018-10-30 2019-03-19 京东方科技集团股份有限公司 一种图像处理方法及装置、显示设备

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7570796B2 (en) 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US20090097546A1 (en) * 2007-10-10 2009-04-16 Chang-Hyun Lee System and method for enhanced video communication using real-time scene-change detection for control of moving-picture encoding data rate
US8493391B2 (en) * 2008-07-25 2013-07-23 Image Terrain, Inc. Generating designs for product adornment
KR101623747B1 (ko) 2008-07-28 2016-05-26 케이엘에이-텐코어 코오포레이션 웨이퍼 상의 메모리 디바이스 영역에서 검출된 결함들을 분류하기 위한 컴퓨터-구현 방법들, 컴퓨터-판독 가능 매체, 및 시스템들
US20110075935A1 (en) * 2009-09-25 2011-03-31 Sony Corporation Method to measure local image similarity based on the l1 distance measure
JP5448798B2 (ja) * 2009-12-25 2014-03-19 シャープ株式会社 画像処理方法、画像処理装置、プログラムおよび記録媒体
JP5373592B2 (ja) * 2009-12-25 2013-12-18 シャープ株式会社 画像処理方法、画像処理装置、プログラムおよび記録媒体
JP2011243148A (ja) * 2010-05-21 2011-12-01 Sony Corp 情報処理装置、情報処理方法及びプログラム
US8638475B2 (en) * 2010-11-17 2014-01-28 Eastman Kodak Company Recreating step and repeat geometrical data
US9170211B2 (en) * 2011-03-25 2015-10-27 Kla-Tencor Corp. Design-based inspection using repeating structures
US9189844B2 (en) 2012-10-15 2015-11-17 Kla-Tencor Corp. Detecting defects on a wafer using defect-specific information
SG11201408003UA (en) 2012-12-06 2015-01-29 Fuji Electric Co Ltd Perpendicular magnetic recording medium
US9865512B2 (en) 2013-04-08 2018-01-09 Kla-Tencor Corp. Dynamic design attributes for wafer inspection
US9310320B2 (en) 2013-04-15 2016-04-12 Kla-Tencor Corp. Based sampling and binning for yield critical defects
CN105683704B (zh) 2013-10-31 2019-03-01 3M创新有限公司 材料的多尺度均匀度分析
EP3066834A1 (en) * 2013-11-08 2016-09-14 Thomson Licensing Method and apparatus for building an estimate of an original image from a low-quality version of the original image and an epitome
WO2016143106A1 (ja) * 2015-03-11 2016-09-15 富士機械製造株式会社 部品種類自動判別方法及び部品種類自動判別システム並びに画像処理用部品データ作成方法及び画像処理用部品データ作成システム
JP7446756B2 (ja) * 2019-10-02 2024-03-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US11676009B2 (en) * 2019-10-04 2023-06-13 Raytheon Technologies Corporation Machine learning based rotor alloy design system

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5513275A (en) * 1993-01-12 1996-04-30 Board Of Trustees Of The Leland Stanford Junior University Automated direct patterned wafer inspection
JPH07168551A (ja) 1993-12-16 1995-07-04 Matsushita Electric Ind Co Ltd 画像表示装置および画像表示方法
US6181816B1 (en) * 1997-12-29 2001-01-30 Milliken & Company Processing of pixel-based images for use in patterned substrates
US6424741B1 (en) * 1999-03-19 2002-07-23 Samsung Electronics Co., Ltd. Apparatus for analyzing image texture and method therefor
US6678404B1 (en) * 2000-10-31 2004-01-13 Shih-Jong J. Lee Automatic referencing for computer vision applications
JP2002198406A (ja) * 2001-10-16 2002-07-12 Hitachi Ltd 外観検査方法
JP4275345B2 (ja) * 2002-01-30 2009-06-10 株式会社日立製作所 パターン検査方法及びパターン検査装置
JP2003233818A (ja) * 2002-02-06 2003-08-22 Fuji Photo Film Co Ltd 周期的パターン判定方法および装置並びにプログラム
JP3668215B2 (ja) * 2002-08-21 2005-07-06 株式会社東芝 パターン検査装置
KR100462629B1 (ko) * 2002-12-13 2004-12-23 삼성전자주식회사 반복 패턴 판단 방법 및 이를 이용한 프레임 보간 방법 및이에적합한 장치
JP3645547B2 (ja) * 2002-12-27 2005-05-11 株式会社東芝 試料検査装置
JPWO2005001456A1 (ja) * 2003-06-30 2006-08-10 株式会社東京精密 パターン比較検査方法およびパターン比較検査装置
JP4351522B2 (ja) * 2003-11-28 2009-10-28 株式会社日立ハイテクノロジーズ パターン欠陥検査装置およびパターン欠陥検査方法
JP4357355B2 (ja) * 2004-05-07 2009-11-04 株式会社日立ハイテクノロジーズ パターン検査方法及びその装置
JP4617726B2 (ja) * 2004-06-07 2011-01-26 ソニー株式会社 画像処理システム、画像処理装置および画像処理方法、並びにプログラム
EP1643258B1 (en) * 2004-09-24 2009-12-16 Tektronic, Inc. Pattern identification and bit level measurements on repetitive patterns
US20060171593A1 (en) * 2005-02-01 2006-08-03 Hitachi High-Technologies Corporation Inspection apparatus for inspecting patterns of a substrate
JP4450776B2 (ja) * 2005-07-22 2010-04-14 株式会社日立ハイテクノロジーズ 欠陥検査方法及び外観検査装置
US7570800B2 (en) * 2005-12-14 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for binning defects detected on a specimen

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493293A (zh) * 2018-10-30 2019-03-19 京东方科技集团股份有限公司 一种图像处理方法及装置、显示设备

Also Published As

Publication number Publication date
US20090310864A1 (en) 2009-12-17
JP2008009782A (ja) 2008-01-17
CN101479768B (zh) 2012-03-21
JP4165580B2 (ja) 2008-10-15
US8411954B2 (en) 2013-04-02
EP2038845A2 (en) 2009-03-25
WO2008001207A3 (en) 2008-09-04
WO2008001207A2 (en) 2008-01-03

Similar Documents

Publication Publication Date Title
CN101479768B (zh) 图像处理***和图像处理方法
Efrat et al. Geometric algorithms for the analysis of 2D-electrophoresis gels
CN110211045A (zh) 基于srgan网络的超分辨率人脸图像重建方法
CN110070487B (zh) 基于深度强化学习的语义重构人脸超分方法及装置
CN103903275B (zh) 利用小波融合算法改进图像分割效果的方法
KR102488516B1 (ko) 피검물의 확장 인증 방법
Brosz et al. Terrain synthesis by-example
CN104036498B (zh) 一种基于逐层分级的oct图像质量快速评价方法
CN105513014A (zh) 一种多帧图像超分辨率重建方法及其重建***
Valveny et al. Report on the symbol recognition and spotting contest
CN103810729A (zh) 一种基于等高线的光栅图像矢量化方法
Rajasekaran et al. PTRM: Perceived terrain realism metric
Xu et al. Generative image completion with image-to-image translation
CN112017263A (zh) 基于深度学习的试卷智能生成方法和***
CN101661605B (zh) 一种数字水印的嵌入、定位篡改方法及装置
Han et al. Data augmentation in material images using the improved HP-VAE-GAN
Liu et al. Fine-grained image inpainting with scale-enhanced generative adversarial network
CN111583412B (zh) 构建书法浮雕深度学习网络的方法及构建书法浮雕的方法
CN102945550A (zh) 一种基于高斯尺度空间构建遥感影像语义的方法
CN116597317A (zh) 遥感图像变化检测数据生成方法、装置、设备及介质
CN113496225B (zh) 图像处理方法、装置、计算机设备及存储介质
Zhang et al. Base-detail image inpainting.
CN105976304A (zh) 一种图像水印嵌入、检测方法及装置
CN101727578A (zh) 基于过滤器的连续型信息预测方法
van Tonder et al. Flexible computation of shape symmetries within the maximal disk paradigm

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120321

Termination date: 20160628

CF01 Termination of patent right due to non-payment of annual fee