CN107886476B - 纹理合成的方法以及使用该方法的图像处理设备 - Google Patents
纹理合成的方法以及使用该方法的图像处理设备 Download PDFInfo
- Publication number
- CN107886476B CN107886476B CN201610870931.6A CN201610870931A CN107886476B CN 107886476 B CN107886476 B CN 107886476B CN 201610870931 A CN201610870931 A CN 201610870931A CN 107886476 B CN107886476 B CN 107886476B
- Authority
- CN
- China
- Prior art keywords
- result
- negative
- positive
- derive
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000003786 synthesis reaction Methods 0.000 title claims description 30
- 230000015572 biosynthetic process Effects 0.000 title claims description 29
- 238000013507 mapping Methods 0.000 claims abstract description 84
- 238000000605 extraction Methods 0.000 claims abstract description 26
- 238000002156 mixing Methods 0.000 claims abstract description 25
- 238000001308 synthesis method Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/36—Level of detail
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
本发明提出一种纹理合成的方法以及使用该方法的图像处理设备。所述方法包括：产生多个单尺度细节图像中的第一单尺度细节图像，产生第一单尺度细节图像的步骤将包含但不限于：执行图像帧的第一像素块的特征提取以导出第一像素特征；将第一标准应用到第一像素特征以导出正结果；执行正结果的第一细节对齐和最大值扩展以导出调整后的正映射结果；将与第一标准相反的第二标准应用到第一像素特征以导出负结果；执行负结果的第二细节对齐和最小值扩展以导出调整后的负映射结果，以及混合调整后的正映射结果和调整后的负映射结果以产生第一单尺度细节图像。本技术方案在按比例扩大图像之后，可以图像的提高的细节级别显示图像。
Description
技术领域
本发明涉及一种纹理合成的方法以及使用该方法的图像处理设备。
背景技术
纹理合成，又称为细节合成，是图像或视频处理领域中的重要问题，因为其近年来已经获得很多关注。纹理合成通常可以出现在图像处理领域，例如图像修复(Imageinpainting)、3D渲染(3D rendering)等等。对于视频处理，挑战之一是在图像已经过按比例放大、压缩或其它操作之后图像保持足够的细节。通常，在图像已经被放大或压缩之后，所述图像将遭受细节损失和频率下降。因此，已经努力通过例如纹理合成的技术来改善图像中的细节损失。
然而，这样的努力并非没有艰巨挑战。例如，用来增加图像的细节的任何方法不应被应用于图像的平坦区域，其中所述素色部位是指在所述部位中并没有大量细节存在于原始图像中。因此，挑战之一是提供用于单个帧的适当纹理合成。
此外，视频包含多个图像帧，并且图像通常不是固定的而是存在移动。目前，关于为不是静态而是主要动态的图像提供视频纹理合成的技术几乎不是成熟的，因为在此图像处理的领域中实际上并没有大量解决方案。帧与帧之间细节与总体和局部移动的对齐是另一个挑战，而不论图像是静态还是动态的。特别是对于动态的图像，在不应用适当的测量以对齐合成细节的情况下，图像可能产生闪烁，这会使得视频难以观看。
发明内容
因此，本发明涉及一种纹理合成的方法以及一种使用所述方法的图像处理设备。
在示例性实施例之一中，本发明提出一种适用于图像处理设备的纹理合成的方法。所述提出的方法包含但不限于产生多个单尺度细节图像中的第一单尺度细节图像，以及通过混合所述多个单尺度细节图像产生多尺度细节图像。产生第一单尺度细节图像的步骤将包含但不限于以下这些步骤：执行图像帧的第一像素块的特征提取以导出第一像素特征；将第一标准应用到第一像素特征以导出正结果；执行正结果的第一细节对齐和最大值扩展以导出调整后的正映射结果；将与第一标准相反的第二标准应用到第一像素特征以导出负结果；执行负结果的第二细节对齐和最小值扩展以导出调整后的负映射结果，以及混合调整后的正映射结果和调整后的负映射结果以产生第一单尺度细节图像。
在示例性实施例之一中，本发明涉及一种图像处理设备，其包含但不限于存储介质和耦合到所述存储介质的处理器。处理器经配置至少用于包含以下的步骤：产生多个单尺度细节图像中的第一单尺度细节图像，以及通过混合所述多个单尺度细节图像产生多尺度细节图像。如由处理器配置的产生第一单尺度细节图像的步骤将包含但不限于：执行图像帧的第一像素块的特征提取以导出第一像素特征；将第一标准应用到第一像素特征以导出正结果；执行正结果的第一细节对齐和最大值扩展以导出调整后的正映射结果；将与第一标准相反的第二标准应用到第一像素特征以导出负结果；执行负结果的第二细节对齐和最小值扩展以导出调整后的负映射结果，以及混合调整后的正映射结果和调整后的负映射结果以产生第一单尺度细节图像。
为了使得本发明的前述特征和优点便于理解，下文详细描述带有附图的示例性实施例。应理解，前文总体描述和以下详细描述都是示例性的，并且是希望提供对所主张的本发明的进一步解释。
但是，应理解，此概述可以不含有本发明的所有方面和实施例，且因此不希望以任何方式为限制性的或约束性的。而且，本发明将包含对于所属领域的技术人员来说显而易见的改进以及修改。
附图说明
包含附图是为了更深入理解本发明，附图结合在本说明书中并且构成本说明书的一部分。附图说明本发明的实施例，并且连同所述描述一起用来解释本发明的原理。
图1A和图1B示出了两个不同静态图像的细节的退化。
图2A示出了根据本发明的示例性实施例之一的所提出的纹理合成方法。
图2B更详细地示出了根据本发明的示例性实施例之一的所提出的纹理合成方法。
图3A就功能框图示出了根据本发明的示例性实施例之一的图像处理设备的硬件。
图3B更详细地示出了根据本发明的示例性实施例之一的图像处理设备的处理单元。
图4示出了根据本发明的示例性实施例之一的单尺度细节合成。
图5示出了根据本发明的示例性实施例之一的纹理特征提取的实例。
图6示出了导出的正结果和负结果的实例。
图7示出了通过应用映射和局部最大/最小值扩展导出的结果的实例。
图8示出了根据本发明的示例性实施例之一的多尺度细节合成。
图9示出了通过增加块半径应用多个单尺度细节合成。
图10示出了通过增加块半径应用多个单尺度细节合成的实例。
图11示出了通过使用成像处理设备应用所提出的纹理合成方法的实例。
附图标号说明：
101、103：第一图像；
102、104：第二图像；
S201、S202、S211、S212、S213、S214、S215、S216、S401、S402、S403a、S403b、S404a、S404b、S405、S406、S801、S802、S803：步骤；
301：处理单元；
302：存储介质；
303：图像捕捉装置；
304：接口；
305：图像显示装置；
310：单尺度细节合成；
320：多尺度细节合成；
311：纹理特征提取模块；
312：映射；
313：混合；
501：像素块；
502：中心像素图；
503：权值表；
601、602、603、604：图像；
1101：第一图像；
1102：第二图像；
1103：第三图像。
具体实施方式
现将详细参考本发明的示例性实施例，其实例在附图中得以说明。只要可能，相同附图标号在附图和描述中用以指代相同或相似部分。
本发明提出一种纹理合成的方法以便在已经按比例扩大图像之后以图像的提高的细节级别显示图像。对于其中图像是动态而不是静态的视频，对应于帧的合成细节与总体和局部移动的对齐将最小化或消除图像的闪烁。例如，图1A的第一图像101是包含房屋和草坪的原始图像，而第二图像102是第一图像101的放大型式。对于第二图像102，房屋和草坪因缺少细节而看起来模糊。例如，图1B的第一图像103是包含一棵树的原始图像，而第二图像104是第一图像103的放大型式。对于第二图像104，树因缺少细节而看起来模糊。因此，所提出的方法旨在通过合成第二图像102和104的额外细节以增强的细节级别显示放大的图像。另外，适当地对齐细节以便最小化或消除图像的帧之间的可见闪烁。
图2A和图2B是示出了根据本发明的示例性实施例之一的所提出的纹理合成方法的流程图。图2A示出了包含具有不同尺度的多个单尺度图像的多尺度图像的合成。图2B示出了单尺度图像的合成。参考图2A，在步骤S201中，从多个单尺度细节图像中产生第一单尺度细节图像。在步骤S202中，通过将具有不同尺度的所述多个单尺度细节图像混合在一起来产生多尺度细节图像。
参考图2B，在步骤S211中，执行图像帧的第一像素块的特征提取以导出第一像素特征。在步骤S212中，将第一标准应用到第一像素特征以导出正结果。在步骤S213中，执行正结果的第一细节对齐和最大值扩展以导出调整后的正映射结果。在步骤S214中，将与第一标准相反的第二标准应用到第一像素特征以导出负结果。在步骤S215中，执行负结果的第二细节对齐和最小值扩展以导出调整后的负映射结果。在步骤S216中，将调整后的正映射结果和调整后的负映射结果混合在一起以产生单尺度细节图像。
根据示例性实施例之一，第一标准可以包含将阈值应用到第一像素特征的像素。如果所述像素的值符合阈值，那么所述像素是正结果的一部分。例如，正结果可以包含根据预定权重值符合阈值的综合像素。
根据示例性实施例之一，第二标准可以与第一标准相反。例如，通过将阈值应用到第一像素特征的像素，如果所述像素的值不符合阈值，那么所述像素是负结果的一部分。负结果可接着包含根据预定权重值不符合阈值的综合像素。
根据示例性实施例之一，第一细节对齐可以包含应用查找表以将正结果转换成正映射结果。(局部)最大值扩展可以包含将正映射的最大数增大至更大数的结果。第二细节对齐可以包含应用同一查找表以将负结果转换成负映射结果。(局部)最小值扩展可以包含将正映射的最大数减小至更小数的结果。例如，正映射结果的最大数可以乘以(1+增益1)，其中增益1是在0与1之间选择的数。负映射的负数可以乘以(1-增益2)，其中增益2是在0与1之间选择的数。
根据示例性实施例之一，可以通过执行第一图像帧的第二像素块的第二单尺度纹理合成来产生多个单尺度图像中的第二单尺度细节图像，从而产生多尺度细节图像。第二像素块可以大于第一像素块。可以通过混合至少但不限于第一单尺度细节图像和第二单尺度细节图像来产生多尺度细节图像。第一单尺度细节图像可以包含具有特定长度的块半径和特定数量的***像素的像素块群组，并且所述长度和数量不同于第二单尺度细节图像。
图3A就功能框图示出了根据本发明的示例性实施例之一的图像处理设备的硬件。示例性成像处理设备将包含但不限于处理单元301和存储介质302。处理单元301将经配置以实施所提出的纹理合成方法的功能要素，例如图2A、图2B以及后续公开内容中的示例性实施例的方法步骤。处理单元301的功能可以通过使用一个或多个可编程单元来实施，例如微处理器、微控制器、DSP芯片、FPGA等。处理单元301的功能还可以独立的电子装置或IC来实施，并且处理单元301的功能还可以硬件或软件或两者的组合来实施。
处理电路将电耦合到存储介质302以存储编程代码、装置配置、查找表、缓冲或永久数据等。存储介质302可以是易失性或永久性存储器，其将存储缓冲或永久数据，例如用于执行示例性图像处理设备的功能的汇编编程代码。图3A的图像处理设备可以任选地包含图像捕捉装置303、接口304、图像显示装置305以及通信单元(未示出)。图像捕捉装置303可以是捕捉静止或移动图像的相机或便携式摄像机。接口304可以是输入/输出接口，其允许操作员与图像处理设备互动并且允许设备输出数据。图像显示装置305可以是用于显示转换的图像任何显示器。通信单元可以是调制解调器或用于从外部源获得图像的无线收发器。
图3B更详细地示出了根据本发明的示例性实施例之一的图像处理设备的处理单元301。处理单元301可以包含但不限于耦合到多尺度细节合成模块320的单尺度细节合成模块310。单尺度细节合成模块310可以包含但不限于纹理特征提取模块311、映射模块312和混合模块313。这些模块310、311、312、313、320可以实施为独立的硬件IC等硬件模块、软件模块或硬件和软件模块两者的组合。纹理特征提取模块311经配置用于执行局部纹理特征提取。映射模块312将接收纹理特征提取模块311的输出以便将局部纹理特征提取模块311的输出调整为适用于合成纹理。映射模块312的输出通过混合模块313接收。混合模块将混合调整后的正映射结果和调整后的负映射结果以便合成具体尺度的纹理。图3B的细节在图4和后续公开内容中进一步阐明。
图4示出了根据本发明的示例性实施例之一的单尺度细节合成的过程。在步骤S401中，图像处理设备的处理单元(例如，301)可以接收根据YUV颜色空间表示的图像，并且提取所述图像的亮度数据(Y分量)作为用于纹理特征提取的输入。在步骤S402中，通过纹理特征提取模块(例如，311)执行针对输入亮度数据的纹理特征提取。可以通过各种不同技术来执行纹理特征提取，因为所有技术的最终目标相同或类似。本发明提供使用局部二值模式(local binary pattern，LBP)作为一实例；然而，应注意，本发明不将纹理特征提取限制为任何具体技术。
图5示出了根据本发明的示例性实施例之一的纹理特征提取的实例。假设图像帧已经被分成单元并且每个单元含有多个像素。对于单元中的每个像素，所述像素将比较其亮度值(Y)与其八个相邻像素的亮度值。中心像素和相邻像素在图5中示出为像素块501。在图5的实例中，具有亮度值6的像素将分别比较其亮度值与具有亮度值6、5、2、1、7、8、9和7(如以顺时针方向所描述)的相邻像素单元。随后，基于比较的结果执行阈值化的过程。如果相邻像素的亮度值小于具有亮度值6的中心像素，那么记录“0”；否则的话，如果相邻像素的亮度值大于具有亮度值6的中心像素或与其相同，那么记录“1”。
例如，由于左上角的像素具有亮度值6，其与中心像素的亮度值相同，因此在图5的中心像素图502的左上角记录“1”。类似地，由于中心像素的中上方向中的像素具有亮度值5，其小于亮度值6，因此在图5的中心像素图502中记录“0”。在提供的此实例中，如以顺时针方向所描述的，阈值化值分别为1、0、0、0、1、1、1、1和1。接着将中心像素图502中的阈值化值中的每一个乘以根据权值表503分配的权值。权值分别是1、2、4、8、16、32、64和128。在阈值化值中的每一个乘以其相应的权值之后，LBP值为1+16+32+64+128＝241。单元中的每个像素可以含有LBP值，并且所述LBP值整体地可以形成待归一化的LBP矢量。LBP矢量可以根据以下公式计算：
返回参考图4，在执行纹理特征提取之后，将执行步骤S403a以导出正局部纹理结果，并且将执行步骤S403b以导出负局部纹理结果。可以通过应用阈值获得正结果和负结果，以图5作为一实例，可以根据以下公式表征负结果：
在此实例中，负结果是阈值化像素乘以如先前计算的为241的权值的总数。应注意，在此实例中的阈值为零。然而，可以根据各种设计考虑调整所述阈值。
为了导出正结果，将使用与负结果相反的标准或与负结果相反的阈值。作为一实例，可以根据以下公式导出正结果：
正结果的阈值化值将与负结果相反，并且如以顺时针方向所描述的将为1、1、1、0、0、0、0、0。将所述阈值化值乘以权值表503，负结果将为1+2+4+8＝15。
根据另一示例性实施例，可以根据以下公式导出正结果：
可以根据与正结果相反的标准或与用于导出正结果的阈值相反的阈值导出负结果。对于此实例，可以根据以下公式导出负结果：
在步骤S404a中，将映射和局部最大值扩展应用于正结果以便将纹理特征提取的结果调整为适用于单尺度细节的构造。类似地，在步骤S404b中，将映射和局部最小值扩展应用于负结果以便将纹理特征提取的结果调整为适用于单尺度细节的构造。针对正结果执行映射操作使得所述结果是旋转不变且光照不变的。旋转不变意指在对纹理应用旋转之后纹理的类似结构将具有相同的计算结果。光照不变意指计算之后的纹理的类似结构将与图像的对比度无关。映射的结果将确保合成细节正确对齐。此外，在执行纹理特征提取步骤S402之后，类似值将意指纹理结构类似。因此，在执行映射之后，类似纹理结构将对应于相同细节值。对于映射的处理，将使用存储介质(例如，302)中存储的查询表以使计算的量减到最少。
对于局部最大值扩展的处理，作为正映射结果的结果的最大值将经历正延伸。对于局部最小值扩展的处理，作为负映射结果的结果的最小值将经历负延伸。这意味着在映射的处理之后，最大值将变得更大，且最小值将变得更小。具体来说，处理单元(例如，301)可以首先确定像素的正映射结果是否是最大值。如果像素的正映射结果是最大值，那么应用以下公式：
Pval 2＝Pval 1×(1+增益1)，其中增益1是0与1之间的数，Pval_1是具有最大值的像素的正映射结果，并且Pval_2是局部最大值扩展之后的调整后的值(即调整后的正映射结果)。
类似地，处理单元(例如，301)还可以确定像素的负映射结果是否是最小值。如果像素的负映射结果是最小值，那么应用以下公式：
Pval 4＝Pval 3×(1-增益2)，其中增益2是0与1之间的数，Pval_3是具有最大值的像素的正映射结果，并且Pval_4是局部最大值扩展之后的调整后的值(即，调整后的负映射结果)。图7中示出通过使用与图1A相同的图像在步骤S404a和步骤S404b之后的图像实例。
在步骤S405中，执行混合调整后的正映射结果和调整后的负映射结果的过程。混合可以简单地是调整后的正映射结果与调整后的负映射结果之间的线性补充。在已经执行混合之后，在步骤S406中，通过为正细节值和负细节值提供不同的倍增增益来产生单尺度细节，使得类似黑点可以对人的视觉具有与类似白点不同的视觉影响。
图8示出了根据本发明的示例性实施例之一的多尺度细节合成。在步骤S801中，通过单尺度细节合成模块(例如，310)合成多个单尺度纹理。针对纹理特征，合成不同尺度的多个单尺度细节。通过调整用于提取局部纹理特征的单尺度细节中的每一个单尺度细节的块大小，不同尺度的选择可以遵循分形几何的八度概念。图8的变量“r”代表用于执行纹理特征提取的像素块的块半径。变量“n”是整数。n越大就意味着使用更大的尺度细节，因此在这种情况下，用于纹理特征提取的块大小将更大。图9中示出用于纹理特征提取的块大小之间的关系以及变量“r”和“P”，其中“P”代表每个像素块的***像素的数目。使用的单尺度合成的数目(n)越大，合成的多尺度细节的频率分布就将越大，并且类似地，越小的“n”将导致越小的频率分布。因此，更大的“n”未必更好但是可以基于试错法优化。
在步骤S802中，将多个单尺度纹理传输到多尺度细节合成模块(例如，320)，所述模块混合所述多个单尺度纹理。在步骤S803中，在混合完成之后合成多尺度纹理。图10中提供通过增加块半径来产生多个单尺度细节合成的实例。根据图10，在第一行列中分别示出块半径1、2和4的三个单尺度细节的正结果。图10的第二行中的三个图像示出对应于块半径1、2和4的三个单尺度细节的单尺度细节，并且最后一行示出通过混合块半径1、2和4的三个单尺度细节获得的多尺度纹理的多尺度细节。
通过混合多个单尺度细节执行多尺度合成的目的是确保合成图像与原始图像一致。例如，不应在原始图像中不应存在细节的位值中合成细节。从频率的视角看，在合成纹理的频率(中到高频率)与原始图像的频率(低到中频率)之间不应存在大差距。
图11示出了通过使用成像处理设备应用所提出的纹理合成方法的整体图像转换的实例。第一图像1101是图1A的图像的Y_in或亮度值，其是未经处理原图。第一图像1101对应于步骤S401。第二图像1102是通过并入合成的单尺度纹理获得的经处理图像。第三图像1103是通过并入合成的多尺度纹理获得的经处理图像。从第三图像1103中可见，所述图像更清晰并且含有更多细节，即使所述图像已经按比例放大。
本领域技术人员将明白，在不脱离本发明的范围或精神的情况下，可对所公开的实施例的结构进行各种修改和变化。考虑到前述内容，期望本发明涵盖落入所附权利要求书及其等效物的范围内的本发明的修改及变化。
Claims (16)
1.一种纹理合成方法，适用于图像处理设备，其特征在于，所述方法包括：
产生多个单尺度细节图像中的第一单尺度细节图像；以及
通过混合所述多个单尺度细节图像产生多尺度细节图像，其中产生所述第一单尺度细节图像包括：
执行图像帧的第一像素块的特征提取以导出第一像素特征；
将所述第一像素特征符合阈值的第一标准应用到所述第一像素特征以导出正结果；
执行所述正结果的第一细节对齐以及最大值扩展以导出调整后的正映射结果；
将所述第一像素特征不符合所述阈值的第二标准应用到所述第一像素特征以导出负结果；
执行所述负结果的第二细节对齐以及最小值扩展以导出调整后的负映射结果；以及
混合所述调整后的正映射结果以及所述调整后的负映射结果以产生所述第一单尺度细节图像；
执行所述正结果的所述第一细节对齐以及所述最大值扩展以导出所述调整后的正映射结果包括：
通过将查询表应用到所述正结果来对所述正结果执行所述第一细节对齐从而导出正映射结果；以及
通过至少增大所述正映射结果的最大数来对所述正映射结果执行所述最大值扩展从而导出所述调整后的正映射结果；
执行所述负结果的所述第二细节对齐以及所述最小值扩展以导出所述调整后的负映射结果包括：
通过将所述查询表应用到所述负结果来对所述负结果执行所述第二细节对齐从而导出负映射结果；以及
通过至少减小所述负映射结果的最小数来对所述负映射结果执行所述最小值扩展从而导出所述调整后的负映射结果。
2.根据权利要求1所述的方法，其特征在于将所述第一标准应用到所述第一像素特征以导出所述正结果包括：
将所述阈值应用到所述第一像素特征的像素；以及
在所述第一像素特征超出所述阈值的情况下导出所述正结果以便包括所述第一像素块。
3.根据权利要求2所述的方法，其特征在于进一步包括：
将所述第一像素特征的超出或等于所述阈值的每个像素乘以相应权值；以及
通过求和所述第一像素特征的超出所述阈值的所有像素的加权值来导出所述正结果。
4.根据权利要求2所述的方法，其特征在于将与所述第一标准相反的所述第二标准应用到所述第一像素特征以导出所述负结果包括：
将所述阈值应用到所述第一像素特征的所述像素；以及
在所述第一像素特征低于或等于所述阈值的情况下导出所述负结果以便包括所述第一像素块。
5.根据权利要求1所述的方法，其特征在于通过至少增大所述正映射结果的所述最大数来对所述正映射结果执行所述最大值扩展从而导出所述调整后的正映射结果包括：
将所述最大数乘以(1+增益1)，其中增益1是在0与1之间选择的数。
6.根据权利要求1所述的方法，其特征在于通过至少减小所述负映射结果的所述最小数来对所述负映射结果执行所述最小值扩展从而导出所述调整后的负映射结果包括：
将所述最小数乘以(1-增益2)，其中增益2是在0与1之间选择的数。
7.根据权利要求1所述的方法，其特征在于通过混合所述多个单尺度细节图像产生所述多尺度细节图像包括：
执行第一图像帧的第二像素块的第二单尺度纹理合成以产生所述多个单尺度图像中的第二单尺度细节图像，其中所述第二像素块大于所述第一像素块；以及
混合至少所述第一单尺度细节图像以及所述第二单尺度细节图像以产生所述多尺度细节图像。
8.根据权利要求7所述的方法，其特征在于所述多个单尺度细节图像包括多个像素块，其中所述多个像素块中的每个像素块包括不同块半径以及不同数量的像素。
9.一种图像处理设备，其特征在于，包括：
存储介质；以及
耦合到所述存储介质的处理器，其中所述处理器经配置至少用于：
产生多个单尺度细节图像中的第一单尺度细节图像；以及
通过混合所述多个单尺度细节图像产生多尺度细节图像，其中所述处理器经配置用于产生所述第一单尺度细节图像包括：
执行图像帧的第一像素块的特征提取以导出第一像素特征；
将所述第一像素特征符合阈值的第一标准应用到所述第一像素特征以导出正结果；
执行所述正结果的第一细节对齐以及最大值扩展以导出调整后的正映射结果；
将所述第一像素特征不符合所述阈值的第二标准应用到所述第一像素特征以导出负结果；
执行所述负结果的第二细节对齐以及最小值扩展以导出调整后的负映射结果；以及
混合所述调整后的正映射结果以及所述调整后的负映射结果以产生所述第一单尺度细节图像；
所述处理器经配置用于执行所述正结果的所述第一细节对齐以及所述最大值扩展以导出所述调整后的正映射结果包括：
通过将所述存储介质中存储的查询表应用到所述正结果来对所述正结果执行所述第一细节对齐从而导出正映射结果；以及
通过至少增大所述正映射结果的最大数来对所述正映射结果执行所述最大值扩展从而导出所述调整后的正映射结果；
所述处理器经配置用于执行所述负结果的所述第二细节对齐以及所述最小值扩展以导出所述调整后的负映射结果包括：
通过将所述存储介质中存储的所述查询表应用到所述负结果来对所述负结果执行所述第二细节对齐从而导出负映射结果；以及
通过至少减小所述负映射结果的最小数来对所述负映射结果执行所述最小值扩展从而导出所述调整后的负映射结果。
10.根据权利要求9所述的设备，其特征在于所述处理器经配置用于将所述第一标准应用到所述第一像素特征以导出所述正结果包括：
将所述阈值应用到所述第一像素特征的像素；以及
在所述第一像素特征超出所述阈值的情况下导出所述正结果以便包括所述第一像素块。
11.根据权利要求10所述的设备，其特征在于所述处理器进一步经配置用于：
将所述第一像素特征的超出或等于所述阈值的每个像素乘以相应权值；以及
通过求和所述第一像素特征的超出所述阈值的所有像素的加权值来导出所述正结果。
12.根据权利要求10所述的设备，其特征在于所述处理器经配置用于将与所述第一标准相反的所述第二标准应用到所述第一像素特征以导出所述负结果包括：
将所述阈值应用到所述第一像素特征的所述像素；以及
在所述第一像素特征低于或等于所述阈值的情况下导出所述负结果以便包括所述第一像素块。
13.根据权利要求9所述的设备，其特征在于所述处理器经配置用于通过至少增大所述正映射结果的所述最大数来对所述正映射结果执行所述最大值扩展从而导出所述调整后的正映射结果包括：
将所述最大数乘以(1+增益1)，其中增益1是在0与1之间选择的数。
14.根据权利要求9所述的设备，其特征在于所述处理器经配置用于通过至少减小所述负映射结果的所述最小数来对所述负映射结果执行所述最小值扩展从而导出所述调整后的负映射结果：
将所述最小数乘以(1-增益2)，其中增益2是在0与1之间选择的数。
15.根据权利要求9所述的设备，其特征在于所述处理器经配置用于通过混合所述多个单尺度细节图像产生所述多尺度细节图像包括：
执行第一图像帧的第二像素块的第二单尺度纹理合成以产生所述多个单尺度图像中的第二单尺度细节图像，其中所述第二像素块大于所述第一像素块；以及
混合至少所述第一单尺度细节图像以及所述第二单尺度细节图像以产生所述多尺度细节图像。
16.根据权利要求15所述的设备，其特征在于所述多个单尺度细节图像包括多个像素块，其中所述多个像素块中的每个像素块包括不同块半径以及不同数量的像素。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610870931.6A CN107886476B (zh) | 2016-09-30 | 2016-09-30 | 纹理合成的方法以及使用该方法的图像处理设备 |
| US15/347,796 US10380777B2 (en) | 2016-09-30 | 2016-11-10 | Method of texture synthesis and image processing apparatus using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610870931.6A CN107886476B (zh) | 2016-09-30 | 2016-09-30 | 纹理合成的方法以及使用该方法的图像处理设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107886476A CN107886476A (zh) | 2018-04-06 |
| CN107886476B true CN107886476B (zh) | 2021-06-15 |
Family
ID=61757138
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610870931.6A Active CN107886476B (zh) | 2016-09-30 | 2016-09-30 | 纹理合成的方法以及使用该方法的图像处理设备 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10380777B2 (zh) |
| CN (1) | CN107886476B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200080926A (ko) * | 2018-12-27 | 2020-07-07 | 삼성전자주식회사 | 영상 처리 장치 및 그 영상 처리 방법 |
| CN114359645B (zh) * | 2022-01-12 | 2024-05-21 | 中国平安人寿保险股份有限公司 | 基于特征区域的图像拓展方法、装置、设备及存储介质 |
| CN114782572A (zh) * | 2022-03-25 | 2022-07-22 | 北京极感科技有限公司 | 图像上色方法、电子设备、存储介质及计算机程序产品 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1910623A (zh) * | 2005-01-19 | 2007-02-07 | 松下电器产业株式会社 | 图像变换方法、纹理映射方法、图像变换装置、服务器客户机***及图像变换程序 |
| US20090034870A1 (en) * | 2007-07-31 | 2009-02-05 | Renato Keshet | Unified spatial image processing |
| CN101635047A (zh) * | 2009-03-25 | 2010-01-27 | 湖南大学 | 基于小波变换的纹理合成图像修复方法 |
| US20100171759A1 (en) * | 2009-01-06 | 2010-07-08 | Microsoft Corporation | Multi-layer image composition with intermediate blending resolutions |
| CN102332084A (zh) * | 2010-07-23 | 2012-01-25 | 中国农业大学 | 基于掌纹和人脸特征提取的身份识别方法 |
| TW201312501A (zh) * | 2011-09-01 | 2013-03-16 | Univ Nat Taiwan | 無資料庫之紋理合成的超解析度系統及方法 |
| CN104504670A (zh) * | 2014-12-11 | 2015-04-08 | 上海理工大学 | 多尺度梯度域图像融合算法 |
| CN104616273A (zh) * | 2015-01-26 | 2015-05-13 | 电子科技大学 | 一种基于拉普拉斯金字塔分解的多曝光图像融合方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090080803A1 (en) * | 2007-09-20 | 2009-03-26 | Mitsugu Hara | Image processing program, computer-readable recording medium recording the program, image processing apparatus and image processing method |
| TWI384454B (zh) * | 2008-03-06 | 2013-02-01 | Sunplus Technology Co Ltd | Applicable to the liquid crystal display of the image processing system and methods |
| JP6061488B2 (ja) * | 2012-04-26 | 2017-01-18 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| DE112013002200T5 (de) * | 2012-04-27 | 2015-01-08 | Adobe Systems Incorporated | Automatische Anpassung von Bildern |
| EP3031033B1 (en) * | 2013-08-06 | 2018-09-05 | Flir Systems, Inc. | Vector processing architectures for infrared camera electronics |
| NZ776286A (en) * | 2015-05-19 | 2023-06-30 | Magic Leap Inc | Semi-global shutter imager |
-
2016
- 2016-09-30 CN CN201610870931.6A patent/CN107886476B/zh active Active
- 2016-11-10 US US15/347,796 patent/US10380777B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1910623A (zh) * | 2005-01-19 | 2007-02-07 | 松下电器产业株式会社 | 图像变换方法、纹理映射方法、图像变换装置、服务器客户机***及图像变换程序 |
| US20090034870A1 (en) * | 2007-07-31 | 2009-02-05 | Renato Keshet | Unified spatial image processing |
| US20100171759A1 (en) * | 2009-01-06 | 2010-07-08 | Microsoft Corporation | Multi-layer image composition with intermediate blending resolutions |
| CN101635047A (zh) * | 2009-03-25 | 2010-01-27 | 湖南大学 | 基于小波变换的纹理合成图像修复方法 |
| CN102332084A (zh) * | 2010-07-23 | 2012-01-25 | 中国农业大学 | 基于掌纹和人脸特征提取的身份识别方法 |
| TW201312501A (zh) * | 2011-09-01 | 2013-03-16 | Univ Nat Taiwan | 無資料庫之紋理合成的超解析度系統及方法 |
| CN104504670A (zh) * | 2014-12-11 | 2015-04-08 | 上海理工大学 | 多尺度梯度域图像融合算法 |
| CN104616273A (zh) * | 2015-01-26 | 2015-05-13 | 电子科技大学 | 一种基于拉普拉斯金字塔分解的多曝光图像融合方法 |
Non-Patent Citations (1)
| Title |
|---|
| "加权的多尺度多分辨率人脸描述与识别方法";曾智勇 等;《模式识别与人工智能》;20140430;第27卷(第4期);第378-384页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20180096488A1 (en) | 2018-04-05 |
| CN107886476A (zh) | 2018-04-06 |
| US10380777B2 (en) | 2019-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8723978B2 (en) | Image fusion apparatus and method | |
| JP6255063B2 (ja) | Ｈｄｒ画像のための画像処理 | |
| CN102438097B (zh) | 图像处理装置与图像处理方法 | |
| US10051259B2 (en) | Real-time automatic conversion of 2-dimensional images or video to 3-dimensional stereo images or video | |
| CN111292269B (zh) | 图像色调映射方法、计算机装置及计算机可读存储介质 | |
| CN107886476B (zh) | 纹理合成的方法以及使用该方法的图像处理设备 | |
| WO2003061266A2 (en) | System and method for compressing the dynamic range of an image | |
| US20140219578A1 (en) | Image processing method | |
| CN107993189B (zh) | 一种基于局部分块的图像色调动态调节方法和装置 | |
| CN109817170B (zh) | 像素补偿方法、装置和终端设备 | |
| US8565513B2 (en) | Image processing method for providing depth information and image processing system using the same | |
| CN111709898B (zh) | 基于优化clahe的红外图像增强方法与*** | |
| WO2019166008A1 (en) | Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding | |
| CN104301636A (zh) | 低复杂度高效高动态数字图像的合成方法 | |
| CN111429357A (zh) | 训练数据确定方法、视频处理方法、装置、设备及介质 | |
| Richter et al. | Robust super-resolution for mixed-resolution multiview image plus depth data | |
| CN109118436A (zh) | 图像色调适配方法及相应的电子设备和存储介质 | |
| WO2019034131A1 (en) | METHOD AND APPARATUS FOR REDUCING ARTIFACTS IN A PROJECTION-BASED FRAME | |
| WO2020015381A1 (en) | Variable resolution rendering | |
| CN114463207A (zh) | 基于全局动态范围压缩与局部亮度估计的色阶映射方法 | |
| JP7265316B2 (ja) | 画像処理装置及び画像処理方法 | |
| CN110545412A (zh) | 影像强化方法及计算机*** | |
| JP6583008B2 (ja) | 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム | |
| CN111583111B (zh) | 动态范围图像压缩方法、计算机设备及存储装置 | |
| Unaldi et al. | Fast and robust wavelet-based dynamic range compression with local contrast enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |