CN108885785B - 用于时间噪声减少的运动自适应流处理 - Google Patents

用于时间噪声减少的运动自适应流处理 Download PDF

Info

Publication number
CN108885785B
CN108885785B CN201780019964.2A CN201780019964A CN108885785B CN 108885785 B CN108885785 B CN 108885785B CN 201780019964 A CN201780019964 A CN 201780019964A CN 108885785 B CN108885785 B CN 108885785B
Authority
CN
China
Prior art keywords
noise
image
location
stream
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780019964.2A
Other languages
English (en)
Other versions
CN108885785A (zh
Inventor
西村俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN108885785A publication Critical patent/CN108885785A/zh
Application granted granted Critical
Publication of CN108885785B publication Critical patent/CN108885785B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

讨论了涉及图像的时间噪声减少的技术。这种技术可以包括生成与输入图像相对应的噪声流，并自适应地重新组合噪声流和与输入图像相对应的参考图像以及与输入图像相对应的空间噪声减少图像，以生成时间噪声减少输出图像。

Description

用于时间噪声减少的运动自适应流处理
优先权声明
本申请要求于2016年3月23日递交的、序列号为15/078,735的、名称为“MOTIONADAPTIVE STREAM PROCESSING FOR TEMPORAL NOISE REDUCTION(用于时间噪声减少的运动自适应流处理)”的美国专利申请的优先权，该专利申请的整体通过引用结合于此。
背景技术
在图像处理上下文中，特别是在低光条件下，空间噪声减少可能无法精确地减少噪声，因为难以区分细节和噪声。使用强空间噪声减少(SPNR)可能导致丢失细节的模糊图像或有噪声的图像。在这样的情况下，时间噪声减少(TNR)可以提供更高的图像和/或视频质量。
然而，时间噪声减少技术可能难以减少快速移动物体和/或遮挡区域(例如，在先前图像中被遮挡并在当前图像中显露的图像区域)的噪声。这种快速移动物体和/或遮挡区域可能在参考图像中不具有良好匹配，从而难以应用时间噪声减少。
针对图像执行改善的时间噪声减少可能是有利的，这可以通过减少静态区域(例如，相对于(一个或多个)先前图像在当前图像中未改变的那些图像区域)、移动区域(例如，相对于(一个或多个)先前图像在当前图像中移动的那些图像区域)、以及遮挡区域(例如，在先前图像中被遮挡并在当前图像中显露的图像区域)中的噪声而不牺牲细节等级来改善图像质量。关于这些和其他考虑因素需要当前的改善。随着期望获得高质量图像变得更加普遍，这种改善可能变得至关重要。
附图说明
本文描述的材料通过示例的方式并且不通过附图中的限制的方式被示出。为了说明的简单性和清楚性，附图中示出的元件不一定是按比例绘制的。例如，为了清楚起见，一些元件的尺寸可能相对于其他元件被夸大。此外，在认为合适的情况下，在附图中重复附图标记以指示对应或类似的元件。在附图中：
图1示出了用于提供时间噪声减少的示例***；
图2示出了用于时间噪声减少的应用的示例图像；
图3示出了示例噪声均衡组件；
图4示出了另一示例噪声均衡组件；
图5示出了示例运动信息；
图6示出了用于基于运动信息来组合噪声流的示例过程；
图7示出了用于提供时间噪声减少的示例过程；
图8是示出了用于提供时间噪声减少的示例过程的流程图；
图9是用于提供时间噪声减少的示例***的说明性图示；
图10是示例***的说明性图示；以及
图11示出了全部根据本公开的至少一些实现方式布置的示例小型设备。
具体实施方式
现在参考附图描述一个或多个实施例或实现方式。尽管讨论了具体的配置和布置，但应理解，这仅是为了说明性目的。相关领域技术人员将认识到，在不脱离本说明书的精神和范围的情况下，可以采用其他配置和布置。对于相关领域技术人员明显的是，本文描述的技术和/或布置也可以用于除本文描述的***和应用之外的各种其他***和应用中。
虽然以下描述阐述了可以在诸如片上***(SoC)架构之类的架构中展现的各种实现方式，但本文描述的技术和/或布置的实现方式不限于特定架构和/或计算***，并且可以由用于类似目的的任何架构和/或计算***来实现。例如，采用例如多个集成电路(IC)芯片和/或封装的各种架构、和/或各种计算设备和/或消费电子(CE)设备(例如，多功能设备、平板计算机、智能电话等)可以实现本文描述的技术和/或布置。此外，虽然以下描述可以阐述许多具体细节，例如，逻辑实现方式、***组件的类型和相互关系、逻辑分区/集成选择等，但可以在没有这些具体细节的情况下实施所要求保护的主题。在其他情况下，可能未详细示出一些材料，例如，控制结构和完整软件指令序列，以免模糊本文公开的材料。
本文公开的材料可以在硬件、固件、软件或其任何组合中实现。本文公开的材料还可以被实现为存储在机器可读介质上的指令，其可以由一个或多个处理器读取和执行。机器可读介质可以包括用于以机器(例如，计算设备)可读的形式存储或发送信息的任何介质和/或机制。例如，机器可读介质可以包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存设备；电、光、声或其他形式的传播信号(例如，载波、红外信号、数字信号等)等。
说明书中对“一个实现方式”、“实现方式”、“示例实现方式”(或者“实施例”、“示例”等)等的引用指示所描述的实现方式可以包括特定特征、结构或特性，但每个实施例可能不一定包括该特定特征、结构或特性。此外，这些短语不一定都指代同一实现方式。此外，当结合实施例描述特定特征、结构或特性时，主张结合本文明确描述或未明确描述的其他实现方式来实现这种特征、结构或特性是在本领域技术人员的知识之内。
本文描述了与用于时间噪声减少的运动自适应流处理相关的、并且具体地与生成和自适应地应用噪声流以用于改善的时间噪声减少相关的方法、设备、装置、计算平台和物品。
如上所述，在成像处理上下文中，特别是在低光条件下，时间噪声减少可以提供改善的图像质量。如所讨论的，在一些实施例中，本文讨论的技术可以基于生成和自适应地应用噪声流来提供改善的时间噪声减少。这种技术可以通过减少静态区域(例如，相对于(一个或多个)先前图像在当前图像中未改变的那些图像区域)、移动区域(例如，相对于(一个或多个)先前图像在当前图像中移动的那些图像区域)、以及遮挡区域(例如，在先前图像中被遮挡并在当前图像中显露的图像区域)中的噪声而不牺牲细节等级来改善图像质量。
在一些实施例中，可以接收输入图像，并且可以基于输入图像的噪声减少来生成噪声减少图像。输入图像可以是已经被去马赛克或者处于滤色器阵列域中(例如，未被去马赛克)的任何适当的输入图像(例如，图像、视频帧等)。例如，输入图像可以是RGB图像、YUV图像、任何YUV变体颜色空间中的图像等。可以使用任何适当的一个或多个空间噪声减少技术来执行输入图像的噪声减少。可以基于输入图像和噪声减少图像来生成与输入图像相对应的噪声流。例如，噪声流可以是噪声减少图像和输入图像之间的差异。噪声流可以具有任何适当的数据结构。例如，噪声流可以针对与输入图像相对应的每个像素位置提供噪声值。如本文所讨论的，噪声流可以被应用于亮度信道或任何色度信道。
噪声流可以自适应地与输入图像、与输入图像相对应的参考图像(例如，先前的时间噪声减少图像)、噪声减少图像、和/或基于噪声减少图像的空间噪声减少生成的空间噪声减少图像进行组合。例如，可以使用适应于与输入图像相对应的运动信息(例如，局部运动等)的像素混合技术来组合噪声流、参考图像、噪声减少图像和另外的噪声减少图像。可以使用任何适当的一个或多个技术来生成这样的运动信息。例如，噪声流可以被高度应用于显示很少或没有运动的那些区域，并且对于显示快速运动或没有运动匹配的那些区域噪声流可以被衰减(或完全不被应用于这些区域)。这种技术可以有利地为快速移动或之前被遮挡的那些区域提供较少噪声(例如，较大空间噪声减少)，因为噪声流未被添加回这些区域，并且为静态的那些区域提供较大噪声(例如，更多感知细节)。此外，这种技术可以提供在时间噪声减少之前(例如，在时间噪声减少组件之前)应用更强的空间噪声减少以减少移动区域中的噪声，因为丢失的细节可以被添加回静态区域。
此外，在组合噪声流之前，可以基于下列项中的一项或多项来均衡和/或调整噪声流：与输入图像相对应的局部亮度、与输入图像相对应的局部色度、与输入图像相对应的检测内容、距输入图像的光学中心的径向距离和/或用户偏好。例如，噪声流可以在较低亮度区域(例如，噪声在较亮区域中可以比在较暗区域中更小，并且噪声可以在较暗区域中衰减)或较低色度区域、较平坦区域(例如，较低检测内容级区域)中、以及在距输入图像的光学中心较远的距离处衰减，并且噪声流可以在较高亮度区域、较高色度区域、纹理区域(例如，较高检测内容级区域)中、以及在距输入图像的光学中心较近的距离处保持不变或增强。此外，可以基于用户偏好来衰减、保持不变或增强噪声流。
本文讨论的技术可以引入噪声流(例如，空间噪声减少输入和输出之间的差异信号)，其可以被添加回适应于局部运动等级、细节等级、噪声特性(例如，噪声等级对局部亮度、色度和/或距光学中心的径向距离的依赖性)和/或用户偏好的图像。这种技术在低光或极低光条件下可以特别有利。这种低光或极低光条件的特性可以取决于图像捕获设备的光学能力，并且可以包括低于0.1勒克斯、低于1.0勒克斯、低于20勒克斯等的光条件。
图1示出了根据本公开的至少一些实现方式布置的用于提供时间噪声减少的示例***100。如图1所示，***100可以包括噪声减少模块101、去马赛克模块102和时间噪声减少模块103，该时间噪声减少模块103可以包括内容检测模块131、局部运动估计模块132、轨迹中断模块133、噪声均衡模块134、像素混合模块135和空间噪声减少模块136。***100可以经由任何适当的设备(例如，个人计算机、膝上型计算机、平板计算机、平板电话、智能电话、数码相机、游戏机、可穿戴设备、显示设备、一体化设备、二合一设备、监视设备等)或平台(例如，移动平台等)来实现。例如，如本文所使用的，***、设备、计算机或计算设备可以包括任何这样的设备或平台。
还如图所示，***100(例如，经由噪声减少模块101)可以接收原始输入图像111，并且***100可以提供(例如，经由时间噪声减少模块103的像素混合模块135)输出图像113，输出图像113可以被表征为时间噪声减少输出图像。噪声减少模块101可以包括单个亮度噪声减少模块、亮度噪声减少模块和一个或多个色度降低模块、或者一个或多个色度降低模块，这取决于原始输入图像111的格式和在其中实现噪声减少的信道或域(例如，仅亮度信道、亮度信道和一个或多个色度信道、或一个或多个色度信道)。原始输入图像111可以包括任何适当的域中的任何适当的图像数据、视频帧数据等。例如，原始输入图像111可以包括来自图像传感器或来自图像预处理器的数据，该数据针对每个像素位置包括特定颜色值以使得原始输入图像111可以处于颜色阵列滤波器空间中。例如，原始输入图像111可以根据滤色器空间的图案针对每个像素位置包括红色、绿色或蓝色值。尽管关于原始输入图像111示出的是其作为颜色阵列滤波器空间中的输入图像，但原始输入图像111可以是任何适当的图像数据，例如，去马赛克图像数据、红色、绿色、蓝色(RGB)颜色空间中的图像数据、亮度色度颜色空间(例如，YUV颜色空间、YUV变体颜色空间等)中的图像数据。在实施例中，可以在噪声减少模块101之前应用去马赛克模块102。在各种示例中，可以从照相机、照相机阵列、图像预处理器等接收原始输入图像111。
如图所示，可以基于原始输入图像111的噪声减少来生成噪声减少图像(NRI)141。可以使用任何适当的一个或多个技术来执行原始输入图像111的噪声减少。例如，可以基于滤波技术(例如，线性或非线性滤波)、各向异性扩散技术、非局部平均技术或其组合来执行原始输入图像111的噪声减少。还如图所示，基于如由差分器104所确定的噪声减少图像141和原始输入图像111之间的差异，可以生成噪声流(NS)142。噪声流142可以包括任何适当的数据或数据结构。在实施例中，噪声流142可以针对原始输入图像111的每个像素位置、针对原始输入图像111的区域等提供噪声值。在实施例中，噪声流142可以包括针对输入图像的每个像素位置的每个颜色信道的噪声值。噪声流142可以包括高频信号，该高频信号包含原始输入图像111的噪声和细节信息。通过提供噪声流142，噪声减少模块101可以提供具有较少噪声的噪声减少图像141，其可以在后续处理(例如，经由去马赛克模块102的去马赛克、经由局部运动估计模块132的局部运动跟踪等)中提供较少不想要的伪影和/或更强健的结果。如本文进一步讨论的，可以在后续阶段中自适应地添加回包含在噪声流142中的细节以再现细节而不会恶化经由中间模块的处理。还如本文进一步讨论的，噪声流142可以与时间噪声减少一起使用，以通过基于原始输入图像111的局部运动自适应地应用噪声流142来减少移动或遮挡区域中的噪声并且增加静态区域中的细节。
图2示出了用于根据本公开的至少一些实现方式布置的时间噪声减少的应用的示例图像200。如所讨论的，图像200可以包括任何适当的图像、图片或视频帧等，或者表示图像、图片或视频帧的任何适当的数据。例如，图像200可以包括任何适当的图像或成像数据。输入图像200可以处于任何适当的格式和/或颜色空间。在所示示例中，图像200包括室内环境的图像；然而，图像200包括具有任何适当物体的任何适当场景的图像。如图所示，图像200可以包括图像201和图像202，使得图像202在图像201之后。图像201、202可以包括移动物体211和静态区域213(例如，移动物体211外部的区域)。还如关于图像202所示，移动物体211的运动(例如，其向上和向右移动)可以提供遮挡区域212，使得遮挡区域212被图像201中的移动物体211遮挡并在图像202中显露。
使用本文讨论的技术，可以通过像素混合来自适应地组合噪声流(例如，噪声流142)以生成较高质量的输出图像。例如，关于图像202，噪声可以有利地以较高的量被应用于静态区域213(例如，具有最小运动或没有运动的那些区域)。在静态区域213中提供噪声可以提供细节，静态区域213在若干帧上已经良好地建立了时间噪声减少，这是因为其是静态的。例如，由于可以在静态区域中应用较强时间噪声减少，因此具有更多噪声将有助于这些区域中的细节等级改善。此外，噪声可以在与图像202中的移动物体211相对应的区域中以及在遮挡区域212中被有利地衰减(或完全不被应用)，以使得(如经由时间噪声减少的其他模块应用的)空间噪声减少可以在这些区域中提供噪声平滑。
此外，可以基于图像202的其他特征来均衡和/或调整噪声流。例如，噪声流可以在较低局部亮度区域(如由局部亮度平均确定)、较低局部色度区域(如由局部色度平均确定)、平坦区域(如经由内容检测确定)中、以及在径向远离图像202的中心的位置处衰减。这种衰减可以有利地减少较暗区域(其中噪声更显著)、平坦区域(其中噪声可能提供不想要的伪影)、以及径向远离图像中心的区域(其中由于镜头阴影校正，噪声可能更显著)中的噪声。类似地，噪声流可以在较高局部亮度区域(如由局部亮度平均确定，其中，噪声可能不那么显著)、较高局部色度区域(如由局部色度平均确定)、纹理区域(如经由内容检测确定，以使得可以由于噪声而提供或感知更多细节)中、以及在径向靠近图像202的中心的位置处(其中噪声可能不受镜头阴影校正的影响)处不变(或增强)。
回到图1，如所讨论的，噪声流142可以处于彩色阵列滤波器空间中或处于任何其他颜色空间中。例如，可以在图像处理流水线的早期阶段(例如，在去马赛克模块102之前)提供噪声减少模块101，并且***100可以利用这种噪声减少的结果来生成噪声流142。在其他示例中，可以在噪声减少和差分之前执行去马赛克以生成噪声流142。如所讨论的，原始输入图像可以处于任何适当的颜色空间或域中。此外，如图所示，噪声流142可以被确定为噪声减少输入和输出的差异(例如，原始输入图像111和噪声减少图像142之间的差异)。噪声流可以处于任何适当的颜色空间或域中。噪声流可以仅在亮度信道中、在亮度信道和一个或多个色度信道中、或者在一个或多个色度信道中。可以将噪声流142提供给噪声均衡模块134，其可以均衡或调整噪声流142以生成均衡噪声流148，如本文进一步讨论的。例如，噪声均衡模块134可以补偿噪声流142中的依赖性。此外，像素混合模块135可以基于如由局部运动估计模块132和/或轨迹中断检测模块133提供的运动信息来自适应地将噪声均衡噪声流148重新组合到原始输入图像111的输入信号，如本文进一步讨论的。噪声均衡噪声流148的这种重新组合可以被提供给输入图像111的输入信号的亮度信道和/或输入图像111的输入信号的色度信道。例如，***100可以包括用于亮度的空间噪声减少模块和/或用于色度的空间噪声减少(例如，经由噪声减少模块101)。在一些实施例中，可以从用于色度的空间噪声减少的输入和输出获取色度噪声流，如关于噪声减少模块101和差分器104所讨论的。亮度和色度噪声流可以被单独使用，或者它们可以被组合，以在噪声均衡模块134进行的可选处理之后经由像素混合模块135来应用。
如图所示，可以将噪声减少图像141提供给去马赛克模块102。去马赛克模块102可以使用任何适当的一个或多个技术来对噪声减少图像141进行去马赛克以生成输入图像(II)143。例如，去马赛克模块102可以针对噪声减少图像141中缺少特定颜色值的每个像素内插颜色值。例如，对于具有蓝色值但缺少红色和绿色值的那些像素，可以确定这样的红色和绿色值，对于具有红色值但缺少蓝色和绿色值的那些像素，可以确定这样的蓝色和绿色值，并且对于具有绿色值但缺少红色和蓝色值的那些像素，可以确定这样的红色和蓝色值。此外，去马赛克模块102或***100的其他模块可以提供伽马校正、颜色校正、图像增强等以生成输入图像143。在一些实施例中，输入图像143可以在另一颜色空间(例如，YUV颜色空间)中被提供或被转换到另一颜色空间以供进一步处理。例如，输入图像143可以包括亮度和色度分量。如所讨论的，在一些实施例中，可以在噪声减少之前执行去马赛克，以使得可以基于去马赛克的以及可选地经伽马校正的、经颜色校正的和/或经图像增强的图像来生成噪声信号142。
内容检测模块131可以接收输入图像143，并且内容检测模块131可以基于输入图像143执行内容检测以生成细节等级144。内容检测模块131可以使用任何适当的一个或多个技术来执行内容检测，并且细节等级144可以包括表示输入图像111的内容或细节的任何适当的数据或数据结构。例如，细节等级144可以包括针对输入图像143的每个像素位置的值，其指示细节等级，其中较高值表示纹理或边缘像素或区域，并且较低值表示平坦区域。如所讨论的，可以逐个像素地提供细节等级144。在一些示例中，可以逐个区域地提供细节等级144以使得输入图像143的区域由单个细节等级值表示。如所讨论的，细节等级144可以包括任何适当的数据或数据结构。在一些示例中，细节等级144可以被表征为细节值、内容等级值、内容等级图等。如图所示，细节等级144可以被提供给噪声均衡模块134以调整噪声流142，如本文所讨论的。
局部运动估计模块132可以接收输入图像143和参考图像112(例如，如图所示的先前的噪声减少输出图像)。局部运动估计模块132可以使用任何适当的一个或多个技术来基于输入图像143和参考图像112生成局部运动145。例如，可以基于块匹配技术等来生成局部运动145。局部运动145可以包括表示输入图像143中相对于参考图像112的局部运动的任何数据或数据结构。在实施例中，局部运动145可以包括运动向量字段，其针对输入图像143的每个像素或针对输入图像143的区域提供近似运动向量(例如，具有水平和垂直分量)。在实施例中，局部运动145可以包括针对输入图像143的像素或区域的运动值，其表示对输入图像143中是否存在相对于参考图像112的运动的估计。
如图所示，可以将局部运动145(以及根据需要，参考图像112和输入图像143)提供给像素混合模块135和轨迹中断检测模块133，其可以生成运动信息146。在实施例中，轨迹中断检测模块133可以跟踪跨图像(例如，输入图像的若干实例)的运动以确定特定像素处的局部运动145提供实际运动还是错误估计的运动。例如，在局部估计模块132处，对于特定像素或区域，局部估计模块132可以提供表示输入图像143和参考图像112在应用局部运动145之后彼此类似的置信度等级的运动置信度值等。例如，在一些情况下，局部运动145的最佳猜测或最接近匹配运动向量可能是错误匹配。如所讨论的，轨迹中断检测模块133可以跟踪跨图像的运动，并且轨迹中断检测模块133可以归零或调整不具有随时间的平滑跟踪的任何运动(例如，断开的运动)以消除或减少这种不匹配。例如，轨迹中断检测模块133可以支持检测输入图像143中的遮挡区域。在其中局部运动145不可用的实施例中，运动信息146可以提供指示输入图像和参考图像112彼此相似而没有应用局部运动的置信度等级的值。在这样的上下文中，运动信息146可以针对没有运动的位置提供较高值，并且针对存在运动的位置提供较低值。
运动信息146可以包括表示输入图像143中相对于参考图像112的局部运动的任何数据或数据结构。例如，运动信息146可以包括基于输入图像143和参考图像112的运动置信度值，如所讨论的。在一些示例中，局部运动145和/或运动信息146可以被表征为运动向量、运动向量字段、运动值、局部运动信息、运动图、运动置信度值、局部运动置信度图等。如图所示，可以将局部运动145和/或运动信息146提供给像素混合模块135，用于如本文所讨论的均衡噪声流148的自适应应用。
空间噪声减少模块136也可以接收输入图像143，并且空间噪声减少模块136可以使用任何适当的一个或多个技术或来提供空间噪声减少以生成噪声减少图像147。例如，输入图像143的噪声减少可以包括滤波技术(例如，线性或非线性滤波)、各向异性扩散技术、非局部平均技术等。输入图像143在时间噪声减少模块103内的这种空间噪声减少可以为快速运动区域或遮挡区域提供额外的平滑或噪声减少。此外，如本文所讨论的，噪声流142可以在静态区域中被重新应用或组合。
如所讨论的，通过时间噪声减少模块103的噪声均衡模块134来均衡和/或调整噪声流142以生成均衡噪声流148可以是有利的。噪声流142的这种均衡和/或调整可以基于局部亮度、局部色度、检测内容、距光学中心的径向距离、用户偏好等。
图3示出了根据本公开的至少一些实现方式布置的示例噪声均衡组件300。例如，噪声均衡组件300可以通过***100的噪声均衡模块134来实现。如图所示，噪声均衡组件300可以接收噪声流142、输入图像143和细节等级144，并且噪声均衡组件300可以生成均衡噪声流148。
如图所示，噪声流142可以由亮度转换模块301接收，其可以将噪声流142转换为亮度域或分量以生成亮度噪声流311。如所讨论的，噪声流142可以处于滤色器阵列域、颜色域等中，并且亮度转换模块301可以将噪声流142转换为亮度域或分量。在其中噪声流142被提供在亮度域中或作为亮度分量的示例中，可以跳过亮度转换模块301。此外，在其中噪声流142在色度域中被实现的示例中，可以跳过亮度转换模块301。亮度转换模块301可以使用任何适当的一个或多个技术来将噪声流142转换为亮度噪声流311。在实施例中，亮度转换模块301可以是低通滤波器。
还如图所示，输入图像143可以由局部平均模块302接收，其可以执行输入图像143的亮度分量的局部平均以生成局部亮度图312。如所讨论的，输入图像143可以处于任何适当的颜色域中。在一些示例中，输入图像143可以包括亮度分量，并且在其他示例中，输入图像143可以被转换到具有亮度分量或者可以提取亮度分量的域。局部平均模块302可以使用任何适当的一个或多个技术来生成局部亮度图312。例如，局部平均模块302可以在输入图像143的每个像素周围的窗口(例如，2×2像素窗口以使得局部平均或平均值可以被表征为μ2×2)中提供局部平均以生成局部亮度图312。在实施例中，可以不包括局部平均模块302，并且输入图像143可以用作局部亮度图312。这种实施例可以有利地节省计算复杂性和成本。局部亮度图312可以包括表示输入图像143的局部亮度(例如，针对输入图像143的每个像素位置的局部平均亮度值)的任何数据或数据结构。
可以将局部亮度图312提供给局部亮度增益模块322，其可以通过将局部亮度应用于局部亮度增益映射332来生成局部亮度增益值(GY)342。例如，对于局部亮度图312的每个像素值，局部亮度增益模块322可以通过应用局部亮度增益映射332来生成局部亮度增益值342的局部亮度相关增益值。如图所示，局部亮度增益映射332可以基于向上凹的曲线来针对较高亮度区域(例如，具有指示较高亮度的较低亮度值)提供较高增益值并针对较低亮度区域(例如，具有指示较低亮度的较高亮度值)提供较低增益值，以使得噪声流142可以在输入图像143的较低亮度区域(例如，其中噪声可能导致不良的图像质量)中衰减。可以使用任何适当的一个或多个技术(例如，查找表、基于函数的确定步骤等)来应用局部亮度增益映射332。
在其中噪声流142包括色度噪声流(例如，除了亮度噪声流之外或者替代亮度噪声流)的示例中，输入图像143可以由局部色度平均模块(未示出)接收，其可以执行输入图像143的色度分量的局部平均以生成局部色度图(未示出)，或者输入图像143可以用作局部色度图。局部色度图可以包括表示输入图像143的局部色度的任何数据或数据结构。类似于局部亮度图312、局部亮度增益模块322和局部亮度增益映射322，可以将局部色度图提供给局部色度增益模块(未示出)，其可以通过应用局部色度映射(未示出)来生成局部色度增益值(未示出)。例如，对于局部色度图的每个像素值，可以确定局部色度相关增益值。局部亮度增益映射可以基于如关于局部亮度增益映射332所示的向上凹的曲线来针对较低色度区域提供较低增益值并且针对较高色度区域提供较高增益值，以使得噪声流142可以在输入图像143的较低色度区域(例如，其中噪声可能导致不良的图像质量)中衰减。
此外，可以经由内容检测模块131来接收细节等级144(请参考图1)。在一些示例中，噪声均衡组件300可以实现内容检测模块131等，其可以生成细节等级144或内容等级图313，如本文所讨论的。如图所示，在一些示例中，细节等级144可以被表征为内容等级图313。在其他示例中，可以转换细节等级144以生成内容等级图313。内容等级图313可以包括表示输入图像143的内容等级的任何数据或数据结构，例如，针对输入图像143的每个像素位置的细节或内容等级值，以使得较高值指示纹理、边缘等并且较低值指示平坦区域。
可以将内容等级图313提供给内容等级增益模块323，其可以通过将内容等级应用于内容等级增益映射333来生成内容等级增益值(GCL)343。例如，对于内容等级图313的每个像素值，内容等级增益模块323可以通过应用内容等级增益映射333来生成内容等级增益值343的内容等级相关增益值。如图所示，内容等级增益映射333可以基于在较低内容等级值处具有平坦部分的向下凹的曲线来针对较高内容等级值提供较高增益值并针对较低内容等级值提供较低增益值，以使得噪声流142可以在输入图像143的较低内容等级区域(例如，其中噪声可能导致伪影)中衰减并且在输入图像143的较高等级内容区域(例如，其中噪声可能提供细节)中保持不变或增强。可以使用任何适当的一个或多个技术(例如，查找表、基于函数的确定步骤等)来应用内容等级增益映射333。
此外，半径确定模块303可以生成径向距离图314，其可以提供距输入图像143的光学中心的径向距离。半径确定模块303可以使用任何适当的一个或多个技术来生成径向距离图314。例如，半径确定模块303可以基于用于生成输入图像143的光学***等来生成径向距离图314。径向距离图314可以包括表示径向距离的任何数据或数据结构，例如，针对输入图像143的每个像素位置的距光学中心的距离值。
可以将径向距离图314提供给径向距离增益模块324，其可以通过将径向距离应用于径向距离增益映射334来生成径向距离增益值(GR)344。例如，对于径向距离图314的每个像素值，径向距离增益模块324可以通过应用径向距离增益映射334来生成径向距离增益值344的径向距离相关增益值。如图所示，径向距离增益映射334可以基于浅向下凹的曲线来针对较低径向距离值提供较高增益值并针对较高径向距离值提供较低增益值，以使得噪声流142可以在远离输入图像143的光学中心处(例如，其中可能由镜头阴影校正引起噪声)衰减。可以使用任何适当的一个或多个技术(例如，查找表、基于函数的确定步骤等)来应用径向距离增益映射334。
如图所示，亮度增益值342和/或色度增益值、内容等级增益值343和径向距离增益值344可以由乘法器361和362进行组合以生成最终增益值(G)351。可以使用任何适当的一个或多个技术(例如，所示的乘法或其他技术)来组合亮度增益值342和/或色度增益值、内容等级增益值343和径向距离增益值344。最终增益值351可以包括任何适当的数据或数据结构，例如，针对输入图像143的每个像素的增益值。此外，最终增益值351可以由乘法器363应用于亮度噪声流311和/或色度噪声流。可以使用任何适当的一个或多个技术(例如，所示的乘法或其他技术)来将最终增益值351应用于亮度噪声流311和/或色度噪声流，以提供均衡噪声流148。均衡噪声流148可以包括针对输入图像143的每个像素的噪声值。此外，尽管未在图3中示出，但用户偏好(例如，应用用户或应用开发者)增益可以经由用户偏好映射和/或乘法器被应用于噪声流142。例如，可以将用户偏好应用于每个像素位置以进一步衰减噪声等。此外，可以通过调整局部亮度增益映射332、内容等级增益映射333、径向距离增益映射334等中的任何一个来提供用户偏好。
图4示出了根据本公开的至少一些实现方式布置的另一示例噪声均衡组件400。例如，噪声均衡组件400可以通过***100的噪声均衡模块134来实现。如图所示，噪声均衡组件400可以接收噪声流142、输入图像143和细节等级144，并且噪声均衡组件400可以生成均衡噪声流148。此外，噪声均衡组件400可以实现局部平均模块302、局部亮度增益模块322、局部色度平均模块(未示出)、局部色度增益模块(未示出)、内容等级增益模块323(以及根据需要，内容检测模块或转换到内容等级映射模块)、半径确定模块303和径向距离增益模块324，它们可以如本文关于图3所讨论的那样进行操作以生成亮度增益值342、色度增益值(未示出)、内容等级增益值343和径向距离增益值344。为简洁起见，将不再重复这些模块的操作。
此外，如所讨论的，噪声流142可以处于滤色器阵列域中。如图所示，修剪/取心(clip/coring)模块401可以接收噪声流142并且可以提供噪声流142的修剪和/或取心，并且将得到的流提供给局部平均模块402，其可以生成局部绿色信道平均(LAG)和局部蓝色信道平均(LAB)411。局部平均模块402可以使用任何适当的一个或多个技术来生成局部绿色信道平均和局部蓝色信道平均411。例如，局部平均模块302可以在噪声流142的每个蓝色像素位置周围的窗口(例如，5×5像素窗口以使得局部平均或平均值可以被表征为μ5×5)中提供局部平均。如图所示，可以将局部绿色信道平均和局部蓝色信道平均411提供给增益生成模块403，其可以使用任何适当的一个或多个技术来基于局部绿色信道平均和局部蓝色信道平均411生成蓝色信道增益值(GB)412。在实施例中，可以基于局部绿色信道平均加上转换因子与局部蓝色信道值加上该转换因子的比率来生成蓝色信道增益值(GB)412(例如，GB＝(μG+ε)/(μB+ε)，其中，μG和μB可以分别是局部绿色信道平均和局部蓝色信道平均，并且ε可以是转换因子)。例如，蓝色信道增益值412可以将噪声流142均衡或标准化至噪声流的蓝色信道。
如图所示，蓝色信道增益值412、亮度增益值342、色度增益值(未示出)、内容等级增益值343和径向距离增益值344可以由乘法器461、462和463进行组合以生成最终增益值(G)451。可以使用任何适当的一个或多个技术(例如，所示的乘法或其他技术)来组合蓝色信道增益值412、亮度增益值342、内容等级增益值343和径向距离增益值344。最终增益值451可以包括任何适当的数据或数据结构，例如，针对输入图像143的每个像素的增益值。此外，最终增益值451可以由乘法器464应用于噪声流142。可以使用任何适当的一个或多个技术(例如，所示的乘法或其他技术)来将最终增益值451应用于噪声流142以提供均衡噪声流148。如上所讨论的，均衡噪声流148可以包括针对输入图像143的每个像素的噪声值。此外，尽管未在图4中示出，但用户偏好(例如，应用用户或应用开发者)增益可以经由用户偏好映射和/或乘法器被应用于噪声流142。例如，可以将用户偏好应用于每个像素位置以进一步衰减噪声等。此外，可以通过调整局部亮度增益映射332、内容等级增益映射333、径向距离增益映射334等中的任何一个来提供用户偏好。
回到图1，如图所示，像素混合模块135可以接收均衡噪声流148、输入图像143、参考图像112、噪声减少图像147、局部运动145和运动信息146。像素混合模块135可以基于局部运动145和/或运动信息146来混合均衡噪声流148、输入图像143、参考图像112和/或噪声减少图像147以生成输出图像113，其可以被提供为***100的输出并用作经由原始输入图像111接收的后续图像(如果有的话)的参考图像。像素混合模块135可以使用任何适当的一个或多个技术来基于局部运动145和/或运动信息146混合均衡噪声流148、输入图像143、参考图像112和/或噪声减少图像147。
例如，如所讨论的，局部运动145和/或运动信息146可以包括关于输入图像143的逐个像素或逐个区域的运动信息。对于具有较低运动(例如，小于阈值)或没有运动的那些像素或区域，均衡噪声流148可以利用完全加权或较高加权来组合。对于具有高运动(例如，大于阈值)的那些像素或区域，均衡噪声流148可以被衰减或完全不被应用。这种技术可以应用运动阈值，并且可以基于像素或区域是高于阈值还是低于阈值来应用均衡噪声流148。在其他示例中，均衡噪声流148可以随着运动增加而衰减，或者可以应用多个阈值。
此外，除了均衡噪声流148的加权或选择之外，像素混合模块135还可以在输入图像143、参考图像112和噪声减少图像147中选择加权。例如，像素混合模块135可以针对确定较低或较小运动的区域更重地加权参考图像112，并且针对存在运动的区域衰减参考图像112或者根本不应用参考图像112。此外，可以独立于运动信息146或者根据运动信息146来提供输入图像143和噪声减少图像147的加权，以使得高运动区域可以更重地加权噪声减少图像147。
如所讨论的，像素混合模块135可以控制多少噪声(例如，经由均衡噪声流148)被添加回输入图像143以生成输出图像113。例如，可以将更多噪声或所有可用噪声信号应用于静态区域，并且可以不将噪声或将衰减量的噪声信号应用于快速运动区域和/或遮挡区域。
图5示出了根据本公开的至少一些实现方式布置的示例运动信息500。如图所示，运动信息500可以包括静态区域501(如图5中的灰色所示)和高运动或遮挡区域502、503(如图5中的黑色所示)。例如，高运动或遮挡区域502、503可以包括针对其无法找到运动向量的那些区域、针对较大运动向量的那些区域、针对其确定了高运动概率的那些区域等。这种无运动向量区域可能是由于遮挡(例如，由于区域新近被显露而无法找到匹配)或快速运动，其中在由局部运动搜索提供的搜索限制内无法找到运动向量。参考图1，均衡噪声流148可以不被应用于高运动或遮挡区域502、503(或者应用可以被衰减)，并且均衡噪声流148可以被应用于静态区域501。
图6示出了根据本公开的至少一些实现方式布置的用于基于运动信息来组合噪声流的示例过程600。过程600可以包括如图6所示的一个或多个操作601-609。过程600可以由***(例如，***100或本文讨论的任何其他设备或***)执行，或者过程600的部分可以由***执行以将噪声流与输入图像进行组合以生成输出图像。可以针对任何数目的输入图像、视频帧、噪声流等来重复过程600或其部分。例如，过程600可以提供时间噪声减少输出图像。
如图所示，过程600可以在操作601处开始，其中，过程600可以在用于混合的特定像素或区域处开始或继续。过程可以在判定操作602处继续，其中，可以确定针对特定像素或区域的局部运动是否高于阈值。阈值可以是任何适当的预定阈值或启发式确定的阈值等。
如果局部运动的量大于阈值(或者在一些示例中等于阈值)，则过程可以在操作603处继续，其中，可以在像素混合中更重地加权噪声减少图像。例如，对于高运动的像素或区域，可以更重地加权通过时间噪声减少处理生成的空间噪声减少图像，以使得这样的像素或区域可以具有更多的平滑和更少的噪声。此外，在这种区域中可能根本不使用参考图像(例如，先前的时间噪声减少图像)，因为在当前图像和参考图像之间不存在匹配。
处理可以在操作604处继续，其中，噪声流可以被衰减或减小到零。例如，对于高运动的像素或区域，可以最小地应用或不应用所生成的噪声流或均衡噪声流，以使得可以为这种高运动的像素或区域提供更平滑的图像和更少的噪声。
返回判定操作602，如果局部运动的量小于阈值(或在一些示例中等于阈值)，则处理可以在操作605处继续，其中，参考图像(例如，先前的时间噪声减少图像)可以在像素混合中被更重地加权。例如，对于没有运动的像素或区域(例如，静态区域)，跨图像的时间噪声减少可以提供比当前正在处理的图像更高质量的成像。
处理可以在操作606处继续，其中，针对像素混合可以完全应用噪声流或仅轻微衰减噪声流。例如，对于没有运动的像素或区域(例如，静态区域)，可以最大化地应用所生成的噪声流或均衡噪声流，或者使得可以针对这种较小或没有运动的像素或区域提供更多细节(例如，在该上下文中，噪声可以提供细节或者可以由人类观察者感知为细节)。
处理可以在操作607处从操作604或操作606继续，其中，可以基于在所讨论的操作603、604或操作605、606处确定的参数以及其他像素混合参数来执行像素混合以生成输出像素或区域。例如，可以部分地响应于运动信息(例如，运动信息146)，基于参考图像(例如，参考图像112)、输入图像(例如，输入图像143)、噪声减少图像(例如，噪声减少图像117)、以及噪声流(例如，噪声流142或均衡噪声流148)中的一个或多个来执行像素混合以生成(例如，输出图像113的)输出像素。这种像素混合可以基于应用于每个图像和噪声流的加权因子(使用关于判定操作602和操作603-606所讨论的技术来确定或调整那些因子)以及其他因素或参数。
处理可以在判定操作608处继续，其中，可以确定当前像素或区域是否是要处理的最后像素或区域。如果不是，则处理可以在如上所讨论的操作601处继续。如果是，则处理可以在结束操作609处继续，其中，输出像素可以被提供为输出图像并且处理可以结束。
返回到图1，如图所示，输出图像113可以由像素混合135提供以用作后续原始输入图像(如果有的话)的参考图像。此外，输出图像113可以被提供给***100的另一模块、***100的存储器、***100的显示器等。例如，输出图像113可以由其他模块用于进一步处理、被保存到存储器以供用户使用、被显示给用户等。输出图像113可以包括任何适当的数据或数据格式，并且可以被表征为输出图像、输出视频帧、时间噪声减小输出图像或视频帧等。
如所讨论的，可以在时间噪声减少中利用噪声流以针对移动和/或遮挡区域提供更低的噪声。使用这样的技术，可以在这种区域中避免空间噪声减少的较强应用，这可以保留这种区域中的细节。此外，可以通过将噪声流(例如，非常高频率的信号)添加回静态区域来提供更高的细节保留和更高的对比度。这种技术可以在这种区域中提供细节恢复。此外，通过流式传输噪声(例如，放置在时间噪声减少组件之前的空间噪声减少组件的输入和输出之间的差异信号)，时间噪声减少之前的空间噪声减少可以提供更多的平滑，向时间噪声减少有利地提供更少的噪声，以使得时间噪声减少可以提供更强健的处理。
图7示出了根据本公开的至少一些实现方式布置的用于提供时间噪声减少的示例过程700。过程700可以包括如图7所示的一个或多个操作701-709。过程700可以由***(例如，***100或本文讨论的任何其他设备或***)执行，或者过程700的部分可以由***执行以提供时间噪声减少。可以针对任何数目的输入图像、视频帧等来重复过程700或其部分。例如，过程700可以提供时间噪声减少输出图像。
如图所示，过程700可以在操作701处开始，其中，可以对诸如原始图像之类的输入图像执行噪声减少以生成噪声减少图像。输入图像可以来自图像传感器并且处于滤色器阵列域中(例如，未被去马赛克)，或者输入图像可以处于任何适当的域(例如，RGB域、YUV域等)中。
处理可以在操作702处继续，其中，可以基于输入图像和噪声减少图像来生成噪声流。可以使用任何适当的一个或多个技术生成噪声流。在实施例中，可以通过从输入图像中差分噪声减少图像来生成噪声流。例如，基于输入图像的域，噪声流可以处于滤色器阵列域或任何适当的域(例如，RGB域、YUV域等)中。噪声流可以包括任何适当的数据或数据结构，例如，针对输入图像的所有或一些像素的噪声值。噪声流可以与亮度信道和/或一个或多个色度信道相对应。
处理可以在操作703处继续，其中，可以将噪声流转换到亮度域以生成亮度噪声流等。将噪声流转换到亮度域可以包括从滤色器阵列域、RGB域或YUV域等进行转换。这种转换可以包括移除噪声流中的颜色信道依赖性，如关于图4和本文其他地方所讨论的。如所讨论的，在一些示例中，可以在一个或多个色度信道或域中实现噪声流。在这样的示例中，可以跳过操作703。
处理可以在操作704处继续，其中，可以基于输入图像的局部亮度来均衡或调整噪声流。可以使用任何适当的一个或多个技术来基于局部亮度均衡或调整噪声流。在实施例中，可以基于输入图像的像素位置周围的亮度值的局部平均来生成输入图像(例如，操作701的输入图像或在操作701处生成的噪声减少图像)的局部亮度。任何窗口大小都可以用于这种平均，例如2×2像素窗口等。基于局部亮度图(例如，针对每个像素位置的亮度值)，可以应用局部亮度映射以生成针对每个像素位置的局部亮度增益值。如本文所讨论的，局部亮度映射可以针对较高亮度区域(例如，较低值)提供较高增益值，并且针对较低亮度区域(例如，较高值)提供较低增益值。可以通过将针对像素位置的噪声流值与针对像素位置的增益值相乘来基于增益值均衡或调整噪声流，以生成基于局部亮度均衡或调整的噪声流。如所讨论的，在一些示例中，除了在亮度域中提供噪声流之外或替代在亮度域中提供噪声流，还可以在一个或多个色度信道或域中实现噪声流。在这样的示例中，可以跳过操作704，或者可以提供附加操作以基于局部色度来均衡或调整噪声流，如本文所讨论的。
处理可以在操作705处继续，其中，可以基于输入图像的内容来均衡或调整噪声流。可以使用任何适当的一个或多个技术来基于输入图像的内容检测均衡或调整噪声流。在实施例中，可以基于对输入图像执行的内容检测来生成输入图像(例如，操作701的输入图像或在操作701处生成的噪声减少图像)的内容等级。可以使用任何适当的内容检测技术，例如，边缘检测、纹理检测等。基于内容等级图(例如，针对每个像素位置的内容等级值)，可以应用内容等级映射以生成针对每个像素位置的内容等级增益值。如本文所讨论的，内容等级映射可以针对较高内容等级值提供较高增益值，并且针对较低内容等级值提供较低增益值。可以通过将针对像素位置的噪声流值与针对像素位置的增益值相乘来基于增益值均衡或调整噪声流，以生成基于内容均衡或调整的噪声流。
处理可以在操作706处继续，其中，可以基于距输入图像的光学中心的径向距离来均衡或调整噪声流。可以使用任何适当的一个或多个技术来基于距输入图像的光学中心的径向距离均衡或调整噪声流。在实施例中，可以使用任何适当的一个或多个技术来生成输入图像(例如，操作701的输入图像或在操作701处生成的噪声减少图像)的径向距离。在实施例中，可以在生成输入图像之前知道或保存距光学中心的径向距离。基于径向距离图(例如，针对每个像素位置的径向距离值)，可以应用径向距离映射以生成针对每个像素位置的径向距离增益值。如本文所讨论的，径向距离映射可以针对较低径向距离值提供较高增益值，并且针对较高径向距离值提供较低增益值。可以通过将针对像素位置的噪声流值与针对像素位置的增益值相乘来基于增益值均衡或调整噪声流，以生成基于径向距离均衡或调整的噪声流。
处理可以在操作707处继续，其中，可以基于用户偏好来均衡或调整噪声流。例如，用户或开发者等可以基于用户偏好映射、应用于整个噪声流的增益值等来调整噪声流的增益。尽管示出了基于局部亮度、内容检测、距光学中心的径向距离和用户偏好的噪声流均衡或调整，但过程700可以跳过这样的噪声流均衡或调整中的一个或多个。这种噪声流均衡或调整可以生成如本文所讨论的均衡噪声流。
处理可以在操作708处继续，其中，可以基于输入图像和参考图像(例如，先前处理的图像)来生成运动信息。可以使用任何适当的一个或多个技术来生成运动信息。在实施例中，可以基于输入图像(例如，操作701的输入图像或在操作701处生成的噪声减少图像)和参考图像来执行局部运动估计，并且所得到的运动向量字段可以被分析用于中断的轨迹。可以使用专用于运动搜索的范围之外的运动和中断的轨迹的值等来在运动信息中指示这种中断的轨迹。在其他示例中，可以不提供局部运动估计，并且可以确定表示是否检测到运动的运动置信度值。例如，可以基于将输入图像与参考图像进行比较来生成运动置信度值，以使得匹配的那些区域被提供较低运动值或运动置信度值，并且不匹配的那些区域被提供较高运动值或运动置信度值。所得到的运动信息可以包括运动向量、局部运动的指示符、运动值、运动置信度值等。
处理可以在操作709处继续，其中，可以基于在操作708处生成的运动信息，基于均衡噪声流、参考图像、输入图像和噪声减少图像来执行像素混合。可以使用任何适当的一个或多个技术来执行像素混合。如所讨论的，像素混合可以包括将均衡噪声流完全应用于与较少或没有运动相对应的图像区域，并且衰减均衡噪声流或不将均衡噪声流应用于与如由运动信息所指示的快速运动或遮挡区域相对应的图像区域。
可以针对任何数目的图像、视频帧等来串行或并行地将过程700重复任何次数。如所讨论的，过程700可以提供图像、视频帧等的时间噪声减少。
图8是示出根据本公开的至少一些实现方式布置的用于提供时间噪声减少的示例过程800的流程图。过程800可以包括如图8所示的一个或多个操作801-803。过程800可以形成时间噪声减少过程的至少一部分。作为非限制性示例，过程800可以形成如本文所讨论的由***100执行的时间噪声减少的至少一部分。此外，本文将参考图9的***900描述过程800。
图9是根据本公开的至少一些实现方式布置的用于提供时间噪声减少的示例***900的说明性图示。如图9所示，***900可以包括中央处理器901、图像处理器902、存储器903、照相机904和显示器905。如所讨论的，在一些实施例中，***900可以不包括照相机904和/或显示器905。还如图所示，中央处理器901可以包括或实现噪声减少模块101、去马赛克模块102、内容检测模块131、局部运动估计模块132、轨迹中断模块133、噪声均衡模块134、像素混合模块135和空间噪声减少模块136。在实施例中，内容检测模块131、局部运动估计模块132、轨迹中断模块133、噪声均衡模块134、像素混合模块135和空间噪声减少模块136可以由时间噪声减少模块或组件实现。在实施例中，可以不实现去马赛克模块102。在这样的示例中，图像处理器902可以将(例如，YUV、RGB或任何其他适当的颜色空间中的)去马赛克图像提供给噪声减少模块101、内容检测模块131、局部运动估计模块132、轨迹中断检测模块133、噪声均衡模块134、像素混合模块135和/或空间噪声减少模块136。在实施例中，内容检测模块131、局部运动估计模块132、轨迹中断检测模块133、噪声均衡模块134、像素混合模块135和/或空间噪声减少模块136可以被表征为时间噪声减少模块或组件等。在实施例中，时间噪声减少模块或组件可以被提供为相对于图像处理器或图像处理流水线的后处理。在***900的示例中，存储器903可以存储图像数据、视频帧数据、噪声减少图像数据、参考图像数据、细节等级数据、内容等级数据、局部运动数据、运动信息数据、噪声流数据、均衡噪声流数据、参数、阈值或本文讨论的任何其他数据。
如图所示，在一些示例中，噪声减少模块101、去马赛克模块102、内容检测模块131、局部运动估计模块132、轨迹中断模块133、噪声均衡模块134、像素混合模块135和空间噪声减少模块136可以经由中央处理器901来实现。在其他示例中，噪声减少模块101、去马赛克模块102、内容检测模块131、局部运动估计模块132、轨迹中断模块133、噪声均衡模块134、像素混合模块135和空间噪声减少模块136中的一个或多个或部分可以经由图像处理器902、图像处理单元、图像处理流水线等来实现。在一些示例中，噪声减少模块101、去马赛克模块102、内容检测模块131、局部运动估计模块132、轨迹中断模块133、噪声均衡模块134、像素混合模块135和空间噪声减少模块136可以作为片上***(SoC)在硬件中实现。
图像处理器902可以包括可提供如本文所讨论的操作的任何数目和类型的图像或图形处理单元。这些操作可以通过软件或硬件或其组合来实现。例如，图像处理器902可以包括专用于操纵和/或分析从存储器903获得的图像的电路。中央处理器901可以包括可提供***900的控制和其他高级功能和/或提供如本文所讨论的任何操作的任何数目和类型的处理单元或模块。存储器903可以是任何类型的存储器，例如，易失性存储器(例如，静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)等)或非易失性存储器(例如，闪存等)等。在非限制性示例中，存储器903可以由缓存存储器实现。在实施例中，噪声减少模块101、去马赛克模块102、内容检测模块131、局部运动估计模块132、轨迹中断模块133、噪声均衡模块134、像素混合模块135和空间噪声减少模块136中的一个或多个或部分可以经由图像处理器902的执行单元(EU)来实现。EU可以包括例如可编程逻辑或电路，例如，可以提供宽范围的可编程逻辑功能的一个或多个逻辑核。在实施例中，噪声减少模块101、去马赛克模块102、内容检测模块131、局部运动估计模块132、轨迹中断模块133、噪声均衡模块134、像素混合模块135和空间噪声减少模块136中的一个或多个或部分可以经由诸如固定功能电路之类的专用硬件来实现。固定功能电路可以包括专用逻辑或电路，并且可以提供可以映射到专用逻辑以用于固定目的或功能的一组固定功能入口点。
回到图8的讨论，过程800可以在操作801处开始，其中，可以基于输入图像的噪声减少来生成噪声减少图像。可以使用任何适当的一个或多个技术生成噪声减少图像。在实施例中，如经由中央处理器901实现的噪声减少模块101可以基于输入图像的空间噪声减少来生成噪声减少图像。输入图像可以是任何适当的颜色空间中的任何适当的图像。在实施例中，输入图像可以是去马赛克的输入图像。在实施例中，输入图像可以处于滤色器阵列域中。在这样的实施例中，可以对噪声减少图像进行去马赛克以生成用于时间噪声减少处理的输入图像。
处理可以在操作802处继续，其中，可以基于噪声减少图像和输入图像来生成与输入图像相对应的噪声流。可以使用任何适当的一个或多个技术来生成噪声流。在实施例中，如经由中央处理器901实现的差分器可以生成噪声流，作为噪声减少图像和输入图像之间的差异。噪声流可以处于任何适当的颜色空间中。在实施例中，噪声流可以包括亮度和色度分量。在实施例中，噪声流可以包括颜色信道。在实施例中，噪声流可以处于滤色器阵列域中。
处理可以在操作803处继续，其中，可以将噪声流的至少一部分和与输入图像相对应的参考图像以及与输入图像相对应的第二噪声减少图像自适应地组合，以生成时间噪声减少输出图像。可以使用任何适当的一个或多个技术来将噪声流与图像自适应地组合。在实施例中，如经由中央处理器901实现的噪声均衡模块134和/或像素混合模块135可以将噪声流与图像自适应地组合。在实施例中，在操作801处生成的噪声减少图像可以是第二噪声减少图像。在实施例中，在操作801处生成的噪声减少图像可以进行进一步的空间减少以生成第二噪声减少图像。例如，如经由中央处理器901实现的空间噪声减少模块136可以基于噪声减少图像来生成第二噪声减少图像。可以使用任何适当的一个或多个技术来生成参考图像。在实施例中，参考图像可以被在先处理(例如，在经由过程800生成的时间噪声减少输出图像之前)。
如所讨论的，可以使用诸如像素混合技术之类的任何适当的一个或多个技术来将噪声流与参考图像和噪声减少图像自适应地组合。在实施例中，可以基于与输入图像相对应的运动信息来将噪声流与参考图像、在操作801处生成的噪声减少图像、以及第二噪声减少图像自适应地组合。例如，自适应地组合噪声流的一部分可以包括基于与输入图像相对应的运动信息来应用噪声流。在实施例中，运动信息可以包括具有第一运动值的第一位置和具有大于第一运动值的第二运动值的第二位置，并且应用噪声流可以包括在第一位置处以比在第二位置处更高的等级应用噪声流。在实施例中，局部运动值信息可以包括具有小于阈值的第一运动值的第一位置和具有大于阈值的第二运动值的第二位置，并且应用噪声流可以包括在第一位置处应用噪声流并且在第二个位置处不应用噪声流。
在实施例中，自适应地组合噪声流的一部分可以包括基于与输入图像相对应的局部亮度、与输入图像相对应的检测内容、或者距输入图像的光学中心的径向距离中的一个或多个来调整噪声流。
在实施例中，自适应地组合噪声流的一部分可以包括通过将局部亮度相关增益应用于噪声流来基于与输入图像相对应的局部亮度图调整噪声流。例如，噪声流可以针对低亮度区域(例如，较暗区域)而衰减，并且针对高亮度区域(例如，较亮区域)不衰减。例如，局部亮度图可以在第一位置处具有第一局部亮度值并在第二位置处具有小于第一局部亮度值的第二局部亮度值，并且响应于局部亮度图，局部亮度相关增益可以针对第一位置提供第一局部亮度增益值，并且针对第二位置提供大于第一局部亮度增益值的第二局部亮度增益值。
在实施例中，自适应地组合噪声流的一部分可以包括通过将局部色度相关增益应用于噪声流来基于与输入图像相对应的局部色度图调整噪声流。例如，噪声流可以针对低色度区域而衰减，并且针对高色度区域不衰减。例如，局部色度图可以在第一位置处具有第一局部色度值并在第二位置处具有小于第一局部色度值的第二局部色度值，并且响应于局部色度图，局部色度相关增益可以针对第一位置提供第一局部色度增益值，并且针对第二位置提供大于第一局部色度增益值的第二局部色度增益值。
在实施例中，自适应地组合噪声流的一部分可以包括通过将内容等级相关增益应用于噪声流来基于与输入图像相对应的内容等级图调整噪声流。例如，内容等级图可以在第一位置处具有第一内容检测值并且在第二位置处具有小于第一内容检测值的第二内容检测值，并且响应于内容等级图，内容等级相关增益可以针对第一位置提供第一内容等级增益值，并且针对第二位置提供小于第一内容等级增益值的第二内容等级增益值。
在实施例中，自适应地组合噪声流的一部分可以包括通过将径向距离相关增益应用于噪声流来基于距光学中心的径向距离调整噪声流。例如，响应于第一位置距光学中心的距离大于第二位置距光学中心的距离，用于第一位置的第一径向距离自适应增益值可以小于用于第二位置的第二径向距离自适应增益值。
如所讨论的，可以在将噪声流与所讨论的图像自适应地组合之前或作为将噪声流与所讨论的图像自适应地组合的一部分来调整或均衡噪声流。在实施例中，可以在这种调整、均衡噪声流、或者将噪声流与图像进行自适应组合之前将噪声流转换为亮度噪声流。
此外，如所讨论的，过程800可以包括将噪声流与参考图像以及第二噪声减少图像自适应地组合，其包括基于与输入图像相对应的运动信息来像素混合噪声流、参考图像、第二噪声减少图像、以及噪声减少图像。在实施例中，可以基于噪声减少图像来执行内容检测以生成内容等级图、可以基于噪声减少图像和参考图像来执行局部运动估计以生成局部运动图、可以对局部运动图执行轨迹中断检测以生成局部运动置信度图、可以基于噪声减少图像来生成局部亮度图、并且可以基于内容等级图和局部亮度图来调整噪声流。例如，自适应地组合噪声流的一部分可以包括基于最终局部运动图和局部运动置信度图来应用噪声流。
可以针对任何数目的图像、视频帧等来串行或并行地将过程800重复任何次数。如所讨论的，过程800可以提供图像、视频帧等的时间噪声减少。
本文描述的***的各种组件可以在软件、固件、和/或硬件、和/或其任何组合中实现。例如，本文讨论的设备或***的各种组件可以至少部分地由例如可以在计算***(例如，智能电话)中找到的计算片上***(SoC)的硬件来提供。本领域技术人员可以认识到，本文描述的***可以包括未在相应的附图中描绘的附加组件。例如，本文讨论的***可以包括为了清楚起见而未描绘的附加组件。
尽管本文讨论的示例过程的实现方式可以包括进行以所示出的顺序示出的所有操作，但本公开不限于此方面，并且在各种示例中，本文的示例过程的实现方式可以包括仅所示出的操作的子集、以不同于所示出的顺序执行的操作、或附加操作。
此外，可以响应于由一个或多个计算机程序产品提供的指令来进行本文讨论的任何一个或多个操作。这样的程序产品可以包括提供指令的信号承载介质，这些指令在由例如处理器执行时可以提供本文描述的功能。计算机程序产品可以以一个或多个机器可读介质的任何形式来提供。因此，例如，包括一个或多个图形处理单元或处理器核的处理器可以响应于由一个或多个机器可读介质传送到处理器的程序代码和/或指令或指令集来执行本文的示例过程的一个或多个块。通常，机器可读介质可以以程序代码和/或指令或指令集的形式来传送软件，这些程序代码和/或指令或指令集可以使得本文描述的任何设备和/或***来实现如本文所讨论的设备或***、或者任何其他模块或组件的至少一些部分。
如在本文描述的任何实现方式中使用的，术语“模块”指被配置为提供本文描述的功能的软件逻辑、固件逻辑、硬件逻辑和/或电路的任何组合。软件可以被体现为软件包、代码和/或指令集或指令，并且如在本文描述的任何实现方式中使用的，“硬件”可以单独地或以任何组合包括例如硬连线电路、可编程电路、状态机电路、固定功能电路、执行单元电路和/或存储由可编程电路执行的指令的固件。模块可以被共同地或单独地实现为形成较大***的一部分的电路，例如，集成电路(IC)、片上***(SoC)等。
图10是根据本公开的至少一些实现方式布置的示例***1000的说明性图示。在各种实现中方式，***1000可以是移动***，但***1000不限于该上下文。例如，***1000可以被合并到个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板计算机、触摸板、便携式计算机、手持计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备(例如，智能电话、智能平板计算机或智能电视)、移动互联网设备(MID)、消息传递设备、数据通信设备、照相机(例如，傻瓜照相机、超级变焦照相机、数码单镜头反光(DSLR)照相机)、监控照相机、包括照相机的监控***等。
在各种实现方式中，***1000包括耦合到显示器1020的平台1002。平台1002可以从诸如(一个或多个)内容服务设备1030或(一个或多个)内容递送设备1040之类的内容设备或者其他内容源(例如，图像传感器1019)接收内容。例如，平台1002可以从图像传感器1019或任何其他内容源接收如本文所讨论的图像数据。包括一个或多个导航特征的导航控制器1050可以用于与例如平台1002和/或显示器1020进行交互。下面更详细地描述这些组件中的每一个。
在各种实现方式中，平台1002可以包括芯片组1005、处理器1010、存储器1011、天线1013、存储装置1014、图形子***1015、应用1016、图像信号处理器1017、和/或无线电组件1018的任何组合。芯片组1005可以提供处理器1010、存储器1011、存储装置1014、图形子***1015、应用1016、图像信号处理器1017和/或无线电组件1018之间的相互通信。例如，芯片组1005可以包括能够提供与存储装置1014的相互通信的存储装置适配器(未示出)。
处理器1010可以被实现为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容处理器、多核或任何其他微处理器或中央处理单元(CPU)。在各种实现方式中，处理器1010可以是(一个或多个)双核处理器、(一个或多个)双核移动处理器等。
存储器1011可以被实现为易失性存储器设备，例如但不限于：随机存取存储器(RAM)、动态随机存取存储器(DRAM)、或静态RAM(SRAM)。
存储装置1014可以被实现为非易失性存储设备，例如但不限于：磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附加存储设备、闪存、电池备用SDRAM(同步DRAM)和/或网络可访问存储设备。在各种实现方式中，例如，存储装置1014可以包括在包括多个硬盘驱动器时增加对有价值的数字介质的存储性能增强保护的技术。
图像信号处理器1017可以被实现为用于图像处理的专用数字信号处理器等。在一些示例中，图像信号处理器1017可以基于单指令多数据或多指令多数据架构等来实现。在一些示例中，图像信号处理器1017可以被表征为介质处理器。如本文所讨论的，图像信号处理器1017可以基于片上***架构和/或基于多核架构来实现。
图形子***1015可以执行诸如静止图像或视频图像之类的图像的处理以供显示。例如，图形子***1015可以是图形处理单元(GPU)或视觉处理单元(VPU)。模拟或数字接口可以用于通信地耦合图形子***1015和显示器1020。例如，接口可以是高清晰度多媒体接口、DisplayPort、无线HDMI、和/或无线HD兼容技术中的任何一种。图形子***1015可以被集成到处理器1010或芯片组1005中。在一些实现方式中，图形子***1015可以是被通信地耦合到芯片组1005的独立设备。
本文描述的图形和/或视频处理技术可以在各种硬件架构中实现。例如，图形和/或视频功能可以被集成在芯片组内。替代地，可以使用独立的图形和/或视频处理器。作为又一实现方式，图形和/或视频功能可以由包括多核处理器的通用处理器提供。在进一步的实施例中，这些功能可以在消费电子设备中实现。
无线电组件1018可以包括能够使用各种适当的无线通信技术来发送和接收信号的一个或多个无线电组件。这种技术可以涉及跨一个或多个无线网络的通信。示例无线网络包括(但不限于)无线局域网(WLAN)、无线个域网(WPAN)、无线城域网(WMAN)、蜂窝网络和卫星网络。在跨这些网络进行通信时，无线电1018组件可以根据任何版本的一个或多个适用标准进行操作。
在各种实现方式中，显示器1020可以包括任何电视类型监视器或显示器。显示器1020可以包括例如计算机显示屏、触摸屏显示器、视频监视器、类电视设备、和/或电视。显示器1020可以是数字的和/或模拟的。在各种实现方式中，显示器1020可以是全息显示器。此外，显示器1020可以是可以接收视觉投影的透明表面。这种投影可以传达各种形式的信息、图像和/或对象。例如，这种投影可以是用于移动增强现实(MAR)应用的视觉覆盖。在一个或多个软件应用1016的控制下，平台1002可以在显示器1020上显示用户界面1022。
在各种实现方式中，(一个或多个)内容服务设备1030可以由任何国家、国际和/或独立服务托管，因而平台1002可以经由例如互联网来访问(一个或多个)内容服务设备1030。(一个或多个)内容服务设备1030可以被耦合到平台1002和/或显示器1020。平台1002和/或(一个或多个)内容服务设备1030可以被耦合到网络1060以传送(例如，发送和/或接收)去往和来自网络1060的媒体信息。(一个或多个)内容递送设备1040也可以被耦合到平台1002和/或显示器1020。
图像传感器1019可以包括可以基于场景来提供图像数据的任何适当的图像传感器。例如，图像传感器1019可以包括基于半导体电荷耦合器件(CCD)的传感器、基于互补金属氧化物半导体(CMOS)的传感器、基于N型金属氧化物半导体(NMOS)的传感器等。例如，图像传感器1019可以包括可以检测场景的信息以生成图像数据的任何设备。
在各种实现方式中，(一个或多个)内容服务设备1030可以包括有线电视盒、个人计算机、网络、电话、能够传送数字信息和/或内容的互联网使能设备或设施、以及能够经由网络1060或直接地在内容提供商和平台1002和/或显示器1020之间单向地或双向地传送内容的任何其他类似设备。应理解，可以经由网络1060来单向和/或双向地向***1000中的任何一个组件和内容提供商传送内容，或者从***1000中的任何一个组件和内容提供商传送内容。内容的示例可以包括任何媒体信息，包括例如视频、音乐、医疗和游戏信息等。
(一个或多个)内容服务设备1030可以接收诸如包括媒体信息、数字信息和/或其他内容的有线电视节目之类的内容。内容提供商的示例可以包括任何有线或***、或无线电或互联网内容提供商。所提供的示例并不意味着以任何方式限制根据本公开的实现方式。
在各种实现方式中，平台1002可以从具有一个或多个导航特征的导航控制器1050接收控制信号。例如，导航控制器1050的导航特征可以用于与用户界面1022进行交互。在各种实施例中，导航控制器1050可以是定点设备，其可以是允许用户将空间(例如，连续和多维)数据输入到计算机中的计算机硬件组件(具体地，人类接口设备)。诸如图形用户界面(GUI)、以及电视和监视器之类的许多***允许用户使用物理手势来控制计算机或电视和向计算机或电视提供数据。
导航控制器1050的导航特征的移动可以通过显示器上所显示的指针、光标、聚焦环或其他视觉指示符的移动来复制在显示器(例如，显示器1020)上。例如，在软件应用1016的控制下，位于导航控制器1050上的导航特征可以被映射到在用户界面1022上显示的虚拟导航特征。在各种实施例中，导航控制器1050可以不是单独的组件，而可以被集成到平台1002和/或显示器1020中。然而，本公开不限于本文示出或描述的元件或上下文。
在各种实现方式中，例如，驱动器(未示出)可以包括在被启用时使得用户能够在初始启动之后通过触摸按钮来立即打开和关闭平台1002(例如，电视)的技术。即使当平台被“关闭”时，程序逻辑也可以允许平台1002将内容流送到媒体适配器或其他(一个或多个)内容服务设备1030或(一个或多个)内容递送设备1040。此外，例如，芯片组1005可以包括支持5.1环绕声频和/或高清7.1环绕声频的硬件和/或软件。驱动器可以包括用于集成图形平台的图形驱动器。在各种实施例中，图形驱动器可以包括***组件互连(PCI)快速图形卡。
在各种实现方式中，可以集成***1000中示出的组件中的任何一个或多个组件。例如，可以集成平台1002和(一个或多个)内容服务设备1030，或者可以集成平台1002和(一个或多个)内容递送设备1040，或者可以集成平台1002、(一个或多个)内容服务设备1030和(一个或多个)内容递送设备1040。在各种实施例中，平台1002和显示器1020可以是集成单元。例如，可以集成显示器1020和(一个或多个)内容服务设备1030，或者可以集成显示器1020和(一个或多个)内容递送设备1040。这些示例并不意味着限制本公开。
在各种实施例中，***1000可以被实现为无线***、有线***或两者的组合。当被实现为无线***时，***1000可以包括适用于通过无线共享介质来进行通信的组件和接口，例如，一个或多个天线、发送器、接收器、收发器、放大器、滤波器、控制逻辑等。无线共享介质的示例可以包括无线频谱的部分，例如，RF频谱等。当被实现为有线***时，***1000可以包括适用于通过有线通信介质来进行通信的组件和接口，例如，输入/输出(I/O)适配器、用于将I/O适配器与相应的有线通信介质连接的物理连接器、网络接口卡(NIC)、盘控制器、视频控制器、音频控制器等。有线通信介质的示例可以包括电线、电缆、金属引线、印刷电路板(PCB)、背板、交换结构、半导体材料、双绞线、同轴电缆、光纤等。
平台1002可以建立一个或多个逻辑或物理信道以传送信息。该信息可以包括媒体信息和控制信息。媒体信息可以指代表示针对用户的内容的任何数据。内容的示例可以包括例如来自语音会话、视频会议、流视频、电子邮件(“email”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等的数据。来自语音会话的数据可以是例如语音信息、静默时段、背景噪声、舒适噪声、音调等。控制信息可以指代表示用于自动化***的命令、指令或控制字的任何数据。例如，控制信息可以用于通过***来路由媒体信息，或指示节点来以预定方式处理媒体信息。然而，实施例不限于图10中示出或描述的元件或上下文。
如上所述，***1000可以被体现为不同的物理样式或形状。图11示出了根据本公开的至少一些实现方式布置的示例小型设备1100。在一些示例中，***1000可以经由设备1100来实现。在其他示例中，设备100或其部分可以经由设备1100来实现。在各种实施例中，例如，设备1100可以被实现为具有无线能力的移动计算设备。移动计算设备可以指具有处理***和移动电源或电源(例如，一个或多个电池)的任何设备。
移动计算设备的示例可以包括：个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板计算机、触摸板、便携式计算机、手持计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、智能设备(例如，智能电话、智能平板计算机或智能移动电视)、移动互联网设备(MID)、消息传递设备、数据通信设备、照相机等。
移动计算设备的示例还可以包括被布置为由人穿戴的计算机，例如，手腕计算机、手指计算机、戒指计算机、眼镜计算机、带夹计算机、臂带计算机、鞋计算机、服饰计算机、和其他可穿戴计算机。在各种实施例中，例如，移动计算设备可以被实现为能够执行计算机应用以及语音通信和/或数据通信的智能电话。尽管可以通过示例的方式利用被实现为智能电话的移动计算设备来描述一些实施例，但可以理解，其他实施例也可以使用其他无线移动计算设备来实现。实施例不限于此上下文。
如图11所示，设备1100可以包括具有前部1101和后部1102的壳体。设备1100包括显示器1104、输入/输出(I/O)设备1106和集成天线1108。设备1100还可以包括导航特征1111。I/O设备1106可以包括用于将信息输入到移动计算设备中的任何适当的I/O设备。I/O设备1106的示例可以包括字母数字键盘、数字小键盘、触摸板、输入键、按钮、开关、麦克风、扬声器、语音识别设备和软件等。信息也可以通过麦克风(未示出)来输入到设备1100中，或者可以由语音识别设备进行数字化。如图所示，设备1100可以包括集成到设备1100的后部1102(或其他地方)的照相机1105(例如，包括镜头、光圈以及成像传感器)和闪光灯1110。在其他示例中，照相机1105和/或闪光灯1110可以被集成到设备1100的前部1101和/或可以提供额外的照相机(例如，以使得设备1100具有前照相机和后照相机)。
各种实施例可以使用硬件元件、软件元件或两者的组合来实现。硬件元件的示例可以包括处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等。软件的示例可以包括软件组件、程序、应用、计算机程序、应用程序、***程序、机器程序、操作***软件、中间件、固件、软件模块、例程、子例程、功能、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任何组合。确定使用硬件元件和/或软件元件来实现实施例可以根据任何数目的因素(例如，期望计算速率、功率等级、热容差、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度和其他设计或性能约束)而变化。
至少一个实施例的一个或多个方面可以由存储在机器可读介质上的代表性指令来实现，这些代表性指令表示处理器内的各种逻辑，这些逻辑在由机器读取时使机器制造执行本文所述的技术的逻辑。这种称为IP核的表示可以被存储在有形机器可读介质上并被提供给各种客户或制造设施，以加载到实际制造逻辑或处理器的制造机器中。
尽管已经参考各种实现方式描述了本文阐述的某些特征，但该描述并不旨在以限制意义来解释。因此，本文描述的实现方式的各种修改以及对于本公开所属领域的技术人员明显的其他实现方式被认为落入本公开的精神和范围内。
以下示例涉及另外的实施例。
在一个或多个第一实施例中，一种用于提供时间噪声减少的方法包括：基于输入图像的噪声减少来生成噪声减少图像；基于输入图像和噪声减少图像来生成与输入图像相对应的噪声流；以及自适应地组合噪声流的至少一部分和与输入图像相对应的参考图像以及与输入图像相对应的第二噪声减少图像以生成时间噪声减少输出图像。
在第一实施例之外，自适应地组合噪声流的一部分包括基于与输入图像相对应的运动信息来应用噪声流。
在第一实施例之外，自适应地组合噪声流的一部分包括基于与输入图像相对应的运动信息来应用噪声流，其中，运动信息包括具有第一运动值的第一位置和具有大于第一运动值的第二运动值的第二位置，并且其中，应用噪声流包括在第一位置处以比在第二位置处更高的等级应用噪声流。
在第一实施例之外，自适应地组合噪声流的一部分包括基于与输入图像相对应的运动信息来应用噪声流，其中，运动信息包括具有小于阈值的第一运动值的第一位置和具有大于阈值的第二运动值的第二位置，并且其中，应用噪声流包括在第一位置处应用噪声流并且在第二位置处不应用噪声流。
在第一实施例之外，自适应地组合噪声流和参考图像以及第二噪声减少图像包括基于与输入图像相对应的运动信息来像素混合噪声流、参考图像、第二噪声减少图像和噪声减少图像。
在第一实施例之外，自适应地组合噪声流的一部分包括基于与输入图像相对应的局部亮度、与输入图像相对应的局部色度、与输入图像相对应的检测内容、或者距输入图像的光学中心的径向距离中的至少一项来调整噪声流。
在第一实施例之外，自适应地组合噪声流的一部分包括通过将局部亮度相关增益应用于噪声流来基于与输入图像相对应的局部亮度图调整噪声流，其中，局部亮度图在第一位置处具有第一局部亮度值并在第二位置处具有小于第一局部亮度值的第二局部亮度值，并且其中，响应于局部亮度图，局部亮度相关增益针对第一位置提供第一局部亮度增益值，并且针对第二位置提供大于第一局部亮度增益值的第二局部亮度增益值。
在第一实施例之外，自适应地组合噪声流的一部分包括通过将内容等级相关增益应用于噪声流来基于与输入图像相对应的内容等级图调整噪声流，其中，内容等级图在第一位置处具有第一内容检测值并且在第二位置处具有小于第一内容检测值的第二内容检测值，并且其中，响应于内容等级图，内容等级相关增益针对第一位置提供第一内容等级增益值，并且针对第二位置提供小于第一等级相关增益值的第二内容等级增益值。
在第一实施例之外，自适应地组合噪声流的一部分包括通过将径向距离相关增益应用于噪声流来基于距光学中心的径向距离调整噪声流，其中，响应于第一位置距光学中心的距离大于第二位置距光学中心的距离，用于第一位置的第一径向距离自适应增益值小于用于第二位置的第二径向距离自适应增益值。
在第一实施例之外，输入图像和噪声流处于滤色器阵列域中，并且该方法还包括：对噪声减少图像进行去马赛克以生成去马赛克图像、将空间噪声减少应用于去马赛克图像以生成第二噪声减少图像、以及在自适应地组合噪声流和参考图像以及第二噪声减少图像之前将噪声流转换为亮度噪声流。
在第一实施例之外，输入图像包括去马赛克输入图像，并且该方法还包括将第二空间噪声减少应用于输入图像以生成第二噪声减少图像。
在第一实施例之外，该方法还包括：基于噪声减少图像来执行内容检测以生成内容等级图、基于噪声减少图像和参考图像来执行局部运动估计以生成局部运动图、对局部运动图执行轨迹中断检测以生成局部运动置信度图、基于噪声减少图像来生成局部亮度图、并且基于内容等级图和局部亮度图来调整噪声流，其中，自适应地组合噪声流的一部分包括基于局部运动图和局部运动置信度图来应用噪声流。
在一个或多个第二实施例中，一种用于提供时间噪声减少的***包括：存储器，被配置为存储输入图像；以及图像处理器，被耦合到存储器，该图像处理器用于：基于输入图像的噪声减少来生成噪声减少图像；基于输入图像和噪声减少图像来生成与输入图像相对应的噪声流；以及自适应地组合噪声流的至少一部分和与输入图像相对应的参考图像以及与输入图像相对应的第二噪声减少图像以生成时间噪声减少输出图像。
在第二实施例之外，图像处理器自适应地组合噪声流的一部分包括图像处理器基于与输入图像相对应的运动信息来应用噪声流。
在第二实施例之外，图像处理器自适应地组合噪声流的一部分包括图像处理器基于与输入图像相对应的运动信息来应用噪声流，其中，运动信息包括具有第一运动值的第一位置和具有大于第一运动值的第二运动值的第二位置，并且其中，图像处理器应用噪声流包括图像处理器在第一位置处以比在第二位置处更高的等级应用噪声流。
在第二实施例之外，图像处理器自适应地组合噪声流的一部分包括图像处理器基于与输入图像相对应的运动信息来应用噪声流，其中，运动信息包括具有小于阈值的第一运动值的第一位置和具有大于阈值的第二运动值的第二位置，并且其中，图像处理器应用噪声流包括图像处理器在第一位置处应用噪声流并且在第二位置处不应用噪声流。
在第二实施例之外，图像处理器自适应地组合噪声流的一部分包括图像处理器基于与输入图像相对应的运动信息来应用噪声流，其中，运动信息包括具有第一运动值的第一位置和具有大于第一运动值的第二运动值的第二位置，并且图像处理器应用噪声流包括图像处理器在第一位置处以比在第二位置处更高的等级应用噪声流，和/或其中，运动信息包括具有小于阈值的第一运动值的第一位置和具有大于阈值的第二运动值的第二位置，并且图像处理器应用噪声流包括图像处理器在第一位置处应用噪声流并且在第二位置处不应用噪声流。
在第二实施例之外，图像处理器自适应地组合噪声流和参考图像以及第二噪声减少图像包括图像处理器基于与输入图像相对应的运动信息来像素混合噪声流、参考图像、第二噪声减少图像和噪声减少图像。
在第二实施例之外，图像处理器自适应地组合噪声流的一部分包括图像处理器基于与输入图像相对应的局部亮度、与输入图像相对应的局部色度、与输入图像相对应的检测内容、或者距输入图像的光学中心的径向距离中的至少一项来调整噪声流。
在第二实施例之外，图像处理器自适应地组合噪声流的一部分包括图像处理器通过将局部亮度相关增益应用于噪声流来基于与输入图像相对应的局部亮度图调整噪声流，其中，局部亮度图在第一位置处具有第一局部亮度值并在第二位置处具有小于第一局部亮度值的第二局部亮度值，并且其中，响应于局部亮度图，局部亮度相关增益针对第一位置提供第一局部亮度增益值，并且针对第二位置提供大于第一局部亮度增益值的第二局部亮度增益值。
在第二实施例之外，图像处理器自适应地组合噪声流的一部分包括图像处理器通过将内容等级相关增益应用于噪声流来基于与输入图像相对应的内容等级图调整噪声流，其中，内容等级图在第一位置处具有第一内容检测值并且在第二位置处具有小于第一内容检测值的第二内容检测值，并且其中，响应于内容等级图，内容等级相关增益针对第一位置提供第一内容等级增益值，并且针对第二位置提供小于第一等级相关增益值的第二内容等级增益值。
在第二实施例之外，图像处理器自适应地组合噪声流的一部分包括图像处理器通过将径向距离相关增益应用于噪声流来基于距光学中心的径向距离调整噪声流，其中，响应于第一位置距光学中心的距离大于第二位置距光学中心的距离，用于第一位置的第一径向距离自适应增益值小于用于第二位置的第二径向距离自适应增益值。
在第二实施例之外，输入图像和噪声流处于滤色器阵列域中，并且该图像处理器还用于：对噪声减少图像进行去马赛克以生成去马赛克图像、将空间噪声减少应用于去马赛克图像以生成第二噪声减少图像、以及在自适应地组合噪声流和参考图像以及第二噪声减少图像之前将噪声流转换为亮度噪声流。
在第二实施例之外，输入图像包括去马赛克输入图像，并且该图像处理器还用于将第二空间噪声减少应用于输入图像以生成第二噪声减少图像。
在一个或多个第三实施例中，一种***包括：用于基于输入图像的噪声减少来生成噪声减少图像的装置；用于基于输入图像和噪声减少图像来生成与输入图像相对应的噪声流的装置；以及用于自适应地组合噪声流的至少一部分和与输入图像相对应的参考图像以及与输入图像相对应的第二噪声减少图像以生成时间噪声减少输出图像的装置。
在第三实施例之外，用于自适应地组合噪声流的一部分的装置包括用于基于与输入图像相对应的运动信息来应用噪声流的装置。
在第三实施例之外，用于自适应地组合噪声流的一部分的装置包括用于基于与输入图像相对应的运动信息来应用噪声流的装置，其中，运动信息包括具有第一运动值的第一位置和具有大于第一运动值的第二运动值的第二位置，并且其中，用于应用噪声流的装置包括用于在第一位置处以比在第二位置处更高的等级应用噪声流的装置。
在第三实施例之外，用于自适应地组合噪声流的一部分的装置包括用于基于与输入图像相对应的运动信息来应用噪声流的装置，其中，运动信息包括具有小于阈值的第一运动值的第一位置和具有大于阈值的第二运动值的第二位置，并且其中，用于应用噪声流的装置包括用于在第一位置处应用噪声流并且在第二位置处不应用噪声流的装置。
在第三实施例之外，用于自适应地组合噪声流的一部分的装置包括用于通过将局部亮度相关增益应用于噪声流来基于与输入图像相对应的局部亮度图调整噪声流的装置，其中，局部亮度图在第一位置处具有第一局部亮度值并在第二位置处具有小于第一局部亮度值的第二局部亮度值，并且其中，响应于局部亮度图，局部亮度相关增益针对第一位置提供第一局部亮度增益值，并且针对第二位置提供大于第一局部亮度增益值的第二局部亮度增益值。
在第三实施例之外，用于自适应地组合噪声流的一部分的装置包括用于通过将内容等级相关增益应用于噪声流来基于与输入图像相对应的内容等级图调整噪声流的装置，其中，内容等级图在第一位置处具有第一内容检测值并且在第二位置处具有小于第一内容检测值的第二内容检测值，并且其中，响应于内容等级图，内容等级相关增益针对第一位置提供第一内容等级增益值，并且针对第二位置提供小于第一等级相关增益值的第二内容等级增益值。
在第三实施例之外，用于自适应地组合噪声流的一部分的装置包括用于通过将径向距离相关增益应用于噪声流来基于距光学中心的径向距离调整噪声流的装置，其中，响应于第一位置距光学中心的距离大于第二位置距光学中心的距离，用于第一位置的第一径向距离自适应增益值小于用于第二位置的第二径向距离自适应增益值。
在一个或多个第四实施例中，至少一个机器可读介质包括多个指令，该多个指令响应于在设备上被执行，使得设备通过执行以下操作来提供时间噪声减少：基于输入图像的噪声减少来生成噪声减少图像；基于输入图像和噪声减少图像来生成与输入图像相对应的噪声流；以及自适应地组合噪声流的至少一部分和与输入图像相对应的参考图像以及与输入图像相对应的第二噪声减少图像以生成时间噪声减少输出图像。
在第四实施例之外，自适应地组合噪声流的一部分包括基于与输入图像相对应的运动信息来应用噪声流。
在第四实施例之外，自适应地组合噪声流的一部分包括通过将局部亮度相关增益应用于噪声流来基于与输入图像相对应的局部亮度图调整噪声流，其中，局部亮度图在第一位置处具有第一局部亮度值并在第二位置处具有小于第一局部亮度值的第二局部亮度值，并且其中，响应于局部亮度图，局部亮度相关增益针对第一位置提供第一局部亮度增益值，并且针对第二位置提供大于第一局部亮度增益值的第二局部亮度增益值。
在第四实施例之外，自适应地组合噪声流的一部分包括通过将内容等级相关增益应用于噪声流来基于与输入图像相对应的内容等级图调整噪声流，其中，内容等级图在第一位置处具有第一内容检测值并且在第二位置处具有小于第一内容检测值的第二内容检测值，并且其中，响应于内容等级图，内容等级相关增益针对第一位置提供第一内容等级增益值，并且针对第二位置提供小于第一内容等级增益值的第二内容等级增益值。
在第四实施例之外，自适应地组合噪声流的一部分包括通过将径向距离相关增益应用于噪声流来基于距光学中心的径向距离调整噪声流，其中，响应于第一位置距光学中心的距离大于第二位置距光学中心的距离，用于第一位置的第一径向距离自适应增益值小于用于第二位置的第二径向距离自适应增益值。
在第四实施例之外，机器可读介质包括其他指令，该其他指令响应于在设备上被执行，使得设备通过以下操作来提供时间噪声减少：基于噪声减少图像来执行内容检测以生成内容等级图、基于噪声减少图像和参考图像来执行局部运动估计以生成局部运动图、对局部运动图执行轨迹中断检测以生成最终局部运动图、基于噪声减少图像来生成局部亮度图、并且基于内容等级图和局部亮度图来调整噪声流，其中，自适应地组合噪声流的一部分包括基于最终局部运动图来应用噪声流。
在一个或多个第五实施例中，至少一个机器可读介质可以包括多个指令，该多个指令响应于在计算设备上被执行，使得计算设备执行根据上述实施例中的任一实施例的方法。
在一个或多个第六实施例中，一种装置可以包括用于执行根据上述实施例中的任一实施例的方法的装置。
将认识到，实施例不限于被如此描述的实施例，而是可以在不脱离所附权利要求的范围的情况下通过修改和改变来实施。例如，上述实施例可以包括特征的特定组合。然而，上述实施例在这方面不受限制，并且在各种实现方式中，上述实施例可以包括仅承担这些特征的子集、承担这些特征的不同顺序、承担这些特征的不同组合、和/或承担除了所明确列出的特征之外的其他特征。因此，应参考所附权利要求以及这些权利要求所赋予的等同物的全部范围来确定实施例的范围。

Claims (22)

1.一种用于提供时间噪声减少的方法，包括：
基于输入图像的噪声减少来生成噪声减少图像；
基于所述输入图像和所述噪声减少图像来生成与所述输入图像相对应的噪声流；
基于所述噪声减少图像来执行内容检测以生成内容等级图；
基于所述噪声减少图像和与所述输入图像相对应的参考图像来执行局部运动估计以生成局部运动图；
对所述局部运动图执行轨迹中断检测以生成最终局部运动图；
基于所述噪声减少图像来生成局部亮度图；
基于所述内容等级图和所述局部亮度图来调整所述噪声流；以及
自适应地组合所述噪声流的至少一部分和所述参考图像以及与所述输入图像相对应的第二噪声减少图像以生成时间噪声减少输出图像，其中，自适应地组合所述噪声流的所述部分包括基于所述最终局部运动图来应用所述噪声流。
2.根据权利要求1所述的方法，其中，所述最终局部运动图包括具有第一运动值的第一位置和具有大于所述第一运动值的第二运动值的第二位置，并且其中，应用所述噪声流包括在所述第一位置处以比在所述第二位置处更高的等级应用所述噪声流。
3.根据权利要求1所述的方法，其中，所述最终局部运动图包括具有小于阈值的第一运动值的第一位置和具有大于所述阈值的第二运动值的第二位置，并且其中，应用所述噪声流包括在所述第一位置处应用所述噪声流并且在所述第二位置处不应用所述噪声流。
4.根据权利要求1所述的方法，其中，自适应地组合所述噪声流的所述部分和所述参考图像以及所述第二噪声减少图像包括基于与所述输入图像相对应的所述最终局部运动图来像素混合所述噪声流、所述参考图像、所述第二噪声减少图像和所述噪声减少图像。
5.根据权利要求1所述的方法，其中，调整所述噪声流还基于与所述输入图像相对应的局部色度、或者距所述输入图像的光学中心的径向距离。
6.根据权利要求1所述的方法，其中，调整所述噪声流包括将局部亮度相关增益应用于所述噪声流，其中，所述局部亮度图在第一位置处具有第一局部亮度值并在第二位置处具有小于所述第一局部亮度值的第二局部亮度值，并且其中，响应于所述局部亮度图，所述局部亮度相关增益针对所述第一位置提供第一局部亮度增益值，并且针对所述第二位置提供大于所述第一局部亮度增益值的第二局部亮度增益值。
7.根据权利要求1所述的方法，其中，调整所述噪声流包括将内容等级相关增益应用于所述噪声流，其中，所述内容等级图在第一位置处具有第一内容检测值并且在第二位置处具有小于所述第一内容检测值的第二内容检测值，并且其中，响应于所述内容等级图，所述内容等级相关增益针对所述第一位置提供第一内容等级增益值，并且针对所述第二位置提供小于所述第一内容等级增益值的第二内容等级增益值。
8.根据权利要求1所述的方法，其中，调整所述噪声流还通过将径向距离相关增益应用于所述噪声流来基于距光学中心的径向距离，其中，响应于第一位置距所述光学中心的距离大于第二位置距所述光学中心的距离，用于所述第一位置的第一径向距离自适应增益值小于用于所述第二位置的第二径向距离自适应增益值。
9.根据权利要求1所述的方法，其中，所述输入图像和所述噪声流处于滤色器阵列域中，并且所述方法还包括：
对所述噪声减少图像进行去马赛克以生成去马赛克图像；
将空间噪声减少应用于所述去马赛克图像以生成所述第二噪声减少图像；以及
在自适应地组合所述噪声流和所述参考图像以及所述第二噪声减少图像之前将所述噪声流转换为亮度噪声流。
10.根据权利要求1所述的方法，其中，所述输入图像包括去马赛克输入图像，并且所述方法还包括：
将第二空间噪声减少应用于所述输入图像以生成所述第二噪声减少图像。
11.一种用于提供时间噪声减少的***，包括：
存储器，被配置为存储输入图像；以及
图像处理器，被耦合到所述存储器，所述图像处理器用于：基于所述输入图像的噪声减少来生成噪声减少图像；基于所述输入图像和所述噪声减少图像来生成与所述输入图像相对应的噪声流；基于所述噪声减少图像来执行内容检测以生成内容等级图；基于所述噪声减少图像和与所述输入图像相对应的参考图像来执行局部运动估计以生成局部运动图；对所述局部运动图执行轨迹中断检测以生成最终局部运动图；基于所述噪声减少图像来生成局部亮度图；基于所述内容等级图和所述局部亮度图来调整所述噪声流；以及自适应地组合所述噪声流的至少一部分和所述参考图像以及与所述输入图像相对应的第二噪声减少图像以生成时间噪声减少输出图像，其中，自适应地组合所述噪声流的所述部分包括基于所述最终局部运动图来应用所述噪声流。
12.根据权利要求11所述的***，其中，所述最终局部运动图包括具有第一运动值的第一位置和具有大于所述第一运动值的第二运动值的第二位置，并且其中，所述图像处理器应用所述噪声流包括所述图像处理器在所述第一位置处以比在所述第二位置处更高的等级应用所述噪声流。
13.根据权利要求11所述的***，其中，所述最终局部运动图包括具有小于阈值的第一运动值的第一位置和具有大于所述阈值的第二运动值的第二位置，并且其中，所述图像处理器应用所述噪声流包括所述图像处理器在所述第一位置处应用所述噪声流并且在所述第二位置处不应用所述噪声流。
14.根据权利要求11所述的***，其中，所述图像处理器自适应地组合所述噪声流的所述部分和所述参考图像以及所述第二噪声减少图像包括所述图像处理器基于与所述输入图像相对应的所述最终局部运动图来像素混合所述噪声流、所述参考图像、所述第二噪声减少图像和所述噪声减少图像。
15.根据权利要求11所述的***，其中，所述图像处理器调整所述噪声流包括所述图像处理器基于与所述输入图像相对应的局部色度、或者距所述输入图像的光学中心的径向距离中的至少一项来调整所述噪声流。
16.根据权利要求11所述的***，其中，所述图像处理器调整所述噪声流包括所述图像处理器将局部亮度相关增益应用于所述噪声流，其中，所述局部亮度图在第一位置处具有第一局部亮度值并在第二位置处具有小于所述第一局部亮度值的第二局部亮度值，并且其中，响应于所述局部亮度图，所述局部亮度相关增益针对所述第一位置提供第一局部亮度增益值，并且针对所述第二位置提供大于所述第一局部亮度增益值的第二局部亮度增益值。
17.根据权利要求11所述的***，其中，所述图像处理器调整所述噪声流包括所述图像处理器将内容等级相关增益应用于所述噪声流，其中，所述内容等级图在第一位置处具有第一内容检测值并且在第二位置处具有小于所述第一内容检测值的第二内容检测值，并且其中，响应于所述内容等级图，所述内容等级相关增益针对所述第一位置提供第一内容等级增益值，并且针对所述第二位置提供小于所述第一内容等级增益值的第二内容等级增益值。
18.根据权利要求11所述的***，其中，所述图像处理器还通过将径向距离相关增益应用于所述噪声流来基于距光学中心的径向距离调整所述噪声流，其中，响应于第一位置距所述光学中心的距离大于第二位置距所述光学中心的距离，用于所述第一位置的第一径向距离自适应增益值小于用于所述第二位置的第二径向距离自适应增益值。
19.根据权利要求11所述的***，其中，所述输入图像和所述噪声流处于滤色器阵列域中，并且所述图像处理器还用于：对所述噪声减少图像进行去马赛克以生成去马赛克图像；将空间噪声减少应用于所述去马赛克图像以生成所述第二噪声减少图像；以及在自适应地组合所述噪声流和所述参考图像以及所述第二噪声减少图像之前将所述噪声流转换为亮度噪声流。
20.根据权利要求11所述的***，其中，所述输入图像包括去马赛克输入图像，并且所述图像处理器还用于：将第二空间噪声减少应用于所述输入图像以生成所述第二噪声减少图像。
21.至少一个机器可读介质，包括：
多个指令，所述多个指令响应于在计算设备上被执行，使得所述计算设备执行根据权利要求1-10中任一项所述的方法。
22.一种设备，包括：
用于执行根据权利要求1-10中任一项所述的方法的装置。
CN201780019964.2A 2016-03-23 2017-02-16 用于时间噪声减少的运动自适应流处理 Active CN108885785B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/078,735 US10559073B2 (en) 2016-03-23 2016-03-23 Motion adaptive stream processing for temporal noise reduction
US15/078,735 2016-03-23
PCT/US2017/018072 WO2017165022A2 (en) 2016-03-23 2017-02-16 Motion adaptive stream processing for temporal noise reduction

Publications (2)

Publication Number Publication Date
CN108885785A CN108885785A (zh) 2018-11-23
CN108885785B true CN108885785B (zh) 2023-08-15

Family

ID=59896455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780019964.2A Active CN108885785B (zh) 2016-03-23 2017-02-16 用于时间噪声减少的运动自适应流处理

Country Status (5)

Country Link
US (1) US10559073B2 (zh)
KR (1) KR102626115B1 (zh)
CN (1) CN108885785B (zh)
DE (1) DE112017000500B4 (zh)
WO (1) WO2017165022A2 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201713051D0 (en) * 2017-08-15 2017-09-27 Imagination Tech Ltd Low latency distortion unit for head mounted displays
EP3671530A1 (en) * 2018-12-17 2020-06-24 Koninklijke Philips N.V. Device, system and method for object recognition
ES2793800B2 (es) * 2019-05-13 2021-03-30 Seat Sa Sistema y metodo de retencion para toma de corriente de enchufe en el interior de un vehiculo
CN110210383B (zh) * 2019-05-31 2021-08-17 北京工业大学 一种融合运动模式和关键视觉信息的篮球视频语义事件识别方法
DE102019217220A1 (de) * 2019-11-07 2021-05-12 Siemens Healthcare Gmbh Computerimplementiertes Verfahren zur Bereitstellung eines Ausgangsdatensatzes
JP7437921B2 (ja) * 2019-11-22 2024-02-26 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US11418766B2 (en) * 2019-12-17 2022-08-16 Samsung Electronics Co., Ltd. Apparatus and method for chroma processing for multi-frame fusion
US11538136B2 (en) * 2020-10-28 2022-12-27 Qualcomm Incorporated System and method to process images of a video stream
RU2764395C1 (ru) * 2020-11-23 2022-01-17 Самсунг Электроникс Ко., Лтд. Способ и устройство для совместного выполнения дебайеризации и устранения шумов изображения с помощью нейронной сети
US11798135B2 (en) * 2021-02-24 2023-10-24 Gn Audio A/S Method and system for three-dimensional noise reduction and contrast enhancement of images
EP4356345A1 (en) * 2021-06-18 2024-04-24 Subtle Medical, Inc. Systems and methods for real-time video denoising

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102077572A (zh) * 2008-06-19 2011-05-25 松下电器产业株式会社 用于在成像***中防止运动模糊和重影的方法及装置
CN102201113A (zh) * 2010-03-23 2011-09-28 索尼公司 图像处理设备、图像处理方法以及程序
CN104104843A (zh) * 2013-04-05 2014-10-15 阿尔特拉公司 用于视频处理的有效的2d自适应噪声阈值
WO2014189613A1 (en) * 2013-05-24 2014-11-27 Intel Corporation Skin tone tuned image enhancement

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5038388A (en) * 1989-05-15 1991-08-06 Polaroid Corporation Method for adaptively sharpening electronic images
US5442407A (en) * 1994-03-22 1995-08-15 Matsushita Electric Corporation Of America Video signal noise reduction system using time-varying filter coefficients
US5867606A (en) * 1997-08-12 1999-02-02 Hewlett-Packard Company Apparatus and method for determining the appropriate amount of sharpening for an image
KR100429804B1 (ko) * 2001-12-29 2004-05-03 삼성전자주식회사 적응적 영상 노이즈 감쇄 장치 및 그 방법
US7245783B2 (en) * 2003-06-24 2007-07-17 Eastman Kodak Company System and method for estimating, synthesizing and matching noise in digital images and image sequences
US7596284B2 (en) * 2003-07-16 2009-09-29 Hewlett-Packard Development Company, L.P. High resolution image reconstruction
WO2010036250A1 (en) * 2008-09-24 2010-04-01 Nikon Corporation Method and device for image noise compensation with image enhancement
US8374457B1 (en) * 2008-12-08 2013-02-12 Adobe Systems Incorporated System and method for interactive image-noise separation
EP2380132B1 (en) * 2008-12-25 2018-02-07 Medic Vision - Imaging Solutions Ltd. Denoising medical images
US8767127B2 (en) * 2009-04-17 2014-07-01 General Instrument Corporation System for reducing noise in video processing
US8963949B2 (en) * 2009-04-22 2015-02-24 Qualcomm Incorporated Image selection and combination method and device
US8274583B2 (en) * 2009-06-05 2012-09-25 Apple Inc. Radially-based chroma noise reduction for cameras
US8830359B2 (en) * 2010-03-30 2014-09-09 Nikon Corporation Image processing apparatus, imaging apparatus, and computer readable medium
CN103069432A (zh) * 2010-06-30 2013-04-24 梅迪奇视觉成像解决方案有限公司 医学图像的非线性分辨率降低方法
US8830360B1 (en) * 2010-08-25 2014-09-09 Sri International Method and apparatus for optimizing image quality based on scene content
US8471932B2 (en) * 2010-09-30 2013-06-25 Apple Inc. Spatial filtering for image signal processing
US8639050B2 (en) * 2010-10-19 2014-01-28 Texas Instruments Incorporated Dynamic adjustment of noise filter strengths for use with dynamic range enhancement of images
US20120200754A1 (en) * 2011-02-09 2012-08-09 Samsung Electronics Co., Ltd. Image Noise Reducing Systems And Methods Thereof
CN103002195B (zh) 2011-09-09 2016-03-30 中磊电子（苏州）有限公司 运动检测方法及运动检测装置
JP2013090034A (ja) * 2011-10-14 2013-05-13 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
US8811757B2 (en) * 2012-01-05 2014-08-19 Texas Instruments Incorporated Multi-pass video noise filtering
JP2013153813A (ja) * 2012-01-27 2013-08-15 Olympus Corp 内視鏡装置、画像処理方法及びプログラム
KR101306242B1 (ko) 2012-03-26 2013-09-09 엠텍비젼 주식회사 영상의 시간적 잡음 제거 방법 및 장치
US9374506B2 (en) 2013-01-04 2016-06-21 Qualcomm Incorporated Method and apparatus of reducing random noise in digital video streams
US9165345B2 (en) 2013-03-14 2015-10-20 Drs Network & Imaging Systems, Llc Method and system for noise reduction in video systems
EP2992504B1 (en) * 2013-04-29 2017-10-25 Koninklijke Philips N.V. De-noised reconstructed image data edge improvement
EP3001669B1 (en) 2013-05-22 2018-03-14 Sony Semiconductor Solutions Corporation Image processing apparatus, image processing method and program
JP2015046678A (ja) * 2013-08-27 2015-03-12 キヤノン株式会社 画像処理装置、画像処理方法、および撮像装置
US9449374B2 (en) * 2014-03-17 2016-09-20 Qualcomm Incoporated System and method for multi-frame temporal de-noising using image alignment
JP2016025439A (ja) * 2014-07-18 2016-02-08 ソニー株式会社 信号処理装置
US9514525B2 (en) * 2014-07-31 2016-12-06 Apple Inc. Temporal filtering for image data using spatial filtering and noise history
US10944938B2 (en) * 2014-10-02 2021-03-09 Dolby Laboratories Licensing Corporation Dual-ended metadata for judder visibility control
GB2536429B (en) * 2015-03-13 2018-01-10 Imagination Tech Ltd Image noise reduction
US20170109867A1 (en) * 2015-10-16 2017-04-20 Motorola Mobility Llc Camera array for performing non-local means image processing over multiple sequential images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102077572A (zh) * 2008-06-19 2011-05-25 松下电器产业株式会社 用于在成像***中防止运动模糊和重影的方法及装置
CN102201113A (zh) * 2010-03-23 2011-09-28 索尼公司 图像处理设备、图像处理方法以及程序
CN104104843A (zh) * 2013-04-05 2014-10-15 阿尔特拉公司 用于视频处理的有效的2d自适应噪声阈值
WO2014189613A1 (en) * 2013-05-24 2014-11-27 Intel Corporation Skin tone tuned image enhancement

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
信号与噪声;姚海根;《出版与印刷》;20121215(第04期);全文 *

Also Published As

Publication number Publication date
WO2017165022A2 (en) 2017-09-28
CN108885785A (zh) 2018-11-23
KR102626115B1 (ko) 2024-01-16
US20170278225A1 (en) 2017-09-28
DE112017000500T5 (de) 2018-12-06
DE112017000500B4 (de) 2024-05-23
US10559073B2 (en) 2020-02-11
KR20180119157A (ko) 2018-11-01
WO2017165022A3 (en) 2018-07-26

Similar Documents

Publication Publication Date Title
CN108885785B (zh) 用于时间噪声减少的运动自适应流处理
CN108352059B (zh) 从高动态范围视频生成标准动态范围视频的方法和装置
US10885384B2 (en) Local tone mapping to reduce bit depth of input images to high-level computer vision tasks
CN111016445B (zh) 使用块匹配的镜头阴影颜色校正的方法和***
CN107431770B (zh) 用于自适应线性亮度域视频流水线架构的方法、***、设备和介质
EP3039864B1 (en) Automatic white balancing with skin tone correction for image processing
CN106464807B (zh) 用于基于相位的自动聚焦的可靠性测量
CN112584149A (zh) 用于视频编码的内容自适应降噪的方法和***
US11017511B2 (en) Method and system of haze reduction for image processing
US10594952B2 (en) Key frame selection in burst imaging for optimized user experience
US11017541B2 (en) Texture detector for image processing
US10924682B2 (en) Self-adaptive color based haze removal for video
US9633416B1 (en) Adaptive control for denoise filtering
US9275468B2 (en) Fallback detection in motion estimation
US9286655B2 (en) Content aware video resizing
US20240153033A1 (en) Method and system of automatic content-dependent image processing algorithm selection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant