CN108604302A - 用于计算机视觉的自适应双边(bl)滤波 - Google Patents

用于计算机视觉的自适应双边(bl)滤波 Download PDF

Info

Publication number
CN108604302A
CN108604302A CN201780009182.0A CN201780009182A CN108604302A CN 108604302 A CN108604302 A CN 108604302A CN 201780009182 A CN201780009182 A CN 201780009182A CN 108604302 A CN108604302 A CN 108604302A
Authority
CN
China
Prior art keywords
weights
lut
range
pixel
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780009182.0A
Other languages
English (en)
Other versions
CN108604302B (zh
Inventor
M·N·莫迪
S·达布雷
J·G·小维拉里尔
W·华勒斯
N·南丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Texas Instruments Inc
Original Assignee
Texas Instruments Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Texas Instruments Inc filed Critical Texas Instruments Inc
Publication of CN108604302A publication Critical patent/CN108604302A/zh
Application granted granted Critical
Publication of CN108604302B publication Critical patent/CN108604302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

在所描述的示例中，一种用于成像的对噪声滤波的方法(400)包括接收(401)具有位置和范围数据的图像帧。滤波器大小将帧分成(402)滤波器窗口以用于对滤波器窗口中的每个进行处理。针对第一像素，到中心像素的空间和该像素与中心像素之间的范围差被确定(403)，并且用于从2D权重LUT中的包括针对空间和范围差的加权的权重中选择(404)所选权重，通过将所选的2D权重应用于该像素来计算(405)经滤波的范围值，并且对范围、经滤波的范围值和所选的2D权重进行求和(406)。针对至少第二像素重复进行(407)确定、选择、计算和求和。将来自第一像素和第二像素的贡献的总和除以(408)所选的2D权重的和以生成用于中心像素的最终的经滤波的范围值。

Description

用于计算机视觉的自适应双边(BL)滤波
技术领域
本说明书涉及使用双边滤波处理数字图像。
背景技术
一种流行的图像处理技术为将双边(BL)滤波器施加到图像。BL滤波器为基于图像中邻近像素的空间接近度和光度相似度计算图像中像素的新值的滤波器。
BL滤波由于其边缘保持性质而成为用于计算机视觉***诸如用于高级驾驶辅助***(ADAS)的实际上的噪声滤波。ADAS通过自动视觉控制***实现，该自动视觉控制***处理来自包括数字摄像机、激光器、雷达和其他传感器的成像源的数字信息以执行任务诸如车道偏离警告、睡意传感器和停车辅助。在此类视觉控制***中，视觉传感器可以被实现为片上***(SoC)，该片上***包括耦接到处理器诸如数字信号处理器(DSP)或其他处理器的用于噪声滤波的BL滤波器。
常规的BL滤波在基本上实时(动态(on-the-fly))使用下文中所示的已知的标准BL滤波方程中使用直接公式实施方式，其中p为中心像素并且q为邻近像素。
BF[I]p＝1/Wp ∑G σs(||p-q||)·Gσr(|Ip-Iq|)Iq
qεS
其中BF[I]p为滤波输出，1/Wp为正规化(normalization)因数，Gσs(||p-q||)为空间(即，距离)权重，Gσr(|Ip-Iq|)为范围(即，强度)权重，并且Iq为被滤波的输入像素。相应的权重各自计算为两个高斯函数的乘积。在2维(x，y)中，各向同性(即圆对称)高斯函数具有下面的形式：
其中σ为该分布的标准差(或方差)。
为支持多个范围和距离，根据上述直接公式执行西格玛(σ)计算，其中σ为定义模糊量的方差。为采用自适应BL滤波，使用局部σ的复杂内容自适应通常被使用。
发明内容
在所描述的示例中，一种用于成像的对噪声滤波的方法包括从包括多个窗口像素的具有位置和范围(强度)值的多个像素接收包括图像数据的图像帧。基于所选的滤波器窗口大小将多个滤波器窗口进行处理，该滤波器窗口大小将帧分成包括中心像素和多个其他像素(邻域像素)的多个滤波器窗口，该多个其他像素包括第一像素和至少第二像素。针对第一像素，确定空间以及第一像素和中心像素之间的范围差，该空间为第一像素到中心像素的距离。空间/范围差被用于从存储在2D权重查找表(LUT)中的预计算的组合2D权重选择组合2D权重，该组合2D权重包括针对空间和范围差二者的加权。通过将所选的组合2D权重应用于第一像素来计算滤波的范围值，并且然后对范围、滤波的范围值和所选的2D权重进行求和以确定第一像素的贡献。
然后，针对第二像素重复进行确定、选择、计算和求和，通常针对滤波器窗口中的所有其他(邻域)像素完成这些步骤。来自第一像素和第二像素(以及通常在滤波器窗口中的所有其他像素)的贡献总和除以来自这些像素的所选的组合2D权重的和以生成用于中心像素的最终滤波的范围值作为滤波的输出像素。所述方法通常针对图像帧中的所有滤波器窗口进行重复以生成将噪声滤波的图像，该图像可以被用于高级驾驶辅助***(ADAS)。
附图说明
图1为根据示例实施例的包括至少一个具有组合2D权重的组合2D权重LUT的示例BL滤波器的流水线的框图表示。
图2A和图2B描绘了根据示例实施例的示例2D权重计算细节。
图3A至图3C示出了根据示例实施例的所描述的2D权重子表的示例工作方式。
图4为流程图，其示出了根据示例实施例的用于使用至少一个所描述的组合2D权重LUT对图像进行BL滤波的示例方法中的步骤。
具体实施方式
在附图中，相似的附图标记用于指定类似或等同的元素。一些所示出的动作或事件可以以与其他动作或事件不同的顺序和/或与其他动作或事件同时地发生。此外，实现根据本说明书的方法可以不要求一些所示出的动作或事件。
而且，如本文所使用，在没有进一步的限制条件的情况下，术语“耦接到”或“与...耦接”(等等)描述间接或直接的电连接。因此，如果第一装置“耦接”到第二装置，则该连接可以是通过仅寄生效应位于路径中的直接电连接，或通过经由包括其他装置或连接的中间项的间接电连接。对于间接耦接，中间项通常不修改信号信息，但是可以调整其电流水平、电压水平和/或功率水平。
已知的双边(BL)滤波实施方式计算复杂性高，导致需要用于电路硬件(HW)滤波器实施方式的大半导体(例如，硅)面积或用于软件(算法)滤波器实施方式的高中央处理(CPU)负荷。该低效率是用于动态生成相应权重的复杂方程的结果，因为如上文所述，权重生成方程需要涉及两个高斯函数的乘积的计算。
本文对使用至少一个组合2D权重LUT(多个2D权重LUT)的BL滤波器的算法或硬件配置细节进行了描述。在直接BF滤波方程(下面再次对其进行复制)中：
BF[I]p＝1/Wp ∑G σ s(||p-q||)·G σ r(|Ip-Iq|)Iq
qεS
BF表示BL滤波器，使得BF[I]为由BL滤波器输出的经BF滤波的图像。空间是指到中心像素的距离，并且范围是指光的幅值/强度，p为中心像素，并且q为邻近像素。求和之前的第一项1/Wp为正规化(或加权)因子。被求和的项包括空间(即，距离)权重(Gσr(|Ip-Iq|)项)乘以范围(即，强度)权重(Gσr(|Ip-Iq|))乘以Iq，Iq为正在滤波的输入像素。空间权重包括Gσr，其为核的空间广度(该广度为由滤波器窗口限定的所考虑像素邻域的大小)，并且范围权重包括Gσs，其为边缘的“最小”幅值。
所描述的实施例将空间权重和范围权重组合在一起以提供存储在一个或多个2D权重LUT中的预计算的组合2D权重(W(i，j)(i对应于空间，并且j对应于范围))。如下文更详细地描述的，可以将2D权重LUT中的2D权重值可选地量化以减小LUT的大小(条目数)。关于针对所描述的2D权重LUT生成组合2D权重，可以基于输入(导引)图像针对图像中的每个中心像素使用下面的示例方程计算组合2D权重：
其中i为中心像素索引，j为邻域像素索引，Ii为中心像素输入图像范围，并且Ij为邻域像素输入图像范围。
示例实施方式细节在下文中示出：对于5×5(用于5×5滤波器的像素邻域)而言(i-j)为3位；(Ii-Ij)为13位，其被量化为8位；每个2D权重Wi，j被预计算为包括正规化的8位值以放入组合2D权重LUT；LUT[i][j]：i为3位像素索引，并且j为8位图像范围差。查找值可以为8位和总2D LUT存储5×256×8位＝1,280字节，其可以被存储于诸如基于触发器的设计中。如下文所述，2D LUT大小可以基于空间和/或范围数据的对称性质被进一步减小。虽然该示例使用大小5×5的像素邻域，但是可以将所描述的实施例扩展至任何滤波器窗口大小，诸如4×4、7×7、9×9、11×11等等。
对于上述方程中的1/Ki除法，可以使用下文中描述为图1的1/x LUT 125的LUT，其中可以使用倒数(reciprocal)表执行1/Ki计算。下面为倒数表的具体示例细节。倒数表可以位于只读存储器(ROM)(即硬连线的所有值)中，并且每个条目可以存在24位。前512条目不可以被量化，其中剩余的条目在查找两个邻近值期间利用双线性插值通过16被量化，并且可以存在总共993个LUT条目。
图1为根据示例实施例的被示出包括一个或多个所描述的具有组合2D权重(W(i，j))的2D权重LUT 120的示例BL滤波器100的流水线的框图表示。如上所述，BL滤波器100可以被实现为硬件(HW)滤波块，或者由实施所描述的软件的处理器(例如，中央处理(CPU))实现。BL滤波器100读取源于场景的通常从存储器(例如双倍速率同步动态随机存取存储器(DDR SDRAM)或片上存储器)被提供到共享存储器(SL2)的图像数据(具有多个像素的输入图像(或帧))，并且对每个滤波器窗口(大小N×M，诸如5×5)执行所描述的双边(2D)滤波，以针对滤波器窗口中的每个中心像素生成最终的经滤波的范围值作为已经降噪的BL滤波器输出像素。
由所选滤波器窗口大小限定的N×M窗口像素被示出由像素获取块105接收。接收的N×M窗口像素限定中心像素和在中心像素(在图2A中示为中心像素215)周围的N×M-1个像素或其他像素(或邻域像素)。在图2A所示的具体示例中，滤波器窗口大小为5×5，使得中心像素215旁边的其他(邻域)像素总计24个。
示为块110的块为像素贡献计算块，其通常通过使用相应像素的空间(位置)和范围(强度)数据以从一个或多个组合2D权重LUT 120选择组合2D权重来针对N×M滤波器窗口中的每个像素计算像素贡献。权重查找块111接收N×M像素。权重查找块111所采用的2D权重查找索引策略取决于滤波器窗口中相应像素相对于中心像素的空间(位置)、以及该像素与中心像素的范围相比较的范围差。
2D LUT 120的大小取决于使用空间查找的策略、以及像素位宽的可选量化(如果有的话)的量。当2D权重LUT 120包括多个子LUT表时，两种不同的互相排斥的子表选择技术如图1所示进行描述。每个子LUT表具有源自将范围σ和空间σ组合成单个(不可分开)表的值。即使在生成每个子LUT表时仅改变范围σ(而不是范围和空间σ二者)，表针对每个子表仍包含空间σ。因此，子表中的每个参数包括空间和范围σ二者。
本文中被称为自适应模式控制的第一子表选择技术被示出由“模式”信号控制，该“模式”信号通常由应用于权重查找块111的处理器(未示出)提供，用于基于每个像素选择特定的子LUT表。在该实施例中，权重查找块111对每个滤波器窗口中的其他像素的范围求平均以计算局部平均范围，用于为选择特定的子LUT选择索引。
被称为直接映射到表ID的第二子表选择技术被示为由所示“子表选择”信号控制，该“子表选择”信号通常由应用于权重查找块111的处理器提供，用于针对横跨整个帧的像素处理选择特定的子LUT。在该实施例中，权重查找块111索引到由“子表选择”信号指定的子LUT。该实施例允许多个子LUT被配置到不同的平面(即亮度对色度)或不同的视频流(不同的摄像机源)以立即被加载到存储器中并且在不需要对每帧重新加载LUT的情况下基于每个帧使用子表选择信号进行选择。
子表选择对应于用户想要对正在被处理的特定帧使用哪个子表。该特征通过下面的具体示例情况进行描述。
1.如果正处理包括2个平面(亮度平面和色度平面)的视频，则通常每次仅一个平面可以经受噪声滤波器。亮度平面和色度平面具有不同的子采样和噪声特性，所以它们通常需要不同的2D LUT配置。在没有所描述的子表选择信号的情况下，在处理来自每个平面的数据之间将存在将2D LUT重新编程的需要。对于视频馈送，那意味着来自摄像机的每帧2次。因为将2D LUT重新编程花费大量时间，所以更好的是使用将2D LUT中的二者编程为2个子LUT表的配置。这样，当处理亮度平面时，将子表选择信号简单地编程为“0”，对应于子表＝0，并且当处理色度平面时，可以将子表选择信号设定为“1”。
2.如果正处理涉及并行的4个仅亮度的摄像机输入的算法，则通常每次仅一个摄像机输入可以经受噪声滤波器。这些摄像机输入中的每个可以具有不同的噪点特性，所以它们需要不同的2D LUT配置。在没有所描述的子表选择信号的情况下，在每个图像之间将需要将2D LUT重新编程。对于视频馈送，那意味着来自摄像机的每时间戳4次(每个摄像机一次)。因为将2D LUT重新编程花费大量时间，所以更好的是使用将2D LUT中的二者编程为4个子表的所描述的配置。这样，当处理第一摄像机输入时，对应于子表＝0，将子表选择信号简单地编程为“0”，并且当处理下一个摄像机输入时，可以将子表选择信号设定为“1”…并且对于子表3和子表4以此类推。
乘法/累积块112通过将邻域中的每个像素乘以由权重查找块111选择的对应的2D滤波器权重并且将所有结果加起来来执行数字滤波。累积块113计算所选的2D权重的和以用作示为1/x LUT 125的倒数查找表的索引以用于基于有效LUT的用于正规化的除法。
除法块115被示出具有与乘法累积块112的输出、累积块113的输出和1/x LUT 125耦接的输入。除法块115被示出包括1/x LUT查找块116和乘法块117，乘法块117被示出生成经滤波的输出像素121，该经滤波的输出像素121反映了针对中心像素值的正规化噪声滤波范围值。1/x LUT查找块116为倒数值查找，其中查找基于作为索引的所有权重的总和，该索引从1/x LUT 125选择值用于除法以实现正规化。然后，乘法块117在1/x LUT查找块116将滤波器的输出乘以由1/x LUT查找块116选择的1/x LUT 125的结果之后实现(滤波器输出)/(权重和)除法的有效方式。
图2A和图2B描绘了使用减小LUT条目的数量并且因此减小需要的2D权重LUT大小的量化的示例权重计算细节。图2A示出了因子为5的示例空间(即距离)量化。虽然正在使用5×5滤波器窗口和因此24个其他(邻近)像素，但是仅相对于中心像素215示出了5个不同的像素位置(距离)。在该示例中，距离0处的像素数量＝4，距离1处的像素数量＝4，距离2处的像素数量＝4，距离3处的像素数量＝8，并且距离4处的像素数量＝4。
线性插值可以用于类似于关于图2A描述的空间量化来对范围(即强度)值量化。例如，在该示例中，12位像素范围(强度)值(0至4,095)可以被减小至256(8位)，因此减小为1/16，诸如通过线性插值。替代地，非线性插值可以用于通过使用非线性(NL)LUT将范围量化。与在较高范围/强度处的步长相比较，NL LUT具有在较低范围/强度处的较精细的步长。与在较高强度处的步长(对应于LUT中间隔较近的数据)处相比较，较精细的步长对应于较低强度处的LUT中间隔更紧密的数据。例如，NL LUT可以以通常更重要的较低强度的间隔和较高(不太敏感)的强度间隔中的较高步长(例如2k)保持较高的精确度(例如，步长＝32)。
图2B示出了与外部全分辨率2D LUT的大小相比较示出的虚线的相交内限定的示例量化的2D权重LUT的尺寸，其中i用于空间(距离)，并且j用于范围(强度)。对于示例5×5滤波器窗口，(i-j)为3位。(Ii-Ij)为13位，其被量化为8位。Wi,j(组合的2D权重)是至少被存储在一个2D LUT(诸如图1所示2D LUT 120)中的包括正规化的被预计算为8位的值。LUT[i][j]：i为3位像素索引，j为8位，图像范围(强度)差异查找值为8位。总存储为5×256×8位＝1,280字节，诸如使用触发器作为存储器元件。因此该示例中提供了2D权重LUT大小减小为约1/80(相对为25×4,096＝102,400字节的全分辨率)，同时实现在从生成的模拟图像评估的图像质量中证实的类似的经滤波的图像质量。
噪声和因此西格玛(σ)本质上为范围(即强度)和空间(距中心像素的距离)的线性函数。为解决这一挑战，提供了多个子表，每个字表覆盖给定表内的不同水平的至少范围(强度)，并且给定的2D LUT子表基于平均范围动态地被选择。
图3A至图3C通过使用4个所描述的2D权重LUT子表描述示例，示出了所描述的子表的工作方式，其中相应的LUT子表各自覆盖不同水平的范围(并且因此覆盖不同的σ值)。图3A示出了使用量化将针对参数1、2、3和4的独立的2D LUT压缩成所示压缩的2D LUT子表。该示例中的量化用大小为x/4的四个表替换大小为x的一个表。这意味着针对给定的西格玛(σ)值从大小为x的较大的表中挑选每个第4的值。如图3A所示的本文使用的每个参数反映了范围σ和空间σ。量化后的用于参数1、2、3和4的独立的2D LUT在下文中被示出压缩成单个2D权重LUT，其包括示为图3A中的2D-LUT1、2D-LUT2、2D-LUT3和2D-LUT4的2D LUT子表。
图3B示出了num_sbu-table＝2的双边模式和num_sbu-table＝4的双边模式，每种模式具有示出为对应于不同的偏移地址范围的距离0至4的多个空间(即，距离)条目。图3B实质上示出了用于各种σ值的多个子表划分(例如附图左侧上的2子表配置和附图右侧上的4子表配置)。该示例示出每行取得256个条目，并且子表以交错方式被检索(例如table0[0]、table1[0]、table0[1]、table1[1]等等)。
图3C示出了使用局部4×4求平均的适应体(adaption)，其可以用于LUT子表选择。作为示例，图3C示出了来自围绕中心像素的5×5像素邻域的左上4×4像素。使用在双边滤波器像素邻域的大小内的像素邻域具有在本地存储器内已经可用的益处。而且，选择像素的数量为2的幂意味着可以仅通过计算像素的和以及右移而不是除法来获得平均(例如16个像素的平均可以通过将和右移4给出)。所选择的邻域像素的数量、以及它们距中心像素的距离不限于给定的示例(即邻域像素可以为全5×5滤波器窗口，或者更小或更大的大小)。
图4为流程图，其示出根据示例实施例的用于使用处理器或使用BL滤波器硬件对图像进行BL滤波的示例算法400中的步骤，该处理器实施存储在可处理器访问的存储器中的BL滤波器算法，该BL滤波器硬件被配置为使用至少一个所描述的组合2D权重LUT执行方法。步骤401包括从包括位置和范围的多个像素接收包括图像数据的图像帧。
步骤402包括基于所选择的滤波器窗口大小，将帧分成滤波器窗口，每个滤波器窗口包括中心像素和多个其他像素(或邻域像素)，所述多个其他像素包括第一像素和第二像素。步骤403至步骤407包括处理多个滤波器窗口中的每个，包括用于第一像素的步骤403至步骤406，其中步骤403确定为相对于中心像素的第一像素距离的空间和其范围与中心像素的范围之间的范围差。
步骤404包括使用空间和范围差，从多个组合2D权重选择所选的组合2D权重(所选的2D权重)，该多个组合2D权重各自包括来自至少一个组合的预计算2D权重查找表(2D权重LUT 120)的针对空间和范围差二者的加权，因此排除任何运行时间权重计算。步骤405包括通过将所选的2D权重应用于第一像素来计算经滤波的范围值。步骤406包括对范围、经滤波的范围值和所选的2D权重进行求和以确定第一像素的贡献。步骤407包括对至少第二像素重复进行确定、选择、计算和求和。步骤407包括将来自第一像素和至少第二像素的贡献的总和除以(诸如使用图1中的除法块115)来自第一像素和至少第二像素的所选的2D权重的和，以生成用于中心像素的最终的经滤波范围值作为来自BL滤波器的输出像素121。来自对所有的多个滤波器窗口进行重复处理的输出像素可以用于生成用于ADAS的噪声滤波图像。
如上文所述，对于2D权重提供用于范围的不同的西格玛(σ)值的2D权重子LUT实施例，在选择2D权重之前，所述方法可以为由施加到权重查找块111的模式信号控制的进一步的自适应模式控制，以用于基于每个像素选择特定的子LUT表。在该实施例中，权重查找块111对每个滤波器窗口中的其他像素的范围的求平均以计算局部平均范围以用于为选择子LUT选择索引。替代地，对表ID的直接映射可以由施加到权重查找块111的“子表选择”信号控制，以用于为横跨整个帧的像素处理选择特定的子LUT。在该实施例中，权重查找块111索引到由“子表选择”信号指定的子LUT。
例如，所描述的算法或HW块还可以用作用于图像金字塔生成的倍频程定标器、通用2D FIR滤波器、或卷积引擎。在用作倍频程滤波器的情况下，诸如通过在像素加载期间跳过2(在水平方向上)、(用高斯滤波器系数)进行通用滤波、以及对于像素存储跳过2(每条线)来实现倍频程滤波器。
在权利要求的范围内，在所描述的实施例中修改是可能的，并且其他实施例是可能的。

Claims (21)

1.一种用于成像的对噪声滤波的方法，其包括：
使用处理器实施存储在由所述处理器可访问的存储器中的双边滤波算法即BL滤波器算法、或者使用被配置为对包括图像数据的图像帧执行所述方法的BL滤波器硬件，所述图像数据包括来自多个像素的位置和范围，所述帧包括多个滤波器窗口，每个所述滤波器窗口各自包括中心像素和多个其他像素，所述多个其他像素包括第一像素和第二像素，处理所述多个滤波器窗口中的每个包括：
针对所述第一像素，确定为其相对于所述中心像素的距离的空间、和其范围与所述中心像素的范围之间的范围差，使用所述空间和所述范围差，从多个组合2D权重选择所选的组合2D权重，所述多个组合2D权重各自包括来自至少一个组合的预计算的2D权重查找表即2D权重LUT的针对所述空间和所述范围差二者的加权，通过将所述所选的组合2D权重应用于所述第一像素计算经滤波的范围值，并且对所述范围、所述经滤波的范围值和所述所选的2D权重求和以确定所述第一像素的贡献，
对至少所述第二像素重复进行所述确定、所述选择、所述计算和所述求和，以及
将来自所述第一像素和至少所述第二像素的所述贡献的总和除以来自所述第一像素和所述第二像素的所述所选的组合2D权重的和，以生成用于所述中心像素的最终经滤波的范围值作为输出像素。
2.根据权利要求1所述的方法，其中所述2D权重LUT包括多个2D权重子LUT，所述多个2D权重子LUT各自具有至少针对所述范围提供多个不同的西格玛即σ值的多个组合2D权重，其中在所述选择之前，所述方法进一步包括：
基于像素图像属性从所述多个2D权重子LUT自适应地挑选所述多个2D权重子LUT中的所选的一个即所选的2D权重子LUT，并且
其中选择所述所选的2D权重来自所述所选的2D权重子LUT。
3.根据权利要求1所述的方法，其中所述2D权重LUT以所述空间和所述范围中的至少一个被量化。
4.根据权利要求3所述的方法，其中所述2D权重LUT以所述空间和所述范围二者被量化。
5.根据权利要求3所述的方法，其中非线性插值被使用以通过使用用于所述2D权重LUT的非线性LUT即NL LUT将所述范围量化，所述NL LUT包括与用于所述范围的较高值处的较大步长相比较的用于所述范围的较低值处的较精细步长。
6.根据权利要求1所述的方法，其中所述存储器包括触发器或寄存器。
7.根据权利要求1所述的方法，其中所述2D权重LUT包括多个2D权重子LUT，所述多个2D权重子LUT各自具有针对所述范围和针对所述空间提供多个不同的西格玛即σ值的多个组合2D权重，进一步包括计算子表索引并使用所述子表索引以用于选择所述多个2D权重子LUT中的一个即所选的2D权重子LUT，以及使用所述所选的2D权重子LUT以用于跨越所述图像帧中的所有所述多个滤波器窗口进行处理。
8.根据权利要求1所述的方法，其中所述2D权重LUT包括多个2D权重子LUT，所述多个2D权重子LUT各自具有针对所述范围提供多个不同的西格玛即σ值的多个组合2D权重，进一步包括在所述多个滤波器窗口中的每个中进行局部求平均以确定平均范围，并且使用所述平均范围以用于单独地选择所述多个2D权重子LUT中的一个，以便处理所述多个滤波器窗口。
9.根据权利要求8所述的方法，其中仅所述多个其他像素中的一部分用于确定所述平均范围。
10.根据权利要求1所述的方法，进一步包括使用来自所述处理所述多个滤波器窗口的所述输出像素以生成噪声滤波图像，所述噪声滤波图像用于高级驾驶辅助***即ADAS。
11.一种用于处理图像的***，其包括：
处理器和相关联的存储器；
双边滤波器程序即BL滤波器程序，所述双边滤波器程序存储在所述存储器中并且可由所述处理器或BL滤波器硬件执行，其中所述BL滤波器程序或所述BL滤波器硬件对包括图像数据的图像帧实施方法，所述图像数据包括来自多个像素的位置和范围，所述帧包括多个滤波器窗口，每个所述滤波器窗口包括中心像素和多个其他像素，所述多个其他像素包括第一像素和第二像素，处理所述多个滤波器窗口中的每个包括：
针对所述第一像素，确定为其相对于所述中心像素的距离的空间、和其范围与所述中心像素的范围之间的范围差，使用所述空间和所述范围差，从多个组合2D权重选择所选的组合2D权重，所述多个组合2D权重各自包括来自至少一个组合的预计算的2D权重查找表即2D权重LUT的针对所述空间和所述范围差二者的加权，通过将所述所选的组合2D权重应用于所述第一像素计算经滤波的范围值，并且对所述范围、所述经滤波的范围值和所述所选的2D权重求和以确定所述第一像素的贡献，
对至少所述第二像素重复进行所述确定、所述选择、所述计算和所述求和，以及
将来自所述第一像素和至少所述第二像素的所述贡献的总和除以来自所述第一像素和所述第二像素的所述所选的组合2D权重的和，以生成用于所述中心像素的最终经滤波的范围值作为输出像素。
12.根据权利要求11所述的***，其中所述2D权重LUT包括多个2D权重子LUT，所述多个2D权重子LUT各自具有至少针对所述范围提供多个不同的方差即σ值的多个组合2D权重，其中在所述选择之前，所述方法进一步包括：
基于像素图像特性包括从所述多个2D权重子LUT自适应地挑选所述多个2D权重子LUT中的所选的一个即所选的2D权重子LUT，并且
其中选择所述所选的2D权重来自所述所选的2D权重子LUT。
13.根据权利要求11所述的***，其中所述2D权重LUT以所述空间和所述范围中的至少一个被量化。
14.根据权利要求13所述的***，其中所述2D权重LUT以所述空间和所述范围二者被量化。
15.根据权利要求13所述的***，其中非线性插值被使用以通过使用用于所述2D权重LUT的非线性LUT即NL LUT将所述范围量化，所述NL LUT包括与用于所述范围的较高值处的较大步长相比较的用于所述范围的较低值处的较精细步长。
16.根据权利要求11所述的***，其中所述存储器包括触发器或寄存器。
17.根据权利要求11所述的***，其中所述2D权重LUT包括多个2D权重子LUT，所述多个2D权重子LUT各自具有针对所述范围和针对所述空间提供多个不同的西格玛即σ值的多个组合2D权重，进一步包括计算子表索引并使用所述子表索引以用于选择所述多个2D权重子LUT中的一个即所选的2D权重子LUT，以及使用所述所选的2D权重子LUT以用于跨越所述图像帧中的所有所述多个滤波器窗口进行处理。
18.根据权利要求11所述的***，其中所述2D权重LUT包括多个2D权重子LUT，所述多个2D权重子LUT各自具有至少针对所述范围提供多个不同的西格玛即σ值的多个组合2D权重，进一步包括在所述多个滤波器窗口中的每个中进行局部求平均以确定平均范围，并且使用所述平均范围以用于单独地选择所述多个2D权重子LUT中的一个，以便处理所述多个滤波器窗口。
19.根据权利要求18所述的***，其中仅所述多个其他像素中的一部分用于确定所述平均范围。
20.根据权利要求11所述的***，进一步包括使用来自所述处理所述多个滤波器窗口的所述输出像素以生成噪声滤波图像，所述噪声滤波图像用于高级驾驶辅助***即ADAS。
21.根据权利要求11所述的***，其中所述***包括所述BL滤波硬件。
CN201780009182.0A 2016-02-01 2017-02-01 用于计算机视觉的自适应双边(bl)滤波 Active CN108604302B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662289706P 2016-02-01 2016-02-01
US62/289,706 2016-02-01
US15/183,459 2016-06-15
US15/183,459 US10121231B2 (en) 2016-02-01 2016-06-15 Adaptive bilateral (BL) filtering for computer vision
PCT/US2017/016100 WO2017136481A1 (en) 2016-02-01 2017-02-01 Adaptive bilateral (bl) filtering for computer vision

Publications (2)

Publication Number Publication Date
CN108604302A true CN108604302A (zh) 2018-09-28
CN108604302B CN108604302B (zh) 2022-06-28

Family

ID=59386853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780009182.0A Active CN108604302B (zh) 2016-02-01 2017-02-01 用于计算机视觉的自适应双边(bl)滤波

Country Status (5)

Country Link
US (2) US10121231B2 (zh)
EP (1) EP3411831A4 (zh)
JP (2) JP2019507453A (zh)
CN (1) CN108604302B (zh)
WO (1) WO2017136481A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206117A (zh) * 2023-03-03 2023-06-02 朱桂湘 基于编号遍历的信号处理优化***及方法
WO2024037653A1 (en) * 2022-08-19 2024-02-22 Douyin Vision Co., Ltd. Using different sources for bilateral filter in video coding

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3462408A1 (en) * 2017-09-29 2019-04-03 Thomson Licensing A method for filtering spurious pixels in a depth-map
TWI712989B (zh) * 2018-01-16 2020-12-11 瑞昱半導體股份有限公司 影像處理方法及影像處理裝置
WO2020039362A1 (en) 2018-08-21 2020-02-27 Beijing Bytedance Network Technology Co., Ltd. Mapping improvement for bilateral filter
JP7247349B2 (ja) * 2018-12-31 2023-03-28 ホアウェイ・テクノロジーズ・カンパニー・リミテッド イントラ予測のための成分間線形モデリングの方法、装置、デコーダ、エンコーダ、およびプログラム
EP4014503A1 (en) * 2019-08-16 2022-06-22 Apple Inc. Adaptive bilateral filtering using look-up tables

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050024353A1 (en) * 2001-11-20 2005-02-03 E Ink Corporation Methods for driving electro-optic displays
US20100046859A1 (en) * 2008-08-25 2010-02-25 Yasunobu Hitomi Image Processing Apparatus, Imaging Apparatus, Image Processing Method, and Program
CN101682686A (zh) * 2008-01-25 2010-03-24 索尼株式会社 图像处理设备、图像处理方法和程序
CN102609904A (zh) * 2012-01-11 2012-07-25 云南电力试验研究院（集团）有限公司电力研究院 双变量非局部平均滤波x射线图像消噪方法
CN103971742A (zh) * 2013-01-30 2014-08-06 德克萨斯仪器股份有限公司 具有内建测试驱动器的非易失性逻辑阵列
US20150030257A1 (en) * 2013-07-23 2015-01-29 Nvidia Corporation Low-complexity bilateral filter (bf) implementation in a data processing device

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8621200D0 (en) * 1986-09-02 1987-01-14 British Aerospace Signal processing
US7352911B2 (en) 2003-07-31 2008-04-01 Hewlett-Packard Development Company, L.P. Method for bilateral filtering of digital images
US7356180B2 (en) * 2003-09-30 2008-04-08 Sharp Laboratories Of America, Inc. Systems and methods for correcting image color balance
JP5197414B2 (ja) * 2009-02-02 2013-05-15 オリンパス株式会社 画像処理装置及び画像処理方法
US20110200269A1 (en) * 2010-02-18 2011-08-18 Mithun Das Gupta Fast Approximation For Bilateral Filter
US8532425B2 (en) * 2011-01-28 2013-09-10 Sony Corporation Method and apparatus for generating a dense depth map using an adaptive joint bilateral filter
US8869512B2 (en) * 2011-04-06 2014-10-28 Commins Inc. Combined engine out NOX management
JP5575048B2 (ja) * 2011-04-14 2014-08-20 京セラドキュメントソリューションズ株式会社 画像処理装置および画像形成装置
US9179148B2 (en) 2011-06-30 2015-11-03 Futurewei Technologies, Inc. Simplified bilateral intra smoothing filter
US9142012B2 (en) * 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
US8953882B2 (en) 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
US9514525B2 (en) * 2014-07-31 2016-12-06 Apple Inc. Temporal filtering for image data using spatial filtering and noise history
US9940701B2 (en) * 2015-09-25 2018-04-10 Intel Corporation Device and method for depth image dequantization

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050024353A1 (en) * 2001-11-20 2005-02-03 E Ink Corporation Methods for driving electro-optic displays
CN101682686A (zh) * 2008-01-25 2010-03-24 索尼株式会社 图像处理设备、图像处理方法和程序
US20100046859A1 (en) * 2008-08-25 2010-02-25 Yasunobu Hitomi Image Processing Apparatus, Imaging Apparatus, Image Processing Method, and Program
CN102609904A (zh) * 2012-01-11 2012-07-25 云南电力试验研究院（集团）有限公司电力研究院 双变量非局部平均滤波x射线图像消噪方法
CN103971742A (zh) * 2013-01-30 2014-08-06 德克萨斯仪器股份有限公司 具有内建测试驱动器的非易失性逻辑阵列
US20150030257A1 (en) * 2013-07-23 2015-01-29 Nvidia Corporation Low-complexity bilateral filter (bf) implementation in a data processing device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024037653A1 (en) * 2022-08-19 2024-02-22 Douyin Vision Co., Ltd. Using different sources for bilateral filter in video coding
CN116206117A (zh) * 2023-03-03 2023-06-02 朱桂湘 基于编号遍历的信号处理优化***及方法
CN116206117B (zh) * 2023-03-03 2023-12-01 北京全网智数科技有限公司 基于编号遍历的信号处理优化***及方法

Also Published As

Publication number Publication date
EP3411831A4 (en) 2019-03-20
JP2019507453A (ja) 2019-03-14
JP2022130642A (ja) 2022-09-06
CN108604302B (zh) 2022-06-28
US10891717B2 (en) 2021-01-12
US20170221183A1 (en) 2017-08-03
EP3411831A1 (en) 2018-12-12
WO2017136481A1 (en) 2017-08-10
US10121231B2 (en) 2018-11-06
US20190130534A1 (en) 2019-05-02
JP7505157B2 (ja) 2024-06-25

Similar Documents

Publication Publication Date Title
CN108604302A (zh) 用于计算机视觉的自适应双边(bl)滤波
CN107845128B (zh) 一种多尺度细节融合的多曝光高动态图像重建方法
CN111402146B (zh) 图像处理方法以及图像处理装置
US20170365046A1 (en) Algorithm and device for image processing
US20080080787A1 (en) Salience Preserving Image Fusion
CN109191395A (zh) 图像对比度增强方法、装置、设备及存储介质
JP3621304B2 (ja) 画像の輝度補正方法
US20210272252A1 (en) Systems and methods for image processing
JP2016535485A (ja) デュアルバンドセンサからの画像の可視カラー画像への変換
US5852648A (en) Image signal processing method and image signal processing device
WO2013094131A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and image processing program
Wang et al. Endoscopic image luminance enhancement based on the inverse square law for illuminance and retinex
JP2015212937A (ja) 信号を処理する方法
US20180033156A1 (en) Method and device for filtering texture, using patch shift
US9779486B2 (en) Image processing apparatus and image processing method
US20220237755A1 (en) Image enhancement method and image processing device
US20120155784A1 (en) Image processing apparatus and image processing method
US9245331B2 (en) Video contrast enhancement with sub-segments
CN112150532A (zh) 图像处理的方法、装置、电子设备和计算机可读介质
US8600190B1 (en) Method for combining two image data sets using fixed distribution
Storozhilova et al. 2.5 D extension of neighborhood filters for noise reduction in 3D medical CT images
Hsu et al. Low memory cost bilateral filtering using stripe-based sliding integral histogram
EP4068196A1 (en) High dynamic range tone mapping
US20120314970A1 (en) Image processing device, processing method thereof, and image processing system having the same
JP4122662B2 (ja) 画像処理装置および画像処理プログラムを記録した記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant