CN106878586B

CN106878586B - 可重构的并行图像细节增强方法和装置

Info

Publication number: CN106878586B
Application number: CN201710013621.7A
Authority: CN
Inventors: 刘壮; 郭若杉; 谭吉来; 李瑞玲; 韩睿; 李晨
Original assignee: Institute of Automation of Chinese Academy of Science
Current assignee: Institute of Automation of Chinese Academy of Science
Priority date: 2017-01-09
Filing date: 2017-01-09
Publication date: 2019-12-06
Anticipated expiration: 2037-01-09
Also published as: CN106878586A

Abstract

本发明涉及一种可重构的并行图像细节增强方法，包括：参数预加载、数据缓冲、水平与垂直方向的滤波、核化滤波、过冲抑制、幅度抑制、缓存数据更新；本发明还涉及一种可重构的并行图像细节增强装置，包括局部存储器、访存控制单元、通用缓冲器、并行算术逻辑单元ALU、状态机、并行乘累加器MAC。本发明增强了图像细节信号，使纹理区域更加清晰，同时提高了数据的使用效率，减少了运算部件与***存储器之间的数据交互，降低了访存带宽压力，而且可以实现了硬件资源的重复利用。

Description

可重构的并行图像细节增强方法和装置

技术领域

本发明涉及视频图像处理领域，具体涉及一种可重构的并行图像细节增强方法和装置。

背景技术

目前，视频技术的主流发展方向之一为超高清(4K分辨率)显示技术。相对于高清(1920*1080)视频，4K视频的像素数从2M提升到8M，因此对图像增强算法的画质和效能提出了更高的要求。

传统的视频图像细节增强解决方案主要有针对高清及以下标准的需求设计，在面对4K图像处理需求时，很有可能处理能力不足的问题；同时4K超高清图像可以带来更精细的画面效果，因此现有细节增强算法应用于4K分辨率图像时，过冲等负面效果可能会更加容易被观看者察觉。

此外，由于传统方案通常采用固化算法的专用集成电路芯片作为具体实施方案，在面临算法升级需求时，成本压力巨大。

因此，需要提出一种新的视频图像细节增强解决方案，对该方案的要求是，1能提升图像锐利度，2对细节增强带来的过冲、噪声放大等负面效果有较好的抑制，3满足实时超高清视频流的处理需求，4成本可控前提下，具备算法升级潜力。

发明内容

为了解决现有技术中的上述问题，本发明一方面提出了一种可重构的并行图像细节增强方法，包括以下步骤：

步骤1，将待处理的图像数据加载至缓冲器；所述待处理的图像数据为R*Q的像素点阵，其中R或Q的值等于并行度N；所述像素点阵可拆分为多个包含N像素点的一维点阵；

步骤2，对所述一维点阵中各待增强像素点，分别并行进行水平与垂直方向的滤波，获取两个方向的细节信号；

步骤3，对两个方向的细节信号核化滤波，过滤掉由图像噪声引入的微小细节信号；

步骤4，通过待增强像素点邻域两侧的灰度对称性以及该待增强像素点细节信号强度，对增强后的细节信号强度进行控制，进行过冲抑制，将完成过冲抑制的两个细节信号相加，获得这N个像素点的细节信号；

步骤5，进一步对步骤4中获取的细节信号进行幅度抑制；

步骤6，依次对待处理的图像数据中各一维点阵执行步骤2至步骤5进行处理，完成该待处理的图像数据的细节增强。

优选地，所述缓冲器包括NM个大小为N个像素的缓冲单元；所述缓冲器配备有4个读取端口和4个写入端口。

优选地，所述水平与垂直方向的滤波，所采用的滤波器分别对应为水平NH阶和垂直NV阶的一维滤波器，分别计算像素点左右各(NH-1)/2个和上下各(NV-1)/2个像素的灰度，并结合该像素点的灰度值获取该像素点两个方向的细节信号。

优选地，所述的缓冲器为多粒度的离散存储器结构。

优选地，所述水平与垂直方向的滤波，具体为将滤波模板与图像数据进行空域卷积，其滤波结果表示为：

其中，(i，j)表示图像数据中第i行第j列位置上的像素点，DEH(i,j)表示(i，j)处的水平滤波结果，DEV(i,j)表示(i，j)处的垂直滤波结果，P(i，j)表示图像第i行第j列位置上的像素灰度，FH(k)表示水平模板第k个元素，FV(t)表示垂直模板第t个元素。

优选地，步骤4中所述过冲抑制，是对水平细节信号和垂直细节信号分别进行处理，然后将经过过冲抑制的两个细节信号相加，获得最终的细节信号，具体方法为：

步骤41，利用待处理像素点的灰度值以及该点左右各(NH-1)/2个和上下各(NV-1)/2个像素的灰度进行绝对差运算，即得到左右各(NH-1)/2个和上下各(NV-1)/2个共四组灰度绝对差；

步骤42，求取四组绝对差的均值：Mean_L，Mean_R，Mean_T，Mean_B，即该点左右上下四个灰度差均值；

步骤43，计算第一过冲抑制因子alpha和第二过冲抑制因子beta，公式为

alpha＝ka*Y_abs_mean

其中，ka为设定系数，Y_abs_mean为灰度绝对差均值的绝对差，即|Mean_L-Mean_R|或|Mean_T-Mean_B|，de为细节信号强度，kb为设定的正系数。

步骤44，计算过冲抑制因子s＝1-alpha×beta，进行过充抑制，并获取经过过冲抑制的细节信号de_ss＝de×s。

优选地，所述细节信号强度de＝de_h+de_v，其中de_h为水平方向的细节信号强度，de_v为竖直方向的细节信号强度。

优选地，步骤5中所述幅度抑制，其方法为：

步骤51，将de_ss与细节增强系数gain相乘，得到增强后的细节信号de_gain；

步骤52，并按照如下公式进行幅度抑制，并得到最终的细节信号de_final；

其中，Th为设定阈值，Max_de为设定最大幅度。

优选地，步骤5中进行幅度抑制后的输出值为Yout＝Yin+de_final，其中Yout和Yin分别为输出的像素灰度和输入的像素灰度。

优选地，在步骤1之前还包括参数预加载步骤，参数预加载步骤包括：将预先设定的水平与垂直方向的滤波、核化滤波、过冲抑制和幅度抑制中的固化参数加载至通用缓冲器。

优选地，步骤1中所述待处理的图像数据通过对图像数据按照R*Q的像素点阵顺次拆分获取；步骤1中所述加载至缓冲器，其方法为：

按照所述图像数据的拆分顺序，顺次选取待处理的图像数据并通过步骤2～步骤6处理，直至所有待处理的图像数据处理完毕。

本发明的另一方面，还提出了一种可重构的并行图像细节增强装置，其特征在于，包括局部存储器、访存控制单元、通用缓冲器、并行算术逻辑单元ALU、状态机、并行乘累加器MAC；

所述局部存储器，用于保存输入输出图像数据以及并行视频图像对比度增强算法所需参数，该存储器支持并行访问；

所述访存控制单元，用于局部存储器与通用缓冲器之间的数据交换；

所述通用缓冲器，用于缓冲一次完整的处理流程所需要的全部数据以及中间结果，该缓冲器可以通过地址直接索引；

所述并行算术逻辑单元，用于执行并行视频图像对比度增强算法中涉及的非乘法类算术与逻辑运算；其并行度为N；

所述状态机，用于产生所有功能部件的控制信号；

所述并行乘累加器，用于对执行乘法相关运算，其并行度为N；

所述状态机分别通过通信线路与并行算术逻辑单元、访存控制单元、通用缓冲器、并行乘累加器相连接；所述局部存储器通过通信线路连接访存控制单元；所述通用缓冲器通过通信线路分别与访存控制单元、并行算术逻辑单元、并行乘累加器相连接；所述并行算术逻辑单元通过通信线路与并行乘累加器相连接。

本发明具有以下有益效果：

1、增强了图像细节信号，使纹理区域更加清晰；

2、对细节进行增强的同时，有效降低了噪声和过冲；

3、易于对图像处理算法进行后期优化升级；

4、提高了数据的使用效率，减少了运算部件与***存储器之间的数据交互，降低了访存带宽压力；

5、通过使用通用缓冲器和状态机对功能部件进行控制，实现了硬件资源的重复利用。

附图说明

图1是本发明可重构的并行图像细节增强装置的结构示意图；

图2是本发明提供的并行图像细节增强方法的流程图；

图3是依照本发明一实施例的通用缓冲器的缓冲区示意图；

图4是水平7阶滤波和垂直5阶滤波示例图；

图5是依照本发明实施例核化滤波降噪示例图；

图6(a)～(d)是过冲现象易发生场景的示例图；

图7是依照本发明实施例过冲抑制因子alpha计算曲线示例图；

图8是依照本发明实施例过冲抑制因子beta计算曲线的示例图；

图9是依照本发明实施例过冲抑制流程的示例图；

图10是依照本发明实施例沿边缘插值的示例图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

本发明的一种可重构的并行图像细节增强装置，如图1所示，包括局部存储器、访存控制单元、通用缓冲器、并行算术逻辑单元(ALU)、状态机、并行乘累加器(MAC)；

所述访存控制单元，用于局部存储器与通用缓冲器之间的数据交换；本实施例中采用三个功能完全一致的访存控制单元，突破了访存资源瓶颈；

所述状态机，用于产生所有功能部件的控制信号；

当需要更改增强算法时，该装置仅需要对状态机进行重新编程，产生新的控制信号，同时更新局部存储器中的算法参数，即可快速实现算法迭代，而不需要重新设计制造硬件电路。

本发明还提出了一种可重构的并行图像细节增强方法，如图2所示，包括以下步骤：

步骤1，数据缓冲：将待处理的图像数据加载至缓冲器；所述待处理的图像数据为R*Q的像素点阵，其中R或Q的值等于并行度N；所述像素点阵可拆分为多个包含N像素点的一维点阵；

步骤2，滤波：对所述一维点阵中各待增强像素点，分别并行进行水平与垂直方向的滤波，获取两个方向的细节信号；

步骤3，降噪：对两个方向的细节信号核化滤波，过滤掉由图像噪声引入的微小细节信号；

步骤4，过冲抑制：通过待增强像素点邻域两侧的灰度对称性以及该待增强像素点细节信号强度，对增强后的细节信号强度进行控制，进行过冲抑制，将完成过冲抑制的两个细节信号相加，获得这N个像素点的细节信号；

步骤5，幅度抑制：进一步对步骤4中获取的细节信号进行幅度抑制；

步骤6，缓存数据更新：通过更新缓冲器中数据，依次对待处理的图像数据中各一维点阵执行步骤2至步骤5进行处理，完成该待处理的图像数据的细节增强。

本实施例在步骤1之前还包括参数预加载步骤，参数预加载步骤包括：将预先设定的水平与垂直方向的滤波、核化滤波、过冲抑制和幅度抑制中的固化参数加载至通用缓冲器。

1、参数预加载

该骤属于本发明所述装置的初始化阶段，水平与垂直方向的滤波器系数，核化滤波、过冲抑制和幅度抑制中所使用的阈值等固化参数会被预先加载到通用缓冲器中。

图3为本发明一实施例的通用缓冲器。如图3所示，所述通用缓冲器(用大写字母M代表)共存在NM个大小为N个像素的缓冲单元，配备有4个读取端口(r0、r1、r2、r3)和4个写入端口(w0、w1、w2、w3)，可以承载高速读写操作。通用缓冲器M支持直接使用序号对其NM个缓冲单元进行读写，便于对数据的重复使用。本发明所采用的通用缓冲器与运算部件同步运行，避免了高速运算部件等待低速存储部件的问题。

2、数据缓冲

对图像数据按照R*Q的像素点阵顺次拆分获取多个待处理的图像数据，按照所述图像数据的拆分顺序，顺次选取待处理的图像数据加载至缓冲器，并通过步骤2～步骤6处理，直至所有待处理的图像数据处理完毕；所述待处理的图像数据为R*Q的像素点阵，其中R或Q的值等于并行度N；所述像素点阵可拆分为多个包含N像素点的一维点阵。

本发明提供的是一种并行度为N的处理方法，即等效于N个滤波器同时工作，因此需要在进行滤波前，在通用缓冲器内缓存NH列N个像素或NV行N个像素。同时，本发明所述的并行处理装置与方法可以视为对N维向量数据进行处理的装置与方法，因此在本文档后续部分将从对N维向量的操作的角度来对本发明进行详细说明。

本发明所述算法涉及到对一列像素的并行处理，即需要对存储器进行按列访问，传统的存储器不支持高效的按列访问模式，因此本发明所述装置采用了一种多粒度的离散存储器结构，具体可参照“专利号为201110460585.1，名称为多粒度并行存储***与存储器”进行设计。

3、滤波

本发明的图像细节增强方法首先需要通过滤波获取水平和垂直方向的细节信号，具体采用了水平NH阶和垂直NV阶的一维滤波器，实现对细节信号的提取。一般的，滤波器阶数越高，对细节信号的提取能力就越强，相应的，其过冲效应等负面影响也越明显，综合考虑以上两点以及信号对称性，通常采用水平5或7阶，垂直3或5阶的多个滤波器实施组合滤波，以获得最好的效果，图4是一个单像素水平7阶垂直5阶滤波示意图。每获取一个像素点的细节信号，需要待处理像素点的灰度值以及该点左右各(NH-1)/2个和上下各(NV-1)/2个像素的灰度。

本发明通过水平和垂直两组一维滤波器，实现对细节信号的提取，具体操作为将滤波模板与图像进行空域卷积，具体描述如下：

若水平滤波模板为FH，垂直滤波模板为FV，用FH(k)表示水平模板第k个元素，FV(t)表示垂直模板第t个元素，P(i，j)表示图像第i行第j列位置上的像素灰度，则(i，j)像素点处的水平滤波结果DEH(i,j)与垂直滤波结果DEV(i,j)可表示为公式(1)、公式(2)：

其中，FH(0)和FV(0)对应滤波模板中间位置元素。

本发明采用了并行处理，所以可将滤波模板的每个元素视为一个N维向量，而P可视为第i行或第j列的连续N个像素的灰度。此外本发明所述方法中涉及到的向量乘法不同于数学上的向量外积或内积，本方法中向量乘法是将两个相同维度向量的对应位置元素相乘，其结果仍为一个N维向量。这里以二维向量为例作以简单说明，向量a＝(a1,a2)，b＝(b1,b2)，则向量乘法a*b＝(a1b1,a2b2)。其中a1,a2,b1,b2均为实数，a1b1,a2b2表示实数乘积。

进行滤波工作时，本发明所述装置先将通用缓冲器中缓冲区内的待处理的图像数据和滤波器系数依次发送给MAC的寄存器，MAC拥有四个等价的宽度为N的寄存器，用以完成N维向量乘法与累加运算，乘累加运算的结果可以返回至通用缓冲器，以方便再次被调用或者直接传递给其他运算部件，参与后续处理。

4、降噪

本发明采用核化滤波对提取的细节信号所包含的噪声进行抑制，核化滤波原理是：默认细节信号叠加了一个比较小的噪声信号，因此将细节信号减去一个被称为核化滤波阈值的较小数值，即认为是不含噪声的细节信号。具体运算是，首先判断细节信号的正负，并获取符号标志位，若信号为正值，则标志位为1，否则为-1；然后对细节信号取绝对值，并将此绝对值减去核化滤波阈值，对非正结果，全部认为是0；最后将减法结果与符号位相乘，得到降噪结果。图5是核化滤波的输入输出关系示意图。

该步骤涉及到(与零)比较，求绝对值，减法，求最大值和乘法运算，除乘法运算外，其余运算均由并行算术逻辑单元ALU执行。与MAC类似，ALU也具有4个完全等价的N维向量寄存器，可以同时对N个数据进行算术与逻辑运算。

5、过冲抑制

本发明依据细节信号的大小以及对应像素点邻域的灰度对称性对细节增强的幅度进行控制，从而实现过冲抑制。一般的，如图6(a)、6(b)、6(c)、6(d)所示，过冲现象通常发生在灰度变化较大(即细节丰富)且灰度不对称的区域。图6(a)～(d)给出了水平方向亮度不对称，易发生过冲现象的四种情况，垂直方向与此类似。

本发明对过冲抑制的策略是对水平细节信号和垂直细节信号分别进行处理，然后将经过过冲抑制的两个细节信号相加，获得最终的细节信号。具体方法如下：

步骤43，利用图7所示曲线得到第一过冲抑制因子alpha，如公式(3)所示

alpha＝ka*Y_abs_mean (3)

其中ka为设定系数，Y_abs_mean为灰度绝对差均值的绝对差，即|Mean_L-Mean_R|或|Mean_T-Mean_B|。

同时利用下式计算与细节信号强度相关的第二过冲抑制因子beta，如公式(4)所示；

其中，de为细节信号强度，kb为设定的正系数，图8给出了beta计算公式的图形化表示。

步骤44，本发明所述装置进行过冲抑制时，可以直接从通用缓冲器获取已加载的NH列或NV行像素的灰度值，并利用这些灰度数据计算出两个抑制因子，并根据alpha和beta计算出过冲控制因子s＝1-alpha×beta，从而实施过冲抑制，得到经过过冲抑制的细节信号de_ss＝de×s。

由于本发明对两个方向分别进行过冲抑制，因此最终的细节信号de_ss＝de_ss_h+de_ss_v，de_ss_h、de_ss_v分别表示水平和垂直方向经过过冲抑制的细节信号强度。图9中的de_ss_X的X代表h或v，即水平或垂直方向的细节信号。

结合本发明的可重构的并行图像细节增强装置，具体执行流程见图9，包括：图像数据加载至ALU；计算灰度绝对值差，结果输出至MAC；绝对差累加，结果输出至ALU；计算绝对差均值，并进一步计算绝对差均值的绝对差；Ka加载至MAC，计算alpha，结果保留在MAC寄存器中；经过降噪的细节信号de和kb加载至MAC，计算beta；计算alpha与beta的乘积，结果输出至ALU；计算过冲控制因子s＝1-alpha×beta，结果输出至MAC；计算经过过冲抑制的细节信号de_ss_X＝de_X×s，结果输出至MAC。

6、幅度抑制

经过过冲抑制的细节信号仍有可能存在强度过大，导致图像过增强，从而影响观看质量，因此还需要对增强后的细节信号的幅度进行控制。该步骤分为两个过程：

步骤51，对经过过冲抑制的细节信号de_ss进行放大，方法是在MAC中将de_ss与细节增强系数gain相乘，得到增强后的细节信号de_gain；

步骤52，将结果输出至ALU，在ALU中根据图10所示曲线进行幅度抑制，并得到最终的细节信号de_final，如公式(5)所示，

其中，Th为设定阈值，Max_de为设定最大幅度。

最终的输出结果为Yout＝Yin+de_final。其中Yout和Yin分别为输出的像素灰度和输入的像素灰度。Yout首先输出至通用缓冲器，然后由访存控制单元存储至局部存储器中。

7、缓存数据更新

在完成N个像素的细节增强之后，需要更新通用缓冲器中缓冲区的数据，读取后面N个数据，替换缓冲区中NH或NV个N维向量中的第一个，从物理意义上可视为滤波窗口的滑动。

通过更新缓冲器中数据，依次对待处理的图像数据中各一维点阵执行步骤2至步骤5进行处理，完成该待处理的图像数据的细节增强。

上述过程对本发明的完整处理流程进行了解释说明，本发明通过对状态机的编程以及使用通用缓冲器设计，实现了硬件资源的重复利用，在运行复杂算法时，避免了传统的专用电路方案设计流片周期长且版本迭代成本高的不足之处。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims

1.一种可重构的并行图像细节增强方法，其特征在于，包括以下步骤：

步骤5，进一步对步骤4中获取的细节信号进行幅度抑制；

2.根据权利要求1所述的方法，其特征在于，所述缓冲器包括NM个大小为N个像素的缓冲单元；所述缓冲器配备有4个读取端口和4个写入端口。

3.根据权利要求2所述的方法，其特征在于，所述水平与垂直方向的滤波，所采用的滤波器分别对应为水平NH阶和垂直NV阶的一维滤波器，分别计算像素点左右各(NH-1)/2个和上下各(NV-1)/2个像素的灰度，并结合该像素点的灰度值获取该像素点两个方向的细节信号。

4.根据权利要求3所述的方法，其特征在于，所述的缓冲器为多粒度的离散存储器结构。

5.根据权利要求4所述的方法，其特征在于，所述水平与垂直方向的滤波，具体为将滤波模板与图像数据进行空域卷积，其滤波结果表示为：

6.根据权利要求5所述的方法，其特征在于，步骤4中所述过冲抑制，是对水平细节信号和垂直细节信号分别进行处理，然后将经过过冲抑制的两个细节信号相加，获得最终的细节信号，具体方法为：

alpha＝ka*Y_abs_mean

7.根据权利要求6所述的方法，其特征在于，所述细节信号强度de＝de_h+de_v，其中de_h为水平方向的细节信号强度，de_v为竖直方向的细节信号强度。

8.根据权利要求7所述的方法，其特征在于，步骤5中所述幅度抑制，其方法为：

其中，Th为设定阈值，Max_de为设定最大幅度。

9.根据权利要求8所述的方法，其特征在于，步骤5中进行幅度抑制后的输出值为Yout＝Yin+de_final，其中Yout和Yin分别为输出的像素灰度和输入的像素灰度。

10.根据权利要求1～9任一项所述的方法，其特征在于，在步骤1之前还包括参数预加载步骤，参数预加载步骤包括：将预先设定的水平与垂直方向的滤波、核化滤波、过冲抑制和幅度抑制中的固化参数加载至所述缓冲器。

11.根据权利要求1～9任一项所述的方法，其特征在于，步骤1中所述待处理的图像数据通过对图像数据按照R*Q的像素点阵顺次拆分获取；步骤1中所述加载至缓冲器，其方法为：

12.一种可重构的并行图像细节增强装置，其特征在于，所述装置用于加载并执行上述权利要求1-11中任一项所述的可重构的并行图像细节增强方法，所述装置包括局部存储器、访存控制单元、所述缓冲器、并行算术逻辑单元ALU、状态机、并行乘累加器MAC；

所述访存控制单元，用于所述局部存储器与所述缓冲器之间的数据交换；

所述缓冲器，用于缓冲一次完整的处理流程所需要的全部数据以及中间结果，该缓冲器可以通过地址直接索引；

所述并行算术逻辑单元，用于执行并行视频图像对比度增强方法中涉及的非乘法类算术与逻辑运算；其并行度为N；

所述状态机，用于产生所有功能部件的控制信号；

所述并行乘累加器，用于执行乘法相关运算，其并行度为N；

所述状态机分别通过通信线路与所述并行算术逻辑单元、所述访存控制单元、所述缓冲器、所述并行乘累加器相连接；所述局部存储器通过通信线路连接所述访存控制单元；所述缓冲器通过通信线路分别与所述访存控制单元、所述并行算术逻辑单元、所述并行乘累加器相连接；所述并行算术逻辑单元通过通信线路与所述并行乘累加器相连接。