CN112215773A

CN112215773A - 基于视觉显著性的局部运动去模糊方法、装置及存储介质

Info

Publication number: CN112215773A
Application number: CN202011084727.4A
Authority: CN
Inventors: 贾振红; 张滕滕
Original assignee: Xinjiang University
Current assignee: Xinjiang University
Priority date: 2020-10-12
Filing date: 2020-10-12
Publication date: 2021-01-12
Anticipated expiration: 2040-10-12
Also published as: CN112215773B

Abstract

本发明公开了一种基于视觉显著性的局部运动去模糊方法、装置及存储介质，方法包括：采用流行正则化随机游走显著性检测模糊区域的显著图，将检测结果用于标记图像中的模糊区域；采用基于遗传的大津法对显著图进行二值化操作，将模糊前景与清晰背景分割成不同的图层，获取到前景、背景分割二值化图像；将得到的二值化图像带入基于MAP框架的图像去模糊模型进行优化，迭代估计初始模糊核和潜在图像；列出初始模糊核和潜在图像的先验，并基于迭代加权最小二乘对初始模糊核和潜在图像求解；采用改进的自适应引导滤波对求解结果进一步优化，保持图像的边缘信息。

Description

基于视觉显著性的局部运动去模糊方法、装置及存储介质

技术领域

本发明涉及图像运动去模糊技术，属于图像处理领域，尤其涉及一种基于视觉显著性的局部运动去模糊方法、装置及存储介质。

背景技术

运动模糊图像是由于摄像机与运动物体在曝光时间内有相对运动而产生的模糊，图像的模糊导致无法看清想要观察的目标物体，或者从图像中获取有价值的信息。而且拍摄过程是短暂并且不易复制重现的，很多情况下不能重新拍摄以获得清晰的图像，因此运动模糊的复原技术的研究就变得尤为重要，它应用于道路视频监控、工业生产、刑事侦查、天文观测、及军事卫星跟踪等领域。

近年来，运动模糊图像复原方法已经取得了很大的进展，但这类方法对于局部模糊图像复原问题仍存在一定的局限性。由于前景与背景成像过程不同，使得全局一致的模糊模型不能很好的建模图像形成过程，并且由于物体的快速运动，会造成模糊是突然变化的，因此一些基于相机抖动建模的非一致去模糊方法对于这种局部运动模糊问题也不能很好的处理。还有一些现有的方法通过建立混合相机***来获取运动物体的额外信息，但这类方法需要精心设计的硬件支持。

此外，还有一些基于图像分割的局部运动模糊图像复原方法，这些方法很大程度的依赖分割质量，如果分割不精确则不会得到很好的图像复原效果，无法满足实际应用中的多种需要。

发明内容

本发明提供了一种基于视觉显著性的局部运动去模糊方法、装置及存储介质，本发明提高了图像的清晰度，复原出了更高质量的清晰图像，有效的增强了图像的对比度和边缘细节，并解决了图像中模糊区域纹理信息丢失的问题，详见下文描述：

第一方面，一种基于视觉显著性的局部运动去模糊方法，所述方法包括：

采用流行正则化随机游走显著性检测模糊区域的显著图，将检测结果用于标记图像中的模糊区域；

采用基于遗传的大津法对显著图进行二值化操作，将模糊前景与清晰背景分割成不同的图层，获取到前景、背景分割二值化图像；

将得到的二值化图像带入基于MAP框架的图像去模糊模型进行优化，迭代估计初始模糊核和潜在图像；

列出初始模糊核和潜在图像的先验，并基于迭代加权最小二乘对初始模糊核和潜在图像求解；

采用改进的自适应引导滤波对求解结果进一步优化，保持图像的边缘信息。

在一种实现方式中，所述采用采用流行正则化随机游走显著性检测模糊区域的显著图具体为：

根据定位和消除错误边界的手段来优化边界所产生的影响，获取背景显著性值；

根据前景查询的显著性估计来优化单纯的背景查询；

基于随机游走模型，提出拟合约束，用于继承前景查询的显著性值，获取最终的显著性图。

在一种实现方式中，所述将得到的二值化图像带入基于MAP框架的图像去模糊模型进行优化具体为：

引入图像分割项l_i，将图像分割为不同的图层，对各个图层进行模糊核估计以及清晰潜像的恢复。

在一种实现方式中，所述改进的自适应引导滤波具体为：

采用加权最小二乘滤波器WLS构造引导图像：

其中，WLS(G)_v为加权最小二乘滤波器WLS构造的引导图像，G_v为图像像素的空间位置v对应的引导图像，I_v为图像像素的空间位置v对应的输入图像，v表示图像像素点 (x,y)的空间位置，指数τ决定了输入图像I在像素点v(x,y)梯度变化的敏感度，η是平滑项参数，

和

分别是G在x和y方向上的一阶偏导数，表示图像的陡峭程度；τ_x,v和τ_y,v为细化的权重系数；

根据引导图像与输出图像之间的局部线性模型，将所有像素的局部方差的平均值纳入引导滤波的代价函数中；引入自适应放大因子β抑制噪声。

第二方面，一种基于视觉显著性的局部运动去模糊装置，所述装置包括：

检测与标记模块，用于采用流行正则化随机游走显著性检测模糊区域的显著图，将检测结果用于标记图像中的模糊区域；

第一获取模块，用于采用基于遗传的大津法对显著图进行二值化操作，将模糊前景与清晰背景分割成不同的图层，获取到前景、背景分割二值化图像；

第一优化模块，用于将得到的二值化图像带入基于MAP框架的图像去模糊模型进行优化，迭代估计初始模糊核和潜在图像；

第二获取模块，用于列出初始模糊核和潜在图像的先验，并基于迭代加权最小二乘对初始模糊核和潜在图像求解；

第二优化模块，用于采用改进的自适应引导滤波对求解结果进一步优化，保持图像的边缘信息。

在一种实现方式中，所述检测与标记模块包括：

检测单元，用于根据定位和消除错误边界的手段来优化边界所产生的影响，获取背景显著性值；根据前景查询的显著性估计来优化单纯的背景查询；

拟合约束单元，用于基于随机游走模型，提出拟合约束，用于继承前景查询的显著性值，获取最终的显著性图。

在一种实现方式中，所述第一优化模块包括：

分割与恢复单元，用于引入图像分割项l_i，将图像分割为不同的图层，对各个图层进行模糊核估计以及清晰潜像的恢复。

第三方面，一种基于视觉显著性的局部运动去模糊装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面所述的方法步骤。

第四方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第一方面所述的方法步骤。

本发明提供的技术方案的有益效果是：

1、针对最大化后验去模糊框架中模糊核和潜在图像的求解问题，本发明采用一种有效的迭代加权最小二乘算法来优化物体运动模糊估计模型求解，即在用拉普拉斯先验求解模糊核，稀疏图像梯度先验求解清晰潜像的基础上，进一步解决原有算法存在最优解不准确，算法效率低这一问题；

2、本发明采用改进的自适应引导滤波算法解决了严重的运动模糊中纹理边缘细节难恢复的问题，通过保持图像的边缘信息，自适应抑制噪声，进一步提高了图像的清晰度，丰富了图像的细节信息。

附图说明

图1为本发明提供的一种基于视觉显著性的局部运动去模糊方法的流程图；

图2为本发明提供的一种基于视觉显著性的局部运动去模糊方法的另一流程图；

图3为局部运动模糊图像的示意图；

图4为对图3去模糊处理后的目标图像的示意图；

图5为另一局部运动模糊图像的示意图；

图6为对图5去模糊处理后的目标图像的示意图；

图7为另一局部运动模糊图像的示意图；

图8为对图7去模糊处理后的目标图像的示意图；

图9为本发明提供的一种基于视觉显著性的局部运动去模糊装置的结构示意图；

图10为检测与标记模块的结构示意图；

图11为本发明提供的一种基于视觉显著性的局部运动去模糊装置的另一结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

参见图1，本发明实施例提出了一种基于视觉显著性的局部运动去模糊方法，该方法包括以下步骤：

步骤101：采用流行正则化随机游走显著性检测模糊区域的显著图，将检测结果用于标记图像中的模糊区域；

由于物体运动造成的局部模糊图像中，每个区域的模糊核通常是不一致的，为此需要分层求解模糊核，求解出的模糊核用于恢复清晰图像，因此本发明实施例采用流行正则化随机游走显著性检测模糊区域的显著图，用以标记图像中的模糊区域。

步骤102：采用基于遗传算法的Ostu(大津法)阈值分割对显著图进行二值化操作，将模糊前景与清晰背景分割成不同的图层，进而获取到前景分割二值化图像和背景分割二值化图像；

后续步骤通过不同的图层估计模糊核，即通过上述操作提高了模糊核估计的准确性。

其中，Ostu是确定图像二值化分割阈值的算法，也称作最大类间方差法，为本领域技术人员所公知，本发明实施例对此不做赘述。

步骤103：将得到的二值化图像带入基于MAP框架的图像去模糊模型进行优化，即从模糊图像中迭代估计模糊核和潜在图像；

在这基于MAP框架的图像去模糊模型中，分割算法能够有效地引导运动模糊估汁，同时运动模糊估计反过来有助于分割估计，从而能较好地去除图像中的局部模糊。将该步骤得到的潜在的图像和模糊核作为中间结果，通过后续步骤的处理进一步得到最终的准确的模糊核，进而输出恢复后的清晰图像。

其中，优化的最大后验去模糊框架为本领域技术人员所公知，本发明实施例对此不做赘述。

步骤104：采用拉普拉斯先验和稀疏图像梯度先验分别列出初始模糊核和潜在图像的先验，基于先验值、迭代加权最小二乘算法对初始模糊核和潜在图像进一步求解；

针对最大后验去模糊框架中模糊核和潜在图像的求解问题，采用一种有效的迭代加权最小二乘算法对图像去模糊模型进行求解，即先用拉普拉斯先验和稀疏图像梯度先验分别定义求解初始模糊核和潜在图像的先验，然后用迭代加权最小二成算法对图像去模糊模型进一步优化求解，进一步解决原有算法存在最优解不准确，算法的效率低这一问题。

步骤105：采用改进的自适应引导滤波对步骤104的求解结果进一步的优化，用于解决运动模糊较为严重时在纹理边缘细节模糊的问题，通过保持图像的边缘信息，自适应抑制噪声，进一步提高了图像的清晰度，丰富了图像的细节信息。

综上所述，本发明实施例通过上述步骤101-步骤105提高了图像的清晰度，复原出了更高质量的清晰图像，有效的增强了图像的对比度和边缘细节，并解决了图像中模糊区域纹理信息丢失的问题。

下面结合图2、具体的计算公式，对上述实施例中的一种基于显著性的局部运动模糊恢复方法进行详细地细化和扩展，本发明采用的实验对象为不同模糊程度的局部运动模糊图像，针对模糊图像中信息丢失的问题，该方法包括以下步骤：

步骤201：采用流行正则化随机游走显著性检测模糊区域的显著图，用于标记图像中的模糊区域；

由于物体运动造成的局部模糊图像中，模糊核通常是不一致的，需要分层求解模糊核，因此本发明实施例采用流行正则化随机游走显著性检测模糊区域的显著图，用以标记图像中的模糊区域，该算法既利用了局域特征，又利用了图像细节信息，提供更准确的显著性估计。

在进行背景显著性检测之前，通过定位和消除错误边界的手段来优化边界所产生的影响。基于流行排序正则化框架，删除属于背景的概率最小的那些边界，并且通过背景查询生成显著性估计，流行排序函数如下所示：

其中，f^*为流行排序函数值，d_ii,d_jj分别为局部图的度矩阵(本领域的专业术语，在此不做赘述)第i,j行的对角元素，参数α为控制平滑约束(加号之前的第一项)和拟合约束(加号之后的第二项)之间的平衡；f_i为i节点的排序值，f_j为j节点的排序值，ω_ij是图边缘的权重矩阵，n为元素数，y是指示向量，定义为y＝[y₁,…,y_n]^T，则通过逐像素相乘，得到背景显著性：

其中，l是目标区域中的总像素数，n是总超像素数，S_l(i)为基于前景的显着性值，f_l ^*(i) 由公式(1)计算，在这里l对应于消除错误边界后的三个边界位置，S_step1(i)为一次排序的背景显著性估计值。

但是单纯的背景查询有时候对于完全描述前景信息是不准确的，特别是当显著性目标结构复杂且与背景布局方面相似时。鉴于此，提出了接下来的基于前景查询的显著性估计，排序函数

可以直接从方程(1)计算，并将其作为前景显着性估计处理如下：

S_step2(i)＝f(i),i＝1,...,n, (3)

其中，S_step2(i)为二次排序的前景显著性估计值，f(i)为i超像素的排序函数估计值。

同时利用流行正则化随机游走算法以生成像素级显著图，而该像素级的显著图来自基于超像素的背景以及前景的显著性估计。

本发明实施例基于随机游走模型，提出了一种拟合约束：

其中，Dir为狄利克雷积分，Y是一个逐像素的指示向量，继承步骤S_step2的值。正则化的随机游动排序是按像素级计算的，因此p^k和Y都是N×1的向量，L是N×N的矩阵，其中N是图像中的总像素数，T为矩阵的转置，k为1或2，其中k＝1对应于背景标签， k＝2对应于前景标签。

步骤202：采用基于遗传算法的Ostu阈值分割算法对显著图进行二值化操作；

具体实现时在得到显著图后采用基于遗传算法的Ostu阈值分割算法对显著图进行二值化操作，其中白色表示显著区域部分用1来表示，黑色对应的非显著区域用0来表示。

传统的Ostu算法针对图像本身的灰度信息进行处理，像素和邻域之间的空间信息并未得以处理，故图像在受到噪声或其它外界因素干扰时容易造成分割错误，并且计算步骤繁琐。而遗传算法在运行过程中具有全局搜索和并行性的特点，可对阈值进行智能化的择优处理，在很大程度上提高了图像分割的处理效率。因此本发明实施例结合遗传算法通过寻求最优Ostu阈值，切实提高图像分割效率，并利用形态学运算来消除噪点，优化分割结果。

步骤203：从模糊图像B中估计潜在图像X和模糊核K，对基于MAP(最大后验) 框架的图像去模糊模型进行了优化，引入图像分割项l_i，将图像分割为不同的图层，并对各个图层进行模糊核估计以及潜像X的恢复；

上述提出优化的图像去模糊模型是：

其中，m表示分割图层数，l_i表示第i个图层的二值图，并和输入图像有相同的大小， K_i是第i个图层对应的模糊核，同时满足

p为概率符号，p(X)为潜像X的先验概率，p(K)为模糊核K的先验概率，p(l_i|K_i,X)为引入分割项l_i推导得到的先验概率， p(K_i)为第i个图层对应的模糊核的先验概率，p(B|K,X)为从模糊图像B中估计潜在图像X和模糊核K的概率，p(B|l_i,K_i,X)为似然概率。

其中，优化的图像去模糊模型的关键是从中求解出潜在图像X和模糊核K。

步骤204：通过交替最小化公式迭代求解潜在的清晰图像X和模糊核K_i，并且引入一种有效的迭代加权最小二乘(IRLS)算法对图像去模糊模型进行最优化求解；

基于上面的讨论，本发明实施例需要定义清晰潜像X和模糊核K_i的先验p(X)和p(K_i)。即使用稀疏图像梯度先验定义清晰潜像X的先验p(X)，以及用拉普拉斯先验定义模糊核K_i的先验p(K_i)：

其中，

和

分别表示x,y方向上微分算子；λ和γ是权重参数；Z_X和Z_K是正则项，X_u为像素空间位置u 的清晰潜像，K_iu为第i个图层像素空间位置u对应的模糊核，u为一个像素的空间位置。

利用上一次迭代的模糊核K，对中间潜在图像X进行估计：

其中，l_iu为第i个图层像素空间位置u对应的二值图，X_u为像素空间位置u的清晰潜像。

采用IRLS算法对以下公式进行求解：

其中，ω_du＝|(x*K_i-B)_u|^-1,

t表示迭代索引，u表示每个像素的空间位置，l_iu为第i个图层像素空间位置u对应的二值图。

给定中间潜在图像，对模糊核进行估计。由于基于图像梯度的核估计能够取得更好的结果，因此用数据拟合项中的图像导数代替图像强度，并去除小的梯度值来估计模糊核，则模糊核K_i估计为：

其中，

为梯度算子。

与潜像X求解相似，采用IRLS算法对以下公式进行求解：

其中，

ω_u＝|K_iu|^-1。

步骤205：针对运动模糊较为严重时，采用改进的自适应引导滤波算法来进一步增强图像，提高图像的清晰度，丰富图像的细节信息。

引导滤波器是一种能增强图像细节的滤波器。该滤波器通过一幅引导图像对输入图像进行滤波处理，滤波过程中的引导图像记为G，输入图像记为I，滤波输出图像记为Q，假设在以像素r为中心的窗口ω_r中引导图像G和输出图像Q之间存在如下的局部线性模型：

其中，a_r和b_r为窗口ω_r中的线性系数。

首先为了使得图像的细节进一步增强，充分获得引导图像的边缘特征，本发明实施例采用加权最小二乘滤波器WLS来构造图像的引导图像，如下所示：

和

分别是G在x和y方向上的一阶偏导数，表示图像的陡峭程度；τ_x,v和τ_y,_v细化权重系数，可确定图像I的边缘，不同陡峭程度边缘具有不同的权重系数。

其次，引导图像滤波虽然具有良好的保边性，但它容易受到边缘附近的光晕伪影的影响。因此将所有像素的局部方差的平均值纳入引导滤波的代价函数中，以精确地保持边缘。则所有像素的局部方差的平均值定义为：

其中，N是引导图像的像素数；

为标准差的平均值，

是引导图像在窗口ω_r中的局部方差。因此在窗口中对代价函数求最小解为：

其中，ε是正则项平滑参数，用于防止a_r过大。

最后，背景中的噪声往往由于细节层J的放大因子而被放大。一般的情况下细节层的放大系数设置为固定值，但是在增强图像的同时也会放大噪声，因此在细节层引入自适应放大因子β，来抑制噪声，提高细节。将细节层乘以放大因子β：

J'＝β·J＝β·(G-Q) (15)

其中，J′是增强的细节层。当β的值小时，细节将被抑制。另一方面，β的值较大时，噪声会放大。因此，在噪声抑制同时又能增强细节，将β设为：

因此最终的输出图像为：F＝Q+J′，

为窗口ω_r中的线性系数a的均值。

基于同一发明构思，作为上述方法的实现，参见图9，本发明实施例还提供了一种基于视觉显著性的局部运动去模糊装置，该装置包括：

检测与标记模块1，用于采用流行正则化随机游走显著性检测模糊区域的显著图，将检测结果用于标记图像中的模糊区域；

第一获取模块2，用于采用基于遗传的大津法对显著图进行二值化操作，将模糊前景与清晰背景分割成不同的图层，获取到前景、背景分割二值化图像；

第一优化模块3，用于将得到的二值化图像带入基于MAP框架的图像去模糊模型进行优化，迭代估计初始模糊核和潜在图像；

第二获取模块4，用于列出初始模糊核和潜在图像的先验，并基于迭代加权最小二乘对初始模糊核和潜在图像求解；

第二优化模块5，用于采用改进的自适应引导滤波对求解结果进一步优化，保持图像的边缘信息。

具体实现时，参见图10，该检测与标记模块1包括：

检测单元11，用于根据定位和消除错误边界的手段来优化边界所产生的影响，获取背景显著性值；根据前景查询的显著性估计来优化单纯的背景查询；

拟合约束单元12，用于基于随机游走模型，提出拟合约束，用于继承前景查询的显著性值，获取最终的显著性图；

标记单元13，用于将检测结果用于标记图像中的模糊区域。

在一种实现方式中，第一优化模块2包括：

这里需要指出的是，以上实施例中的装置描述是与上述方法实施例描述相对应的，本发明实施例在此不做赘述。

上述各个模块、单元的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。

基于同一发明构思，本发明实施例还提供了一种基于视觉显著性的局部运动去模糊装置，参见图11，该装置包括：处理器6和存储器7，存储器7中存储有程序指令，处理器 6调用存储器7中存储的程序指令以使装置执行实施例中的以下方法步骤：

这里需要指出的是，以上实施例中的装置描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。

上述的处理器和存储器的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。

存储器7和处理器6之间通过总线8传输数据信号，本发明实施例对此不做赘述。

基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，存储介质包括存储的程序，在程序运行时控制存储介质所在的设备执行上述实施例中的方法步骤。

该计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘等。

这里需要指出的是，以上实施例中的可读存储介质描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。

计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质或者半导体介质等。

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于视觉显著性的局部运动去模糊方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种基于视觉显著性的局部运动去模糊方法，其特征在于，所述采用采用流行正则化随机游走显著性检测模糊区域的显著图具体为：

根据前景查询的显著性估计来优化单纯的背景查询；

3.根据权利要求1所述的一种基于视觉显著性的局部运动去模糊方法，其特征在于，所述将得到的二值化图像带入基于MAP框架的图像去模糊模型进行优化具体为：

4.根据权利要求1所述的一种基于视觉显著性的局部运动去模糊方法，其特征在于，所述改进的自适应引导滤波具体为：

采用加权最小二乘滤波器WLS构造引导图像：

其中，WLS(G)_v为加权最小二乘滤波器WLS构造的引导图像，G_v为图像像素的空间位置v对应的引导图像，I_v为图像像素的空间位置v对应的输入图像，v表示图像像素点(x,y)的空间位置，指数τ决定了输入图像I在像素点v(x,y)梯度变化的敏感度，η是平滑项参数，

和

分别是G在x和y方向上的一阶偏导数，表示图像的陡峭程度；τ_x，v和τ_y，v为细化的权重系数；

根据引导图像与输出图像之间的局部线性模型，将所有像素的局部方差的平均值纳入引导滤波的代价函数中，引入自适应放大因子β抑制噪声。

5.一种基于视觉显著性的局部运动去模糊装置，其特征在于，所述装置包括：

6.根据权利要求5所述的一种基于视觉显著性的局部运动去模糊装置，其特征在于，所述检测与标记模块包括：

7.根据权利要求5所述的一种基于视觉显著性的局部运动去模糊装置，其特征在于，所述第一优化模块包括：

8.一种基于视觉显著性的局部运动去模糊装置，其特征在于，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行权利要求1-4中的任一项所述的方法步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行权利要求1-4中的任一项所述的方法步骤。