CN107424133B - 图像去雾方法、装置、计算机可存储介质和移动终端 - Google Patents
图像去雾方法、装置、计算机可存储介质和移动终端 Download PDFInfo
- Publication number
- CN107424133B CN107424133B CN201710624518.6A CN201710624518A CN107424133B CN 107424133 B CN107424133 B CN 107424133B CN 201710624518 A CN201710624518 A CN 201710624518A CN 107424133 B CN107424133 B CN 107424133B
- Authority
- CN
- China
- Prior art keywords
- defogging
- image
- preview image
- haze concentration
- haze
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 238000012545 processing Methods 0.000 claims abstract description 63
- 238000001914 filtration Methods 0.000 claims description 38
- 238000003384 imaging method Methods 0.000 claims description 31
- 238000002834 transmittance Methods 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 12
- 230000002146 bilateral effect Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 239000003595 mist Substances 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 6
- 241000271566 Aves Species 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000003705 background correction Methods 0.000 description 2
- 230000008033 biological extinction Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
本发明涉及一种图像去雾方法、装置、计算机可存储介质和移动终端。图像去雾方法，包括：进入拍照预览模式并显示预览图像；获取所述预览图像所在地区当前的能见度；根据所述能见度确定雾霾浓度等级；根据所述雾霾浓度等级采用相应的去雾方法对所述预览图像进行去雾处理。上述图像去雾方法能够根据获取的能见度确定雾霾弄浓度等级，针对不同的雾霾浓度等级的预览图像采用相应的去雾方法进行自适应去雾处理，增强了去雾效果，提供了用户体验度。
Description
技术领域
本发明涉及计算机技术领域，特别是涉及图像去雾方法、装置、计算机可存储介质和移动终端。
背景技术
随着移动终端的普及应用，如智能手机、平板电脑等移动终端在生活中已不可或缺，移动终端附件的各种功能也越来越受大家的关注。在日常生活中，随着移动终端照相功能的普及，使用移动终端进行图片处理的需求也日益增加，也各种图像处理软件也开始涌现。在雾、霾等天气条件下，大气中的悬浮物质使得能见度降低，影响到在此类天气条件下所拍摄的照片的图像质量。为此，提出图像去雾技术，以去除上述雾、霾等天气因素对拍出的图像质量的影响，增强图像中的物体的视见度。
传统的去雾技术采用同一种去雾算法，无论天气的雾霾程度如何，最终去雾处理后的图像的去雾程度相同，用户体验度低。
发明内容
本发明实施例提供一种图像去雾方法、装置、计算机可存储介质和移动终端，能够对预览图像进行不同算法的自适应去雾处理，增强了去雾效果，提高了用户体验度。
一种图像去雾方法，包括：
进入拍照预览模式并显示预览图像；
获取所述预览图像所在地区当前的能见度；
根据所述能见度确定雾霾浓度等级；
根据所述雾霾浓度等级采用相应的去雾方法对所述预览图像进行去雾处理。
上述图像去雾方法，进入拍照预览模式并显示预览图像；获取所述预览图像所在地区当前的能见度；根据所述能见度确定雾霾浓度等级；根据所述雾霾浓度等级采用相应的去雾方法对所述预览图像进行去雾处理。上述图像去雾方法能够根据获取的能见度确定雾霾弄浓度等级，针对不同的雾霾浓度等级的预览图像采用相应的去雾方法进行自适应去雾处理，增强了去雾效果，提供了用户体验度。
本发明实施例还提供一种图像去雾装置，包括：
显示模块，用于进入拍照预览模式时显示预览图像；
获取模块，用于获取所述预览图像所在地区当前的能见度；
确定模块，用于根据所述能见度确定雾霾浓度等级，其中，所述雾霾浓度等级与所述能见度呈反比例关系；以及
去雾模块，用于根据所述雾霾浓度等级对所述预览图像采用相应的去雾方法进行去雾处理。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现图像去雾方法。
一种移动终端，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现图像去雾方法。
附图说明
图1为一个实施例中图像去雾方法的流程图；
图2为另一个实施例中图像去雾方法的流程图；
图3为一个实施例中采用基于暗原色先验算法对所述预览图像进行去雾处理的流程图；
图4为一个实施例中基于雾霾浓度因子和引导滤波方法对所述预览图像进行去雾处理的流程图；
图5为一个实施例中雾霾天气成像物理模型；
图6为一个实施例中图像去雾装置的内部框架图；
图7为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种图像去雾方法，图1为一个实施例中图像去雾方法的流程图。一种图像去雾方法，包括以下步骤：
步骤102：进入拍照预览模式并显示预览图像。
需要说明的是，本发明实施例提供的一种图像去雾方法是在移动终端上进行拍照的场景下实现的。当用户想要拍照时便启动移动终端的成像设备，当用户想要拍照时便启动终端的成像装置，该成像装置可以是前置摄像头、后置摄像头、双摄像头等。启动移动终端的成像设备，使其进入拍照预览模式，并将被拍摄的物体显示在移动终端的显示窗口，并将此时显示窗口所显示的图像定义为预览图像。
其中，成像设备硬件上一般包括五个部分：外壳(马达)、镜头、红外滤光片、图像传感器(例如CCD或COMS)和挠性印刷电路板(FPCB)等。在拍照预览模式下，显示预览图像的过程中，镜头在马达的驱动下移动，被拍摄的物体经过镜头在图像传感器上成像。图像传感器通过光-电转换将光信号转换为电信号输给图像处理电路进行后续处理。其中，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。
步骤104：获取所述预览图像所在地区当前的能见度。
具体地，通过内置在移动终端的天气预报插件，联网获取天气预报插件提供的移动终端所在地区当时的天气信息。其中，天气信息包括天气预报(雨、雾、雪、大雾预警等)、空气质量(空气质量指数、雾霾预警)以及能见度等。能见度，是反映大气透明度的一个指标，航空界定义为具有正常视力的人在当时的天气条件下还能够看清楚目标轮廓的最大距离。能见度和当时的天气情况密切相关，当出现降雨、雾、霾、烟、雪、沙尘暴等天气过程时，大气透明度较低，因此能见度较差。能见度作为衡量雾霾浓度最直接的标准，能见度大表示雾霾浓度小，反之则表示雾霾浓度大。当能见度小于1000米时表明为雾霾天气，说明空中存在雾、霾、烟等，视野不清晰。
可选的，能见度还可以通过访问相应的应用服务器上获取，例如访问当地为气象台、气象站、航天航空等应用服务器，获取当地当时的能见度等。
步骤106：根据所述能见度确定雾霾浓度等级，其中，所述雾霾浓度等级与所述能见度呈反比例关系。
其能见度大(能见度距离远)表示雾霾浓度小，反之则表示雾霾浓度大。如表1所示，根据雾霾浓度等级与能见度的统计规律，可以给出雾霾浓度等级V与能见度L大小之间的对应关系。根据实际需求，可将雾霾浓度等级分为四个等级，等级0、等级1、等级2和等级3，其中，等级0可以理解为能见度距离大于1000米，天气晴朗，没有雾霾。等级1对应于能见度距离在500～1000米之间的薄雾霾天气，等级2对应于能见度距离在50～500米之间的浓雾霾天气，等级3对应于能见度距离小于50米以下的超浓雾霾天气。
表1 雾霾浓度等级与能见度对应表
| 雾霾浓度等级L | 能见度V(m) |
| 0 | ＞1000 |
| 1 | 500～1000 |
| 2 | 50～500 |
| 3 | ＜50 |
步骤108：根据所述雾霾浓度等级采用相应的去雾方法对所述预览图像进行去雾处理。
根据获取的雾霾浓度等级采用相应的去雾方法对预览图像进行去雾处理，其中，当雾霾浓度等级为等级0时，其能见度很高，表明天气晴朗，空气中的雾霾浓度很低，不需要对预览图像进行去雾处理。当雾霾浓度等级为等级1时，其对应于薄雾霾天气，可以采用针对薄雾霾天气的去雾算法对预览图像进行去雾处理。当雾霾浓度等级为等级2时，其对应于浓雾霾天气，可以采用针对浓雾霾天气的去雾算法对预览图像进行去雾处理。当雾霾浓度等级为等级3时，其能见度低于50米，雾霾浓度过大，对这类图像去雾处理时会使得去雾后的图像噪声偏大，因此，需要进行不完全去雾，可以采用针对浓雾霾天气的去雾算法对预览图像进行不完全去雾处理。
上述图像去雾方法，进入拍照预览模式并显示预览图像；获取所述预览图像所在地区当前的能见度；根据所述能见度确定雾霾浓度等级；根据所述雾霾浓度等级采用相应的去雾方法对所述预览图像进行去雾处理。上述图像去雾方法能够根据获取的能见度确定雾霾弄浓度等级，针对不同的雾霾浓度等级的预览图像采用相应的去雾方法进行自适应去雾处理，增强了去雾效果，提供了用户体验度。
图2为另一个实施例中图像去雾方法的流程图。本发明实施例中，图像去雾方法，包括：
步骤202：进入拍照预览模式并显示预览图像；
步骤204：获取所述预览图像所在地区当前的能见度；
步骤206：根据所述能见度确定雾霾浓度等级；
步骤208：根据预览图像HSV分量的颜色直方图确定所述雾霾浓度等级的准确性。
步骤210：根据所述雾霾浓度等级采用相应的去雾方法对所述预览图像进行去雾处理。
其中，步骤202、204、206、210对应于图1实施例中的步骤102、104、106、108，在此，不再赘述。
其中，为了确定根据能见度获取的雾霾浓度等级信息的准确性，在本发明实例中，可以根据预览图像HSV分量的颜色直方图确定所述雾霾浓度等级的准确性。
具体地，构成HSV颜色空间的三要素为色调分量(Hue)、饱和度分量(Saturation)和明度分量(Value)。在雾霾天气条件下获取的预览图像，其预览图像色调分量H、饱和度分量S、明度分量V所包含的信息存在较大差异，因此可根据图像H、S、V分量的颜色直方图判定雾天等级。判定式如下：
AveH＜100&&AveS＜0.07&&AveV＜0.5 (1-1)
AveH＜125&&AveS＜0.2&&AveV＜0.48 (1-2)
式中，AveH、AveS、AveV分别为图像的色调H、S、V分量特征，计算方式为：
AveH＝SumH/M1 (1-3)
AveS＝SumS/M2 (1-4)
AveV＝SumV/M3 (1-5)
其中，SumH、SumS、SumV分别为图像中所有像素点色调分量H、饱和度分量S、明度分量V的总和；M1、M2、M3分别为色调分量H、饱和度分量S、明度分量V值不为0的像素点数量。
若预览图像的色调分量H、饱和度分量S、明度分量V特征满足式(1-1)，则判定为薄雾霾天气，其雾霾浓度等级为等级1。
若预览图像的色调分量H、饱和度分量S、明度分量V特征满足式(1-2)，则判定为浓雾霾天气，其雾霾浓度等级为等级2。
若预览图像的色调分量H、饱和度分量S、明度分量V特征既不满足式(1-1)也不满足式(1-2)，则可认为预览图像中无雾霾，此时不需对预览图像进行去雾处理。
根据预览图像的色调分量H、饱和度分量S、明度分量V即可确认预览图像中的雾霾浓度等级是否与根据能见度确定的雾霾浓度等级一致。若一致，则说明跟据能见度确定的雾霾浓度等级是准确的，可以进行相应的去雾处理。若不一致，则说明获取的能见度不准确，需要重新获取所述预览图像所在地区当前的能见度以确定雾霾浓度等级或直接根据预览图像HSV分量的颜色直方图确定所述雾霾浓度等级来进行相应的去雾处理。
可选的，还可以通过视觉对比度(Visual Contrast Measure，VCM)对预览图像的质量进行评估，将获取的预览图像的质量与预设值比较，进而确定雾霾浓度等级。
在一个实施例中，根据所述雾霾浓度等级采用相应的去雾方法对所述预览图像进行去雾处理。
具体地，当所述雾霾浓度等级为等级1级时，采用基于暗原色先验去雾方法对所述预览图像进行去雾处理。当所述雾霾浓度等级为等级1级时，对应于薄雾霾天气，预览图像的对比度下降不严重，图像中暗原色信息突出，采用基于图像复原的暗原色先验去雾算法可以使去雾后的图像更接近真实场景。
当所述雾霾浓度等级为等级2级时，采用雾霾浓度因子和引导滤波方法去雾方法对所述预览图像进行去雾处理。当所述雾霾浓度等级为等级1级时，对应于浓雾霾天气，预览图像的对比度下降严重，图像细节、色彩等信息大量丢失，暗原色信息被雾霾所遮盖，因此暗原色先验去雾算法对此类图像去雾效果不理想。此时，可以采用基于雾霾浓度因子和引导滤波方法对预览图像进行去雾处理，可以使去雾后的图像更接近真实场景，或者可以采用基于图像增强的算法没有暗原色信息等条件的限制的全局化直方图均衡化、同态滤波或多尺度Retinex算法对预览图像进行去雾处理。
如图3所示，进一步地，所述采用基于暗原色先验去雾方法对所述预览图像进行去雾处理，包括如下步骤：
步骤302：获取预览图像的暗原色图。
根据预览图像获取其暗原色图Jdark(x)，可以用下式表达：
式中，c表示图像的R、G、B颜色通道之一，Ω(x)表示图像中除天空区域外的x处的一个局部窗口，Jc表示彩色图像的一个颜色通道。在求预览图像的暗原色图时进行了两次最小值操作，首先对中心像素点R、G、B颜色通道进行最小值求解，然后对图像的局部区域Ω(x)作最小值滤波。
步骤304：根据所述暗原色图求取大气光值A和粗糙透射率t(x)。
在基于物理模型的图像去雾中，A的取值大小直接影响着恢复后图像的亮度：A值过大会使恢复后的图像偏暗，A值过小将导致使图像曝光过度，使恢复的图像色彩失真。根据统计规律，可以取A＝0.98，当然，也可以取其他值，对此本发明实施例不加以限定。
同时，粗糙透射率t(x)可以定义为：
式中，IC(y)代表预览图像I(x)的像素R、G、B三通道；ω称为去雾程度因子。ω的取值范围为：0＜ω＜1，具体地，ω＝0.95。
步骤306：对所述粗糙透射率t(x)进行双边滤波得到精细透射率。
首先对粗糙透射率t(x)进行下采样处理得到采样透射率t’(x)，下采样比率为1/4。对粗糙透射率t(x)进行下采样处理后，可以降低双边滤波优化透射率的时间消耗。然后采用双边滤波的方式对对估计透射率t’(x)进行平滑优化得到精细透射率
使用双边滤波优化后的精细透射率
为：
式中，C为归一化参数；
为空域权重系数；
为值域权重系数；Ω为以像素点(i,j)为中心的(2N+1)×(2N+1)大小的窗口；t(i,j)为粗糙透射率t(x)。其中，双边滤波参数双边滤波的滤波半径N＝10，空间相似度因子σs＝5。
步骤308：对所述精细透射率
进行双线性插值，使所述精细透射率
恢复到原始大小，得到估计透射率
其中，双线性插值是对中心点四周2×2区域内的4个采样点的像素值进行加权平均作为输出结果，该插值方式对输入图像的处理结果和处理速度均较为理想。
步骤310：根据所述大气光值A、估计透射率
对所述预览图像进行去雾处理。其中，预设恢复公式表示为：
式中，I(x)表示预览图像，J(x)为恢复后的无雾图像，A为大气光值，
为估计透射率，为了避免是去雾处理后的图像向白场过度，去雾处理均以t0＝0.1为标准计算。
通过采用自适应双边滤波对透射率进行优化提高了算法速度，同时在对透射率进行优化前对其采取了下采样操作，使算法速度得到进一步提高。
如图5所示，进一步地，基于雾霾浓度因子和引导滤波方法对所述预览图像进行去雾处理，包括如下步骤：
步骤402：构建雾霾天气成像物理模型，其中，所述物理模型表示为：E＝Gβ(I-Ig)+Ig，式中，Gβ为雾霾浓度因子，I为预览图像，Ig为环境中的大气光。
雾霾天气成像物理模型是研究雾霾天气图像退化的重要依据，常见的雾霾天气成像物理模型可以表示如图5所示。从图5中可以看出，使得雾霾天气图像变模糊的因素主包括:空气中浑浊介质对成像物体反射光的吸收和散射以及空气中的大气粒子及地面的反射。光在散射过程中对成像的图像造成多重散射干扰。用数学模型表示此过程为：
I＝Igρ(x)e-βd(x)+Ig(1-e-βd(x))
式中，Ig为环境中的大气光，ρ(x)为标准光辐照强度，I为预览图像，d(x)为场景深度，β为雾霾浓度影响系数。与天空光的远距离传输相比较，在浓雾条件下，成像设备所获取的图像场景深度的变化是微小的。若E为退化前的清晰图像，用雾霾浓度因子Gβ代替eβd(x)，根据辐射原理可知，进而对上述公式处理得到天气成像物理模型：
E＝Gβ(I-Ig)+Ig
步骤404：根据所述能见度获取所述雾霾浓度因子。
能见度作为衡量雾霾浓度最直接的标准，能见度大表示雾霾浓度小，反之则表示雾霾浓度大。在用能见度来表征雾霾浓度信息时，超低能见度情况下雾霾浓度过大，对这类图像去雾处理时会使得去雾后的图像噪声偏大，因此，需要进行不完全去雾。当能见度为一个较大的距离时，雾霾浓度很低，不需要对预览图像进行去雾处理。能见度在1000米以内作为有雾霾天气，当能见度L∈[50，1000]时，雾霾浓度因子Gβ和能见度1/L之间成正比例关系。因此，可以设定能见度L与雾霾浓度因子Gβ之间的对应关系：
根据上述对应关系式，可根据获取的能见度直接确定其雾霾浓度因子Gβ。
步骤406：采用引导滤波的方法估计所述大气光。
首先将预览图像转换为灰度图，利用灰度图引导滤波求得大气光A。采用引导滤波的方法估计大气光A时，可记预览图像为p，引导图像为I，滤波输出图像为q，则在以k为中心的窗口Wk中滤波输出图像q与引导图像为I存在线性关系。为了让引导滤波的效果达到最优，必须使得输出图像q与预览图像p之间的差异最小，此时，需要代价函数E(ak，bk)满足：
式中，ak、bk为窗口中的线性系数，在窗口中为固定值；Wk是假设的半径为r的方形窗口。利用最小二乘法的思想可以求出局部线性系数ak、bk。大气光Ig可以表示为：
式中，pi为预览图像中的像素点，i为像素所引导，Wi表示以pi为中心的单元窗口，|ω|为单元窗口像素个数数，R表示对每个像素点做滤波处理。
步骤408：将所述获取的所述雾霾浓度因子、大气光带入所述雾霾天气成像物理模型对所述预览图像进行去雾处理。
将获取的雾霾浓度因子Gβ、大气光Ig带入至雾霾天气成像物理模型E＝Gβ(I-Ig)+Ig中，就可以实现对预览图像I的去雾处理。
本发明实施例中，该方法在计算雾霾浓度因子的值时复杂度低，引导滤波在执行滤波操作时其执行速度与滤波窗口尺寸无关，响应速度快。通过该方法能够实现对浓雾霾预览图像的去雾处理，且去雾处理后的图像颜色真实、层次感强、图像亮度清晰度高。
在一个实施例中，还包括对去雾处理后的所述预览图像进行曝光度处理和自动色阶处理的步骤。
在所述去雾拍照预览模式下，根据所述能见度对所述第一预览图像进行相应等级的去雾处理以获取第二预览图像之后，在对去雾处理后的第二预览图像进行曝光度处理和自动色阶处理以增强第第二预览图像的显示效果。通常，经去雾处理后获得的第二预览图像的亮度较暗，对第二预览图像进行后处理，在后处理过程中可以对过暗的第二预览图像增加曝光度和自动色阶，以得到更加完美呈现去雾图像的显示效果。
在一个实施例中，图像去雾方法，还包括响应于拍照指令，将所述第二预览图像生成图像文件的步骤。
拍照指令可以是用户输入的用于控制成像设备将物体的图像记录下来的指令，用户可以通过物理的或者虚拟的启动按键、手势动作、语音等来触发拍照指令。当接收到拍照指令收，将去雾处理后的第二预览图像生成图像文件(如：BMP格式、JPEG格式等)保存下来。在生成图像文件的同时，还可以将与图像文件对应的图像显示在所述移动终端的屏幕上，以供用户查看。
本发明实施例还提供一种图像去雾装置，图6为一个实施例中图像去雾装置的结构示意图。
一种图像去雾装置，包括：
显示模块610，用于进入拍照预览模式时显示预览图像；
获取模块620，用于获取所述预览图像所在地区当前的能见度；
确定模块630，用于根据所述能见度确定雾霾浓度等级；以及
去雾模块640，用于根据所述雾霾浓度等级对所述预览图像采用相应的去雾方法进行去雾处理。
上述图像去雾装置能够根据获取的能见度确定雾霾弄浓度等级，针对不同的雾霾浓度等级的预览图像采用相应的去雾方法进行自适应去雾处理，增强了去雾效果，提供了用户体验度。
在一个实施例中，图像去雾装置还包括：
评估模块650，用于预览图像HSV分量的颜色直方图评估所述预览图像的雾霾浓度等级的准确性。
本发明实施例还提供了一种计算机可读存储介质。一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：
进入拍照预览模式并显示预览图像；
获取所述预览图像所在地区当前的能见度；
根据所述能见度确定雾霾浓度等级；
根据所述雾霾浓度等级采用相应的去雾方法对所述预览图像进行去雾处理。
上述计算机可读存储介质中计算机程序(指令)在被执行时，能够根据获取的能见度确定雾霾弄浓度等级，针对不同的雾霾浓度等级的预览图像采用相应的去雾方法进行自适应去雾处理，增强了去雾效果，提供了用户体验度。
在一个实施例中，图像去雾方法，还包括：
根据预览图像HSV分量的颜色直方图确定所述雾霾浓度等级的准确性。
在一个实施例中，所述雾霾浓度等级包括：对应薄雾的等级1和对应浓雾的等级2；
当所述雾霾浓度等级为等级1级时，采用基于暗原色先验算法对所述预览图像进行去雾处理；
当所述雾霾浓度等级为等级2或高于等级2时，采用基于大气消光系数和引导滤波方法对所述预览图像进行去雾处理。
在一个实施例中，所述采用基于暗原色先验算法对所述预览图像进行去雾处理，包括：
获取预览图像的暗原色图；
根据所述暗原色图求取大气光值和粗糙透射率；
对所述粗糙透射率进行双边滤波得到精细透射率；
对所述精细透射率进行双线性插值，使所述精细透射率恢复到原始大小，得到估计透射率；
根据所述大气光值、估计透射率对所述预览图像进行去雾处理。
在一个实施例中，所述基于雾霾浓度因子和引导滤波方法对所述预览图像进行去雾处理，包括：
构建雾霾天气成像物理模型，其中，所述物理模型表示为：E＝Gβ(I-Ig)+Ig，式中，Gβ为雾霾浓度因子，I为预览图像，Ig为环境中的大气光；
根据所述能见度获取所述雾霾浓度因子；
采用引导滤波的方法估计所述大气光；
将所述获取的所述雾霾浓度因子、大气光带入所述雾霾天气成像物理模型对所述预览图像进行去雾处理。
在一个实施例中，图像去雾方法，还包括：
对去雾处理后的所述预览图像进行曝光度处理和自动色阶处理。
本发明实施例还提供一种计算机设备。上述计算机设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image SignalProcessing，图像信号处理)管线的各种处理单元。图7为一个实施例中图像处理电路的示意图。如图7所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。
如图7所示，图像处理电路包括ISP处理器740和控制逻辑器750。成像设备710捕捉的图像数据首先由ISP处理器740处理，ISP处理器740对图像数据进行分析以捕捉可用于确定和/或成像设备710的一个或多个控制参数的图像统计信息。成像设备710可包括具有一个或多个透镜712和图像传感器714的照相机。图像传感器714可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器714可获取用图像传感器714的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器740处理的一组原始图像数据。传感器720可基于传感器720接口类型把原始图像数据提供给ISP处理器740。传感器720接口可以利用SMIA(StandardMobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口、或上述接口的组合。
ISP处理器740按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器740可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器740还可从图像存储器730接收像素数据。例如，从传感器720接口将原始像素数据发送给图像存储器730，图像存储器730中的原始像素数据再提供给ISP处理器740以供处理。图像存储器730可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自传感器720接口或来自图像存储器730的原始图像数据时，ISP处理器740可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给或图像存储器730，以便在被显示之前进行另外的处理。ISP处理器740还可从图像存储器730接收处理数据，对上述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器780，以供用户观看和/或由图形引擎或GPU(GraphicsProcessing Unit，图形处理器)进一步处理。此外，ISP处理器740的输出还可发送给图像存储器730，且显示器780可从图像存储器730读取图像数据。在一个实施例中，图像存储器730可被配置为实现一个或多个帧缓冲器。此外，ISP处理器740的输出可发送给编码器/解码器770，以便编码/解码图像数据。编码的图像数据可被保存，并在显示与显示器780设备上之前解压缩。
ISP处理后的图像数据可发送给去雾模块760，以便在被显示之前对图像进行去雾处理。其中，去雾模块760根据确定的雾霾浓度等级采用相应的去雾方法对所述预览图像进行去雾处理。同时，能够根据预览图像HSV分量的颜色直方图确定雾霾浓度等级的准确性。去雾模块760可为移动终端中CPU(Central Processing Unit，中央处理器)或GPU(Graphics Processing Unit，图形处理器)等。去雾模块760将图像数据进行去雾处理后，可将去雾处理后的图像数据发送给编码器/解码器770，以便编码/解码图像数据。编码的图像数据可被保存，并在显示与显示器780设备上之前解压缩。可以理解的是，去雾模块760处理后的图像数据可以不经过编码器/解码器770，直接发给显示器780进行显示。ISP处理器740处理后的图像数据还可以先经过编码器/解码器770处理，然后再经过去雾模块760进行处理。
ISP处理器740确定的统计数据可发送给控制逻辑器750单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜712阴影校正等图像传感器714统计信息。控制逻辑器750可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备710的控制参数以及的控制参数。例如，控制参数可包括传感器720控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜712控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜712阴影校正参数。
以下为基于图7中图像处理技术，实现图像去雾方法的步骤：
进入拍照预览模式并显示预览图像；
获取所述预览图像所在地区当前的能见度；
根据所述能见度确定雾霾浓度等级；
根据所述雾霾浓度等级采用相应的去雾方法对所述预览图像进行去雾处理。
在处理器上运行的计算机程序的执行时，能够根据获取的能见度确定雾霾弄浓度等级，针对不同的雾霾浓度等级的预览图像采用相应的去雾方法进行自适应去雾处理，增强了去雾效果，提供了用户体验度。
在一个实施例中，图像去雾方法，还包括：
根据预览图像HSV分量的颜色直方图确定所述雾霾浓度等级的准确性。
在一个实施例中，所述雾霾浓度等级包括：对应薄雾的等级1和对应浓雾的等级2；
当所述雾霾浓度等级为等级1级时，采用基于暗原色先验算法对所述预览图像进行去雾处理；
当所述雾霾浓度等级为等级2或高于等级2时，采用基于大气消光系数和引导滤波方法对所述预览图像进行去雾处理。
在一个实施例中，所述采用基于暗原色先验算法对所述预览图像进行去雾处理，包括：
获取预览图像的暗原色图；
根据所述暗原色图求取大气光值和粗糙透射率；
对所述粗糙透射率进行双边滤波得到精细透射率；
对所述精细透射率进行双线性插值，使所述精细透射率恢复到原始大小，得到估计透射率；
根据所述大气光值、估计透射率对所述预览图像进行去雾处理。
在一个实施例中，所述基于雾霾浓度因子和引导滤波方法对所述预览图像进行去雾处理，包括：
构建雾霾天气成像物理模型，其中，所述物理模型表示为：E＝Gβ(I-Ig)+Ig，式中，Gβ为雾霾浓度因子，I为预览图像，Ig为环境中的大气光；
根据所述能见度获取所述雾霾浓度因子；
采用引导滤波的方法估计所述大气光；
将所述获取的所述雾霾浓度因子、大气光带入所述雾霾天气成像物理模型对所述预览图像进行去雾处理。
在一个实施例中，图像去雾方法，还包括：
对去雾处理后的所述预览图像进行曝光度处理和自动色阶处理。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种图像去雾方法，其特征在于，包括：
进入拍照预览模式并显示预览图像；
获取所述预览图像所在地区当前的能见度；
根据所述能见度确定雾霾浓度等级；
根据不同的所述雾霾浓度等级采用相应的不同去雾方法对所述预览图像进行自适应去雾处理从而进行去雾成像；
若所述雾霾浓度等级对应浓雾霾天气，采用基于雾霾浓度因子和引导滤波方法对所述预览图像进行去雾处理；
所述基于雾霾浓度因子和引导滤波方法对所述预览图像进行去雾处理，包括：
构建雾霾天气成像物理模型；
根据所述能见度获取所述雾霾浓度因子；
采用引导滤波的方法估计所述大气光；
将所述获取的所述雾霾浓度因子、大气光带入所述雾霾天气成像物理模型对所述预览图像进行去雾处理；
所述雾霾浓度等级包括：对应薄雾的等级1和对应浓雾的等级2；
当所述雾霾浓度等级为等级1级时，采用基于暗原色先验算法对所述预览图像进行去雾处理；
当所述雾霾浓度等级为等级2或高于等级2时，采用基于雾霾浓度因子和引导滤波方法对所述预览图像进行去雾处理。
2.根据权利要求1所述的图像去雾方法，其特征在于，还包括：
根据预览图像HSV分量的颜色直方图确定所述雾霾浓度等级的准确性。
3.根据权利要求1所述的图像去雾方法，其特征在于，所述采用基于暗原色先验算法对所述预览图像进行去雾处理，包括：
获取预览图像的暗原色图；
根据所述暗原色图求取大气光值和粗糙透射率；
对所述粗糙透射率进行双边滤波得到精细透射率；
对所述精细透射率进行双线性插值，使所述精细透射率恢复到原始大小，得到估计透射率；
根据所述大气光值、估计透射率对所述预览图像进行去雾处理。
4.根据权利要求1所述的图像去雾方法，其特征在于，
所述物理模型表示为：E＝Gβ(I-Ig)+Ig，式中，Gβ为雾霾浓度因子，I为预览图像，Ig为环境中的大气光。
5.根据权利要求1所述的图像去雾方法，其特征在于，还包括：
对去雾处理后的所述预览图像进行曝光度处理和自动色阶处理。
6.一种图像去雾装置，其特征在于，包括：
显示模块，用于进入拍照预览模式时显示预览图像；
获取模块，用于获取所述预览图像所在地区当前的能见度；
确定模块，用于根据所述能见度确定雾霾浓度等级，其中，所述雾霾浓度等级与所述能见度呈反比例关系；
以及
去雾模块，用于根据不同的所述雾霾浓度等级对所述预览图像采用相应的不同去雾方法进行自适应去雾处理从而进行去雾成像；
所述去雾模块，还用于若所述雾霾浓度等级对应浓雾霾天气，采用基于雾霾浓度因子和引导滤波方法对所述预览图像进行去雾处理；
所述基于雾霾浓度因子和引导滤波方法对所述预览图像进行去雾处理，包括：
构建雾霾天气成像物理模型；
根据所述能见度获取所述雾霾浓度因子；
采用引导滤波的方法估计所述大气光；
将所述获取的所述雾霾浓度因子、大气光带入所述雾霾天气成像物理模型对所述预览图像进行去雾处理；
所述雾霾浓度等级包括：对应薄雾的等级1和对应浓雾的等级2；
所述去雾模块，还用于当所述雾霾浓度等级为等级1级时，采用基于暗原色先验算法对所述预览图像进行去雾处理；当所述雾霾浓度等级为等级2或高于等级2时，采用基于雾霾浓度因子和引导滤波方法对所述预览图像进行去雾处理。
7.根据权利要求6所述的图像去雾方法，其特征在于，还包括：
评估模块，用于预览图像HSV分量的颜色直方图评估所述预览图像的雾霾浓度等级的准确性。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5中任一项所述的图像去雾方法。
9.一种移动终端，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5中任一项所述的图像去雾方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710624518.6A CN107424133B (zh) | 2017-07-27 | 2017-07-27 | 图像去雾方法、装置、计算机可存储介质和移动终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710624518.6A CN107424133B (zh) | 2017-07-27 | 2017-07-27 | 图像去雾方法、装置、计算机可存储介质和移动终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107424133A CN107424133A (zh) | 2017-12-01 |
| CN107424133B true CN107424133B (zh) | 2020-01-10 |
Family
ID=60430486
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710624518.6A Active CN107424133B (zh) | 2017-07-27 | 2017-07-27 | 图像去雾方法、装置、计算机可存储介质和移动终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107424133B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107767353A (zh) * | 2017-12-04 | 2018-03-06 | 河南工业大学 | 一种基于清晰度评价的自适应图像去雾方法 |
| CN108038831A (zh) * | 2017-12-19 | 2018-05-15 | 北京理工大学 | 一种基于大气散射模型的彩***去雾方法 |
| TWI724375B (zh) * | 2018-02-23 | 2021-04-11 | 富智捷股份有限公司 | 圖像去霧霾方法、電子設備及電腦可讀取記錄媒體 |
| CN108460743A (zh) * | 2018-03-19 | 2018-08-28 | 西安因诺航空科技有限公司 | 一种基于暗通道的无人机航拍图像去雾算法 |
| CN109584186A (zh) * | 2018-12-25 | 2019-04-05 | 西北工业大学 | 一种无人机机载图像去雾方法和装置 |
| CN109658359B (zh) * | 2018-12-26 | 2023-06-13 | 联创汽车电子有限公司 | 大气悬浮物检测***及其检测方法 |
| CN110992293A (zh) * | 2019-12-13 | 2020-04-10 | 杭州电子科技大学 | 一种自适应视频去雾方法与装置 |
| CN111738959B (zh) * | 2020-06-30 | 2022-08-19 | 福州大学 | 一种基于fpga的视频图像实时除雾方法 |
| CN111899309A (zh) * | 2020-07-31 | 2020-11-06 | 上海眼控科技股份有限公司 | 上坡雾检测方法、装置、计算机设备和可读存储介质 |
| CN114648467B (zh) * | 2022-05-18 | 2022-08-16 | 中山大学深圳研究院 | 图像的去雾方法、装置、终端设备及计算机可读存储介质 |
| CN115412669B (zh) * | 2022-08-26 | 2023-06-06 | 清华大学 | 基于图像信噪比分析的雾天成像方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2213219A1 (en) * | 2007-11-21 | 2010-08-04 | Panasonic Corporation | Endoscope device, camera device for endoscope, and defogging method |
| KR20100104262A (ko) * | 2009-03-17 | 2010-09-29 | 주식회사 현대오토넷 | 오토 디포깅 장치 및 방법 |
| CN105631827A (zh) * | 2015-12-28 | 2016-06-01 | 四川大学 | 一种车载视频去雾方法及*** |
| CN105809647A (zh) * | 2016-03-31 | 2016-07-27 | 北京奇虎科技有限公司 | 一种自动去雾拍照方法、装置和设备 |
| CN105913390A (zh) * | 2016-04-07 | 2016-08-31 | 潍坊学院 | 一种图像去雾方法及*** |
-
2017
- 2017-07-27 CN CN201710624518.6A patent/CN107424133B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2213219A1 (en) * | 2007-11-21 | 2010-08-04 | Panasonic Corporation | Endoscope device, camera device for endoscope, and defogging method |
| KR20100104262A (ko) * | 2009-03-17 | 2010-09-29 | 주식회사 현대오토넷 | 오토 디포깅 장치 및 방법 |
| CN105631827A (zh) * | 2015-12-28 | 2016-06-01 | 四川大学 | 一种车载视频去雾方法及*** |
| CN105809647A (zh) * | 2016-03-31 | 2016-07-27 | 北京奇虎科技有限公司 | 一种自动去雾拍照方法、装置和设备 |
| CN105913390A (zh) * | 2016-04-07 | 2016-08-31 | 潍坊学院 | 一种图像去雾方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107424133A (zh) | 2017-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107424133B (zh) | 图像去雾方法、装置、计算机可存储介质和移动终端 | |
| CN110149482B (zh) | 对焦方法、装置、电子设备和计算机可读存储介质 | |
| CN107424198B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| EP3496383A1 (en) | Image processing method, apparatus and device | |
| CN107451969B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| WO2021022983A1 (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN102170574B (zh) | 一种实时视频去雾处理*** | |
| KR102261532B1 (ko) | 단일 스케일 영상 융합에 기반한 안개 제거 시스템 및 방법 | |
| CN107481186B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN107395991B (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
| CN107493432A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN107277299B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN107317967B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN108989699A (zh) | 图像合成方法、装置、成像设备、电子设备以及计算机可读存储介质 | |
| CN107341782B (zh) | 图像处理方法、装置、计算机设备和计算机可读存储介质 | |
| CN107454317B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN107317969A (zh) | 图像去雾方法、装置、计算机可存储介质和移动终端 | |
| CN107424134B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN107464225B (zh) | 图像处理方法、装置、计算机可读存储介质和移动终端 | |
| CN107392870B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN107454318B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN107295261B (zh) | 图像去雾处理方法、装置、存储介质和移动终端 | |
| CN107454319B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN112825189B (zh) | 一种图像去雾方法及相关设备 | |
| CN107292853B (zh) | 图像处理方法、装置、计算机可读存储介质和移动终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: OPPO Guangdong Mobile Communications Co., Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: Guangdong Opel Mobile Communications Co., Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |