CN112967273A - 图像处理方法、电子设备及存储介质 - Google Patents

图像处理方法、电子设备及存储介质 Download PDF

Info

Publication number
CN112967273A
CN112967273A CN202110322423.5A CN202110322423A CN112967273A CN 112967273 A CN112967273 A CN 112967273A CN 202110322423 A CN202110322423 A CN 202110322423A CN 112967273 A CN112967273 A CN 112967273A
Authority
CN
China
Prior art keywords
image
strategy
processing
image quality
quality index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110322423.5A
Other languages
English (en)
Other versions
CN112967273B (zh
Inventor
李东洋
户磊
化学诚
王海彬
刘祺昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Beijing Dilusense Technology Co Ltd
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dilusense Technology Co Ltd, Hefei Dilusense Technology Co Ltd filed Critical Beijing Dilusense Technology Co Ltd
Priority to CN202110322423.5A priority Critical patent/CN112967273B/zh
Publication of CN112967273A publication Critical patent/CN112967273A/zh
Application granted granted Critical
Publication of CN112967273B publication Critical patent/CN112967273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明实施方式涉及图像处理领域，公开了一种图像处理方法、电子设备及存储介质。本发明的部分实施方式中，图像处理方法包括以下步骤：获取图像的各图像质量指标的分数；若图像的各图像质量指标的分数不满足预设的分数要求，基于图像的各图像质量指标的分数，从预定义的策略空间中选取处理策略，对图像进行处理，得到最终的图像；其中，策略空间中预先存储有多种图像的处理策略。该实施方式中，电子设备基于图像的各图像质量指标的分数，从预定义的策略空间中选择处理策略，对图像进行处理，使得能够对不同场景拍摄的图像选择合适的处理策略进行优化处理。

Description

图像处理方法、电子设备及存储介质
技术领域
本发明实施方式涉及图像处理领域，特别涉及一种图像处理方法、电子设备及存储介质。
背景技术
目前，受图像传感器本身固有的特性影响，图像传感器拍摄的图像普遍存在着目标与背景对比度较差、边缘模糊、图像信噪比比较低和对比度比较低等问题。这些问题需要通过图像处理技术来解决。图像处理技术主要分为图像增强、图像复原、图像超分辨率重构等技术。特别地，图像增强技术应用最为广泛，其主要包括下面几种方法：对比度变换、空间滤波(平滑、锐化等)、频域滤波、色调映射等。这些方法改善了图像的质量，也提高了用户观看图像的主观感受。
然而，虽然对单种场景，图像处理的方法有很多，但是对于多场景的图像，目前并没有比较成熟的可统一适用的方法。
发明内容
本发明实施方式的目的在于提供一种图像处理方法、电子设备及存储介质，使得图像处理方法可以对多种场景拍摄的图像进行优化处理。
为解决上述技术问题，本发明的实施方式提供了一种图像处理方法，包括以下步骤：获取图像的各图像质量指标的分数；若图像的各图像质量指标的分数不满足预设的分数要求，基于图像的各图像质量指标的分数，从预定义的策略空间中选取处理策略，对图像进行处理，得到最终的图像；其中，策略空间中预先存储有多种图像的处理策略。
本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述实施方式提及的图像处理方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的图像处理方法。
本发明实施方式提供的图像处理方法、电子设备及存储介质，由于策略空间中预先存储有多种图像的处理策略，电子设备可以基于图像的各图像质量指标的分数，从预定义的策略空间中选择适合该图像的处理策略，对图像进行处理，使得能够对不同场景拍摄的图像选择合适的方式进行优化处理。
另外，获取图像的各图像质量指标的分数，包括：确定图像的过度曝光区域；根据图像中除过度曝光区域以外的其他区域，计算图像的各图像质量指标的分数。该实施方式中，去除过度曝光区域计算图像的各图像质量指标的分数，使得计算的图像的各图像质量指标的分数更具有参考价值，进而提高图片的处理效率。
另外，若图像的各图像质量指标的分数满足预设的分数要求；不对图像进行处理。该实施方式中，对满足预设要求的图像不做处理，可以避免对高质量图像进行处理导致计算资源浪费。
另外，基于图像的各图像质量指标的分数，从预定义的策略空间中选取处理策略，对图像进行处理，得到最终的图像，包括：基于图像的各图像质量指标的分数，确定至少一个策略组合；策略组合中至少包括策略空间中的至少一个处理策略；利用策略组合中的各处理策略，分别对图像进行处理；计算处理后的图像的各图像质量指标的分数的总和；筛选总和最高的处理后的图像作为最终的图像。该实施方式中，采用多种策略组合分别对图像进行处理，并选择处理结果最优的处理后的图像作为最终的图像，使得最终的图像的质量更高。
另外，基于图像的各图像质量指标的分数，确定至少一个策略组合，包括：针对各图像质量指标，判断图像的图像质量指标的分数是否大于图像质量指标的预设分数；若确定不是，则确定图像质量指标为待优化图像质量指标；从策略空间中与各待优化图像质量指标对应的处理策略中，分别选择至少一个处理策略，组合得到策略组合；或者，根据待优化图像质量指标，从预存的M个候选策略组合中，选择N个候选策略组合，作为待执行策略组合；M≥N，且，M和N为正整数。该实施方式中，基于图像质量指标的分数得到优化图像的策略组合，使得对图像进行处理的处理策略更具针对性，更有效地提高图像的质量。
另外，利用策略组合中的各处理策略，分别对图像进行处理，包括：根据图像的待优化图像质量指标的分数，确定策略组合中与待优化图像质量指标对应的处理策略的预设的参数的取值；对图像依次执行策略组合中的各处理策略。该实施方式中，基于图像的待优化图像质量指标的分数，确定策略组合中与待优化图像质量指标对应的处理策略的预设的参数的取值，而非任意选择数值来确定处理策略的处理强度，多次尝试确定最佳取值，可以提高图像的优化速度。
另外，预设的分数要求包括：图像的各图像质量指标的分数的总和大于阈值；或者，针对各图像质量指标，图像质量指标的分数大于图像质量指标对应的预设分数。
另外，图像质量指标包括信噪比和/或动态范围。
另外，图像为红外图像。
附图说明
一个或多个实施方式通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施方式的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本发明的第一实施方式的图像处理方法的流程图；
图2是根据本发明的第二实施方式的图像处理方法的流程图；
图3是图2的图像处理方法的一种实现方式的流程图；
图4是根据本发明的第三实施方式的电子设备的结构示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明的第一实施方式涉及一种图像处理方法，包括以下步骤：计算图像的各图像质量指标的分数；根据图像的各图像质量指标的分数，以及预定义的策略空间，对图像进行处理。该实施方式中，由于策略空间中预先存储有多种图像的处理策略，电子设备可以基于图像的各图像质量指标的分数，从预定义的策略空间中选择适合该图像的处理策略，对图像进行处理，使得能够对不同场景拍摄的图像选择合适的方式进行优化处理。
下面对本实施方式的图像处理方法的实现细节进行举例说明。以下内容仅为方便理解而提供的实现细节，并非实施本方案的必须。
本实施方式中的图像处理方法应用于电子设备。其中，电子设备可以是具有处理能力的相机、终端、服务器、云端服务器等。图像可以是红外图像或其他图像。如图1所示，图像处理方法具体包括步骤101和步骤102。
步骤101：获取图像的各图像质量指标的分数。
具体地，图像质量指标可以是对比度、清晰度、亮度、信噪比、动态范围、噪声、质感、锐度、曝光范围、黑白平衡等，本实施方式中使用的图像质量指标可以是上述指标的任意组合。
需要说明的是，本领域技术人员可以理解，实际应用中，可以基于计算得到的图像的各图像质量指标的值，确定各图像质量指标的分数。例如，若图像质量指标的值与图像质量成正比，则将图像的各图像质量指标的值作为对应的图像质量指标的分数，若图像质量指标的值与图像质量成反比，则将图像的各图像质量指标的值的倒数作为对应的图像质量指标的分数。又如，对图像质量指标的值进行归一化处理，根据归一化处理后的值，确定图像质量指标的分数。本实施方式不限制计算图像质量指标的分数的方式。
步骤102：若图像的各图像质量指标的分数不满足预设的分数要求，基于图像的各图像质量指标的分数，从预定义的策略空间中选取处理策略，对图像进行处理，得到最终的图像。
具体地，策略空间中预先存储有多种图像的处理策略。预定义的策略空间是指预先设置的可采取的图像的处理策略的总体。
需要说明的是，本领域技术人员可以理解，策略空间中的处理策略可以根据选择的图像质量指标设置。例如，评价图像的图像质量指标包括信噪比，则策略空间可以包括用于提高信噪比的各种处理策略。本实施方式不限制策略空间中的处理策略的数量。
在一个例子中，电子设备判断图像的各图像质量指标的分数是否满足预设的分数要求；若确定是，不对图像进行处理；若确定不是，执行步骤102。
需要说明的是，本领域技术人员可以理解，实际应用中，分数要求可以根据开发人员对最终的图像的质量要求设置，例如，预设的分数要求包括：图像的各图像质量指标的分数的总和大于阈值；或者，针对各图像质量指标，图像质量指标的分数大于图像质量指标对应的预设分数。其中，阈值可以根据图像质量指标的个数等设置。
值得一提的是，对满足预设要求的图像不做处理，可以避免对高质量图像进行处理导致计算资源浪费。
在一个例子中，策略空间中包括多种处理策略，电子设备依次选择策略空间中的处理策略，分别对图像进行处理，直至遍历完策略空间中所有的处理策略。电子设备从处理后的图像中，选择各图像质量指标的分数的总分最高的图像，作为最终图像。
在一个例子中，基于图像的各图像质量指标的分数，从预定义的策略空间中选取处理策略，对图像进行处理，得到最终的图像，包括：基于图像的各图像质量指标的分数，确定至少一个策略组合；策略组合中至少包括策略空间中的至少一个处理策略；利用策略组合中的各处理策略，分别对图像进行处理；计算处理后的图像的各图像质量指标的分数的总和；筛选总和最高的处理后的图像作为最终的图像。具体地，每个处理策略可以对应一种或多种图像处理算法，例如，图像去噪算法、图像锐化算法等。
值得一提的是，采用多种策略组合分别对图像进行处理，并选择处理结果最优的处理后的图像作为最终的图像，使得最终的图像的质量更高。
以下对基于图像的各图像质量指标的分数，确定至少一个策略组合的方法进行举例说明。
方法1：针对各图像质量指标，判断图像的图像质量指标的分数是否大于图像质量指标的预设分数；若确定不是，则确定图像质量指标为待优化图像质量指标。从策略空间中与各待优化图像质量指标对应的处理策略中，分别选择至少一个处理策略，组合得到策略组合。具体地，针对每个图像质量指标，策略空间中存储有一种或多种用于提高该图像质量指标得分的处理策略。当前的图像的某一图像质量指标的分数不大于该图像质量指标的预设分数时，将该图像质量指标作为待优化图像质量指标。在构建策略组合时，从各待优化图像质量指标对应的处理策略中分别选择至少一个处理策略。
可选择的，策略空间中限制了各种图像质量指标对应的处理策略的执行顺序。例如，若策略组合中存在锐化处理策略和去噪处理策略，则先执行去噪处理策略，再执行锐化处理策略。由用户根据经验，预先设置各处理策略的执行顺序，可以有效减少策略组合的数量，避免执行不必要的策略组合造成资源浪费。
例如，有3个待优化图像质量指标A1、A2和A3，各待优化图像质量指标对应的处理策略的执行顺序为：A1→A2→A3，A1对应的处理策略有2种，A2对应的处理策略有3种，A3对应的处理策略有2种，则至少可以构建2*3*2＝12种策略组合。电子设备依次使用这12种策略组合对图像进行优化处理。
方法2：针对各图像质量指标，判断图像的图像质量指标的分数是否大于图像质量指标的预设分数；若确定不是，则确定图像质量指标为待优化图像质量指标。根据待优化图像质量指标，从预存的M个候选策略组合中，选择N个候选策略组合，作为待执行的策略组合；M≥N，且，M和N为正整数。
例如，电子设备中用于设置的用于评价图像质量的图像质量指标有3个，分别为B1、B2和B3。相应的，策略空间中存储有6类候选策略组合，第一类候选策略组合用于提高B1的得分，有第二类候选策略组合用于提高B1和B2的得分，第三类候选策略组合用于提高B1、B2和B3的得分，第四类候选策略组合提高B2的得分，第五类候选策略组合用于提高B2和B3的得分，第六类候选策略组合用于提高B3的得分。电子设备若确定仅B1的得分不大于B1的预设分数，则将第一类候选策略组合作为待执行的策略组合；若确定仅B2的得分不大于B2的预设分数，则将第四类候选策略组合作为待执行的策略组合；若确定仅B3的得分不大于B3的预设分数，则将第六类候选策略组合作为待执行的策略组合；若确定B1的得分不大于B1的预设分数，且，B2的得分不大于B2的预设分数，则将第二类候选策略组合作为待执行的策略组合；若确定B1的得分不大于B1的预设分数，且，B2的得分不大于B2的预设分数，且，B3的得分不大于B3的预设分数，则将第三类候选策略组合作为待执行的策略组合；若确定B2的得分不大于B2的预设分数，且，B3的得分不大于B3的预设分数，则将第五类候选策略组合作为待执行的策略组合。
值得一提的是，基于图像质量指标的分数得到优化图像的策略组合，使得对图像进行处理的处理策略更具针对性，更有效地提高图像的质量。
需要说明的是，本领域技术人员可以理解，实际应用中，也可以使用其他方式限制用于处理图像的处理策略，本实施方式不做限制。
在一个例子中，利用策略组合中的各处理策略，分别对图像进行处理，包括：根据图像的待优化图像质量指标的分数，确定策略组合中与待优化图像质量指标对应的处理策略的预设的参数的取值；对图像依次执行策略组合中的各处理策略。具体地，电子设备可以存储图像质量指标的分数和图像质量指标对应的处理策略中的各参数的约束关系。在确定待执行的处理策略后，将该处理策略对应的图像质量指标的分数带入该处理策略中的各参数的约束关系中，以求得该待执行的处理策略的各参数的取值。
值得一提的是，基于图像的待优化图像质量指标的分数，确定策略组合中与待优化图像质量指标对应的处理策略的预设的参数的取值，而非任意选择数值来确定处理策略的处理强度，多次尝试确定最佳取值，可以提高图像的优化速度。
需要说明的是，本领域技术人员可以理解，实际应用中，处理策略的预设的参数的取值也可以按照预设规则设置，例如，从预设值开始，按照预设差值，逐次递增或逐次递减，直至遍历到最大值或最小值。本实施方式不限制参数的取值的设置方式。
需要说明的是，以上仅为举例说明，并不对本发明的技术方案构成限定。
本实施方式中提供的图像处理方法，由于策略空间中预先存储有多种图像的处理策略，电子设备可以基于图像的各图像质量指标的分数，从预定义的策略空间中选择适合该图像的处理策略，对图像进行处理，使得能够对不同场景拍摄的图像选择合适的方式进行优化处理。
本发明的第二实施方式涉及一种图像处理方法。本实施方式在第一实施方式的基础上做了进一步细化，对获取图像的各图像质量指标的分数的方法进行举例说明。
具体的说，如图2所示，在本实施方式中，包含步骤201至步骤203，其中，步骤203与第一实施方式中的步骤102大致相同，此处不再赘述，下面主要介绍不同之处。
步骤201：确定图像的过度曝光区域。
具体地，电子设备可以通过计算图像各区域的亮度，确定图像的过度曝光区域。
步骤202：根据图像中除过度曝光区域以外的其他区域，计算图像的各图像质量指标的分数。
具体地，在计算图像的各图像质量指标的过程中，排除图像中的过度曝光区域进行各图像质量指标的分数计算。
值得一提的是，如果图像某部分处于过度曝光状态，将丧失该区域的大部分信息，计算信噪比与动态范围等将丧失很大效果。去除过度曝光区域计算图像的各图像质量指标的分数，使得计算的图像的各图像质量指标的分数更具有参考价值，进而提高图片的处理效率。
步骤203：若图像的各图像质量指标的分数不满足预设的分数要求，基于图像的各图像质量指标的分数，从预定义的策略空间中选取处理策略，对图像进行处理，得到最终的图像。
以下以图像为红外图像，图像质量指标包括信噪比和动态范围为例，对本实施方式提及的图像处理方法进行举例说明。
目前红外成像技术已经比较成熟，主要分为主动红外夜视技术和被动红外夜视技术。其中，主动红外夜视技术最为常见。主动红外夜视技术是通过主动照射并利用目标反射红外源的红外光来实施观察的夜视技术，经常用于监控类摄像机中。主动红外夜视技术的优点在于无需借助外部环境光，自身发射红外线进行夜视成像，夜视范围广，受环境影响小。但是，受红外传感器本身固有的特性影响，红外图像普遍存在着目标与背景对比度较差、边缘模糊等问题，图像信噪比和对比度也可能会比较低，这些就需要图像处理技术来解决。对于不同场景的红外图像，图像处理方法也各有不同。比如，在室内环境下，通常会因为环境光照等问题导致远距离图像模糊，噪点严重，这时主要使用空间滤波的方法。而在室外环境下，强烈的阳光可能会使图像亮度偏亮、对比度偏低，这时可能更多的使用色调映射的方法。常见的滤波方法有高斯滤波(Gaussian filter，GF)、双边滤波(Bilateral filter，BF)、引导滤波(guided filter)、中值滤波(medianfilter)和均值滤波(mean filter)。稍复杂些的滤波方法包括局部均值滤波、智能模糊滤波(smart blur)、表面模糊滤波(surface blur)、均值漂移滤波(mean shift filter)和双指数边缘保持平滑器(Bi-Exponential Edge-Preserving Smoother，BEEPS)滤波等。这些滤波方法经常用来去除红外图的噪点。有的滤波方法还在去除噪点的同时具备保持边缘特征的能力。色调映射(tonemapping)的方法也常用于图像后处理中，其主要通过将图像颜色进行映射变换来调整动态范围(DR)及对比度。常见的全局色调映射方法有直方图均衡化、伽玛(Gamma)映射、对数矫正和分段灰度变换。局部色调映射方法有分块中值直方图和自适应直方图均衡等。另外，锐化方法也常用于图像后处理中，锐化是为了突出图像上的高频信息，如边缘、轮廓，使图像更加清晰。锐化操作是图像平滑的相反的操作，其常用的方法有微分法(如罗伯特梯度算子法、拉普拉斯算子法)、高通滤波法(如PS中的反锐化遮掩(Unsharp Masking，USM)法)和模板匹配法。另外，去雾算法是目前图像处理中研究的热点，其通过消除图像中的蒙雾来增加图像的可视度。比较常用且效果较好的去雾算法是何凯明的暗通道去雾法。虽然对单种场景，图像处理的方法有很多，但是对于多场景的红外图像，目前并没有比较成熟的可统一适用的图像处理方法。此外，对于单方面的技术，虽然有的方法可以图像自适应调整参数，但是其自适应程度也不够高。由于没有清晰明确的指标，无法断定其对图像质量存在提升。因此，需要一种能够依据图像指标来指导多场景下的自适应图像处理方法。针对多种场景下的红外图像，现有的图像后处理技术很难统一地解决其图像问题。为了提高红外图像的质量与客观感受，增强处理多场景红外图像的自适应程度，使得能够线下自动化处理红外图像，本实施方式提出一种适应于户内外多场景的图像处理方法。如图3所示，该实施方式中图像处理方法的一种实现方式包括下述的步骤301至步骤311。
步骤301：获取红外图像I，对红外图像做过曝先验处理，得到红外图像J。
具体地，亮度作为图像中比较重要的概念，体现在图像的各个方面。本实施方式中，将亮度用于判断图像的曝光，以作为提高信噪比与动态范围的先验信息。如果红外图像某区域处于过度曝光状态，将丧失该区域的大部分信息。如若不去除该区域的话，处理信噪比与动态范围将丧失很大效果。因此，可以建立个标记(mask)来忽略此区域信息。若红外图像I中的一个像素(i，j)属于过度曝光区域，则mask(i，j)＝0，若像素(i，j)属于正常曝光区域，则mask(i，j)＝1。其中，i为像素的横坐标，j为像素的纵坐标。红外图像J即为红外图像I带上mask后的图像。电子设备通过mask来区分各像素是否属于过度曝光区域。
步骤302：计算红外图像J的分数。
具体地，图像质量指标包括信噪比和动态范围。对红外图像J中除过度曝光区域以外的其他区域，计算信噪比与动态范围的取值，然后打分得到该图像的图像质量。例如。利用公式a计算红外图像J的分数。
公式a：score＝μ*SNR+(1-μ)*DR；
其中，score表示红外图像J的分数；μ表示信噪比的权值系数，用以权衡信噪比与动态范围占总质量的比重，可以由用户根据需要设置；SNR表示信噪比；DR表示动态范围。
在计算得到红外图像J的分数后，执行后续操作，以尝试不同的提高信噪比(SIGNAL-NOISE RATIO，SNR)与动态范围(Dynamic Range，DR)的策略组合，找到分数最高的策略组合。即：
公式b：
Figure BDA0002993314870000091
其中，d表示最终的图像对应的策略组合，d1表示第一个处理策略，d2表示第二个处理策略，D1表示提高SNR值的策略空间，D2表示提高DR值的策略空间，D1和D2构成总的策略空间。d1∈D1表示d1为D1中选取的处理策略，d2∈D2表示d2为D2中选取处理策略，max表示取最大值函数，score表示红外图像J经过d1和d2处理策略处理后的图像的分数。
需要说明的是，公式b仅为举例说明，实际应用中，也可以在一个策略空间中选取多个处理策略，本实施方式不做限制。
以下分别对信噪比及其处理策略进行说明。图像的信噪比是灰度值均值与背景标准偏差的比值。即可以通过公式c计算信噪比。
公式c：SNR＝μsig/σsig；
其中，SNR表示图像的信噪比，μsig表示灰度值均值，σsig表示背景标准偏差。
信噪比越高，图像表现的信息就越多，噪声就越少。为了提高信噪比，便要减少不需要的噪声，增强图像的信息，主要是增强图像的边缘特征及轮廓纹理。为了减少噪声的同时保持图像的边缘特征，策略空间中可以设置去噪处理策略，如保边滤波处理策略，如双边滤波。为了加强图像的边缘特征，以及弥补因滤波导致的高频损失，策略空间可以设置锐化处理策略，如反锐化遮掩(Unsharp Masking，USM)锐化。
可选择的，策略空间中限制各处理策略的处理顺序，例如，先执行去噪处理策略，再执行锐化处理策略。
以下对动态范围及其处理策略进行举例说明。动态范围指的是最亮区域到最暗区域的光强范围，与噪声无关。高动态范围(High-Dynamic Range，HDR)的图像相比普通图像能够提供更多的动态范围与图像细节，图像对比度更充足。为了提高动态范围，可以使用去雾处理策略及色调映射处理策略。
有雾的图像暗通道会存在大面积灰白的情形，这时可以使用暗通道去雾法，利用局部最暗点来去除局部均匀的雾。
色调映射处理策略有许多，在此体系中表现比较好的有伽玛(Gamma)校正和分块中值直方图。Gamma校正的原理比较简单，如公式d表示：
公式d：Jout＝Jin γ；
其中，Jout表示归一化的输出图像的亮度值，Jin表示归一化的输入图像的亮度值。γ>1时，图像的高灰度区域对比度得到增强；γ<1时，图像的低灰度区域对比度得到增强。Gamma矫正的方法可适应于局部，也可适用于分段。
分块中值直方图从直方图均衡方法变化而来，其首先将输入图像进行平均分块，切分成多个子图像，然后对每块子图像分别进行直方图统计，可明显的增强图像的对比度。
步骤303：判断红外图像J的分数是否满足分数要求。若确定满足，执行步骤304，若确定不满足，执行步骤305。
步骤304：将红外图像J作为最终的红外图像K。之后执行步骤311。
步骤305：将红外图像J的分数作为待比较分数。
步骤306：从策略空间中选择一个策略组合，依据该策略组合对红外图像J进行处理。
例如，选择的策略组合包括某一去雾处理策略、某一去噪处理策略、某一锐化处理策略和某一色调映射策略，则电子设备对红外图像J实行策略空间下的某一去雾处理策略得到红外图像J_1；对红外图像J_1实行策略空间下的某一去噪处理策略，得到红外图像J_2；对红外图像J_2实行策略空间下的某一锐化处理策略，得到红外图像J_3；对红外图像J_3实行策略空间下的某一色调映射策略，得到红外图像J_4，即红外图像L。
步骤307：计算红外图像L的分数。
步骤308：判断红外图像L的分数是否高于待比较分数。若确定是，执行步骤309，若确定不是，执行步骤310。
步骤309：将红外图像L作为最终的红外图像K，将红外图像L的分数作为待比较分数。之后执行步骤310。
步骤310：判断是否遍历完策略空间中的所有策略组合。若确定是，执行步骤311，若确定不是，执行步骤306。
步骤311：输出最终的红外图像K。
需要说明的是，以上仅为举例说明，并不对本发明的技术方案构成限定。
本实施方式中提供的图像处理方法，由于策略空间中预先存储有多种图像的处理策略，电子设备可以基于图像的各图像质量指标的分数，从预定义的策略空间中选择适合该图像的处理策略，对图像进行处理，使得能够对不同场景拍摄的图像选择合适的方式进行优化处理。此外，去除过度曝光区域计算图像的各图像质量指标的分数，使得计算的图像的各图像质量指标的分数更具有参考价值，进而提高图片的处理效率。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明的第三实施方式涉及一种电子设备，如图4所示，包括：至少一个处理器401；以及，与至少一个处理器401通信连接的存储器402；其中，存储器402存储有可被至少一个处理器401执行的指令，指令被至少一个处理器401执行，以使至少一个处理器401能够执行如上述实施方式提及的图像处理方法。
该电子设备包括：一个或多个处理器401以及存储器402，图4中以一个处理器401为例。处理器401、存储器402可以通过总线或者其他方式连接，图4中以通过总线连接为例。存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施方式中策略空间内的各处理策略对应的算法就存储于存储器402中。处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述图像处理方法。
存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器402中，当被一个或者多个处理器401执行时，执行上述任意方法实施方式中的图像处理方法。
上述产品可执行本申请实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本申请实施方式所提供的方法。
本发明的第四实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施方式。
即，本领域技术人员可以理解，实现上述实施方式方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施方式，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取图像的各图像质量指标的分数；
若所述图像的各图像质量指标的分数不满足预设的分数要求，基于所述图像的各图像质量指标的分数，从预定义的策略空间中选取处理策略，对所述图像进行处理，得到最终的图像；其中，所述策略空间中预先存储有多种图像的处理策略。
2.根据权利要求1所述的图像处理方法，其特征在于，所述获取图像的各图像质量指标的分数，包括：
确定所述图像的过度曝光区域；
根据所述图像中除所述过度曝光区域以外的其他区域，计算所述图像的各图像质量指标的分数。
3.根据权利要求1或2所述的图像处理方法，其特征在于，所述基于所述图像的各图像质量指标的分数，从预定义的策略空间中选取处理策略，对所述图像进行处理，得到最终的图像，包括：
基于所述图像的各图像质量指标的分数，确定至少一个策略组合；所述策略组合中至少包括所述策略空间中的至少一个处理策略；
利用所述策略组合中的各处理策略，分别对所述图像进行处理；
计算处理后的图像的各图像质量指标的分数的总和；
筛选总和最高的所述处理后的图像作为所述最终的图像。
4.根据权利要求3所述的图像处理方法，其特征在于，所述基于所述图像的各图像质量指标的分数，确定至少一个策略组合，包括：
针对各所述图像质量指标，判断所述图像的所述图像质量指标的分数是否大于所述图像质量指标的预设分数；若确定不是，则确定所述图像质量指标为待优化图像质量指标；
从所述策略空间中与各所述待优化图像质量指标对应的处理策略中，分别选择至少一个处理策略，组合得到所述策略组合；或者，根据所述待优化图像质量指标，从预存的M个候选策略组合中，选择N个候选策略组合，作为待执行的所述策略组合；M≥N，且，M和N为正整数。
5.根据权利要求4所述的图像处理方法，其特征在于，所述利用所述策略组合中的各处理策略，分别对所述图像进行处理，包括：
根据图像的待优化图像质量指标的分数，确定所述策略组合中与所述待优化图像质量指标对应的处理策略的预设的参数的取值；
对所述图像依次执行所述策略组合中的各处理策略。
6.根据权利要求1或2所述的图像处理方法，其特征在于，预设的分数要求包括：所述图像的各图像质量指标的分数的总和大于阈值；或者，针对各图像质量指标，所述图像质量指标的分数大于所述图像质量指标对应的预设分数。
7.根据权利要求1或2所述的图像处理方法，其特征在于，所述图像质量指标包括信噪比和/或动态范围。
8.根据权利要求1所述的图像处理方法，其特征在于，所述图像为红外图像。
9.一种电子设备，其特征在于，包括：至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任一所述的图像处理方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的图像处理方法。
CN202110322423.5A 2021-03-25 2021-03-25 图像处理方法、电子设备及存储介质 Active CN112967273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110322423.5A CN112967273B (zh) 2021-03-25 2021-03-25 图像处理方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110322423.5A CN112967273B (zh) 2021-03-25 2021-03-25 图像处理方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112967273A true CN112967273A (zh) 2021-06-15
CN112967273B CN112967273B (zh) 2021-11-16

Family

ID=76278478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110322423.5A Active CN112967273B (zh) 2021-03-25 2021-03-25 图像处理方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112967273B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113938602A (zh) * 2021-09-08 2022-01-14 荣耀终端有限公司 图像处理方法、电子设备、芯片及可读存储介质
CN114255185A (zh) * 2021-12-16 2022-03-29 武汉高德智感科技有限公司 一种图像处理的方法、装置、终端及存储介质
CN116385308A (zh) * 2023-04-15 2023-07-04 杨利容 联合图像处理优化策略选择***

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020006231A1 (en) * 2000-07-11 2002-01-17 Mediaflow, Llc Adaptive edge detection and enhancement for image processing
US20140180758A1 (en) * 2012-12-21 2014-06-26 Ebay Inc. System and method for image quality scoring
JP2015053543A (ja) * 2013-09-05 2015-03-19 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN106528879A (zh) * 2016-12-14 2017-03-22 北京小米移动软件有限公司 图片处理方法及装置
CN108230253A (zh) * 2017-05-08 2018-06-29 北京市商汤科技开发有限公司 图像恢复方法、装置、电子设备和计算机存储介质
CN108665428A (zh) * 2018-04-26 2018-10-16 青岛海信移动通信技术股份有限公司 图像增强方法、装置、设备及存储介质
CN109360197A (zh) * 2018-09-30 2019-02-19 北京达佳互联信息技术有限公司 图像的处理方法、装置、电子设备及存储介质
CN110298310A (zh) * 2019-06-28 2019-10-01 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110581957A (zh) * 2019-08-26 2019-12-17 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110796624A (zh) * 2019-10-31 2020-02-14 北京金山云网络技术有限公司 一种图像生成方法、装置及电子设备
CN111696057A (zh) * 2020-05-25 2020-09-22 北京的卢深视科技有限公司 一种深度图像去噪方法及装置
CN111917986A (zh) * 2020-08-20 2020-11-10 安谋科技（中国）有限公司 图像处理方法及其介质和电子设备
CN112070739A (zh) * 2020-09-03 2020-12-11 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020006231A1 (en) * 2000-07-11 2002-01-17 Mediaflow, Llc Adaptive edge detection and enhancement for image processing
US20140180758A1 (en) * 2012-12-21 2014-06-26 Ebay Inc. System and method for image quality scoring
JP2015053543A (ja) * 2013-09-05 2015-03-19 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN106528879A (zh) * 2016-12-14 2017-03-22 北京小米移动软件有限公司 图片处理方法及装置
CN108230253A (zh) * 2017-05-08 2018-06-29 北京市商汤科技开发有限公司 图像恢复方法、装置、电子设备和计算机存储介质
CN108665428A (zh) * 2018-04-26 2018-10-16 青岛海信移动通信技术股份有限公司 图像增强方法、装置、设备及存储介质
CN109360197A (zh) * 2018-09-30 2019-02-19 北京达佳互联信息技术有限公司 图像的处理方法、装置、电子设备及存储介质
CN110298310A (zh) * 2019-06-28 2019-10-01 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110581957A (zh) * 2019-08-26 2019-12-17 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110796624A (zh) * 2019-10-31 2020-02-14 北京金山云网络技术有限公司 一种图像生成方法、装置及电子设备
CN111696057A (zh) * 2020-05-25 2020-09-22 北京的卢深视科技有限公司 一种深度图像去噪方法及装置
CN111917986A (zh) * 2020-08-20 2020-11-10 安谋科技（中国）有限公司 图像处理方法及其介质和电子设备
CN112070739A (zh) * 2020-09-03 2020-12-11 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MICHELE A.SAAD等: "Blind Image Quality Assessment: A Natural Scene Statistics Approach in the DCT Domain", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
吕晓新: "基于深度学习的图像质量评价算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
陈可昕: "基于卷积神经网络的图像去雾效果评价", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
高琦等: "CT图像的质量评估策略:基于预恢复图像先验信息", 《南方医科大学学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113938602A (zh) * 2021-09-08 2022-01-14 荣耀终端有限公司 图像处理方法、电子设备、芯片及可读存储介质
CN113938602B (zh) * 2021-09-08 2022-08-02 荣耀终端有限公司 图像处理方法、电子设备、芯片及可读存储介质
CN114255185A (zh) * 2021-12-16 2022-03-29 武汉高德智感科技有限公司 一种图像处理的方法、装置、终端及存储介质
CN114255185B (zh) * 2021-12-16 2022-11-25 武汉高德智感科技有限公司 一种图像处理的方法、装置、终端及存储介质
CN116385308A (zh) * 2023-04-15 2023-07-04 杨利容 联合图像处理优化策略选择***
CN116385308B (zh) * 2023-04-15 2024-05-07 广州海至亚传媒科技有限公司 联合图像处理优化策略选择***

Also Published As

Publication number Publication date
CN112967273B (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN112967273B (zh) 图像处理方法、电子设备及存储介质
Bai et al. Underwater image enhancement based on global and local equalization of histogram and dual-image multi-scale fusion
Galdran Image dehazing by artificial multiple-exposure image fusion
Yu et al. Low-illumination image enhancement algorithm based on a physical lighting model
CN110599433B (zh) 一种基于动态场景的双曝光图像融合方法
CN110766639B (zh) 图像增强方法、装置、移动设备及计算机可读存储介质
CN112419162B (zh) 图像去雾方法、装置、电子设备及可读存储介质
WO2016206087A1 (zh) 一种低照度图像处理方法和装置
CN108765342A (zh) 一种基于改进暗通道的水下图像复原方法
CN110503617B (zh) 一种基于高、低频信息融合的水下图像增强方法
Muniraj et al. Underwater image enhancement by modified color correction and adaptive Look-Up-Table with edge-preserving filter
Kumar et al. A generic post-processing framework for image dehazing
Agrawal et al. A novel contrast and saturation prior for image dehazing
Hu et al. Kinect depth map based enhancement for low light surveillance image
Li et al. Soft binary segmentation-based backlit image enhancement
CN117611501A (zh) 一种低照度图像增强方法、装置、设备及可读存储介质
CN116993616A (zh) 一种单幅低照度场景图像增强方法及增强***
Xi et al. Enhancement of unmanned aerial vehicle image with shadow removal based on optimized retinex algorithm
Srinivas et al. Channel prior based Retinex model for underwater image enhancement
CN116228553A (zh) 一种可同时增强高照度和低照度区域清晰度的图像增强方法
Abbaspour et al. A new fast method for foggy image enhancement
JP2004078652A (ja) 画像処理装置および画像処理方法
CN113379631B (zh) 一种图像去雾的方法及装置
Li et al. A fast image dehazing algorithm for highway tunnel based on artificial multi-exposure image fusion
CN114119411A (zh) 一种雾噪声视频图像恢复方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210615

Assignee: Anhui Xingtai Financial Leasing Co.,Ltd.

Assignor: Hefei lushenshi Technology Co.,Ltd.

Contract record no.: X2022980006062

Denomination of invention: Image processing method, electronic equipment and storage medium

Granted publication date: 20211116

License type: Exclusive License

Record date: 20220523

EE01 Entry into force of recordation of patent licensing contract
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Image processing method, electronic equipment and storage medium

Effective date of registration: 20220525

Granted publication date: 20211116

Pledgee: Anhui Xingtai Financial Leasing Co.,Ltd.

Pledgor: Hefei lushenshi Technology Co.,Ltd.

Registration number: Y2022980006214

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230719

Granted publication date: 20211116

Pledgee: Anhui Xingtai Financial Leasing Co.,Ltd.

Pledgor: Hefei lushenshi Technology Co.,Ltd.

Registration number: Y2022980006214

PC01 Cancellation of the registration of the contract for pledge of patent right
EC01 Cancellation of recordation of patent licensing contract

Assignee: Anhui Xingtai Financial Leasing Co.,Ltd.

Assignor: Hefei lushenshi Technology Co.,Ltd.

Contract record no.: X2022980006062

Date of cancellation: 20230720

EC01 Cancellation of recordation of patent licensing contract
TR01 Transfer of patent right

Effective date of registration: 20230814

Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province

Patentee after: Hefei lushenshi Technology Co.,Ltd.

Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing

Patentee before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

Patentee before: Hefei lushenshi Technology Co.,Ltd.

TR01 Transfer of patent right