CN114119431A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114119431A
CN114119431A CN202111320162.XA CN202111320162A CN114119431A CN 114119431 A CN114119431 A CN 114119431A CN 202111320162 A CN202111320162 A CN 202111320162A CN 114119431 A CN114119431 A CN 114119431A
Authority
CN
China
Prior art keywords
image
brightness
determining
type
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111320162.XA
Other languages
English (en)
Inventor
田其冲
李建强
吴有肇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen TCL New Technology Co Ltd
Original Assignee
Shenzhen TCL New Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen TCL New Technology Co Ltd filed Critical Shenzhen TCL New Technology Co Ltd
Priority to CN202111320162.XA priority Critical patent/CN114119431A/zh
Publication of CN114119431A publication Critical patent/CN114119431A/zh
Priority to PCT/CN2022/120605 priority patent/WO2023082859A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、电子设备及存储介质。方法包括:电子设备获取第一图像,并确定第一图像对应的直方图和平均像素亮度,然后根据直方图和平均像素亮度确定第一图像对应的图像类型;再根据图像类型确定第一图像对应的目标调节类型;最后根据目标调节类型对第一图像的每一像素的亮度值进行调节,以得到第二图像。由于在本申请中确定了第一图像对应的图像类型,采用该图像类型对应的调节类型,能够更好的针对于该图像进行调节,从而提升该图像的图像质量。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本申请涉及通信技术领域,具体涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
在现有技术中,对于显示屏的显示画面,往往采用单一的调节方式来对显示画面进行调节,但是针对于不同显示场景的显示画面,如果采用单一的调节方式来调节不同的显示画面,会导致一些显示画面在调节后显示效果更差。
发明内容
本申请实施例提供一种图像处理方法、装置、电子设备及存储介质。该图像处理方法可以对不同的图像类型进行处理,从而提升图像质量。
第一方面,本申请实施例提供了一种图像处理方法,包括:
获取第一图像,并确定所述第一图像对应的直方图和平均像素亮度;
根据所述直方图和平均像素亮度确定所述第一图像对应的图像类型;
根据所述图像类型确定所述第一图像对应的目标调节类型;
根据所述目标调节类型对所述第一图像的每一像素的亮度值进行调节,以得到第二图像。
第二方面,本申请实施例提供了一种图像处理装置,包括:
获取模块,用于获取第一图像,并确定所述第一图像对应的直方图和平均像素亮度;
第一确定模块,用于根据所述直方图和平均像素亮度确定所述第一图像对应的图像类型;
第二确定模块,用于根据所述图像类型确定所述第一图像对应的目标调节类型;
调节模块,用于根据所述目标调节类型对所述第一图像的每一像素的亮度值进行调节,以得到第二图像。
第三方面,本申请实施例提供了一种电子设备,存储有可执行程序代码的存储器、与所述存储器耦合的处理器;所述处理器调用所述存储器中存储的所述可执行程序代码,执行本申请实施例提供的图像处理方法中的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本申请实施例提供的图像处理方法中的步骤。
本申请实施例中,电子设备获取第一图像,并确定第一图像对应的直方图和平均像素亮度,然后根据直方图和平均像素亮度确定第一图像对应的图像类型;再根据图像类型确定第一图像对应的目标调节类型;最后根据目标调节类型对第一图像的每一像素的亮度值进行调节,以得到第二图像。由于在本申请中确定了第一图像对应的图像类型,采用该图像类型对应的调节类型,能够更好的针对于该图像进行调节,从而提升该图像的图像质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像处理方法的第一流程示意图。
图2是本申请实施例提供的图像处理方法的第二流程示意图。
图3是本申请实施例提供的图像处理装置的第一结构示意图。
图4是本申请实施例提供的图像处理装置的第二结构示意图。
图5是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在相关技术中,为了提升显示屏显示的画面质量,目前常用的做法就是通过采用单一的画面调节方式来调节所有场景下的显示画面。但是由于视频中的画面场景时不断变化的,比如不同的显示区域会发生亮度变化、颜色变化,则会导致不同帧下的图像对应的画面场景可能是不同的。如果仍然采用单一的画面调节方式,会导致调节后的画面对应的显示质量更差。
比如,如果单独提升了画面的亮度,不考虑暗部区域,则会导致暗部区域的画面细节丢失。如果单独为了压制高光区域的亮度,则会导致一些区域的亮度不够亮。从而导致最终的显示画面观感较差。
为了解决该技术问题,本申请实施例提供了一种图像处理方法、装置、电子设备及存储介质。该图像处理方法可以对不同的图像类型进行处理,从而提升图像质量。
需要说明的是,该图像处理方法适用于任何可以对图像进行处理的电子设备,比如电视、智能手机、电脑、平板电脑、智能眼镜、头戴式虚拟设备等电子设备。
请参阅图1,图1是本申请实施例提供的图像处理方法的第一流程示意图。该图像处理方法可以包括以下步骤:
110、获取第一图像,并确定第一图像对应的直方图和平均像素亮度。
在一些实施方式中,电子设备可以先获取初始图像,然后对原始图像进行色彩空间转换得到第一图像。比如,初始图像是RGB(Red,Green,Blue)色彩空间的图像,则可以通过将初始图像的RGB色彩空间转换为YUV色彩空间,从而得到第一图像,其中YUV色彩空间中的“Y”代表明亮度、“U”和“V”表示的则是色度(Chrominance或Chroma),作用是描述影像色彩及饱和度,用于指定像素的颜色。
需要说明的是,以上只是例举,对于第一图像的图像格式,可以根据实际需求而设定,比如第一图像的色彩空间可以是HSV色彩空间等。
在一些实施方式中,在获取到第一图像之后,可以根据第一图像中每一个像素的亮度值来生成直方图(Histogram),其中直方图是用来衡量在不同亮度下像素的分布情况,比如该直方图的横轴为亮度,纵轴为像素数量。
比如,可以直接根据第一图像的Y通道的亮度分量来确定出第一图像对应的直方图。
在一些实施方式中,电子设备可以确定出第一图像中所有像素的数量,并确定每一个像素对应的亮度值,然后利用所有像素的数量和每一个像素对应的亮度值确定出平均像素亮度。
比如,将每一个像素的亮度值相加得到亮度总和,然后将亮度总和除以所有像素的数量,则得到平均像素亮度。
120、根据直方图和平均像素亮度确定第一图像对应的图像类型。
在一些实施方式中,电子设备可以先对直方图进行归一化处理,然后根据归一化直方图和平均像素亮度确定第一图像对应的图像类型。
比如,电子设备可以根据归一化直方图确定第一图像中像素的低亮度占比、中亮度占比、高亮度占比,例如可以根据归一化直方图获取第一图像的图像亮度的概率累计分布函数CDF(Cumulative Density Function),从而确定出第一图像的低亮度占比、中亮度占比、高亮度占比。
在一些实施方式中,电子设备可以设置一个低亮度阈值和高亮度阈值,其中高亮度阈值比低亮度阈值大,将亮度从零到低亮度阈值的范围确定为低亮度范围,将从低亮度阈值到高亮度阈值的范围确定为中亮度范围,将高亮度阈值到亮度饱和值的范围确定为高亮度范围。
然后确定分布在低亮度范围的像素数量,确定出分布在中亮度范围的像素数量,再确定出分布在高亮度范围的像素数量,最后根据每个亮度范围的像素数量以及第一图像的总像素数量确定出低亮度占比、中亮度占比、高亮度占比。
在一些实施方式中,电子设备可以根据低亮度占比、中亮度占比、高亮度占比以及平均像素亮度确定第一图像对应的图像类型。
比如,电子设备确定低亮度占比对应的第一高阈值和第一低阈值,中亮度占比对应的第二高阈值和第二低阈值,以及高亮度占比对应的第三高阈值和第三低阈值。其中,第一高阈值大于第一低阈值,第二高阈值大于第二低阈值,第三高阈值大于第三低阈值。
根据第一高阈值和第一低阈值、第二高阈值和第二低阈值、第三高阈值和第三低阈值以及平均像素亮度确定所述第一图像对应的图像类型。其中,第一高阈值和第一低阈值、第二高阈值和第二低阈值、第三高阈值和第三低阈值可以是预先设定的。
例如,电子设备先确定第一图像对应的预设低平均亮度和预设高平均亮度,其中预设低平均亮度和预设高平均亮度可以是预先设置的。
当电子设备确定第一图像的低亮度占比大于或等于第一高阈值,第一图像的中亮度占比小于第二低阈值,高亮度占比小于第三低阈值,并且第一图像的平均像素亮度小于预设低平均亮度,则确定第一图像对应的图像类型为低亮度场景的图像类型。
当电子设备确定第一图像的低亮度占比大于或等于第一低阈值,第一图像的中亮度占比大于或等于第二低阈值,高亮度占比小于第三低阈值,并且第一图像的平均像素亮度大于或等于预设低平均亮度,则确定第一图像对应的图像类型为低-中亮度场景的图像类型。
当电子设备确定第一图像的低亮度占比小于第一低阈值,第一图像的中亮度占比大于或等于第二高阈值,高亮度占比小于第三低阈值,第一图像的平均像素亮度大于或等于预设低平均亮度,并且第一图像的平均像素亮度小于预设高平均亮度,则确定第一图像对应的图像类型为中亮度场景的图像类型。
当电子设备确定第一图像的低亮度占比小于第一低阈值,第一图像的中亮度占比大于或等于第二高阈值,高亮度占比大于或等于第三低阈值,第一图像的平均像素亮度大于或等于预设低平均亮度,并且第一图像的平均像素亮度小于预设高平均亮度,则确定第一图像对应的图像类型为中-高亮度场景的图像类型。
当电子设备确定第一图像的低亮度占比小于第一低阈值,第一图像的中亮度占比小于第二低阈值,高亮度占比大于或等于第三高阈值,第一图像的平均像素亮度大于或等于预设高平均亮度,则确定第一图像对应的图像类型为高亮度场景的图像类型。
当电子设备确定第一图像的低亮度占比大于或等于第一低阈值,第一图像的中亮度占比小于第二低阈值,高亮度占比大于或等于第三低阈值,第一图像的平均像素亮度大于或等于预设低平均亮度,并且第一图像的平均像素亮度小于预设高平均亮度,则确定第一图像对应的图像类型为低-高亮度场景的图像类型。
当电子设备确定第一图像的低亮度占比大于或等于第一低阈值,第一图像的中亮度占比大于或等于第二低阈值,高亮度占比大于或等于第三低阈值,第一图像的平均像素亮度大于或等于预设低平均亮度,并且第一图像的平均像素亮度小于预设高平均亮度,则确定第一图像对应的图像类型为均匀亮度场景的图像类型。
需要说明的是,在实际应用中,还可以根据上述方式确定出其他的图像类型,以上例举的图像类型只是本申请实施例提供的一部分,并不能视为对本申请的限制。
130、根据图像类型确定第一图像对应的目标调节类型。
在一些实施方式中,在电子设备中可以预设多种调节类型,每一种调节类型对应的第一图像的亮度调整方式均不同。
电子设备可以对图像类型和调节类型之间设置一个第一预设映射关系,当电子设备确定好第一图像的图像类型之后,可以直接根据该第一预设映射关系确定出第一图像对应的目标调节类型。
140、根据目标调节类型对第一图像的每一像素的亮度值进行调节,以得到第二图像。
在一些实施方式中,电子设备可以根据目标调节类型确定第一图像对应的调节曲线类型,然后根据调节曲线类型对第一图像的每一像素的亮度值进行调节,以得到第二图像。
比如,可以预先设置一个数据库,在这个数据库中存储有多个目标调节类型和多个调节曲线类型之间的第二预设映射关系,当电子设备确定出第一图像的目标调节类型之后,可以根据第二预设映射关系在数据库中确定第一图像对应的调节曲线类型。然后电子设备根据调节曲线类型对第一图像对应的亮度曲线进行调整,从而得到第二图像。
在一些实施方式中,电子设备可以根据目标调节类型确定第一图像对应的亮度查找表,然后根据亮度查找表确定第一图像中每一像素对应的映射亮度值,最后将每一像素的亮度值调节为对应的映射亮度值,以生成第二图像。
比如,在电子设备中存储有多个图像类型分别对应的亮度查找表。在确定好第一图像的图像类型之后,确定该图像类型对应的亮度查找表,然后电子设备通过该查找表确定第一图像中每一像素的亮度值对应的映射亮度值。例如,像素A的亮度值为25,通过亮度查找表,可以确定像素A的亮度值对应的映射亮度值为50。通过该方式,就能够确定出第一图像中每一个像素对应的映射亮度值,然后将第一图像中每一像素的亮度值调整为对应的映射亮度值,则得到第二图像。
在一些实施方式中,电子设备在获取到第一图像的目标调节类型之后,可以将目标调节类型输入到神经网络模型中,通过神经网络模型来选取出对应的调节曲线类型,然后根据该调节曲线类型来对第一图像的亮度曲线进行调节,从而使得第一图像中至少部分像素的亮度值会发生改变,从而得到第二图像。
本申请实施例中,电子设备获取第一图像,并确定第一图像对应的直方图和平均像素亮度,然后根据直方图和平均像素亮度确定第一图像对应的图像类型;再根据图像类型确定第一图像对应的目标调节类型;最后根据目标调节类型对第一图像的每一像素的亮度值进行调节,以得到第二图像。由于在本申请中确定了第一图像对应的图像类型,采用该图像类型对应的调节类型,能够更好的针对于该图像进行调节,从而提升该图像的图像质量。
为了更加详细的了解本申请实施例提供的图像处理方法,请参阅图2,图2是本申请实施例提供的图像处理方法的第二流程示意图。其中,该图像处理方法可以包括:
201、获取第一图像中像素的数量,以及第一图像中每一像素对应的亮度值。
在一些实施方式中,电子设备可以先获取初始图像,然后对初始图像进行色彩空间转换得到第一图像。比如,初始图像是RGB色彩空间的图像,则可以通过将初始图像的RGB色彩空间转换为YUV色彩空间,从而得到第一图像。
在一些实施方式中,电子设备可以获取图像中像素的数量,以及第一图像中每一像素对应的亮度值。
202、根据第一图像中像素的数量及每一像素对应的亮度值确定平均像素亮度。
电子设备可以确定出第一图像中所有像素的数量,并确定每一个像素对应的亮度值,然后利用所有像素的数量和每一个像素对应的亮度值确定出平均像素亮度。
比如,将每一个像素的亮度值相加得到亮度总和,然后将亮度总和除以所有像素的数量,则得到平均像素亮度。
203、根据每一像素的亮度值生成所述直方图。
电子设备可以根据每一像素的亮度值来确定出在不同亮度范围内的亮度分布情况,从而生成直方图。
在一些实施方式中,电子设备可以根据预设分区数量将直方图划分为预设分区数量的子分区,比如,预设分区数量为32,则可以将直方图划分为32个不同的子分区。
204、对直方图进行归一化处理,以得到归一化直方图。
在一些实施方式中,可以对直方图进行归一化处理,将第一图像中所有像素的亮度值归一化到一个亮度范围内,从而得到归一化直方图。
比如,可以设定一个预设的亮度范围,该预设的亮度范围为0~255,可以将所有像素的亮度值归一化到0~255这个范围内。从而得到归一化直方图。
205、根据归一化直方图确定第一图像中像素的低亮度占比、中亮度占比、高亮度占比。
在一些实施方式中,电子设备在得到第一图像对应的归一化直方图之后,可以根据归一化直方图获取第一图像的图像亮度的概率累计分布函数。从而确定出第一图像中像素的低亮度占比、中亮度占比、高亮度占比。
在一些实施方式中,电子设备可以设置一个低亮度阈值和高亮度阈值,其中高亮度阈值比低亮度阈值大,将亮度从零到低亮度阈值的范围确定为低亮度范围,将从低亮度阈值到高亮度阈值的范围确定为中亮度范围,将高亮度阈值到亮度饱和值的范围确定为高亮度范围。
然后确定分布在低亮度范围的像素数量,确定出分布在中亮度范围的像素数量,再确定出分布在高亮度范围的像素数量,最后根据每个亮度范围的像素数量以及第一图像的总像素数量确定出低亮度占比、中亮度占比、高亮度占比。
206、确定低亮度占比对应的第一高阈值和第一低阈值,中亮度占比对应的第二高阈值和第二低阈值,以及高亮度占比对应的第三高阈值和第三低阈值。
在一些实施方式中,电子设备确定低亮度占比对应的第一高阈值和第一低阈值,中亮度占比对应的第二高阈值和第二低阈值,以及高亮度占比对应的第三高阈值和第三低阈值。其中,第一高阈值大于第一低阈值,第二高阈值大于第二低阈值,第三高阈值大于第三低阈值。
207、根据第一高阈值和第一低阈值、第二高阈值和第二低阈值、第三高阈值和第三低阈值以及平均像素亮度确定第一图像对应的图像类型。
在一些实施方式中,电子设备先确定第一图像对应的预设低平均亮度和预设高平均亮度,其中预设低平均亮度和预设高平均亮度可以是预先设置的。
当电子设备确定第一图像的低亮度占比大于或等于第一高阈值,第一图像的中亮度占比小于第二低阈值,高亮度占比小于第三低阈值,并且第一图像的平均像素亮度小于预设低平均亮度,则确定第一图像对应的图像类型为低亮度场景的图像类型。
当电子设备确定第一图像的低亮度占比大于或等于第一低阈值,第一图像的中亮度占比大于或等于第二低阈值,高亮度占比小于第三低阈值,并且第一图像的平均像素亮度大于或等于预设低平均亮度,则确定第一图像对应的图像类型为低-中亮度场景的图像类型。
当电子设备确定第一图像的低亮度占比小于第一低阈值,第一图像的中亮度占比大于或等于第二高阈值,高亮度占比小于第三低阈值,第一图像的平均像素亮度大于或等于预设低平均亮度,并且第一图像的平均像素亮度小于预设高平均亮度,则确定第一图像对应的图像类型为中亮度场景的图像类型。
当电子设备确定第一图像的低亮度占比小于第一低阈值,第一图像的中亮度占比大于或等于第二高阈值,高亮度占比大于或等于第三低阈值,第一图像的平均像素亮度大于或等于预设低平均亮度,并且第一图像的平均像素亮度小于预设高平均亮度,则确定第一图像对应的图像类型为中-高亮度场景的图像类型。
当电子设备确定第一图像的低亮度占比小于第一低阈值,第一图像的中亮度占比小于第二低阈值,高亮度占比大于或等于第三高阈值,第一图像的平均像素亮度大于或等于预设高平均亮度,则确定第一图像对应的图像类型为高亮度场景的图像类型。
当电子设备确定第一图像的低亮度占比大于或等于第一低阈值,第一图像的中亮度占比小于第二低阈值,高亮度占比大于或等于第三低阈值,第一图像的平均像素亮度大于或等于预设低平均亮度,并且第一图像的平均像素亮度小于预设高平均亮度,则确定第一图像对应的图像类型为低-高亮度场景的图像类型。
当电子设备确定第一图像的低亮度占比大于或等于第一低阈值,第一图像的中亮度占比大于或等于第二低阈值,高亮度占比大于或等于第三低阈值,第一图像的平均像素亮度大于或等于预设低平均亮度,并且第一图像的平均像素亮度小于预设高平均亮度,则确定第一图像对应的图像类型为均匀亮度场景的图像类型。
需要说明的是,在实际应用中,还可以根据上述方式确定出其他的图像类型,以上例举的图像类型只是本申请实施例提供的一部分,并不能视为对本申请的限制。
208、根据图像类型确定第一图像对应的目标调节类型。
在一些实施方式中,在电子设备中可以预设多种调节类型,每一种调节类型对应的第一图像的亮度调整方式均不同。
电子设备可以对图像类型和调节类型之间设置一个第一预设映射关系,当电子设备确定好第一图像的图像类型之后,可以直接根据该第一预设映射关系确定出第一图像对应的目标调节类型。
209、根据目标调节类型确定第一图像对应的调节曲线类型。
在一些实施方式中,电子设备可以预先设置一个数据库,在这个数据库中存储有多个目标调节类型和多个调节曲线类型之间的第二预设映射关系,当电子设备确定出第一图像的目标调节类型之后,可以根据第二预设映射关系在数据库中确定第一图像对应的调节曲线类型。
在一些实施方式中,电子设备在获取到第一图像的目标调节类型之后,可以将目标调节类型输入到神经网络模型中,通过神经网络模型来选取出对应的调节曲线类型。
其中,在电子设备对历史图像进行亮度曲线调节的时候,记录下调节时对应的调节曲线类型和目标调节类型,然后将调节曲线类型和目标调节类型输入到初始神经网络模型中进行训练,从而得到该神经网络模型。
210、根据调节曲线类型对第一图像的每一像素的亮度值进行调节,以得到第二图像。
比如,在确定第一图像对应的图像类型以及该图像类型对应的调节曲线类型之后,可以根据该调节曲线类型对第一图像的至少部分亮度曲线进行调节。
例如,当该图像类型为低-高亮度场景的图像类型时,可以适应的对第一图像的高亮度区域亮度进行保留,不作处理,同时降低暗部区域的亮度,突出暗部区域的图像细节,从而在提升了第一图像的对比度,同时还对第一图像中的暗部细节进行保留。
又比如,如果图像类型为中亮度场景的图像类型,则说明第一图像的亮度值大部分分布在中间亮度区域,对于这种情况可以选用S型曲线,提升中间亮度画面的动态范围,提高第一图像中大部分区域的对比度。
具体的,在该调整曲线类型为S型曲线时,则S型曲线包括(0,0)、(APL,APL)和(255,255)这三个坐标点。其中(0,0)为原点,(APL,APL)为曲线上的一个点,(255,255)为S型曲线的顶点。
假设在第一图像上调节后的曲线上有暗区点(a,b)和亮区点(c,d)。可以通过以下方式来计算出暗区点(a,b)和亮区点(c,d)的具体坐标。
首先,先获取低亮度占比X和高亮度占比Y,然后a的计算方式可以通过a=20+(25-X*100)*1.6的方式来计算。b的计算方式可以通过b=(0.8*X+0.5)*a的方式来计算。
c的计算方式可以通过c=Y*267+200的方式来计算,d的计算方式可以通过d=255-(255-c)*(0.005*c–0.5)的方式来计算。
最后通过计算出的坐标(a,b)和(c,d),以及坐标(0,0)、(APL,APL)和(255,255)来采用曲线拟合的方法来确定出对第一图像的原亮度曲线调整后的亮度曲线,从而得到最终的第二图像。
需要说明的是,以上只是图像类型为中亮度场景的图像类型,通过获取第一图像的S型曲线,然后对第一图像的亮度曲线进行调整,从而得到调整后的亮度曲线,最终得到第二图像,该第二图像具备该调整后的亮度曲线的亮度特征。而针对于其他图像类型的第一图像,则可以采用其他的曲线调整类型来对第一图像进行调节,从而得到第二图像。
在一些实施方式中,电子设备可以将第二图像的色彩空间转换为RGB色彩空间,以得到目标图像。在实际的应用过程中,该图像处理方法可以对静态的图像进行调整,比如照片。还可以对动态的图像进行调整,比如视频。通过该调节方式,能够使得视频中的每一帧图像都拥有着良好的对比度和画面细节,从而提升整个视频的画面质量,提升用户的观感。
在本申请实施例中,电子设备通过获取第一图像中像素的数量,以及第一图像中每一像素对应的亮度值,再根据第一图像中像素的数量及每一像素对应的亮度值确定平均像素亮度,根据每一像素的亮度值生成所述直方图,对直方图进行归一化处理,以得到归一化直方图。
然后根据归一化直方图确定第一图像中像素的低亮度占比、中亮度占比、高亮度占比。再确定低亮度占比对应的第一高阈值和第一低阈值,中亮度占比对应的第二高阈值和第二低阈值,以及高亮度占比对应的第三高阈值和第三低阈值。根据第一高阈值和第一低阈值、第二高阈值和第二低阈值、第三高阈值和第三低阈值以及平均像素亮度确定第一图像对应的图像类型。根据图像类型确定第一图像对应的目标调节类型,最后根据目标调节类型确定第一图像对应的调节曲线类型,根据调节曲线类型对第一图像的每一像素的亮度值进行调节,以得到第二图像。该第二图像相对于第一图像拥有更好的图像质量。
请参阅图3,图3是本申请实施例提供的图像处理装置的第一结构示意图,该图像处理装置可以包括:
获取模块310,用于获取第一图像,并确定所述第一图像对应的直方图和平均像素亮度。
第一确定模块320,用于根据所述直方图和平均像素亮度确定所述第一图像对应的图像类型。
第二确定模块330,用于根据所述图像类型确定所述第一图像对应的目标调节类型。
调节模块340,用于根据所述目标调节类型对所述第一图像的每一像素的亮度值进行调节,以得到第二图像。
在一些实施方式中,获取模块310用于获取所述第一图像中每一像素对应的亮度值;根据所述每一像素的亮度值生成所述直方图。
在一些实施方式中,获取模块310用于获取所述第一图像中像素的数量,以及所述第一图像中每一像素对应的亮度值;根据所述第一图像中像素的数量及所述每一像素对应的亮度值确定所述平均像素亮度。
在一些实施方式中,第一确定模块320还用于对所述直方图进行归一化处理,以得到归一化直方图;根据所述归一化直方图和所述平均像素亮度确定所述第一图像对应的图像类型。
在一些实施方式中,第一确定模块320具体用于根据所述归一化直方图确定所述第一图像中像素的低亮度占比、中亮度占比、高亮度占比;根据所述低亮度占比、中亮度占比、高亮度占比以及所述平均像素亮度确定所述第一图像对应的图像类型。
在一些实施方式中,第一确定模块320具体用于确定所述低亮度占比对应的第一高阈值和第一低阈值,所述中亮度占比对应的第二高阈值和第二低阈值,以及所述高亮度占比对应的第三高阈值和第三低阈值;根据所述第一高阈值和第一低阈值、所述第二高阈值和第二低阈值、所述第三高阈值和第三低阈值以及所述平均像素亮度确定所述第一图像对应的图像类型。
在一些实施方式中,调节模块340还用于根据所述目标调节类型确定所述第一图像对应的调节曲线类型;根据所述调节曲线类型对所述第一图像的每一像素的亮度值进行调节,以得到所述第二图像。
在一些实施方式中,调节模块340还用于根据所述目标调节类型确定所述第一图像对应的亮度查找表;根据所述亮度查找表确定所述第一图像中每一像素对应的映射亮度值;将所述每一像素的亮度值调节为对应的所述映射亮度值,以生成所述第二图像。
请一并参阅图4,图4是本申请实施例提供的图像处理装置的第二结构示意图,该图像处理装置还包括:
第一转换模块350,用于获取初始图像,对所述初始图像的色彩空间转换为YUV色彩空间,以得到所述第一图像。
第二转换模块360,用于将所述第二图像的色彩空间转换为RGB色彩空间,以得到目标图像。
本申请实施例中,电子设备获取第一图像,并确定第一图像对应的直方图和平均像素亮度,然后根据直方图和平均像素亮度确定第一图像对应的图像类型;再根据图像类型确定第一图像对应的目标调节类型;最后根据目标调节类型对第一图像的每一像素的亮度值进行调节,以得到第二图像。由于在本申请中确定了第一图像对应的图像类型,采用该图像类型对应的调节类型,能够更好的针对于该图像进行调节,从而提升该图像的图像质量。
相应的,本申请实施例还提供一种电子设备,如图5所示,该电子设备可以输入单元401、显示单元402、包括有一个或一个以上计算机可读存储介质的存储器403、传感器405、包括有一个或者一个以上处理核心的处理器404、以及电源406等部件。本领域技术人员可以理解,图5中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
输入单元401可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元401可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器404,并能接收处理器404发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元401还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元402可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元402可包括显示面板,可选的,可以采用液晶显示器(LCD,Liquid CrystalDisplay)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器404以确定触摸事件的类型,随后处理器404根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图5中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
存储器403可用于存储软件程序以及模块,处理器404通过运行存储在存储器403的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器403可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器403可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器403还可以包括存储器控制器,以提供处理器404和输入单元401对存储器403的访问。
电子设备还可包括至少一种传感器405,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在电子设备移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别电子设备姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于电子设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
处理器404是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器403内的软件程序和/或模块,以及调用存储在存储器403内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器404可包括一个或多个处理核心;优选的,处理器404可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器404中。
电子设备还包括给各个部件供电的电源406(比如电池),优选的,电源可以通过电源管理***与处理器404逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源406还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,电子设备还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,电子设备中的处理器404会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器403中,并由处理器404来运行存储在存储器403中的应用程序,从而实现各种功能:
获取第一图像,并确定所述第一图像对应的直方图和平均像素亮度;
根据所述直方图和平均像素亮度确定所述第一图像对应的图像类型;
根据所述图像类型确定所述第一图像对应的目标调节类型;
根据所述目标调节类型对所述第一图像的每一像素的亮度值进行调节,以得到第二图像。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种图像处理方法中的步骤。例如,该指令可以执行如下步骤:
获取第一图像,并确定所述第一图像对应的直方图和平均像素亮度;
根据所述直方图和平均像素亮度确定所述第一图像对应的图像类型;
根据所述图像类型确定所述第一图像对应的目标调节类型;
根据所述目标调节类型对所述第一图像的每一像素的亮度值进行调节,以得到第二图像。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种图像处理方法中的步骤,因此,可以实现本申请实施例所提供的任一种图像处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种图像处理方法、装置、电子设备及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (14)

1.一种图像处理方法,其特征在于,包括:
获取第一图像,并确定所述第一图像对应的直方图和平均像素亮度;
根据所述直方图和平均像素亮度确定所述第一图像对应的图像类型;
根据所述图像类型确定所述第一图像对应的目标调节类型;
根据所述目标调节类型对所述第一图像的每一像素的亮度值进行调节,以得到第二图像。
2.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述直方图和平均像素亮度确定所述第一图像对应的图像类型的步骤,包括:
对所述直方图进行归一化处理,以得到归一化直方图;
根据所述归一化直方图和所述平均像素亮度确定所述第一图像对应的图像类型。
3.根据权利要求2所述的图像处理方法,其特征在于,所述根据所述归一化直方图和所述平均像素亮度确定所述第一图像对应的图像类型的步骤,包括:
根据所述归一化直方图确定所述第一图像中像素的低亮度占比、中亮度占比、高亮度占比;
根据所述低亮度占比、中亮度占比、高亮度占比以及所述平均像素亮度确定所述第一图像对应的图像类型。
4.根据权利要求3所述的图像处理方法,其特征在于,所述根据所述归一化直方图确定所述第一图像对应的低亮度占比、中亮度占比、高亮度占比的步骤,包括:
确定所述归一化直方图对应的低亮度阈值和高亮度阈值;
根据所述低亮度阈值和高亮度阈值确定所述低亮度占比、中亮度占比、高亮度占比。
5.根据权利要求3所述的图像处理方法,其特征在于,所述根据所述低亮度占比、中亮度占比、高亮度占比以及所述平均像素亮度确定所述第一图像对应的图像类型的步骤,包括:
确定所述低亮度占比对应的第一高阈值和第一低阈值,所述中亮度占比对应的第二高阈值和第二低阈值,以及所述高亮度占比对应的第三高阈值和第三低阈值;
根据所述第一高阈值和第一低阈值、所述第二高阈值和第二低阈值、所述第三高阈值和第三低阈值以及所述平均像素亮度确定所述第一图像对应的图像类型。
6.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述目标调节类型对所述第一图像的每一像素的亮度值进行调节,以得到第二图像的步骤,包括:
根据所述目标调节类型确定所述第一图像对应的调节曲线类型;
根据所述调节曲线类型对所述第一图像的每一像素的亮度值进行调节,以得到所述第二图像。
7.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述目标调节类型对所述第一图像的每一像素的亮度值进行调节,以得到第二图像的步骤,包括:
根据所述目标调节类型确定所述第一图像对应的亮度查找表;
根据所述亮度查找表确定所述第一图像中每一像素对应的映射亮度值;
将所述每一像素的亮度值调节为对应的所述映射亮度值,以生成所述第二图像。
8.根据权利要求1-7任一项所述的图像处理方法,其特征在于,在所述获取第一图像的步骤之前,所述方法还包括:
获取初始图像,对所述初始图像的色彩空间转换为YUV色彩空间,以得到所述第一图像。
9.根据权利要求1-7任一项所述的图像处理方法,其特征在于,所述确定所述第一图像对应的直方图的步骤,包括:
获取所述第一图像中每一像素对应的亮度值;
根据所述每一像素的亮度值生成所述直方图。
10.根据权利要求1-7任一项所述的图像处理方法,其特征在于,所述确定所述第一图像对应的平均像素亮度的步骤,包括:
获取所述第一图像中像素的数量,以及所述第一图像中每一像素对应的亮度值;
根据所述第一图像中像素的数量及所述每一像素对应的亮度值确定所述平均像素亮度。
11.根据权利要求1-7任一项所述的图像处理方法,其特征在于,在所述根据所述目标调节类型对所述第一图像的每一像素的亮度值进行调节,以得到第二图像的步骤之后,所述方法还包括:
将所述第二图像的色彩空间转换为RGB色彩空间,以得到目标图像。
12.一种图像处理装置,其特征在于,包括:
获取模块,用于获取第一图像,并确定所述第一图像对应的直方图和平均像素亮度;
第一确定模块,用于根据所述直方图和平均像素亮度确定所述第一图像对应的图像类型;
第二确定模块,用于根据所述图像类型确定所述第一图像对应的目标调节类型;
调节模块,用于根据所述目标调节类型对所述第一图像的每一像素的亮度值进行调节,以得到第二图像。
13.一种电子设备,其特征在于,包括:
存储有可执行程序代码的存储器、与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行如权利要求1至11任一项所述的图像处理方法中的步骤。
14.一种计算机可读存储介质,其特征在于,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至11任一项所述的图像处理方法中的步骤。
CN202111320162.XA 2021-11-09 2021-11-09 图像处理方法、装置、电子设备及存储介质 Pending CN114119431A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111320162.XA CN114119431A (zh) 2021-11-09 2021-11-09 图像处理方法、装置、电子设备及存储介质
PCT/CN2022/120605 WO2023082859A1 (zh) 2021-11-09 2022-09-22 图像处理方法、图像处理器、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111320162.XA CN114119431A (zh) 2021-11-09 2021-11-09 图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114119431A true CN114119431A (zh) 2022-03-01

Family

ID=80377781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111320162.XA Pending CN114119431A (zh) 2021-11-09 2021-11-09 图像处理方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN114119431A (zh)
WO (1) WO2023082859A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023082859A1 (zh) * 2021-11-09 2023-05-19 深圳Tcl新技术有限公司 图像处理方法、图像处理器、电子设备及存储介质
CN116664431A (zh) * 2023-05-30 2023-08-29 原朗智芯(苏州)数字科技有限公司 一种基于人工智能的图像处理***及方法
CN117896622A (zh) * 2024-03-15 2024-04-16 深圳赛尔智控科技有限公司 一种图像局部过曝调节方法、装置、设备及可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170087078A (ko) * 2016-01-19 2017-07-28 삼성디스플레이 주식회사 투명 액정 표시 장치 및 이의 구동 방법
CN108230256A (zh) * 2017-11-09 2018-06-29 珠海市魅族科技有限公司 图像处理方法、装置、计算机装置及计算机可读存储介质
CN108900819B (zh) * 2018-08-20 2020-09-15 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN109191406B (zh) * 2018-09-19 2021-03-09 浙江宇视科技有限公司 图像处理方法、装置及设备
CN110445986B (zh) * 2019-07-30 2021-03-23 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN114119431A (zh) * 2021-11-09 2022-03-01 深圳Tcl新技术有限公司 图像处理方法、装置、电子设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023082859A1 (zh) * 2021-11-09 2023-05-19 深圳Tcl新技术有限公司 图像处理方法、图像处理器、电子设备及存储介质
CN116664431A (zh) * 2023-05-30 2023-08-29 原朗智芯(苏州)数字科技有限公司 一种基于人工智能的图像处理***及方法
CN116664431B (zh) * 2023-05-30 2024-04-12 新疆美特智能安全工程股份有限公司 一种基于人工智能的图像处理***及方法
CN117896622A (zh) * 2024-03-15 2024-04-16 深圳赛尔智控科技有限公司 一种图像局部过曝调节方法、装置、设备及可读存储介质
CN117896622B (zh) * 2024-03-15 2024-06-11 深圳赛尔智控科技有限公司 一种图像局部过曝调节方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
WO2023082859A1 (zh) 2023-05-19

Similar Documents

Publication Publication Date Title
CN111416950A (zh) 视频处理方法、装置、存储介质及电子设备
CN114119431A (zh) 图像处理方法、装置、电子设备及存储介质
KR101958870B1 (ko) 소비 전력을 절감하기 위한 표시 제어 방법 및 장치
US20110069089A1 (en) Power management for organic light-emitting diode (oled) displays
CN107293265B (zh) 显示屏画面调整方法、显示终端及可读存储介质
US10978027B2 (en) Electronic display partial image frame update systems and methods
WO2023082861A1 (zh) 图像处理方法、图像处理器、电子设备及存储介质
CN114203119B (zh) 显示控制方法、装置、电子设备及存储介质
WO2020063030A1 (zh) 主题色彩的调节方法、装置、存储介质及电子设备
JP2020504831A (ja) インタフェース画像の表示方法、装置及びプログラム
WO2021082542A1 (zh) 区域背光控制方法、显示器及存储介质
CN112950499A (zh) 图像处理方法、装置、电子设备及存储介质
CN109104578B (zh) 一种图像处理方法及移动终端
CN113018856A (zh) 图像处理方法、装置、电子设备及存储介质
CN112289278A (zh) 屏幕亮度调节方法、屏幕亮度调节装置和电子设备
CN116382540A (zh) 用于电子纸的显示方法、装置、电子设备和存储介质
WO2023155606A1 (zh) 屏幕刷新率的切换方法、电子设备和计算机可读存储介质
KR102558472B1 (ko) 밝기 정보에 기반하여 콘텐트의 표시를 제어하는 전자 장치 및 그의 동작 방법
CN114038370B (zh) 显示参数调整方法、装置、存储介质及显示设备
US20180061325A1 (en) Image display method and apparatus
CN114242021A (zh) 显示控制方法、装置、电子设备及存储介质
CN109729280A (zh) 一种图像处理方法及移动终端
CN116797631A (zh) 差异区域定位方法、装置、计算机设备及存储介质
CN113890992A (zh) 图像处理方法、装置、电子设备及存储介质
CN113781959A (zh) 界面处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination