CN110213462B - 图像处理方法、装置、电子设备、图像处理电路及存储介质 - Google Patents
图像处理方法、装置、电子设备、图像处理电路及存储介质 Download PDFInfo
- Publication number
- CN110213462B CN110213462B CN201910509584.8A CN201910509584A CN110213462B CN 110213462 B CN110213462 B CN 110213462B CN 201910509584 A CN201910509584 A CN 201910509584A CN 110213462 B CN110213462 B CN 110213462B
- Authority
- CN
- China
- Prior art keywords
- image
- noise
- image processing
- noise reduction
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 49
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 230000009467 reduction Effects 0.000 claims abstract description 74
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 30
- 238000003062 neural network model Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 21
- 230000000694 effects Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003705 background correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012407 engineering method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本申请提出一种图像处理方法、装置、电子设备及图像处理电路,该方法包括获取原始图像;结合预设特征,对原始图像进行划分得到多个图像区域,各图像区域,基于预设特征的特征值不同;针对各图像区域分别基于人工智能降噪,以得到目标降噪图像。通过本申请能够精准地识别出图像中各个图像特征区域的噪声特性,实现结合图像特征进行针对性的降噪,提升降噪效果。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像处理方法、装置、电子设备及图像处理电路。
背景技术
在图像降噪领域一般基于深度学习的人工智能降噪模型进行图像降噪,人工智能降噪模型能够对图像中的噪声进行特性识别,根据识别出的噪声特性采用相应的降噪方式对图像进行降噪,即,对同一张图像采用同一种人工智能降噪模型进行降噪处理。
这种方式下,不能够准确识别出图像中各个图像特征区域的噪声特性,降噪不具有针对性,降噪效果不佳。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本申请的目的在于提出一种图像处理方法、装置、电子设备及图像处理电路,能够精准地识别出图像中各个图像特征区域的噪声特性,实现结合图像特征进行针对性的降噪,提升降噪效果。
为达到上述目的,本申请第一方面实施例提出的图像处理方法,包括:获取原始图像;结合预设特征,对所述原始图像进行划分得到多个图像区域,各所述图像区域,基于所述预设特征的特征值不同;针对各所述图像区域分别基于人工智能降噪,以得到目标降噪图像。
本申请第一方面实施例提出的图像处理方法,通过获取原始图像,并结合预设特征,对原始图像进行划分得到多个图像区域,各图像区域,基于预设特征的特征值不同,以及针对各图像区域分别基于人工智能降噪,以得到目标降噪图像,能够精准地识别出图像中各个图像特征区域的噪声特性,实现结合图像特征进行针对性的降噪,提升降噪效果。
为达到上述目的,本申请第二方面实施例提出的图像处理装置,包括:获取模块,用于获取原始图像;划分模块,用于结合预设特征,对所述原始图像进行划分得到多个图像区域,各所述图像区域,基于所述预设特征的特征值不同;降噪模块,用于针对各所述图像区域分别基于人工智能降噪,以得到目标降噪图像。
本申请第二方面实施例提出的图像处理装置,通过获取原始图像,并结合预设特征,对原始图像进行划分得到多个图像区域,各图像区域,基于预设特征的特征值不同,以及针对各图像区域分别基于人工智能降噪,以得到目标降噪图像,能够精准地识别出图像中各个图像特征区域的噪声特性,实现结合图像特征进行针对性的降噪,提升降噪效果。
为达到上述目的,本申请第三方面实施例提出的电子设备,包括:图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述图像传感器与所述处理器电连接,所述处理器执行所述程序时,实现本申请第一方面实施例提出的图像处理方法。
本申请第三方面实施例提出的电子设备,通过获取原始图像,并结合预设特征,对原始图像进行划分得到多个图像区域,各图像区域,基于预设特征的特征值不同,以及针对各图像区域分别基于人工智能降噪,以得到目标降噪图像,能够精准地识别出图像中各个图像特征区域的噪声特性,实现结合图像特征进行针对性的降噪,提升降噪效果。
为达到上述目的,本申请第四方面实施例提出的图像处理电路,包括:包括图像信号处理ISP处理器和图形处理器GPU;所述ISP处理器,与图像传感器电连接,用于控制所述图像传感器获取原始图像;所述GPU,与所述ISP处理器电连接,用于结合预设特征,对所述原始图像进行划分得到多个图像区域,各所述图像区域,基于所述预设特征的特征值不同;针对各所述图像区域分别基于人工智能降噪,以得到目标降噪图像。
本申请第四方面实施例提出的图像处理电路,通过获取原始图像,并结合预设特征,对原始图像进行划分得到多个图像区域,各图像区域,基于预设特征的特征值不同,以及针对各图像区域分别基于人工智能降噪,以得到目标降噪图像,能够精准地识别出图像中各个图像特征区域的噪声特性,实现结合图像特征进行针对性的降噪,提升降噪效果。
为达到上述目的,本申请第五方面实施例提出的计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请第一方面实施例提出的图像处理方法。
本申请第五方面实施例提出的计算机可读存储介质,通过获取原始图像,并结合预设特征,对原始图像进行划分得到多个图像区域,各图像区域,基于预设特征的特征值不同,以及针对各图像区域分别基于人工智能降噪,以得到目标降噪图像,能够精准地识别出图像中各个图像特征区域的噪声特性,实现结合图像特征进行针对性的降噪,提升降噪效果。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本申请一实施例提出的图像处理方法的流程示意图;
图2为本申请实施例中图像划分示意图;
图3是本申请另一实施例提出的图像处理方法的流程示意图;
图4是本申请一实施例提出的图像处理装置的结构示意图;
图5是本申请另一实施例提出的图像处理装置的结构示意图;
图6为本申请实施例提供的一种电子设备的结构示意图;
图7为本申请实施例提供的一种电子设备的原理示例图;
图8为本申请实施例提供的一种图像处理电路的原理示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。相反,本申请的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
为了解决相关技术中不能够准确识别出图像中各个图像特征区域的噪声特性,降噪不具有针对性,降噪效果不佳的技术问题,本申请实施例提供一种图像处理方法,通过获取原始图像,并结合预设特征,对原始图像进行划分得到多个图像区域,各图像区域,基于预设特征的特征值不同,以及针对各图像区域分别基于人工智能降噪,以得到目标降噪图像,能够精准地识别出图像中各个图像特征区域的噪声特性,实现结合图像特征进行针对性的降噪,提升降噪效果。
图1是本申请一实施例提出的图像处理方法的流程示意图。
本申请实施例的基于多帧图像的图像处理方法,应用于电子设备,该电子设备可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作***、成像设备的硬件设备。
参见图1,该方法包括:
S101:获取原始图像。
其中,原始图像可以例如通过电子设备的图像传感器采集得到的未做任何处理的RAW格式图像,对此不作限制。
其中,RAW格式图像就是图像传感器将捕捉到的光源信号转化为数字信号的原始图像。RAW格式图像记录了数码相机传感器的原始信息,同时记录了由相机拍摄所产生的一些元数据,如感光度的设置、快门速度、光圈值、白平衡等。
可以通过获取当前拍摄场景的预览图像,以确定当前拍摄场景是否属于夜景场景。由于不同场景下环境亮度值不同,预览图像内容也不相同,可以根据当前拍摄场景预览图像的画面内容以及各区域的环境亮度值,确定当前拍摄场景属于夜景场景后,启动夜景拍摄模式,获取原始图像。
例如,预览图像的画面内容包括夜晚天空或者夜景灯源等,或者预览图像的各区域中环境亮度值符合夜景环境下图像的亮度分布特性,即可确定当前拍摄场景属于夜景场景。
S102:结合预设特征,对原始图像进行划分得到多个图像区域,各图像区域,基于预设特征的特征值不同。
可选地,预设特征可以例如为图像对比度、感光度、白平衡等图像特征。
而本申请实施例中预设特征为图像亮度,实现结合图像亮度进行针对性的降噪,由于具有不同亮度特征的图像区域一般的噪声特性差异较大,因此,能够较明显地提升降噪效果,提升用户使用体验度。
可选地,图像区域的基于预设特征的特征值,为图像区域中全部像素点的亮度均值,或者,也可以为基于通常的统计算法计算得到的图像区域中像素点的亮度方差值,算法实现简单,结果精准,且尽可能地降低电子设备的运算功耗。
在具体执行的过程中,可以针对原始图像统计其中各个像素点的亮度值,将各个像素点的亮度值与预设的第一亮度阈值和第二亮度阈值进行比对,其中第一亮度阈值小于第二亮度阈值,根据比对得到的结果,将原始图像划分为亮区域、亮暗过渡区域、暗区域,参见图2,图2为本申请实施例中图像划分示意图,亮区域中全部像素点的亮度值大于或者等于第二亮度阈值,亮暗过渡区域的全部像素点的亮度值小于第二亮度阈值,且大于或者等于第一亮度阈值,暗区域中全部像素点的亮度值小于第一亮度阈值。
在另一些实施例中,还可以基于其它的一些图像划分算法,将图像划分为多个图像区域,并使得各图像区域,基于预设特征的特征值不同,对此不作限制。
S103:针对各图像区域分别基于人工智能降噪,以得到目标降噪图像。
由于电子设备中的图像传感器在拍摄的过程中会受到不同程度的来自周边电路和本身像素间的光电磁干扰,因此拍摄得到的原始图像不可避免的存在噪声,并且,干扰程度的不同,拍摄得到的图像的清晰度也不相同。因此采集的原始图像也必然存在噪声,可以进一步针对各图像区域分别基于人工智能降噪,以得到目标降噪图像。
可选地,一些实施例中,参见图3,针对各图像区域分别基于人工智能降噪,包括:
S301:采用神经网络模型,结合各图像区域对应的特征值,对各图像区域进行噪声特性识别;其中,神经网络模型,已学习得到各图像区域的特征值与噪声特性之间的映射关系。
可选地,神经网络模型,是采用各特征值的样本图像对神经网络模型进行训练,直至神经网络模型识别出的噪声特性与相应样本图像中标注的噪声特性匹配时,神经网络模型训练完成。
作为一种可能的实现方式,由于神经网络模型已学习得到各图像区域的特征值与噪声特性之间的映射关系。因此,可以将各图像区域分别输入神经网络模型中,以采用神经网络模型对各图像区域分别进行噪声特性识别,从而识别出与各图像区域对应的噪声特性,从而达到了针对性降噪的目的,提高了降噪效果,并且最大程度减少降噪的功耗。
当然,神经网络模型仅仅是实现基于人工智能的降噪的一种可能的实现方式,在实际执行过程中,可以通过其它任意可能的方式来实现基于人工智能的降噪,比如,还可以采用传统的编程技术(模拟法和工程学方法)实现,又比如,还可以采用遗传学算法和人工神经网络的方法来实现。
S302:根据识别出的噪声特性,对各图像区域降噪。
本申请实施例中,噪声特性,可以是由于图像传感器引起的随机噪声的统计特性。这里说的噪声主要包括热噪声和散粒噪声,其中,热噪声符合高斯分布,散粒噪声符合泊松分布,本申请实施例中的统计特性可以指噪声的方差值,当然也可以是其他可能情况的值,在此不做限定。
本申请实施例中,在根据识别出的噪声特性,对各图像区域降噪之后,还可以将降噪得到的图像区域作为目标降噪区域,并对各目标降噪区域进行合成,得到目标降噪图像。
其中,对各图像区域降噪得到的区域可以被称为目标降噪区域,目标降噪区域的数量与上述对原始图像进行划分得到图像区域的数量相同。
在具体执行的过程中,可以基于拼接算法对各目标降噪区域进行合成,得到目标降噪图像,对此不作限制。
本实施例中,通过获取原始图像,并结合预设特征,对原始图像进行划分得到多个图像区域,各图像区域,基于预设特征的特征值不同,以及针对各图像区域分别基于人工智能降噪,以得到目标降噪图像,能够精准地识别出图像中各个图像特征区域的噪声特性,实现结合图像特征进行针对性的降噪,提升降噪效果。
图4是本申请一实施例提出的图像处理装置的结构示意图。
参见图4,该装置400包括:
获取模块401,用于获取原始图像;
划分模块402,用于结合预设特征,对原始图像进行划分得到多个图像区域,各图像区域,基于预设特征的特征值不同;
降噪模块403,用于针对各图像区域分别基于人工智能降噪,以得到目标降噪图像。
可选地,一些实施例中,降噪模块403,具体用于:
采用神经网络模型,结合各图像区域对应的特征值,对各图像区域进行噪声特性识别;其中,神经网络模型,已学习得到各图像区域的特征值与噪声特性之间的映射关系;
根据识别出的噪声特性,对各图像区域降噪。
可选地,一些实施例中,神经网络模型,是采用各特征值的样本图像对神经网络模型进行训练,直至神经网络模型识别出的噪声特性与相应样本图像中标注的噪声特性匹配时,神经网络模型训练完成。
可选地,一些实施例中,参见图5,还包括:
合成模块404,用于将降噪得到的图像区域作为目标降噪区域,并对各目标降噪区域进行合成,得到目标降噪图像。
可选地,一些实施例中,预设特征为图像亮度。
可选地,一些实施例中,图像区域的基于预设特征的特征值,为图像区域中全部像素点的亮度均值。
需要说明的是,前述对图像处理方法实施例的解释说明也适用于该实施例的图像处理装置400,此处不再赘述。
本实施例中,通过获取原始图像,并结合预设特征,对原始图像进行划分得到多个图像区域,各图像区域,基于预设特征的特征值不同,以及针对各图像区域分别基于人工智能降噪,以得到目标降噪图像,能够精准地识别出图像中各个图像特征区域的噪声特性,实现结合图像特征进行针对性的降噪,提升降噪效果。
为了实现上述实施例,本申请还提出一种电子设备200,参见图6,图6为本申请实施例提供的一种电子设备的结构示意图,包括:图像传感器210、存储器230、处理器220及存储在存储器230上并可在处理器220上运行的计算机程序,图像传感器210与处理器220电连接,处理器220执行程序时,实现上述的图像处理方法。
作为一种可能的情况,处理器220可以包括:图像信号处理ISP处理器。
其中,ISP处理器,用于控制图像传感器获取原始图像。
作为另一种可能的情况,处理器220还可以包括:与ISP处理器连接的图形处理器(Graphics Processing Unit,简称GPU)。
其中,GPU用于结合预设特征,对原始图像进行划分得到多个图像区域,各图像区域,基于预设特征的特征值不同;针对各图像区域分别基于人工智能降噪,以得到目标降噪图像。
作为一种示例,请参阅图7,在图6电子设备的基础上,图7中为本申请实施例提供的一种电子设备的原理示例图。电子设备200的存储器230包括非易失性存储器60、内存储器62和处理器220。存储器230中存储有计算机可读指令。计算机可读指令被存储器执行时,使得处理器220执行上述任一实施方式的图像处理方法。
如图7所示,该电子设备200包括通过***总线61连接的处理器220、非易失性存储器60、内存储器62、显示屏63和输入装置64。其中,电子设备200 的非易失性存储器60存储有操作***和计算机可读指令。该计算机可读指令可被处理器220执行,以实现本申请实施方式的图像处理方法。该处理器220用于提供计算和控制能力,支撑整个电子设备200的运行。电子设备200的内存储器62为非易失性存储器60中的计算机可读指令的运行提供环境。电子设备 200的显示屏63可以是液晶显示屏或者电子墨水显示屏等,输入装置64可以是显示屏63上覆盖的触摸层,也可以是电子设备200外壳上设置的按键、轨迹球或触控板,也可以是外接的键盘、触控板或鼠标等。该电子设备200可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的示意图,并不构成对本申请方案所应用于其上的电子设备200的限定,具体的电子设备200可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
为了实现上述实施例,本申请还提出一种图像处理电路,请参阅图8,图8 为本申请实施例提供的一种图像处理电路的原理示意图,如图8所示,图像处理电路70包括图像信号处理ISP处理器71(ISP处理器71作为处理器220) 和图形处理器GPU。
ISP处理器,与图像传感器电连接,用于控制图像传感器获取原始图像;
GPU,与ISP处理器电连接,用于结合预设特征,对原始图像进行划分得到多个图像区域,各图像区域,基于预设特征的特征值不同;针对各图像区域分别基于人工智能降噪,以得到目标降噪图像。
摄像头73捕捉的图像数据首先由ISP处理器71处理,ISP处理器71对图像数据进行分析以捕捉可用于确定摄像头73的一个或多个控制参数的图像统计信息。摄像模组310可包括一个或多个透镜732和图像传感器734。图像传感器734可包括色彩滤镜阵列(如Bayer滤镜),图像传感器734可获取每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器71处理的一组原始图像数据。传感器74(如陀螺仪)可基于传感器74接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器71。传感器74接口可以为SMIA(StandardMobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外,图像传感器734也可将原始图像数据发送给传感器74,传感器74 可基于传感器74接口类型把原始图像数据提供给ISP处理器71,或者传感器 74将原始图像数据存储到图像存储器75中。
ISP处理器71按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器71可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器71还可从图像存储器75接收图像数据。例如,传感器74接口将原始图像数据发送给图像存储器75,图像存储器75中的原始图像数据再提供给ISP处理器71以供处理。图像存储器75可为存储器330、存储器330的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器734接口或来自传感器74接口或来自图像存储器 75的原始图像数据时,ISP处理器71可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器75,以便在被显示之前进行另外的处理。ISP处理器71从图像存储器75接收处理数据,并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器71处理后的图像数据可输出给显示器77(显示器77可包括显示屏63),以供用户观看和 /或由图形引擎或GPU进一步处理。此外,ISP处理器71的输出还可发送给图像存储器75,且显示器77可从图像存储器75读取图像数据。在一个实施例中,图像存储器75可被配置为实现一个或多个帧缓冲器。此外,ISP处理器71的输出可发送给编码器/解码器76,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器77设备上之前解压缩。编码器/解码器76可由CPU 或GPU或协处理器实现。
ISP处理器71确定的统计数据可发送给控制逻辑器72单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜 732阴影校正等图像传感器734统计信息。控制逻辑器72可包括执行一个或多个例程(如固件)的处理元件和/或微控制器,一个或多个例程可根据接收的统计数据,确定摄像头73的控制参数及ISP处理器71的控制参数。例如,摄像头 73的控制参数可包括传感器74控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜732控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在 RGB处理期间)的增益水平和色彩校正矩阵,以及透镜732阴影校正参数。
以下为运用图8中图像处理技术实现图像处理方法的步骤:ISP处理器控制图像传感器获取原始图像;GPU结合预设特征,对原始图像进行划分得到多个图像区域,各图像区域,基于预设特征的特征值不同;针对各图像区域分别基于人工智能降噪,以得到目标降噪图像。
为了实现上述实施例,本申请实施例还提供了一种存储介质,当存储介质中的指令由处理器执行时,使得处理器执行以下步骤:获取原始图像;结合预设特征,对原始图像进行划分得到多个图像区域,各图像区域,基于预设特征的特征值不同;针对各图像区域分别基于人工智能降噪,以得到目标降噪图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory, ROM)等。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
需要说明的是,在本申请的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA) 等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (15)
1.一种图像处理方法,其特征在于,包括:
获取原始图像;
结合所述原始图像中各像素点的预设特征,对所述原始图像进行划分得到多个图像区域,各所述图像区域,基于所述预设特征的特征值不同,所述预设特征为所述原始图像的亮度,所述预设特征的特征值为所述图像区域中全部像素点的亮度均值;
针对各所述图像区域分别基于人工智能降噪,以得到目标降噪图像,所述针对各所述图像区域分别基于人工智能降噪,包括:
采用神经网络模型,结合各所述图像区域对应的特征值,对各所述图像区域进行噪声特性识别;其中,所述神经网络模型,已学习得到各所述图像区域的特征值与噪声特性之间的映射关系,噪声特性指噪声的方差值;
根据识别出的噪声特性,对各所述图像区域降噪。
2.如权利要求1所述的图像处理方法,其特征在于,所述神经网络模型,是采用各特征值的样本图像对所述神经网络模型进行训练,直至所述神经网络模型识别出的噪声特性与相应样本图像中标注的噪声特性匹配时,所述神经网络模型训练完成。
3.如权利要求1所述的图像处理方法,其特征在于,还包括:
将降噪得到的图像区域作为目标降噪区域;
对各所述目标降噪区域进行合成,得到所述目标降噪图像。
4.如权利要求1-3任一项所述的图像处理方法,其特征在于,所述预设特征为图像亮度。
5.如权利要求4所述的图像处理方法,其特征在于,所述图像区域的基于所述预设特征的特征值,为所述图像区域中全部像素点的亮度均值。
6.一种图像处理装置,其特征在于,包括:
获取模块,用于获取原始图像;
划分模块,用于结合所述原始图像中各像素点的预设特征,对所述原始图像进行划分得到多个图像区域,各所述图像区域,基于所述预设特征的特征值不同,所述预设特征为所述原始图像的亮度,所述预设特征的特征值为所述图像区域中全部像素点的亮度均值;
降噪模块,用于针对各所述图像区域分别基于人工智能降噪,以得到目标降噪图像,针对各所述图像区域分别基于人工智能降噪,包括:
采用神经网络模型,结合各所述图像区域对应的特征值,对各所述图像区域进行噪声特性识别;其中,所述神经网络模型,已学习得到各所述图像区域的特征值与噪声特性之间的映射关系,噪声特性指噪声的方差值;
根据识别出的噪声特性,对各所述图像区域降噪。
7.如权利要求6所述的图像处理装置,其特征在于,所述神经网络模型,是采用各特征值的样本图像对所述神经网络模型进行训练,直至所述神经网络模型识别出的噪声特性与相应样本图像中标注的噪声特性匹配时,所述神经网络模型训练完成。
8.如权利要求6所述的图像处理装置,其特征在于,还包括:
合成模块,用于将降噪得到的图像区域作为目标降噪区域,并对各所述目标降噪区域进行合成,得到所述目标降噪图像。
9.如权利要求6-8任一项所述的图像处理装置,其特征在于,所述预设特征为图像亮度。
10.如权利要求9所述的图像处理装置,其特征在于,所述图像区域的基于所述预设特征的特征值,为所述图像区域中全部像素点的亮度均值。
11.一种电子设备,其特征在于,包括:图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述图像传感器与所述处理器电连接,所述处理器执行所述程序时,实现如权利要求1-5中任一所述的图像处理方法。
12.根据权利要求11所述的电子设备,其特征在于,所述处理器包括图像信号处理ISP处理器;
所述ISP处理器,用于控制所述图像传感器获取原始图像。
13.根据权利要求12所述的电子设备,其特征在于,所述处理器包括与所述ISP处理器连接的图形处理器GPU;
其中,所述GPU,用于结合预设特征,对所述原始图像进行划分得到多个图像区域,各所述图像区域,基于所述预设特征的特征值不同;针对各所述图像区域分别基于人工智能降噪,以得到目标降噪图像。
14.一种图像处理电路,其特征在于,所述图像处理电路包括图像信号处理ISP处理器和图形处理器GPU;
所述ISP处理器,与图像传感器电连接,用于控制所述图像传感器获取原始图像;
所述GPU,与所述ISP处理器电连接,用于结合预设特征,对所述原始图像进行划分得到多个图像区域,各所述图像区域,基于所述预设特征的特征值不同;针对各所述图像区域分别基于人工智能降噪,以得到目标降噪图像。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910509584.8A CN110213462B (zh) | 2019-06-13 | 2019-06-13 | 图像处理方法、装置、电子设备、图像处理电路及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910509584.8A CN110213462B (zh) | 2019-06-13 | 2019-06-13 | 图像处理方法、装置、电子设备、图像处理电路及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110213462A CN110213462A (zh) | 2019-09-06 |
CN110213462B true CN110213462B (zh) | 2022-01-04 |
Family
ID=67792317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910509584.8A Active CN110213462B (zh) | 2019-06-13 | 2019-06-13 | 图像处理方法、装置、电子设备、图像处理电路及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110213462B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111131716B (zh) * | 2019-12-31 | 2021-06-15 | 联想(北京)有限公司 | 图像处理方法以及电子设备 |
CN113628124B (zh) * | 2020-05-08 | 2024-01-16 | 深圳清华大学研究院 | Isp与视觉任务联合优化方法、***、介质和电子设备 |
CN113763275A (zh) * | 2021-09-09 | 2021-12-07 | 深圳市文立科技有限公司 | 一种自适应图像降噪方法、***及可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103973990A (zh) * | 2014-05-05 | 2014-08-06 | 浙江宇视科技有限公司 | 宽动态融合方法及装置 |
CN104134191A (zh) * | 2014-07-11 | 2014-11-05 | 三星电子(中国)研发中心 | 图像去噪方法及其装置 |
CN105005973A (zh) * | 2015-06-30 | 2015-10-28 | 广东欧珀移动通信有限公司 | 一种图像快速去噪的方法及装置 |
CN106127729A (zh) * | 2016-06-08 | 2016-11-16 | 浙江传媒学院 | 一种基于梯度的图像噪声水平估计方法 |
CN108876737A (zh) * | 2018-06-06 | 2018-11-23 | 武汉大学 | 一种联合残差学习和结构相似度的图像去噪方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106331433B (zh) * | 2016-08-25 | 2020-04-24 | 上海交通大学 | 基于深度递归神经网络的视频去噪方法 |
US10565305B2 (en) * | 2016-11-18 | 2020-02-18 | Salesforce.Com, Inc. | Adaptive attention model for image captioning |
CN108122206A (zh) * | 2016-11-29 | 2018-06-05 | 深圳市中兴微电子技术有限公司 | 一种低照度图像降噪方法及装置 |
WO2019084492A1 (en) * | 2017-10-26 | 2019-05-02 | Essenlix Corporation | DEVICES AND METHODS FOR MONITORING LIQUID-SOLID CONTACT TIME |
CN109658344B (zh) * | 2018-11-12 | 2022-10-25 | 哈尔滨工业大学(深圳) | 基于深度学习的图像去噪方法、装置、设备和存储介质 |
CN109544477A (zh) * | 2018-11-23 | 2019-03-29 | 南通大学 | 基于自适应字典学习稀疏表示的图像去噪算法 |
CN109859147B (zh) * | 2019-03-01 | 2021-05-04 | 武汉大学 | 一种基于生成对抗网络噪声建模的真实图像去噪方法 |
-
2019
- 2019-06-13 CN CN201910509584.8A patent/CN110213462B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103973990A (zh) * | 2014-05-05 | 2014-08-06 | 浙江宇视科技有限公司 | 宽动态融合方法及装置 |
CN104134191A (zh) * | 2014-07-11 | 2014-11-05 | 三星电子(中国)研发中心 | 图像去噪方法及其装置 |
CN105005973A (zh) * | 2015-06-30 | 2015-10-28 | 广东欧珀移动通信有限公司 | 一种图像快速去噪的方法及装置 |
CN106127729A (zh) * | 2016-06-08 | 2016-11-16 | 浙江传媒学院 | 一种基于梯度的图像噪声水平估计方法 |
CN108876737A (zh) * | 2018-06-06 | 2018-11-23 | 武汉大学 | 一种联合残差学习和结构相似度的图像去噪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110213462A (zh) | 2019-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110062160B (zh) | 图像处理方法和装置 | |
CN108322669B (zh) | 图像获取方法及装置、成像装置和可读存储介质 | |
CN109005364B (zh) | 成像控制方法、装置、电子设备以及计算机可读存储介质 | |
US11228720B2 (en) | Method for imaging controlling, electronic device, and non-transitory computer-readable storage medium | |
JP6911202B2 (ja) | 撮像制御方法および撮像装置 | |
CN108683862B (zh) | 成像控制方法、装置、电子设备及计算机可读存储介质 | |
CN110072052B (zh) | 基于多帧图像的图像处理方法、装置、电子设备 | |
CN109788207B (zh) | 图像合成方法、装置、电子设备及可读存储介质 | |
CN110290289B (zh) | 图像降噪方法、装置、电子设备以及存储介质 | |
CN109040609B (zh) | 曝光控制方法、装置、电子设备和计算机可读存储介质 | |
CN110248106B (zh) | 图像降噪方法、装置、电子设备以及存储介质 | |
EP3609177B1 (en) | Control method, control apparatus, imaging device, and electronic device | |
CN109068058B (zh) | 超级夜景模式下的拍摄控制方法、装置和电子设备 | |
CN110191291B (zh) | 基于多帧图像的图像处理方法和装置 | |
CN110166708B (zh) | 夜景图像处理方法、装置、电子设备以及存储介质 | |
CN109672819B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN110166707B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
CN107509044B (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
CN109089046B (zh) | 图像降噪方法、装置、计算机可读存储介质及电子设备 | |
WO2020207261A1 (zh) | 基于多帧图像的图像处理方法、装置、电子设备 | |
US11490024B2 (en) | Method for imaging controlling, electronic device, and non-transitory computer-readable storage medium | |
CN110166706B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
CN108093158B (zh) | 图像虚化处理方法、装置、移动设备和计算机可读介质 | |
CN110166709B (zh) | 夜景图像处理方法、装置、电子设备以及存储介质 | |
CN109005369B (zh) | 曝光控制方法、装置、电子设备以及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |