CN116709003A - 一种图像处理方法和电子设备 - Google Patents
一种图像处理方法和电子设备 Download PDFInfo
- Publication number
- CN116709003A CN116709003A CN202211226559.7A CN202211226559A CN116709003A CN 116709003 A CN116709003 A CN 116709003A CN 202211226559 A CN202211226559 A CN 202211226559A CN 116709003 A CN116709003 A CN 116709003A
- Authority
- CN
- China
- Prior art keywords
- correction
- image
- scene
- original image
- electronic device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000012937 correction Methods 0.000 claims abstract description 264
- 238000012545 processing Methods 0.000 claims abstract description 104
- 230000002159 abnormal effect Effects 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims description 102
- 230000008569 process Effects 0.000 claims description 71
- 230000015654 memory Effects 0.000 claims description 30
- 238000003062 neural network model Methods 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 23
- 230000000694 effects Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 8
- 239000000203 mixture Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000255969 Pieris brassicae Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Landscapes
- Studio Devices (AREA)
Abstract
本申请实施例公开了一种图像处理方法和电子设备,涉及图像处理领域,可以自适应地对异常场景中的图像EV值进行调整,提升异常场景下的成像质量。具体方案为:摄像模组拍摄获取第一原始图像,第一原始图像是对异常场景拍摄获取的,异常场景包括以下中的任一种:当前拍摄场景中的黑色区域占比大于第一值,当前拍摄场景中的白色区域占比大于第二值。电子设备确定第一原始图像对应的第一校正参数。电子设备根据第一校正参数,对第一原始图像进行校正处理,获取第一校正图像。电子设备在显示屏上,根据第一校正图像进行预览图像或者拍摄图像的显示。
Description
技术领域
本申请实施例涉及图像处理领域,尤其涉及一种图像处理方法和电子设备。
背景技术
电子设备在对一些场景(如白色区域或黑色区域占比较大的场景)拍摄成像时,会出现过度曝光或曝光不足的问题。这会显著影响到拍摄的成像质量。
发明内容
本申请实施例提供一种图像处理方法和电子设备,可以自适应地对异常场景中的图像EV值进行调整,提升异常场景下的成像质量。
为了达到上述目的,本申请实施例采用如下技术方案:
第一方面,提供一种图像处理方法,应用于电子设备中,该电子设备设置有摄像模组以及显示屏,该方法包括:该摄像模组拍摄获取第一原始图像,该第一原始图像是对异常场景拍摄获取的,该异常场景包括以下中的任一种:当前拍摄场景中的黑色区域占比大于第一值,当前拍摄场景中的黑色区域占比大于第二值。该电子设备确定该第一原始图像对应的第一校正参数。该电子设备根据该第一校正参数,对该第一原始图像进行校正处理,获取第一校正图像。该电子设备在该显示屏上,根据该第一校正图像进行预览图像或者拍摄图像的显示。示例性的,第一值与第二值可以相同也可以不同。比如,第一值和第二值均为80%。
这样,在对异常场景的拍摄时,电子设备可以自动识别黑色区域占比较大(如对黑色物体拍摄)或者白色区域占比较大(如雪景)的情况,并分别对对应的场景进行校正。由此可以使得电子设备在显示预览图像和/或拍摄图像时,可以对异常场景进行更好的识别和调整,获取更好的拍摄质量。
可选的,该第一校正参数包括:第一校正置信度。该第一校正置信度包括在[-1,1]的范围内。通过校正置信度可以实现对校正参数的传递。
可选的,在该异常场景对应于黑色区域占比大于第一值时,该第一校正置信度包括在[-1,0)的范围内。在该异常场景对应于白色区域占比大于第二值时,该第一校正置信度包括在(0,1]的范围内。
可选的,电子设备根据该第一校正参数,对该第一原始图像进行校正处理,获取第一校正图像,包括:该电子设备根据该第一校正置信度,对该第一原始图像的曝光值EV进行调整,获取该第一校正图像。
可选的,在该异常场景对应于黑色区域占比大于第一值时,该对该第一原始图像的曝光值(EV)进行调整,包括:根据该第一校正置信度,降低该第一原始图像的曝光值。
可选的,在该异常场景对应于白色区域占比大于第二值时,该对该第一原始图像的曝光值EV进行调整,包括:根据该第一校正置信度,提升该第一原始图像的曝光值。
可以理解的是,在校正置信度对应于EV值时,在黑色的异常场景下,校正置信度可以为负值,由此实现对黑色场景下的减小曝光的效果。对应的,在白色的异常场景下,校正置信度可以为正值,由此实现对白色场景下的增加曝光的效果。
可选的,该方法还包括:该电子设备确定该第一原始图像对应的第一场景标识。该第一场景标识用于指示该第一原始图像对应场景为正常场景,或者,该第一场景标识用于指示该第一原始图像对应场景为异常场景。
可选的,在该电子设备根据该第一校正参数,对该第一原始图像进行校正处理,获取第一校正图像之前,该方法还包括:该电子设备确定该第一场景标识指示该第一原始图像对应场景为异常场景。
这样,在传递校正参数的同时,还可以进行场景标识的传递。比如,正常场景标识为A,异常场景标识为B。那么在电子设备后续的校正操作时,就可以结合该场景标识确定是否要对当前的图像进行校正处理。
可选的,该电子设备中预设有神经网络模型,该神经网络模型用于在输入原始图像数据的情况下,计算输出该第一校正参数。
可选的,该电子设备中设置有预设步长,在该第一校正参数为该预设步长的N倍,N为正整数,该电子设备根据该第一校正参数,对该第一原始图像进行校正处理,获取第一校正图像,包括:该电子设备根据该第一校正参数,对该第一原始图像按照该预设步长进行N次校正处理,获取该第一校正图像。
可选的,在完成第一校正处理后,该电子设备在该显示屏上显示该第一校正处理获取的校正图像。该第一校正处理包括在该N次校正处理中。
可选的,在完成第二校正处理后,该电子设备在该显示屏由该第一校正处理获取的校正图像,切换显示该第二处理获取的校正图像。该第二校正处理是该N次校正处理中,该第一校正处理之后的校正处理。
由此,根据预设步长的设置,可以使得校正操作可以通过多次校正处理完成。这样,每次校正处理的调整幅度不会过大,从而实现显示屏上更新图像的平滑过渡。
可选的,在第一校正置信度的绝对值大于预设置信度时,电子设备根据第一校正参数,对第一原始图像进行校正处理,获取第一校正图像。
该示例提供了一种更加严格的进行校正处理的机制。也即,电子设备可以在第一校正置信度大于预设置信度时,对应于当前图像需要进行较为大幅的调整才能够获取较好的显示效果。此时确定进行校正处理能够更好地分配校正过程中的算力开销,避免不必要的算力浪费。
第二方面,提供一种电子设备,该电子设备可以用于实现第一方面及其任一种可能的设计中的电子设备的功能。示例性的,电子设备包括一个或多个处理器和一个或多个存储器;一个或多个存储器与一个或多个处理器耦合,一个或多个存储器存储有计算机指令;当一个或多个处理器执行计算机指令时,使得电子设备执行如上述第一方面及其任一种可能的设计中提供的方法。
第三方面,提供一种芯片***,芯片***包括接口电路和处理器;接口电路和处理器通过线路互联;接口电路用于从存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行计算机指令时,设置在电子设备中的芯片***执行如上述第一方面及其任一种可能的设计中提供的方法。
第四方面,提供一种计算机可读存储介质,计算机可读存储介质包括计算机指令,当计算机指令运行时,执行如上述第一方面及其任一种可能的设计中提供的方法。
第五方面,提供一种计算机程序产品,计算机程序产品中包括指令,当计算机程序产品在计算机上运行时,使得计算机可以根据指令执行如上述第一方面及其任一种可能的设计中提供的方法。
应当理解的是,上述第二方面至第五方面提供的技术方案,其技术特征均可对应到第一方面及其可能的设计中提供的方法,因此能够达到的有益效果类似,此处不再赘述。
附图说明
图1为一种电子设备的示意图;
图2为一种正常拍摄的效果示意图;
图3为一种异常拍摄的效果示意图;
图4为本申请实施例提供的异常场景下的拍摄效果示意图;
图5为本申请实施例提供的一种电子设备的组成示意图;
图6为本申请实施例提供的一种电子设备的组成示意图;
图7为本申请实施例提供的一种图像处理方法的模块间交互示意图;
图8为本申请实施例提供的一种图像处理方法的模块间交互示意图;
图9为本申请实施例提供的一种逐步进行的校正处理的效果示意图;
图10为本申请实施例提供的一种预设样本的采集示意图;
图11为本申请实施例提供的一种电子设备的组成示意图;
图12为本申请实施例提供的一种芯片***的组成示意图。
具体实施方式
电子设备可以通过其中设置的摄像模组,向用户提供拍摄功能。
示例性的,以电子设备为手机为例。如图1所示,为一种电子设备的背面视图。在该电子设备的背面可以设置有摄像模组,用于支持电子设备的后摄功能。
示例性的,该摄像模组可以包括光学镜头、光电传感器等部件。在进行后摄拍摄时,光学镜头可以采集环境中的光信号并传输到光电传感器上。光电传感器可以将不同位置接收到光信号转换为对应的电信号并输出。该与光信号对应的电信号可以被输出给电子设备的处理器,以便于处理器对该电信号进行图像处理,由此获取送显图像的数据。送显图像的数据可以被传输给电子设备的显示器,以便于显示器根据该送显图像的数据,进行预览图像或者拍摄图像的显示。
图2和图3分别示出了两种场景下的拍摄以及显示的示例。
在如图2的示例中,电子设备可以对拍摄场景21进行拍摄。在该示例中,拍摄场景21中可以包括多种不同的颜色区域。比如对象21A对应的黑色区域,以及对象21B对应的灰色区域等。对应的,电子设备拍摄后在显示器上可以显示该拍摄场景21对应的图像22。
在如图3的示例中,电子设备可以对具有单一颜色的区域31进行拍摄。例如,该区域31可以为单一的黑色区域。那么,电子设备拍摄后在显示器上可以显示该区域31对应的图像32。
可以理解的是,为了能够更好地向用户提供拍摄体验,电子设备中可以设置有图像调整策略。以便于电子设备根据该图像调整策略对拍摄获取的图像进行处理,由此获取理论上更加符合用户需求的图像。
例如,基于该图像调整策略,电子设备可以在拍摄颜色较深(如黑色)的场景时,适当提升曝光时间,以便于获取的图像不会出现过于暗淡的情况。又如,基于该图像调整策略,电子设备可以在拍摄颜色较浅(如白色)的场景时,适当降低曝光时间,以便于获取的图像不会出现过亮的情况。
然而,这样会使得电子设备在对于一些特定颜色场景进行拍摄时,获取的图像出现曝光过度或曝光不足的问题。例如,如图3所示,在对黑色占比较大的场景(如区域31)进行拍摄时,电子设备经过处理后显示的图像明显发白。该图像显然没有真实还原区域31中的黑色。类似的,在电子设备对白色占比较大的场景(如雪景)进行拍摄时,获取的图像就会由于减小曝光时间,而无法真实还原拍摄场景中的白色。
为了解决上述问题,本申请实施例提供一种图像处理方法,能够基于预先设置在电子设备中的神经网络模型,判断当前拍摄场景是否为异常场景,并确定对应的校正参数。其中,异常场景可以包括所拍摄的图像中白色/黑色占比大于80%或更大场景。电子设备可以基于该校正参数对图像进行校正处理,从而获取更好的拍摄质量。
示例性的,以如图3中的对黑色的区域31进行拍摄为例。采用本申请实施例提供的技术方案,电子设备可以在通过光学镜头以及光电传感器获取当前区域31对应的电信号后,确定当前处于异常场景。对应的通过神经网络模型的计算,确定对当前拍摄获取的图像数据(称为原始图像数据)的校正参数。接着电子设备可以根据该校正参数对图像数据进行校正处理,从而获取与真实环境更加匹配的图像数据(称为校正图像数据)。例如,该校正参数可以包括校正曝光值(Exposure Value,EV)参数等。该校正处理可以包括根据校正EV参数,对原始图像数据进行处理,从而获取对应的校正图像数据。
作为一种效果的示意,根据现有技术中获取的原始图像数据进行显示,则可以获取如图3所示的发白的显示效果。而结合本申请实施例提供的技术方案获取的校正图像数据进行显示的情况下,则可以获取如图4所示的图像41的显示效果。可以看到,在该图像41中,黑色区域的颜色被更好的还原,更加真实地反映了拍摄的区域31中的颜色情况。
以下将结合附图对本申请实施例提供的技术方案进行详细说明。
本申请实施例提供的技术方案可以应用于电子设备中。该电子设备可以具有拍摄能力。示例性的,电子设备可以包括手机、可折叠电子设备、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本、蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)设备、虚拟现实(virtual reality,VR)设备、人工智能(artificial intelligence,AI)设备、可穿戴式设备、车载设备、智能家居设备、或智慧城市设备中的至少一种。本申请实施例对该电子设备的具体类型不作特殊限制。
以电子设备为手机为例,图5为本申请实施例提供的一种电子设备的组成示意图。
在该示例中,电子设备可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接头130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像模组193,显示器194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备的具体限定。在本申请另一些实施例中,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
其中,处理器110可以包括一个或多个处理单元,例如:处理器110可以包括中央处理器(central processing unit,CPU),应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processing unit,GPU),图像信号处理器(image signalprocessor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
处理器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器可以为高速缓冲存储器。该存储器可以保存处理器110用过或使用频率较高的指令或数据。如果处理器110需要使用该指令或数据,可从该存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了***的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。处理器110可以通过以上至少一种接口连接触摸传感器、音频模块、无线通信模块、显示器、摄像头等模块。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备的结构限定。在本申请另一些实施例中,电子设备也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
USB接头130是一种符合USB标准规范的接口,可以用于连接电子设备和***设备,具体可以是Mini USB接头,Micro USB接头,USB Type C接头等。USB接头130可以用于连接充电器,实现充电器为该电子设备充电,也可以用于连接其他电子设备,实现电子设备与其他电子设备之间传输数据。也可以用于连接耳机,通过耳机输出电子设备中存储的音频。该接头还可以用于连接其他电子设备,例如VR设备等。在一些实施例中,通用串行总线的标准规范可以为USB1.x、USB2.0、USB3.x和USB4。
电子设备的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
电子设备可以通过GPU,显示器194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示器194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示器194用于显示图像,视频等。显示器194包括显示面板。显示面板可以采用液晶显示器(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备可以包括1个或多个显示器194。
电子设备可以通过摄像模组193,ISP,视频编解码器,GPU,显示器194以及应用处理器AP、神经网络处理器NPU等实现摄像功能。
摄像模组193可用于采集拍摄对象的彩色图像数据以及深度数据。ISP可用于处理摄像模组193采集的彩色图像数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将该电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像模组193中。
在一些实现中,摄像模组193可以由彩色摄像模组和3D感测模组组成。
在一些实施例中,彩色摄像模组的摄像头的感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。
在一些实施例中,ISP中可以包括用于进行曝光控制的自动曝光(Auto Exposure,AE)模块。该AE模块可以具有调整图像数据的亮度的功能。AE模块可以通过对来自摄像模组193的信号进行亮度调整,使得调整后的画面达到人眼观看合适的亮度。本申请实施例中,AE模块可以根据神经网络模型提供的校正EV参数,对图像数据进行一次或多次的调整。从而使得最终获得的校正图像数据在送显后,不会出现曝光过度或曝光不足的问题。
在一些实施例中,3D感测模组可以是(time of flight,TOF)3D感测模块或结构光(structured light)3D感测模块。其中,结构光3D感测是一种主动式深度感测技术,结构光3D感测模组的基本零组件可包括红外线(Infrared)发射器、IR相机模等。结构光3D感测模组的工作原理是先对被拍摄物体发射特定图案的光斑(pattern),再接收该物体表面上的光斑图案编码(light coding),进而比对与原始投射光斑的异同,并利用三角原理计算出物体的三维坐标。该三维坐标中就包括电子设备距离被拍摄物体的距离。其中,TOF 3D感测可以是主动式深度感测技术,TOF 3D感测模组的基本组件可包括红外线(Infrared)发射器、IR相机模等。TOF 3D感测模组的工作原理是通过红外线折返的时间去计算TOF 3D感测模组跟被拍摄物体之间的距离(即深度),以得到3D景深图。
结构光3D感测模组还可应用于人脸识别、体感游戏机、工业用机器视觉检测等领域。TOF3D感测模组还可应用于游戏机、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)等领域。
在另一些实施例中,摄像模组193还可以由两个或更多个摄像头构成。这两个或更多个摄像头可包括彩色摄像头,彩色摄像头可用于采集被拍摄物体的彩色图像数据。这两个或更多个摄像头可采用立体视觉(stereo vision)技术来采集被拍摄物体的深度数据。立体视觉技术是基于人眼视差的原理,在自然光源下,透过两个或两个以上的摄像头从不同的角度对同一物体拍摄影像,再进行三角测量法等运算来得到电子设备与被拍摄物之间的距离信息,即深度信息。
在一些实施例中,电子设备可以包括1个或多个摄像模组193。具体的,电子设备可以包括1个前置摄像模组193以及1个后置摄像模组193。其中,前置摄像模组193通常可用于采集面对显示器194的拍摄者自己的彩色图像数据以及深度数据,后置摄像模组可用于采集拍摄者所面对的拍摄对象(如人物、风景等)的彩色图像数据以及深度数据。
在一些实施例中,处理器110中的CPU或GPU或NPU可以对摄像模组193所采集的彩色图像数据和深度数据进行处理。在一些实施例中,NPU可以通过骨骼点识别技术所基于的神经网络算法,例如卷积神经网络算法(CNN),来识别摄像模组193(具体是彩色摄像模组)所采集的彩色图像数据,以确定被拍摄人物的骨骼点。CPU或GPU也可来运行神经网络算法以实现根据彩色图像数据确定被拍摄人物的骨骼点。在一些实施例中,CPU或GPU或NPU还可用于根据摄像模组193(可以是3D感测模组)所采集的深度数据和已识别出的骨骼点来确认被拍摄人物的身材(如身体比例、骨骼点之间的身体部位的胖瘦情况),并可以进一步确定针对该被拍摄人物的身体美化参数,最终根据该身体美化参数对被拍摄人物的拍摄图像进行处理,以使得该拍摄图像中该被拍摄人物的体型被美化。后续实施例中会详细介绍如何基于摄像模组193所采集的彩色图像数据和深度数据对被拍摄人物的图像进行美体处理,这里先不赘述。
数字信号处理器用于处理数字信号,还可以处理其他数字信号。例如,当电子设备在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备可以支持一种或多种视频编解码器。这样,电子设备可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。或将音乐,视频等文件从电子设备传输至外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,该可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作***,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备的各种功能方法或数据处理。
电子设备可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
可以理解的是,上述图5为一种可能的电子设备的组成。在本申请的另一些实现中,电子设备中还可以具有其他组成。示例性的,参考图6,为本申请实施例提供的又一种电子设备的组成示意图。基于该如图6所示的组成,能够使得电子设备能够向用户提供拍摄功能。
示例性的,如图6所示,该电子设备可以包括摄像模组、ISP、显示器、AI处理模块,以及AE模块。其中,摄像模组可以对应到前述如图5所示的摄像模组193。ISP可以包括在如图5所示的处理器110中。
需要说明的是,在如图5的示例中,AE模块可以集成在ISP中,实现亮度调整的功能。在本示例中,AE模块也可以是独立于ISP的亮度调整模块。其功能相同,仅逻辑划分有所差异,不会对本申请实施例提供的技术方案的具体实现产生影响。
在本示例中,电子设备中还可以设置有AI处理模块。该AI处理模块中可以预先设置有神经网络模型。该神经网络模型可以以原始图像作为输入,通过已经训练好的参数进行神经网络处理,输出用于指示当前场景为正常场景或异常场景的场景标识(label),以及当前场景对应的校正置信度(confidence)。
示例性的,在确定当前场景为正常场景时,AI处理模块获取的场景标识可以被设置为A,用于指示当前场景为正常场景。在确定当前场景为异常场景时,AI处理模块获取的场景标识可以被设置为B,用于指示当前场景为异常场景。其中,异常场景可以为当前所拍摄图像中的白色/黑色区域在整个图像中的占比大于80%的场景。当然,对于异常场景的定义也可以不同于上述示例。比如,白色区域在整个图像中占比大于70%,黑色区域在整个图像中占比大于85%等。
AI处理模块还可以用于根据预先设置的神经网络模型,确定对应的校正参数。该校正参数可以用于指示在对该图像进行校正处理时的校正参数。例如,该校正参数可以包括校正置信度。该校正置信度可以为[-1,1]范围内的数。该校正置信度可以用于指示校正过程中调整EV值的程度。
在一些实施例中,在异常场景为黑色拍摄场景时,则校正置信度在[-1,0)之间。基于该校正置信度,电子设备可以将黑色场景的曝光量降低,从而避免黑色场景的曝光过度问题。在另一些实施例中,在异常场景为白色拍摄场景时,则校正置信度在(0,-1]之间。基于该校正置信度,电子设备可以提升白色场景的曝光量,从而避免白色场景的曝光不足的问题。
在另一些实施例中,在当前场景为正常场景时,则AI处理模块也可以输出对应的校正置信度,用于指示当前场景为正常场景的可信任程度。
需要说明的是,AI处理模块中的神经网络模型对所输入图像格式是有一定要求的。比如,输入图像格式需要为RGB格式。而ISP经过处理输出的送显数据的图像格式一般为YUV格式。那么,在一些实施例中,ISP可以在将图像数据传输给AI处理模块前,将图像格式转换为YUV格式。在另一些实施例中,在ISP和AI处理模块之间可以设置格式转换模块,用于将来自ISP的YUV格式的图像数据转换为RGB格式的图像数据,并输出给AI处理模块。在另一些实施例中,该YUV格式向RGB格式的数据转换过程也可以是在AI处理模块中执行的。以下示例中,以ISP将YUV格式的图像数据转换为RGB格式的图像数据输出给AI处理模块为例。
AI处理模块可以将场景标识以及校正置信度发送给AE模块,以便于AE模块执行对应的操作。示例性的,AE模块可以根据场景标识,确定当前拍摄是否处于异常场景。例如,AE模块可以在场景标识为B时,确定当前场景为异常场景,需要对图像进行校正处理。
以校正置信度为[-1,0)范围内的c为例。AE模块可以对当前图像的EV值调整c个单位,从而使得调整后的图像的曝光量更小,避免了黑色场景下的曝光过度导致图像发白的问题。
以校正置信度为(0,1]范围内的d为例。AE模块可以对当前图像的EV值调整d个单位,从而使得调整后的图像的曝光量更大,避免了白色场景下的曝光不足导致图像暗淡的问题。
在一些实现中,AE模块可以从ISP获取来自摄像模组的RAW图,并对该RAW图进行上述校正处理。校正后的RAW图可以被传回给摄像模组,并经由摄像模组再次传输给ISP进行去噪等图像处理。
ISP可以将经过图像处理的校正后的图像数据传输给显示器进行送显。显示器可以根据该数据进行显示。由于该来自于ISP的图像已经经过校正处理,因此据此显示的预览图像或者拍摄图像能够更加真实地反映当前场景中的拍摄对象。
以下示例中,以电子设备具有如图6所示的组成为例,对本申请实施例提供的图像处理方法进行详细说明。
示例性的,请参考图7,为本申请实施例提供的一种模块交互的示意图。如图7所示,该方案可以包括:
S701、摄像模组向ISP发送原始图像71。
示例性的,该原始图像71可以包括摄像模组采集当前场景中的光信号转换得到的电信号。在一些实施例中,原始图像71可以对应到摄像模组传输给ISP的RAW图。
S702、ISP向显示器发送原始图像72。
其中,原始图像72可以包括ISP根据原始图像71进行图像处理后获取的图像数据。该图像处理可以包括去噪、滤波、颜色插值等操作。
在一些实现中,该原始图像72对应于显示器的送显数据。因此,ISP可以在输出原始图像72之前,可以将该原始图像72的图像格式转换为YUV格式。以便于显示器根据该YUV格式的原始图像72进行显示。
S703、ISP向AI处理模块发送原始图像73。
在本示例中,原始图像73可以与原始图像72对应。原始图像72包括送显数据,其图像格式可以为YUV格式。原始图像72所指示的图像内容可以与原始图像72相同。该原始图像73的图像格式可以为RGB格式。
S704、AI处理模块根据原始图像73,获取校正参数,并将校正参数传输给AE模块。
示例性的,AI处理模块可以将来自ISP的原始图像73作为输入,输入到预先设置的神经网络模型中。神经网络模型的运算,可以输出场景标识,以及该原始图像73对应的校正置信度。
其中,场景标识为A时,则指示当前场景为正常场景,不需要对图像进行校正处理。对应的,场景标识为B时,则指示当前场景为异常场景,需要对图像进行校正。
以当前场景为异常场景为例。AI处理模块获取的校正置信度可以为[-1,1]之间的数。在校正置信度小于0时,则对应当前场景中黑色区域占比较大,需要减小对图像的曝光,以避免黑色区域发白的问题。在校正置信度大于0时,则对应当前场景中白色区域占比较大,需要增加对图像的曝光,以避免白色区域暗淡的问题。
在获取该包括场景标识以及校正置信度的校正参数后,AI处理模块可以将该校正参数发送给AE处理模块,以便于AE处理模块对当前场景拍摄的图像进行对应的校正处理。
S705、AE模块根据校正参数,对原始图像71进行校正处理,获取校正图像74。AE模块将校正图像74传输给摄像模组。
示例性的,AE模块可以在执行校正处理之前,获取原始图像71。也即,AE模块可以在执行校正处理之前,获取摄像模组拍摄的RAW图。以便于AE模块可以对该RAW进行校正处理。
在一些实施例中,ISP可以在向AI处理模块发送原始图像73时,向AE处理模块发送该原始图像71。
在另一些实施例中,AE模块可以在接收到校正参数后,在校正参数中的场景标识指示当前场景为异常场景时,从ISP获取原始图像71。
在另一些实施例中,AE模块还可以基于上述任一种可能的实现,从摄像模组获取该原始图像71。
以校正参数中的场景标识指示当前场景为异常场景为例。AE模块可以根据校正参数中的校正置信度,对该原始图像71进行校正处理。
示例性的,以校正置信度为-0.9为例。也就是说,当前异常场景中的黑色区域占比较大,需要对该原始图像71执行减小曝光的处理。
在一些实施例中,AE模块可以一次性将原始图像71的EV值,调小0.9,由此获取校正处理后的校正图像74。
在另一些实施例中,AE模块可以分多次将原始图像71的EV值调小0.9,由此最终获取校正处理后的校正图像74。
AE模块在获取校正图像74之后,可以将该校正图像74发送给摄像模组以便于通过原生逻辑实现校正图像的处理和送显。
示例性的,AE模块可以直接将校正图像74发送给摄像模组的光电传感器。
S706、摄像模组将校正图像74传输给ISP。
可以理解的是,校正图像74是基于RAW图进行校正后获取的图像数据。因此,该校正图像74的图像数据也需要进行ISP的图像处理之后才能送显。
在本示例中,摄像模组的光电传感器可以将校正图像74传输给ISP,以便校正图像在ISP中进行对应的处理。
S707、ISP对校正图像74进行处理,获取校正图像75。ISP将校正图像75传输给显示器进行显示。
示例性的,ISP可以将校正图像74对应的RAW图进行图像处理,由此获取处理后的YUV格式的校正图像75传输给显示器。接着显示器就可以使用校正图像75替换正在显示的原始图像72,向用户进行展示。
这样,以当前场景为异常场景为例。校正图像75相比于原始图像72,基于AI处理模块确定的校正参数进行了校正处理,能够更好地还原真实场景中的颜色分布。由此提升了对于异常场景的拍摄质量。
可以理解的是,在如图7所示的方案实现中,电子设备可以通过一次校正操作,完成校正图像的处理以及送显。这样,显示器在显示时,可以直接由原始图像72切换为校正图像75进行显示。
在本申请的另一些实施例中,在校正参数指示的EV值较大(如为预设步长的整数倍)时,电子设备可以分多次对图像进行校正处理。例如,预设步长可以设置为0.1。每次校正处理后的图像均被传输给显示器进行显示。这样,在需要对图像进行较为显著的校正处理时,就不会由于校正前后图像EV值差异过大,导致显示屏显示闪动等问题的出现。
作为一种示例,请参考图8,为本申请实施例提供的又一种图像处理方案的模块间交互示意图。在本示例中,图像81-图像85可以分别对应到如图7所示的图像71-图像75。如图8所示,该方案可以包括:
S801、摄像模组向ISP发送原始图像81。
示例性的,该示例中的原始图像81可以对应到如图7所示的原始图像71。该S801的执行可以参考如图7所示的S701,具体不再赘述。
S802、ISP向显示器发送原始图像82。
示例性的,该示例中的原始图像82可以对应到如图7所示的原始图像72。该S802的执行可以参考如图7所示的S702,具体不再赘述。
S803、ISP向AI处理模块发送原始图像83。
示例性的,该示例中的原始图像83可以对应到如图7所示的原始图像73。该S803的执行可以参考如图7所示的S703,具体不再赘述。
S804、AI处理模块根据原始图像83,获取校正参数,并将校正参数传输给AE模块。
示例性的,该S804的执行可以参考如图7所示的S704。例如,校正参数可以包括场景标识以及校正置信度。
以下示例中,以校正置信度为小于-0.1的数为例。比如,校正置信度可以为-0.2。
S805、AE模块根据校正参数,对原始图像81进行校正处理,获取校正图像84。AE模块将校正图像84传输给摄像模组。
示例性的,该S805的执行可以参考如图7所示的S705。比如,AE模块可以在场景标识为B,即指示当前场景为异常场景的情况下,根据校正置信度对原始图像81进行校正处理。
需要说明的是,在本示例的一些实现中,在AE模块中可以设置有预设步长,该预设步长用于限制AE模块执行一次校正处理的最大范围。
以预设步长为0.1为例。那么AE模块对原始图像81执行一次校正处理的过程中,最大可以对图像的EV值进行0.1的调整。例如,校正置信度为-0.2时,则AE模块对原始图像81执行的一次校正处理可以包括:将该图像当前的EV值(如EV=0)调整为EV=-0.1。由此输出校正图像84。
这样,通过基于预设步长的校正处理,使得获取的校正图像84与原始图像81之间不会存在较为显著的差异。那么,在执行基于校正图像84的显示时,其效果与基于原始图像81的显示效果就不会过于明显,由此实现显示的平滑过渡,达到用户不感知的校正效果。
在一些实施例中,由于当前的校正过程并未结束,因此,AE模块可以在发送校正图像84的同时,向摄像模组打包传输校正信息。该校正信息中可以包括第一标识,该第一标识用于指示当前校正处理未完成。
S806、摄像模组将校正图像84传输给ISP。
S807、ISP对校正图像84进行处理,获取校正图像85。ISP将校正图像85传输给显示器进行显示。
结合S805中的说明,通过该S806-S807的操作,显示器可以获取与校正图像84对应的校正图像85进行显示。具体呈现给用户的效果可以为:显示器显示原始图像82后,切换为校正图像85进行显示。其中,原始图像81与原始图像81对应,校正图像85与校正图像84对应。由于校正图像84相对于原始图像81的校正处理仅为一个预设步长(如0.1),因此该原始图像81到校正图像85的切换显示更加平滑。用户不会因为图像校正的切换显示感到闪屏等问题。
可以理解的是,在本示例中,通过上述S805-S807的操作,校正过程并未结束。因此,电子设备可以通过如下步骤,重复执行AE模块的校正处理,最终得到根据校正参数准确还原真实场景的效果。
在一些实施例中,校正图像84在摄像模组与ISP之间的传输过程中,也可以携带有校正信息,以便于后续校正处理的继续进行。
S808、ISP将校正图像84发送给AE模块。
本示例中,ISP在获取校正图像84后,可以根据该校正图像84所携带的第一标识,确定当前校正处理未完成。
那么,ISP就可以将该校正图像84再次传输给AE模块,以便于AE模块继续进行校正处理。在一些实施例中,ISP可以在向AE模块发送该校正图像84的同时,发送校正信息。以便于AE模块可以根据该校正信息中携带的第一标识,确定当前校正处理未完成。
S809、AE模块根据校正信息,对校正图像84进行校正处理,获取校正图像86。AE模块将校正图像86传输给摄像模组。
示例性的,AE模块可以根据接收到校正信息中携带的第一标识,确定当前的校正处理未完成。那么,AE模块就可以就以预设步长,对校正图像84继续进行校正操作。例如,校正图像84的EV值可以为-0.1。校正参数通过校正置信度指示的EV值为-0.2,预设步长为0.1。那么,AE模块就可以再次对校正图像84进行0.1的EV值调整,比如将校正图像84的EV值由-0.1调整为-0.2。由此获取校正处理后的校正图像86。
在该示例中,校正处理后的EV值与校正参数指示的EV值相同,也即完成了校正处理。那么,在一些实现中,AE模块可以在向摄像模组传递校正图像86的同时,携带包括第二标识的校正信息,用于指示当前校正处理已经完成。在另一些实现中,AE模块可以仅向摄像模组传递校正图像86,不携带校正信息或者校正信息为空,由此指示当前校正处理已经完成。
S810、摄像模组将校正图像86传输给ISP。
S811、ISP对校正图像86进行处理,获取校正图像87。ISP将校正图像87传输给显示器进行显示。
这样,显示屏就可以将当前显示的校正图像86切换为校正图像87进行显示。由于校正图像85与校正图像87之间的EV值差别仅为预设步长(如0.1),因此该切换过程可以为平滑切换的,不会出现闪屏等问题。
可以理解的是,通过如图8所示的方案示例,AE模块可以分多次对图像记性校正处理。由此使得显示屏上显示的图像可以多次切换显示,最终显示为完成校正处理后的图像。这样能够避免校正处理前后图像差异较大的情况下,显示闪屏的问题。
需要说明的是,在前述如图8所示的示例中,是以校正置信度指示的EV值为-0.2,预设步长为0.1为例进行说明的。因此,AE模块需要进行两次校正处理即可获取最终结果。在另一些实现中,在校正置信度指示的EV值为其他值,如0.3-0.9时,AE模块可以执行更多次或更少次数的基于预设步长的校正处理。例如,以校正置信度指示的EV值为-1,预设步长为0.1为例。AE模块可以分别执行10次校正处理,使得原始图像的EV=0被校正为校正图像的EV=-1的效果。如图9所示,示出了EV值调整前(如EV=0)、校正过程中(如EV=-0.2、-0.6),以及校正完成(EV=-1)的显示图像的对比示意。可以看到,在EV=0的情况下,黑色场景中有明显的发白的问题。随着校正的执行,发白现象逐渐减弱,直至EV调整为-1时,在显示图像上基本没有了发白现象,更好的还原了真实场景。
在上述图7-图8的方案(也可称为AIAE方案)说明中,AI处理模块可以通过输出包括校正置信度的校正参数,指示其他模块(如AE模块)执行对应的校正处理。
在本申请的另一些实施例中,校正置信度在用于指示需要校正的EV值的同时,还可以用于电子设备确定是否需要对当前图像执行校正处理。
示例性的,在AE模块中可以设置有预设的置信度阈值。例如,该置信度阈值可以设置为0.6。在AE模块接收到来自AI处理模块的校正参数后,可以根据校正参数中的校正置信度,以及置信度阈值,确定是否需要对当前图像进行校正处理。
例如,AE模块可以在根据场景标识,确定当前场景为异常场景,并且当前的校正置信度(或者校正置信度的绝对值)大于置信度阈值的情况下,AE模块则按照如图7或图8所示的方案示例,执行对当前图像的校正处理。
反之,AE模块可以在根据场景标识,确定当前场景为正常场景,或者当前的校正置信度(或者校正置信度的绝对值)小于置信度阈值的情况下,AE模块则认为不需要对当前图像进行校正处理。那么,AE模块可以将当前图像返回给摄像模组,同时携带有第二标识,用于指示当前图像不需要再进行图像校正。
可以理解的是,在本示例中,如果校正置信度(或者校正置信度的绝对值)小于置信度阈值,则表明即使该图像存在过度曝光或者曝光不足的问题,其效果也并非不能接受。那么,该情况下就可以不对图像进行校正处理,由此在保证输出较为准确的图像的同时,节省对应的算力开销。
此外,在上述如图8的示例中,是以通过携带校正信息(如第一信息或第二信息),指示电子设备是否继续进行后续的校正处理为例进行说明的。在本申请的另一些实施例中,在校正处理未完成的过程中,AE模块也可以只想摄像模组输出校正图像(如图8的示例中的校正图像84以及校正图像86)。那么,ISP在接收到来自摄像模组的图像信息后,都会将该图像信息经过图像处理,转换为YUV格式的图像传输给显示器进行送显。同时,ISP还可以将该图像信息对应的RAW图传输给AE模块进行后续的校正处理。此外,ISP还可以将转换为RGB格式的图像再次传输给AI处理模块。
对应的,AI处理模块可以将该RGB格式的图像传输到神经网络模型中进行计算。
可以理解的是,在进行第一次校正处理之后,经过上述图像传输,输入到神经网络模型的图像数据已经不是原始图像数据了,而是经过校正处理之后的图像数据。
那么,为了避免校正处理之后的图像数据输入到神经网络模型,导致输出的校正参数不准确的情况出现。在本申请实施例中,经过校正处理之后的RGB格式的图像数据输入到神经网络模型之前,可以对该图像数据进行RGB伽马变换(RGB Gama transform),从而将校正处理后的图像数据转换回原始图像数据。这样,输入到神经网络模型的图像数据可以为原始图像数据。由此就可以避免校正后的图像数据被输入到神经网络模型中。
作为一种示例,如下公式(1)-公式(3)示出了一种RGB Gama transform的计算过程。
其中,ΔEV=EV0-EV,EV0为初始EV值,如设置为0。EV为当前校正后的图像的EV值。n为比特位,通常设置为8。
通过上述说明,本领域技术人员应当能够对本申请实施例提供的图像处理方法的具体实施过程有了详细的认识。
在上述说明中,在AI处理模块中可以预先设置有神经网络模型。该神经网络模型可以以RGB格式的原始图像数据为输入,经过计算判断,输入场景标识以及校正置信度。
示例性的,该神经网络模型可以具有多层结构。通过预设样本的训练过程,可以对神经网络模型的各个参数进行训练,从而使得最终获取的参数可以支持神经网络模型的正确预测计算。
例如,预设样本可以包括不同场景下的正常样本以及异常样本。
参考图10,为三种场景下的样本对照示意。该三种场景可以包括场景1(如包括黑色办公椅的场景),场景2(如包括黑色电脑显示屏的场景),以及场景3(如包括黑色键盘的场景)。在采集预设样本时,可以分别在各个场景下采集至少一个正常样本,以及局部拍摄获取的异常样本。
这样,可以采集多个不同场景中的多组样本。该不同场景可以包括白天室内,室外,夜景,街景等。由此采集的正常样本(即正样本)以及异常样本(即负样本)的数量可以相同。在每一类场景中可以采集5000张左右图片,由此获取总共约2万张左右的高质量图片,完成预设样本的采集。
将预设样本输入到神经网络模型进行参数训练。在训练完成后,即可获取本申请实施例中,设置在AI处理模块中的神经网络模型,用于根据原始图像数据计算获取当前的场景标识以及校正置信度。
在一些实施例中,在实际使用过程中的场景图像也可以加入到训练模型中。由此使得神经网络模型可以在使用过程中不断更新,使得计算结果更加准确。
上述主要从电子设备的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对其中涉及的设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
请参考图11,为本申请实施例提供的又一种电子设备的组成示意图。如图11所示,该电子设备1100可以包括:处理器1101和存储器1102。该存储器1102用于存储计算机执行指令。示例性的,在一些实施例中,当该处理器1101执行该存储器1102存储的指令时,可以使得该电子设备1100执行上述实施例中涉及的电子设备的任一种所示的方法。
需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
图12示出了的一种芯片***1200的组成示意图。该芯片***1200可以包括:处理器1201和通信接口1202,用于支持相关设备实现上述实施例中所涉及的功能。在一种可能的设计中,芯片***还包括存储器,用于保存终端必要的程序指令和数据。该芯片***,可以由芯片构成,也可以包含芯片和其他分立器件。需要说明的是,在本申请的一些实现方式中,该通信接口1202也可称为接口电路。
需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
在上述实施例中的功能或动作或操作或步骤等,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时,可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包括一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带),光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
尽管结合具体特征及其实施例对本申请进行了描述,显而易见的,在不脱离本申请的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明,且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包括这些改动和变型在内。
Claims (14)
1.一种图像处理方法,其特征在于,应用于电子设备中,所述电子设备设置有摄像模组以及显示屏,所述方法包括:
所述摄像模组拍摄获取第一原始图像,所述第一原始图像是对异常场景拍摄获取的,所述异常场景包括以下中的任一种:当前拍摄场景中的黑色区域占比大于第一值,当前拍摄场景中的白色区域占比大于第二值;
所述电子设备确定所述第一原始图像对应的第一校正参数;
所述电子设备根据所述第一校正参数,对所述第一原始图像进行校正处理,获取第一校正图像;
所述电子设备在所述显示屏上,根据所述第一校正图像进行预览图像或者拍摄图像的显示。
2.根据权利要求1所述的方法,其特征在于,所述第一校正参数包括:第一校正置信度;所述第一校正置信度包括在[-1,1]的范围内。
3.根据权利要求2所述的方法,其特征在于,在所述异常场景对应于黑色区域占比大于第一值时,所述第一校正置信度包括在[-1,0)的范围内;
在所述异常场景对应于白色区域占比大于第二值时,所述第一校正置信度包括在(0,1]的范围内。
4.根据权利要求2或3所述的方法,其特征在于,所述电子设备根据所述第一校正参数,对所述第一原始图像进行校正处理,获取第一校正图像,包括:
所述电子设备根据所述第一校正置信度,对所述第一原始图像的曝光值EV进行调整,获取所述第一校正图像。
5.根据权利要求4所述的方法,其特征在于,在所述异常场景对应于黑色区域占比大于第一值时,所述对所述第一原始图像的曝光值EV进行调整,包括:
根据所述第一校正置信度,降低所述第一原始图像的曝光值。
6.根据权利要求4或5所述的方法,其特征在于,在所述异常场景对应于白色区域占比大于第二值时,所述对所述第一原始图像的曝光值EV进行调整,包括:
根据所述第一校正置信度,提升所述第一原始图像的曝光值。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述方法还包括:
所述电子设备确定所述第一原始图像对应的第一场景标识;所述第一场景标识用于指示所述第一原始图像对应场景为正常场景,或者,所述第一场景标识用于指示所述第一原始图像对应场景为异常场景。
8.根据权利要求7所述方法,其特征在于,在所述电子设备根据所述第一校正参数,对所述第一原始图像进行校正处理,获取第一校正图像之前,所述方法还包括:
所述电子设备确定所述第一场景标识指示所述第一原始图像对应场景为异常场景。
9.根据权利要求1-8中任一项所述的方法,其特征在于,所述电子设备中预设有神经网络模型,所述神经网络模型被配置为在输入原始图像数据的情况下,计算输出所述第一校正参数。
10.根据权利要求1-9中任一项所述的方法,其特征在于,所述电子设备中设置有预设步长,所述第一校正参数对应于所述预设步长的N倍,N为正整数,
所述电子设备根据所述第一校正参数,对所述第一原始图像进行校正处理,获取第一校正图像,包括:
所述电子设备根据所述第一校正参数,对所述第一原始图像按照所述预设步长进行N次校正处理,获取所述第一校正图像。
11.根据权利要求10所述的方法,其特征在于,在完成第一校正处理后,所述电子设备在所述显示屏上显示所述第一校正处理获取的校正图像;所述第一校正处理包括在所述N次校正处理中。
12.根据权利要求11所述的方法,其特征在于,在完成第二校正处理后,所述显示屏由第一显示图像切换为第二显示图像进行显示;
所述第一显示图像是所述第一校正处理获取的校正图像,所述第二显示图像是所述第二处理获取的校正图像;所述第二校正处理是所述N次校正处理中,所述第一校正处理之后的校正处理。
13.根据权利要求2所述的方法,其特征在于,在所述第一校正置信度的绝对值大于预设置信度时,所述电子设备根据所述第一校正参数,对所述第一原始图像进行校正处理,获取第一校正图像。
14.一种电子设备,其特征在于,所述电子设备包括一个或多个处理器和一个或多个存储器;所述一个或多个存储器与所述一个或多个处理器耦合,所述一个或多个存储器存储有计算机指令;当所述一个或多个处理器执行所述计算机指令时,使得所述电子设备执行如权利要求1-13中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211226559.7A CN116709003A (zh) | 2022-10-09 | 2022-10-09 | 一种图像处理方法和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211226559.7A CN116709003A (zh) | 2022-10-09 | 2022-10-09 | 一种图像处理方法和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116709003A true CN116709003A (zh) | 2023-09-05 |
Family
ID=87828124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211226559.7A Pending CN116709003A (zh) | 2022-10-09 | 2022-10-09 | 一种图像处理方法和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116709003A (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007036438A (ja) * | 2005-07-25 | 2007-02-08 | Fujifilm Holdings Corp | 撮像装置における色判別方法及び装置並びに撮像装置の露出制御方法 |
US20080094486A1 (en) * | 2006-10-20 | 2008-04-24 | Chiou-Shann Fuh | Method and system of generating high dynamic range image corresponding to specific scene |
CN101909150A (zh) * | 2009-06-03 | 2010-12-08 | 索尼公司 | 成像设备和成像控制方法 |
CN101978680A (zh) * | 2008-03-18 | 2011-02-16 | 富士通株式会社 | 图像修正程序、图像修正装置以及图像修正方法 |
CN103826066A (zh) * | 2014-02-26 | 2014-05-28 | 芯原微电子(上海)有限公司 | 一种自动曝光调整方法及*** |
CN106412547A (zh) * | 2016-08-29 | 2017-02-15 | 厦门美图之家科技有限公司 | 一种基于卷积神经网络的图像白平衡方法、装置和计算设备 |
CN107481202A (zh) * | 2017-08-14 | 2017-12-15 | 深圳市华星光电半导体显示技术有限公司 | 一种图像动态范围增强的方法 |
CN109191401A (zh) * | 2018-08-30 | 2019-01-11 | 西安电子科技大学 | 一种基于并联残差网络模型的红外图像非均匀性校正方法 |
CN110493538A (zh) * | 2019-08-16 | 2019-11-22 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
WO2021204202A1 (zh) * | 2020-04-10 | 2021-10-14 | 华为技术有限公司 | 图像自动白平衡的方法及装置 |
CN113810600A (zh) * | 2021-08-12 | 2021-12-17 | 荣耀终端有限公司 | 终端的图像处理方法、装置和终端设备 |
CN113819085A (zh) * | 2021-11-05 | 2021-12-21 | 深圳市格先者科技有限公司 | 一种基于智能红外感知技术用于追踪调节的风扇控制*** |
CN114125424A (zh) * | 2020-08-26 | 2022-03-01 | 华为技术有限公司 | 一种图像处理的方法及其相关设备 |
CN114374796A (zh) * | 2021-12-31 | 2022-04-19 | 北京瞰瞰智能科技有限公司 | 图像处理方法、装置、图像传感器以及车辆 |
-
2022
- 2022-10-09 CN CN202211226559.7A patent/CN116709003A/zh active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007036438A (ja) * | 2005-07-25 | 2007-02-08 | Fujifilm Holdings Corp | 撮像装置における色判別方法及び装置並びに撮像装置の露出制御方法 |
US20080094486A1 (en) * | 2006-10-20 | 2008-04-24 | Chiou-Shann Fuh | Method and system of generating high dynamic range image corresponding to specific scene |
CN101978680A (zh) * | 2008-03-18 | 2011-02-16 | 富士通株式会社 | 图像修正程序、图像修正装置以及图像修正方法 |
CN101909150A (zh) * | 2009-06-03 | 2010-12-08 | 索尼公司 | 成像设备和成像控制方法 |
CN103826066A (zh) * | 2014-02-26 | 2014-05-28 | 芯原微电子(上海)有限公司 | 一种自动曝光调整方法及*** |
CN106412547A (zh) * | 2016-08-29 | 2017-02-15 | 厦门美图之家科技有限公司 | 一种基于卷积神经网络的图像白平衡方法、装置和计算设备 |
CN107481202A (zh) * | 2017-08-14 | 2017-12-15 | 深圳市华星光电半导体显示技术有限公司 | 一种图像动态范围增强的方法 |
CN109191401A (zh) * | 2018-08-30 | 2019-01-11 | 西安电子科技大学 | 一种基于并联残差网络模型的红外图像非均匀性校正方法 |
CN110493538A (zh) * | 2019-08-16 | 2019-11-22 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
WO2021204202A1 (zh) * | 2020-04-10 | 2021-10-14 | 华为技术有限公司 | 图像自动白平衡的方法及装置 |
CN114125424A (zh) * | 2020-08-26 | 2022-03-01 | 华为技术有限公司 | 一种图像处理的方法及其相关设备 |
CN113810600A (zh) * | 2021-08-12 | 2021-12-17 | 荣耀终端有限公司 | 终端的图像处理方法、装置和终端设备 |
CN113819085A (zh) * | 2021-11-05 | 2021-12-21 | 深圳市格先者科技有限公司 | 一种基于智能红外感知技术用于追踪调节的风扇控制*** |
CN114374796A (zh) * | 2021-12-31 | 2022-04-19 | 北京瞰瞰智能科技有限公司 | 图像处理方法、装置、图像传感器以及车辆 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2020250124B2 (en) | Image processing method and head mounted display device | |
EP3435655B1 (en) | Electronic device for acquiring image using plurality of cameras and method for processing image using the same | |
EP4135310A1 (en) | Photographing method and device | |
EP3609175B1 (en) | Apparatus and method for generating moving image data including multiple section images in electronic device | |
US10885609B2 (en) | Electronic device for processing image based on priority and method for operating thereof | |
CN112614057A (zh) | 一种图像虚化处理方法及电子设备 | |
CN117201930B (zh) | 一种拍照方法和电子设备 | |
CN116095513B (zh) | 拍照方法和相关装置 | |
WO2023011302A1 (zh) | 拍摄方法及相关装置 | |
CN116709003A (zh) | 一种图像处理方法和电子设备 | |
CN114390191B (zh) | 录像方法、电子设备及存储介质 | |
CN111277752B (zh) | 提示方法、装置、存储介质及电子设备 | |
CN111277751B (zh) | 拍照方法、装置、存储介质及电子设备 | |
CN114339101B (zh) | 一种录像方法及设备 | |
CN114841863A (zh) | 一种图像颜色校正方法和设备 | |
CN111339330A (zh) | 照片处理方法、装置、存储介质及电子设备 | |
WO2023040754A1 (zh) | 一种图像补光方法及电子设备 | |
CN115484384B (zh) | 控制曝光的方法、装置与电子设备 | |
CN112950516B (zh) | 图像局部对比度增强的方法及装置、存储介质及电子设备 | |
RU2782312C1 (ru) | Способ обработки изображения и устройство отображения, устанавливаемое на голове | |
US20240007740A1 (en) | Photographing control method and device | |
WO2024125379A1 (zh) | 一种图像处理方法、头戴式显示设备及介质 | |
WO2022179412A1 (zh) | 识别方法及电子设备 | |
US20220159168A1 (en) | Electronic device for adjusting exposure value of image including face | |
KR20200092631A (ko) | 슬로 모션 영상 생성 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |