CN114640783B - 一种拍照方法及相关设备 - Google Patents
一种拍照方法及相关设备 Download PDFInfo
- Publication number
- CN114640783B CN114640783B CN202011482589.5A CN202011482589A CN114640783B CN 114640783 B CN114640783 B CN 114640783B CN 202011482589 A CN202011482589 A CN 202011482589A CN 114640783 B CN114640783 B CN 114640783B
- Authority
- CN
- China
- Prior art keywords
- image
- isp
- mobile phone
- guide
- preview
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 118
- 230000008569 process Effects 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 39
- 230000015654 memory Effects 0.000 claims description 34
- 230000004044 response Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 description 37
- 238000004422 calculation algorithm Methods 0.000 description 34
- 239000010410 layer Substances 0.000 description 29
- 238000010586 diagram Methods 0.000 description 27
- 238000012937 correction Methods 0.000 description 21
- 238000013461 design Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 239000003086 colorant Substances 0.000 description 8
- 230000001537 neural effect Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 description 7
- 230000001960 triggered effect Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 101150064138 MAP1 gene Proteins 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000009022 nonlinear effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例提供一种拍照方法及相关设备,本申请实施例涉及图像处理技术领域。使得电子设备可以模仿其他设备的拍摄图像的拍摄风格,生成其他拍摄风格的图像。具体方案为:该拍照方法应用于电子设备,电子设备包括图像信号处理器ISP参数,当图像信号处理器采用预设ISP参数处理第一raw域图像,可以生成第一图像。电子设备获取第一导向图,确定第一导向图对应的第一ISP参数,预设ISP参数与第一ISP参数不同;将预设ISP参数设置为第一ISP参数。当图像信号处理器采用第一ISP参数处理第一raw域图像,生成第二图像。
Description
技术领域
本申请实施例涉及图像处理技术领域,尤其涉及一种拍照方法及相关设备。
背景技术
现有的电子设备都具备拍照功能,电子设备在拍照的过程中,目标对象反射的光线经镜头投射在图像传感器,使得图像传感器生成原始raw域图像(或称为raw图)。图像传感器将raw域图像传输至图像信号处理器(Image Signal Processing,ISP),ISP可以将raw域图像转换为便携式网络图形(Portable Network Graphics,JPG)等格式的图像。其中,ISP中可以包括多个算法模块,每个算法模块可以实现不同的功能,以使得ISP可以将raw域图像转换为图像。例如,ISP中包括Rawnf模块、颜色校正(Color Correction,CC)模块等,Rawnf模块具有去噪的功能,CC模块具有校正颜色误差的功能。
ISP中的各个模块的参数不同,则该模块对图像的处理效果也不同,使得ISP生成的图像略有不同。例如,两个电子设备(以电子设备1和电子设备2为例)拍摄的目标对象相同的情况下,两个电子设备ISP使用的CC模块的参数不同,电子设备1生成的图像1,电子设备生成图像2,图像1和图像2显示的颜色(如蓝色)会略有不同。这种情况下,我们称这两张图像的拍摄风格不同。其中,不同的电子设备的生产商的ISP模块中的参数是不同的,则不同厂商的电子设备得到的拍摄图像的拍摄风格是不同的,甚至相同厂商设计的不同型号的电子设备得到的拍摄图像的拍摄风格也是不同的。
可以理解的,对于任一电子设备而言,电子设备处于拍照模式,生成的拍摄图像的拍摄风格是固定的。也就是说,电子设备在生成拍摄图像的过程中,由电子设备中的ISP处理图像,生成对应拍摄风格的拍摄图像。在这种情况下,电子设备难以生成其他拍摄风格的拍摄图像。
发明内容
本申请提供一种拍照方法及相关设备,使得电子设备模仿其他设备的拍摄图像的拍摄风格,生成其他拍摄风格的图像。
为实现上述技术目的,本申请采用如下技术方案:
第一方面,本申请提供一种拍照方法,该方法可以应用于电子设备。电子设备包括预设ISP参数,图像信号处理器采用预设ISP参数处理第一raw域图像,可以生成第一图像。该拍照方法可以包括:电子设备获取第一导向图,确定第一导向图对应的第一ISP参数,预设ISP参数与第一ISP参数不同。将电子设备中的ISP参数设置为第一ISP参数,则图像处理器可以采用第一ISP参数处理第一raw域图像,生成第二图像。
可以理解的,电子设备在生成第一图像的过程中,图像信号处理器可以调用预设ISP参数处理第一raw域图像,以生成第一图像。当电子设备中预设ISP参数被设置为第一ISP参数,则图像信号处理器可以调用第一ISP参数处理第一raw域图像,以生成第二图像。也就是说,图像信号处理器调用的ISP参数不同,则生成的图像不同。
一般而言,电子设备中的ISP参数是预设的,则不同的电子设备生成的图像不同。如,第一设备预设第一ISP参数,则第一设备可以生成第一导向图;电子设备预设ISP参数,则电子设备可以生成第一图像。从用户视觉而言,可以直观的发现第一图像和第一导向图的拍摄风格不同。因此,当电子设备确定出第一导向图对应的第一ISP参数,并采用第一ISP参数处理raw域图像,以生成第二图像。电子设备实现模拟第一设备的拍摄风格的目的,生成的其他拍摄风格的图像,如第一导向图的拍摄风格的图像。
第一方面的一种可能的设计方式中,上述电子设备在获取第一导向图,确定第一导向图对应的第一ISP参数之前。该方法还包括,电子设备还可以启动相机应用,显示预览界面,预览界面包括第一控件和第一预览图像。其中,图像信号处理器是采用预设ISP参数处理图像信号,以生成第一预览图像。响应于用户对第一控件的点击操作,电子设备显示至少一张第三图像,至少一张第三图像中包括第一导向图。
也就是说,电子设备启动相机应用后,相机应用的预览界面包括第一控件,第一控件用于调用第三图像。第三图像是采用其他ISP参数(即非预设ISP参数)生成的图像,第三图像包括第一导向图。
第一方面另一种可能的设计方式中,上述电子设备在获取第一导向图,确定第一导向图对应的第一ISP参数之前。该方法还包括,电子设备可以启动相机应用,并显示预览界面,预览界面包括第一预览图像。其中,电子设备中的图像信号处理器采用预设ISP参数处理图像信号,生成第一预览图像。电子设备可以识别第一预览图像中的个体对象,根据第一图像中的个体对象,显示至少一张第四图像,至少一张第四图像包括第一导向图。其中,每一张第四图像中至少包括一个上述个体对象。
可以理解的,电子设备启动相机应用,电子设备可以自动识别当前预览界面中的第一预览图像。电子设备根据第一预览图像中的个体对象,显示包括个体对象的第四图像。由于第四图像是与第一图像不同的图像,则用户可以通过电子设备查看其它设备生成的个体对象的图像。
第一方面另一种可能的设计方式中,上述电子设备在获取第一导向图,确定第一导向图对应的第一ISP参数之前。该方法还包括,电子设备响应于接收到编辑第一图像的操作,显示第一图像的编辑界面,第一图像的编辑界面包括第二控件。响应于用户对第二控件的点击操作,电子设备显示至少一张第三图像,至少一张第三图像包括第一导向图。
其中,电子设备是处于第一图像的图像编辑状态,则电子设备显示的图像编辑界面包括第二控件。响应于用户对第二控件的点击操作,则电子设备显示多张第三图像,第三图像中包括第一导向图。
第一方面另一种可能的设计方式中,图像信号处理器采用第一ISP参数处理第一raw域图像,生成第二图像之前。该方法还包括,电子设备可以显示预览界面,该预览界面包括第二预览图像,图像信号处理器采用第一ISP参数处理图像信号,生成第二预览图像。拍摄键被触发,获取第一raw域图像。
其中,电子设备在运行相机应用,电子设备接收到用户对第一导向图的选择操作,显示预览图像。由于电子设备将预设ISP参数设置为第一ISP参数,则电子设备的预览界面中的图像为第二预览图像。第二预览图像与第一预览图像不同。
第一方面另一种可能的设计方式中,上述响应于接收到编辑第一图像的操作,显示第一图像的编辑界面,第一图像的编辑界面包括第二控件之前,电子设备还可以获取第二raw域图像,生成第一raw域图像,并存储第一raw域图像,第一raw域图像与第二raw域图像相同。图像处理器可以采用预设ISP参数处理第二raw域图像,生成第一图像。
其中,电子设备设置预设ISP参数为第一预设参数,并采用第一ISP参数处理raw域图像生成第二图像。因此,电子设备在生成第一图像之前,电子设备存储第一图像对应的第一raw域图像,以便编辑第一图像时,电子设备可以提供修改图像拍摄风格的功能。
第一方面另一种可能的设计方式中,第一ISP参数是通过神经网络处理第一导向图得到的。
可以理解的,电子设备还可以采用其他方式得到第一导向图对应的第一ISP参数,此处仅为示例。
第一方面另一种可能的设计方式中,电子设备可以通过图像打分模型为至少一张第三图像打分,并按照至少一张第三图像的打分顺序显示至少一张第三图像。
第一方面另一种可能的设计方式中,电子设备还可以通过图像打分模型为至少一张第四图像打分,并按照至少一张第四图像的打分显示至少一张第四图像。
图像打分模型为每张图像打分,使得电子设备可以按照图像的打分显示多张图像,为显示多张图像提供显示依据。
第一方面另一种可能的设计方式中,图像处理器采用预设ISP参数处理第二raw域图像,生成第一图像之后,电子设备还可以显示提示信息,该提示信息可以用于提示用户预设时长内,触发编辑第一图像。如果预设时长内没有接收到编辑第一图像的操作,删除第一raw域图像。
其中,由于raw域图像占用内存空间较大,电子设备提示用户在预设时长内使用raw域图像,可以在预设时长之后降低电子设备内存占用量,保证电子设备运行。
第二方面,本申请还提供一种拍照装置,该拍照装置包含在电子设备中。该装置具有实现上述第一方面及其任一种可能的设计方式中电子设备行为的功能,使得电子设备执行上述第一方面及其任一项可能的设计方式中的拍照方法。该功能可以通过硬件实现,也可以通过硬件执行响应的软件实现。硬件或软件包括至少一个与上述功能相对的模块或单元。例如,拍照装置可以包括显示单元,确定单元和生成单元等。
第三方面,本申请还提供一种电子设备,包括:摄像头,用于采集图像;图像信号处理器,用于处理raw域图像;显示屏,用于显示界面;存储器,一个或多个处理器;一个或多个处理器与存储器、摄像头、信号处理器、显示屏耦合连接;以及一个或多个计算机程序。其中,一个或多个计算机程序被存储在存储器中,一个或多个计算机程序包括指令;当指令被电子设备执行时,使得电子设备执行上述第一方面及其任一种可能的设计方式中的拍照方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行上述第一方面及其任一种可能的设计中的拍照方法。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述第一方面及其任一种可能的设计中电子设备执行的拍照方法。
第六方面,本申请实施例提供了一种芯片***,该芯片***应用于电子设备。该芯片***包括一个或多个接口电路和一个或多个处理器;接口电路和处理器通过线路互联;接口电路用于从电子设备的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行计算机指令时,使得电子设备执行上述第一方面及其任一种可能的设计中的拍照方法。
可以理解的是,上述本申请提供的第二方面的拍照装置,第三方面的电子设备,第四方面的计算机可读存储介质,第五方面的计算机程序产品和第六方面的芯片***所能达到的有益效果,可参考如第一方面及其任一种可能的设计方式中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种电子设备的结构示意图;
图2为本申请实施例提供的一种ISP模块的结构示意图;
图3为本申请实施例提供的一种电子设备的软件架构示意图;
图4为本申请实施例提供的手机处于拍照模式下拍照界面示意图;
图5为本申请实施例提供的一种拍照模式下手机的界面示意图;
图6为本申请实施例提供的一种手机编辑图像的界面示意图;
图7A为本申请实施例提供的另一手机编辑图像的界面示意图;
图7B为本申请实施例提供的一种第二拍摄图像示意图;
图7C为本申请实施例提供的一种第一拍摄图像示意图;
图8为本申请实施例提供的一种拍照方法流程图;
图9为本申请实施例提供的另一拍照模式下手机显示界面示意图;
图10为本申请实施例提供一种拍照方法的应用场景示意图;
图11为本申请实施例提供的一种拍照方法流程图。
具体实施方式
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
一般而言,电子设备的ISP参数确定之后,则该电子设备拍摄生成的图像的拍摄风格是确定的。也就是说,电子设备生成图像的拍摄风格由ISP参数决定。如果用户在使用电子设备生成图像的过程中,用户有拍摄得到其他拍摄风格的图像的需求。为了实现电子设备拍摄生成其他拍摄风格的图像,则电子设备可以根据获取的导向图(即其他设备拍摄目标对象时生成的拍摄图像),来模拟导向图的拍摄风格,生成与导向图的拍摄风格相同的图像。
在第一种实现方式中,电子设备构建基于ISP的卷积神经网络(ConvolutionalNeural Network,CNN)端到端模型。电子设备获取导向图,将任一导向图输入CNN端到端模型,运行CNN模型能够得到导向图ISP参数。其中,导向图ISP参数是生成导向图的电子设备对应的ISP参数。如果电子设备将ISP参数更新为导向图ISP参数,使得电子设备生成的图像的拍摄风格与导向图的拍摄风格相同。
这种实现方式中CNN端到端模型处于离线状态时得到导向图ISP参数。电子设备运行相机应用,并处于拍照模式中,在导向图ISP参数确定之后,电子设备的ISP参数不能实时调整。所以电子设备需要进行多次ISP参数迭代,才能使得ISP模块中的参数变更为生成导向图的设备的ISP参数,这种参数迭代过程使得ISP参数的调试时间较长。
在第二种实现方式中,电子设备获取到导向图,学习导向图的拍摄风格,得到该导向图的拍摄风格特征。如,导向图中颜色特征、亮度特征和图像灰度特征等。电子设备生成图像的过程中,ISP构建基于硬件在环的端到端模型,利用算法处理拍摄得到的图像,使得该图像的拍摄风格特征与导向图的拍摄风格特征相同。这样,就可以实现模拟导向图的拍摄风格的目的。与上述第一种实现方式具有相同的特点:这种实现方式是离线时获取导向图的拍摄风格特征。利用算法处理,使得电子设备拍摄得到的图像与导向图的拍摄风格特征相同。也就是说,在生成图像的过程中,不需要调整ISP参数。因此,在电子设备模拟导向图的拍摄风格时,需要创建质量评价算法,以判断ISP得到的图像的拍摄风格是否与导向图的拍摄风格近似。质量评价算法复杂,设置难度大。
在第三种实现方式中,电子设备获取导向图,确定导向图的拍摄风格,采用对抗网络(Generative Adversarial Nets,GAN)确定导向图的拍摄风格特征。将电子设备拍摄生成的图像与导向图的拍摄风格融合,以实现模仿导向图的拍摄风格的目的。
这种处理方式是在图像成像显示方面的处理,并未修改ISP中模块的参数。当电子设备拍摄的图像和导向图的拍摄风格融合,将无法避免电子设备生成的图像上存在伪影的现象。其中,伪影泛指图像失真。例如在图像中出现目标对象没有的运动或移动的影子。
本申请实施例提供一种拍照方法,该拍照方法可以应用于电子设备。电子设备可以学习导向图的拍摄风格,以确定生成导向图的设备的ISP中模块的参数(或称为第一ISP参数),电子设备将ISP模块中的参数修改为第一ISP参数。由此一来,电子设备生成拍摄图像时,电子设备得到的拍摄图像的拍摄风格与导向图的拍摄风格相同,实现模拟导向图拍摄风格的目的。
需要说明的,本申请实施例中的电子设备可以是具有图像拍摄功能的手机、数码相机、摄像机、运动相机(GoPro)、智能手表、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、车载设备、行车记录仪、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,以及蜂窝电话等。另外,电子设备还可以是车载电脑,个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备等,本申请实施例对该电子设备的具体形态不作特殊限制。
下面将结合附图对本申请实施例的实施方式进行说明。
请参考图1,为本申请实施例提供的一种电子设备的结构示意图。如图1所示,该电子设备100可以包括处理器110,内部存储器121,按键130,充电管理模块140,电源管理模块141,电池142,传感器模块180,摄像头模组150,以及显示屏160等。其中传感器模块180中可以包括:陀螺仪传感器,方向传感器,加速度传感器,距离传感器,触摸传感器,环境光传感器等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),ISP,控制器,存储器,视频编解码器,数字信号处理器(digital signalprocessor,DSP),基带处理器和神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了***的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),和/或通用输入输出(general-purposeinput/output,GPIO)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线,处理器110可以通过I2C总线耦合摄像头150。
MIPI接口可以被用于连接处理器110与显示屏160,摄像头150等***器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头150通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏160通过DSI接口通信,实现电子设备100的显示功能。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
内部存储器121可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作***,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100通过GPU,显示屏160,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏160和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏160用于显示图像,视频等。显示屏160包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏160,N为大于1的正整数。
电子设备100可以通过ISP,NPU,摄像头模组150,视频编解码器,GPU,显示屏160以及应用处理器等实现拍摄功能。
按键130可以包括开机键,音量键,缩放键,拍摄键等。其中,按键130可以是机械按键,也可以是触摸式按键。
摄像头模组150用于捕获静态图像或视频。摄像头模组150包括镜头151和图像传感器152,镜头151可以由多个透镜组成。目标对象反射的光线通过镜头151传输至图像传感器152(即感光元件),图像传感器152可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。图像传感器152可以生成目标对象的raw域图像,并将raw域图像传输至ISP。ISP用于采用raw域图像生成图像信号,ISP将图像信号传输至DSP加工处理,DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。显示屏160用于显示RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头模组150,N为大于1的正整数。
ISP用于处理图像传感器152反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头模组150中的图像传感器152上,光信号转换为电信号形成Bayer格式的原始图像,摄像头感光元件将Bayer格式的原始图像传递给ISP处理,转化为肉眼可见的图像。ISP可以采用预设的参数处理Bayer格式的原始图像,因此,当电子设备100中ISP参数确定之后,该电子设备100生成的图像的拍摄风格也是确定的。在一些实施例中,ISP可以设置在摄像头150中。另一些实施例中,ISP可以设置在处理器110中。
在一些实施例中,ISP可以被当做一个芯片***,ISP运行各种算法程序,用于实时处理图像信号。如,ISP可以对图像的噪点、亮度和图像中人物的肤色进行算法优化,ISP还可以对拍摄场景的曝光,色温等参数进行优化。ISP接收到图像传感器传输的raw域图像,ISP可以将raw域图像转换为肉眼可见的图像。其中,手机中设置有ISP数据库,ISP数据库中包括ISP运行各种算法程序的参数。当ISP运行时调用ISP数据库,使得ISP按照ISP数据库中的参数运行各种算法,将raw域图像转换为预设格式的图像。
可以理解的,按照ISP对raw域图像转换为预设格式的图像,ISP需要具备多种功能,如果按照ISP具备的功能对ISP进行模块划分,则ISP中可以包括多个算法模块。
示例性的,请参考图2,为ISP的算法模块结构示意图。如图2所示,ISP中可以包括黑电平校正(Black Level Correction,BLC),Rawnf,CC,动态范围压缩(Dynamic RangeCorrection,DRC),伽马(GAMMA),锐化(sharp),三维颜色查找表(3D Look-Up Table,3DLUT)等模块。
Rawnf模块用于采用非局部均值算法(Non-Local Means,NLM)对raw域图像进行降噪处理。NLM可以处理raw域图像中存在噪声的像素点,一个像素点的灰度值通过该像素点周围的像素点的灰度值加权平均得到,以实现图像去噪的目的。其中,采用NLM算法处理raw域图像中的raw域噪声时,NLM算法的运行时间和raw域图像的降噪效果成反比。即Rawnf模块运行的时间就越长,则raw域图像经过Rawnf模块处理后的降噪效果越好。
CC可以用于校正图像中的颜色误差。颜色校正的过程为:将ISP得到的raw域图像与预设标准图像比较,以得到一个校正矩阵。该校正矩阵包括raw域图像的像素中颜色与预设标准图像中颜色的差值,采用该校正矩阵对图像传感器生成的Bayer格式图像中的颜色校正,以使得手机生成的拍摄图像中的颜色更接近目标对象真实的颜色。
值得注意的是,对图像中颜色校正的同时,会伴随着对图像中颜色饱和度的调整。其中,颜色的饱和度是指图像中色彩的纯度,颜色的纯度越高,则图像呈现出的颜色就越鲜艳;颜色的纯度越低,则图像呈现处颜色就较黯淡。
DRC中的动态范围指的是手机生成的拍摄图像中,图像中最亮部分的像素与最暗部分的像素的灰度的比值。当手机拍照的场景中存在强光源(如,正对日光、强反光,高亮度的照明设备等),手机的拍摄场景中同时存在高亮区域和暗光区域,高亮区域可能出现曝光过度的现象,暗光区域可能存在曝光不够的现象。使得手机生成的拍摄图像中出现高亮区域因曝光过度呈现为白色,暗光区域因曝光不够呈现为黑色,影响图像质量。采用DRC可以解决高亮区域的曝光过度和暗光区域的曝光不够的问题,使得手机生成的拍摄图像中高亮区域和暗光区域均呈现出对应的图像。
GAMMA校正模块,为图像进行gamma编码的目的时用于补偿显示器显示的预览图像或拍摄图像,使得人们可以感知到预览图像或拍摄图像中的光线或亮暗。可以理解的,gamma校正模块可以最大化的利用图像数据中表示图像中像素的灰度数据位或带宽。当手机中的显示器显示预览图像或拍摄图像的过程中,显示器显示图像中的亮度区域时变换函数产生的亮度值正比于图像中亮度幅度的能量(称为gamma)。在这种情况下,显示器显示的预览图像或拍摄图像中的亮度值的范围被扩展。
Sharp模块用于对手机生成的图像进行锐化处理,还原图像中的相关细节。其中,当图像传感器采集到原始图像之后,将图像输入ISP。CMOS输入的图像中可能包括各种噪声,包括随机噪声、量化噪声和固定模式噪声等。ISP模块需要对原始图像进行降噪处理,在降噪处理的过程中,存在将图像中的细节消除,导致图像不够清晰的现象。在这种情况下,为了避免降噪处理过程中,使得图像中的细节损失,对图像进行锐化处理,以提高图像的显示效果。
3D LUT模块是图像中的三维颜色查找表,其中,LUT可以将每一组RGB的输入值转化为输出值。如,LUT接收到一个信号时就是接收到一个查表地址,通过查表得到该信号对应的内容并输出,显示器可以显示该内容并输出。3D LUT可以准确描述所有的颜色,则3DLUT可以用于处理图像显示时颜色的非线性属性问题,还可以用于处理颜色的大幅变动等问题。因此,3D LUT可以用于精准的颜色校准工作。采用3D LUT可以处理预览图像或拍摄图像显示中的颜色校准问题,如,颜色的gamma值,颜色范围,颜色范围追踪错误,修正颜色显示中的非线性属性,颜色串扰,颜色饱和度等。
可以理解的,本申请实施例中的图2仅示出ISP中的部分模块。上述示例并不构成对ISP中模块的具体限定,ISP中可以包括更多或更少的模块。
电子设备100的软件***可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android***为例,示例性说明电子设备100的软件结构。
图3是本申请实施例的电子设备100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android***分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和***库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图3所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图3所示,应用程序框架层可以包括窗口管理器,内容提供器,视图***,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图***包括可视控件,例如显示文字的控件,显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
***库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子***进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
下面结合拍照场景,示例性说明电子设备100软件以及硬件的工作流程。
以电子设备是手机为例,当手机运行相机应用,手机的摄像头模组中的镜头处于开启状态。手机显示相机应用的界面,拍摄键被触发,触摸传感器接收到触摸操作,相机的硬件中断被发送给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。触摸操作是触摸拍摄键的操作,该操作所对应的控件为相机应用的界面中的拍摄键的控件。相机应用调用应用框架层的接口,通过内核层启动摄像头驱动,捕获静态图像。
以下实施例中的实施方法均可以在具备上述硬件结构的电子设备中实现。
本申请实施例提供的拍照方法可以应用于如下的应用场景中。
场景一:电子设备生成图像。
用户可以使用电子设备生成图像。具体地说,以电子设备是手机为例,手机中安装相机应用(也可以简称为相机)。如,手机显示如图4中(a)所示的主界面时,该主界面中可以包括多个应用的应用图标,如,相机应用401,通讯录应用402,电话应用403和信息应用404等。用户点击图4中(a)所示的主界面中相机应用401的图标,则手机显示如图4中(b)所示的预览界面,该预览界面包括预览图像405。此时,预览图像405是手机的摄像头采集获得的图像。手机的预览界面显示的图像,与手机生成的图像的拍摄风格相同。因此,用户查看手机界面,可以了解到手机生成图像的拍摄风格。如果用户希望改变手机生成的图像的拍摄风格,手机可以运行本申请实施例提供的拍照方法,使得手机改变生成的图像的拍摄风格。
其中,手机可以显示图5中(a)所示的拍摄预览界面,用户查看手机界面,可以发现如图5中(a)所示的拍摄预览界面包括:预览图像405和模仿拍摄风格406控件。顾名思义,模仿拍摄风格406的作用就是手机可以模拟其他图像的拍摄风格,如果用户希望改变手机生成的图像的拍摄风格,用户可以点击模仿拍摄风格406控件。手机接收到用户对模仿拍摄风格406控件的操作,手机显示如图5中(b)所示的拍摄预览界面,该拍摄界面包括第一导向图407、第二导向图408和第三导向图409。可以理解的,如图5中(b)所示的拍摄预览界面中包括多张导向图(即与手机生成图像的拍摄风格不同的图像),用户在查看如图5中(b)所示的拍摄预览界面时,如果用户喜欢第一导向图407的拍摄风格,用户可以选择第一导向图407。手机接收到用户对第一导向图407的选择操作,手机可以确定模拟第一导向图的拍摄风格,手机确定第一导向图407对应的第一ISP参数(即生成第一导向图的电子设备中ISP参数)。这样一来,手机可以设置ISP参数为第一ISP参数,并且显示如图5中(c)所示的拍摄预览界面,该预览拍摄界面包括预览图像410。由于手机中ISP参数为第一ISP参数,则预览图像410的拍摄风格与第一导向图407的拍摄风格相同。
示例性的,如果用户对当前手机拍摄预览界面中图像满意,用户可以点击如图5中(c)所示拍摄预览界面中的拍摄键411。手机接收到拍摄键411被触发的操作,手机生成图像。
又示例性的,如果用户对当前手机拍摄预览界面中图像不满意,用户可以点击如图5中(c)所示拍摄预览界面中的模拟拍摄风格406控件。也就是说,用户对手机模拟的第一导向图的拍摄风格不满意,希望再次改变手机拍摄预览界面中图像的拍摄风格。在这种情况下,手机接收到用户对模拟拍摄风格406控件的操作,手机显示如图5中(d)所示的拍摄预览界面,该拍摄预览界面包括原图412,第二导向图408和第三导向图409。用户查看如图5中(d)所示的拍摄预览界面,重新选择任一导向图,以使得手机模拟该导向图的拍摄风格。
需要说明的,原图412表示的是手机ISP参数未被调整之前(或可以理解为手机初始ISP参数),手机生成的图像,也就是图4中(b)所示的预览图像405。
场景二:电子设备编辑拍摄得到的图像。
用户使用手机生成图像,用户有编辑图像的需求时,用户可以使用手机编辑图像。具体地说,以电子设备是手机,手机显示如图4中(b)所示的拍摄预览界面时,手机的拍摄键被触发,手机生成图像601。
以用户想要编辑图像601为例。
用户在查看手机拍摄的图像601时,手机显示如图6中(a)所示的图像显示界面。如图6中(a)所示的图像显示界面包括图像601,分享控件61,收藏控件62,编辑控件63,删除控件64和更多控件65。
用户想要编辑预览图像601时,用户点击编辑控件63。手机接收到用户对编辑控件63的触发操作,手机显示如图6中(b)所示的图像编辑界面。该图像编辑界面包括模拟拍摄风格控件66、曝光控件67和对比度控件68等。图6中(b)所示的图像编辑界面中还包括模拟拍摄风格控件66的名称,其中,当任一功能控件处于模拟拍摄风格控件66位置时,可以显示对应的功能控件的名称。
用户使用手机编辑图像601的过程中,如果用户希望改变图像601的拍摄风格,则用户可以触发模拟拍摄风格控件66,以改变图像601的拍摄风格。其中,手机接收到用户对模拟拍摄风格控件66的操作,手机显示如图6中(c)所示的拍摄风格编辑界面。该拍摄风格编辑界面包括第一导向图407,第二导向图408和第三导向图409。可以理解的,图6中(c)所示的导向图仅为示例,手机接收到用户在导向图显示区域的滑动操作,则手机可以显示其他的导向图。
需要说明的,用户通过如图6中(c)所示的界面查看导向图时,可以选择任一导向图。这样,手机可以将图像601的拍摄风格转换为导向图的拍摄风格,使得手机改变图像601的拍摄风格。其中,以用户选择第一导向图407为例。手机显示如图6中(d)所示的图像编辑界面,该图像编辑界面包括图像602,图像602的拍摄风格与第一导向图407的拍摄风格相同。
如,手机生成拍摄图像,用户通过相册应用查看手机拍摄的图像601。手机接收到运行相机应用的操作,手机运行相机应用,显示图像601。如果手机接收到用户对模拟拍摄风格控件66的操作,手机可以显示相册中的导向图。也就是说,相机应用具备访问相册应用的权限,使得手机可以显示相册中的导向图。
具体地说,手机确定第一导向图对应的第一ISP参数,设置手机的ISP参数为第一ISP参数。手机可以将图像601对应的raw域图像输入ISP,以得到图像602。值得一提的,由于手机是基于图像传感器传输的raw域图像生成的图像601,如果改变图像的拍摄风格,则需要ISP再次处理raw域图像。因此,在生成图像601时,存储图像601对应的raw域图像,以便图像编辑时手机可以编辑图像601的拍摄风格。
示例性的,如果用户对图像602的拍摄风格满意,则用户不会触发模拟拍摄风格控件66。在这种情况下,用户可以完成对图像拍摄风格的编辑。
又示例性的,如果用户对图像602的拍摄风格不满意,则用户可以再次触发如图6中(d)所示的模拟拍摄风格控件66。当手机接收到用户对如图6中(d)的模拟拍摄风格控件66操作,手机可以显示如图7A所示的图像编辑界面。其中,如图7A所示的图像编辑界面中包括图像601,第二导向图407和第三导向图408。用户查看如图7A所示的图像编辑界面,重现选择任一导向图,以使得手机模拟该导向图的拍摄风格,生成对应拍摄风格的图像。
一般而言,电子设备在生成第一拍摄图像时,图像传感器采集到raw域图像,图像传感器将raw域图像传输至ISP,通过ISP处理raw域图像以生成第一拍摄图像。也就是说,电子设备生成第一拍摄图像的过程中,不会存储第一拍摄图像的raw域图像。电子设备在执行本申请实施例提供的拍照方法时,电子设备获取到raw域图像,复制raw域图像得到第一raw域图像和第二raw域图像,电子设备将第一raw域图像输入ISP,以得到第一拍摄图像(如上述图像601)。电子设备存储第二raw域图像,以便电子设备接收到模仿导向图拍摄风格的编辑操作时,电子设备处理第二raw域图像生成第二拍摄图像(如上述图像602)。需要说明的,raw域图像占用的内存空间较大,为了保证电子设备运行的流畅性,在电子设备生成第一拍摄图像之后,在预设时长内,如果电子设备没有接收到模拟拍摄风格的图像编辑操作,电子设备可以删除第二raw域图像。
其中,预设时长可以是1分钟、3分钟或5分钟等,具体不作限定。可以理解的,预设时长是提供给用户考虑对图像处理的时间。在一些实现中,当手机存储的raw域图像之后,可以显示提示信息,该提示信息用于提示用户可以在预设时长内(如3分钟内)编辑图像拍摄风格,预设时长之后将无法编辑图像拍摄风格。如,该提示信息可以为:3分钟内可以调整图像拍摄风格,过时将不可调整。
示例性的,当手机中的ISP参数为预设ISP参数时,手机生成第二拍摄图像,第二拍摄图像为第一拍摄风格的图像。第一导向图为第二拍摄风格的图像,第一拍摄图像为第二拍摄风格的图像。请参考图7B,为手机生成的第二拍摄图像(即第一拍摄风格的图像)。其中,第二拍摄图像包括的目标对象为:天空、云、树木和路径。如图7B所示,天空和白云所在区域的亮度较高,树木和小径所在区域的亮度较暗,使得图像呈现出的天空部分(天空和白云)与地面物体(即树木和路径)的亮度差别较大,使得图7B所示的画面不能真实反映出拍摄场景的亮度。
其中,高动态范围(High-Dynamic Range,HDR)技术处理图像时,采用更大曝光动态范围(即更大的明暗差别)成像,使得电子设备生成的图像可以真实反映出拍摄环境中的亮度。因此,HDR成像可以真实反映出图像中最亮的区域的亮度以及最暗的区域中的亮度。也就是说,生成图7B所示图像的手机中HDR的处理能力较差,即图7B中不能真实的反映出拍摄场景中最亮区域的亮度以及最暗区域中的亮度。
在这种情况下,选择HDR处理效果较好的第一导向图,手机可以采用第一导向图对应的第一ISP参数处理如图7B对应的raw域图像,这样,可以改善图7B的显示效果。
例如,手机生成第二拍摄图像,并存储第二拍摄图像对应的raw域图像。第一导向图为HDR图像,第一导向图对应第一ISP参数。将手机中ISP参数设置为第一ISP参数,ISP处理图7B对应的raw域图像,以得到如图7C所示的图像(第一拍摄图像)。如图7C所示,天空部分(天空和白云)与地面物体(即树木和路径)的亮度差别变小了。相比于图7B所示的图像,图7C所示的图像可以提供更多的动态范围和图像细节,且第二拍摄图像能够更好的反映出人眼看到的真实环境中的视觉效果。
以下将说明本申请实施例提供的拍照方法中获取导向图对应的ISP参数的原理。
继续以电子设备是手机为例,手机可以确定导向图(如第一导向图407)对应的第一ISP参数。如果设置手机中ISP的参数为第一ISP参数,则手机拍摄得到的图像的拍摄风格与导向图的拍摄风格相同。在一些实现中,手机可以通过神经网络确定第一导向图对应的第一ISP参数。
示例性的,通过神经网络(或称为ISP参数估计模型)确定导向图对应的第一ISP参数。如,将任一张导向图输入ISP参数估计模型,运行ISP参数估计模型,ISP参数估计模型输出生成该导向图的设备中ISP参数。在一些实现中,手机中可以预设ISP参数估计模型,手机将导向图输入ISP参数估计模型,得到生成导向图的设备中ISP参数。另一些实现中,远程服务器(或云设备)中设置ISP参数估计模型,手机获取导向图,向远程服务器传输导向图。远程服务器将导向图作为ISP参数估计模型的输入,运行ISP参数估计模型,得到生成导向图的设备中ISP参数,向手机发送该ISP参数。
具体地说,ISP参数估计模型可以是由多个神经单元组成的,神经单元可以是一个函数,神经单元将输入信号转换为输出信号。示例性的,ISP参数估计模型的结构可以是多个单一的神经单元联结在一起而形成的神经网络。在这种结构中,一个神经单元的输出可以是另一个神经单元的输入。ISP参数估计模型中可以包括多层卷积层,一个神经单元的输出信号可以作为下一层卷积层的输入信号。每个神经单元的输入可以与前一层卷积层的局部接收域连接,以提取局部接收域的特征,局部接收域可以是由若干个神经单元组成的区域。
需要说明的,ISP参数估计模型是通过训练学习之后得到的。其中,神经单元中包括多个权重矩阵,训练ISP参数估计模型就是训练神经单元中权重矩阵的过程。
示例性的,本申请实施例中训练ISP参数估计模型的训练数据包括导向图和生成该导向图的设备的ISP参数(称为第一ISP参数)。其中,导向图可以电子设备拍摄目标对象生成的,且并未经过图像编辑操作(如,对图像调色、合成、明暗修改、彩度和色度的修改等操作)的图像。ISP参数估计模型接收到导向图可以推测出生成导向图的设备的ISP参数(称为第二ISP参数),通过拟合第一ISP参数和第二ISP参数,修正ISP参数估计模型中的参数。对ISP参数估计模型的训练,就是对ISP参数估计模型中的参数不断迭代和修正的过程,使得ISP参数估计模型根据导向图推测出的第二ISP参数越来越接近第一ISP参数。这样一来,ISP参数估计模型可以学习导向图与生成导向图的设备中ISP参数的关系,以使得ISP参数估计模型可以根据任一张导向图推测出生成该导向图的设备中ISP参数。
可以理解的,如果ISP参数估计模型使用神经网络,则具体训练过程与神经网络的具体结构息息相关,此处仅是示例性说明。实际应用中可以根据ISP参数估计模型的模型结构,设置合理的训练方式。
在上述应用场景中,当手机接收到用户操作,确定用户想要调整图像的拍摄风格,则手机可以显示多张导向图。其中,手机可以按照预设的显示规则显示多张导向图,以下对多张导向图的显示顺序进行示例说明。
示例性的,可以通过图像打分模型为每张导向图打分,手机可以按照导向图的打分高低显示多张导向图。其中,图像打分模型可以是一种图像算法(如称为图像打分算法),图像打分算法处理分别处理每张导向图,并输出每张导向图的打分。例如,图像打分算法可以依据导向图中颜色对比度,纹理特征,用户喜爱度等特征生成导向图的打分,每个特征所占的比重可以不同。其中,导向图中颜色对比度表示,该图像中最亮区域中的白和最暗区域中的黑之间的亮度层级差,导向图的对比度越大则该图像中的颜色就越丰富,说明生成该导向图的设备可以呈现的颜色就越丰富。导向图的纹理特征表示,该导向图或导向图中的部分区域所对应目标对象的表面性质。用户喜爱度表示,用户对该导向图的喜爱程度,用户喜爱度一般为1或0。若该导向图被标记为“喜爱”,则说明该导向图的用户喜爱度为1;若该导向图没有被标记为“喜爱”,则该导向图的用户喜爱度为0。
值得一提的,确定导向图的颜色对比度和导向图的纹理特征等图像特征,需要采用对应的图像算法处理导向图。则图像打分算法中可以包括得到图像的对比度和图像的纹理特征的对应算法,以使得手机运行图像打分算法时可以得到导向图的对比度和导向图的纹理特征,则手机可以根据导向图的对比度,纹理特征等确定导向图的打分。
其中,图像打分模型为每个导向图(或称为导向图1)打分之后,可以将多张导向图1的打分以表格(如称为导向图1打分表)的形式存储。当手机显示多张导向图1,手机可以读取导向图1打分表,并按照导向图1的打分顺序,显示多张导向图1。
以下将结合附图说明本申请实施例提供的拍照方法。
实施例1
本申请实施例提供的拍照方法可以应用于电子设备,此处以电子设备是手机为例,说明本申请提供的拍照方法。其中,手机中安装相机应用(或称为相机),手机运行相机应用,生成图像的过程中可以应用本申请提供的拍照方法。这样,手机可以生成与导向图拍摄风格相同的图像。
请参考图8,为本申请提供的拍照方法的流程图。如图8所示,该方法包括步骤801-步骤806。
步骤801:手机运行相机应用,并显示拍照的预览界面,预览界面中包括第一拍摄风格的预览图像。
需要说明的,手机处于拍照模式,手机的摄像头模组中的摄像头处于开启状态,目标对象反射的光线传播至摄像头模组中的镜头,目标对象反射的光线经镜头折射之后传播至图像传感器,使得图像传感器生成目标对象的raw域图像。其中,raw域图像可以是拜耳(Bayer)格式的图像,则raw域图像也可以称为Bayer格式raw域图像。图像传感器将得到的raw域图像传输至ISP,ISP用于将raw域图像转换为彩色模式(red green blue,RGB)图。进而,手机可以将连续的多帧图像生成预览图像,预览界面上显示预览图像,使得用户可以通过显示屏实时查看手机的摄像头的拍摄范围,以及手机生成的图像的拍摄风格。
其中,当手机处于拍照模式时,手机中的摄像头模组会连续曝光,使得手机连续采集到多帧图像,预览界面显示连续的多帧图像。也就是说,预览图像时多帧图像。假设手机拍摄的图像为第一拍摄风格的图像,则预览图像中的每帧图像都是第一拍摄风格的图像。这样,用户可以通过预览界面中的预览图像了解到手机的拍摄风格。请参考图4中(b),为手机显示拍照的预览图像的示意图,如图4中(b)所示,手机显示的拍照界面中包括拍照模式下的预览图像405。
步骤802:手机识别预览图像中的目标对象,显示至少一张导向图,导向图中包括至少一个预览图像中的目标对象。
其中,至少一张导向图包括第一导向图,导向图的拍摄风格与预览图像的拍摄风格不同。
其中,手机得到拍照的预览图像后,手机可以识别预览图像,确定预览图像中包括的目标对象。例如,如图4中(b)所示,拍照的预览界面中包括预览图像405,手机识别预览图像405,确定预览图像405中的目标对象包括天空、云、建筑物和树木。可以明白的,预览图像405是多帧图像组成的,预览图像也可以被称为预览图像流。
在一些实现中,手机可以从预览图像流中提取任一帧图像作为参考帧,识别参考帧中的目标对象,参考帧包括的目标对象即为预览图像包括的目标对象。
另一些实现中,手机可以从预览图像流中任意提取任意的至少两帧图像作为参考帧,识别参考帧包括的目标对象,将参考帧包括的目标对象作为预览图像的目标对象。
示例性的,如图9中(a)为手机显示的拍照模式下的预览界面,该预览界面中包括预览图像405,手机识别到预览图像405中的目标对象包括天空、云、建筑物和树木,手机显示如图9中(b)所示的拍照的预览图像的界面。如图9中(b)所示的界面中包括至少一张导向图(还可以称为导向图1),如第一导向图407、第二导向图408和第三导向图409。例如,第一导向图407中的目标对象包括天空、树木和水;第二导向图408中的目标对象包括天空、云、山和水;第三导向图409中的目标对象包括天空、水和树木。三张导向图中均存在至少一个目标对象与预览图像中的目标对象相同。
可以理解的,如图9中(b)所示的界面中,三张导向图是叠加在预览图像上,遮挡了部分预览图像。这种显示方式仅为示例,在实际应用中,导向图还可以采用其他的显示方式显示在拍照界面中。例如,手机可以显示如图5中(b)所示的拍照模式下的预览界面。则三张导向图是显示在预览图像405的下方,并未遮挡预览图像,也就不会影响预览图像的显示效果。
需要说明的,图9中(b)所示的界面和图5中(b)所示界面中均包括三张导向图,在实际应用中,拍照预览界面中可以包括更多或更少数量的导向图。此处仅为示例,并不构成对导向图的显示位置和显示数量的限定。
一种可能的实现方式中,手机运行相机应用,显示拍照的预览界面,预览界面中包括模拟拍摄风格控件。如图5中(a)所示,手机显示拍照的预览界面包括模仿拍摄风格控件406,响应于用户对模仿拍摄风格控件406的操作,手机显示如图5中(b)所示的预览界面。或者,如图5中(a)所示,手机显示拍照的预览界面包括模仿拍摄风格控件406,响应于用户对模仿拍摄风格控件406的操作,手机显示如图9中(b)所示的预览界面。
如,步骤802可以是“响应于用户的第一操作,手机显示至少一张导向图,导向图的拍摄风格与预览图像的拍摄风格不同”。其中,手机显示的拍照的预览界面包括模拟拍摄风格控件,第一操作可以是用户对模拟拍摄风格控件的触发操作。
可以理解的,手机显示多张导向图1时,可以按照导向图1的打分显示多张导向图1。其中,导向图1的打分方式可以是通过图像打分模型得到,此处不予赘述。
示例性的,手机中可以预设图像打分模型。如,手机中包括图像处理模块,图像处理模块中包括图像打分算法。当手机运行图像处理模块,手机可以为导向图1打分。例如,相机应用具有访问相册应用的权限,相机应用识别出相册中的导向图1,手机运行图像处理模块,为每张导向图1打分。手机识别导向图1,得到至少包括一个预览图像中目标对象的图像(如,称为导向图2),手机可以按照导向图2的打分显示多张导向图2。
需要说明的,手机中的导向图1可以是手机生成的其他拍摄风格的图像,可以是手机从互联网下载得到,也可以是手机接收到的分享数据中的图像。本申请实施例对导向图1的来源不作具体限定。
又示例性的,以手机生成图像的过程中,手机与远程服务器(或云设备)交互的应用场景为例。如图10所示,手机901与远程服务器902交互,以实现模拟拍摄风格的目的。其中,远程服务器902中预设图像打分算法,远程服务器902为多张导向图1打分,并将每张导向图1的打分作为该图像的标签。当手机运行相机应用,显示拍照的预览图像时,手机901将预览图像传输至远程服务器902。
例如,远程服务器902可以根据预览图像向手机901发送多张导向图1,手机901接收到多张导向图1,识别导向图1的标签,确定导向图1的打分,可以按照多张导向图1的打分显示导向图1。
又例如,远程服务器902可以识别预览图像,以确定预览图像包括的目标对象,将确定出导向图1中的导向图2。远程服务器902可以向手机901发送导向图2,手机901接收到来自远程服务器902的导向图2,识别导向图2的标签,确定导向图2的打分,按照导向图2的打分显示导向图2。
需要说明的,如果手机901向远程服务器902发送多张导向图1,则远程服务器902可以对导向图1打分,并将该导向图1的打分作为该导向图1的标签。远程设备为每张导向图1打分,并向手机901发送打分后的多张导向图1。
值得一提的,如果手机中并未设置图像打分模型,且手机不与远程服务器交互,则手机可以按照任意的显示顺序显示导向图1。
步骤803:响应于对第一导向图的选择操作,手机确定生成第一导向图的设备的第一ISP参数。
可以理解的,不同厂商生产的电子设备中ISP的参数不同,则使用电子设备的拍照功能生成的图像的拍摄风格是不同的。当用户希望使用手机的拍照功能生成其他拍摄风格的图像时,手机确定用户希望得到的拍摄风格的图像(即第一导向图),手机可以模拟第一导向图的拍摄风格,生成与第一导向图的拍摄风格相同的图像,以满足用户需求。
其中,可以通过ISP参数估计模型确定拍摄第一导向图的设备的第一ISP参数。上述对于手机确定生成第一导向图的设备的第一ISP参数的方式已进行详细说明,此处不予赘述。
步骤804:手机设置ISP参数为第一ISP参数。
其中,假设手机预设ISP参数,手机生成拍摄风格1的图像。如,预览图像405是拍摄风格1的图像。第一导向图是拍摄风格2的图像,拍摄风格1与拍摄风格2不同。手机将ISP参数设置为第一ISP参数,则手机可以生成拍摄风格2的图像。这样,手机就可以实现模拟拍摄风格的目的。
示例性的,手机的存储器中存储预设ISP参数文件,ISP运行时可以访问预设ISP参数文件的地址,并调用预设ISP参数文件,解析预设ISP参数文件,得到预设ISP参数。ISP采用预设算法处理图像时,将预设ISP参数作为算法中的参数,以使得ISP可以实现处理图像的功能。
其中,预设算法可以被理解为输入和输出的函数关系,则预设算法中包括参数,参数对应的数值会影响算法的处理效果。例如,ISP中的颜色校正算法,ISP参数中包括颜色校正算法的处理参数。预设ISP参数解析后得到颜色校正算法中的处理参数,ISP运行颜色校正算法时,调用ISP中相关参数,以实现校正图像颜色的功能。
在一些实现中,手机确定生成第一导向图对应的第一ISP参数,手机***具有访问和修改预设ISP参数文件的权限。手机根据第一ISP参数生成第一ISP参数文件,手机可以将预设ISP参数文件更改为第一ISP参数文件。其中,手机可以将第一ISP参数生成第一数据包,将第一数据包转换为二进制文件的数据包,该二进制文件的数据包为第一ISP参数文件。
可以理解的,当预设ISP参数文件被替换为第一ISP参数文件,ISP运行时将调用第一ISP参数文件处理raw域图像。在这种情况下,手机可以生成拍摄风格2的图像。
步骤805:手机显示拍照的预览界面,预览界面包括第二拍摄风格的预览图像。
可以明白的,当手机设置预设ISP参数为第一ISP参数的过程中,ISP暂停处理raw域图像,可能会影响拍照模式下预览图像的显示。在这种情况下,手机可以暂停显示预览图像,如显示第一导向图,或者,手机显示等待预览图像的提示信息。
手机设置ISP参数为第一预设参数之后,手机显示拍照的预览界面。由于ISP调用的ISP参数已经变更,则手机显示的预览图像为第二拍摄风格的图像。这样,用户在查看预览界面可以了解到手机的拍照效果。
其中,手机显示预览界面时,预览界面还可以包括切换拍摄风格的控件。如图5中(c)所示,拍照模式的预览界面包括模仿拍摄风格控件406。如果手机接收到用户对模仿拍摄风格控件406的触发操作,手机可以执行上述步骤802-步骤805。
步骤806:手机拍摄键被触发,手机生成第一拍摄图像,第一拍摄图像的拍摄风格与第一导向图的拍摄风格相同。
假设手机显示第一拍摄风格的预览图像时,手机的拍摄键被触发,则手机生成第一拍摄图像。第一导向图是第二拍摄风格的图像,那么,第一拍摄图像也是第二拍摄风格的图像。
可以理解的,当手机使用的是第一ISP参数时,如果切换拍照模式为录像模式(或称为视频模式),则手机可以生成视频文件。其中,视频文件是由多帧图像组成的,每帧图像都是第二拍摄风格的图像。
在一些实现中,当手机关闭相机应用,则ISP参数可以是预设ISP参数。也就是说,手机每次启动相机应用,手机显示拍照的预览界面时,预览界面中的预览图像均是第一拍摄风格的预览图像。
实施例2
此处以手机编辑图像的过程中,采用本申请实施例提供的拍照方法,得到与导向图的拍摄风格相同的图像为例。
请参考图11,为本申请提供的拍照方法的流程图。如图11所示,该方法包括步骤1101-步骤1106。
步骤1101:手机拍摄键被触发,手机生成第二拍摄图像,并存储第二拍摄图像对应的raw域图像。
需要说明的,第二拍摄图像是第一拍摄风格的图像。也就是说,ISP参数与预设ISP参数时,手机生成第二拍摄图像。可以理解的,当手机生成第一拍摄图像时,也可以存储第一拍摄图像对应的raw域图像。
其中,由于调整图像拍摄风格是改变ISP参数,使得手机生成其他拍摄风格的图像。因此,手机可以存储目标对象的raw域图像,以便手机中的ISP再次处理raw域图像,得到其他拍摄风格(如第一拍摄风格或第三拍摄风格)。
示例性的,手机处于拍照模式,手机的拍摄键被触发,图像传感器采集到raw域图像。***该raw域图像,生成第一raw域图像和第二raw域图像,第一raw域图像和第二raw域图像相同。将第一raw域图像传输至ISP,由ISP处理raw域图像,以生成第二拍摄图像。同时,手机存储第二raw域图像。
在一些实现中,手机生成目标对象的第二拍摄图像时,默认保存手机图像传感器采集的raw域图像,以便于后期编辑图像时可以提供模仿拍摄风格的功能。
另一些实现中,由于raw域图像占用的内存空间较大,手机在拍摄键被触发之前,手机可以显示提示信息,提示信息用于提示是否需要编辑后期生成的拍摄图像的拍摄风格。如果手机接收到需要编辑后期生成的拍摄图像的拍摄风格的操作,则手机在存储拍摄图像(即第二拍摄图像)的raw域图像。如果手机接收到不需要编辑后期生成的拍摄图像的拍摄风格的操作,则手机不存储第二拍摄图像对应的raw域图像,节约手机的内存空间。
步骤1102:响应于编辑图像的操作,手机显示包括第二拍摄图像的图像编辑界面。
其中,如图6中(a)所示的图像编辑界面,该图像编辑界面包括第二拍摄图像(即图像601)。前述场景二中对已说明图6中(a),此处不予赘述。
示例性的,手机接收到用户对编辑操作控件63的点击操作,确定用户想要编辑第二拍摄图像。响应于接收到用户对编辑操作控件63的触摸操作,手机显示如图6中(b)所示的界面,手机可以根据用户的操作编辑第二拍摄图像。如图6中(b)所示的界面包括模拟拍摄风格控件66、曝光控件67和对比度控件68等,响应于左右滑动操作,多个控件的位置可以被左右滑动。当对应的控件位于中间位置,则显示该控件的名称。如图6中(b)所示,模拟拍摄风格控件66位于中间位置,显示该控件的名称“模拟拍摄风格”。
步骤1103:手机接收到调整拍摄风格的操作,手机显示至少一张导向图。
示例性的,手机显示如图6中(b)所示的界面时,手机接收到用户对模拟拍摄风格控件66的点击操作,则手机确定用户有调整第二拍摄图像的拍摄风格的需求。响应于模拟拍摄风格控件的触摸操作,手机显示如图6中(c)所示的界面,编辑第一拍摄图像的界面包括第一导向图408、第二导向图408和第三导向图409。
手机显示多张导向图时,与上述实施例1中步骤802的相关内容相同,此处不予赘述,可以明白的,本申请实施例中的相关技术细节也可以应用于上述实施例1中。
步骤1104:响应于用户对第一导向图的选择操作,手机确定第一导向图对应的第一ISP参数。
可以理解的,通过上述ISP参数估计模型确定生成第一导向图的设备中第一ISP参数。因此,关于ISP参数估计模型具体确定第一ISP参数的方式可以参考上述相关实施步骤,此处不予赘述。
步骤1105:手机设置ISP参数为第一ISP参数。
需要说明的,步骤1104和步骤1105与上述步骤803和步骤804相同,上述相关步骤的实施细节可以应用于步骤804和步骤805中,此处不予赘述。
步骤1106:手机采用ISP处理raw域图像,以得到第一拍摄图像,第一拍摄图像的拍摄风格与第一导向图的拍摄风格相同。
其中,手机将原始raw域图像复制后得到第一raw域图像和第二raw域图像,手机存储第二raw域图像。当手机ISP参数设置为第一ISP参数,则ISP接收到第二raw域图像,ISP处理第二raw域图像,以生成第一拍摄图像。由于手机中ISP的参数为第一ISP参数,则第一拍摄图像的拍摄风格与第一导向图的拍摄风格相同。
需要说明的,当手机采用第二raw域图像生成第二拍摄图像,可以释放存储第二raw域图像的内存空间。在这种情况下,手机将不能再生成其他的拍摄风格的拍摄图像。虽然导向图中可以包括至少一个第一拍摄图像中的目标对象,但是,手机展示的导向图中的内容一般与第一拍摄图像中的内容不完全相同。如果用户想要了解选择其他导向图(如,第二导向图)的情况下,手机生成的拍摄图像。由于手机根据第二raw域图像生成第二拍摄图像,手机难以根据第二导向图生成对应拍摄风格的图像。
在一些实现中,手机可以复制第二raw域图像,得到第三raw域图像,将第三raw域图像作为ISP的输入,以生成第二拍摄图像。用户在查看第二拍摄图像时,手机可以显示第一提示信息,第一提示信息用户是否保存第二拍摄图像。若手机接收到保存第二拍摄图像的存指令,手机存储第二拍摄图像。进一步的,手机还可以显示第二提示信息,第二提示信息用于提示用户是否生成其他拍摄风格的图像,如果手机接收到生成其他拍摄风格的指令。则手机再次显示至少一个导向图,其中,导向图中不包括第一导向图(第一导向图的拍摄风格与第二拍摄图像的拍摄风格相同)。另外,若手机接收到不保存第二拍摄图像的指令,手机还可以显示第二提示信息。
可以理解的,手机可以重复显示第一提示信息和第二提示信息,以便用户可以通过查看与导向图拍摄风格相同的拍摄图像。如果手机接收到停止生成其他拍摄风格的图像,则手机可以删除保存的第二raw域图像。释放手机内存,以降低手机运行时占用的手机内存空间。
以上是以电子设备是手机为例进行说明的,当电子设备为其他设备时,也可以采用上述的方法生成图像。此处不予赘述。
可以理解的是,上述电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的范围。
本申请实施例可以根据上述方法示例对上述电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
本申请实施例还提供一种电子设备,包括:摄像头模组,用于采集图像;显示屏,用于显示预览图像和生成的拍摄图像;一个或多个处理器以及一个或多个存储器。一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,使得电子设备可以执行上述相关方法步骤,以实现上述实施例中的拍照方法。
本申请实施例还提供一种芯片***,该芯片***包括至少一个处理器和至少一个接口电路。处理器和接口电路可通过线路互联。例如,接口电路可用于从其它装置(例如电子设备的存储器)接收信号。又例如,接口电路可用于向其它装置(例如处理器)发送信号。示例性的,接口电路可读取存储器中存储的指令,并将该指令发送给处理器。当所述指令被处理器执行时,可使得电子设备执行上述实施例中的各个步骤。当然,该芯片***还可以包含其他分立器件,本申请实施例对此不作具体限定。
本申请实施例还提供一种计算机存储介质,该计算机存储介质包括计算机指令,当所述计算机指令在上述电子设备上运行时,使得该电子设备执行上述方法实施例中手机执行的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行上述方法实施例中手机执行的各个功能或者步骤。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以使用硬件的形式实现,也可以使用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (11)
1.一种拍照方法,其特征在于,应用于电子设备,所述电子设备包括预设图像信号处理器ISP参数,图像信号处理器采用预设ISP参数处理第一raw域图像,生成第一图像;
所述拍照方法包括:
获取第一导向图,确定所述第一导向图对应的第一ISP参数,所述预设ISP参数与所述第一ISP参数不同;所述第一ISP参数是通过神经网络处理所述第一导向图得到的;
将ISP参数设置为所述第一ISP参数;
所述图像信号处理器采用所述第一ISP参数处理所述第一raw域图像,生成第二图像。
2.根据权利要求1所述的方法,其特征在于,所述获取第一导向图,确定所述第一导向图对应的第一ISP参数,所述预设ISP参数与所述第一ISP参数不同之前,所述方法还包括:
启动相机应用,显示预览界面,所述预览界面包括第一控件和第一预览图像,其中,所述图像信号处理器采用所述预设ISP参数处理图像信号,生成所述第一预览图像;
响应于用户对所述第一控件的点击操作,显示至少一张第三图像,所述至少一张第三图像包括所述第一导向图。
3.根据权利要求1所述的方法,其特征在于,所述获取第一导向图,确定所述第一导向图对应的第一ISP参数,所述预设ISP参数与所述第一ISP参数不同之前,所述方法还包括:
启动相机应用,显示预览界面,所述预览界面包括第一预览图像,所述图像信号处理器采用所述预设ISP参数处理图像信号,生成所述第一预览图像;
识别所述第一预览图像中的个体对象;
根据所述第一预览图像中的个体对象,显示至少一张第四图像,所述至少一张第四图像包括所述第一导向图;其中,每一张所述第四图像中至少包括一个所述个体对象。
4.根据权利要求1所述的方法,其特征在于,所述获取第一导向图,确定所述第一导向图对应的第一ISP参数,所述预设ISP参数与所述第一ISP参数不同之前,所述方法还包括:
响应于接收到编辑所述第一图像的操作,显示所述第一图像的编辑界面,所述第一图像的编辑界面包括第二控件;
响应于用户对所述第二控件的点击操作,显示至少一张第三图像,所述至少一张第三图像包括所述第一导向图。
5.根据权利要求2或3所述的方法,其特征在于,所述图像信号处理器采用所述第一ISP参数处理所述第一raw域图像,生成第二图像之前,所述方法还包括:
所述预览界面包括第二预览图像,所述图像信号处理器采用所述第一ISP参数处理图像信号,生成所述第二预览图像;
拍摄键被触发,获取所述第一raw域图像。
6.根据权利要求4所述的方法,其特征在于,所述响应于接收到编辑所述第一图像的操作,显示所述第一图像的编辑界面,所述第一图像的编辑界面包括第二控件之前,所述方法还包括:
获取第二raw域图像,生成所述第一raw域图像,并存储所述第一raw域图像,所述第一raw域图像与所述第二raw域图像相同;
所述图像处理器采用所述预设ISP参数处理所述第二raw域图像,生成所述第一图像。
7.根据权利要求2或4所述的方法,其特征在于,所述方法还包括:
通过图像打分模型为所述至少一张第三图像打分,按照所述至少一张第三图像的打分显示所述至少一张第三图像。
8.根据权利要求3所述的方法,其特征在于,所述根据所述预览图像中的个体对象,显示至少一张第四图像,所述至少一张第四图像包括所述第一导向图之前,所述方法还包括:
通过图像打分模型为所述至少一张第四图像打分,按照所述至少一张第四图像的打分显示所述至少一张第四图像。
9.根据权利要求6所述的方法,其特征在于,所述图像处理器采用所述预设ISP参数处理所述第二raw域图像,生成所述第一图像之后,所述方法还包括:
显示提示信息,所述提示信息用于提示用户预设时长内,触发编辑所述第一图像;
如果所述预设时长内没有接收到编辑所述第一图像的操作,删除所述第一raw图像。
10.一种电子设备,其特征在于,包括:
摄像头,用于采集图像;图像信号处理器,用于处理raw域图像;显示屏,用于显示界面;
存储器,一个或多个处理器;所述一个或多个处理器与所述存储器、所述摄像头、所述信号处理器、所述显示屏耦合连接;
以及一个或多个计算机程序,其中,所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令;当所述指令被所述电子设备执行时,使得所述电子设备执行如权利要求1-9任一项所述的拍照方法。
11.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在计算机上运行时,使得所述计算机执行如权利要求1-9任一项所述的拍照方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011482589.5A CN114640783B (zh) | 2020-12-15 | 2020-12-15 | 一种拍照方法及相关设备 |
PCT/CN2021/135118 WO2022127611A1 (zh) | 2020-12-15 | 2021-12-02 | 一种拍照方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011482589.5A CN114640783B (zh) | 2020-12-15 | 2020-12-15 | 一种拍照方法及相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114640783A CN114640783A (zh) | 2022-06-17 |
CN114640783B true CN114640783B (zh) | 2024-03-05 |
Family
ID=81944360
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011482589.5A Active CN114640783B (zh) | 2020-12-15 | 2020-12-15 | 一种拍照方法及相关设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114640783B (zh) |
WO (1) | WO2022127611A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116048379B (zh) * | 2022-06-30 | 2023-10-24 | 荣耀终端有限公司 | 数据回灌方法及装置 |
CN115442517B (zh) * | 2022-07-26 | 2023-07-25 | 荣耀终端有限公司 | 图像处理方法、电子设备及计算机可读存储介质 |
CN115589539B (zh) * | 2022-11-29 | 2023-05-09 | 荣耀终端有限公司 | 一种图像调节的方法、设备及存储介质 |
CN117560552B (zh) * | 2024-01-10 | 2024-05-31 | 荣耀终端有限公司 | 拍摄控制方法、电子设备及可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105516507A (zh) * | 2015-12-25 | 2016-04-20 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN106454097A (zh) * | 2016-10-29 | 2017-02-22 | 深圳市金立通信设备有限公司 | 一种拍照方法及拍照设备 |
CN111885295A (zh) * | 2018-03-26 | 2020-11-03 | 华为技术有限公司 | 一种拍摄方法、装置与设备 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4325415B2 (ja) * | 2004-01-27 | 2009-09-02 | 株式会社ニコン | 仕上がり設定機能を有する電子カメラ、および電子カメラの仕上がり設定機能をカスタマイズする処理プログラム。 |
US20080091966A1 (en) * | 2006-10-13 | 2008-04-17 | Alpha Imaging Technology, R.O.C. | Structure and method for booting an image signal processor |
US8214766B1 (en) * | 2008-07-09 | 2012-07-03 | Adobe Systems Incorporated | Method and system for preview control for image adjustment |
US9019400B2 (en) * | 2011-05-31 | 2015-04-28 | Olympus Imaging Corp. | Imaging apparatus, imaging method and computer-readable storage medium |
KR20160146281A (ko) * | 2015-06-12 | 2016-12-21 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서 이미지 표시 방법 |
US10755425B2 (en) * | 2018-02-05 | 2020-08-25 | Intel Corporation | Automatic tuning of image signal processors using reference images in image processing environments |
CN109788204A (zh) * | 2019-03-12 | 2019-05-21 | 维沃移动通信有限公司 | 拍摄处理方法及终端设备 |
CN110399924B (zh) * | 2019-07-26 | 2021-09-07 | 北京小米移动软件有限公司 | 一种图像处理方法、装置及介质 |
CN110533611A (zh) * | 2019-08-26 | 2019-12-03 | 维沃移动通信有限公司 | 图片处理方法及终端设备 |
-
2020
- 2020-12-15 CN CN202011482589.5A patent/CN114640783B/zh active Active
-
2021
- 2021-12-02 WO PCT/CN2021/135118 patent/WO2022127611A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105516507A (zh) * | 2015-12-25 | 2016-04-20 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN106454097A (zh) * | 2016-10-29 | 2017-02-22 | 深圳市金立通信设备有限公司 | 一种拍照方法及拍照设备 |
CN111885295A (zh) * | 2018-03-26 | 2020-11-03 | 华为技术有限公司 | 一种拍摄方法、装置与设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2022127611A1 (zh) | 2022-06-23 |
CN114640783A (zh) | 2022-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114640783B (zh) | 一种拍照方法及相关设备 | |
US20230217098A1 (en) | Shooting method, graphical interface, and related apparatus | |
CN113592887A (zh) | 视频拍摄方法、电子设备及计算机可读存储介质 | |
CN111508039A (zh) | 一种墨水屏的文字处理方法及通信终端 | |
CN113395441A (zh) | 图像留色方法及设备 | |
CN113110731B (zh) | 媒体内容生成的方法和装置 | |
CN115242983A (zh) | 拍摄方法、电子设备、计算机程序产品及可读存储介质 | |
CN117201930B (zh) | 一种拍照方法和电子设备 | |
CN116055699B (zh) | 一种图像处理方法及相关电子设备 | |
CN113891008B (zh) | 一种曝光强度调节方法及相关设备 | |
CN112799557B (zh) | 一种水墨屏显示控制方法、终端及计算机可读存储介质 | |
CN117274106B (zh) | 一种照片修复的方法、电子设备及相关介质 | |
CN117119316B (zh) | 图像处理方法、电子设备及可读存储介质 | |
CN116363017B (zh) | 图像处理方法及装置 | |
CN117170560B (zh) | 一种图像变换方法、电子设备和存储介质 | |
CN117689545B (zh) | 图像处理方法、电子设备和计算机可读存储介质 | |
CN115546041B (zh) | 补光模型的训练方法、图像处理方法及其相关设备 | |
WO2022267781A1 (zh) | 建模方法及相关电子设备及存储介质 | |
CN114245011B (zh) | 图像处理方法、用户界面及电子设备 | |
CN117133252B (zh) | 图像处理方法和电子设备 | |
CN115225822B (zh) | 一种数据处理方法及电子设备 | |
EP4277257A1 (en) | Filming method and electronic device | |
CN114363507A (zh) | 图像处理方法及装置 | |
CN117956264A (zh) | 拍摄方法、电子设备、存储介质和程序产品 | |
CN116567408A (zh) | 显示方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |