CN117201930A - 一种拍照方法和电子设备 - Google Patents
一种拍照方法和电子设备 Download PDFInfo
- Publication number
- CN117201930A CN117201930A CN202311481102.5A CN202311481102A CN117201930A CN 117201930 A CN117201930 A CN 117201930A CN 202311481102 A CN202311481102 A CN 202311481102A CN 117201930 A CN117201930 A CN 117201930A
- Authority
- CN
- China
- Prior art keywords
- image
- electronic equipment
- electronic device
- preview
- exposure time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000033001 locomotion Effects 0.000 claims abstract description 279
- 238000012545 processing Methods 0.000 claims abstract description 42
- 239000011159 matrix material Substances 0.000 claims description 32
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 16
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 19
- 230000003068 static effect Effects 0.000 description 17
- 238000007726 management method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000009467 reduction Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Studio Devices (AREA)
Abstract
本申请公开了一种拍照方法和电子设备,涉及图像处理技术领域,应用于电子设备。电子设备包括摄像头和显示屏。拍照方法包括:电子设备在显示屏显示预览界面,预览界面中包括摄像头获取到的拍摄画面的预览图像。电子设备基于预览图像识别拍摄画面中是否存在局部运动区域。在电子设备接收到用户拍摄操作时,如果拍摄画面中存在局部运动区域,以短曝光时长获取拍摄画面的第一图像,以正常曝光时长获取拍摄画面的第二图像。第一图像中的局部运动区域更清晰,第二图像的整体图像质量更高,基于第一图像的局部运动区域和第二图像来获取目标图像,目标图像可满足局部运动区域清晰以及整图质量高的需求。
Description
技术领域
本申请实施例涉及图像处理技术领域,尤其涉及一种拍照方法和电子设备。
背景技术
随着用户对于电子设备的拍照功能的依赖度日益增加,用户对于高画质、高分辨率的需求也逐渐提高。电子设备的镜头经历由百万级像素到千万级像素、由定焦镜头到变焦镜头、从手动对焦到自动对焦的演变,可满足用户对于更高分辨率、更高画质以及自动变焦的拍摄需求。
目前的电子设备可基于其更高的像素以及自动变焦等拍摄能力,进行全局静态元素或全局动态元素的拍摄。但是,对于拍摄画面中既包括静态元素又包括动态元素的场景,现有的电子设备拍摄得到的图像质量较低,且存在部分图像模糊的问题。
发明内容
本申请实施例提供一种拍照方法和电子设备,拍摄得到的目标图像可满足局部运动区域清晰以及整图质量高的需求。
为达到上述目的,本申请的实施例采用如下技术方案。
第一方面,提供了一种拍照方法,应用于电子设备,电子设备包括摄像头和显示屏,包括:
电子设备通过显示屏显示预览界面,其中,预览界面包括摄像头获取到的拍摄画面。
电子设备基于预览图像,确定拍摄画面中是否存在局部运动区域。
在电子设备接收到用户拍摄操作时,如果拍摄画面中存在局部运动区域,电子设备以第一曝光时长获取拍摄画面的第一图像,并以第二曝光时长获取拍摄画面的第二图像。
电子设备基于第一图像中与局部运动区域对应的第一局部图像和第二图像,获取拍摄画面的目标图像。
其中,第一曝光时长小于第二曝光时长。示例性地,第一图像为以较短曝光时长获取到的图像,第二图像为以正常曝光时长获取到的图像。第二曝光时长可以为电子设备预设的、默认的正常曝光时长,正常曝光时长往往是用于拍摄静态画面。
在本申请中,电子设备在确定拍摄画面中存在局部运动区域,可以以短曝光时长获取第一图像,以正常曝光时长获取第二图像,第一图像中的局部运动区域更清晰,第二图像的整体图像质量更高,基于第一图像的局部运动区域和第二图像来获取目标图像,目标图像可满足局部运动区域清晰以及整图质量高的需求。
在第一方面的一种可能的实现方式中,电子设备基于预览图像,确定拍摄画面中是否存在局部运动区域,包括:
电子设备获取拍摄画面的第一预览图像和第二预览图像。其中,第一预览图像与第二预览图像为相邻图像帧。
电子设备基于第一预览图像中第一像素的灰度值,与第二预览图像中对应的第二像素的灰度值之间的灰度差值,获取差分图像,如果差分图像中灰度差值大于预设阈值的像素的数量,处于预设数值范围内,确定拍摄画面中存在局部运动区域。
在本申请中,处理器可获取拍摄画面的相邻的预览图像的差分图像,基于差分图像的二值化图像来识别运动的像素点以及背景像素点,可以有效地确定拍摄画面中是否存在局部运动区域。在确定存在局部运动区域时可进行多帧变曝光拍摄,得到第一图像和第二图像。
在第一方面的另一种可能的实现方式中,该方法还包括:
电子设备对灰度差值大于预设阈值的像素所形成的区域进行连通域分析,获取由相邻的相同灰度差值的像素所形成的至少一个连通区域,得到连通区域对应的至少一个的局部运动区域。
在本申请中,处理器可获取拍摄画面的相邻的预览图像的差分图像,基于差分图像的二值化图像来识别运动的像素点以及背景像素点,基于运动的像素点进行连通域分析,可以有效地确定拍摄画面中是否存在局部运动区域。
在第一方面的另一种可能的实现方式中,该方法还包括:
电子设备获取局部运动区域的目标面积。
目标面积大于局部运动区域。
那么,电子设备以第一曝光时长获取拍摄画面的第一图像,并以第二曝光时长获取拍摄画面的第二图像,包括:
如果目标面积小于预设面积阈值,电子设备以第一曝光时长获取第一图像,并以第二曝光时长获取第二图像。
在本申请中,在得到运动区域之后,电子设备还可以基于运动区域的目标面积判断运动区域占据整个图像的面积比例,从而在确定存在局部运动区域,而非大面积运动区域的场景下,才执行本实施例提供的以第一曝光时长获取第一图像,以第二曝光时长获取第二图像的拍照策略,以达到获取清晰且质量高的图像。针对图像中存在大面积运动区域的场景,电子设备直接以短曝光时长进行目标图像的获取,来保留更多运动细节。
在第一方面的另一种可能的实现方式中,该方法还包括:
电子设备获取第一预览图像的局部运动区域对应的第一预览局部图像和第二预览图像的局部运动区域对应的第二预览局部图像。
电子设备根据第一预览局部图像中第三像素,与第二预览局部图像中对应的第四像素之间的坐标差,确定局部运动区域的运动估计值,电子设备根据运动估计值,确定第一曝光时长。
其中,运动估计值越大,第一曝光时长越短。运动估计值可一定程度表示拍摄画面中的物体的移动幅度和移动速度,拍摄画面中的物体的移动幅度和移动速度越大,曝光时长应该越短,才可更准确地获取到运动的物体的运动的细节。
在本申请中,根据相邻图像帧的运动区域的坐标差值,确定运动估计值,从而可以基于运动估计值来确定短曝光对应的第一曝光时长,使得基于第一曝光时长得到的第一图像中局部运动区域对应的图像更清晰。
在第一方面的另一种可能的实现方式中,第一曝光时长大于第二曝光时长的1/64。
在本申请中,为了保证短帧的图像质量,在一些实施例中,第一曝光时长最短为第二曝光时长的1/64。也即,N的最大值为64。
在第一方面的另一种可能的实现方式中,电子设备根据运动估计值,确定第一曝光时长,包括:
电子设备基于拍摄画面的视场角的对角线长度,确定局部运动区域的第一幅度值和第二幅度值,第二幅度值小于第一幅度值。
电子设备将运动估计值与预设曝光间隔的乘积作为第一参数。
若第一参数大于或等于第一幅度值,电子设备确定第一曝光时长为第一时长。若第一参数小于或等于第二幅度值,电子设备确定第一曝光时长为第二时长。其中,第二幅度值小于第一幅度值。若第一参数大于第二幅度值且小于第一幅度值,电子设备确定第一曝光时长为第三时长。
其中,第三时长大于第一时长,且小于第二时长;第一时长、第二时长、第三时长根据第二曝光时长的不同倍数确定。
在本申请中,电子设备根据运动估计值的不同,确定相应地第一曝光时长,使得短曝光采集到的第一图像可以更好地保留运动区域的运动细节。
在第一方面的另一种可能的实现方式中,电子设备基于第一图像的局部运动区域对应的第一局部图像和第二图像,获取拍摄画面的目标图像,包括:
电子设备获取第一图像的第一灰度图像和第二图像的第二灰度图像。
电子设备将第一灰度图像与第二灰度图像进行亮度对齐,得到亮度对齐后的第一灰度图像。
电子设备将亮度对齐后的第一灰度图像与第二灰度图像进行图像配准,获取单应矩阵;单应矩阵用于表征亮度对齐后的第一灰度图像的各像素与第二灰度图像的各像素之间的对应关系。
电子设备基于单应矩阵,对第一图像进行仿射变换,获取第一图像的第一局部图像;电子设备基于第一局部图像和第二图像,获取目标图像。
在本申请中,针对局部运动区域,将短曝光获取到的第一图像亮度对齐到正常曝光获取到的第二图像,按照局部运动区域的坐标对第一局部图像做裁切截取,将该第一局部图像替换第二图像中的第二局部图像,这样既保证了整图的清晰度以及动态范围,同样通过短曝光规避了运动模糊的情况。基于本实施例提供的拍照方法,可以有效减小局部运动导致的图像成片率低,保证算法整图出图质量,从而提升用户的体验感受。解决了拍照时画面中存在局部运动,导致的运动模糊或图像质量下降的问题,改善用户拍照体验。
在第一方面的另一种可能的实现方式中,电子设备将第一灰度图像与第二灰度图像进行亮度对齐,得到亮度对齐后的第一灰度图像,包括:
电子设备获取第一曝光时长与第二曝光时长的比值。电子设备将第一灰度图像中各像素的灰度值与比值相乘,获取各像素的目标灰度值,基于各像素的目标灰度值,得到亮度对齐后的第一灰度图像。
在本申请中,电子设备基于比值进行第一灰度图像的亮度对齐,使得亮度对齐后的第一灰度图像与第二灰度图像的亮度值处于同一范围,以进行更准确的图像配准操作。
在第一方面的另一种可能的实现方式中,电子设备将亮度对齐后的第一灰度图像与第二灰度图像进行图像配准,获取单应矩阵,包括:
电子设备对亮度对齐后的第一灰度图像和第二灰度图像进行直方图均衡化处理,得到亮度对齐后的第一灰度图像对应的第一均衡图像和第二灰度图像对应的第二均衡图像。电子设备将第一均衡图像与第二均衡图像进行图像配准,获取单应矩阵。
在本申请中,将第一灰度图像和第二灰度图像进行直方图均衡化,将灰度图像的灰度值恢复至灰度值的全范围内,可以更准确地进行图像配准,获取到的单应矩阵更准确。
在第一方面的另一种可能的实现方式中,电子设备基于单应矩阵,对第一图像进行仿射变换,获取第一图像的第一局部图像,包括:
电子设备将第一图像与所述第二图像进行亮度对齐,得到亮度对齐后的第一图像。
电子设备基于单应矩阵,对亮度对齐后的第一图像进行仿射变换,获取第一局部图像。
其中,仿射变换包括旋转、平移、缩放、翻转中至少一种操作。
在本申请中,将第一图像和第二图像进行亮度对齐,使得亮度对齐后的第一图像与第二图像的亮度值处于同一范围,从而使得仿射变换操作更准确。
在第一方面的另一种可能的实现方式中,电子设备基于第一局部图像和第二图像,获取目标图像,包括:
电子设备将第一局部图像替换第二图像的第二局部图像,获取目标图像。
在本申请中,处理器将第一图像中的第一局部图像进行裁剪,将第一局部图像替换到第二图像中,第一局部图像替换第二局部图像,得到目标图像。目标图像既保证了整图质量可以达到不做降曝光的水平,又通过融合短曝光的局部运动区域,解决了局部运动区域对应图像模糊的问题。
在第一方面的另一种可能的实现方式中,电子设备的拍照模式包括多帧变曝光拍摄模式,该方法还包括:
如果拍摄画面中存在局部运动区域,电子设备在预览界面显示引导控件。
其中,引导控件用于表征是否开启多帧变曝光拍摄模式。
那么,电子设备以第一曝光时长获取拍摄画面的第一图像,以第二曝光时长获取拍摄画面的第二图像,包括:
电子设备响应于用户对于标控件的触控操作,以第一曝光时长获取第一图像,并以第二曝光时长获取第二图像。
在本申请中,通过显示引导信息,增加与用户的交互,通过用户的触控操作,进一步确认开启多帧变曝光拍摄模式进行拍摄,使得获取到的目标图像可以满足用户的需求,提高用户的拍照体验。
第二方面,提供了一种电子设备,该电子设备包括存储器、摄像头、显示屏和一个或多个处理器;所述摄像头、所述存储器、所述显示屏与所述处理器耦合;所述存储器中存储有计算机程序代码,所述计算机程序代码包括计算机指令,当所述计算机指令被所述处理器执行时,使得所述电子设备执行如上述第一方面中任一项所述的方法。
第三方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在电子设备上运行时,使得电子设备可以执行上述第一方面中任一项所述的方法。
第四方面,提供了一种包含指令的计算机程序产品,当其在电子设备上运行时,使得电子设备可以执行上述第一方面中任一项所述的方法。
第五方面,本申请实施例提供了一种芯片,芯片包括处理器,处理器用于调用存储器中的计算机程序,以执行如第一方面的方法。
可以理解地,上述提供的第二方面所述的电子设备,第三方面所述的计算机可读存储介质,第四方面所述的计算机程序产品,第五方面所述的芯片所能达到的有益效果,可参考第一方面及其任一种可能的设计方式中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种拍摄画面中包括静态元素和动态元素的示意图;
图2为本申请实施例提供的一种拍摄图像的示意;
图3为本申请实施例提供的一种电子设备的结构示意图;
图4为本申请实施例提供的一种电子设备的软件结构框图;
图5为本申请实施例提供的一种拍照方法的流程示意图;
图6为本申请实施例提供的一种手机的相机应用的预览界面的示意图;
图7为本申请实施例提供的一种拍照方法中电子设备各个模块的交互示意图;
图8为本申请实施例提供的另一种拍照方法的流程示意图;
图9为本申请实施例提供的二值化图像的连通域的示意图;
图10为本申请实施例提供的另一种拍照方法的流程示意图;
图11为本申请实施例提供的一种获取运动区域的目标面积的示意图;
图12为本申请实施例提供的一种计算运动区域的运动估计值的示意图;
图13为本申请实施例提供的另一种拍照方法的流程示意图;
图14为本申请实施例提供的另一种拍照方法的流程示意图;
图15为本申请实施例提供的另一种拍照方法的流程示意图;
图16为本申请实施例提供的一种手机相机应用的预览界面包括引导控件的示意图;
图17为本申请实施例提供的一种手机相机应用的预览界面包括提示控件的示意图;
图18为本申请实施例提供的一种芯片***的结构示意图。
具体实施方式
在本申请实施例的描述中,以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。还应当理解,在本申请以下各实施例中,“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。术语“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系;例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接,除非另外说明。“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
电子设备的镜头经历由百万级像素到千万级像素、由定焦镜头到变焦镜头、从手动对焦到自动对焦的演变,可满足用户对于更高分辨率、更高画质以及自动变焦的拍摄需求。目前的电子设备可基于其更高的像素以及自动变焦等拍摄能力,进行全局静态元素或全局动态元素的拍摄。
在拍摄全局静态元素或全局动态元素时,电子设备可以采用不同的曝光时长进行拍摄。其中,曝光时长指的是快门打开到关闭的时间间隔。曝光时长也可认为是进光时间,在一定程度上,曝光时长越长(进光时间越长),进光量越大,拍摄所得到的图像就越亮,这类图像经过图像质量处理以及降噪处理后得到的最终图像的图像质量比较高。
在拍摄全局静态元素时,对于曝光时长没有特定的要求。拍摄全局静态元素的曝光时长一般为默认曝光时长,默认曝光时长相对较长,在拍摄全局静态元素时,可获取到图像质量较高的图像。拍摄全局静态元素的曝光时长还可以根据拍摄场景的光线程度等确定,比如,在阴天场景,则可以适当延长默认曝光时长,增加进光量,以提高图像质量。若为大晴天场景,则可以适当缩短默认曝光时长,减少进光量,来保证图像质量。
在拍摄全局动态元素时,曝光时长需要设置成较短的时长,短曝光可以将动态元素的运动冻结,保留动态元素的细节。现有的电子设备在进行拍摄时,默认的曝光时长是适应于拍摄全局静态元素的曝光时长。若用户存在拍摄动态元素的需求,示例性地,用户可开启电子设备的相机的运动模式,在运动模式下,使用运动短曝光进行拍摄,获取比较清晰的图像。
但是在实际场景中,拍摄画面里往往会包括静态元素和动态元素。比如,拍摄画面包括一个站在建筑物前挥手的人,其中,人的躯干部分和建筑物可视为拍摄画面中的静态元素,人挥动着的手为拍摄画面中的动态元素。参考图1的(a),拍摄画面中包括站在桌子后面、窗户前面的一个挥着手的人,拍摄画面中的人的身体、人背后的窗户以及人前面的桌子都为静态元素,挥动的手为动态元素。参考图1的(b),拍摄画面中包括在草坪上移动的猫,其中,拍摄画面中的草坪为静态元素,移动的猫为动态元素。
对于拍摄画面里包括静态元素和动态元素的拍摄场景,若不使用运动短曝光处理,以拍全局摄静态元素的默认曝光时长进行拍摄,由于默认曝光时长为相对较长的时长,对于拍摄画面中的动态元素,无法抓取其的运动细节,最终拍摄得到的图像的中动态元素部分会模糊。参考图2,图2给出一种拍摄图像的示意。现有的电子设备中的相机以默认曝光时长对图1的(a)的拍摄画面进行拍摄,得到的图像中局部运动区域(挥动的手)就会出现图像模糊的问题。
若使用运动短曝光处理,在确定拍摄画面中有动态元素,降低自动曝光(autoexposure,AE),由于短曝光时长进光量较少等多种因素,最终拍摄得到的整体图像质量下降。在高动态范围成像(high dynamic range imaging, HDR)场景下甚至会出现图像动态范围损失的问题。
本申请实施例提供一种拍照方法,可解决现有技术无法在拍摄画面包括静态元素和动态元素的场景下获取到清楚高质量图像的问题。本申请实施例中,电子设备在确定拍摄画面中存在局部运动区域后,在接收到用户的拍摄操作时,可以不同曝光时长获取拍摄画面的第一图像和第二图像。比如,以短曝光时长获取第一图像,以正常曝光时长获取第二图像。基于第一图像的局部运动区域对应的第一局部图像和第二图像,来获取拍摄画面对应的目标图像。以短曝光时长获取到的第一图像可保证局部运动区域对应的图像清楚,以正常曝光时长获取到的第二图像可保证图像质量较高,电子设备基于第一图像的第一局部图像和第二图像得到的目标图像,可满足局部运动区域清楚以及整图质量高的要求,改善用户拍照体验。
本申请实施例中提供的一种拍照方法,可应用于包括摄像头和显示屏的电子设备中。示例性地,电子设备可以为便携式计算机(如手机)、平板电脑、笔记本电脑、可穿戴电子设备(如智能手表)、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备等设备,以下实施例对该电子设备的具体形式不做特殊限制。
图3示出了电子设备100的结构示意图。电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,传感器模块180,摄像头193,显示屏194等。其中传感器模块180可以包括压力传感器180A、距离传感器180B,环境光传感器180C、触摸传感器180D等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了***的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等***器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
在一些实施例中,电子设备包括用于拍照的应用,比如,***自带的相机应用或第三方拍照应用。电子设备响应于用户开启这些应用的操作,在显示屏194中显示预览界面。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP 用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度等参数进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
在一些实施例中,电子设备可通过调节感光元件的快门速度来控制曝光时长。快门速度越快,曝光时长越短。通过调节不同的快门速度,得到不同的曝光时长,从而实现以短曝光时长获取拍摄画面的第一图像以及以正常曝光时长获取拍摄画面的第二图像。
在一些实施例中,电子设备通过显示屏194显示摄像头193的拍摄画面对应的预览图像。处理器(CPU/GPU)通过如果确定拍摄画面中存在局部运动区域,向ISP发送拍照策略。在接收到用户的拍照操作时,ISP基于拍照策略,控制摄像头193以短曝光时长(第一曝光时长)采集拍摄画面的第一图像,以正常曝光时长(第二曝光时长)采集拍摄画面的第二图像。ISP将采集到的第一图像和第二图像传输给处理器。处理器基于算法库中预先设定的图像处理算法,基于第一图像的局部运动区域对应的第一局部图像和第二图像进行图像处理,得到拍摄画面的目标图像。在一些实施例中,在处理器得到目标图像之后,还可以将目标图像以较短的时间显示于显示屏194中。比如,处理器将目标图像发送至显示屏进行1秒的预览显示,显示过后,显示屏恢复显示预览界面。在一些实施例中,处理器还可以将目标图像存储至电子设备的相册中。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network ,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作***,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
音频模块170包括扬声器,受话器,麦克风,耳机接口。电子设备100可以通过音频模块170,扬声器,受话器,麦克风,耳机接口,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。
例如:当触摸操作作用于相机应用图标时,执行开启相机应用指令。进一步地,电子设备100在开启相机应用之后,在显示屏194显示预览界面。在本实施例中,电子设备显示预览界面,预览界面中包括拍摄画面的预览图像。处理器(CPU/GPU)可检测当前拍摄画面中是否存在局部运动区域。若处理器(CPU/GPU)确定拍摄画面中包括局部运动区域,处理器(CPU/GPU)向ISP发送拍照策略。当触摸操作作用于拍照按钮,相机应用向ISP发送控制指令,ISP响应于控制指令,基于拍照策略控制摄像头193以短曝光时长采集拍摄画面的第一图像,以正常曝光时长采集拍摄画面的第二图像。在ISP获取第一图像和第二图像之后,将第一图像与第二图像发送给处理器(CPU/GPU),处理器(CPU/GPU)对第一图像中局部运动区域对应的第一局部图像和第二图像进行图像处理,从而得到当前拍摄操作所对应的拍摄画面的目标图像。
距离传感器180B,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180B测距以实现快速对焦。
环境光传感器180C用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180C也可用于拍照时自动调节白平衡。
在一些实施例中,电子设备可以通过环境光传感器180C采集的环境光数据,来确定第一曝光时长和/或第二曝光时长,以进一步确保拍摄得到的图像质量。
触摸传感器180D,也称“触控面板”。触摸传感器180D可以设置于显示屏194,由触摸传感器180D与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180D用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180D也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
电子设备100的软件***可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android***为例,示例性说明电子设备100的软件结构。
图4是本发明实施例的电子设备100的软件结构框图。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android***分为应用程序层,应用程序框架层(application framework),硬件抽象层(hardware abstraction layer,HAL)以及硬件层。
应用程序层可以包括一系列应用程序包。如图4所示,应用程序包可以包括相机/第三方应用等可以用来拍摄的应用程序,以及包括用于存储拍摄得到的图像的图库的应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图4所示,应用程序框架层可以用于为相机/第三方应用提供API的相机模块。
在一些实施例中,应用程序框架层还可以包括用于实现其他功能的模块。比如,窗口管理器、内容提供器、视图***、资源管理器等等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图***包括可视控件,例如显示文字的控件,显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
HAL层包括相机HAL和算法库。相机HAL提供用于统一管理摄像头或相机模块所能调用的其他底层器件的接口。
算法库为处于硬件层的CPU或GPU提供执行本实施例提供的拍照方法中识别拍摄画面中是否存在局部运动区域以及基于第一图像与第二图像进行图像处理的算法逻辑。
硬件层包括ISP、摄像头、显示屏以及CPU/GPU。
在本实施例中,用户开启相机应用时,相机应用通过相机模块、相机HAL向ISP下发控制指令,ISP控制摄像头获取拍摄画面。
ISP可以将拍摄画面返回至相机应用,相机应用在显示屏显示拍摄画面对应的拍摄预览图像。
ISP还可以将拍摄画面发送给CPU/GPU。
CPU/GPU基于算法库所提供的算法,识别拍摄画面中是否存在局部运动区域。如果确定识别拍摄画面中存在局部运动区域,则向ISP发送拍照策略。示例性的,拍照策略包括以第一曝光时长获取第一图像,以第二曝光时长获取第二图像。
ISP接收到相机应用通过相机模块、相机HAL下发的拍照指令时,也即,电子设备接收到用户的拍照操作时。若ISP中存在拍照策略,那么ISP基于拍照策略,控制摄像头以第一曝光时长获取第一图像,以第二曝光时长获取第二图像。
ISP在获取到第一图像和第二图像之后,将第一图像和第二图像发送给CPU/GPU。
CPU/GPU基于算法库所提供的算法,基于第一图像与第二图像进行图像处理,获取拍摄画面的目标图像。
在一些实施例中,CPU/GPU获取到目标图像之后,可以将目标图像通过相机HAL、相机模块返回至相机应用,相机应用通过相机HAL、相机模块控制显示屏显示目标图像。或者,CPU/GPU获取到目标图像之后可以将目标图像发送至显示屏进行显示。
在一些实施例中,CPU/GPU获取到目标图像之后,还可以将目标图像存储至图库应用中。
图4中以虚线箭头流向表示指令流,以实线箭头流向表示数据流。
在一些实施例中,HAL层与硬件层之间还包括内核层,内核层包括了与硬件层各个器件对应的驱动,用于使能器件以及对应于各个器件的指令下达和数据上传。比如,内核层包括摄像头驱动、显示驱动、传感器驱动等等。
本实施例提供一种拍照方法,可在识别到拍摄画面中存在局部运动区域时,以不同曝光时长采集拍摄画面的第一图像和第二图像,从而基于第一图像和第二图像进行图像处理,得到目标图像。以电子设备为手机,通过相机应用进行拍照的场景来举例说明。参考图5,图5给出了一种拍照方法的流程示意图,包括:
S201、电子设备在显示屏显示预览界面。
在一些实施例中,在电子设备在显示屏显示拍摄预览界面之前,拍照方法还包括电子设备接收用户启动相机应用的操作。
也就是说,在用户通过点击相机应用的图标,或者,通过语音方式或其他方式启动相机应用后,电子设备显示相机应用的启动界面,这里,预览界面为相机应用的启动界面。
在一些实施例中,用于进行目标图像的拍摄的应用也可以为第三方应用。预览界面为第三方应用的拍摄界面。
其中,预览界面包括摄像头以默认曝光时长获取到连续多帧拍摄画面的预览图像。示例性地,参考图5所示的手机的相机应用的预览界面。其中,预览界面601中包括预览图像602。
在一些实施例中,预览界面的具体内容可参考图6给出的示意。其中,预览界面601中还可以包括拍照控件603、转换摄像头控件604、图库控件605、不同功能控件606以及不同模式控件607等。其中,不同功能控件606包括拍照、视频、慢动作、专业等功能控件。不同模式控件607包括闪光灯、AI拍照、设置等模式控件。
S202、电子设备基于预览图像,确定拍摄画面中是否存在局部运动区域。
在本实施例中,电子设备在获取到预览图像之后,在显示预览图像的同时,还可以基于预览图像进行拍摄画面是否存在局部运动区域的检测。比如,图5中预览图像所对应的实际拍摄画面中包括站在窗前的人挥动着手的一个人。电子设备可以获取两个或多个相邻的预览图像,基于相邻的预览图像中各个像素点的位置变化来确定拍摄画面中是否有位置变化的区域,相邻的预览图像中存在多个位置变化的像素点,这些像素点所在的区域可认为是运动区域。
在一些实施例中,还可以将相邻的预设图像的像素点的位置坐标输入几何着色器,从而得到各个预设图像对应的像素点的顶点图像,基于相邻的顶点图像之间顶点的坐标变化,确定是否存在运动区域。
在一些实施例中,运动区域对应面积若小于预设的整个图像面积的比值,便可认为运动区域是局部运动区域。比如,比值为50%。如果运动区域对应面积占整个图像面积的比值小于50%,认为运动区域属于局部运动区域。若运动区域对应面积占整个图像面积的比值大于或等于50%,认为运动区域的面积比较大,不是局部运动区域。
S203、在电子设备接收到用户拍摄操作时,如果拍摄画面中存在局部运动区域,电子设备以第一曝光时长获取拍摄画面的第一图像,以第二曝光时长获取拍摄画面的第二图像。
其中,第一曝光时长小于第二曝光时长。
在本实施例中,第二曝光时长可以为电子设备预设的默认曝光时长,该默认曝光时长为拍摄静态拍摄画面时常采用的曝光时长。示例性地,默认曝光时长可以为3秒。第一曝光时长为小于3秒的时长。第一曝光时长的具体数值可以根据局部运动区域的运动幅度进一步确定。为了更好地捕捉运动细节,局部运动区域的多运动越剧烈,第一曝光时长应越短。
采用短曝光采集到的第一图像,由于曝光时间较短,进光量较少,所以亮度比较低,可参考图5中的第一图像的示意。由于短曝光更容易抓住运动细节,第一图像具有更清晰的局部运动区域对应的局部图像。相应地,采用正常曝光采集到的第二图像,进光量正常,亮度正常,具有较高的图像质量,可参考图5中的第二图像的示意。第二图像中局部运动区域对应的局部图像比较模糊。
电子设备在接收到用户拍摄操作时,也即,用户在相机应用的预览界面点击拍照控件603,或者,用户通过语音输入拍照时,电子设备如果确定拍摄画面中存在局部运动区域,则认为需要进行多帧变曝光拍摄。也即,以较短曝光时长拍摄第一图像,以正常曝光时长拍摄第二图像。其中,以短曝光时长拍摄第一图像,可以拍摄一帧图像。以正常时长拍摄第二图像,可以拍摄多帧第二图像。
在一些实施例中,预览图像为摄像头以正常曝光时长所采集到的连续多帧图像。正常曝光时长为第二曝光时长。
在一些实施例中,为了减少电子设备的数据处理,以及,考虑到由于变曝光存在时间间隔,可能导致第一图像所对应的拍摄画面中的局部运动区域发生变化,造成第二图像与第一图像的运动区域差异比较大的问题。本实施例中,第二图像也可以为已经获取到的连续多帧预览图像中的最后若干帧图像中选取的清晰度较佳的一帧图像(建议在预览中最后1到3帧做选取)。这样获取到的第二图像,其对应的曝光时长仍然为第二曝光时长,但是减少了电子设备获取第二图像的时间,进一步保证了第一图像与第二图像的局部运动区域大体一致或差异不大,从而基于本实施例提供的拍照方法对第一图像与第二图像进行图像处理,可以得到更准确的目标图像。
S204、电子设备基于第一图像的局部运动区域对应的第一局部图像和第二图像,获取拍摄画面的目标图像。
其中,参考图5所示的2031区域,第一局部图像为第一图像中对应于拍摄画面的局部运动区域的图像。
在电子设备得到第一图像和至少一个第二图像之后,由于第一图像为短曝光获取的图像,第一图像中局部运动区域对应的第一局部图像更清晰。第二图像为正常曝光获取到的图像,第二图像的图像质量更高。基于第一图像的第一局部图像和第二图像进行图像融合处理,得到拍摄画面的目标图像,目标图像的局部运动区域对应的图像清楚,且,整个图像的质量较高。
在一些实施例中,电子设备可以将对第一图像的第一局部图像替换第二图像中局部运动区域对应的第二局部图像,从而解决第二图像中第二局部图像模糊的问题,从而得到局部图像清晰整图质量较高的目标图像。
在一些实施例中,电子设备还可以基于第一图像的第一局部图像,对第二图像中第二局部图像进行图像处理,比如,以第一局部图像作为参考,将第二局部图像进行图像修复,解决第二图像中第二局部图像模糊的问题,从而得到局部图像清晰整图质量较高的目标图像。
本申请实施例提供一种拍照方法,电子设备在确定拍摄画面中存在局部运动区域后,在接收到用户的拍摄操作时,可以不同曝光时长获取拍摄画面的第一图像和第二图像。比如,以短曝光时长获取第一图像,以正常曝光时长获取第二图像。基于第一图像的局部运动区域对应的第一局部图像和第二图像,来获取拍摄画面对应的目标图像。以短曝光时长获取到的第一图像可保证局部运动区域对应的图像清楚,以正常曝光时长获取到的第二图像可保证图像质量较高,电子设备基于第一图像的第一局部图像和第二图像得到的目标图像,可满足局部运动区域清楚以及整图质量高的要求,对于拍摄画面中基包括动态元素又包括静态元素的场景,本实施例提高的方法可得到动态元素清晰、整图图像质量高的目标图像,满足用户需求,改善用户拍照体验。
结合上述图5实施例给出拍照方法,以及图4给出的电子设备中的各个模块,比如,相机应用、处理器、ISP、摄像头以及显示屏,以各个模块交互的形式介绍本实施例提供的一种拍照方法,参考图7,包括:
S301、相机应用接收用户的启动相机操作,向ISP发送第一控制指令。
在一些实施例中,用户开启相机应用,相机应用响应于用户的操作,向ISP发送第一控制指令。其中,第一控制指令用于指示ISP控制摄像头进行拍摄画面的数据采集,并获取拍摄画面的预览图像。
S302、ISP接收到控制指令,控制摄像头进行拍摄画面的数据采集。
在一些实施例中,ISP接收到控制指令,控制摄像头进行拍摄画面的数据采集,获取拍摄画面的图像数据。
S303、ISP基于拍摄画面的数据获取预览图像。
在一些实施例中,ISP基于获取拍摄画面的图像数据进行传统的图像处理,得到拍摄画面的预览图像。
S304、ISP将预览图像返回至相机应用。
相机应用获取预览图像之后进行显示,也即:
S305、相机应用在显示屏显示预览界面。
其中,预览界面中包括摄像头获取到的拍摄画面的预览图像、拍照控件、转换摄像头控件、图库控件、不同功能控件以及不同模式控件等,可参考图6所示。
在预览界面显示拍摄画面的预览图像可以让用户更直观的确定所要拍摄的画面结构等信息。
在一些实施例中,ISP获取预览图像还可以直接将预览图像发送给处理器。
S306、处理器基于预览图像确定拍摄画面中是否存在局部运动区域。
在一些实施例中,处理器可以基于多个相邻的预览图像中各个像素点的坐标位置,确定拍摄画面是否存在局部运动区域。
在一些实施例中,如果处理器确定拍摄画面中存在局部运动区域,处理器可以向ISP发送预设拍照策略,该预设拍照策略用于表征需要以不同曝光时长采集拍摄画面的图像。
在一些实施例中,如果处理器确定拍摄画面中不存在局部运动区域,则可以不做任何数据或指令的传输。
S307、相机应用接收用户的拍摄操作,向ISP发送第二控制指令。
其中,第二控制指令用于指示ISP控制摄像头进行拍摄画面的数据采集,并获取目标图像。
S308、ISP在接收到第二控制指令时,判断是否存在预设拍照策略。如果存在预设拍照策略,执行S309;如果不存在预设拍照策略,执行S313。
由于是处理器对拍摄画面是否存在局部运动区域进行了识别,处理器需要将识别结果传输给ISP。在ISP接收到相机应用的第二控制指令时,可以基于相应的识别结果控制摄像头采集相应的数据。
在一些实施例中,ISP若判断存在预设拍照策略,则认为识别结果为拍摄画面中存在局部运动区域,从而控制摄像头以不同曝光来采集数据。ISP若判断不存在预设拍照策略,则认为识别结果为拍摄画面中不存在局部运动区域,从而控制摄像头以正常曝光来采集数据。
在一些实施例中,处理器也可以向ISP发送第三控制指令,若ISP接收到第三控制指令,则控制摄像头以不同曝光来采集数据。若ISP在预设时长内没有接收到第三控制指令,则控制摄像头以正常曝光来采集数据。
在一些实施例中,处理器也可以向ISP发送拍照标识,拍照标识为第一值时,指示识别结果为拍摄画面中存在局部运动区域,从而ISP控制摄像头以不同曝光来采集数据。拍照标识为第二值时,指示识别结果为拍摄画面中不存在局部运动区域,ISP控制摄像头以正常曝光来采集数据。
在一些实施例中,处理器还可以向ISP发送第一曝光时长和第二曝光时长。比如,拍摄策略中包括第一曝光时长和第二曝光时长;比如,第三控制指令中携带第一曝光时长和第二曝光时长等等。
S309、ISP控制摄像头以第一曝光时长获取第一拍摄数据,以第二曝光时长获取第二拍摄数据。
ISP控制摄像头以第一曝光时长获取第一拍摄数据,以第二曝光时长获取第二拍摄数据。
其中,第二拍摄数据可以为至少一组拍摄数据。
S310、ISP基于第一拍摄数据获取第一图像,基于第二拍摄数据获取第二图像。
ISP基于第一拍摄数据进行传统的图像处理,获取第一图像。ISP基于至少一组第二拍摄数据进行传统的图像处理,获取至少一个第二图像。
S311、ISP将第一图像和第二图像发送给处理器。
S312、处理器根据第一图像的局部运动区域对应的第一局部图像和第二图像,获取拍摄画面的目标图像。
可参考上述实施例S204。
在一些实施例中,在执行S308之后:
S313、ISP控制摄像头以第二曝光时长获取第三拍摄数据。
其中,第二曝光时长为电子设备的默认曝光时长(正常曝光时长),基于默认曝光时长可获取到的图像的质量较高。
如果拍摄区域不存在局部运动区域,则ISP可能不会接收到处理器发送的预设拍照策略;或者,接收到用于指示正常拍摄的第四控制指令;或者,接收到用于指示正常拍摄的拍照标识,在这种情况下,不需要降低曝光来捕捉运动区域的动态细节,ISP控制摄像头以正常曝光时长来获取第三拍摄数据。
S314、ISP基于第三拍摄数据获取拍摄画面的目标图像。
ISP基于第三拍摄数据进行传统的图像处理,获取目标图像。拍摄区域不存在局部运动区域,不需要降低曝光来捕捉运动区域的动态细节,以正常曝光时长获取到的目标图像的图像质量较高。
在一些实施例中,ISP可以获取至少两个相邻帧的预览图像,将至少两个相邻帧的预览图像发送给处理器。处理器基于获取到的至少两个相邻帧的预览图像确定拍摄画面中是否存在局部运动区域。在一些实施例中,上述步骤S202中电子设备(处理器)确定拍摄画面中是否存在局部运动区域具体包括,参考图8:
S2021、处理器获取拍摄画面的第一预览图像和第二预览图像。
其中,第一预览图像与第二预览图像为相邻图像帧。
在本实施例中,ISP控制摄像头以正常曝光时长连续采集拍摄画面的数据,形成连续的多帧预览图像显示在相机应用的预览界面。同时,ISP还可以将连续的多帧预览图像存储至缓冲区。
处理器可以从缓冲区中获取连续的两帧预览图像。比如,第一预览图像可以为第N-1帧预览图像,第二预览图像可以为第N帧预览图像。如图8所示的第一预览图像与第二预览图像由于人手部在挥动,存在手部位置上的差异。
S2022、处理器基于第一预览图像中第一像素的灰度值,与第二预览图像中对应的第二像素的灰度值之间的灰度差值,获取差分图像。
处理器获取相邻的第一预览图像和第二预览图像,可以使用帧差法,将第N帧预览图像与第N-1帧预览图像进行比较,来确定相邻图像帧之间是否存在像素点位置的移动。
在一些实施例中,当连续的多帧预览图像中存在移动物体的时候,相邻图像帧之间在灰度上会有差别。比如,可通过获取第N帧预览图像与第N-1帧预览图像之间的像素点的灰度值的差值的绝对值,得到差分图像(差异帧),参考图8中的差分图像。差分图像可用于表示第N帧预览图像与第N-1帧预览图像之间的灰度差别。其中,静止的物体在差分图像上表现出来的像素点(背景像素点)的灰度值的差值为0,而移动物体特别是移动物体的轮廓处,会存在灰度变化,因此轮廓处的像素点(运动像素点)的灰度值的差值不为0。基于该原理,像素点的灰度值的差值的绝对值超过一定阈值时,即可判断为运动像素点,基于运动像素点实现运动区域的检测。
其中,获取第N帧预览图像与第N-1帧预览图像的差分图像的计算过程可表示为:
其中, 为第N帧预览图像的像素点(x,y)的灰度值,/>为第N-1帧预览图像的像素点的灰度值。
在一些实施例中,处理器还可以先对第一预览图像和第二预览图像进行降噪处理,比如,对第一预览图像和第二预览图像做高斯模糊消除噪声干扰,使得差分图像更准确。
S2023、如果差分图像中灰度差值大于预设阈值的像素的比例,处于预设比值范围内,确定拍摄画面中存在局部运动区域。
在本实施例中,处理器可以获取差分图像中灰度差值大于预设阈值的像素,参考图8中对于差分图像的二值化图像中的框选区域中白色的像素点。比如,灰度值最大值为255,预设阈值可以为55。处理器可以获取灰度值差值大55的像素,如果灰度差值大于55的像素占整个图像的比例处于预设比值范围内确定拍摄画面中存在局部运动区域。比如,预设比值范围为[2%,28%],灰度差值大于55的像素占整个图像的比例为25%,那么认为拍摄画面中存在局部运动区域。
在本实施例中,为了更准确地进行局部运动区域的识别确定,处理器可以对差分图像进行二值化处理。
示例性地,设定预设阈值为T,其中T可以基于预览图像的像素点的灰度值的最大值确定。比如,对于8bit的图像来说,灰度值的最大值为255。T可以为灰度值的最大值的设定倍数。比如,T为灰度值的最大值的0.2倍(0.2*255)。在一些实施例中,设定倍数可以为其他值,比如,0.3、0.4等,根据实际情况确定。
处理器对差分图像中的每一个像素点进行二值化处理,将差分图像中像素点的灰度值大于预设阈值T的像素点的灰度值置为灰度值的最大值(255),将差分图像中像素点的灰度值小于或等于T的像素点的灰度值置为0。也即,基于以下公式可得到对于差分图像进行二值化处理后的图像。
差分图像的二值化图像中,灰度值为255的即为运动像素点,灰度值为0的点即为背景像素点。
在一些实施例中,处理器可以获取灰度值为255的像素点(运动像素点)的数量,计算这些运动像素点占整个图像的比例。比如,该比例处于预设比值范围内,比如,预设比值范围可以为[3%,25%]。也即,运动像素点占整个图像的比例大于或等于3%,且,小于或等于25%时,确定拍摄画面中存在局部运动区域。在一些实施例中,预设比值范围还可以设定为其他范围,比如,[5%,30%],预设比值范围可以根据实际情况确定。
在一些实施例中,处理器对灰度差值大于预设阈值的像素所形成的区域进行连通域分析,获取由相邻的相同灰度差值的像素所形成的至少一个连通区域,得到连通区域对应的至少一个局部运动区域。
其中,连通域分析指的是对于二值化图像,将具有相同像素值且相邻的像素找出来并进行标记形成连通区域,从而可以确定出由相邻的运动像素点形成的局部运动区域。
在本申请实施例中,处理器可获取拍摄画面的相邻的预览图像的差分图像,基于差分图像的二值化图像来识别运动像素点以及背景像素点,基于运动像素点进行连通域分析,可以有效地确定拍摄画面中是否存在局部运动区域。在确定存在局部运动区域时可进行多帧变曝光拍摄,得到第一图像和第二图像。
在一些实施例中,参考图9,图9给出了一种二值化图像的连通域的示意图。对二值化图像进行连通域分析,获取由相邻的相同灰度差值的像素所形成的连通区域。如图9的(a),二值化图像中存在一个虚线框选区域。如图9的(b),二值化图像中存在两个虚线框选区域。
图9中所示的二值化图像中,由相邻的相同灰度差值的像素所形成的连通区域(虚线框选区域)即为拍摄画面中的局部运动区域。
在一些实施例中,处理器还可以标记二值化图像中相邻的相同灰度差值的像素,得到一个或多个像素集合区。二值化图像中的像素集合区即为拍摄画面中的局部运动区域。
在一些实施例中,处理器获取到运动像素点,进行连通域分析,获取到由运动像素点形成的区域,进一步地,处理器还可以对该区域进行进一步的识别验证,参考图10,本实施例提供的拍照方法还包括:
S2024、处理器获取局部运动区域的目标面积。
其中,目标面积大于局部运动区域的实际面积。
在一些实施例中,处理器基于差分图像的二值化图像,获取到运动像素点所形成的局部运动区域。参考图11所示。图11的(a)某一帧的原始图像,图11的(b)为基于图11的(a)某一帧的原始图像与其相邻的上一帧或下一帧原始图像计算得到的差分图像,并进行二值化处理后的图像。图11的(b)中,运动像素点所形成的区域为白色区域,这部分的像素点的灰度值为灰度值的最大值(255)。背景像素点所形成的区域为黑色区域,这部分像素点的灰度值为0。图11的(c)表示局部运动区域的框选区域,框选区域的面积为目标面积。
在一些实施例中,处理器可以以局部运动区域的中心坐标为圆心或几何中心,构建一个面积大于局部运动区域的框选区域。示例性地,框选区域应大于局部运动区域,比如,考虑到局部运动区域中移动物体的运动幅度以及预览图像帧的延迟出帧,框选区域可以为局部运动区域所占面积的1.3倍、2倍、甚至或2倍以上。参考图10中标记的目标面积对应的框选区域。一般地,运动幅度越大(运动估计值越大),局部运动区域的框选区域越大。局部运动区域的框选区域的坐标可表示为(x, y, width, height),x和y代表的是矩形框左上角在整个图像中的坐标位置,width和height分别代表矩形框的长和宽。
若第一图像存在多个局部运动区域,所有局部运动区域的框选区域的面积之和为目标面积。
S2025、如果目标面积小于预设面积阈值,处理器确定存在局部运动区域,向ISP发送预设拍照策略,指示ISP控制摄像头以第一曝光时长获取第一图像,以第二曝光时长获取第二图像。
在本实施例中,如果目标面积小于预设面积阈值,说明运动区域确实为整个图像的某一小部分,在这种情况下,处理器确定存在局部运动区域。向ISP发送预设拍照策略,指示ISP控制摄像头以第一曝光时长获取第一图像,以第二曝光时长获取第二图像。其中,预设面积阈值可以为整个图像面积的50%。
S2026、如果目标面积大于或等于预设面积阈值,处理器不向ISP发送预设拍照策略,ISP控制摄像头以第一曝光时长获取目标图像。
在本实施例中,如果目标面积大于或等于预设面积阈值,说明运动区域几乎占据了整个图像。在这种情况下,处理器可以直接以短曝光来获取运动图像,不执行本实施例提供的拍照方法对应的拍照策略。也即,处理器不向ISP发送预设拍照策略,ISP控制摄像头以第一曝光时长获取目标图像。示例性地,预设面积阈值可以为整个图像面积的50%,由于运动区域大于整个图像面积的50%,ISP可以以短曝光时长来获取目标图像,尽可能保证运动物体的运动细节。
本实施例中,在得到运动区域之后,处理器还可以基于运动区域的目标面积判断运动区域占据整个图像的面积比例,从而在确定存在局部运动区域,而非大面积运动区域的场景下,才执行本实施例提供的以第一曝光时长获取第一图像,以第二曝光时长获取第二图像的拍照策略,以达到获取清晰且质量高的图像。针对图像中存在大面积运动区域的场景,处理器可指示ISP直接以短曝光时长进行目标图像的获取,来保留更多运动细节。
在一些实施例中,处理器在确定拍摄画面中存在局部运动区域后,可以计算局部运动区域的运动估计值,从而确定拍摄第一图像对应的第一曝光时长,其中包括:
S401、处理器获取第一预览图像的局部运动区域对应的第一预览局部图像和第二预览图像的局部运动区域对应的第二预览局部图像。
在本实施例中,处理器可以从缓冲区中获取相邻的第一预览图像和第二预览图像,基于上述检测局部运动区域的方式,获取第一预览图像的第一预览局部图像以及第二预览图像的第二预览局部图像。
S402、处理器根据第一预览局部图像中第三像素,与第二预览局部图像中对应的第四像素之间的坐标差,确定局部运动区域的运动估计值。
在本实施例中,处理器可以基于相邻的第一预览图像的第一预览局部图像中第三像素,和第二预览图像的第二预览局部图像中第四像素的坐标差,确定局部运动区域的运动估计值。
比如,第一预览局部图像的第三像素可以为第一预览局部图像的中心坐标,第二预览局部图像中第四像素可以为第二预览局部图像的中心坐标,基于第一预览局部图像的中心坐标和第二预览局部图像的中心坐标,确定局部运动区域的运动估计值。其中,第一预览局部图像的中心坐标和第二预览局部图像的中心坐标的差值即为运动估算值。
或者,在一些实施例中,处理器可以直接基于多个相邻的第一预览图像和第二预览图像的差分图像,获取至少两个二值化的运动区域。基于至少两个二值化的运动区域的中心坐标,来确定局部运动区域的运动估计值。其中,两个运动区域的中心坐标的差值即为运动估算值。
参考图12,图12给出了一种计算运动区域的运动估计值的示意图。示例性地,可基于二值化图像中运动区域的中心坐标计算运动区域的运动估计值。图12的(a)给出一张包括一个运动区域的二值化图像的示意。
对于一个运动区域获取其纵坐标的最大值和最小值,记为ymax和ymin,以及横坐标的最大值和最小值xmax和xmin。参考图12的(b), 图12的(b)给出了一种运动区域的横/纵坐标的最大值的标记点示意。中心点坐标(x,y)可由以下公式计算得到:
参考图12的(c), 图12的(c)给出了一种运动区域中心点的标记点的示意。
在一些实施例中,相邻的两个运动区域的中心点的坐标分别为(x1,y1)和(x2,y2),假设相邻预览图像之间的时间间隔为t毫秒,那么基于两个运动区域的中心点坐标,计算得到的运动估计值v可表示为:
在一些实施例中,对于一个图像中存在多个运动区域的情况,根据相似性和运动区域面积,处理器可以选取面积最大的运动区域来计算运动值。
在一些实施例中,如果运动区域的中心坐标不变,比如,拍摄画面中是风车在转动,不同时序的图像帧之间计算得到的运动区域中心坐标位置相同。这种情况下,无法利用上述中心坐标来计算运动估计值。那么第一曝光时长采用预设固定值,比如,采用-4ev的曝光。
在一些实施例中,处理器还可以基于运动区域的轮廓坐标进行运动估计值的计算。比如,计算相邻的两个运动区域的左边界(右边界/上边界/下边界)坐标的差值,作为运动估计值等等。
S403、处理器根据运动估计值,确定第一曝光时长。
其中,运动估计值越大,第一曝光时长越短。
运动估计值可一定程度表示拍摄画面中的物体的移动幅度和移动速度,拍摄画面中的物体的移动幅度和移动速度越大,曝光时长应该越短,才可更准确地获取到运动的物体的运动的细节。第一曝光时长可以为第二曝光时长的1/N,运动估计值越大,N值越大。
在一些实施例中,第一曝光时长大于第二曝光时长的1/64。
为了保证短帧的图像质量,在一些实施例中,第一曝光时长最短为第二曝光时长的1/64。也即,N的最大值为64。
在其他的一些实施例中,处理器可以预设运动估计值与N值的对应关系,从而基于运动估计值确定N的值。
在一些实施例中,处理器根据运动估计值,确定第一曝光时长,包括:
S4031、处理器基于拍摄画面的视场角的对角线长度,确定局部运动区域的第一幅度值。
在本实施例中,处理器获取拍摄画面的视场角fov的对角线长度。示例性地,可以将fov的对角线长度的1/q距离设定为局部运动区域的第一幅度值,该第一幅度值也为局部运动区域的最大幅度值Lmax。其中,示例性地,q可以为5。处理器还可以将对角线长度的1/p距离设定为局部运动区域的第二幅度值Ln,第二幅度值为局部运动区域的中位幅度值。其中,示例性地,p可以为10。
S4032、处理器将运动估计值与预设曝光间隔的乘积作为第一参数。
预设曝光间隔指的是变换曝光时长之间的时间间隔,该时间间隔为预设值t。
S4033、若第一参数大于或等于第一幅度值,处理器确定第一曝光时长为第一时长。若第一参数小于或等于第二幅度值,处理器确定第一曝光时长为第二时长。其中,第二幅度值小于第一幅度值。若第一参数大于第二幅度值且小于第一幅度值,处理器确定第一曝光时长为第三时长。
其中,第三时长大于第一时长,且小于第二时长;第一时长、第二时长、第三时长根据第二曝光时长的不同倍数确定。
在本实施例中,运动估计值为v,预设曝光间隔为t,计算二者的乘积v*t作为第一参数,其中,第一参数表示在预设曝光间隔所对应的时长内运动区域的运动幅度。那么处理器确定第一曝光时长包括以下几种情况下:
第一种情况为:如果v*t>=Lmax,那么,处理器将第一曝光时长设定为第一时长。这里运动估计值比较大,其与预设曝光间隔的乘积大于或等于最大幅度值,那么第一曝光时长取最短曝光时长。示例性地,第一时长可以为第二曝光时长的1/64。
第二种情况为:如果v*t<=Ln,那么,处理器将第一曝光时长设定为第二时长。这里运动估计值比较小,其与预设曝光间隔的乘积小于或等于中位幅度值,那么第一曝光时长可适当取较长的曝光时长。示例性地,第二时长可以为第二曝光时长的1/16。
第三种情况为:Ln<v*t <Lmax,那么,处理器将第一曝光时长设定为第三时长。这里运动估计值不大不小,其与预设曝光间隔的乘积处于中位幅度值与最大幅度值之间,那么第三时长可大于第二曝光时长的1/64,小于第二曝光时长的1/16。
在一些实施例中,第三时长按照运动幅度在第二曝光时长的1/16与1/64之间插值获得,将第三时长设为第二曝光时长的1/E,E与中位幅度值与最大幅度值之间的关系可以表示为:
那么,E可以表示为:
在一些实施例中,处理器基于第一图像的局部运动区域对应的第一局部图像和第二图像,获取拍摄画面的目标图像,参考图13,包括:
S2041、处理器获取第一图像的第一灰度图像和第二图像的第二灰度图像。
处理器可以将第一图像中各个像素点的红、绿、蓝分量求和再取平均值,得到第一图像的第一灰度图像。对于第二图像的处理过程类似。
在一些实施例中,处理器还可以将第一图像输出预设的图像灰度处理模型中,得到第一图像的第一灰度图像。对于第二图像的处理过程类似。
S2042、处理器将第一灰度图像与第二灰度图像进行亮度对齐,得到亮度对齐后的第一灰度图像。
在一些实施例中,由于短曝光采集的第一图像的亮度较低,在进行第一图像与第二图像的图像处理之前,可以先对第一图像进行亮度对齐处理。在得到第一图像的第一灰度图像后,以第二图像作为参考图像,对第一灰度图像进行亮度对齐操作,得到亮度对齐后的第一灰度图像。
参考图13,亮度对齐之前第一灰度图像与第二灰度图像的亮度值范围差异很大,亮度对齐处理之后,第一灰度图像与第二灰度图像的亮度值范围差异比较小,可能处于同一亮度值范围内。
在一些实施例中,处理器可以获取第一曝光时长与第二曝光时长的比值。比如,第一曝光时长为第二曝光时长的1/G。处理器将第一灰度图像中各像素的灰度值与比值相乘,获取各像素的目标灰度值。各个像素的目标灰度值为灰度值*G。从而,处理器基于各像素的目标灰度值,得到亮度对齐后的第一灰度图像。
在本实施例中,由于以第二曝光时长获取的第二图像进光量较多,亮度较高,且图像质量较高,对第一图像进行亮度对齐,进一步消除了第一图像与第二图像之间的亮度差异,减小后续基于第一图像与第二图像进行图像处理的处理误差。
S2043、处理器将亮度对齐后的第一灰度图像与第二灰度图像进行图像配准,获取单应矩阵。
其中,单应矩阵用于表征亮度对齐后的第一灰度图像的各像素与第二灰度图像的各像素之间的对应关系。
在本实施例中,处理器将亮度对齐后的第一灰度图像中各个像素点与第二灰度图像中各个像素点进行特征点匹配,实现第一灰度图像与第二灰度图像的图像配准。示例性地,图像配准算法包括基于灰度和模板的配准算法、基于特征的匹配算法等等。
在本实施例中,处理器将第一灰度图像作为匹配帧,进行第二灰度图像的配准,得到表征第一灰度图像的各像素与第二灰度图像的各像素之间的对应关系的单应矩阵。
在一些实施例中,处理器进行第一灰度图像与第二灰度图像的图像配准,可以是基于整个图像的配准;也可以是局部图像的配准,比如,是基于第一灰度图像的运动区域对应的局部图像与第二灰度图像的运动区域对应的局部图像的图像配准。
在一些实施例中,处理器可以基于一个或多个第二灰度图像与亮度对齐后的第一灰度图像进行图像配准,基于多个第二灰度图像进行图像配准,得到单应矩阵更准确。
S2044、处理器基于单应矩阵,对第一图像进行仿射变换,获取第一图像的第一局部图像。
在本实施例中,图像配准完成后,处理器根据计算得到的单应矩阵对第一图像做仿射变换。其中,仿射变换包括图像旋转、图像平移、图像缩放、图像翻转等二维平面的图像处理。处理器对第一图像中的第一局部图像进行图像旋转、图像平移、图像缩放等操作,得到变换后的第一图像。基于变换后的第一图像,以及所确定的拍摄画面中的局部运动区域,获取第一图像中局部运动区域对应的第一局部图像。
在一些实施例中,短曝光获取的第一图像的质量可能会较差,处理器在得到变换后的第一局部图像之后,还可以对该第一局部图像做降噪处理、超分处理等图像后处理,以此来提升第一局部图像的图像质量。
S2045、处理器基于第一局部图像和第二图像,获取目标图像。
在一些实施例中,处理器可以将第一局部图像替换第二图像中的第二局部图像,来获取目标图像。
或者,在一些实施例中,处理器还可以先提取第二图像中的第二局部图像,将第二局部图像剔除,从而将第二图像中剩余区域与第一局部图像进行融合拼接,得到目标图像。
在本实施例中,处理器对第一灰度图像和第二灰度图像进行亮度对齐,灰度图像一定程度上可以进一步地减少亮度差异,对亮度对齐后的第一灰度图像和第二灰度图像进行图像配准,所计算得到的单应矩阵更准确。基于单应矩阵进行第一图像与第二图像的仿射变换,得到的目标图像更准确,图像质量更高。
在一些实施例中,处理器在得到亮度对齐后的第一灰度图像之后,获取单应矩阵,参考图14,包括:
S20431、处理器对亮度对齐后的第一灰度图像和第二灰度图像进行直方图均衡化处理,得到亮度对齐后的第一灰度图像对应的第一均衡图像和第二灰度图像对应的第二均衡图像。
在本实施例中,在进行图像配准之前,可以将二值化的灰度图进行直方图均衡化,将灰度图像从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布。其中,示例性地,直方图均衡化的算法包括全局直方图均衡算法、局部直方图均衡算法、基于分频和融合的直方图均衡算法等等。
其中,全局直方图均衡算法,指的是利用一个变换函数将输入图像的灰度级映射到输出图像, 使输出图像各灰度级相对均匀分布, 从而图像的对比度得到增强。局部直方图均衡算法与全局方法相比, 可以更好地增强图像的局部细节。基于分频和融合的直方图均衡算法,考虑到将图像的高频分量和低频分量分开,对低频分量进行直方图均衡处理,对高频分量进行线性加权增强, 再将两者融合, 就可以避免直方图均衡算法导致图像细节信息丢失和噪声放大的问题。本实施例对于直方图均衡化的具体算法不做限定。
S20432、处理器将第一均衡图像与第二均衡图像进行图像配准,获取单应矩阵。
在本实施例中,处理器得到灰度值在全部灰度范围内的第一均衡图像和第二均衡图像之后进行图像配准,获取单应矩阵。可参考S2043,这里不做赘述。
在一些实施例中,在处理器得到单应矩阵之后。处理器还可以对第一图像与第二图像进行亮度对齐,基于亮度对齐后的第一图像和第二图像,以及单应矩阵进行目标图像的获取。在图13或图14给出的实施例得到单应矩阵的基础上,参考图15,包括:
S2046、处理器对第一图像与第二图像进行亮度对齐,得到亮度对齐后的第一图像。
第一图像由于是短曝光获取的图像,存在进光量少而亮度低的特点。参考图15中所示的第一图像与第二图像,显然,第一图像的亮度值范围与第二图像的亮度值范围差异比较大,第一图像的亮度比较低。因此,在进行第一图像与第二图像基于单应矩阵的仿射变换之前,还需要对第一图像与第二图像进行亮度对齐。
参考图15中进行亮度对齐后的第一图像,该第一图像与第二图像的亮度值范围差异较小,亮度对齐后的第一图像相较于原始的第一图像亮度较高。示例性地,可参考S2042,第一图像中各个像素点的像素值与比值相乘,得到各个像素点的目标像素值。其中,比值指的是第一曝光时长与第二曝光时长的比值。像素值可以为各个像素点在红、蓝、绿通道的像素值的平均值。
参考图15,亮度对齐后的第一图像与第二图像的亮度处于同一亮度范围内。
S2047、处理器基于单应矩阵,对亮度对齐后的第一图像进行仿射变换,获取第一局部图像。
在对于原始图像(第一图像)进行亮度对齐之后,处理器基于亮度对齐后的第一图像进行仿射变换。比如,亮度对齐后的第一图像进行图像旋转、图像平移、图像缩放、图像翻转等操作,得到变换后的第一图像。基于变换后的第一图像,以及所确定的拍摄画面中的局部运动区域,获取第一图像中局部运动区域对应的第一局部图像。示例性地,可以根据局部运动区域,对变换后的第一图像进行相应区域的裁切,获取第一局部图像。可参考S2044,这里不做赘述。
S20451、处理器将第一局部图像替换第二图像的第二局部图像,获取目标图像。
在本实施例中,处理器可以直接将第一局部图像替换第二图像的第二局部图像,从而得到目标图像。参考图15,处理器将第一图像中的第一局部图像进行裁剪,将第一局部图像替换到第二图像中,第一局部图像替换第二局部图像,得到目标图像。参考图15,由于第一图像中的第一局部图像是通过短曝光获取到的清晰的手部图像,而第二图像中的第二局部图像存在模糊的问题,将清晰的第一局部图像替换模糊的第二局部图像,从而得到手部清晰且整体图像质量较高的目标图像。目标图像既保证了整图质量可以达到不做降曝光的水平,又通过融合短曝光的局部运动区域,解决了局部运动区域对应图像模糊的问题。
在本实施例中,基于预览图像检测到拍摄画面中有存在局部运动区域时,用户点击拍照采用多档变曝光拍摄,以第一曝光时长获取第一图像,以第二曝光时长获取第二图像,从而进行第一图像和第二图像的多帧配准。针对局部运动区域,将短曝光获取到的第一图像亮度对齐到正常曝光获取到的第二图像,按照局部运动区域的坐标对第一局部图像做裁切截取,将该第一局部图像替换第二图像中的第二局部图像,这样既保证了整图的清晰度以及动态范围,同样通过短曝光规避了运动模糊的情况。
基于本实施例提供的拍照方法,可以有效减小局部运动导致的图像成片率低,保证算法整图出图质量,从而提升用户的体验感受。解决了拍照时画面中存在局部运动,导致的运动模糊或图像质量下降的问题,改善用户拍照体验。
在一些实施例中,电子设备可以通过在显示屏显示相应的控件来提示用户开启了多帧变曝光拍摄模式进行拍照。
在一些实施例中,电子设备的相机应用的拍照模式包括多帧变曝光拍摄模式,一种拍照方法还包括:
如果拍摄画面中存在局部运动区域,电子设备在预览界面显示引导控件。
其中,引导控件用于表征是否开启多帧变曝光拍摄模式。
在一些实施例中,电子设备在确定拍摄画面中存在局部运动区域,可以在相机的预览界面显示引导控件。参考图16,电子设备在预览界面以悬浮框的形式在预览界面的顶部显示引导控件1601。
电子设备响应于用户对于标控件的触控操作,以第一曝光时长获取第一图像,以第二曝光时长获取第二图像。
在一些实施例中,若用户通过引导控件开启多帧变曝光拍摄模块,电子设备可显示提示信息1602,参考图16,提示信息1602用于提示用户开启了多帧变曝光拍摄模式。同时,电子设备在接收到拍照操作时,以第一曝光时长获取第一图像,以第二曝光时长获取第二图像。
在本实施例中,通过显示引导信息,增加与用户的交互,通过用户的触控操作,进一步确认开启多帧变曝光拍摄模式进行拍摄,使得获取到的目标图像可以满足用户的需求,提高用户的拍照体验。
在一些实施例中,电子设备还可以在确定拍摄画面中存在所述局部运动区域时,在预览界面显示提示控件。
在一些实施例中,电子设备在确定拍摄画面中存在局部运动区域后,还可以在相机的预览界面显示提示控件。参考图17,提示控件1701可以和预览区域的模式控件排列显示。
在本实施例中,通过显示提示控件,可以让用户感知开启了多帧变曝光拍摄模式进行拍摄,使得获取到的目标图像可以满足用户的需求,提高用户的拍照体验。
本申请实施例还提供一种芯片***(例如,片上***(system on a chip,SoC)),如图18所示,该芯片***包括至少一个处理器701和至少一个接口电路702。处理器701和接口电路702可通过线路互联。例如,接口电路702可用于从其它装置(例如电子设备的存储器)接收信号。又例如,接口电路702可用于向其它装置(例如处理器701或者电子设备的摄像头)发送信号。示例性的,接口电路702可读取存储器中存储的指令,并将该指令发送给处理器701。当所述指令被处理器701执行时,可使得电子设备执行上述实施例中的各个步骤。当然,该芯片***还可以包含其他分立器件,本申请实施例对此不作具体限定。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令,当所述计算机指令在上述电子设备上运行时,使得该电子设备执行上述方法实施例中电子设备100执行的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行上述方法实施例中电子设备100执行的各个功能或者步骤。例如,该计算机可以是上述电子设备100。
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (15)
1.一种拍照方法,其特征在于,应用于电子设备,所述电子设备包括摄像头和显示屏,包括:
所述电子设备通过所述显示屏显示预览界面;所述预览界面包括所述摄像头获取到的拍摄画面的预览图像;
所述电子设备基于所述预览图像,确定所述拍摄画面中是否存在局部运动区域;
在所述电子设备接收到用户拍摄操作时,如果所述拍摄画面中存在所述局部运动区域,所述电子设备以第一曝光时长获取所述拍摄画面的第一图像,并以第二曝光时长获取所述拍摄画面的第二图像,所述第一曝光时长小于所述第二曝光时长;
所述电子设备基于所述第一图像中与所述局部运动区域对应的第一局部图像和所述第二图像,获取所述拍摄画面的目标图像。
2.根据权利要求1所述的方法,其特征在于,所述电子设备基于所述预览图像,确定所述拍摄画面中是否存在局部运动区域,包括:
所述电子设备获取所述拍摄画面的第一预览图像和第二预览图像;所述第一预览图像与所述第二预览图像为相邻图像帧;
所述电子设备基于所述第一预览图像中第一像素的灰度值,与所述第二预览图像中对应的第二像素的灰度值之间的灰度差值,获取差分图像;
如果所述差分图像中灰度差值大于预设阈值的像素的数量,处于预设数值范围内,确定所述拍摄画面中存在所述局部运动区域。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
所述电子设备对所述灰度差值大于所述预设阈值的像素所形成的区域进行连通域分析,获取由相邻的相同灰度差值的像素所形成的至少一个连通区域,得到连通区域对应的至少一个局部运动区域。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述方法还包括:
所述电子设备获取所述局部运动区域的目标面积;所述目标面积大于所述局部运动区域;
所述电子设备以第一曝光时长获取所述拍摄画面的第一图像,并以第二曝光时长获取所述拍摄画面的第二图像,包括:
如果所述目标面积小于预设面积阈值,所述电子设备以所述第一曝光时长获取所述第一图像,并以所述第二曝光时长获取所述第二图像。
5.根据权利要求2或3所述的方法,其特征在于,所述方法还包括:
所述电子设备获取所述第一预览图像的局部运动区域对应的第一预览局部图像和所述第二预览图像的局部运动区域对应的第二预览局部图像;
所述电子设备根据所述第一预览局部图像中第三像素,与所述第二预览局部图像中对应的第四像素之间的坐标差,确定所述局部运动区域的运动估计值;
所述电子设备根据所述运动估计值,确定所述第一曝光时长;其中,所述运动估计值越大,所述第一曝光时长越短。
6.根据权利要求1-3中任一项所述的方法,其特征在于,所述第一曝光时长大于所述第二曝光时长的1/64。
7.根据权利要求5所述的方法,其特征在于,所述电子设备根据所述运动估计值,确定所述第一曝光时长,包括:
所述电子设备基于所述拍摄画面的视场角的对角线长度,确定所述局部运动区域的第一幅度值和第二幅度值,所述第二幅度值小于所述第一幅度值;
所述电子设备将所述运动估计值与预设曝光间隔的乘积作为第一参数;
若所述第一参数大于或等于所述第一幅度值,所述电子设备确定所述第一曝光时长为第一时长;
若所述第一参数小于或等于所述第二幅度值,所述电子设备确定所述第一曝光时长为第二时长;
若所述第一参数大于所述第二幅度值且小于所述第一幅度值,所述电子设备确定所述第一曝光时长为第三时长;
其中,所述第三时长大于所述第一时长,且小于所述第二时长;所述第一时长、所述第二时长、所述第三时长根据所述第二曝光时长的不同倍数确定。
8.根据权利要求1-3中任一项所述的方法,其特征在于,所述电子设备基于所述第一图像中与所述局部运动区域对应的第一局部图像和所述第二图像,获取所述拍摄画面的目标图像,包括:
所述电子设备获取所述第一图像的第一灰度图像和所述第二图像的第二灰度图像;
所述电子设备将所述第一灰度图像与所述第二灰度图像进行亮度对齐,得到亮度对齐后的第一灰度图像;
所述电子设备将所述亮度对齐后的第一灰度图像与所述第二灰度图像进行图像配准,获取单应矩阵;所述单应矩阵用于表征所述亮度对齐后的第一灰度图像的各像素与所述第二灰度图像的各像素之间的对应关系;
所述电子设备基于所述单应矩阵,对所述第一图像进行仿射变换,获取所述第一图像的第一局部图像;
所述电子设备基于所述第一局部图像和所述第二图像,获取所述目标图像。
9.根据权利要求8所述的方法,其特征在于,所述电子设备将所述第一灰度图像与所述第二灰度图像进行亮度对齐,得到亮度对齐后的第一灰度图像,包括:
所述电子设备获取所述第一曝光时长与所述第二曝光时长的比值;
所述电子设备将所述第一灰度图像中各像素的灰度值与所述比值相乘,获取各所述像素的目标灰度值;
基于各所述像素的目标灰度值,得到所述亮度对齐后的第一灰度图像。
10.根据权利要求9所述的方法,其特征在于,所述电子设备将所述亮度对齐后的第一灰度图像与所述第二灰度图像进行图像配准,获取单应矩阵,包括:
所述电子设备对所述亮度对齐后的第一灰度图像和所述第二灰度图像进行直方图均衡化处理,得到所述亮度对齐后的第一灰度图像对应的第一均衡图像和所述第二灰度图像对应的第二均衡图像;
所述电子设备将所述第一均衡图像与所述第二均衡图像进行图像配准,获取所述单应矩阵。
11.根据权利要求8所述的方法,其特征在于,所述电子设备基于所述单应矩阵,对所述第一图像进行仿射变换,获取所述第一图像的第一局部图像,包括:
所述电子设备将所述第一图像与所述第二图像进行亮度对齐,得到亮度对齐后的第一图像;
所述电子设备基于所述单应矩阵,对所述亮度对齐后的第一图像进行仿射变换,获取所述第一局部图像;所述仿射变换包括旋转、平移、缩放、翻转中至少一种操作。
12.根据权利要求8所述的方法,其特征在于,所述电子设备基于所述第一局部图像和所述第二图像,获取所述目标图像,包括:
所述电子设备将所述第一局部图像替换所述第二图像的第二局部图像,获取所述目标图像。
13.根据权利要求1-3中任一项所述的方法,其特征在于,所述电子设备的拍照模式包括多帧变曝光拍摄模式,所述方法还包括:
如果所述拍摄画面中存在所述局部运动区域,所述电子设备在所述预览界面显示引导控件;所述引导控件用于表征是否开启所述多帧变曝光拍摄模式;
所述电子设备以第一曝光时长获取所述拍摄画面的第一图像,并以第二曝光时长获取所述拍摄画面的第二图像,包括:
所述电子设备响应于所述用户对于所述引导控件的触控操作,以所述第一曝光时长获取所述第一图像,并以所述第二曝光时长获取所述第二图像。
14.一种电子设备,其特征在于,所述电子设备包括摄像头、显示屏、存储器和一个或多个处理器;所述摄像头、所述显示屏、所述存储器与所述处理器耦合;所述存储器中存储有计算机程序代码,所述计算机程序代码包括计算机指令,当所述计算机指令被所述处理器执行时,使得所述电子设备执行如权利要求1-13中任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-13中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311481102.5A CN117201930B (zh) | 2023-11-08 | 2023-11-08 | 一种拍照方法和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311481102.5A CN117201930B (zh) | 2023-11-08 | 2023-11-08 | 一种拍照方法和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117201930A true CN117201930A (zh) | 2023-12-08 |
CN117201930B CN117201930B (zh) | 2024-04-16 |
Family
ID=88990995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311481102.5A Active CN117201930B (zh) | 2023-11-08 | 2023-11-08 | 一种拍照方法和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117201930B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117593550A (zh) * | 2024-01-18 | 2024-02-23 | 宁德时代新能源科技股份有限公司 | 包膜***和包膜***的点检方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107395997A (zh) * | 2017-08-18 | 2017-11-24 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
AU2018282254A1 (en) * | 2018-12-17 | 2020-07-02 | Canon Kabushiki Kaisha | System and method for determining a three-dimensional position of a person |
CN113592887A (zh) * | 2021-06-25 | 2021-11-02 | 荣耀终端有限公司 | 视频拍摄方法、电子设备及计算机可读存储介质 |
CN113630545A (zh) * | 2020-05-07 | 2021-11-09 | 华为技术有限公司 | 一种拍摄方法及设备 |
CN116744120A (zh) * | 2022-09-15 | 2023-09-12 | 荣耀终端有限公司 | 图像处理方法和电子设备 |
-
2023
- 2023-11-08 CN CN202311481102.5A patent/CN117201930B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107395997A (zh) * | 2017-08-18 | 2017-11-24 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
AU2018282254A1 (en) * | 2018-12-17 | 2020-07-02 | Canon Kabushiki Kaisha | System and method for determining a three-dimensional position of a person |
CN113630545A (zh) * | 2020-05-07 | 2021-11-09 | 华为技术有限公司 | 一种拍摄方法及设备 |
CN116582741A (zh) * | 2020-05-07 | 2023-08-11 | 华为技术有限公司 | 一种拍摄方法及设备 |
CN113592887A (zh) * | 2021-06-25 | 2021-11-02 | 荣耀终端有限公司 | 视频拍摄方法、电子设备及计算机可读存储介质 |
CN116744120A (zh) * | 2022-09-15 | 2023-09-12 | 荣耀终端有限公司 | 图像处理方法和电子设备 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117593550A (zh) * | 2024-01-18 | 2024-02-23 | 宁德时代新能源科技股份有限公司 | 包膜***和包膜***的点检方法 |
CN117593550B (zh) * | 2024-01-18 | 2024-05-31 | 宁德时代新能源科技股份有限公司 | 包膜***和包膜***的点检方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117201930B (zh) | 2024-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11800221B2 (en) | Time-lapse shooting method and device | |
CN113132620B (zh) | 一种图像拍摄方法及相关装置 | |
CN111327814A (zh) | 一种图像处理的方法及电子设备 | |
WO2021078001A1 (zh) | 一种图像增强方法及装置 | |
CN116582741B (zh) | 一种拍摄方法及设备 | |
CN117201930B (zh) | 一种拍照方法和电子设备 | |
CN108513069B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
WO2021180046A1 (zh) | 图像留色方法及设备 | |
CN113452969B (zh) | 图像处理方法和装置 | |
CN114463191B (zh) | 一种图像处理方法及电子设备 | |
CN115272138A (zh) | 图像处理方法及其相关设备 | |
CN115242983A (zh) | 拍摄方法、电子设备、计算机程序产品及可读存储介质 | |
CN117499779B (zh) | 一种图像预览方法、设备以及存储介质 | |
CN116916151B (zh) | 拍摄方法、电子设备和存储介质 | |
CN114390212B (zh) | 拍照预览方法、电子设备以及存储介质 | |
WO2024109224A1 (zh) | 一种拍摄模式推荐方法 | |
WO2023160221A1 (zh) | 一种图像处理方法和电子设备 | |
WO2023011302A1 (zh) | 拍摄方法及相关装置 | |
CN113891008B (zh) | 一种曝光强度调节方法及相关设备 | |
CN116723418B (zh) | 拍照方法和相关装置 | |
CN117156293B (zh) | 拍照方法和相关装置 | |
CN117440253B (zh) | 图像处理方法和相关装置 | |
CN115623319B (zh) | 一种拍摄方法及电子设备 | |
CN116668838B (zh) | 图像处理方法与电子设备 | |
CN116627560A (zh) | 一种生成主题壁纸的方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |