CN113727016A - 一种拍摄方法及电子设备 - Google Patents

一种拍摄方法及电子设备 Download PDF

Info

Publication number
CN113727016A
CN113727016A CN202110662935.6A CN202110662935A CN113727016A CN 113727016 A CN113727016 A CN 113727016A CN 202110662935 A CN202110662935 A CN 202110662935A CN 113727016 A CN113727016 A CN 113727016A
Authority
CN
China
Prior art keywords
image
electronic equipment
pixel signal
signal combination
magnification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110662935.6A
Other languages
English (en)
Inventor
崔瀚涛
于广财
商亚洲
冯思悦
赵玉霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202110662935.6A priority Critical patent/CN113727016A/zh
Publication of CN113727016A publication Critical patent/CN113727016A/zh
Priority to PCT/CN2021/143949 priority patent/WO2022262260A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供一种拍摄方法及电子设备,涉及光学成像技术领域。使得电子设备在变焦倍率拍摄场景下,可以提升电子设备在变焦倍率拍摄场景下的用户体验。该方法可以包括:响应于触发相机功能的操作,启动电子设备的相机应用;显示变焦倍率为第一倍率的第一预览图像;接收到第一操作,第一操作指示电子设备调整变焦倍率为第二倍率,第二倍率小于预设倍率;采用第一像素信号合并方式生成变焦倍率为第二倍率第二预览图像,显示第二预览图像;响应于拍摄键被触发的操作,确定电子设备所在拍摄环境的亮度;若亮度大于第一预设阈值,采用第二像素信号合并方式生成拍摄图像;若亮度小于或等于第一预设阈值,采用第一像素信号合并方式生成拍摄图像。

Description

一种拍摄方法及电子设备
技术领域
本申请实施例涉及光学成像技术领域,尤其涉及一种拍摄方法及电子设备。
背景技术
目前,为了满足不同场景下的拍照需求,电子设备通常都配置多个摄像头。这些摄像头中可以包括多个焦段的摄像头,例如,短焦广角摄像头、中焦摄像头和长焦摄像头等。其中,不同焦段的摄像头可以对应不同的取景范围和变焦倍率。
当用户使用具有多个摄像头的电子设备拍摄时,电子设备可以切换不同焦段的摄像头(即光学变焦)用于采集图像。另外,电子设备还可以结合数码变焦的软件处理方式,调整取景范围,以满足各种拍摄场景。
需要明白的,当电子设备结合数码变焦(或称为数字变焦)时,随着变焦倍数的增大,电子设备显示的取景范围会调整为被摄场景的一部分,摄像头对应的视场角(Field ofView,FOV)也会逐渐减小。这样一来,电子设备需要从原始分辨率的图像中裁切更多的像素,保留下的像素可以通过软件插值算法形成原始分辨率的图像。在这个过程中,电子设备最终生成的图像必然会造成清晰度损失。
发明内容
本申请提供一种拍摄方法及电子设备,使得电子设备在变焦倍率拍摄场景下,降低拍摄图像的清晰度损失,可以提升电子设备在变焦倍率拍摄场景下的用户体验。
为实现上述技术目的,本申请采用如下技术方案:
第一方面,本申请提供一种拍摄方法,该方法可以包括:响应于触发相机功能的操作,启动电子设备的相机应用。此时,电子设备显示第一预览图像,第一预览图像对应的变焦倍率为第一倍率。其中,第一倍率可以是预设倍率。如,当预设倍率是1倍(1×),则电子设备显示第一预览图像时,第一预览图像就是1×的图像。
当电子设备接收到第一操作之后,电子设备可以按照预设的规则确定像素信号合并方式,并按照预设像素信号合并方式(如,第一像素信号合并方式或第二像素信号合并方式)生成第二预览图像,使得电子设备显示第二预览图像。其中。第一操作指示电子设备调整变焦倍率为目标倍率(如,第二倍率)。这样,第二预览图像就是变焦倍率为目标倍率的图像。
示例性的,预设的规则可以是:当目标倍率为小于3×的变焦倍率数值,电子设备以第一像素信号合并方式形成预览图像(即第二预览图像)。拍摄键被触发,电子设备识别所在拍摄环境的亮度,若亮度高于第一预设阈值,电子设备采用第二像素信号合并方式生成拍摄图像;若亮度低于第一预设阈值,电子设备采用第一像素信号合并方式生成拍摄图像。
第二方面,本申请还提供一种拍摄方法,该方法可以包括:响应于触发相机功能的操作,启动电子设备的相机应用。电子设备显示第一预览图像,第一预览图像对应的变焦倍率为第一倍率。当电子设备显示第一预览图像时,如果电子设备接收到第一操作,该第一操作指示电子设备调整变焦倍率为第二倍率,第二倍率小于预设倍率。也就是说,当电子设备接收的第一操作指示电子设备的变焦倍率小于预设倍率。例如,第二倍率小于3×。
在这种情况下,电子设备采用第一像素信号合并方式生成预览图像(即第二预览图像),电子设备的显示屏用于显示第二预览图像,以便用户可以通过显示屏查看实时预览图像。其中,第二预览图像对应的变焦倍率是第二倍率。响应于拍摄键被触发的操作,电子设备确定所在拍摄环境的亮度。如果亮度大于第一预设阈值,则电子设备采用第二像素信号合并方式生成拍摄图像;如果亮度小于等于第一预设阈值,则电子设备采用第一像素信号合并方式生成拍摄图像。
可以理解的,不同的像素信号合并法方式具有不同的拍摄特点。一般而言,在变焦拍摄场景中,在拍摄环境亮度不足时采用第一像素信号合并方式生成图像,可以提升图像传感器的感光性能,增大信噪比;在拍摄环境亮度充足的场景下,采用第二像素信号合并方式生成图像,可以在变焦倍率的图像中,提升生成图像的清晰度。也就是说,在亮度不足的环境适合采用第一像素信号合并方式生成图像,在亮度充足的环境中适合采用第二像素信号合并方式生成图像。因此,在电子设备拍摄键被触发,确定电子设备所在拍摄环境的亮度,根据亮度调整像素信号合并方式,以使得电子设备在变焦倍率时,降低图像清晰度的损失,使得生成的图像更清晰,以提升电子设备在变焦倍率拍摄场景下的用户体验。
结合第二方面,在一种可能的实现中,当电子设备采用第二像素信号合并方式生成拍摄图像时,具体可以包括:电子设备采用第二像素信号合并方式输出原始图像,原始图像的变焦倍率为第一倍率,第一倍率大于第二倍率。对原始图像进行裁切处理,生成拍摄图像,拍摄图像是变焦倍率为第二倍率的图像。
其中,第二像素信号合并方式下,第二像素信号合并方式直接输出的图像的分辨率与第二倍率对应的分辨率不符,比第二分辨率对应的图像更大。因此,电子设备对采用第二像素信号合并方式输出的原始图像进行裁切处理,使得裁切后的原始图像是变焦倍率为第二倍率的图像。
结合第二方面,另一种可能的实现中,上述方法中如果亮度大于第一预设阈值之后,电子设备采用第二像素信号合并方式生成拍摄图像之前,上述方法还可以包括:电子设备停止以第一像素信号合并方式输出图像帧;电子设备停止显示第二预览图像;电子设备从第一像素信号合并方式切换为第二像素信号合并方式。
可以理解的,当电子设备需要切换像素信号合并方式,从第一像素信号合并方式切换为第二像素信号合并方式。在这个过程中,电子设备需要经历启停切换,即停止当前第一像素信号合并方式,此时电子设备就会停止显示第二预览图像。电子设备完成切换,以第二像素信号合并方式输出图像帧后,电子设备生成拍摄图像。
结合第二方面,另一种可能的实现中,上述方法中如果亮度大于第一预设阈值,电子设备采用第二像素信号合并方式生成拍摄图像;若亮度小于或等于第一预设阈值,电子设备采用第一像素信号合并方式生成拍摄图像之后。上述方法还可以包括:电子设备采用第一像素信号合并方式生成第三预览图像,显示第三预览图像。
其中,电子设备在响应拍摄键被触发后,生成拍摄图像。在完成拍摄动作之后,如果电子设备还处于拍摄阶段,电子设备依然以第一像素信号合并方式生成预览图像(即第三预览图像)。
结合第二方面,另一种可能的实现中,上述电子设备采用第一像素信号合并方式生成拍摄图像,具体可以包括:电子设备采用第一像素信号合并方式输出多帧图像帧;基于第一图像融合算法,电子设备根据多帧图像帧生成拍摄图像。其中,第一图像融合算法至少包括:多帧降噪算法、高动态范围算法、高动态超分辨率算法和基于人脸的超分辨率算法中的一个。
结合第二方面,另一种可能的实现中,上述对原始图像进行裁切处理,生成拍摄图像,具体可以包括:对原始图像进行裁切处理之后,得到预处理图像帧;基于第二图像融合算法,电子设备根据多帧预处理图像帧生成拍摄图像。其中,第二图像融合算法至少包括:多帧降噪算法、高动态范围算法、高动态超分辨率算法和基于人脸的超分辨率算法中的一个。
可以理解的,为了提高变焦倍率拍摄下生成的图像的质量,采用第一图像融合算法(或第二图像算法)使得图像质量更高。如,提高图像的清晰度,增加图像的动态范围,从而可以提升电子设备在变焦倍率拍摄场景下的用户体验。
结合第二方面,另一种可能的实现中,电子设备包括一个或多个前置摄像头,电子设备通过一个或多个前置摄像头实现拍摄功能;第二倍率是第一倍率区间的一个倍率值,其中,第一倍率区间为0.8倍率至1.9倍率。
或者;电子设备包括一个或多个后置摄像头,电子设备通过一个或多个后置摄像头实现拍摄功能;第二倍率是第二倍率区间的一个倍率值,其中,第二倍率区间为1.0倍率至2.9倍率。
第三方面,本申请还提供一种拍摄方法,该方法可以包括:响应于触发相机功能的操作,启动电子设备的相机应用。电子设备显示第一预览图像,第一预览图像对应的变焦倍率为第一倍率。当电子设备显示第一预览图像时,如果电子设备接收到第一操作,该第一操作指示电子设备调整变焦倍率为第三倍率,第三倍率大于等于预设倍率。也就是说,当电子设备接收的第一操作指示电子设备的变焦倍率大于等于预设倍率。例如,电子设备的变焦倍率大于等于3×。
确定电子设备所在拍摄环境的亮度,如果亮度小于等于第一预设阈值,采用第一像素信号合并方式生成第二预览图像。如果亮度大于第一预设阈值,采用第二像素信号合并方式生成第二预览图像。其中,第二预览图像对应的变焦倍率为第三倍率。
其中,在电子设备显示预览界面时,电子设备实时确定当前所在拍摄环境的亮度,如果确定是高亮拍摄环境,就采用第二像素信号合并方式生成预览图像(即第二预览图像);如果确定是暗光拍摄环境,就采用第一像素信号合并方式生成第二预览图像。以使得电子设备实时,以使得电子设备在变焦倍率时,降低图像清晰度的损失,使得生成的图像更清晰,以提升电子设备在变焦倍率拍摄场景下的用户体验。
第三方面,在一种可能的实现中,上述如果亮度小于或等于第一预设阈值,采用第一像素信号合并方式生成第二预览图像,第二预览图像对应的变焦倍率为第三倍率之后,上述方法还可以包括:确定电子设备拍摄环境的当前亮度;若当前亮度大于第一预设阈值,电子设备从第一像素信号合并方式切换为第二像素信号合并方式;采用第二像素信号合并方式生成第三预览图像,第三预览图像对应的变焦倍率为第三倍率。
其中,在电子设备显示预览图像(即第二预览图像)的过程中,电子设备可以实时根据所在拍摄环境的亮度调整像素信号合并方式。具体如,亮度大于第一预设阈值,电子设备采用第二像素信号合并方式输出图像帧;亮度小于等于第一预设阈值,电子设备采用第一像素信号合并方式输出图像帧。这种能够实时根据亮度,调整像素信号合并方式,可以在显示预览图像的过程中,就为用户提供良好的使用体验。且用户实时看到的预览图像,与拍摄生成的图像效果一样,为用户提供良好的使用体验。
第三方面,另一种可能的实现中,上述如果亮度大于第一预设阈值,采用第二像素信号合并方式生成第二预览图像,第二预览图像对应的变焦倍率为第三倍率之后,上述方法还可以包括:确定电子设备所在拍摄环境的当前亮度;若当前亮度小于或等于第二预设阈值,电子设备从第二像素信号合并方式切换为第一像素信号合并方式,第二预设阈值小于第一预设阈值;采用第一像素信号合并方式生成第四预览图像,第四预览图像对应的变焦倍率为第三倍率。
第三方面,另一种可能的实现中,当电子设备采用第一像素信号合并方式生成第二预览图像时,上述方法还可以包括:响应于拍摄键被触发,电子设备采用第一像素信号合并方式生成拍摄图像。当电子设备采用第二像素信号合并方式生成第二预览图像时,上述方法还可以包括:响应于拍摄键被触发,电子设备采用第二像素信号方式生成拍摄图像。
可以理解的,电子设备以对应的像素信号合并方式生成预览图像,则拍摄键被触发,电子设备就采用对应的像素信号合并方式生成拍摄图像。也就是说,在拍摄键被触发的瞬间,电子设备不会修改像素信号合并法方式。
第三方面,另一种可能的实现中,上述方法还可以包括:当电子设备采用第一像素信号合并方式生成第二预览图像时,电子设备按照第一速率输出预览图像帧;当电子设备采用第二像素信号合并方式生成第三预览图像时,电子设备按照第一速率输出预览图像帧。
第三方面,另一种可能的实现中,上述方法还可以包括:当电子设备采用第二像素信号合并方式生成第二预览图像时,电子设备按照第一速率输出预览图像帧;当电子设备采用第一像素信号合并方式生成第四预览图像时,电子设备按照第一速率输出预览图像帧。
可以理解的,在电子设备显示预览图像的过程中,电子设备存在切换像素信号合并方式的现象。如果像素信号合并方式被切换,则电子设备在像素信号合并方式切换前后,电子设备输出预览图像帧的速率不变。这样,可以保证电子设备显示的预览图像稳定。
第三方面,另一种可能的实现中,采用第一像素信号合并方式生成第三预览图像时,具体可以包括:电子设备采用第一像素信号合并方式输出第一初始图像,根据预设图像算法将第一初始图像生成第三预览图像,使得第三预览图像的亮度与第二预览图像亮度近似。
其中,由于像素信号合并方式发生切换,第三预览图像的亮度与第二预览图像亮度近似,使得电子设备显示的预览图像的亮度保持稳定,没有发生突变。如果电子设备所在拍摄环境亮度发生较大改变,则电子设备显示的预览图像的亮度会在切换完成像素信号合并方式之后,逐渐提升预览图像的亮度。
第三方面,另一种可能的实现中,采用第二像素信号合并方式生成第四预览图像时,包括:电子设备采用第二像素信号合并方式输出第二初始图像,根据预设图像算法将第二初始图像生成第四预览图像,使得第四预览图像的亮度与第二预览图像亮度近似。
第三方面,另一种可能的实现中,第一初始图像的分辨率对应第三倍率。
第三方面,另一种可能的实现中,第二初始图像的分辨率为第四分辨率,第四分辨率大于第三分辨率;电子设备采用第二像素信号合并方式输出第二初始图像之后,根据预设图像算法将第二初始图像生成第四预览图像之前,上述方法还可以包括:电子设备对第二初始图像进行裁切处理,使得第二初始图像的分辨率为第三分辨率。
第三方面,另一种可能的实现中,电子设备采用第一像素信号合并方式生成拍摄图像,包括:电子设备采用第一信号合并方式输出多帧图像帧,基于第一图像融合算法,根据多帧图像帧生成拍摄图像。上述电子设备采用第二像素信号合并方式生成拍摄图像,具体可以包括:电子设备采用第二信号合并方式输出多帧原始图像帧,针对每帧原始图像帧进行裁切处理,得到多帧裁切图像帧,基于第二图像融合算法,根据多帧裁切图像帧生成拍摄图像。
第三方面,另一种可能的实现中,第一图像融合算法至少包括:多帧降噪算法、高动态范围算法、高动态超分辨率算法和基于人脸的超分辨率算法中的一个;第二图像融合算法至少包括:多帧降噪算法、高动态范围算法、高动态超分辨率算法和基于人脸的超分辨率算法中的一个。
第三方面,另一种可能的实现中,如果电子设备包括一个或多个前置摄像头,电子设备通过一个或多个前置摄像头实现拍摄功能,第三倍率是2.0倍率;如果电子设备包括一个或多个后置摄像头,电子设备通过一个或多个后置摄像头实现拍摄功能,第三倍率是第三倍率区间或第四倍率区间的一个倍率值。
第三方面,另一种可能的实现中,第三倍率区间为3.0倍率至3.4倍率;第四倍率区间为7.0倍率至50.0倍率。
第四方面,本申请实施例提供一种电子设备,包括:摄像头,用于采集图像;显示屏,用于显示界面;一个或多个处理器;存储器;以及一个或多个计算机程序,其中一个或多个计算机程序被存储在存储器中。当存储器执行计算机程序时,电子设备可以执行如下步骤:响应于触发相机功能的操作,启动电子设备的相机应用。此时,电子设备显示第一预览图像,第一预览图像对应的变焦倍率为第一倍率。其中,第一倍率可以是预设倍率。如,当预设倍率是1倍(1×),则电子设备显示第一预览图像时,第一预览图像就是1×的图像。
当电子设备接收到第一操作之后,电子设备可以按照预设的规则确定像素信号合并方式,并按照预设像素信号合并方式(如,第一像素信号合并方式或第二像素信号合并方式)生成第二预览图像,使得电子设备显示第二预览图像。其中。第一操作指示电子设备调整变焦倍率为目标倍率(如,第二倍率)。这样,第二预览图像就是变焦倍率为目标倍率的图像。
第五方面,本申请实施例提供一种电子设备,包括:摄像头,用于采集图像;显示屏,用于显示界面;一个或多个处理器;存储器;以及一个或多个计算机程序,其中一个或多个计算机程序被存储在存储器中。当存储器执行计算机程序时,电子设备可以执行如下步骤:响应于触发相机功能的操作,启动电子设备的相机应用。电子设备显示第一预览图像,第一预览图像对应的变焦倍率为第一倍率。当电子设备显示第一预览图像时,如果电子设备接收到第一操作,该第一操作指示电子设备调整变焦倍率为第二倍率,第二倍率小于预设倍率。也就是说,当电子设备接收的第一操作指示电子设备的变焦倍率小于预设倍率。电子设备采用第一像素信号合并方式生成预览图像(即第二预览图像),电子设备的显示屏用于显示第二预览图像,以便用户可以通过显示屏查看实时预览图像。其中,第二预览图像对应的变焦倍率是第二倍率。响应于拍摄键被触发的操作,电子设备确定所在拍摄环境的亮度。如果亮度大于第一预设阈值,则电子设备采用第二像素信号合并方式生成拍摄图像;如果亮度小于等于第一预设阈值,则电子设备采用第一像素信号合并方式生成拍摄图像。
第六方面,本申请实施例提供一种电子设备,包括:摄像头,用于采集图像;显示屏,用于显示界面;一个或多个处理器;存储器;以及一个或多个计算机程序,其中一个或多个计算机程序被存储在存储器中。当存储器执行计算机程序时,电子设备可以执行如下步骤:响应于触发相机功能的操作,启动电子设备的相机应用。电子设备显示第一预览图像,第一预览图像对应的变焦倍率为第一倍率。当电子设备显示第一预览图像时,如果电子设备接收到第一操作,该第一操作指示电子设备调整变焦倍率为第三倍率,第三倍率大于等于预设倍率。也就是说,当电子设备接收的第一操作指示电子设备的变焦倍率大于等于预设倍率。
确定电子设备所在拍摄环境的亮度,如果亮度小于等于第一预设阈值,采用第一像素信号合并方式生成第二预览图像。如果亮度大于第一预设阈值,采用第二像素信号合并方式生成第二预览图像。其中,第二预览图像对应的变焦倍率为第三倍率。
第七方面,本申请还提供一种电子设备,包括:摄像头,用于采集图像;显示屏,用于显示界面;一个或多个处理器;存储器;以及一个或多个计算机程序,其中一个或多个计算机程序被存储在存储器中,一个或多个计算机程序包括指令,当指令被电子设备执行时,使得电子设备执行上述第一方面及其任一种可能的设计方式中的拍照方法。
第八方面,本申请还提供一种电子设备,包括:摄像头,用于采集图像;显示屏,用于显示界面;一个或多个处理器;存储器;以及一个或多个计算机程序,其中一个或多个计算机程序被存储在存储器中,一个或多个计算机程序包括指令,当指令被电子设备执行时,使得电子设备执行上述第二方面及其任一种可能的设计方式中的拍照方法。
第九方面,本申请还提供一种电子设备,包括:摄像头,用于采集图像;显示屏,用于显示界面;一个或多个处理器;存储器;以及一个或多个计算机程序,其中一个或多个计算机程序被存储在存储器中,一个或多个计算机程序包括指令,当指令被电子设备执行时,使得电子设备执行上述第三方面及其任一种可能的设计方式中的拍照方法。
第十方面,本申请还提供一种计算机可读存储介质,其特征在于,包括计算机指令,当计算机指令在计算机上运行时,使得计算机执行第一方面、第二方面、第三方面及其任一种可能的设计方式中的拍照方法。
第十一方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述第一方面、第二方面、第三方面及其任一种可能的设计中电子设备执行的方法。
第十二方面,本申请实施例提供了一种芯片***,该芯片***应用于电子设备。该芯片***包括一个或多个接口电路和一个或多个处理器;接口电路和处理器通过线路互联;接口电路用于从电子设备的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行计算机指令时,使得电子设备执行上述第一方面、第二方面、第三方面及其任一种可能的设计中的方法。
可以理解的是,上述本申请提供的第四方面的电子设备,第五方面的电子设备,第六方面的电子设备,第七方面的电子设备,第八方面的电子设备,第九方面的电子设备,第十方面的计算机可读存储介质,第十一方面的计算机程序产品和第十二方面的芯片***所能达到的有益效果,可参考如第一方面、第二方面、第三方面及其任一种可能的设计方式中的有益效果,此处不再赘述。
附图说明
图1A为本申请实施例提供的一种像素信号合并方式的示意图;
图1B为本申请实施例提供的另一像素信号合并方式的示意图;
图2为本申请实施例提供的一种拍摄方法的界面示意图;
图3为本申请实施例提供的一种电子设备的硬件结构示意图;
图4为本申请实施例提供的另一拍摄方法的界面示意图;
图5为本申请实施例提供的另一拍摄方法的界面示意图;
图6为本申请实施例提供的一种图像传感器切换像素信号合并方式的示意图;
图7为本申请实施例提供的另一图像传感器切换像素信号合并方式的示意图
图8为本申请实施例提供的电子设备摄像头结构示意图;
图9为本申请实施例提供的一种拍摄方法的流程图;
图10为本申请实施例提供的另一拍摄方法的流程图;
图11为本申请实施例提供的一种芯片***的结构示意图。
具体实施方式
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
为了便于理解本申请实施例所提供的方案,以下将对本申请实施例涉及的一些名词进行解释:
第一像素信号合并方式(Binning):电子设备在拍摄图像的过程中,目标对象反射的光线被摄像头采集,以使得该反射的光线传输至图像传感器。图像传感器上包括多个感光元件,每个感光元件采集到的电荷为一个像素,并对像素信息执行模拟并合(Binning)操作。具体地说,Binning可以将n×n个像素合并为一个像素。例如,Binning可以将相邻的3×3个像素合成为一个像素,也就是说,相邻3×3个像素的颜色以一个像素的形式呈现。
为了便于理解,第一像素信号合并方式可以被称为“第一像素排列方式”、“第一像素组合方式”、“第一图像读出模式”等。
示例性的,如图1A所示,如1A为电子设备获取图像后以Binning方式读出图像过程示意图。其中,如图1A中(a)为一个6×6的像素示意图,将相邻的3×3个像素合成为一个像素。图示1A中(b)为Binning方式读出的像素示意图。如,采用Binning方式,将图示1A中(a)的01区域中的3×3个像素,形成1A中(b)中的像素G;将图示1A中(a)的02区域中的3×3个像素,形成1A中(b)中的像素B;将图示1A中(a)的03区域中的3×3个像素,形成1A中(b)中的像素R;将图示1A中(a)的04区域中的3×3个像素,形成1A中(b)中的像素G。
其中,以输出图像格式是拜耳(Bayer)格式图像为例,Bayer格式的图像是指图像中仅包括红色、蓝色和绿色(即三原色)的图像。如,01区域中的3×3个像素形成的像素A为红色,02区域中的3×3个像素形成的像素B为绿色,03区域中的3×3个像素形成的像素C为绿色,04区域中的3×3个像素形成的像素D为蓝色。
第二像素信号合并方式(Remosaic):采用Remosaic方式读出图像时,将像素重新排列为Bayer格式图像。如,假设在图像中一个像素是由n×n个像素组成的,那么,采用Remosaic可以将该图像中的一个像素重新排列n×n个像素。为了便于理解,第二像素信号合并方式也可以被称为“第二像素排列方式”、“第二像素组合方式”、“第二图像读出模式”等。
示例性的,如图1B中(a)为一种像素示意图,每个像素是由相邻的3×3个像素合成的。如图1B中(b)为采用Remosaic方式读出的Bayer格式的图像示意。具体地说,图1B中(a)中像素A为红色,像素B和像素C为绿色,像素D为蓝色。将图1B中(a)中的每个像素分为3×3个像素,并分别重新排列。即采用Remosaic方式读出,读出的图像为图1B中(b)所示的Bayer格式的图像。
可以理解的,当电子设备在拍摄图像过程中,变焦倍数增大时,会影响图像的清晰度。在中等或低等亮度的拍摄场景中,如果采用Binning的方式可以将多个像素合成为一个像素,可以提升图像传感器的感光性能,增大信噪比。在高亮度的拍摄场景中,如果采用Remosaic的方式,将一个像素重新排列为Bayer格式的图像,可以提升图像的清晰度。
在一些实现中,电子设备拍摄图像的过程中,响应于变焦操作,电子设备的显示屏实时显示预览图像。该预览图像是变焦操作后,电子设备拍摄的目标对象图像。
例如,当电子设备拍摄目标对象时,电子设备显示如图2中(a)所示的预览图像201。此时,电子设备的变焦倍数是“1×”(1倍),即无变焦。电子设备接收到变焦操作,如图2中(a)所示,该操作是用户的双指向外滑动的手势。响应于接收到该变焦操作,电子设备显示如图2中(b)所示的预览界面202。此时,电子设备显示变焦倍数是“3×”。其中,当电子设备响应于变焦操作,预览图像202是无变焦倍数时预览图像201的一部分。
需要说明的,上说过程是以增大变焦倍数为例。假设变焦操作是缩小变焦倍数,则预览图像202中可以包括比预览图像201更多的内容。
具体地说,电子设备显示预览图像时,可以采用Binning的方式读出图像。当拍摄键被触发,电子设备判断当前的拍摄亮度,如果电子设备确定拍摄场景的拍摄亮度大于预设阈值,则电子设备切换为Remosaic的方式读出图像。如果电子设备确定拍摄场景的拍摄亮度小于等于预设阈值,则电子设备保持Binning的方式读出图像,并显示拍摄得到的图像。
其中,当拍摄场景的拍摄亮度大于预设阈值,在电子设备切换像素信号合并方式时,电子设备需要切换图像传感器设置(sensor setting)。在切换过程中,图像传感器需要先停止像素信号合并,这样,电子设备显示的预览图像就会停止,当切换完成之后,电子设备可以显示显示拍摄得到的图像。在上述过程中,会出现电子设备卡顿的现象,降低用户的使用体验。
本申请实施例提供一种拍摄方法,在变焦拍摄时提升拍摄图像的清晰度,并在改善图像清晰度的过程中,降低图像信噪比,提高图像质量。
下面将结合附图对本申请实施例的实施方式进行说明。
本申请实施例提供的拍摄方法可以应用于具有多个摄像头的电子设备中,该电子设备可以是手机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、车载电脑、车载设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、专业相机(如,单反相机、卡片式相机等)、运动相机(GoPro)、增强现实(augmented reality,AR)\虚拟现实(virtualreality,VR)设备等,本申请实施例对该电子设备的具体形态不作特殊限制。
请参考图3,为本申请实施例提供的电子设备100的硬件结构示意图。如图3所示,电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,骨传导传感器等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了***的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等***器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与***设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星***(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯***(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位***(global positioning system,GPS),全球导航卫星***(global navigation satellite system,GLONASS),北斗卫星导航***(beidounavigation satellite system,BDS),准天顶卫星***(quasi-zenith satellitesystem,QZSS)和/或星基增强***(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作***,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,用于将音频电信号转换为声音信号。受话器170B,用于将音频电信号转换成声音信号。麦克风170C,用于将声音信号转换为电信号。电子设备100可以设置至少一个麦克风170C。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器可以设置于显示屏194。压力传感器的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。
陀螺仪传感器可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器还可以用于导航,体感游戏场景。其中,电子设备100的运动姿态不同,则电子设备100上的摄像头拍摄到的图像也不同。
气压传感器用于测量气压。
磁传感器包括霍尔传感器。电子设备100可以利用磁传感器检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器测距以实现快速对焦。
接近光传感器可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器也可用于拍照时自动调节白平衡。环境光传感器还可以与接近光传感器配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器用于检测温度。在一些实施例中,电子设备100利用温度传感器检测的温度,执行温度处理策略。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器,也称“触控器件”。触摸传感器可以设置于显示屏194,由触摸传感器与显示屏194组成触摸屏,也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器可以获取振动信号。在一些实施例中,骨传导传感器可以获取人体声部振动骨块的振动信号。骨传导传感器也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过***SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时***多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。
本申请实施例中,电子设备100上可以包括不同焦段的摄像头,电子设备100上包括图像传感器可以是Quadra Sensor(四传感器,即一种图像传感器,该图像传感器的尺寸更大)。电子设备100在拍摄图像时,根据用户操作确定变焦倍数,同时,电子设备100可以根据亮度传感器(如,环境光传感器)确定当前拍摄环境的亮度。这样,电子设备100根据变焦倍数,以及当前拍摄场景的亮度,使得电子设备可以调整图像传感器的像素信号合并方式。如,采用Binning方式读出图像,或采用Remosaic方式读出图像。在这种拍摄方式下,可以提升变焦拍摄时拍摄图像的清晰度,并确保变焦拍摄时改善图像清晰度。
以下将以具有图3所示结构的电子设备是手机,手机包括触摸屏为例,对本申请实施例提供的拍摄方法进行阐述。其中,手机的触摸屏可以包括显示面板和触摸面板。显示面板可以显示界面,触摸面板可以检测用户的触摸操作,并上报给手机处理器进行相应的处理。
在一些实施例中,用户在使用手机拍摄图像时,可以通过触摸操作、按键操作、手势操作或语音操作等方式,指示手机启动相机应用。其中,手机在启动相机应用后可以自动进入拍照模式、录像模式等拍摄模式,并显示预览界面。
示例性的,如图4中(a)所示,用户可以通过单击“相机”应用图标401,指示手机开启相机应用,手机运行相机应用,显示如图4中(b)所示的拍摄界面。或者,手机处于锁屏状态时,用户可以通过在手机屏幕上向右滑动的手势,指示手机开启相机应用,手机也可以显示如图4中(b)所示的拍摄界面。又或者,手机处于锁屏状态,锁屏界面上包括相机应用图标,用户通过点击相机应用图标,指示手机开启相机应用,则手机显示图4中(b)所示的拍摄界面。又或者,手机在运行其他应用时,该应用具有调用相机应用的权限。用户通过点击相应的控件指示手机开启相机应用,则手机显示图4中(b)所示的拍摄界面。如,手机正在运行即时通信类应用时,用户可以通过选择相机功能的控件,指示手机开启相机应用。
具体地说,如图4中(b)所示,相机的预览界面包括取景框402、拍摄控件以及功能控件。功能控件包括:大光圈、人像、拍照和录像等。在一些实现中,拍摄界面中还可以包括变焦倍数指示403。一般而言,手机默认的变焦倍数为基本倍数,为“1×”。其中,变焦倍数可以理解为当前摄像头的焦距,相当于基准焦距的缩/放倍数。在手机显示预览界面时,可能存在至少一个摄像头处于工作状态。其中,基准焦距通常为手机主摄像头的焦距。
示例性的,以手机包括广角摄像头、中焦摄像头和长焦摄像头为例。假设目标对象和手机的相对位置不变,广角摄像头的焦距最小,视场角最大,拍摄得到的图像中目标对象的尺寸最小。中焦摄像头的焦距大于广角摄像头的焦距,视场角比广角摄像头小,拍摄得到的图像中目标对象的尺寸比广角摄像头大。长焦摄像头的焦距最大,视场角最小,拍摄得到的图像中目标对象的尺寸最大。
视场角用于指示手机在拍摄目标对象的过程中,摄像头所能拍摄到的最大角度。若目标对象处于摄像头能够拍摄到的最大角度范围中,则目标对象反射的光照就能够被摄像头采集到,以使得目标对象的影像呈现在手机显示预览图像中。若目标对象处于摄像头能够拍摄到的最大角度范围之外,则目标对象反射的光照就不能被摄像头采集到,这样,该目标对象的影像就无法出现在手机显示的预览图像中。一般而言,摄像头的视场角越大,则使用该摄像头时拍摄范围就越大。而摄像头的视场角越小,则使用该摄像头时拍摄范围就越小。可以理解的,视场角还可以被称为“视场范围”、“视野范围”、“视野区域”等。
需要说明的,手机在拍摄图像的过程中,可以使用任一摄像头作为主摄像头,并以主摄像头的焦距为基准焦距。
例如,手机在运行相机应用时,手机使用中焦摄像头作为主摄像头,主摄像头的焦距设置为基准焦距,变焦倍率为“1×”。如果手机同时使用长焦摄像头和中焦摄像头获取图像,那么,长焦摄像头的焦距与主摄像头(即中焦摄像头)的焦距倍数,作为长焦摄像头的变焦倍率。假设长焦摄像头的焦距是主摄像头的焦距的5倍,即长焦摄像头的变焦倍数为“5×”。当手机在拍摄图像时,可以根据用户操作对捕获的图像进行数码变焦,这样一来,使用长焦摄像头拍摄的图像可以对应的一个区间的变焦倍率,如,“5×”至“25×”。
又如,手机同时使用广角摄像头(短焦摄像头)和主摄像头(即中焦摄像头)获取图像,短焦摄像头的焦距与主摄像头的焦距倍数,可以作为短焦摄像头的变焦倍数。假设短焦摄像头的焦距可以是主摄像头的焦距的0.5倍,即短焦摄像头的变焦倍率为“0.5×”。基于此,当采用短焦摄像头采集图像时,进行数码变焦,这样一来,使用短焦摄像头拍摄的图像可以对应一个区间的变焦倍率,如“0.5×”至“1×”。
在一些实施例中,如图5中(a)所示,当手机运行相机应用显示拍摄界面,用户可以通过在手机显示屏上做出双指(或三指)捏合的手势,减小手机使用的变焦倍率;或者,用户可以通过在手机显示屏上做出双指(或三指)向外滑动的手势,即与捏合相反方向,增大手指间的距离,增大手机使用的变焦倍率。
如图5中(b)所示,手机在显示拍摄界面时该拍摄界面包括标尺501,该标尺用于指示当前的变焦倍数。用户可以在拍摄界面中拖动标尺中指示箭头,以调整手机使用的变焦倍率。
另外,用户还可以在拍摄界面通过切换当前的拍摄模式,以改变手机的变焦倍率。例如,手机当前是拍照模式,手机可以使用中焦摄像头捕获图像,如果用户选择切换至人像模式,则手机切换为短焦摄像头,增加变焦倍率。
示例性的,手机运行相机应用,手机采用Binning的方式读出图像,并将读出的图像作为预览图像。手机接收到用户输入的变焦操作,响应于变焦操作,手机显示变焦倍率对应的预览图像。假设响应于变焦操作,手机的变焦倍数为“3×”,则手机图像传感器设置如图6所示。其中,手机采用Binning的方式读出图像,并将处理后的图像作为预览图像呈现在显示屏上。变焦倍数为“3×”,则手机读出的图像像素为4000×3000,即预览图像是4000×3000,并以Binning的方式读出。当手机的拍摄键被触发,手机捕获图像可以采用Remosaic的方式读出图像。如图6所示,图像传感器的第一次切换过程:捕获图像过程中,手机的图像传感器可以将12000×9000的图像以Remosaic的方式读出。由于手机是在变焦倍数为“3×”的场景下输出图像,则手机对Remosaic的方式读出的图像进行裁切(即crop操作),使得该图像成为像素4000×3000,以Remosaic的方式读出的图像。进一步的,图像传感器的第二次切换:可以将像素4000×3000,以Remosaic的方式读出的图像转换为,4000×3000,并以Binning的方式读出的图像。这样一来,手机的显示屏上可以始终显示4000×3000,并以Binning的方式读出的图像。
在一些实施例中,在手机接收到变焦操作后,手机在预览时可以实时监测当前拍摄环境中的亮度。并根据当前的变焦倍数、以及环境中的亮度值调整像素信号合并方式。以手机接收到变焦操作后,该变焦操作指示手机以“3×”的变焦倍数显示图像为例。
如图7所示,手机当前采用预览时Binning的方式读出图像,以手机响应于变焦操作,以Binning的方式读出4000×3000的图像为例。如果确定当前拍摄环境中的亮度超过预设阈值,手机将当前的像素信号合并方式从Binning修改为Remosaic。当然,采用Remosaic的方式读出图像,还需要对图像进行crop,以保证得到对应变焦倍数的图像,即手机采用Remosaic+crop的方式,得到4000×3000的图像。如果确定当前拍摄环境中的亮度又发生了变化,拍摄环境的亮度不足预设阈值。这样,手机可以将当前的像素信号合并方式从Remosaic+crop修改为Binning。
值得一提的,由于手机可以实时的根据当前拍摄环境中的亮度调整像素信号合并方式,当拍摄键被触发,手机依然按照对应的像素信号合并方式获取拍摄图像。如图7所示,当手机采用Binning的方式读出4000×3000图像,并将该图像以预览图像呈现在手机显示屏,拍摄键被触发,手机依然按照Binning的方式读出图像,生成4000×3000的拍摄图像。当手机采用Remosaic+crop的方式读出4000×3000图像,并将该图像以预览图像呈现在手机显示屏,拍摄键被触发,手机依然按照Remosaic+crop的方式读出图像,生成4000×3000拍摄图像。
其中,当前拍摄环境中的亮度超过预设阈值,可以表示当前拍摄环境的亮度大于预设阈值,或者,表示当前拍摄环境的亮度大于等于预设阈值。当前拍摄环境中的亮度不足预设阈值,可以表示当前拍摄环境的亮度小于等于预设阈值,或者,表示当前拍摄环境的亮度小于预设阈值。
值的一提的是,上述手机从高亮环境到暗光环境的亮度阈值可以是第一阈值,即手机确定环境亮度不足第一阈值,手机从Remosaic+crop的方式切换至Binning的方式读出图像。手机从暗光环境到高亮环境的亮度阈值可以是第二阈值,即手机确定环境亮度超过第二阈值,手机从Binning的方式切换为Remosaic+crop方式读出图像。
示例性的,第二阈值可以大于第一阈值。也就是说,第二阈值和第一阈值不同,当手机确定拍摄环境亮度超过第二阈值,手机就切换像素信号合并方式。且当手机确定拍摄环境的亮度比第二阈值更低,不足第一阈值时,手机才会再次切换像素信号合并方式。这样,可以保护手机的图像传感器,防止手机往复调整像素信号合并方式(或称为乒乓切换像素信号合并方式),有利于维护手机拍照***的稳定运行。
在这种实施方式下,手机切换sensor setting时,手机可以保持图像传感器输出图像帧的速率不变。例如,图像传感器以30帧/秒的速率输出图像,不论是改变像素信号合并方式,或者是拍摄键被触发,手机可以始终保持以30帧/秒的速率输出图像。在这种情况下,进行sensor setting时,手机以Binning的方式读出4000×3000的图像,在完成像素信号合并方式切换后,手机切换为以Remosaic+crop的方式读出4000×3000的图像。
值得注意的是,手机在实时采集当前拍摄环境中的光照强度,在确定变焦倍数后,依据光照强度调整图像传感器的像素信号合并方式。也就是说,采用不同的像素信号合并方式,图像传感器采用Binning或Remosaic,感光能不是不同的。在图像传感器切换像素信号合并方式时,手机可以采用预设图像算法,以保证图像的色彩还原度高,并维持图像传感器切换像素信号合并方式时预览图像亮度均匀。
示例性的,预设算法可以是3A技术。其中,3A技术是自动对焦(Auto Focus,AF)、自动曝光(Automatic Exposure,AE)和自动白平衡(Automatic White Balance,AWB)的简称。具体而言,图像传感器切换像素信号合并方式时,采用3A技术可以利用AF算法、AE算法及AWB算法来实现图像对比度最大、改善主体拍摄物过曝光或曝光不足情况、使画面在不同光线照射下的色差得到补偿。这样一来,就解决了图像传感器切换像素信号合并方式过程中,可能出现的预览图像闪烁现象。采用3A技术,使得图像传感器切换像素信号合并的过程中,屏幕显示预览画面的亮度更平滑自然。
值得一提的,当手机采用Remosaic方式读出图像,能够提升输出图像的清晰度。这样,手机采用Remosaic方式读出图像,并对读出的图像进行裁剪,以使得该图像成为符合变焦倍率的图像。在这种像素信号合并方式中拍摄键被触发后,手机在采用Remosaic+crop方式得到图像,可以获取多帧图像,根据多帧图像生成拍摄图像,并在手机上显示拍摄图像。其中,多帧的图像可以提升拍摄图像的信噪比,使得拍摄图像中的细节得到增强,而让拍摄图像呈现出高动态范围图像(High-Dynamic Range,HDR)效果。
也就是说,多帧的图像是在不同的曝光时刻采集到的,根据多帧图像得到的拍摄图像。就是利用每个曝光时刻对应的细节图像来合成最终的HDR图像(即拍摄图像),能够更好的反映出真实环境中的视觉效果。示例性的,Remosaic+crop方式得到的图像已经是相对于Binning的方式更清晰的图像,手机根据连续曝光拍摄得到的三张图像,合成一张图像,就能够提升图像的细节表现。
具体地说,在不同的变焦倍数下,可以设置不同的sensor setting策略。手机在采集到图像后,还可以运用不同的算法处理图像。其中,当手机采集到变焦操作后,手机中的前置摄像头和后置摄像头都可以设置不同的sensor setting策略和图像处理算法。
在一种可能的实现中,手机包括三个后置摄像头和两个前置摄像头。如图8中(a)所示,前置摄像头包括第一前置摄像头801和第二前置摄像头802;如图8中(b)所示,后置摄像头包括第一后置摄像头803、第二后置摄像头804和第三后置摄像头805。
示例性的,后置三个摄像头的配置可以是:第一后置摄像头为主摄像头(中焦摄像头),规格为108M(拍摄像素为1920*1080),且该摄像头采用3x3 quadra sensor;第二后置摄像头为超广角摄像头,规格为8M(800万像素);第三后置摄像头为长焦摄像头,规格为64M(6400万像素),且该摄像头采用2x2 quadra sensor,3.5x tele。其中,tele的光学变焦倍率是3.5x。也就是说,在35mm等效焦距时,第三后置摄像头焦距是主摄(第一后置摄像头)焦距的3.5倍。
两个前置摄像头的配置可以是:第一前置摄像头为主摄像头,规格为32M,且该摄像头采用2x2 quadra sensor;第二前置摄像头为广角摄像头,规格为12M。
手机中预设的图像处理算法包括:多帧降噪(multi frame noise reduction,MFNR)、高动态范围(high dynamic range,HDR)、高动态超分辨率(high dynamic superresolution,HDSR)、基于人脸的超分辨率算法(Face super resolution,FACESR)等。
MFNR:根据多帧图像实现图像降噪。具体来说,在一帧图像中查找当前像素的相似像素点,并对这些像素点进行加权平均操作,以使得相似像素呈现出相同的显示效果,以降低图像噪声。HDR:能够实现多帧图像融合时,提高生成的图像的像素对比,以提升图像动态范围。HDSR:在高动态范围融合的基础上,实现超分辨率的算法。FACESR:基于人脸的超分辨率算法,可以通过增强人脸边界,使得图像上人脸更清晰,从而提升整个图像的清晰度。
其中,当手机采用后置摄像头采集图像时,变焦倍数不同,则手机可以采用不同的图像算法以及图像传感器设置。请参考如下表1,为手机采用后置摄像头采集图像的不同变焦场景。
表1:采用后置摄像头采集图像的变焦范围与图像处理算法对应关系
Figure BDA0003116093540000171
Figure BDA0003116093540000181
其中,当手机采用前置摄像头采集图像时,变焦倍数不同,则手机可以采用不同的图像算法以及图像传感器设置。请参考如下表2,为手机采用前置摄像头采集图像的不同变焦场景。
表2:采用前置摄像头采集图像的变焦范围与图像处理算法对应关系
Figure BDA0003116093540000182
本申请实施例还提供一种拍摄方法,请参考图9,该方法可以包括:
需要说明的,此处以电子设备的变焦倍率在预设倍率范围内为例(即变焦倍率为第二倍率,小于预设倍率),说明本申请实施例提供的拍摄方法。如,变焦倍率小于3×。其中,电子设备通过ISP、摄像头、视频编码器、GPU,显示屏以及处理器等实现拍摄功能。如果电子设备采用前置摄像头实现拍摄功能,变焦范围是0.8-1.9x。如果电子设备采用后置摄像头实现拍摄功能,变焦范围包括1.0-2.9x和3.5x–6.9x。
步骤901:电子设备启动相机。
步骤902:电子设备显示第一预览图像,第一预览图像对应的变焦倍率为第一倍率。
示例性的,电子设备启动相机,电子设备显示1×的变焦倍率对应的预览图像。
步骤903:电子设备接收到用户输入的第一操作,第一操作指示电子设备调整相机的变焦倍率为第二倍率。
其中,第二倍率与第一倍率不同。第一操作可以包括指示电子设备增大相机的变焦倍率或缩小相机的变焦倍率。
例如,第一操作可以是指示电子设备增大相机的变焦倍率为第二倍率;或者,第一操作可以是指示电子设备缩小相机的变焦倍率为第二倍率。
步骤904:响应于第一操作,电子设备采用第一像素信号合并方式生成第二预览图像,显示第二预览图像。
其中,第二预览图像对应的变焦倍率为第二倍率。
步骤905:响应于拍摄键被触发,确定电子设备所在拍摄环境的亮度。
具体地说,电子设备可以通过多个传感器(如,环境光传感器、光照传感器等)和显示屏,识别到电子设备当前所在拍摄环境的亮度。
步骤906:如果亮度大于第一预设阈值,电子设备采用第二像素信号合并方式生成拍摄图像;如果亮度小于等于第一预设阈值,电子设备采用第一像素信号合并方式生成拍摄图像。
电子设备是在接收到拍摄键被触发的瞬间,确定当前所在拍摄环境的亮度,并根据亮度调整图像传感器的像素信号合并方式。
在一些实现中,电子设备采用第二像素信号合并法方式生成拍摄图像时,电子设备需要在拍摄图像时从第一像素信号合并方式切换为第二像素信号合并方式。其中,电子设备先停止以第一像素信号合并方式输出图像帧,这样,电子设备也就会停止显示预览图像。此时,电子设备设置从第一像素信号合并方式切换为地热像素信号合并方式,待图像传感器完成切换,电子设备采用第二像素信号合并法方式生成拍摄图像。
其中,待电子设备生成拍摄图像之后,如果电子设备还是处于拍摄状态,电子设备可以将第二像素信号合并方式切换为第一像素信号合并方式。电子设备继续采用第一像素信号合并方式输出图像帧,并继续为电子设备提供预览图像。
值得一提的,采用第二像素信号合并方式生成拍摄图像时,电子设备需要对图像传感器输出的图像进行裁切(crop),具体可以参照上述具体实施方式中对采用第二像素信号合并方式生成图像的方式,为了避免赘余,此处不与赘述。
本申请实施例还提供一种拍摄方法,请参考图10,该方法可以包括:
其中,此处以电子设备的变焦倍率在预设倍率范围内为例(即变焦倍率为第三倍率,大于等于预设倍率),说明本申请实施例提供的拍摄方法。如,变焦倍率小于3×。如表1和表2中,通过后置摄像头实现拍摄功能,则变焦范围包括3.0x-3.4x和7.0x–50.0x;通过前置摄像头实现拍摄功能,则第三倍率可以是2.0x。
步骤1001:电子设备启动相机。
步骤1002:电子设备显示第一预览图像,第一预览图像对应的变焦倍率为第一倍率。
步骤1003:电子设备接收到第一操作,第一操作指示电子设备调整变焦倍率为第三倍率。
其中,第一倍率与第二倍率不同,第一操作可以包括指示电子设备增大相机的变焦倍率或缩小相机的变焦倍率。
其中,上述步骤1001-步骤1003与上述步骤901-步骤903相同,具体实施可以参考上述相关描述,此处不与赘述。
步骤1004:电子设备确定所在拍摄环境的亮度,并判断亮度是否大于第一预设阈值。如果亮度小于等于第一预设阈值,执行步骤1005-步骤1006;如果亮度大于第一预设阈值,执行步骤1007-步骤1008。
其中,确定拍摄环境的亮度的方式前述已经说明,此处不与赘述。
步骤1005:采用第一像素信号合并方式生成第二预览图像,第二预览图像对应的变焦倍率为第三倍率。
步骤1006:响应于拍摄键被触发,电子设备采用第一像素信号合并方式生成拍摄图像。
步骤1007:采用第二像素信号合并方式生成第二预览图像,第二预览图像对应的变焦倍率为第三倍率。
步骤1008:响应于拍摄键被触发,电子设备采用第二像素信号合并方式生成拍摄图像。
可以理解的,在该方法中,当电子设备采用第一像素信号合并方式生成第二预览图像,则拍摄键被触发,电子设备就采用第一像素信号合并方式生成拍摄图像。当电子设备采用第二像素信号合并方式生成第二预览图像,则拍摄键被触发,电子设备就采用第二像素信号合并方式生成拍摄图像。
值得一提的是,在上述方法中,电子设备是实时识别当前所在拍摄环境的亮度。如果亮度发生改变,则电子设备也会实时调整像素信号合并方式。其中,实时是表示每间隔5s、10s或15s电子设备就识别一次当前所在拍摄环境的亮度。
根据变焦倍率和当前环境的拍摄亮度,设置图像传感器的像素信号合并方式。
电子设备可以参考上述表1和表2中的变焦倍率,以及该变焦倍率下图像传感器的像素信号合并方式。特别的,以手机采用后置摄像头采集图像为例,当变焦倍率为3.3×-3.4×,或者,变焦倍率为7.0x–50.0x,手机可以根据当前拍摄环境的亮度调整图像传感器的图像输出方式。如果拍摄环境亮度是高亮场景,则采用remosiac+crop方式读出图像,并生成拍摄图像。如果拍摄环境亮度是中低亮度场景,则采用Binning方式读出图像。
另外,电子设备实时根据当前所在拍摄环境的亮度,调整像素信号合并方式。为了避免频繁切换影响电子设备的拍摄,当电子设备大于第一预设阈值,电子设备切换为第二像素信号合并方式输出图像帧。当电子设备小于第二预设阈值,电子设备从第二像素信号合并方式切换为第一像素信号合并方式。其中,第二预设阈值小于第一预设阈值。
可以理解的,电子设备显示的第二预览图像清晰度较好的图像。这样,电子设备可以在变焦拍摄时提升变焦图像的清晰度,降低图像信噪比,提高图像质量。
以上是以电子设备是手机为例说明本申请实施例提供的方法,当电子设备为其他设备时,也可以采用上述的方法。此处不予赘述。
可以理解的是,本申请实施例提供的电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的范围。
本申请实施例可以根据上述方法示例对上述电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
本申请实施例还提供一种芯片***,如图11所示,该芯片***包括至少一个处理器1101和至少一个接口电路1102。处理器1101和接口电路1002可通过线路互联。例如,接口电路1102可用于从其它装置(例如电子设备的存储器)接收信号。又例如,接口电路1102可用于向其它装置(例如处理器1101)发送信号。示例性的,接口电路1102可读取存储器中存储的指令,并将该指令发送给处理器1101。当所述指令被处理器1101执行时,可使得电子设备执行上述实施例中的各个步骤。当然,该芯片***还可以包含其他分立器件,本申请实施例对此不作具体限定。
本申请实施例还提供一种计算机存储介质,该计算机存储介质包括计算机指令,当所述计算机指令在上述电子设备上运行时,使得该电子设备执行上述方法实施例中手机执行的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行上述方法实施例中手机执行的各个功能或者步骤。
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (23)

1.一种拍摄方法,其特征在于,包括:
响应于触发相机功能的操作,启动电子设备的相机应用;
所述电子设备显示第一预览图像,所述第一预览图像对应的变焦倍率为第一倍率;
所述电子设备接收到第一操作,所述第一操作指示所述电子设备调整变焦倍率为第二倍率,所述第二倍率小于预设倍率;
所述电子设备采用第一像素信号合并方式生成第二预览图像,显示所述第二预览图像,所述第二预览图像对应的变焦倍率为所述第二倍率;
响应于拍摄键被触发的操作,确定所述电子设备所在拍摄环境的亮度;
若所述亮度大于第一预设阈值,所述电子设备采用第二像素信号合并方式生成拍摄图像;若所述亮度小于或等于所述第一预设阈值,所述电子设备采用所述第一像素信号合并方式生成拍摄图像。
2.根据权利要求1所述的方法,其特征在于,所述电子设备采用第二像素信号合并方式生成拍摄图像,包括:
所述电子设备采用第二像素信号合并方式输出原始图像,所述原始图像的变焦倍率为所述第一倍率,所述第一倍率大于所述第二倍率;
对所述原始图像进行裁切处理,生成拍摄图像,所述拍摄图像是变焦倍率为所述第二倍率的图像。
3.根据权利要求1或2所述的方法,其特征在于,所述若所述亮度大于第一预设阈值之后,所述电子设备采用第二像素信号合并方式生成拍摄图像之前,所述方法还包括:
所述电子设备停止以所述第一像素信号合并方式输出图像帧;
所述电子设备停止显示所述第二预览图像;
所述电子设备从所述第一像素信号合并方式切换为第二像素信号合并方式。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述若所述亮度大于第一预设阈值,所述电子设备采用第二像素信号合并方式生成拍摄图像;若所述亮度小于或等于所述第一预设阈值,所述电子设备采用所述第一像素信号合并方式生成拍摄图像之后,所述方法还包括:
所述电子设备采用所述第一像素信号合并方式生成第三预览图像,显示所述第三预览图像。
5.根据权利要求1-4任一项所述的方法,其特征在于,
所述电子设备采用第一像素信号合并方式生成拍摄图像,包括:
所述电子设备采用第一像素信号合并方式输出多帧图像帧;
基于第一图像融合算法,所述电子设备根据所述多帧图像帧生成拍摄图像;
其中,所述第一图像融合算法至少包括:多帧降噪算法、高动态范围算法、高动态超分辨率算法和基于人脸的超分辨率算法中的一个。
6.根据权利要求2所述的方法,其特征在于,所述对所述原始图像进行裁切处理,生成拍摄图像,包括:
对所述原始图像进行裁切处理之后,得到预处理图像帧;
基于第二图像融合算法,所述电子设备根据多帧所述预处理图像帧生成拍摄图像;
其中,所述第二图像融合算法至少包括:多帧降噪算法、高动态范围算法、高动态超分辨率算法和基于人脸的超分辨率算法中的一个。
7.根据权利要求1-6任一项所述的方法,其特征在于,
所述电子设备包括一个或多个前置摄像头,所述电子设备通过所述一个或多个前置摄像头实现拍摄功能;
所述第二倍率是第一倍率区间的一个倍率值,其中,所述第一倍率区间为0.8倍率至1.9倍率;
或者;
所述电子设备包括一个或多个后置摄像头,所述电子设备通过所述一个或多个后置摄像头实现拍摄功能;
所述第二倍率是第二倍率区间的一个倍率值,其中,所述第二倍率区间为1.0倍率至2.9倍率。
8.一种拍摄方法,其特征在于,包括:
响应于触发相机功能的操作,启动电子设备的相机应用;
所述电子设备显示第一预览图像,所述第一预览图像对应的变焦倍率为第一倍率;
所述电子设备接收到第一操作,所述第一操作指示所述电子设备调整变焦倍率为第三倍率,所述第三倍率大于或等于预设倍率;
确定所述电子设备所在拍摄环境的亮度;
若所述亮度小于或等于第一预设阈值,采用第一像素信号合并方式生成第二预览图像,所述第二预览图像对应的变焦倍率为所述第三倍率;
若所述亮度大于所述第一预设阈值,采用第二像素信号合并方式生成第二预览图像,所述第二预览图像对应的变焦倍率为所述第三倍率。
9.根据权利要求8所述的方法,其特征在于,所述若所述亮度小于或等于第一预设阈值,采用第一像素信号合并方式生成第二预览图像,所述第二预览图像对应的变焦倍率为所述第三倍率之后,所述方法还包括:
确定所述电子设备拍摄环境的当前亮度;
若所述当前亮度大于所述第一预设阈值,所述电子设备从所述第一像素信号合并方式切换为第二像素信号合并方式;
采用所述第二像素信号合并方式生成第三预览图像,所述第三预览图像对应的变焦倍率为所述第三倍率。
10.根据权利要求8或9所述的方法,其特征在于,所述若所述亮度大于所述第一预设阈值,采用第二像素信号合并方式生成第二预览图像,所述第二预览图像对应的变焦倍率为所述第三倍率之后,所述方法还包括:
确定所述电子设备所在拍摄环境的当前亮度;
若所述当前亮度小于或等于第二预设阈值,所述电子设备从所述第二像素信号合并方式切换为第一像素信号合并方式,所述第二预设阈值小于所述第一预设阈值;
采用所述第一像素信号合并方式生成第四预览图像,所述第四预览图像对应的变焦倍率为所述第三倍率。
11.根据权利要求8-10任一项所述的方法,其特征在于,当所述电子设备采用第一像素信号合并方式生成第二预览图像时,所述方法还包括:
响应于拍摄键被触发,所述电子设备采用所述第一像素信号合并方式生成拍摄图像;
当所述电子设备采用第二像素信号合并方式生成第二预览图像时,所述方法还包括:
响应于拍摄键被触发,所述电子设备采用所述第二像素信号方式生成拍摄图像。
12.根据权利要求9所述的方法,其特征在于,所述方法还包括:
当所述电子设备采用第一像素信号合并方式生成第二预览图像时,所述电子设备按照第一速率输出预览图像帧;
当所述电子设备采用第二像素信号合并方式生成第三预览图像时,所述电子设备按照第一速率输出预览图像帧。
13.根据权利要求10所述的方法,其特征在于,所述方法还包括:
当所述电子设备采用第二像素信号合并方式生成第二预览图像时,所述电子设备按照第一速率输出预览图像帧;
当所述电子设备采用第一像素信号合并方式生成第四预览图像时,所述电子设备按照第一速率输出预览图像帧。
14.根据权利要求9或12所述的方法,其特征在于,所述采用所述第一像素信号合并方式生成第三预览图像时,包括:
所述电子设备采用所述第一像素信号合并方式输出第一初始图像,根据预设图像算法将所述第一初始图像生成第三预览图像,使得所述第三预览图像的亮度与所述第二预览图像亮度近似。
15.根据权利要求10或13所述的方法,其特征在于,所述采用所述第二像素信号合并方式生成第四预览图像时,包括:
所述电子设备采用所述第二像素信号合并方式输出第二初始图像,根据预设图像算法将所述第二初始图像生成第四预览图像,使得所述第四预览图像的亮度与所述第二预览图像亮度近似。
16.根据权利要求14所述的方法,其特征在于,所述第一初始图像的分辨率对应所述第三倍率。
17.根据权利要求15所述的方法,其特征在于,所述第二初始图像的分辨率为第四分辨率,所述第四分辨率大于所述第三分辨率;
所述电子设备采用所述第二像素信号合并方式输出第二初始图像之后,所述根据预设图像算法将所述第二初始图像生成第四预览图像之前,所述方法还包括:
所述电子设备对所述第二初始图像进行裁切处理,使得所述第二初始图像的分辨率为所述第三分辨率。
18.根据权利要求11所述的方法,其特征在于,所述电子设备采用第一像素信号合并方式生成拍摄图像,包括:
所述电子设备采用第一信号合并方式输出多帧图像帧,基于第一图像融合算法,根据所述多帧图像帧生成拍摄图像;
所述电子设备采用第二像素信号合并方式生成拍摄图像,包括:
所述电子设备采用第二信号合并方式输出多帧原始图像帧,针对每帧原始图像帧进行裁切处理,得到多帧裁切图像帧,基于第二图像融合算法,根据所述多帧裁切图像帧生成拍摄图像。
19.根据权利要求17所述的方法,其特征在于,所述第一图像融合算法至少包括:多帧降噪算法、高动态范围算法、高动态超分辨率算法和基于人脸的超分辨率算法中的一个;
所述第二图像融合算法至少包括:多帧降噪算法、高动态范围算法、高动态超分辨率算法和基于人脸的超分辨率算法中的一个。
20.根据权利要求8-19任一项所述的方法,其特征在于,
如果所述电子设备包括一个或多个前置摄像头,所述电子设备通过所述一个或多个前置摄像头实现拍摄功能,所述第三倍率是2.0倍率;
如果所述电子设备包括一个或多个后置摄像头,所述电子设备通过所述一个或多个后置摄像头实现拍摄功能,所述第三倍率是第三倍率区间或第四倍率区间的一个倍率值。
21.根据权利要求19所述的方法,其特征在于,所述第三倍率区间为3.0倍率至3.4倍率;所述第四倍率区间为7.0倍率至50.0倍率。
22.一种电子设备,其特征在于,包括:
一个或多个处理器;存储器,所述存储器中存储有代码;触摸屏,用于检测触摸操作以及显示界面;
当所述代码被所述一个或多个处理器执行时,使得所述电子设备执行如权利要求1-21任一项所述的方法。
23.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得电子设备执行如权利要求1-21任一项所述的拍摄方法。
CN202110662935.6A 2021-06-15 2021-06-15 一种拍摄方法及电子设备 Pending CN113727016A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110662935.6A CN113727016A (zh) 2021-06-15 2021-06-15 一种拍摄方法及电子设备
PCT/CN2021/143949 WO2022262260A1 (zh) 2021-06-15 2021-12-31 一种拍摄方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110662935.6A CN113727016A (zh) 2021-06-15 2021-06-15 一种拍摄方法及电子设备

Publications (1)

Publication Number Publication Date
CN113727016A true CN113727016A (zh) 2021-11-30

Family

ID=78672952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110662935.6A Pending CN113727016A (zh) 2021-06-15 2021-06-15 一种拍摄方法及电子设备

Country Status (2)

Country Link
CN (1) CN113727016A (zh)
WO (1) WO2022262260A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114449174A (zh) * 2022-02-28 2022-05-06 维沃移动通信有限公司 拍摄方法、装置和电子设备
CN115118871A (zh) * 2022-02-11 2022-09-27 东莞市步步高教育软件有限公司 一种拍照像素模式切换方法、***、终端设备及存储介质
CN115426449A (zh) * 2022-07-30 2022-12-02 荣耀终端有限公司 一种拍照方法和终端
WO2022262260A1 (zh) * 2021-06-15 2022-12-22 荣耀终端有限公司 一种拍摄方法及电子设备
CN115526787A (zh) * 2022-02-28 2022-12-27 荣耀终端有限公司 视频处理方法和装置
CN115550544A (zh) * 2022-08-19 2022-12-30 荣耀终端有限公司 图像处理方法及装置
CN116051368A (zh) * 2022-06-29 2023-05-02 荣耀终端有限公司 图像处理方法及其相关设备
CN116055855A (zh) * 2022-07-28 2023-05-02 荣耀终端有限公司 图像处理方法及其相关设备
WO2023160224A1 (zh) * 2022-02-28 2023-08-31 荣耀终端有限公司 一种拍摄方法及相关设备
WO2023160220A1 (zh) * 2022-02-28 2023-08-31 荣耀终端有限公司 一种图像处理方法和电子设备
WO2023160221A1 (zh) * 2022-02-24 2023-08-31 荣耀终端有限公司 一种图像处理方法和电子设备
CN116709016A (zh) * 2022-02-24 2023-09-05 荣耀终端有限公司 倍率切换方法和倍率切换装置
CN116709021A (zh) * 2023-02-13 2023-09-05 荣耀终端有限公司 变焦响应方法、电子设备及存储介质
CN116939363A (zh) * 2022-03-29 2023-10-24 荣耀终端有限公司 图像处理方法与电子设备
WO2023245391A1 (zh) * 2022-06-20 2023-12-28 北京小米移动软件有限公司 一种相机预览的方法及其装置
CN117714858A (zh) * 2023-07-31 2024-03-15 荣耀终端有限公司 一种图像处理方法、电子设备及可读存储介质
WO2024055823A1 (zh) * 2022-09-16 2024-03-21 荣耀终端有限公司 相机应用界面的交互方法及装置
WO2024093518A1 (zh) * 2022-11-01 2024-05-10 荣耀终端有限公司 一种出图模式切换方法及相关设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116320727B (zh) * 2023-02-25 2024-03-08 荣耀终端有限公司 一种算法调度方法及电子设备
CN116306733B (zh) * 2023-02-27 2024-03-19 荣耀终端有限公司 一种放大二维码的方法及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110876027A (zh) * 2018-08-29 2020-03-10 三星电子株式会社 图像传感器和包括其的电子设备、以及图像缩放处理方法
US20210067749A1 (en) * 2019-08-26 2021-03-04 Samsung Electronics Co., Ltd. System and method for content enhancement using quad color filter array sensors

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10136079B2 (en) * 2013-10-31 2018-11-20 Ricoh Imaging Company, Ltd. Method and apparatus for imaging an object
CN108419022A (zh) * 2018-03-06 2018-08-17 广东欧珀移动通信有限公司 控制方法、控制装置、计算机可读存储介质和计算机设备
CN109005364B (zh) * 2018-08-13 2020-03-06 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备以及计算机可读存储介质
CN109005363B (zh) * 2018-08-13 2020-07-17 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备以及存储介质
CN110475066A (zh) * 2019-08-20 2019-11-19 Oppo广东移动通信有限公司 控制方法、成像装置和电子设备
CN110572581B (zh) * 2019-10-14 2021-04-30 Oppo广东移动通信有限公司 基于终端设备的变焦虚化图像获取方法和装置
CN113727016A (zh) * 2021-06-15 2021-11-30 荣耀终端有限公司 一种拍摄方法及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110876027A (zh) * 2018-08-29 2020-03-10 三星电子株式会社 图像传感器和包括其的电子设备、以及图像缩放处理方法
US20210067749A1 (en) * 2019-08-26 2021-03-04 Samsung Electronics Co., Ltd. System and method for content enhancement using quad color filter array sensors

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022262260A1 (zh) * 2021-06-15 2022-12-22 荣耀终端有限公司 一种拍摄方法及电子设备
CN115118871A (zh) * 2022-02-11 2022-09-27 东莞市步步高教育软件有限公司 一种拍照像素模式切换方法、***、终端设备及存储介质
WO2023160221A1 (zh) * 2022-02-24 2023-08-31 荣耀终端有限公司 一种图像处理方法和电子设备
CN116709016A (zh) * 2022-02-24 2023-09-05 荣耀终端有限公司 倍率切换方法和倍率切换装置
CN116709042A (zh) * 2022-02-24 2023-09-05 荣耀终端有限公司 一种图像处理方法和电子设备
CN114449174A (zh) * 2022-02-28 2022-05-06 维沃移动通信有限公司 拍摄方法、装置和电子设备
CN115526787B (zh) * 2022-02-28 2023-10-20 荣耀终端有限公司 视频处理方法和装置
WO2023160224A1 (zh) * 2022-02-28 2023-08-31 荣耀终端有限公司 一种拍摄方法及相关设备
WO2023160220A1 (zh) * 2022-02-28 2023-08-31 荣耀终端有限公司 一种图像处理方法和电子设备
CN116723417B (zh) * 2022-02-28 2024-04-26 荣耀终端有限公司 一种图像处理方法和电子设备
CN115526787A (zh) * 2022-02-28 2022-12-27 荣耀终端有限公司 视频处理方法和装置
CN116723417A (zh) * 2022-02-28 2023-09-08 荣耀终端有限公司 一种图像处理方法和电子设备
CN116939363B (zh) * 2022-03-29 2024-04-26 荣耀终端有限公司 图像处理方法与电子设备
CN116939363A (zh) * 2022-03-29 2023-10-24 荣耀终端有限公司 图像处理方法与电子设备
WO2023245391A1 (zh) * 2022-06-20 2023-12-28 北京小米移动软件有限公司 一种相机预览的方法及其装置
CN116051368A (zh) * 2022-06-29 2023-05-02 荣耀终端有限公司 图像处理方法及其相关设备
CN116051368B (zh) * 2022-06-29 2023-10-20 荣耀终端有限公司 图像处理方法及其相关设备
CN116055855B (zh) * 2022-07-28 2023-10-31 荣耀终端有限公司 图像处理方法及其相关设备
CN116055855A (zh) * 2022-07-28 2023-05-02 荣耀终端有限公司 图像处理方法及其相关设备
CN115426449A (zh) * 2022-07-30 2022-12-02 荣耀终端有限公司 一种拍照方法和终端
CN115550544B (zh) * 2022-08-19 2024-04-12 荣耀终端有限公司 图像处理方法及装置
CN115550544A (zh) * 2022-08-19 2022-12-30 荣耀终端有限公司 图像处理方法及装置
WO2024055823A1 (zh) * 2022-09-16 2024-03-21 荣耀终端有限公司 相机应用界面的交互方法及装置
WO2024093518A1 (zh) * 2022-11-01 2024-05-10 荣耀终端有限公司 一种出图模式切换方法及相关设备
CN116709021A (zh) * 2023-02-13 2023-09-05 荣耀终端有限公司 变焦响应方法、电子设备及存储介质
CN116709021B (zh) * 2023-02-13 2024-06-18 荣耀终端有限公司 变焦响应方法、电子设备及存储介质
CN117714858A (zh) * 2023-07-31 2024-03-15 荣耀终端有限公司 一种图像处理方法、电子设备及可读存储介质

Also Published As

Publication number Publication date
WO2022262260A1 (zh) 2022-12-22

Similar Documents

Publication Publication Date Title
WO2022262260A1 (zh) 一种拍摄方法及电子设备
CN110072070B (zh) 一种多路录像方法及设备、介质
CN110445978B (zh) 一种拍摄方法及设备
WO2020073959A1 (zh) 图像捕捉方法及电子设备
CN113810600B (zh) 终端的图像处理方法、装置和终端设备
CN111050062B (zh) 一种拍摄方法及电子设备
CN113810601B (zh) 终端的图像处理方法、装置和终端设备
CN110602403A (zh) 一种暗光下拍照的方法及电子设备
CN114489533A (zh) 投屏方法、装置、电子设备及计算机可读存储介质
CN113596316A (zh) 拍照方法、图形用户界面及电子设备
CN114863494A (zh) 屏幕亮度的调整方法、装置和终端设备
CN113572957B (zh) 一种拍摄对焦方法及相关设备
CN112637481B (zh) 图像缩放方法和装置
CN112188094B (zh) 图像处理方法及装置、计算机可读介质及终端设备
CN113852755A (zh) 拍摄方法、设备、计算机可读存储介质及程序产品
CN115412678B (zh) 曝光处理方法、装置及电子设备
CN113572948A (zh) 视频处理方法和视频处理装置
CN113923351B (zh) 多路视频拍摄的退出方法、设备和存储介质
CN114302063B (zh) 一种拍摄方法及设备
CN115706869A (zh) 终端的图像处理方法、装置和终端设备
CN112422814A (zh) 一种拍摄方法和电子设备
RU2789447C1 (ru) Способ и устройство многоканальной видеозаписи
CN116095509B (zh) 生成视频帧的方法、装置、电子设备及存储介质
CN115297269B (zh) 曝光参数的确定方法及电子设备
RU2809660C1 (ru) Способ кадрирования для записи многоканального видео, графический пользовательский интерфейс и электронное устройство

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination