CN113840076A - 一种拍摄变焦方法、电子设备及存储介质 - Google Patents

一种拍摄变焦方法、电子设备及存储介质 Download PDF

Info

Publication number
CN113840076A
CN113840076A CN202010591190.4A CN202010591190A CN113840076A CN 113840076 A CN113840076 A CN 113840076A CN 202010591190 A CN202010591190 A CN 202010591190A CN 113840076 A CN113840076 A CN 113840076A
Authority
CN
China
Prior art keywords
image data
zooming
image
cameras
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010591190.4A
Other languages
English (en)
Other versions
CN113840076B (zh
Inventor
蓝和
方攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010591190.4A priority Critical patent/CN113840076B/zh
Publication of CN113840076A publication Critical patent/CN113840076A/zh
Application granted granted Critical
Publication of CN113840076B publication Critical patent/CN113840076B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例一种拍摄变焦方法、电子设备及存储介质,其中,电子设备包括焦段不同的多个摄像头,拍摄变焦方法包括:启动多个摄像头;接收变焦指令,并提取变焦信息;根据所述变焦信息从所述多个摄像头中确定出至少两个目标摄像头,所述目标摄像头的个数小于所述多个摄像头的个数;通过所述目标摄像头采集至少两路图像数据;根据所述变焦信息对所述至少两路图像数据进行图像处理,得到变焦后的预览图像。本申请实施例根据变焦信息从多个摄像头中确定出目标摄像头,只通过目标摄像头采集图像,对采集的图像数据进行图像处理,可以减少电子设备图像数据的处理量,降低电子设备的功耗。

Description

一种拍摄变焦方法、电子设备及存储介质
技术领域
本申请涉及电子技术领域,具体涉及一种拍摄变焦方法、电子设备及存储介质。
背景技术
现有的电子设备往往包括多个不同的摄像头,通过同时对多个摄像头采集的多路图像数据进行处理,以实现平滑变焦的操作,但通过该变焦方式,对于电子设备的性能要求较高,会增加电子设备的功耗,在性能较低的电子设备上通过该变焦方式在变焦过程中会出现卡顿。
发明内容
本申请实施例提供了一种拍摄变焦方法、电子设备及存储介质,可以减少电子设备图像数据的处理量,降低电子设备的功耗。
第一方面,本申请实施例提供了一种拍摄变焦方法,应用于电子设备,所述电子设备包括焦段不同的多个摄像头,所述方法包括:
启动多个摄像头;
接收变焦指令,并提取变焦信息;
根据所述变焦信息从所述多个摄像头中确定出至少两个目标摄像头,所述目标摄像头的个数小于所述多个摄像头的个数;
通过所述目标摄像头采集至少两路图像数据;
根据所述变焦信息对所述至少两路图像数据进行图像处理,得到变焦后的预览图像。
第二方面,本申请实施例提供了一种电子设备,所述电子设备包括:
多个摄像头,所述多个摄像头的焦段不同,所述多个摄像头用于采集图像数据;
处理芯片,所述处理芯片用于:
启动多个摄像头;
接收变焦指令,并提取变焦信息;
根据所述变焦信息从所述多个摄像头中确定出至少两个目标摄像头,所述目标摄像头的个数小于所述多个摄像头的个数;
通过所述目标摄像头采集至少两路图像数据;
根据所述变焦信息对所述至少两路图像数据进行处理,得到变焦后的预览图像。
第三方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如本申请实施例提供的拍摄变焦方法。
本申请实施例提供的拍摄变焦方法,根据变焦信息从多个摄像头中确定出目标摄像头,只通过目标摄像头采集图像,对采集的图像数据进行图像处理,可以减少电子设备图像数据的处理量,降低电子设备的功耗。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。
图1是本申请实施例提供的拍摄变焦方法的第一流程示意图。
图2是本申请实施例提供的拍摄变焦方法的第二流程示意图。
图3是本申请实施例提供的拍摄变焦方法的第三流程示意图。
图4是本申请实施例提供的第一芯片的结构示意图。
图5是本申请实施例提供的第二芯片的结构示意图。
图6是本申请实施例提供的电子设备的第一种结构示意图。
图7是本申请实施例提供的电子设备的第二种结构示意图。
具体实施方式
请参照图式,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
本申请实施例首先提供一种拍摄变焦方法,该拍摄变焦方法应用于电子设备,电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等配置有处理芯片而具有处理能力的设备。
例如,电子设备以智能手机为例。其中,电子设备可包括多个摄像头。电子设备可包括三个摄像头、四个摄像头或五个摄像头或更多个摄像头。诸如电子设备包括三个摄像头,分别为:主摄像头、广角摄像头和长焦摄像头,其中,主摄像头,用来拍摄大多数场景,从主摄像头中观察的画面与人眼看见的画面十分接近,通过主摄像头拍摄出的图像比较“写实”。
长焦摄像头的焦段大于主摄像头的焦段,长焦摄像头可以拍摄相较于主摄像头更远处的对象,能有效突出主体需要拍摄的远距离的物体。
广角摄像头的焦段小于主摄像头的焦段,广角摄像头拍摄的画面范围比其他摄像头拍摄画面的范围大,可以增加主摄像头的拍摄角度和内容。
需要说明的是,电子设备可以包括前置摄像头和/或后置摄像头,前置摄像头可包括多个摄像头,后置摄像头也可以包括多个摄像头。本申请实施例所限定的多个摄像头可以是前置摄像头,也可以是后置摄像头。
可选的,电子设备中也可以包括第四摄像头,第四摄像头为微距摄像头、普通黑白摄像头或TFO(Timeofflight)镜头等。
请参照图1,图1为本申请实施例提供的拍摄变焦方法的第一流程示意图。该拍摄变焦方法应用于本申请实施例提供的电子设备,电子设备中包括焦段不同的多个摄像头,本申请实施例提供的拍摄变焦方法的流程可以如下:
101,启动多个摄像头。
在使用电子设备进行拍照时,可打开多个摄像头,对多个摄像头采集的图像进行图像处理,得到多帧预览图像。例如,同时启动摄像头主摄像头、广角摄像头和长焦摄像头,通过三个摄像头对目标场景进行拍摄,采集三路图像数据,再对三路图像数据进行处理,得到多帧预览图像,获取多个摄像头对应的 ID;根据多个摄像头对应的ID,获取多个摄像头对应的摄像头函数;通过调用该摄像头函数,可以打开多个摄像头。其中,每个摄像头对应一个唯一的ID。无论是打开该摄像头,还是关闭该摄像头,都需要获取该摄像头的ID。如果无法确定某摄像头的ID,意味着该摄像头无法开启和关闭。需要说明的是,通过摄像头对目标场景进行拍摄是持续不断的过程,其中拍摄方式可以包括拍摄静态图像、拍摄动态图像或拍摄视频等方式。
该方案中,目标场景,是指用户通过摄像头所要拍摄的场景,该目标场景可以在通过摄像头拍摄的预览图像中呈现。此外,本申请实施例中对该目标场景的内容不作具体限定,如该目标场景可以是人物场景,该目标场景也可以是夜晚场景等。
102,接收变焦指令,并提取变焦信息。
将通过对多个摄像头采集的多路图像进行处理得到预览图像显示后,用户可以进行变焦操作,例如,可以通过变焦控件,诸如变焦按键、变焦进度栏、变焦圈等变焦控件实现变焦操作,还可以通过多点触控的方式实现变焦操作,诸如通过至少两个手指在预览区域实现多点触控,通过检测多点触控之间的距离变化触发变焦操作。以变焦控件为例,通过获取变焦进度栏的进度条的进度参数,可以提出变焦信息,以多点触控为例,通过检测多点触控之间的距离变化提取变焦信息。
103,根据变焦信息从多个摄像头中确定出至少两个目标摄像头,目标摄像头的个数小于多个摄像头的个数。
104,通过目标摄像头采集至少两路图像数据。
关于步骤103~104,变焦信息可以指示用户通过摄像头采集到的目标场景的区域范围,即用户通过触发变焦操作,可以改变拍摄预览窗口显示的目标场景的取景范围,可以理解的是,不同变焦信息可以对应不同取景范围,通过对变焦信息进行分析,可以得到用户需要变焦后的取景范围,根据该取景范围可以从多个摄像头中确定出至少两个目标摄像头。
例如,启动的摄像头有主摄像头、广角摄像头以及长焦摄像头,初始预览图像的取景范围为主摄像头对应的取景范围,该取景范围对应的预览图像,通过对主摄像头、广角摄像头以及长焦摄像头同时采集的三路图像融合得到,若此时接收到用户触发的变焦操作,当提取到的变焦信息指示用户需要较大的取景范围时,如广角摄像头采集目标场景的区域范围,若直接切换至广角摄像头,通过广角摄像头采集图像数据并将采集到的图像数据进行预览,由于不同摄像头的拍摄参数不同,会导致预览图像“跳跃”的情况,即无法实现平滑变焦,若直接通过三路图像数据融合后的图像进行裁剪,由于长焦摄像头采集的图像数据对于图像融合的干扰,不但会增加处理芯片对于图像数据处理的压力,还无法改善融合后的画质。因而,需要对变焦信息进行分析,分析出用户需要显示的取景范围,根据变焦信息确定出至少两个目标摄像头,将非目标摄像头的摄像头关闭,只通过至少两个目标摄像头采集图像数据,即能保证平滑变焦的同时还可以减轻处理芯片对于图像数据处理的压力。例如,通过变焦信息确定出目标摄像头为主摄像头和广角摄像头,将长焦摄像头关闭,只通过主摄像头和广角摄像头采集图像数据。
可以理解的是,上述的摄像头类型以及摄像头数量只是示例性的,还可以根据需求设置其他不同类型的摄像头以及摄像头的数量。
105,根据变焦信息对至少两路图像数据进行处理,得到变焦后的预览图像。
其中,根据变焦信息对采集到的至少两路图像数据进行图像处理,可以是对图像数据进行图像融合处理和图像裁剪处理,得到变焦后的预览图像,将变焦后的预览图像通过预览界面显示给用户。
本申请实施例提供的一种拍摄变焦方法,根据变焦信息从多个摄像头中确定出目标摄像头,通过目标摄像头采集图像,只对目标摄像头采集的图像进行图像处理,在可以实现平滑变焦的同时,可以减少电子设备图像数据的处理量,降低电子设备的功耗。
请参照图2,图2为本申请实施例提供的拍摄变焦方法的第二种流程示意图。该拍摄变焦方法应用于本申请实施例提供的电子设备,电子设备中包含多个摄像头,本申请实施例提供的拍摄变焦方法的流程可以如下:
201,启动多个摄像头。
启动多个摄像头,通过多个摄像头采集多路图像数据;
对所述多路图像数据进行图像融合处理,得到融合后的图像;
根据初始变焦比例对所述融合后的图像进行裁剪,得到裁剪后的图像;
将所述裁剪后的图像预览显示;
具体的,在使用电子设备进行拍照时,同时打开多个摄像头,对多个摄像头采集的图像进行图像处理,得到多帧预览图像。例如,同时启动摄像头主摄像头、广角摄像头和长焦摄像头,通过三个摄像头对目标场景进行拍摄,采集三路图像数据,再对三路图像数据进行图像融合处理,得到一路融合后的图像,根据初始变焦比例对融合后的图像进行裁剪,其中初始变焦比例可以为反映主摄像头取景范围的变焦比例,也可以为用户根据需求设置的初始变焦比例。得到裁剪后的图像,将裁剪后的图像预览显示,即用户打开拍摄应用后显示的主摄像头预览界面是通过多个摄像头融合裁剪后得到的预览界面。
202,接收变焦指令,并提取变焦信息。
将通过对多个摄像头采集的多路图像进行处理得到预览图像显示后,用户可以进行变焦操作,例如,可以通过变焦控件,诸如变焦按键、变焦进度栏、变焦圈等变焦控件实现变焦操作,还可以通过多点触控的方式实现变焦操作,诸如通过至少两个手指在预览区域实现多点触控,通过检测多点触控之间的距离变化触发变焦操作。以变焦控件为例,通过获取变焦进度栏的进度条的进度参数,可以提出变焦信息,以多点触控为例,通过检测多点触控之间的距离变化提取变焦信息。
203,变焦信息包括变焦比例参数,将变焦前的变焦比例参数对应的摄像头作为目标摄像头。
204,判断变焦前的变焦比例参数和变焦后的变焦比例参数之间是否存在预设变焦比例参数。
205,若变焦前的变焦比例参数和变焦后的变焦比例参数之间存在预设变焦比例参数,将预设变焦比例参数对应的摄像头和变焦后的变焦比例参数分别对应的摄像头确定为目标摄像头。
206,若变焦前的变焦比例参数和变焦后的变焦比例参数之间不存在预设变焦比例参数,将变焦后的变焦比例参数对应的摄像头确定为目标摄像头,目标摄像头的个数小于所述多个摄像头的个数。
对于步骤203~206,其中,变焦比例参数可以为变焦倍数,示例性的,广角摄像头的变焦倍数范围可以为0.5X-1.0X,主摄像头的变焦倍数范围可以为 1.0X-2.0X,长焦摄像头变焦倍数范围可以为2.0X-10X,超长焦摄像头变焦倍数可以为10X-30X。
其中,变焦前的变焦比例参数可以为初始变焦比例参数,即用户启动多个摄像头时预览界面取景范围对应的变焦倍数,初始变焦比例参数可以为1.0X 的变焦倍数,例如,同时启动摄像头主摄像头、广角摄像头、长焦摄像头以及超长焦摄像头,通过四个摄像头对目标场景进行拍摄,采集四路图像数据,再对四路图像数据进行图像融合处理,得到一路融合后的图像,根据变焦倍数 1.0X对融合后的图像进行裁剪,得到裁剪后的图像,将裁剪后的图像预览显示,即用户打开拍摄应用后显示的取景范围是反映主摄像头取景范围的预览界面,将1.0X对应的主摄像头确定为目标摄像头。
其中,变焦后的变焦比例参数可以为通过检测用户对变焦控件或预览界面触发的变焦操作对应的比例参数,具体的,用户可以通过对变焦控件或预览界面实现对预览图像的变焦操作,例如,以用通过点击预览界面中的任意区域对预览图像进行“放大”变焦区域或“缩小”变焦区域,可以理解的是,“放大”或“缩小”的变焦区域可以通过获取用户与预览界面之间至少两个触控点的距离变化实现,变焦的过程中,两个触控点的距离变化差值可以与变焦倍数一一对应,如检测到两个触控点的距离变化差值大于0,则说明用户需要“放大”对应区域的拍摄内容,即增大变焦倍数,如检测到两个触控点的距离变化差值小于0,则说明用户需要“缩小”对应区域的拍摄内容,即缩小变焦倍数。
示例性的,若变焦前的变焦比例参数为1.0X变焦倍数,该变焦倍数对应的是主摄像头,变焦后的变焦比例参数为10.0X变焦倍数,该变焦倍数对应的是超长焦摄像头,10.0X变焦倍数和1.0X变焦倍数之间存在2.0X预设变焦倍数,2.0X预设变焦倍数对应的摄像头为长焦摄像头,则将2.0X变焦倍数对应的长焦摄像头确定为目标摄像头,将10.0X变焦倍数对应的超长焦摄像头也确定为目标摄像头,此时,确定出的至少两个目标摄像头包括1.0X变焦倍数对应的主摄像头、2.0X变焦倍数对应的长焦摄像头以及10.0X变焦倍数对应的超长焦摄像头。
示例性的,若变焦前的变焦比例参数为1.0X变焦倍数,该变焦倍数对应的是主摄像头,变焦后的变焦比例参数为2.0X变焦倍数,该变焦倍数对应的是长焦摄像头,2.0X变焦倍数和1.0X变焦倍数之间不存在2.0X预设变焦倍数,2.0X预设变焦倍数对应的摄像头为长焦摄像头,则将2.0X变焦倍数对应的长焦摄像头确定为目标摄像头,此时,确定出的至少两个目标摄像头包括 1.0X变焦倍数对应的主摄像头以及2.0X变焦倍数对应的长焦摄像头。
可以理解的是,预设变焦倍数用于检测从变焦前的变焦比例参数变焦至变焦后的变焦比例参数是否需要跨越至少一个摄像头,若需要,为了实现平滑变焦,将需要跨越的摄像头也作为目标摄像头,通过目标摄像头采集需要融合的图像数据。
可以理解的是,以上比例参数仅仅是示例性,不作为本申请实施例的限制。
207,通过目标摄像头采集至少两路图像数据。
208,变焦信息还包括变焦区域参数,根据变焦区域参数从每一路图像数据中确定出变焦的位置,根据变焦比例参数对变焦位置对应的图像区域进行裁剪,得到裁剪后的图像数据。
其中,变焦区域参数可以为通过检测用户点击预览图像的坐标对应的区域参数,即用户需要变焦的区域,可以理解为用户需要放大或缩小的区域,若用户通过变焦控件触发变焦操作,变焦区域可以为主摄像头采集的图像数据中的焦点参数。
一般来说,摄像头都具有自动对焦或手动对焦的功能,当处于自动对焦时,焦点可以为预览图像的几何中心,则将预览图像的几何中心对应的对象确定为当前待拍摄场景中的拍摄主体,其中,预览界面可以为各种形状,优选的,预览界面可以为规则几何图形,例如,矩形、三角形、圆形等。当预览界面为规则几何图形时,规则几何图形的重心为预览界面的几何中心。对矩形的预览界面而言,预览界面的几何中心在矩形两条对角线的交点处;对三角形的预览界面而言,预览界面的几何中心在三角形三条中线的交点处;对圆形的预览界面而言,预览界面的几何中心在圆形的圆心处。将拍摄主体所处的区域作为变焦区域。若检测到用户手动对焦的焦点参数,手动对焦的焦点参数对应的区域作为变焦区域。
根据变焦区域参数确定出至少两路图像数据需要裁剪的范围,根据变焦比例参数确定出需要裁剪的大小,例如至少两路图像为通过主摄像头和广角摄像头采集的图像数据,根据变焦区域参数在主摄像头采集的图像数据中确定出需要裁剪的区域,根据变焦比例参数对确定出的裁剪区域进行裁剪;根据变焦区域参数在广角摄像头采集的图像数据中确定出需要裁剪的区域,根据变焦比例参数对确定出的裁剪区域进行裁剪,其中裁剪大小与变焦比例呈比例关系。即通过变焦区域参数以及变焦比例参数对至少两路图像数据进行裁剪后得到至少两路裁剪后的图像数据。
209,通过AI超分算法对所述裁剪后的图像数据进行处理,得到处理后的至少两路图像数据。
其中,AI超分算法可以用于提高裁剪后的图像数据的图像质量,具体的,AI超分算法技术,是一种基于深度学习的图像处理算法,可以对低分辨率图像进行数级提升,将其转化为高分辨率图像,同时通过添加噪声来生成新的细节,兼顾从宏观到微观的效果,使生成的图像更加逼真、自然。
210,对处理后的至少两路图像数据进行图像融合,得到变焦后的预览图像。
其中,可以通过多帧融合算法对至少两路图像数据进行图像融合,得到一融合后的图像数据,将融合后的图像数据作为变焦后的预览图像,可以理解的是,通过摄像头对目标场景进行拍摄是持续不断的过程,对至少两个目标摄像头采集的每一帧图像均采取以上的处理方式,也就是说本申请对采集的图像进行调节是个动态的过程。
本申请实施例提供的一种拍摄变焦方法,根据变焦比例参数从多个摄像头中确定出目标摄像头,通过目标摄像头采集图像,根据变焦比例参数和变焦区域参数对采集的图像数据进行裁剪,并通过AI超分算法对裁剪后的图像数据进行画质提升处理,再对处理后的图像数据进行融合,在实现平滑变焦的同时,可以提高变焦后预览图像的画质。
请参照图3,图3为本申请实施例提供的拍摄变焦方法的第三种流程示意图。该拍摄变焦方法应用于本申请实施例提供的电子设备,电子设备中包含多个摄像头,本申请实施例提供的拍摄变焦方法的流程可以如下:
301,启动多个摄像头。
302,接收变焦指令,并提取变焦信息。
303,变焦信息包括变焦比例参数,将变焦前的变焦比例参数对应的摄像头作为目标摄像头。
304,判断变焦前的变焦比例参数和变焦后的变焦比例参数之间是否存在预设变焦比例参数。
305,若变焦前的变焦比例参数和变焦后的变焦比例参数之间存在预设变焦比例参数,将预设变焦比例参数对应的摄像头和变焦后的变焦比例参数分别对应的摄像头确定为目标摄像头。
306,若变焦前的变焦比例参数和变焦后的变焦比例参数之间不存在预设变焦比例参数,将变焦后的变焦比例参数对应的摄像头确定为目标摄像头,目标摄像头的个数小于多个摄像头的个数。
步骤301~306和以上步骤201~206相似,在此不再赘述。
307,将非目标摄像头的摄像头关闭;或将非目标摄像头采集的图像数据清除;或将非目标摄像头采集的图像数据存储至临时存储区,若在预设时间段内非目标摄像头没有被确定为目标摄像头,将临时存储区的图像数据进行清除;
308,通过目标摄像头采集至少两路图像数据。
关于步骤307~308,以多个摄像头为广角摄像头、主摄像头以及长焦摄像头示例,若通过以上方法确定出目标摄像头为广角摄像头和主摄像头,则将长焦摄像头关闭,可以缓解电子设备对于图像数据的处理量,降低电子设备的功耗。
在一些实施例中,若用户频繁进行变焦操作,频繁关闭或启动摄像头不但对电子设备的功耗会造成一定的影响,还会降低摄像头头的使用寿命,因此可以不关闭非目标摄像头,如示例中的长焦摄像头,但将长焦摄像头采集的图像数据进行清除,例如在存储器中只要检测到非目标摄像头采集的图像数据,则将该图像数据进行删除。
在一些实施例中,若用户频繁进行变焦操作,频繁采集或清除图像数据同样会造成处理芯片的数据处理压力,因此可以将非目标摄像头采集的图像数据存储至临时存储区,例如缓存区,若在预设时间段内非目标摄像头没有被确定为目标摄像头,则将非目标摄像头采集的图像进行清除。其中,该预设时间段可以根据对用户的行为习惯进行学习所制定,例如,通过获取用户历史变焦操作指令,从用户的变焦操作指令分析出用户的变焦习惯,例如,若用户为摄像工作者、旅行或美食博主等经常需要拍摄的工作,则在拍照预览场景或拍摄视频场景时变焦会较为频繁,则预设时间段将设定较长的数值,若用户为不经常使用拍摄软件,或不经常使用变焦功能,则预设时间段将设定较短的数值。可以理解的是,可以通过神经网络模型对用户历史变焦操作信息进行学习。以设定较为符合用户习惯的预设时间段。
309,变焦信息还包括变焦区域参数,根据变焦区域参数从每一路图像数据中确定出变焦的位置,根据变焦比例参数对变焦位置对应的图像区域进行裁剪,得到裁剪后的图像数据。
310,通过AI超分算法对所述裁剪后的图像数据进行处理,得到处理后的至少两路图像数据。
311,对处理后的至少两路图像数据进行图像融合,得到变焦后的预览图像。
关于步骤309~311与步骤208~210类似,在此不再赘述。
本申请实施例提供的一种拍摄变焦方法,通过对变焦前和变焦后的变焦比例进行分析,可以准确的确定出可以实现平滑变焦的目标摄像头,只对目标摄像头采集图像进行裁剪以及融合处理,将其他非目标摄像头关闭,或将目标摄像头采集的图像进行清除,在实现平滑变焦的同时可以减少电子设备数据处理量,降低电子设备功耗。
在一些实施例中,电子设备还包括第一芯片,第一芯片包括第一图像信号处理器和神经网络处理器,第一图像信号处理器根据变焦信息对至少两路图像数据进行裁剪,将裁剪后的图像数据传输至所述神经网络处理器;神经网络处理器接收所述裁剪后的图像数据,通过AI超分算法对所述裁剪后的图像数据进行处理,得到处理后得图像数据;第一图像信号处理器对所述处理后得图像数据进行融合处理,得到融合后的图像数据,将所述融合后的图像数据作为预览图像。
在一些实施例中,所述电子设备还包括第二芯片,第二芯片包括第二图像信号处理器和应用处理器,第一图像信号处理器根据变焦信息对至少两路图像数据进行预处理,得到预处理后的结果;第一图像信号处理器根据变焦信息对至少两路图像数据进行裁剪,将裁剪后的图像数据传输至所述神经网络处理器;神经网络处理器接收裁剪后的图像数据,通过AI超分算法对裁剪后的图像数据进行处理,得到处理后的图像数据;第二图像信号处理器对所述处理后的图像数据进行3A算法处理;应用处理器根据所述预处理结果对3A算法处理后的图像数据进行优化,对优化后的至少两路图像数据进行图像融合,将融合后的图像数据作为预览图像。在该实施例中,在第一芯片进行预处理、裁剪以及 AI超分算法,在第二芯片进行图像融合,不但可以缓解第二芯片对于图像数据处理的压力,由于先将无需变焦的区域裁剪,再进行融合,可以提高融合后预览图像的画质。
在一些实施例中,第一图像信号处理器根据变焦信息对至少两路图像数据进行预处理,得到预处理后的结果;第一图像信号处理器对所述至少两路图像数据进行融合,将所述融合后的图像数据传输至所述神经网络处理器;神经网络处理器接收所述融合后的图像数据,通过AI超分算法对所述融合后的图像数据进行处理,得到处理后的图像数据;第二图像信号处理器根据所述变焦信息对所述处理后的图像进行裁剪,以及对裁剪后的图像进行3A算法处理;应用处理器根据预处理结果对3A算法处理后的图像数据进行优化,将优化后的图像数据作为预览图像。在该实施例中,在第一芯片进行预处理、融合以及 AI超分算法,在第二芯片进行图像裁剪,由于在第一芯片进行了图像融合,在第二芯片进行裁剪,不但可以缓解第二芯片对于图像数据处理的压力,还可以提高预览图像显示的效率。
本申请实施例提供的拍摄变焦方法,通过第一芯片中的第一图像信号处理器对获取的图像数据进行预处理,同时根据变焦信息对图像数据进行裁剪,第一芯片中的神经网络处理器对图像数据进行AI超分算法处理,通过第二芯片中的第二图像信号处理器对AI超分算法处理后的图像进行3A算法处理,通过应用处理器根据预处理结果对3A算法处理后的图像数据进行优化,对优化后的至少两路图像数据进行图像融合,得到变焦后的预览图像。在可以实现平滑变焦的同时,还可以缓解第二芯片的数据处理压力,降低功耗,使得该拍摄变焦方法可以在较低配置的电子设备中运行。
为了更清楚的介绍本申请电子设备的结构,请参阅图4,图4为本申请实施例提供的电子设备的第一芯片的结构示意图。
第一芯片200可以对其所获取到的图像数据诸如RAW数据进行处理,以提升图像质量。需要说明的是,第一芯片200可以将其处理结果传输到第二芯片,以便于第二芯片内的图像信号处理器能够对图像数据进一步处理,以进行显示或存储。其中图像数据也可以理解为图像信息。
第一芯片200可以包括神经网络处理器(Neural-network Processing Unit,NPU)220,神经网络处理器220可以对第一芯片200所获取到的图像数据进行增强处理,神经网络处理器220可以运行人工智能训练网络处理图像算法对图像数据进行增强处理。神经网络处理器220处理图像数据的效率高,对图像质量的提升明显,例如可以通过AI超分算法对于图像数据进行处理,AI超分算法可以用于提高裁剪后的图像数据的图像质量,具体的,AI超分算法技术,是一种基于深度学习的图像处理算法,可以对低分辨率图像进行数级提升,将其转化为高分辨率图像,同时通过添加噪声来生成新的细节,兼顾从宏观到微观的效果,使生成的图像更加逼真、自然。
本申请一些实施例中,神经网络处理器220可以为用来处理图像的专用处理器,可以简称为专用处理器。可以在电路排布、编程等硬件配置过程中来进行硬化实现,从而可以保证神经网络处理器220在处理图像数据过程中的稳定性,以及降低神经网络处理器220处理图像数据所需的功耗和时间。
神经网络处理器220处理图像数据的方式可以是按照行的方式读取数据块,并按照行的方式对数据块进行处理。诸如神经网络处理器220按照多行的方式读取数据块,并按照多行的方式对数据块进行处理。可以理解的是,一帧图像可以具有多行数据块,即神经网络处理器220可以对一帧图像的一部分诸如(1/n)帧进行处理,其中n为正整数,诸如2、4、5等。当神经网络处理器 220对一帧图像未全部处理完,则神经网络处理器220可以内置缓存(全称, OCM)来存储神经网络处理器220在处理一帧图像过程中所处理多行数据块的数据。等待神经网络处理器220对一帧图像处理完成,则神经网络处理器 220可以将处理过的数据写入到一存储器诸如第一芯片200的存储器230。其中,该存储器230可以内置于第一芯片200内,也可以外置。可以采用存储控制器实现数据的传输。
需要说明的是,神经网络处理器220在数据流的Pipeline中,可以按照预设时间处理完成。预设时间诸如为30fps=33ms(毫秒)。或者说神经网络处理器220处理一帧图像所预设的时间为33ms,从而可以保证神经网络处理器 220在快速处理图像数据的基础上,可以实现数据的实时传输。
可以理解的是,若神经网络处理器220为通用处理器,即该神经网络处理器220不仅可以处理图像数据,还可以处理其他数据诸如文本数据。当神经网络处理器220为通用处理器,处理图像方式为:从一存储有图像数据的存储器加载一帧图像,并对该帧图像做相应的算法处理。其中,在该通用神经网络处理器在处理过程中该通用神经网络处理器的卷积层所计算的临时数据往往需要保存到该存储器中。在该通用神经网络处理器处理完成后,将数据存储到该存储器中。由此可见,相对于通用神经网络处理器,本申请一些实施例所限定的神经网络处理器220为专用神经网络处理器,可以加快图像数据的处理速度,保证在预设时间内完成一帧图像的处理。
神经网络处理器220可以对拍摄预览图像数据进行处理,诸如用户在拍摄视频预览模式下、或拍照预览模式下对所获取到的视频图像数据或照片图像数据。神经网络处理器220可以包括用于处理视频图像数据或静态图像数据的 AI超分算法,神经网络处理器220还可以包括处理视频图像数据的算法,诸如视频夜景算法、视频HDR算法、视频虚化算法、视频降噪算法,视频超分算法等,神经网络处理器220也可以对静态图像数据进行处理,神经网络处理器220可以包括处理静态图像数据的算法,诸如静态图像HDR算法、静态图像夜景算法、静态图像虚化算法等。
本申请实施例所限定的神经网络处理器220即可以处理视频图像数据,又可以处理静态图像数据,从而使得第一芯片200可以应用于不同的场景,诸如拍照场景、录制视频场景、拍照预览场景、录制视频预览场景、播放视频场景、相册查看场景等。需要说明的是,本申请拍摄变焦方法具体应用于神经网络处理器用于处理拍照预览图像或录制视频预览图像的场景。
需要说明的是,在第一芯片200获取到初始图像数据后,若直接由神经网络处理器220对该初始图像数据进行处理,神经网络处理器220根据需求对初始图像数据进行预设算法的处理,以得到的处理结果。然而,往往神经网络处理器220通过预设算法处理完初始图像数据后会导致初始图像数据失真,若第一芯片200将神经网络处理器220处理完而形成失真的数据发送给第二芯片时,会造成第二芯片的图像信号处理器对该初始图像数据的信息诸如AF stats信息错误,进而导致对焦失败,造成第二芯片的图像信号处理器无法进行3A(AF stats、AWB stats、AE stats)等处理。其中,初始图像数据可以理解为第一芯片200接收到的数据,但未进行处理的数据。诸如将图像传感器所发送至第一芯片200的数据定义为初始图像数据,如通过多个摄像头的图像传感器采集到的图像数据。
基于此,本申请一些实施例中,可以在第一芯片200内集成一统计模块,对初始图像数据进行预处理,即可以通过该统计模块来统计第二芯片进行图像数据处理所需要的数据,或者说通过该统计模块来统计第二芯片进行图像数据处理所需要的基准数据。统计模块统计完成第二芯片所需要的数据后可以将其所统计的数据发送给第二芯片,以确保第二芯片能够顺利完成图像数据处理诸如3A处理。
可以理解的是,第一图像信号处理器210的统计模块212所统计的基准信息并不限于3A信息,第一图像信号处理器210的统计模块还可以统计其他信息,诸如第一图像信号处理器210的统计模块212统计相位对焦信息、LSC stats 和Metadata等信息。
还可以理解的是,统计模块212对原始信息进行统计以得到基准信息还可以理解为统计模块212对原始信息进行提取,以提取出基准信息。
还需要说明的是,第一芯片200在获取到初始图像数据后,若直接由神经网络处理器220对该初始图像数据进行处理,神经网络处理器220根据需求对初始图像数据进行预设算法的处理,以得到的处理结果。然而,往往初始图像数据会存在坏点等问题。神经网络处理器220通过预设算法直接对初始图像数据进行处理会使得神经网络处理器220的收敛速度变慢,从而降低神经网络处理器220处理一帧图像所需的时间,不易实现快速处理图像数据以及有效提升图像质量的目的。
基于此,本申请实施例,还可以在第一图像信号处理器210内集成优化模块214,优化模块214可以对初始图像数据进行第一次处理诸如坏点补偿,以得到第一处理结果。然后再通过神经网络处理器220对该第一处理结果进行第二次处理,不仅可以解决图像坏点等问题,还可以提高神经网络处理器220 的AI超分算法收敛速度,可以保证神经网络处理器220能够在预设时间内完成一帧图像的处理,进而可以实现快速、实时处理图像的目的。
优化模块214可以对初始图像数据进行坏点补偿,优化模块214可以执行坏点补偿算法以实现对初始图像数据的坏点补偿。优化模块214可以对初始图像数据进行线性化处理,优化模块214可以执行线性化处理算法以实现对初始图像数据的线性化处理。
可以理解的是,第一图像信号处理器210的优化模块214对初始图像进行第一次处理并不限于此,诸如优化模块214对初始图像数据进行图像裁剪 (Crop)处理,优化模块214可以执行图像裁剪算法以实现对初始图像数据的裁剪,例如根据变焦信息对多个摄像头采集的图像数据进行裁剪。
具体的,第一图像信号处理器中的优化模块用于根据变焦信息对至少两路图像数据进行裁剪,将裁剪后的图像数据传输至神经网络处理器,第一图像信号处理器还用于对至少两路图像数据进行预处理,得到预处理结果;神经网络处理器用于接收裁剪后的图像数据,通过AI超分算法对裁剪后的图像数据进行处理。
为了清楚说明本申请实施例提供的第二芯片的结构,继续请参阅图5,图 5为本申请实施例提供的电子设备的第二芯片的结构示意图。
第二芯片400可以包括应用处理器(Application Processor,AP)410、第二图像信号处理器420、存储器430、***总线440和第三接口401。应用处理器410可以作为电子设备300的控制中心,存储器430可以存储各种数据诸如图像数据、***数据等,第三接口401可以为数据传输处理器接口,第三接口401与第二接口202电连接,可以接收由第一芯片200所处理过的数据,第二图像信号处理器420可以对图像数据进行处理,诸如,像第二信号处理器 420可以对第一芯片200处理过的数据进行进一步的处理。当然,第二图像信号处理器420还可以对图像传感器600所采集的原始图像数据进行处理。
在一些实施例中,第一芯片200中图像信号处理器210对图像数据处理的结果可以通过第二接口202和第三接口401的连接传输到第二芯片400的存储器430。第一芯片200中神经网络处理器220对图像数据处理的结果可以通过第二接口202和第三接口401的连接传输到第二芯片400的存储器430。
需要说明的是,第一芯片200将数据传输到第二芯片400的方式并不限于此。
请继续参阅图4,第一接口201和第二接口202均可以为数据处理器接口(MobileIndustry Processor Interface,MI PI)。第一接口201可以接收图像数据诸如RAW数据,诸如第一接口201可以接收来自多个摄像头或目标摄像头的图像传感器所获取到的RAW数据。第一接口201所接收到的图像数据诸如 RAW数据可以为原始图像数据,即第一接口201所接收到的图像数据为未经过处理加工的图像数据,具体可以将原始图像数据理解为未经过图像处理器处理的图像数据。第一接口201接收到图像数据诸如原始图像数据后可以将该图像数据传输到第一图像信号处理器210。
第二接口202可以接收第一图像信号处理器210对图像数据进行处理的结果,第二接口202也可以接收神经网络处理器220对图像数据进行处理的结果。第二接口202可以与第二芯片连接,以将第二接口202所接收到的图像数据传输到第二芯片。
第一接口201和第二接口202可以通过第一图像信号处理器210连接,第一接口201所接收到的数据可以分为至少两路进行传输,比如一路数据传输到第一图像信号处理器210的统计模块212,另一路数据存储到存储器230。或者另一路数据由优化模块214进行处理。第二接口202可以传输由统计模块 212所统计到的数据,第二接口202也可以传输由优化模块214所处理的数据。
存储器230存储第一芯片200的各种数据和指令。诸如存储器230可以存储原始图像数据,存储器230可以存储由图像信号处理器210的优化模块214 所处理过的数据,存储器230可以存储由神经网络处理器220处理过的数据,存储器230还可以存储多媒体处理芯片200的操作***。存储器230的个数可以为一个、两个、三个、甚至更多个。存储器230的类型可以为静态存储器,也可以为动态存储器,诸如DDR(Double Data Rate SDRAM)。
可以理解的是,第一芯片和第二芯片通过电性连接,第一芯片和第二芯片集成可以集成在一起,形成一处理芯片,处理芯片用于执行以上所述任一实施例提供的拍摄变焦方法。
为了清楚说明第一芯片和第二芯片之间的结构关系,请参阅图6,图6为本申请实施例提供的电子设备的第一种结构示意图。
应用处理器410在接收到启动摄像头指令时,应用处理器410同时驱动多个摄像头601对应的图像传感器600将其采集到的多路图像数据传输到第一芯片200,诸如第一图像传感器600将其采集到的多路图像数据传输到第一接口 201,第一接口201再将该多图像数据像传输到第一图像信号处理器210,由第一图像信号处理器210对其进行预处理,如提取基准数据处理和优化处理,将处理结果通过第二接口212和第三接口401传输至第二芯片400,并将处理过的图像数据存储至存储器230,神经网络处理器220从存储器230获取图像数据,通过AI超分算法对获取的图像数据进行处理,用于提高图像数据的画质,并将处理后的图像数据存储至存储器230,第一图像信号处理器210从存储器230中读取神经网络处理器220处理后的图像数据,并将图像数据传输至第二芯片400,第二芯片400中的第二图像信号处理器420根据基准数据对图像数据进行3A算法处理,应用处理器410对处理后的图像数据进行融合,得到预览图像数据,将预览图像数据预览显示。
应用处理器420接收到变焦操作指令时,从变焦指令中提取出变焦信息,其中,变焦信息包括变焦比例参数和变焦区域参数,应用处理器420根据变焦比例参数从多个启动的摄像头中确定出至少两个目标摄像头,目标摄像头的个数小于多个摄像头的个数,具体的确定方法如上所述,在此不再赘述,应用处理器420关闭非目标摄像头,或停止获取非目标摄像头对应的图像传感器采集的图像数据,只获取目标摄像头对应的图像传感器采集的图像数据,将采集到的至少两路图像数据传输至第一芯片200中的第一图像信号处理器210,第一图像信号处理器210对至少两路图像数据进行预处理(提取基准数据处理和优化处理),将预处理结果传输至第二芯片400,同时第一信号处理器210还根据变焦比例参数和变焦区域参数对至少两路图像数据进行裁剪,将裁剪后的图像数据传输存储器230,神经网络处理器220从存储器230中调用裁剪后的图像数据,并对裁剪后的图像数据进行AI超分算法处理,将处理后的图像数据再次存储至存储器230,第一信号处理器210调用存储器230中的处理后的图像数据,将处理后的图像数据传输至第二芯片400,诸如传输至第二芯片400的存储器430,第二图像信号处理器420基于基准数据以及优化数据对处理后的图像数据进行3A算法处理,得到处理后的图像数据,应用处理器410对处理后的图像数据进行图像融合,得到融合后的图像数据,将融合后的图像数据进行预览,得到变焦后的预览图像。
在一些实施例中,还可以通过第一芯片对图像数据进行融合,通过第二芯片对融合后的图像数据进行裁剪,在一些实施例中,可以只通过第一芯片对图像数据进行裁剪,并将裁剪后的图像数据进行融合,在一些实施例中,可以只通过第二芯片对图像数据进行裁剪,并将裁剪后的图像数据进行融合,可以理解的是,裁剪和融合的顺序可以根据图像数据大小以及图像数据性质决定。
本申请实施例提供的一种电子设备,通过第一芯片中的第一图像信号处理器对获取的图像数据进行预处理,同时根据变焦信息对图像数据进行裁剪,第一芯片中的神经网络处理器对图像数据进行AI超分算法处理,通过第二芯片中的第二图像信号处理器对AI超分算法处理后的图像进行3A算法处理,通过应用处理器根据预处理结果对3A算法处理后的图像数据进行优化,对优化后的至少两路图像数据进行图像融合,得到变焦后的预览图像。在可以实现平滑变焦的同时,还可以缓解第二芯片的数据处理压力,降低功耗,使得该拍摄变焦方法可以在较低配置的电子设备中运行。
请参阅图7,图7为本申请实施例提供的电子设备的第二结构示意图。在一些实施例中,电子设备300包括处理芯片301、存储器302、摄像组件303 以及显示器304。其中,处理芯片301与存储器302、摄像组件303、显示器 304电性连接。摄像组件303包括多个摄像头。多个摄像头,用于采集图像。
处理芯片301是电子设备300的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器302内的计算机程序,以及调用存储在存储器302内的数据,执行电子设备300的各种功能并处理数据,从而对电子设备300进行整体监控。其中,处理芯片301可用于执行以上任一实施例提供的拍摄变焦方法,比如:
启动多个摄像头;
接收变焦指令,并提取变焦信息;
根据所述变焦信息从所述多个摄像头中确定出至少两个目标摄像头,所述目标摄像头的个数小于所述多个摄像头的个数;
通过所述目标摄像头采集至少两路图像数据;
根据所述变焦信息对所述至少两路图像数据进行图像处理,得到变焦后的预览图像。
存储器302可用于存储软件程序以及模块,处理芯片301通过运行存储在存储器302的计算机程序以及模块,从而执行各种功能应用以及数据处理。存储器302可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的计算机程序等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器302可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器302还可以包括存储器控制器,以提供处理芯片301对存储器302的访问。
摄像组件可以包括多个摄像头,其中每个摄像头至少可以包括一个或多个透镜和图像传感器。图像传感器可包括色彩滤镜阵列(如Bayer滤镜)。图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息,并提供可由图像信号处理器处理的一组原始图像数据。
处理芯片中可以包括至少一个图像信号处理器和图像存储器,图像信号处理器可以按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,图像信号处理器可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。原始图像数据经过图像信号处理器处理后可存储至图像存储器中。图像信号处理器还可从图像存储器处接收图像数据。
图像存储器可为、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接存储器存取)特征。
电子设备300还可以包括:射频电路305、音频电路306以及电源307。其中,射频电路305、音频电路306以及电源307分别与处理芯片301电性连接。
射频电路305可以用于收发射频信号,以通过无线通信与网络设备或其他电子设备建立无线通讯,与网络设备或其他电子设备之间收发信号。
音频电路306可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。
电源307可以用于给电子设备300的各个部件供电。在一些实施例中,电源307可以通过电源管理***与处理芯片301逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
尽管图7中未示出,电子设备300还可以包括蓝牙模块等,在此不再赘述。
本申请实施例还提供一种存储介质,该存储介质存储有计算机程序,当该计算机程序在计算机上运行时,使得该计算机执行上述任一实施例中拍摄变焦方法,比如:
启动多个摄像头;
接收变焦指令,并提取变焦信息;
根据所述变焦信息从所述多个摄像头中确定出至少两个目标摄像头,所述目标摄像头的个数小于所述多个摄像头的个数;
通过所述目标摄像头采集至少两路图像数据;
根据所述变焦信息对所述至少两路图像数据进行图像处理,得到变焦后的预览图像。
在本申请实施例中,存储介质可以是磁碟、光盘、只读存储器(Read Only Memory,ROM)、或者随机存取记忆体(Random Access Memory,RAM)等。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请实施例中,存储介质可以是磁碟、光盘、只读存储器 (ReadOnlyMemory,ROM)、或者随机存取记忆体(RandomAccessMemory, RAM)等。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
需要说明的是,对本申请实施例的拍摄变焦方法而言,本领域普通测试人员可以理解实现本申请实施例的拍摄变焦方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,如存储在电子设备的存储器中,并被该电子设备内的至少一个处理器执行,在执行过程中可包括如拍摄变焦方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
以上对本申请实施例所提供的一种拍摄变焦方法、电子设备以及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种拍摄变焦方法,应用于电子设备,其特征在于,所述电子设备包括焦段不同的多个摄像头,所述方法包括:
启动多个摄像头;
接收变焦指令,并提取变焦信息;
根据所述变焦信息从所述多个摄像头中确定出至少两个目标摄像头,所述目标摄像头的个数小于所述多个摄像头的个数;
通过所述目标摄像头采集至少两路图像数据;
根据所述变焦信息对所述至少两路图像数据进行图像处理,得到变焦后的预览图像。
2.根据权利要求1所述的拍摄变焦方法,其特征在于,所述根据变焦信息从所述多个摄像头中确定出至少两个目标摄像头包括:
所述变焦信息包括变焦比例参数,获取变焦前的变焦比例参数对应的摄像头,将所述对应的摄像头作为目标摄像头;
根据变焦后的变焦比例参数从所述多个摄像头中确定出至少一个摄像头,将所述至少一个摄像头作为目标摄像头。
3.根据权利要求2所述的拍摄变焦方法,其特征在于,所述根据变焦后的变焦比例参数从所述多个摄像头中确定出至少一个摄像头,将所述至少一个摄像头作为目标摄像头包括:
判断所述变焦前的变焦比例参数和所述变焦后的变焦比例参数之间是否存在预设变焦比例参数;
若所述变焦前的变焦比例参数和所述变焦后的变焦比例参数之间存在所述预设变焦比例参数,将所述预设变焦比例参数对应的摄像头和所述变焦后的变焦比例参数分别对应的摄像头确定为目标摄像头;
若所述变焦前的变焦比例参数和所述变焦后的变焦比例参数之间不存在所述预设变焦比例参数,将所述变焦后的变焦比例参数对应的摄像头确定为目标摄像头。
4.根据权利1所述的拍摄变焦方法,其特征在于,所述根据所述变焦信息对所述至少两路图像数据进行图像处理包括:
所述变焦信息包括变焦比例参数和变焦区域参数,根据所述变焦区域参数从每一路图像数据中确定出变焦的位置,根据所述变焦比例参数对所述变焦位置对应的图像区域进行裁剪,得到裁剪后的图像数据;
将所述裁剪后的图像数据进行图像融合。
5.根据权利要求4所述的拍摄变焦方法,其特征在于,所述将所述裁剪后的图像数据进行图像融合包括:
通过AI超分算法对所述裁剪后的图像数据进行处理,得到处理后的至少两路图像数据;
对所述处理后的至少两路图像数据进行图像融合。
6.根据权利要求1-5任一项所述的拍摄变焦方法,其特征在于,在所述通过所述目标摄像头采集至少两路图像数据之前还包括:
将非目标摄像头的摄像头关闭;或
将所述非目标摄像头采集的图像数据清除;或
将所述非目标摄像头采集的图像数据存储至临时存储区,若在预设时间段内所述非目标摄像头没有被确定为目标摄像头,将所述临时存储区的图像数据进行清除。
7.根据权利要求1所述的拍摄变焦方法,其特征在于,所述电子设备还包括第一芯片,所述第一芯片包括第一图像信号处理器和神经网络处理器,所述根据所述变焦信息对所述至少两路图像数据进行图像处理包括:
所述第一图像信号处理器根据所述变焦信息对所述至少两路图像数据进行裁剪,将所述裁剪后的图像数据传输至所述神经网络处理器;
所述神经网络处理器接收所述裁剪后的图像数据,通过AI超分算法对所述裁剪后的图像数据进行处理,得到处理后得图像数据;
所述第一图像信号处理器对所述处理后得图像数据进行融合处理,得到融合后的图像数据,将所述融合后的图像数据作为预览图像。
8.根据权利要求1所述的拍摄变焦方法,其特征在于,所述电子设备还包括第一芯片和第二芯片,所述第一芯片包括第一图像信号处理器和神经网络处理器,所述第二芯片包括第二图像信号处理器和应用处理器,所述根据所述变焦信息对所述至少两路图像数据进行图像处理包括:
所述第一图像信号处理器根据所述变焦信息对所述至少两路图像数据进行预处理,得到预处理后的结果;
所述第一图像信号处理器根据所述变焦信息对所述至少两路图像数据进行裁剪,将所述裁剪后的图像数据传输至所述神经网络处理器;
所述神经网络处理器接收所述裁剪后的图像数据,通过AI超分算法对所述裁剪后的图像数据进行处理,得到处理后的图像数据;
所述第二图像信号处理器对所述处理后的图像数据进行3A算法处理;
所述应用处理器根据所述预处理结果对3A算法处理后的图像数据进行优化,对优化后的至少两路图像数据进行图像融合,将所述融合后的图像数据作为预览图像;或
所述第一图像信号处理器根据所述变焦信息对所述至少两路图像数据进行预处理,得到预处理后的结果;
所述第一图像信号处理器对所述至少两路图像数据进行融合,将所述融合后的图像数据传输至所述神经网络处理器;
所述神经网络处理器接收所述融合后的图像数据,通过AI超分算法对所述融合后的图像数据进行处理,得到处理后的图像数据;
所述第二图像信号处理器根据所述变焦信息对所述处理后的图像进行裁剪,以及对裁剪后的图像进行3A算法处理;
所述应用处理器根据所述预处理结果对3A算法处理后的图像数据进行优化,将所述优化后的图像数据作为预览图像。
9.一种电子设备,其特征在于,所述电子设备包括:
多个摄像头,所述多个摄像头的焦段不同,所述多个摄像头用于采集图像数据;处理芯片,所述处理芯片用于:
启动多个摄像头;
接收变焦指令,并提取变焦信息;
根据所述变焦信息从所述多个摄像头中确定出至少两个目标摄像头,所述目标摄像头的个数小于所述多个摄像头的个数;
通过所述目标摄像头采集至少两路图像数据;
根据所述变焦信息对所述至少两路图像数据进行处理,得到变焦后的预览图像。
10.根据权利要求9所述的电子设备,其特征在于,所述处理芯片包括:第一芯片和第二芯片,所述第一芯片包括第一图像信号处理器和神经网络处理器,所述第二芯片包括第二图像信号处理器和应用处理器,其中,
所述应用处理器用于启动多个摄像头,接收变焦指令,并提取变焦信息,根据所述变焦信息从所述多个摄像头中确定出至少两个目标摄像头,通过所述目标摄像头采集至少两路图像数据;
所述第一图像信号处理器用于根据所述变焦信息对所述至少两路图像数据进行裁剪,将所述裁剪后的图像数据传输至所述神经网络处理器,所述第一图像信号处理器还用于对所述至少两路图像数据进行预处理,得到预处理结果;
所述神经网络处理器用于接收所述裁剪后的图像数据,通过AI超分算法对所述裁剪后的图像数据进行处理;
所述第二图像信号处理器用于对所述处理后的至少两路图像数据进行3A算法处理;
所述应用处理器还用于根据所述预处理结果对所述3A算法处理后的至少两路图像数据进行优化,对优化后的至少两路图像数据进行图像融合,得到变焦后的预览图像。
11.一种存储介质,其特征在于,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至8任一项所述的拍摄变焦方法。
CN202010591190.4A 2020-06-24 2020-06-24 一种拍摄变焦方法、电子设备及存储介质 Active CN113840076B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010591190.4A CN113840076B (zh) 2020-06-24 2020-06-24 一种拍摄变焦方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010591190.4A CN113840076B (zh) 2020-06-24 2020-06-24 一种拍摄变焦方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113840076A true CN113840076A (zh) 2021-12-24
CN113840076B CN113840076B (zh) 2023-08-29

Family

ID=78964875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010591190.4A Active CN113840076B (zh) 2020-06-24 2020-06-24 一种拍摄变焦方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113840076B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114615435A (zh) * 2022-03-25 2022-06-10 联想(北京)有限公司 一种处理方法及装置
CN114697528A (zh) * 2020-12-30 2022-07-01 Oppo广东移动通信有限公司 图像处理器、电子设备及对焦控制方法
CN114915728A (zh) * 2022-05-23 2022-08-16 普联技术有限公司 一种多目摄像设备变焦的方法及多目摄像设备
CN115988317A (zh) * 2022-12-12 2023-04-18 Oppo广东移动通信有限公司 图像处理方法、装置、芯片、通信设备、及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110572581A (zh) * 2019-10-14 2019-12-13 Oppo广东移动通信有限公司 基于终端设备的变焦虚化图像获取方法和装置
CN110913122A (zh) * 2018-09-18 2020-03-24 北京小米移动软件有限公司 多摄像头的变焦方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110913122A (zh) * 2018-09-18 2020-03-24 北京小米移动软件有限公司 多摄像头的变焦方法、装置、设备及存储介质
CN110572581A (zh) * 2019-10-14 2019-12-13 Oppo广东移动通信有限公司 基于终端设备的变焦虚化图像获取方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114697528A (zh) * 2020-12-30 2022-07-01 Oppo广东移动通信有限公司 图像处理器、电子设备及对焦控制方法
CN114615435A (zh) * 2022-03-25 2022-06-10 联想(北京)有限公司 一种处理方法及装置
CN114915728A (zh) * 2022-05-23 2022-08-16 普联技术有限公司 一种多目摄像设备变焦的方法及多目摄像设备
CN115988317A (zh) * 2022-12-12 2023-04-18 Oppo广东移动通信有限公司 图像处理方法、装置、芯片、通信设备、及存储介质

Also Published As

Publication number Publication date
CN113840076B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN111885294B (zh) 一种拍摄方法、装置与设备
CN113840076B (zh) 一种拍摄变焦方法、电子设备及存储介质
CN110505411B (zh) 图像拍摄方法、装置、存储介质及电子设备
KR20230013243A (ko) 프레임에서 타겟 오브젝트를 위한 고정된 크기 유지
EP2779628B1 (en) Image processing method and device
CN109671106B (zh) 一种图像处理方法、装置与设备
KR101679290B1 (ko) 영상 처리 방법 및 장치
CN101465972B (zh) 在数字图像处理装置中使图像背景模糊的设备和方法
EP2051505A2 (en) Composition determining apparatus, composition determining method, and program
WO2011148212A1 (en) Camera system and method for taking photographs that correspond to user preferences
CN107613208B (zh) 一种对焦区域的调节方法及终端、计算机存储介质
CN112866576B (zh) 图像预览方法、存储介质及显示设备
CN108513069B (zh) 图像处理方法、装置、存储介质及电子设备
CN112017137A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112668636A (zh) 摄像头遮挡检测方法及***、电子设备及存储介质
CN110691192A (zh) 图像处理方法、装置、存储介质及电子设备
JP2011223294A (ja) 撮像装置
CN108259767B (zh) 图像处理方法、装置、存储介质及电子设备
CN112822371A (zh) 图像处理芯片、应用处理芯片、数据统计***及方法
CN114143471B (zh) 图像处理方法、***、移动终端及计算机可读存储介质
CN108495038B (zh) 图像处理方法、装置、存储介质及电子设备
CN113837937A (zh) 多媒体处理芯片、电子设备图像融合方法和图像裁剪方法
CN115334240B (zh) 图像拍摄方法、智能终端及存储介质
CN114866680B (zh) 图像处理方法、装置、存储介质及电子设备
CN114827438B (zh) 协处理芯片、电子设备以及触控响应方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant