CN118102085A - 一种控制方法、装置及电子设备 - Google Patents
一种控制方法、装置及电子设备 Download PDFInfo
- Publication number
- CN118102085A CN118102085A CN202410368029.9A CN202410368029A CN118102085A CN 118102085 A CN118102085 A CN 118102085A CN 202410368029 A CN202410368029 A CN 202410368029A CN 118102085 A CN118102085 A CN 118102085A
- Authority
- CN
- China
- Prior art keywords
- camera device
- image
- target
- switching
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 105
- 230000033001 locomotion Effects 0.000 claims abstract description 68
- 230000006698 induction Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 117
- 230000008569 process Effects 0.000 claims description 39
- 238000004891 communication Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000001976 improved effect Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000007499 fusion processing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000003381 stabilizer Substances 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Studio Devices (AREA)
Abstract
本申请提出了一种控制方法、装置及电子设备,通过第一摄像头装置获得第一采集图像,通过目标传感器获得感应参数,该感应参数用于表征电子设备的运动,如果该感应参数满足切换条件,从第一摄像头装置切换至第二摄像头装置获得第二采集图像。其中,第一摄像头装置与目标传感器属于同一个电子设备,第一摄像头装置与第二摄像头装置不同。
Description
技术领域
本申请主要涉及电子设备应用领域,更具体地说是涉及一种控制方法、装置及电子设备。
背景技术
在实际应用中,为了满足不同图像采集需求,拍摄者可以结合拍摄环境,从如主摄像头、广角摄像头、长焦摄像头、微距摄像头以及景深摄像头等中选择最合适的摄像头进行图像采集,以获得满足实际拍摄要求。
目前,通常是拍摄者依据经验或试验,来选择合适的摄像头进行图像采集,对于经验不足的拍摄者来说,费时费力,无法保证拍摄图像质量,降低了图像采集效率和可靠性。
发明内容
为了解决上述技术问题,本申请提供了以下技术方案:
一方面,本申请提出了一种控制方法,所述控制方法包括:
通过第一摄像头装置获得第一采集图像;
通过目标传感器获得感应参数,所述感应参数用于表征电子设备的运动;
如果所述感应参数满足切换条件,从所述第一摄像头装置切换至第二摄像头装置获得第二采集图像;
其中,所述第一摄像头装置与所述目标传感器属于同一个电子设备,所述第一摄像头装置与所述第二摄像头装置不同。
优选的,所述第一摄像头装置与所述第二摄像头装置的拍摄范围不同;
所述切换条件与所述拍摄范围相关;
所述切换条件表征所述电子设备的运动幅度越大,拍摄范围越大。
优选的,所述方法还包括:
提供所述感应参数给目标处理引擎;所述目标处理引擎用于基于所述感应参数处理目标摄像头装置获得的采集图像;
其中,所述如果所述感应参数满足切换条件,从所述第一摄像头装置切换至第二摄像头装置获得第二采集图像是在所述提供所述感应参数给目标处理引擎之前执行。
优选的,所述目标处理引擎包括:
基于所述目标摄像头装置获得的采集图像以及所述目标传感器获得的感应参数,处理所述采集图像生成输出图像;
其中,如果所述第一摄像头装置作为所述目标摄像头装置且所述感应参数满足切换条件,控制所述第二摄像头装置作为所述目标摄像头装置;
所述第一采集图像对应于第一输出图像,所述第二采集图像对应于第二输出图像。
优选的,所述方法还包括:
显示所述输出图像;
其中,所述第一输出图像包括的目标拍摄对象位于所述第一输出图像的第一位置,所述第二输出图像包括的所述目标拍摄对象位于所述第二输出图像的第二位置;
显示所述第一输出图像时所述目标拍摄对象的第一位置与显示所述第二输出图像的时所述目标拍摄对象的第二位置相同。
优选的,所述第一采集图像以及所述第二采集图像属于同一次录制过程中的采集图像;
所述第一输出图像以及所述第二输出图像属于所述同一次录制过程中生成的目标文件的存储图像;
所述第一输出图像以及所述第二输出图像属于所述同一次录制过程中用于提供给显示屏显示的预览图像。
优选的,如果所述第一摄像头装置的拍摄范围小于所述第二摄像头装置的拍摄范围,所述如果感应参数满足切换条件,从所述第一摄像头装置切换至第二摄像头装置获得第二采集图像,包括:
基于所述感应参数,确定所述电子设备的运动幅度;
如果所述电子设备在预设时长内的平均运动幅度大于第一切换阈值,从所述第一摄像头装置切换至第二摄像头装置获得第二采集图像;
如果所述电子设备的所述预设时长内的平均运动幅度小于第二切换阈值,从所述第二摄像头装置切换至第一摄像头装置获得第一采集图像;
其中,所述第二切换阈值小于所述第一切换阈值。
另一方面,本申请还提出了一种控制装置,所述控制装置包括:
第一采集图像获得模块,用于通过第一摄像头装置获得第一采集图像;
感应参数获得模块,用于通过目标传感器获得感应参数,所述感应参数用于表征电子设备的运动;
第二采集图像获得模块,用于如果所述感应参数满足切换条件,从所述第一摄像头装置切换至第二摄像头装置获得第二采集图像
其中,所述第一摄像头装置与所述目标传感器属于同一个电子设备,所述第一摄像头装置与所述第二摄像头装置不同。
又一方面,本申请还提出了一种电子设备,所述电子设备包括:
第一摄像头装置,用于获得第一采集图像;
目标传感器,用于获得感应参数;所述感应参数用于表征电子设备的运动;
处理器分别与所述第一摄像头装置和所述目标传感器连接,用于获得所述第一采集图像和所述感应参数,如果所述感应参数满足切换条件,从所述第一摄像头装置切换至第二摄像头装置获得第二采集图像;
其中,所述第二摄像头装置与所述第一摄像头装置不同。
优选的,所述第二摄像头装置部署在所述电子设备中;
或者,所述第二摄像头装置部署在与所述电子设备通信连接的第二电子设备。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请提出的控制方法的可选实施例一的流程示意图;
图2为本申请提出的控制方法的一可选应用环境架构示意图;
图3为本申请提出的控制方法的另一可选应用环境架构示意图;
图4为本申请提出的控制方法的可选实施例二的流程示意图;
图5为本申请提出的控制方法中的一可选拍摄场景示意图;
图6为本申请提出的控制装置的一可选实施例的结构示意图;
图7为适用于本申请提出的电子设备的可选实施例一的硬件结构示意图;
图8为适用于本申请提出的电子设备的可选实施例二的硬件结构示意图。
具体实施方式
针对背景技术部分的描述,本申请提出在电子设备中的第一摄像头装置进行图像采集过程中,通过该电子设备中的目标传感器的感应参数,来监测电子设备的运动,这样,在感应参数满足切换条件,可以认为第一摄像头装置获得的采集图像无法满足实际需求,将从第一摄像头装置切换为第二摄像头装置获得第二采集图像,以保证获得满足实际需求的连续帧采集图像,即保证采集图像质量,且该过程无需拍摄者手动选择摄像头切换,直接基于目标传感器的感应参数,实现不同摄像头装置之间的自动切换,提高了采集图像获得效率和可靠性,更好地满足专业技能不高的普通拍摄者在多种拍摄环境和拍摄对象的不同拍摄需求,提高用户体验。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参照图1,为本申请提出的控制方法的可选实施例一的流程示意图,该方法可以适用于电子设备,该电子设备可以包括但并不局限于智能手机、平板电脑、虚拟现实(virtualreality,VR)设备、增强现实(augmentedreality,AR)设备、录像设备(如录像机或照相机等)或智能机器人等终端,可以依据实际环境确定产品类型。如图1所示,本实施例提出的控制方法可以包括:
步骤S11,通过第一摄像头装置获得第一采集图像;
在图像采集场景下,开始阶段,操作者(即拍摄者)可以启动电子设备中的第一摄像头装置进行图像采集,将其采集到的图像记为第一采集图像,之后,在不同图像处理需求下,第一摄像头装置可以将第一采集图像传输至执行相应的处理设备(其可以依据对采集图像的实际需求确定,如实现录制存储或预览播放或异常检测或防抖处理等的设备)进行处理,以得到所需的目标采集图像,本申请对来自任一摄像头装置的采集图像的后续处理方式不做限制,可视情况而定。
其中,第一摄像头装置可以是需要使用电子设备进行图像采集,如录像或拍摄图片等场景下,由操作者启动电子设备的图像采集应用时,直接调启的摄像头装置,如配置的默认摄像头装置,如适用范围较广的主摄像头装置等,或者是依据操作者实际拍摄要求自定义配置的其他类型/功能的摄像头装置,如微距摄像头装置或景深摄像头等,本申请对第一摄像头装置的类型不做限制。
当然,在电子设备运行应用需要采集图像时,如在社交软件中启动(如操作鼠键点击/触控相应功能标识等)录像或拍摄功能,可以响应摄像头调启指令,按照预先配置摄像头启动规则,调启对应的摄像头装置(其可以记为第一摄像头装置)进行图像采集,但并不局限于本实施例描述的摄像头装置启动实现方法,可以依据实际配置情况灵活确定。
可以理解的是,若电子设备中配置有一个摄像头装置,可以直接作为第一摄像头装置启动,若电子设备中配置有多个摄像头装置,可以按照本实施例描述的方法,选择启动其中的第一摄像头装置进行图像采集,以使得其他处理设备能够获得第一摄像头装置采集到的第一采集图像。另外,按照但并不局限于本申请描述的方法执行一段时间后,也可能是从其他摄像头装置切换为第一摄像头装置进行图像采集,执行步骤S11,此时可以是通过响应摄像头装置切换指令,启动第一摄像头装置进入图像采集状态,以通过第一摄像头装置获得第一采集图像。
步骤S12,通过目标传感器获得感应参数;该所述感应参数用于表征电子设备的运动,目标传感器与第一摄像头装置属于同一个电子设备;
结合上文对本申请技术方案的相关描述,本申请提出依据电子设备的运动情况,实现不同摄像头装置的自动切换控制,这样,在拍摄对象状态发生变化,如在对竞技运动员进行视频录制场景下,拍摄对象移动速度或轨迹等发生变化,使得跟随拍摄的电子设备运动或运动情况发生变化,若当前工作的第一摄像头装置获得的第一采集图像可能无法满足实际要求,本申请希望能够快速且准确地控制其他更合适的摄像头装置继续获得采集图像,以保证图像质量。
基于此,本申请将由电子设备中的目标传感器实时或周期性(其周期往往较短)采集感应参数,以通过连续感应参数的变化,确定电子设备的运行状态,如抖动移动或旋转或稳定移动等,本申请对感应参数的内容及其获取方法不做限制。优选的,可以通过IMU(Inertia Measurement Unit)惯性传感器,检测和测量其所在电子设备的加速度、倾斜角、振动、旋转以及多自由度运动等一种或多种感应参数,其可以采用加速度传感器(即检测不同方向的加速度的加速度计)、角速度传感器(如检测不同方向角速度的陀螺仪)和/或其他类型的传感器实现,本申请对目标传感器类型及其工作过程不做详述。
步骤S13,如果该感应参数满足切换条件,从第一摄像头装置切换至第二摄像头装置获得第二采集图像;该第二摄像头装置与第一摄像头装置不同。
本实施例中,用以确定第一摄像头装置与第二摄像头装置之间切换的切换条件可以与相应各摄像头装置的拍摄参数相关,如拍摄范围、对焦距离以及放大倍率等一种或多种拍摄参数,还可以结合实际对采集图像的任务要求(如拍摄对象的完整性、清晰度、拍摄对象在画面中的尺寸/比例关系等一种或多种)确定,本申请对切换条件的内容不做限制。
依据上文对感应参数的相关描述,对于不同类型的目标传感器得到感应参数内容可以不同,本申请可以对连续获得的一种或多种感应参数进行分析,确定电子设备当前的运动情况,如运动速度、不同方向上的运动幅度(其可以基于电子设备的运动主轴与世界/图像坐标系中的坐标轴之间的夹角确定,但并不局限于这种表示方式)或者相对于拍摄对象的运动距离等,根据实际需求还可以统计电子设备连续处于该运动情况的时长,以避免瞬时或极短时间内产生该运动情况,满足切换条件而造成不当切换操作,提高了摄像头装置自动切换控制的可靠性和准确性。
其中,在上述分析感应参数过程中,可以结合切换条件的内容或表征的内容,获得感应参数在对应方面的分析结果,以精准且可靠确定该感应参数是否满足切换条件,由此确定第一摄像头装置是否满足相应任务要求,哪个摄像头装置能够满足相应任务要求等,这样,在满足切换条件时,能及时且准确地从第一摄像头装置切换到第二摄像头装置(即满足任务要求的摄像头装置)获得满足任务要求的第二采集图像
在一些实施例中,若第一摄像头装置与第二摄像头装置的拍摄范围不同,所得采集图像的视野角度不同,即各摄像头装置的FOV(Field Of View,也可以称为视野角度)不同,FOV可以表示摄像头装置所能覆盖的拍摄范围,对拍摄环境的视野角度不同,若目标拍摄对象超过该FOV,摄像头装置无法拍摄到目标拍摄对象,其采集图像中不存在目标拍摄对象,FOV越大,摄像头装置的拍摄范围越大,对目标拍摄对象的拍摄可靠性越高,如第一摄像头装置的FOV可以是30°(单位:度)左右,第二摄像头装置的FOV可以是90°~120°或者是60°~90°等,使得第一摄像头装置的拍摄范围大于第二摄像头装置的拍摄范围,本申请对不同摄像头装置的FOV数值不做限制,对于摄像头装置的拍摄范围也并不局限于FOV这种表示方式。
继上述分析,若上述切换条件表征电子设备的运动幅度越大,拍摄范围越大,这样,电子设备的运动幅度越大,可以选择具有越大拍摄范围的摄像头装置来获得采集图像。这样,通过感应参数确定电子设备的运动幅度,可以基于当前电子设备的运动幅度,确定拍摄对象是否超过第一摄像头装置的拍摄范围,即因电子设备的运动幅度,使得第一摄像头装置的拍摄范围在拍摄环境中相应改变,使得第一采集图像中目标拍摄对象在该图像中的位置信息(可以由图像坐标或通过其与图像边界/中心位置之间的距离等方式表示)对应改变,甚至可能会使得目标拍摄对象超出第一摄像头装置在拍摄环境中的拍摄范围,导致获得的第一采集图像不存在目标拍摄对象。可见,在电子设备的该运动情况下,通过第一摄像头装置无法拍摄到目标拍摄对象,满足切换条件,可以自动从第一摄像头装置切换至拍摄范围更大的第二摄像头装置来获得第二采集图像,保证获得的采集图像包含目标拍摄对象。
示例性的,若第一摄像头装置为主摄像头装置,第二摄像头装置为超广角摄像头装置,由于主摄像头装置的拍摄范围小于超广角摄像头装置,在通过主摄像头装置获得第一采集图像过程中,若通过感应参数确定电子设备的运动幅度大于切换阈值,说明主摄像头装置的拍摄范围过小,可能无法拍摄到目标拍摄对象或者,因目标拍摄对象在第一采集图像中的位置远离中心位置,导致无法将第一采集图像处理成满足任务要求的目标拍摄对象的图像数据等,可以采用平滑切换方式,从主摄像头装置切换至超广角摄像头装置获得第二采集图像,如自动启动超广角摄像头装置获得第二采集图像,关闭主摄像头装置,以保证获得连续帧采集图像的内容连贯,处理所得图像画质流畅。
可选的,在上述切换条件与所述拍摄范围相关的情况下,可以基于感应参数确定目标拍摄对象超过第一摄像头装置的拍摄范围,如目标拍摄对象体积过大,第一摄像头装置无法拍摄到完整的目标拍摄对象,可以切换到具有更大拍摄范围的第二摄像头装置获得第二采集图像,以保证所获得的各采集图像中的目标拍摄对象完整。
在另一些实施例中,若切换条件与摄像头装置的其他功能参数相关,参照上述对拍摄范围这种功能参数的相关分析,本申请也可以依据第一摄像头装置和第二摄像头装置在该功能参数上的差异,以及该功能参数与电子设备的运动的关联关系,如运动幅度/速度越大,对应功能参数越大/越小或按照一定规则变化等,确定相应的切换条件中针对电子设备的运动幅度/速度等信息的切换阈值,这样,在通过第一摄像头装置获得第一采集图像期间,可以基于获得的感应参数,确定当前电子设备的运动幅度/速度等是否达到该切换阈值的实现方法,来确定是否从第一摄像头装置切换至第二摄像头装置来继续获得采集图像,以保证获得的采集图像满足任务要求。本申请对切换条件的内容及其配置方法不做限制,可视情况而定。
在实际应用中,为了保证对不同摄像头装置之间切换控制的可靠性,上述切换控制可以确定预设时长内连续获得的感应参数是否满足切换条件实现,该预设时长可以是3s或5s等,可以依据实际任务要求或依据经验预先配置,本申请对该预设时长的数值配置和调整方法不做限制,可以在切换条件时设置预设时长。当然,在需要调整切换条件时,可以进入电子设备的设置界面,以在该设置界面中
如上述分析,对于不同任务要求来说,上述切换条件可以不同,若电子设备配置有不同类型任务(即对采集图像相关任务)各自对应的多个切换条件,可以依据调启第一摄像头装置的应用类型或应用触发功能类型或应用输出界面类型等信息,确定对应的目标切换条件,以在获得采集图像过程中,通过确定感应参数是否满足目标切换条件,实现摄像头装置之间的切换控制,以通过切换到的目标摄像头装置获得采集图像。可选的,也可以直接确定感应参数满足任一切换条件,从第一摄像头装置切换至与该切换条件对应的第二摄像头装置获得第二采集图像等。
优选的,参照图2所示的本申请提出的控制方法的一可选应用环境架构示意图,对于本申请中的第二摄像头装置是第一摄像头装置和目标传感器所在的同一个电子设备中部署的区别于第一摄像头装置的其他摄像头装置,也就是说,上述第一摄像头装置、第二摄像头装置和目标传感器部署在同一个电子设备中,在通过第二摄像头装置获得第二采集图像过程中,也可以在感应参数满足对应切换条件时,从第二摄像头装置切换至第一摄像头装置获得第一采集图像,若第一摄像头装置和第二摄像头装置与目标拍摄对象之间的位置关系一直,如视野朝向一致(如都是电子设备后置摄像头等)一致,可以减小用于处理采集图像的处理设备的图像处理工作量。关于对采集图像的处理场景可以参照下文实施例对应部分的描述,本实施例在此不做详述。
可以理解的是,本申请的第二摄像头装置也可以与第一摄像头装置属于不同电子设备,此时,为了方便描述可以将第一摄像头装置或其所在电子设备记为第一电子设备,第二摄像头装置或其所在的电子设备可以记为第二电子设备,该实施例中,参照图3所示的本申请提出的控制方法的另一可选应用环境架构示意图,通过第一电子设备与第二电子设备之间通信,在第一电子设备确定通过目标传感器获得的感应参数满足切换条件,可以向第二电子设备发送第二摄像头控制指令,启动第二摄像头装置进行图像采集,接收其采集到的第二采集图像,若第二摄像头装置处于图像采集状态,可以将第二摄像头装置采集的第二采集图像传输至第一电子设备,此时可以不影响第二电子设备自身对第二采集图像的原处理任务。
需要说明的,图3仅为使用第一电子设备和第二电子设备进行图像采集的应用场景的示例,本申请对第一电子设备和第二电子设备的产品类型不做限制,本实施例仅以图3的架构为例来说第二摄像头装置与第一摄像头装置属于不同电子设备这一种控制***,在该控制***中,由于第一电子设备和第二电子设备的外参和内参都可能不同,各自获得的采集图像中目标拍摄对象的视野范围/角度等不同,如图3所示,两个摄像头装置分别从目标拍摄对象的不同侧进行图像采集,使得各自所得采集图像显示目标拍摄对象不同表面特征,且呈现的拍摄环境的视野也会不同。
对此,为了获取画质流畅且内容连贯的连续帧图像,可以要求第一电子设备与第二电子设备之间的位置关系固定,且两者获得的采集图像的视野范围具有较高的重叠度的情况下,第一摄像头装置和第二摄像头装置都要处于图像采集状态,可以获得这两个摄像头装置各自获得的采集图像,处理设备(其可以位于第一电子设备或第三电子设备)提取第一采集图像和第二采集图像各自的图像特征,通过计算机视觉算法,生成图像描述子,用以刻画图像中的各对象,即描述第一采集图像的特征点分布情况,之后,可以通过特征匹配和单应性矩阵估计,实现图像配准、校正、拼接等融合处理,以使得到的融合图像中目标拍摄对象在图像中的位置基本不变,即所得各帧图像的FOV一致(如视野角度/范围一致或变化量小于阈值),达到防抖效果,在上述处理图像融合处理过程中,也可以结合其他处理任务要求实现,以使所得融合图像满足该处理任务要求。本申请对上述两路图像数据流的融合实现方法不做限制,也可以选择合适的深度学习/机器学习算法实现,以提高图像处理效率,保证所得图像质量。
可以理解的是,在第一摄像头装置和第二摄像头装置之间的相对位置关系发生变化的情况,也可以基于各自所在电子设备中的传感器获得的感应参数,确定两者之间的实时位置关系,从而基于实时位置关系以及各自的内参(标定参数)等信息,以及从当前帧第一采集图像中提取的特征点分布,和从第二采集图像中提取的特征点分布,参照但并不限于上段描述的图像融合方式,实现对该帧第二采集图像中特征点的对齐、校正或替换、拼接等融合处理,以使得由此生成的第二输出图像与上一帧对应于第一采集图像的第一输出图像中目标拍摄对象的位置一致,后续可以基于该帧融合图像替换上述第一采集图像,继续处理下一帧第二采集图像,以达到防抖效果。
结合上文描述的控制方法,对于通过目标摄像头装置(第一摄像头装置或第二摄像头装置)获得的采集图像,可以直接存储在自身的存储设备中,以供后续其他设备依据实际处理任务要求,获取已存储的采集图像进行处理,也可以传输至电子设备的目标处理引擎(其作为上述处理设备)进行处理,需要说明的是,为了保证目标处理引擎对获得的采集图像的处理结果的可靠性,符合相应的处理任务要求,需要将电子设备中的目标传感器获得的感应参数提供给目标处理引擎,且在向目标处理引擎提供感应参数之前,需要先执行上下文任一实施例描述的控制方法中的如果感应参数满足切换条件,从第一摄像头装置切换至第二摄像头装置获得第二采集图像这一步骤,以保证当前提供给目标处理引擎的感应参数是满足切换条件的同一感应参数,使得目标处理引擎基于该感应参数,处理目标摄像头装置获得的采集图像,此处是第二摄像头装置获得的第二采集图像。
同理,在从第二摄像头装置切换回第一摄像头装置的情况下,也可以按照上文描述的方法进行控制,如通过目标传感器获得的感应参数满足对应的切换条件,从第二摄像头装置切换至第一摄像头装置获得第一采集图像,会将该感应参数提供给目标处理引擎,以基于该感应参数处理第一摄像头装置获得的第一采集图像。可见,对于目标处理引擎所需的采集图像和感应参数之间具有如上述关联性,在通过目标摄像头装置获得采集图像过程中,可以直接通过目标传感器获得的感应参数提供给目标处理引擎,以实现该采集图像的处理;若当前需要进行摄像头装置切换,确定满足切换条件的感应参数,并据此切换到目标摄像头装置获得采集图像后,将该感应参数提供给目标处理引擎,用以处理来自切换到的目标摄像头装置获得的采集图像。
结合上述分析的控制方法,在一些实施例中,如视频录制等拍摄场景下,需要操作者操作电子设备运动,甚至目标拍摄对象也会在拍摄环境中运动,很容易导致摄像头直接获得的采集图像出现抖动(如目标拍摄对象在采集图像中的位置变化较大,在连续帧采集图像中的位置运动轨迹是运动曲线)和模糊等问题,尤其是在目标拍摄对象与摄像头装置之间的拍摄距离较近,目标拍摄对象在拍摄环境中的相对运动幅度较大,采集图像中目标拍摄对象的抖动会更明显。
为了获得目标拍摄对象在连续帧图像中的显示位置基本稳定,画质流畅的视频数据,目标处理引擎可以运行电子防抖EIS(Electronics Image Stabilization,EIS)算法,基于目标传感器获得的感应参数,处理目标摄像头装置获得的采集图像,如确定与目标摄像头装置(可以由目标摄像头ID等标识区分不同摄像头装置)相匹配的各种校正/补偿参数等防抖参数,结合当前得到的感应参数,动态调整来自目标摄像头装置的采集图像的感光度ISO、快门以及成像算法进行图像模糊修正,且为了保证视频/图片拍摄时,目标拍摄对象的视野角度/范围稳定,如使得目标拍摄对象位于取景框中心位置(即稳像位置,但并不局限于中心位置),在不同摄像头装置获得的采集图像尺寸和视野范围等不同的情况下,基于对目标拍摄对象的显示位置执行裁剪处理之前,可以先对小尺寸的采集图像进行放大后再裁剪,以获得预设图像尺寸的裁剪图像,减轻或消除图像黑边问题,并使处理后的各帧图像(如取景框内的图像)中针对目标拍摄对象的FOV一致,本申请对EIS算法的工作原理即图像电子防抖处理的实现方法不做详述,其并不局限于本申请上下文描述的处理方式,目标处理引擎还可以依据实际图像质量要求,结合其他图像处理算法,对电子防抖处理后的图像继续进行图像质量补偿,以提高图像质量。
在实际应用中,由于不同摄像头装置自身的摄像头外参和内参(如标定参数)可能不同,使得来自不同摄像头装置的采集图像的图像尺寸、图像分辨率或其他质量参数、视野角度/范围等至少一维度不同,且这些维度数据会因电子设备的运动导致位于电子设备中的摄像头装置同步运动,使其外参发生变化,为了获得高质量图像,尽量使观看处理后的连续帧图像用户对摄像头装置的切换过程无感知,减少来自不同摄像头装置对相邻两帧图像之间的差异,保证但并不局限于上文列举的至少一维度数据的差异,目标处理引擎可以基于目标摄像头装置(为当前对目标处理引擎提供采集图像的第一摄像头装置或第二摄像头装置)的摄像头外参和内参,以及目标传感器获得的感应参数,实现对采集图像的电子防抖处理,得到满足防抖要求的对应帧图像。
其中,对于上述用于对不同摄像头装置获得的采集图像的摄像头外参和内参等防抖参数,目标处理引擎可以将其与对应摄像头装置的摄像头标识进行关联后存储,这样,在处理目标摄像头装置获得的采集图像时,可以直接确定与该目标摄像头装置的摄像头标识匹配的防抖参数,如从采集图像可以携带摄像头标识传输至目标处理引擎,目标处理引擎也可以依据接收到的采集图像的尺寸或视野范围等特征,确定与目标摄像头装置匹配的防抖参数等,从而基于该防抖参数以及接收到的感应参数,处理来自该目标摄像头装置的采集图像。可以理解的是,为了保证与不同摄像头装置对应的处理后的图像的视角范围/角度FOV一致,各防抖参数中的目标裁剪参数相同,该目标裁剪参数表示裁剪后的图像中目标拍摄对象在图像中的位置关系或针对目标拍婚对象的FOV等。
继上文对目标处理引擎的功能描述,在另一些实施例中,参照图4示出本申请提出的控制方法的可选实施例二的流程示意图,本实施例可以对目标处理引擎的功能进行细化描述,但并不局限于本实施例描述的功能,如图4所示,该方法可以包括但并不局限于以下步骤:
步骤S41,通过第一摄像头装置获得第一采集图像;
步骤S42,通过目标传感器获得感应参数;该感应参数用于表征电子设备的运动,目标传感器与第一摄像头装置属于同一个电子设备;
步骤S43,提供该感应参数给目标处理引擎,由目标处理引擎基于目标传感器处理该第一采集图像,生成第一输出图像;
在本申请实施例中,目标处理引擎能够基于目标摄像头获得的采集图像以及目标传感器获得的感应参数,处理该采集图像生成输出图像。在第一摄像头装置作为目标摄像头装置,将获得的第一采集图像传输至目标处理引擎,目标处理引擎可以基于对应获得的感应参数处理该第一采集图像生成输出图像,如对电子防抖处理后的图像进行编解码,以得到满足采集图像输出需求的图像数据流,传输至其他电子设备进行其他任务的图像处理或存储或播放等,也可以传输到目标处理引擎所在电子设备中的存储设备进行存储,或显示器进行同步显示等,本申请对输出图像的生成方法不做限制。
优选的,若第一摄像头装置的摄像头具有OIS(Optical Image Stabilization,光学图像稳定器)防抖功能,即在该摄像头中通过光学元器件的设置,例如镜头设置,来避免或者减少捕捉光学信号过程中出现的仪器抖动现象,实现光学防抖,如通过镜头内的陀螺仪侦测到微小的移动,然后将信号传至微处理器,微处理器立即计算需要补偿的位移量,然后通过补偿镜片组,根据镜头的抖动方向及位移量加以补偿,克服因摄像头的振动产生的图像模糊问题。可见,OIS防抖功能可以通过镜头的浮动透镜来纠正光轴偏移,结构确定的摄像头装置的OIS防抖效果确定,第一摄像头装置获得的第一采集图像是经过OIS防抖处理后的图像,无需可以依据实际防抖需求,由目标处理引擎继续对获得的第一采集图像进行电子防抖处理,实现过程本实施例不做详述。
基于此,在通过第二摄像头装置获得第二采集图像的情况下,可以第二摄像头装置的曝光参数,如曝光时间等,若曝光时间过长,第二采集图像会模糊,说明仅通过电子防抖算法对第二采集图像的防抖处理效果不佳,可以切换到第一摄像头装置获得第一采集图像,以通过电子防抖和光学防抖这两种防抖方式,实现对第一采集图像的防抖处理,提高所得图像的防抖效果,提高输出图像质量。
步骤S44,如果目标传感器获得的感应参数满足切换条件,从第一摄像头装置切换至第二摄像头装置获得第二采集图像;该第二摄像头装置与第一摄像头装置不同;
步骤S45,提供该感应参数给目标处理引擎,由目标处理引擎基于该感应参数处理该第二采集图像生成第二输出图像。
继上述分析,目标处理引擎对第一采集图像处理过程中,若第一摄像头装置作为目标摄像头装置且感应参数满足切换条件,可以控制第二摄像头装置作为目标摄像头装置,以便后续基于此时接收到的感应参数,处理第二摄像头装置获得的第二采集图像生成输出图像,如基于第二摄像头装置匹配的防抖参数以及当前获得到的感应参数(其满足用以指示切换到第二摄像头装置提供第二采集图像的切换条件),对第二采集图像进行电子防抖处理,再对电子防抖处理后的图像进行编解码,得到第二输出图像,并不局限于本申请描述的输出图像生成方法。
可见,在本申请实施例中,在通过第一摄像头装置获得第一采集图像期间,对于当前帧第一采集图像传输至目标处理引擎,经过上文相应部分描述的处理方式,将生成与该帧第一采集图像对应的第一输出图像,在此期间,会通过目标传感器获得感应参数,确定该感应参数是否满足切换条件,控制第二摄像头装置作为目标摄像头装置,继续将第二摄像头装置获得的第二采集图像传输至目标处理引擎,该切换控制过程并不影响目标处理引擎接收第一采集图像,将获得的第二采集图像替换下一帧第一采集图像发送至目标处理引擎,避免丢帧导致视频卡顿。
为了方便操作者或其他用户能够直观了解目标处理引擎处理各帧采集图像的处理效果,对于上文各实施例描述的控制方法的基础上,本申请还可以显示目标处理引擎生成的输出图像,本申请对输出图像的显示方式以及时间不做限制,如图像采集过程中同步显示,或图像采集结束后显示各帧输出图像等。
在目标处理引擎执行电子防抖算法处理采集图像生成输出图像的实施例中,其接收到来自第一摄像头装置的第一采集图像,将对应生成第一输出图像,在接收到来自第二摄像头装置的第二采集图像,将对应生成第二输出图像,各第一输出图像和各第二输出图像的多帧排序与第一采集图像和第二采集图像的多帧排序一致,该处理过程可以参照上文实施例对应部分的描述,本实施例在此不做赘述。
其中,若任一帧第一输出图像包括的目标拍摄对象位于该帧第一输出图像的第一位置,任一帧第二输出图像包含的目标拍摄对象位于该帧第二输出图像的第二位置,在需要显示目标处理引擎生成的连续帧输出图像(可以包括第一输出图像和第二输出图像),通过显示屏显示第一输出图像时,目标拍摄对象的第一位置与通过该显示屏显示第二输出图像时该目标拍摄对象的第二位置相同,即第一位置和第二位置之间的差值小于阈值(接近零的小数值),可以认为目标处理引擎对第一采集图像和第二采集图像进行电子防抖处理后,对应所得输出图像达到了防抖效果,即生成的连续帧输出图像中目标拍摄对象相对于显示屏的位置相同,达到对目标拍摄对象的稳像效果,上述第一位置和第二位置可以是上文描述的稳像位置。
示例性的,参照图5所示的滑雪拍摄场景,以滑雪者为目标拍摄对象,操作电子设备跟随滑雪者进行图像采集,滑雪者的运动轨迹往往是呈曲线不规则变化,其运动幅度也会不规律变化,跟随拍摄的电子设备也会随着滑雪者运动而运动,其运动幅度往往与滑雪者的运动幅度变化不一致,两者之间的运动速度也可能不同,使得滑雪者超出电子设备当前使用的第一摄像头装置的拍摄范围,所得第一采集图像不存在滑雪者,这是不符合实际拍摄要求。为了避免这种情况发生,按照本申请提出的控制方法,电子设备中的目标传感器实时获得的感应参数能够表征电子设备的运动,通过分析确定电子设备的运动幅度满足切换条件,说明第一摄像头装置无法满足或将要无法满足拍摄要求,滑雪者将要超过拍摄范围或与拍摄范围边界的距离不足以支持目标处理引擎的图像处理,即当前第一摄像头装置获得的第一采集图像中目标拍摄对象的位置,给目标处理引擎留出的裁剪空间不足以解决抖动问题,防抖效果较差,可以切换到支持更好防抖效果,具有更大拍摄范围的第二摄像头装置获得第二采集图像,切换控制过程以及电子防抖处理过程可以参照上文实施例对应部分的描述,本实施例在此不做详述。
经过本申请提出的控制方法,能够使得电子设备显示的对应于不同摄像头的采集图像的输出图像中,目标拍摄对象位于该输出图像中的位置相同,如图5所示,a图、b图和c图显示对应于不同摄像头的采集图像的输出图像,能够保证滑雪者始终处于显示屏的中心位置,但并不局限于该稳像位置。
可以理解的是,在影视剧拍摄等场景下,第一摄像头装置所在电子设备部署在移动设备上,该移动设备沿着固定的移动轨道运动,且电子设备与移动设备同步移动,使得第一摄像头装置不会出现垂直方向的抖动,在不考虑目标拍摄对象从垂直方向超过拍摄范围,但在其移动速度与目标拍摄对象的移动速度之间的差值大于切换阈值,如第一摄像头装置移动速度过慢,也可能会导致目标拍摄对象从水平方向超出拍摄范围,这种情况下也可以切换到具有更大拍摄范围内的第二摄像头装置获得第二采集图像,以使得目标拍摄对象不会超出目标摄像头装置的拍摄范围,以使得目标处理引擎可靠完成处理任务,如保证拍摄视频中目标拍摄对象在连续帧图像中的位置相同。
可见,对运动速度大的目标拍摄对象进行图像采集时,可以切换至拍摄范围大的摄像头装置获得采集图像;对于运动速度小的目标拍摄对象,在不考虑资源消耗的情况下,也可以使用拍摄范围大的摄像头装置获得采集图像,若为了同时达到节能效果,可以选择切换至拍摄范围小的摄像头装置获得采集图像,只要保证所得采集图像足以完成后续处理任务即可。
需要说明,对于本申请提出的控制方法的适用场景,包括但并不局限于上文列举的几种拍摄场景,也可以是其他极限运动场景,或动物拍摄场景,或满运动对象拍摄场景等,对不同摄像头装置切换控制获得满足任务处理要求的采集图像的实现方法类似,本申请不做一一举例详述。
可选的,对于上文实施例描述的需要显示输出图像的场景,如在视频录制场景下,通过第一摄像头装置获得的第一采集图像与通过第二摄像头装置获得的第二采集图像,可以属于同一次录制过程中的采集图像,也就是说,在视频录制过程中,对于第一摄像头装置与第二摄像头装置之间的切换控制,不会影响视频录制,无需退出视频录制,再切换到目标摄像头装置进行视频录制,对于用户来说不同摄像头装置之间的切换基本是无感知的,提高了用户体验。
在一种可能的实现方式中,本申请提出的控制方法适用于上述图像录制(如视频录制或多帧图片拍摄)场景下,第一输出图像和第二输出图像可以属于同一次录制过程中生成的目标文件的存储图像,这种情况下,可以按照本申请提出的控制方法,完成这一次视频录制,直接将目标处理引擎生成的输出图像作为目标文件的存储图像进行存储,即按照目标文件的存储路径进行存储,该过程可以不用显示输出图像。
在另一种可能的实现方式中,在适用于本申请提出的控制方法的图像录制过程中,如图5所示的拍摄场景,可以启动图像预览功能,将目标处理引擎生成的输出图像作为预览图像提供给显示屏显示,即第一输出图像以及第二输出图像属于同一次录制过程中用于提供给显示屏显示的预览图像,这样,就可以在图像录制过程中,在处理采集图像生成输出图像的同时,在电子设备的显示屏上同步显示生成的输出图像,以使得操作者能够直观查看输出图像的处理效果,如防抖效果,可以在处理效果不佳时,可以手动切换到更合适的其他摄像头装置获得采集图像,以提高对应输出图像的处理效果,手动切换目标摄像头装置的实现方法本申请不做限制,如通过对显示屏显示的预留图像进行放大倍率或调焦等触控操作,也可以通过语音指令或预设手势操作等,来触发对应切换条件,切换到目标摄像头装置获得采集图像等。
可以理解的是,在上文各实施例描述的控制方法中,从第一摄像头装置切换到第二摄像头装置获得采集图像之后,仍可以按照该控制方法,确定目标传感器获得的感应参数满足用以指示切换到第一摄像头装置获得第一采集图像的切换条件,仍可以从第二摄像头装置切换至第一摄像头装置获得第一采集图像。当然,若存在更多的摄像头装置,也可以按照这种控制方法,配置对应的切换条件,这样,在感应参数满足对应切换条件,可以从当前使用的摄像头装置切换到与该切换条件对应的目标摄像头装置获得采集图像,其切换条件内容及其切换控制方法可以参照上文实施例对应部分的描述,本实施例在此不做赘述。
优选的,为了避免在不同摄像头装置之间频繁切换,对于上文感应参数满足切换条件可以是预设时长内连续获得的感应参数均满足切换条件,或预设时长内获得的平均感应参数满足切换条件,才会执行摄像头装置切换控制,如第一摄像头装置切换至第二摄像头装置获得第二采集图像,或者从第二摄像头装置切换至第一摄像头装置获得第一采集图像,从而避免某一时刻或极短时间内(如操作者手持电子设备进行拍摄出现了短暂的抖动,如1s等)获得的感应参数满足切换条件,就直接执行切换控制的控制方式,很容易出现不同摄像头装置之间频繁切换,导致资源浪费,可能会增大目标处理引擎处理采集图像的计算量,降低输出图像质量等问题,在图像录制场景下还可能会使所得图像卡顿,影响用户体验。
对此,本申请提出对切换到拍摄范围较大的第二摄像头装置时所依据的切换条件中,配置较大的切换阈值,对切换到拍摄范围较小的第一摄像头装置时所依据的切换条件中,配置较小的切换阈值。因此,在第一摄像头装置的拍摄范围小于第二摄像头装置的拍摄范围的情况下,上述步骤S13可以包括:
基于目标传感器获得的感应参数,确定电子设备的运动幅度,如果电子设备在预设时长内的平均运动幅度大于第一切换阈值,从第一摄像头装置切换至第二摄像头装置获得第二采集图像。之后,若电子设备的预设时长内的平均运动幅度小于第二切换阈值,可以从第二摄像头装置切换至第一摄像头装置获得第一采集图像,此时可以不再使用高能耗的第二摄像头装置获得第二采集图像,但并不局限于本实施例描述的切换控制方式。其中,第二切换阈值小于第一切换阈值,本申请对这两个切换阈值的数值不做限制,可以依据实际拍摄场景进行配置或选择等。
参照图6,为本申请提出的控制装置的一可选实施例的结构示意图,该控制装置可以适用于电子设备,如图6所示,该控制装置可以包括:
第一采集图像获得模块61,用于通过第一摄像头装置获得第一采集图像;
感应参数获得模块62,用于通过目标传感器获得感应参数,所述感应参数用于表征电子设备的运动;
第二采集图像获得模块63,用于如果所述感应参数满足切换条件,从所述第一摄像头装置切换至第二摄像头装置获得第二采集图像
其中,所述第一摄像头装置与所述目标传感器属于同一个电子设备,所述第一摄像头装置与所述第二摄像头装置不同。
在一些实施例中,第一摄像头装置与所述第二摄像头装置的拍摄范围可以不同,这种情况下,上述切换条件可以与该拍摄范围相关,如切换条件可以表征电子设备的运动幅度越大,拍摄范围越大,这样,可以通过判断电子设备的运动幅度是否多大,导致目标拍摄对象超出当前使用摄像头装置的拍摄范围的方式,确定是否切换到具有更大拍摄范围的摄像头装置获得采集图像。或者,运动幅度较小,为了减少能耗,选择切换到具有较小拍摄范围的摄像头装置获得采集图像,控制过程可以参照上文实施例对应部分的描述。
可选的,上述控制装置还可以包括:
感应参数传输模块,用于提供所述感应参数给目标处理引擎;所述目标处理引擎用于基于所述感应参数处理目标摄像头装置获得的采集图像;
其中,所述如果所述感应参数满足切换条件,从所述第一摄像头装置切换至第二摄像头装置获得第二采集图像是在所述提供所述感应参数给目标处理引擎之前执行。
基于此,在一些实施例中,上述目标处理引擎可以基于所述目标摄像头装置获得的采集图像以及所述目标传感器获得的感应参数,处理所述采集图像生成输出图像。其中,如果所述第一摄像头装置作为所述目标摄像头装置且所述感应参数满足切换条件,控制所述第二摄像头装置作为所述目标摄像头装置;所述第一采集图像对应于第一输出图像,所述第二采集图像对应于第二输出图像。
可选的,上述控制装置还可以包括:
显示模块,用于显示所述输出图像;
其中,所述第一输出图像包括的目标拍摄对象位于所述第一输出图像的第一位置,所述第二输出图像包括的所述目标拍摄对象位于所述第二输出图像的第二位置;显示所述第一输出图像时所述目标拍摄对象的第一位置与显示所述第二输出图像的时所述目标拍摄对象的第二位置相同。
可选的,在第一采集图像以及所述第二采集图像属于同一次录制过程中的采集图像的情况下,第一输出图像以及所述第二输出图像属于所述同一次录制过程中生成的目标文件的存储图像,即实现录制图像存储;当然,第一输出图像以及所述第二输出图像属于所述同一次录制过程中用于提供给显示屏显示的预览图像,实现对录制图像的预览显示。
在上述实施例中,若第一摄像头装置的拍摄范围小于所述第二摄像头装置的拍摄范围,上述第二采集图像获得模块63可以包括:
运动幅度确定单元,用于基于所述感应参数,确定所述电子设备的运动幅度;
第一切换控制单元,用于如果所述电子设备在预设时长内的平均运动幅度大于第一切换阈值,从所述第一摄像头装置切换至第二摄像头装置获得第二采集图像;
基于此,上述控制装置还可以包括:
第一摄像头装置切换控制装置,用于如果所述电子设备的所述预设时长内的平均运动幅度小于第二切换阈值,从所述第二摄像头装置切换至第一摄像头装置获得第一采集图像;
其中,所述第二切换阈值小于所述第一切换阈值。
需要说明的是,关于上述各控制装置实施例中的各种模块、单元等,均可以作为程序模块存储在存储器中,由处理器执行存储在存储器中的上述程序模块,以实现相应的功能,关于各程序模块及其组合所实现的功能,以及达到的技术效果,可以参照上述方法实施例相应部分的描述,本实施例不再赘述。
参照图7,为适用于本申请提出的电子设备的可选实施例一的硬件结构示意图,如图7所示,该电子设备可以包括:第一摄像头装置71、目标传感器72以及分别与第一摄像头装置71和目标传感器72连接的处理器73。可以理解的是,本申请实施例示意的结构并不构成对电子设备的具体限定。在本申请另一些实施例中,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现,图7仅为电子设备实现控制方法的结构示例。
第一摄像头装置71可以用于获得第一采集图像。
本申请实施例中,第一摄像头装置71可以是任一类型或功能的摄像头,若按照焦距划分成不同焦段的摄像头,如按照等效焦距从小到大变化的顺序可以包括超广角摄像头、广角摄像头和长焦摄像头等。其中,等效焦距较小的摄像头,视野范围/拍摄范围较大。等效焦距较大的摄像头,视野范围/拍摄范围较小。第一摄像头装置可以包括其中任一摄像头,或者是用于测量目标拍摄对象的物距的深度摄像等,可以依据实际拍摄需要确定第一摄像头装置的类型及其功能参数,所使用的拍摄场景等。当然,本申请电子设备也可以包括更多类型和数量的摄像头装置,可以依据实际拍摄需求进行部署,本申请对电子设备包含的摄像头装置的数量和类型及其部署位置等不做限制。
目标传感器72用于获得感应参数,该感应参数用于表征电子设备的运动。结合上述分析,不同类型的目标传感器72获得的感应参数可以不同。在本申请实施例中,该目标传感器72可以包括但并不局限于括压力传感器,陀螺仪传感器,气压传感器,磁传感器,速度传感器、加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器以及其他惯性传感器等,可以依据电子设备的功能需求确定。
处理器73可以用于加载执行计算机指令,实现本申请提出的控制方法,如获得第一采集图像和所述感应参数,如果感应参数满足切换条件,从第一摄像头装置切换71至第二摄像头装置74获得第二采集图像,其中,第二摄像头装置74与第一摄像头装置71不同,可以是上文列举的区别于第一摄像头装置的任一摄像头装置,其可以与第一摄像头装置属于同一电子设备,部署在本申请提出的电子设备中,得到如图8所示的结构。
可选的,第二摄像头装置74也可以部署在与电子设备通信连接的第二电子设备,参照图3所示的拍摄场景,但本申请对各电子设备的产品类型不做限制。在这种情况下,电子设备还可以包括用于实现与第二电子设备通信连接的通信模块,如WIFI、蓝牙或5G/6G等无线通信模块,也可以包括有线通信模块,如通过数据传输线路连接等,可以依据这两个电子设备的拍摄需求确定。
本申请实施例中,处理器73可以包括一个或多个处理单元。在实际应用中,处理器73可以包括但并不局限于中央处理器CPU、应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processing unit,GPU),图像信号处理器ImageSignal Processor,ISP),视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)、特定应用集成电路(application-specific integrated circuit,ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等任一种或多种等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
可选的,处理器73中还可以设置存储器,用于存储计算机指令、采集图像、目标处理引擎生成的输出图像或控制方法执行过程中产生或使用的其他数据等,该存储器可以包括但并不继续局限于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器或其他存储介质等,由硬件读取存储介质中的信息,结合电子设备中的硬件实现本申请提出的控制方法,为避免重复,本实施例在此不做详述。
在一些实施例中,结合上述分析,电子设备还可以包括显示屏,用于显示输出图像。该显示屏可以包括显示面板,如感应触摸显示面板或液晶显示面板或各种二极管显示面板等一个或多种,本申请对电子设备中的显示屏的数量和类型不做限制。
应该理解的是,图7和图8所示的电子设备的结构并不构成对本申请实施例中电子设备的限定,在实际应用中,电子设备可以包括比附图所示的更多或更少的部件,或者组合某些部件,如键盘、拾音器等至少一个输入组件;如扬声器、振动机构、灯等至少一个输出组件;天线;电源模组等,可以结合控制需求确定,本申请在此不做一一列举。
本申请还提出了一种计算机可读存储介质,其上存储多个计算机指令,由处理器加载并执行计算机指令,实现本申请提出的控制方法,实现过程本实施例不做赘述。
本申请还提出了一种计算机程序产品,包括计算机程序/指令,由处理器或其他硬件执行,实现本申请提出的控制方法,其实现过程可以参照上文相应方法实施例的描述内容。
最后,需要说明的是,关于上述各实施例中,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
另外,本说明书中各个实施例采用递进或并列的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、电子设备而言,由于其与实施例公开的方法对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种控制方法,所述控制方法包括:
通过第一摄像头装置获得第一采集图像;
通过目标传感器获得感应参数,所述感应参数用于表征电子设备的运动;
如果所述感应参数满足切换条件,从所述第一摄像头装置切换至第二摄像头装置获得第二采集图像;
其中,所述第一摄像头装置与所述目标传感器属于同一个电子设备,所述第一摄像头装置与所述第二摄像头装置不同。
2.根据权利要求1所述的方法,所述第一摄像头装置与所述第二摄像头装置的拍摄范围不同;
所述切换条件与所述拍摄范围相关;
所述切换条件表征所述电子设备的运动幅度越大,拍摄范围越大。
3.根据权利要求1所述的方法,所述方法还包括:
提供所述感应参数给目标处理引擎;所述目标处理引擎用于基于所述感应参数处理目标摄像头装置获得的采集图像;
其中,所述如果所述感应参数满足切换条件,从所述第一摄像头装置切换至第二摄像头装置获得第二采集图像是在所述提供所述感应参数给目标处理引擎之前执行。
4.根据权利要求3所述的方法,所述目标处理引擎包括:
基于所述目标摄像头装置获得的采集图像以及所述目标传感器获得的感应参数,处理所述采集图像生成输出图像;
其中,如果所述第一摄像头装置作为所述目标摄像头装置且所述感应参数满足切换条件,控制所述第二摄像头装置作为所述目标摄像头装置;
所述第一采集图像对应于第一输出图像,所述第二采集图像对应于第二输出图像。
5.根据权利要求4所述的方法,所述方法还包括:
显示所述输出图像;
其中,所述第一输出图像包括的目标拍摄对象位于所述第一输出图像的第一位置,所述第二输出图像包括的所述目标拍摄对象位于所述第二输出图像的第二位置;
显示所述第一输出图像时所述目标拍摄对象的第一位置与显示所述第二输出图像的时所述目标拍摄对象的第二位置相同。
6.根据权利要求5所述的方法,所述第一采集图像以及所述第二采集图像属于同一次录制过程中的采集图像;
所述第一输出图像以及所述第二输出图像属于所述同一次录制过程中生成的目标文件的存储图像;
所述第一输出图像以及所述第二输出图像属于所述同一次录制过程中用于提供给显示屏显示的预览图像。
7.根据权利要求2所述的方法,如果所述第一摄像头装置的拍摄范围小于所述第二摄像头装置的拍摄范围,所述如果感应参数满足切换条件,从所述第一摄像头装置切换至第二摄像头装置获得第二采集图像,包括:
基于所述感应参数,确定所述电子设备的运动幅度;
如果所述电子设备在预设时长内的平均运动幅度大于第一切换阈值,从所述第一摄像头装置切换至第二摄像头装置获得第二采集图像;
如果所述电子设备的所述预设时长内的平均运动幅度小于第二切换阈值,从所述第二摄像头装置切换至第一摄像头装置获得第一采集图像;
其中,所述第二切换阈值小于所述第一切换阈值。
8.一种控制装置,所述控制装置包括:
第一采集图像获得模块,用于通过第一摄像头装置获得第一采集图像;
感应参数获得模块,用于通过目标传感器获得感应参数,所述感应参数用于表征电子设备的运动;
第二采集图像获得模块,用于如果所述感应参数满足切换条件,从所述第一摄像头装置切换至第二摄像头装置获得第二采集图像
其中,所述第一摄像头装置与所述目标传感器属于同一个电子设备,所述第一摄像头装置与所述第二摄像头装置不同。
9.一种电子设备,所述电子设备包括:
第一摄像头装置,用于获得第一采集图像;
目标传感器,用于获得感应参数;所述感应参数用于表征电子设备的运动;
处理器分别与所述第一摄像头装置和所述目标传感器连接,用于获得所述第一采集图像和所述感应参数,如果所述感应参数满足切换条件,从所述第一摄像头装置切换至第二摄像头装置获得第二采集图像;
其中,所述第二摄像头装置与所述第一摄像头装置不同。
10.根据权利要求9所述的电子设备,所述第二摄像头装置部署在所述电子设备中;
或者,所述第二摄像头装置部署在与所述电子设备通信连接的第二电子设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410368029.9A CN118102085A (zh) | 2024-03-28 | 2024-03-28 | 一种控制方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410368029.9A CN118102085A (zh) | 2024-03-28 | 2024-03-28 | 一种控制方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118102085A true CN118102085A (zh) | 2024-05-28 |
Family
ID=91147850
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410368029.9A Pending CN118102085A (zh) | 2024-03-28 | 2024-03-28 | 一种控制方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118102085A (zh) |
-
2024
- 2024-03-28 CN CN202410368029.9A patent/CN118102085A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101772177B1 (ko) | 사진을 획득하기 위한 방법 및 장치 | |
US9596398B2 (en) | Automatic image capture | |
WO2018205902A1 (zh) | 防抖控制方法和装置 | |
US20090227283A1 (en) | Electronic device | |
US20110013034A1 (en) | Method for operating digital camera and digital camera using the same | |
CN102207674A (zh) | 全景图像拍摄装置及方法 | |
CN112825543B (zh) | 一种拍摄的方法及设备 | |
US20170111574A1 (en) | Imaging apparatus and imaging method | |
CN112637500B (zh) | 图像处理方法及装置 | |
WO2023072088A1 (zh) | 对焦方法及装置 | |
CN112738397A (zh) | 拍摄方法、装置、电子设备及可读存储介质 | |
CN113645410B (zh) | 图像采集方法、设备及机器可读存储介质 | |
EP4161056B1 (en) | Anti-shake method, anti-shake apparatus, and electronic device | |
CN113302908B (zh) | 控制方法、手持云台、***及计算机可读存储介质 | |
CN112261262B (zh) | 图像校准方法和装置、电子设备和可读存储介质 | |
JP5917061B2 (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
US20130293682A1 (en) | Image capture device, image capture method, and program | |
JP2013141155A (ja) | 撮像装置 | |
US20230298197A1 (en) | Electronic device with gaze-based autofocus of camera during video rendition of scene | |
KR20120008806A (ko) | 카메라 모듈 및 이를 포함한 이동통신 단말기 | |
CN118102085A (zh) | 一种控制方法、装置及电子设备 | |
CN113891005A (zh) | 拍摄方法、装置及电子设备 | |
JP2006115322A (ja) | パンニング撮影可能なカメラおよび動画像編集用プログラム | |
CN112399092A (zh) | 拍摄方法、装置和电子设备 | |
CN113315903A (zh) | 图像获取方法和装置、电子设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |