CN116156317A - 相机控制方法、存储介质、协处理芯片及电子设备 - Google Patents
相机控制方法、存储介质、协处理芯片及电子设备 Download PDFInfo
- Publication number
- CN116156317A CN116156317A CN202111355955.5A CN202111355955A CN116156317A CN 116156317 A CN116156317 A CN 116156317A CN 202111355955 A CN202111355955 A CN 202111355955A CN 116156317 A CN116156317 A CN 116156317A
- Authority
- CN
- China
- Prior art keywords
- camera
- processing chip
- indication information
- multimedia service
- service module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 144
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000001133 acceleration Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 230000004044 response Effects 0.000 abstract description 12
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 210000003811 finger Anatomy 0.000 description 7
- 210000003813 thumb Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 101100450130 Oryza sativa subsp. japonica HAL3 gene Proteins 0.000 description 1
- 101150106604 SIS2 gene Proteins 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Studio Devices (AREA)
Abstract
本申请实施例公开了一种相机控制方法、存储介质、协处理芯片及电子设备,其中,该方法应用于应用处理芯片,该应用处理芯片包括多媒体服务模块,多媒体服务模块根据接收到的控制参数触发相机控制指令;基于相机控制指令生成第一指示信息和第二指示信息;多媒体服务模块根据第一指示信息,对协处理芯片的前图像信号处理器的流水线进行硬件配置和软件配置,并对摄像头模组进行配置;多媒体服务模块按照第二指示信息,对应用处理芯片中的相机软件参数进行配置,可以能够提高相机的响应速度。
Description
技术领域
本申请涉及电子设备技术领域,具体涉及一种相机控制方法、存储介质、协处理芯片及电子设备。
背景技术
随着智能终端技术的不断发展,电子设备(如智能手机、平板电脑等)的使用越来越普及。绝大多数电子设备都设置有摄像头模组。目前的相机控制场景为,***的软件层检测到相机控制操作后,先将消息上报至上层相机应用,再由上层的应用层至底层的内核层,逐层地对相机软件参数配置,并最后由内核层的摄像头驱动控制摄像头模组进行拍摄,这个串行的执行过程耗时较长,造成相机的响应时间过长。
发明内容
本申请实施例提供一种相机控制方法、存储介质、协处理芯片及电子设备,能够提高相机的响应速度。
第一方面,本申请实施例提供一种相机控制方法,应用于应用处理芯片,所述应用处理芯片包括多媒体服务模块,所述方法包括:
所述多媒体服务模块根据接收到的控制参数触发相机控制指令;
基于所述相机控制指令生成第一指示信息和第二指示信息;
所述多媒体服务模块根据所述第一指示信息,对协处理芯片的前图像信号处理器的流水线进行硬件配置和软件配置,并对摄像头模组进行配置;
所述多媒体服务模块按照所述第二指示信息,对所述应用处理芯片中的相机软件参数进行配置。
第二方面,本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如本申请任一实施例提供的相机控制方法。
第三方面,本申请实施例还提供一种应用处理芯片,所述应用处理芯片包括多媒体服务模块,所述多媒体服务模块用于:
根据接收到的控制参数触发相机控制指令;
基于所述相机控制指令生成第一指示信息和第二指示信息;
按照所述第一指示信息,对协处理芯片的前图像信号处理器的流水线进行硬件配置和软件配置,并对摄像头模组进行配置;
按照所述第二指示信息,对所述应用处理芯片中的相机软件参数进行配置。
第四方面,本申请实施例还提供一种电子设备,包括如本申请任一实施例提供的应用处理芯片,以及协处理芯片和摄像头模组。
本申请实施例提供的技术方案,电子设备设置有应用处理芯片和协处理芯片,应用处理芯片包括多媒体服务模块,该多媒体服务可以根据接收到的控制参数触发相机控制指令,并基于相机控制指令生成第一指示信息和第二指示信息。然后,该多媒体服务模块根据第一指示信息,对协处理芯片的前图像信号处理器的流水线进行硬件配置和软件配置,并对摄像头模组进行配置;由于第一指示信息和第二指示信息同步生成,多媒体服务模块在向下层配置的同时,还会按照第二指示信息,向上层对应用处理芯片中的相机软件参数进行配置,无需等待,实现上层软件和下层硬件的并行处理,提高了相机的响应速度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的相机控制方法的第一种流程示意图。
图2为本申请实施例中第一指示信息和第二指示信息的流向示意图。
图3为本申请实施例提供的相机控制方法的第二种流程示意图。
图4为本申请实施例提供的应用处理芯片的框架示意图。
图5为本申请实施例提供的电子设备的第一种结构示意图。
图6为本申请实施例提供的电子设备的第二种结构示意图。
图7为本申请实施例提供的电子设备的第三种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本申请的保护范围。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
电子设备的使用中,相机应用的启动响应速度的快慢对用户体验至关重要,目前的相机控制场景为,***的软件层检测到相机控制操作后,先将消息上报至上层相机应用,再由上层的应用层至底层的内核层,逐层地对相机软件参数配置,并最后由内核层的摄像头驱动控制摄像头模组进行拍摄,这个串行的执行过程耗时较长,造成相机的响应时间过长。而随着电子设备的发展,为了提高电子设备的图像处理能力,在应用处理芯片与摄像头模组之间增加了协处理芯片,该协处理芯片可以用于对图像进行一些预处理,例如,进行高动态图像合成、预览以及视频效果的加强处理。由于协处理芯片的增加,除了上述配置过程之外,还需要对协处理芯片进行配置,这就导致从用户进行了相机控制操作后到相机对该操作响应,这一过程需要更长的响应时间,导致用户主观感受从触发相机控制操作到相机响应之间有一定延迟,导致拍照等场景体验不佳。
为了解决这一问题,本申请实施例提供一种相机控制方法,该相机控制方法可以应用于应用处理芯片,该应用处理芯片可以为电子设备的主处理芯片。该应用处理芯片包括多媒体服务模块。
请参阅图1,图1为本申请实施例提供的相机控制方法的第一种流程示意图。本申请实施例提供的相机控制方法的具体流程可以如下:
101、多媒体服务模块根据接收到的控制参数触发相机控制指令。
需要说明的是,该应用处理芯片包括操作***。该操作***可以为安卓***。安卓操作***的架构包括应用层、框架层、硬件抽象层以及内核层。其中,***自带的一些原生应用程序以及用户安装的第三方应用程序都属于应用层,该层负责与用户直接交互,例如本申请涉及到的相机应用程序,用户可以通过桌面上的相机APP的图标启动该相机应用程序,也可以通过其他一些预设的触控操作启动该相机应用程序,例如,前文提出的指纹匹配的控制方法。框架层包括各种原生应用的应用接口(如原生相机应用程序接口)、应用服务(如原生相机服务)、框架层接口(如Google HAL3 interface)。硬件抽象层是位于操作***内核与硬件电路之间的接口层,其目的在于将硬件抽象化。其中,安卓硬件抽象层包括相机硬件抽象层。相机硬件抽象层向上连接框架层接口,向下连接底层摄像头驱动和硬件。Camera子***主要包含了camera pipeline components的各种实现,而相机硬件抽象层提供了这些组件的使用接口。安卓的核心***服务是基于Linux内核的,其中,***的内存管理、进程管理、网络协议栈以及驱动模型都依赖于该内核层。例如,内核层包括各种硬件的驱动程序,可以驱动各种硬件的运行。例如,摄像头模组驱动程序、前图像信号处理器(pre-Image Signal Processing,pre-ISP)驱动程序等。
本申请实施例的应用处理芯片在操作***之外,还提供一个轻量级的多媒体服务(Multi Media Service,MMS)模块。在一些实施例中,该MMS模块可以与操作***的应用层和内核层直接通信。在另一些实施例中,除了可以与操作***的应用层和内核层直接通信之外,该MMS模块还可以与框架层和硬件抽象层通信。
此外,该MMS模块可以接收其他硬件发送的控制参数,并基于该控制参数直接触发相机控制指令。其中,相机控制操作包括但不限于如下几种,如打开相机并预览,拍照,录制视频,前后摄像头切换等等。
例如,在一些实施例中,用户通过电子设备的侧边物理按键进行上述相机控制操作。或者,在另一些实施例中,用户也可以通过显示界面的虚拟控件进行上述相机控制操作。
或者,在另一实施例中,电子设备还包括指纹识别芯片,控制参数为指纹数据;多媒体服务模块根据接收到的控制参数触发相机控制指令,包括:多媒体服务模块接收指纹识别芯片作检测到的第一指纹数据;从多个预设指纹区域中确定出与第一指纹数据对应的目标指纹区域;当第一指纹数据与目标指纹区域对应的预设指纹数据匹配时,确定目标指纹区域对应的相机控制指令,并触发相机控制指令。
该实施例提供一种基于指纹识别的相机触控方式。电子设备设置有指纹识别芯片,该指纹识别芯片可以将通过指纹采集面板检采集的第一指纹数据传输至应用处理芯片的MMS模块,由MMS模块对接收到的第一指纹数据进行匹配。
例如,用户先进行指纹的采集和注册,在用户使用指纹控制相机之前,先注册指纹。例如,在指纹注册模式下,多媒体服务模块接收指纹识别模块传输的第二指纹数据;确定第二指纹数据对应的预设指纹区域;将第二指纹数据存储为预设指纹区域对应的预设指纹数据。
其中,该实施例中,将一组完整的指纹划分为多个区域,不同的区域对应不同的控制指令,即预先构建多个预设指纹区域与多个相机控制指令之间的一一对应关系。然后采集用户手指的不同区域的指纹数据,将这多个指纹数据分别与不同的相机控制指令绑定。例如,拇指正前侧面区域的指纹数据对应于开启相机预览,拇指的指腹区域的指纹数据对应于拍照指令,拇指左侧面的区域的指纹数据对应于录制视频,拇指右侧面对应于前后摄像头的切换。这里采用拇指仅为举例说明,具体应用时,用户可以根据自己使用习惯选择手指。例如,用户在其他场景下,将食指指纹用于指纹验证。而为了区分不同的使用场景,可以将拇指或其他不同手指的指纹用于控制相机的场景。
具体地,用户控制电子设备进入相机软件的相关设置界面,触发指纹注册模式。在该指纹注册模式下,用户将手指的不同面触摸指纹采集面板,指纹识别芯片将检测到的第二指纹数据传输给MMS模块,MMS模块接收到第二指纹数据后,对该第二指纹数据进行解析以确定出该指纹数据对应的预设指纹区域,将该第二存储为预设指纹区域对应的预设指纹数据。
在指纹匹配阶段,MMS模块先从多个预设指纹区域中确定出与第一指纹数据对应的目标指纹区域,并获取该目标指纹区域的预设指纹数据,检测该第一指纹数据与该预设指纹数据是否匹配,若匹配,则将该目标指纹区域对应的相机控制指令,并触发相机控制指令。
在另一实施例中,电子设备还包括运动传感器,控制参数为运动数据;多媒体服务模块接收运动传感器发送的运动数据,并根据运动数据计算电子设备的加速度数据;确定加速度数据对应的相机控制指令,并触发相机控制指令。
该实施例中,提供一种基于运动传感器的相机控制方法。该运动传感器可以为加速度传感器、陀螺仪等能够检测电子设备的加速度的传感器。预先设置不同的加速度数据与相机控制指令之间的一一对应关系。例如,相机应用处于关闭状态下预设时长内的连续两次加速度变化对应于开启相机预览指令,相机应用处于开启状态下预设时长内的连续两次加速度变化对应于拍照指令,电子设备的三次加速度变化对应于前后摄像头切换指令。例如,相机应用处于关闭状态时,用户双击电子设备,加速度传感器检测到的运动数据为,预设时长内两次快速的加速度变化,则确定加速度数据对应的相机控制指令为开启相机预览指令。
102、基于相机控制指令生成第一指示信息和第二指示信息。
MMS模块在确定出相机控制指令后,基于该相机控制指令生成第一指示信息和第二指示信息。由于该MMS模块可以与操作***的应用层和内核层直接通信。因此,在生成第一指示信息和第二指示信息后,可以同步地基于这连个指示信息分别向下进行相关硬件的配置,以及向上进行相关软件的配置。
103、多媒体服务模块根据第一指示信息,对协处理芯片的前图像信号处理器的流水线进行硬件配置和软件配置,并对摄像头模组进行配置。
104、多媒体服务模块按照第二指示信息,对应用处理芯片中的相机软件参数进行配置。
其中,需要说明的是,步骤103和步骤104不分先后顺序,在生成第一指示信息和第二指示信息后,这两个步骤可以同步开始执行。
请参阅图2,图2为本申请实施例中第一指示信息和第二指示信息的流向示意图。MMS模块根据第一指示信息对协处理芯片的前图像信号处理器的流水线进行硬件配置和软件配置,并对摄像头模组进行配置。其中,协处理芯片和摄像头模组的驱动程序都位于内核层,而通过协处理芯片驱动程序可以控制协处理芯片的运行,通过摄像头驱动程序可以控制摄像头模组。因此,该实施例中,MMS模块在生成第一指示信息后,将该第一指示信息发送至内核层。
在一实施例中,多媒体服务模块根据第一指示信息,对协处理芯片的前图像信号处理器的流水线进行硬件配置和软件配置,并对摄像头模组进行配置,包括:多媒体服务模块将第一指示信息发送至内核层,使得内核层通过协处理芯片驱动程序对协处理芯片的前图像信号处理器的流水线进行硬件配置和软件配置,并通过摄像头驱动程序对摄像头模组进行配置。
其中,内核层通过摄像头驱动程序对摄像头模组进行配置包括启动摄像头,摄像头参数的配置等,在配置完成后,摄像头模组即可进行曝光并输出原始图像数据。协处理芯片包括前图像信号处理器,摄像头模组输出的原始图像数据会先发送至该前图像信号处理器进行前处理,得到前处理图像。然后再将该前处理图像发送至应用处理芯片,由应用处理芯片进行后处理。因此,在配置摄像头模组的同时,也会对协处理芯片的前图像信号处理器进行配置,这两个硬件的配置可以同步开始。该前图像处理器包括一个流水线(pipeline),该流水线由相关软件和硬件的支持来实现。因此,内核层的协处理芯片的驱动会根据接收到的第一指示信息对协处理芯片的前图像信号处理器的流水线进行硬件配置和软件配置,配置完成后的前图像信号处理器可以对接收到的原始图像数据进行处理。
与此同时,多媒体服务模块将第二指示信息发送至应用层,使得应用层对应用处理芯片中的相机参数进行配置。对于安卓***的摄像头(camera)框架来说,对于不同的操作模式,如预览、视频录制、继续拍照等,在进行对应的操作时,摄像头***都会按照该框架定义的协议定义的流水线(pipeline),从顶层至底层进行逐层配置,其中涉及到应用处理芯片的部分包括对摄像头拍摄及后续的图像处理过程的一些参数的配置,例如:对焦,曝光,降噪,对比度,锐化,分辨率,像素格式,3A制作模型,RAW转YUV处理控制等等。其中,其中,RAW是一种图像格式,RAW图像是图像感应器将捕捉到的光源信号转化为数字信号的原始数据,是未经处理、也未经压缩的格式。YUV是一种将色度和亮度分开表示的图像格式,其中,Y为亮度信号,U和V为色度信号。其中,多媒体服务模块将第二指示信息发送至应用层,然后由应用层,至框架层,再至相机硬件抽象层,逐层进行配置。
其中,可以理解的是,对于不同的相机控制指令,第一指示信息和第二指示信息所指示配置的具体内容也不相同,以使配置后的硬件或者软件能够支持对应的相机控制指令的响应。
其中,在一些实施例中,该方法还包括:在前图像信号处理器配置完成后,控制第一接口由关闭状态切换为开启状态,使得协处理芯片接收摄像头模组输出的原始图像数据。
该实施例中,摄像头模组包括第一接口,协处理芯片包括第二接口,第一接口与第二接口连接。其中,第一接口和第二接口的类型相同,第一接口和第二接口均可以为移动产业处理器接口(Mobile Industry Processor Interface,MIPI)。摄像头模组采集的原始图像数据通过第一接口和第二接口传输至协处理芯片。但是,在前图像信号处理器配置完成之前,即使接收到摄像头模组传输的原始图像数据,也不能及时地对这些原始图像数据进行处理,为了避免在前图像信号处理器配置完成之前,在协处理芯片中缓存过多的原始图像数据而导致数据处理延迟,在摄像头启动之后,将第一接口设置为关闭状态,在前图像信号处理器配置完成后,控制第一接口由关闭状态切换为开启状态,使得协处理芯片接收摄像头模组输出的原始图像数据。
具体实施时,本申请不受所描述的各个步骤的执行顺序的限制,在不产生冲突的情况下,某些步骤还可以采用其它顺序进行或者同时进行。
由上可知,本申请实施例提供的相机控制方法,电子设备设置有应用处理芯片和协处理芯片,应用处理芯片包括多媒体服务模块,该多媒体服务可以根据接收到的控制参数触发相机控制指令,并基于相机控制指令生成第一指示信息和第二指示信息。然后,该多媒体服务模块根据第一指示信息,对协处理芯片的前图像信号处理器的流水线进行硬件配置和软件配置,并对摄像头模组进行配置;由于第一指示信息和第二指示信息同步生成,多媒体服务模块在向下层配置的同时,还会按照第二指示信息,向上层对应用处理芯片中的相机软件参数进行配置,无需等待,实现上层软件和下层硬件的并行处理,提高了相机的响应速度。
根据前面实施例所描述的方法,以下将举例作进一步详细说明。
请参阅图3,图3为本发明实施例提供的相机控制方法的第二流程示意图。该方法应用于电子设备,该电子设备包括应用处理芯片、摄像头模组、协处理芯片以及指纹识别芯片,其中,协处理芯片包括前图像信号处理器,应用处理芯片包括多媒体服务模块。该方法包括:
201、指纹识别芯片将检测到的第一指纹数据发送至多媒体服务模块。
本实施例提供一种基于指纹识别的相机触控方式。电子设备设置有指纹识别芯片,该指纹识别芯片可以将通过指纹采集面板检采集的第一指纹数据传输至应用处理芯片的多媒体服务模块,由多媒体服务模块对接收到的第一指纹数据进行匹配。其中,在用户使用指纹控制相机之前,先注册指纹。例如,用户根据自己的使用习惯,采集手指的不同区域的指纹数据,将这多个指纹数据分别与不同的相机控制指令绑定。
202、多媒体服务模块从多个预设指纹区域中确定出与该第一指纹数据对应的目标指纹区域。
203、当第一指纹数据与目标指纹区域对应的预设指纹数据匹配时,多媒体服务模块确定目标指纹区域对应的相机控制指令,并触发相机控制指令。
在指纹匹配阶段,多媒体服务模块先从多个预设指纹区域中确定出与第一指纹数据对应的目标指纹区域,并获取该目标指纹区域的预设指纹数据,检测该第一指纹数据与该预设指纹数据是否匹配,若匹配,则将该目标指纹区域对应的相机控制指令,并触发相机控制指令。
204、多媒体服务模块基于相机控制指令生成第一指示信息和第二指示信息。
多媒体服务模块在确定出相机控制指令后,基于该相机控制指令生成第一指示信息和第二指示信息。由于该多媒体服务模块可以与操作***的应用层和内核层直接通信。因此,在生成第一指示信息和第二指示信息后,可以同步地基于这连个指示信息分别向下进行相关硬件的配置,以及向上进行相关软件的配置。
205、多媒体服务模块将第一指示信息发送至内核层,使得内核层通过协处理芯片驱动程序对协处理芯片的前图像信号处理器的流水线进行硬件配置和软件配置,并通过摄像头驱动程序对摄像头模组进行配置。
206、多媒体服务模块将第二指示信息发送至应用层,使得应用层对应用处理芯片中的相机参数进行配置。
需要说明的是,步骤205和步骤206不分先后顺序,在生成第一指示信息和第二指示信息后,这两个步骤可以同步开始执行。
其中,内核层通过摄像头驱动程序对摄像头模组进行配置包括启动摄像头,摄像头参数的配置等,在配置完成后,摄像头模组即可进行曝光并输出原始图像数据。协处理芯片包括前图像信号处理器,摄像头模组输出的原始图像数据会先发送至该前图像信号处理器进行前处理,得到前处理图像。然后再将该前处理图像发送至应用处理芯片,由应用处理芯片进行后处理。因此,在配置摄像头模组的同时,也会对协处理芯片的前图像信号处理器进行配置,这两个硬件的配置可以同步开始。该前图像处理器包括一个流水线(pipeline),该流水线由相关软件和硬件的支持来实现。因此,内核层的协处理芯片的驱动会根据接收到的第一指示信息对协处理芯片的前图像信号处理器的流水线进行硬件配置和软件配置,配置完成后的前图像信号处理器可以对接收到的原始图像数据进行处理。与此同时,多媒体服务模块将第二指示信息发送至应用层,使得应用层对应用处理芯片中的相机参数进行配置。
由上可知,本发明实施例提出的相机控制方法,在检测到指纹数据时,通过指纹数据对应的目标指纹区域,确定出相机控制指令,这种控制方式提高了相机控制操作的便捷性,特别是大于大屏手机来说,无论用户是双手还是单手握持手机拍照,都可以很便捷的对指纹区域进行触控,相对于现有的通过点击手机屏幕上相关控件的方式,提高了便捷性。并且只需将手指放到指纹识别区域即可,无需按压或者点击,还可以减轻手机拍照时的抖动情况。
此外,本申请实施例的方案在确定出相机控制指令后,由一个轻量级的多媒体服务模块根据该相机控制指令生成第一指示信号和第二指示信号,并同步地将第一指示信号发送至下层的内核层,将第二指示信号发送至上层的应用层,以实现上层软件和下层硬件的并行处理,相对于现有的相机串行的启动和配置方式,提高了相机的配置速度,进而提高了相机的响应速度。
在一实施例中还提供一种相机控制装置。其中该相机控制装置应用于电子设备的应用处理芯片,该相机控制装置包括指令触发模块、信息生成模块、第一配置模块以及第二配置模块,如下:
指令触发模块,用于根据接收到的控制参数触发相机控制指令;
信息生成模块,用于基于所述相机控制指令生成第一指示信息和第二指示信息;
第一配置模块,用于根据所述第一指示信息,对协处理芯片的前图像信号处理器的流水线进行硬件配置和软件配置,并对摄像头模组进行配置;
第二配置模块,用于按照所述第二指示信息,对所述应用处理芯片中的相机软件参数进行配置。
应当说明的是,本申请实施例提供的相机控制装置与上文实施例中的相机控制方法属于同一构思,通过该相机控制装置可以实现相机控制方法实施例中提供的任一方法,其具体实现过程详见相机控制方法实施例,此处不再赘述。
由上可知,本申请实施例提出的相机控制装置,电子设备设置有应用处理芯片和协处理芯片,应用处理芯片包括多媒体服务模块,该多媒体服务可以根据接收到的控制参数触发相机控制指令,并基于相机控制指令生成第一指示信息和第二指示信息。然后,该多媒体服务模块根据第一指示信息,对协处理芯片的前图像信号处理器的流水线进行硬件配置和软件配置,并对摄像头模组进行配置;由于第一指示信息和第二指示信息同步生成,多媒体服务模块在向下层配置的同时,还会按照第二指示信息,向上层对应用处理芯片中的相机软件参数进行配置,无需等待,实现上层软件和下层硬件地并行处理,提高了相机的响应速度。
请参阅图4,图4为本申请实施例提供的应用处理芯片300的框架示意图。该应用处理芯片包括操作***310和多媒体服务模块320,该多媒体服务模块320用于:
根据接收到的控制参数触发相机控制指令;
基于所述相机控制指令生成第一指示信息和第二指示信息;
按照所述第一指示信息,对协处理芯片的前图像信号处理器的流水线进行硬件配置和软件配置,并对摄像头模组进行配置;
按照所述第二指示信息,对所述应用处理芯片中的相机软件参数进行配置。
在一些实施例中,所述电子设备还包括指纹识别芯片,所述控制参数为指纹数据;该多媒体服务模块320用于:
接收所述指纹识别芯片作检测到的第一指纹数据;
从多个预设指纹区域中确定出与所述第一指纹数据对应的目标指纹区域;
当所述第一指纹数据与所述目标指纹区域对应的预设指纹数据匹配时,确定所述目标指纹区域对应的相机控制指令,并触发所述相机控制指令。
在一些实施例中,该多媒体服务模块320用于:
在指纹注册模式下,所述多媒体服务模块接收所述指纹识别模块传输的第二指纹数据;
确定所述第二指纹数据对应的预设指纹区域;
将所述第二指纹数据存储为所述预设指纹区域对应的预设指纹数据。
在一些实施例中,所述电子设备还包括运动传感器,所述控制参数为运动数据;该多媒体服务模块320用于:
接收所述运动传感器发送的运动数据,并根据所述运动数据计算所述电子设备的加速度数据;
确定所述加速度数据对应的相机控制指令,并触发所述相机控制指令。
在一些实施例中,所述应用处理芯片还包括操作***,所述操作***包括内核层;该多媒体服务模块320用于:
将所述第一指示信息发送至所述内核层,使得所述内核层通过协处理芯片驱动程序对协处理芯片的前图像信号处理器的流水线进行硬件配置和软件配置,并通过摄像头驱动程序对所述摄像头模组进行配置。
在一些实施例中,所述应用处理芯片还包括操作***,所述操作***还包括应用层;该多媒体服务模块320用于:
将所述第二指示信息发送至所述应用层,使得所述应用层对所述应用处理芯片中的相机参数进行配置。
在一些实施例中,所述摄像头模组包括第一接口,所述协处理芯片包括第二接口,所述第一接口与所述第二接口连接;该多媒体服务模块320用于:
在所述前图像信号处理器配置完成后,控制所述第一接口由关闭状态切换为开启状态,使得所述协处理芯片接收所述摄像头模组输出的原始图像数据。
本申请实施例还提供一种电子设备。其中,电子设备可以是智能手机、智能手表、平板电脑等设备,还可以是游戏设备、AR(Augmented Reality,增强现实)设备、视频播放装置、笔记本电脑、桌面计算设备等,还可以是诸如电子头盔、电子眼镜等可穿戴式电子设备。
请参阅图5,图5为本申请实施例提供的电子设备的第一种结构示意图。该电子设备1000包括本申请实施例提出的应用处理芯片300、协处理芯片200,以及摄像头模组100。
应用处理芯片300包括处理器301和存储器302。其中,处理器301与存储器302电性连接。
处理器301是应用处理芯片300的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或调用存储在存储器302内的计算机程序,以及调用存储在存储器302内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
存储器302可用于存储计算机程序和数据。存储器302存储的计算机程序中包含有可在处理器中执行的指令。计算机程序可以组成各种功能模块。处理器301通过调用存储在存储器302的计算机程序,从而执行各种功能应用以及数据处理。
在本实施例中,应用处理芯片300中的处理器301会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器302中,并由处理器301来运行存储在存储器302中的计算机程序,从而实现各种功能:
根据接收到的控制参数触发相机控制指令;
基于所述相机控制指令生成第一指示信息和第二指示信息;
根据所述第一指示信息,对协处理芯片的前图像信号处理器的流水线进行硬件配置和软件配置,并对摄像头模组进行配置;
按照所述第二指示信息,对所述应用处理芯片中的相机软件参数进行配置。
在一些实施例中,请参阅图6,图6为本申请实施例提供的电子设备的第二种结构示意图。电子设备1000还包括指纹识别芯片400。该指纹识别芯片400用于检测第一指纹数据,并将检测到的第一指纹数据发送至所述应用处理芯片300的多媒体服务模块320。
多媒体服务模块320还用于:接收所述指纹识别芯片作检测到的第一指纹数据;
从多个预设指纹区域中确定出与所述第一指纹数据对应的目标指纹区域;
当所述第一指纹数据与所述目标指纹区域对应的预设指纹数据匹配时,确定所述目标指纹区域对应的相机控制指令,并触发所述相机控制指令。
在一些实施例中,请参阅图7,图7为本申请实施例提供的电子设备的第三种结构示意图。电子设备还包括射频电路1003、显示屏1004、控制电路1005、输入单元1006、音频电路1007、传感器1008以及电源1009。其中,应用处理芯片10000和协处理芯片200分别与射频电路1003、显示屏1004、控制电路1005、输入单元1006、音频电路1007、传感器1008以及电源1009电性连接。
射频电路1003用于收发射频信号,以通过无线通信与网络设备或其他电子设备进行通信。
显示屏1004可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。
控制电路1005与显示屏1004电性连接,用于控制显示屏1004显示信息。
输入单元1006可用于接收输入的数字、字符信息或用户特征信息(例如指纹),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中,输入单元1006可以包括指纹识别模组。
音频电路1007可通过扬声器、传声器提供用户与电子设备之间的音频接口。其中,音频电路1007包括麦克风。所述麦克风与所述处理器301电性连接。所述麦克风用于接收用户输入的语音信息。
传感器1008用于采集外部环境信息。传感器1008可以包括环境亮度传感器、加速度传感器、陀螺仪等传感器中的一种或多种。
电源1009用于给电子设备1000的各个部件供电。在一些实施例中,电源1009可以通过电源管理***与处理器301逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
虽然图中未示出,电子设备1000还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本实施例中,应用处理芯片300的处理器301会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器302中,并由处理器301来运行存储在存储器3022中的计算机程序,从而实现各种功能:
根据接收到的控制参数触发相机控制指令;
基于所述相机控制指令生成第一指示信息和第二指示信息;
根据所述第一指示信息,对协处理芯片的前图像信号处理器的流水线进行硬件配置和软件配置,并对摄像头模组进行配置;
按照所述第二指示信息,对所述应用处理芯片中的相机软件参数进行配置。
由上可知,本申请实施例提供了一种电子设备,所述电子设备设置有应用处理芯片和协处理芯片,应用处理芯片包括多媒体服务模块,该多媒体服务可以根据接收到的控制参数触发相机控制指令,并基于相机控制指令生成第一指示信息和第二指示信息。然后,该多媒体服务模块根据第一指示信息,对协处理芯片的前图像信号处理器的流水线进行硬件配置和软件配置,并对摄像头模组进行配置;由于第一指示信息和第二指示信息同步生成,多媒体服务模块在向下层配置的同时,还会按照第二指示信息,向上层对应用处理芯片中的相机软件参数进行配置,无需等待,实现上层软件和下层硬件地并行处理,提高了相机的响应速度。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,所述计算机执行上述任一实施例所述的相机控制方法。
需要说明的是,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成,所述计算机程序可以存储于计算机可读存储介质中,所述计算机可读存储介质可以包括但不限于:只读存储器(ROM,ReadOnly Memory)、随机存取存储器(RAM,Random Access Memory)、磁盘或光盘等。
此外,本申请中的术“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、***、产品或设备没有限定于已列出的步骤或模块,而是某些实施例还包括没有列出的步骤或模块,或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
以上对本申请实施例所提供的相机控制方法、存储介质、协处理芯片及电子设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种相机控制方法,其特征在于,应用于应用处理芯片,所述应用处理芯片包括多媒体服务模块,所述方法包括:
所述多媒体服务模块根据接收到的控制参数触发相机控制指令;
基于所述相机控制指令生成第一指示信息和第二指示信息;
所述多媒体服务模块根据所述第一指示信息,对协处理芯片的前图像信号处理器的流水线进行硬件配置和软件配置,并对摄像头模组进行配置;
所述多媒体服务模块按照所述第二指示信息,对所述应用处理芯片中的相机软件参数进行配置。
2.如权利要求1所述的方法,其特征在于,所述控制参数为指纹数据;所述多媒体服务模块根据接收到的控制参数触发相机控制指令,包括:
所述多媒体服务模块接收指纹识别芯片检测到的第一指纹数据;
从多个预设指纹区域中确定出与所述第一指纹数据对应的目标指纹区域;
当所述第一指纹数据与所述目标指纹区域对应的预设指纹数据匹配时,确定所述目标指纹区域对应的相机控制指令,并触发所述相机控制指令。
3.如权利要求2所述的方法,其特征在于,所述方法还包括:
在指纹注册模式下,所述多媒体服务模块接收所述指纹识别芯片传输的第二指纹数据;
确定所述第二指纹数据对应的预设指纹区域;
将所述第二指纹数据存储为所述预设指纹区域对应的预设指纹数据。
4.如权利要求1所述的方法,其特征在于,所述控制参数为运动数据;所述多媒体服务模块根据接收到的控制参数触发相机控制指令,包括:
所述多媒体服务模块接收运动传感器发送的运动数据,并根据所述运动数据计算所述电子设备的加速度数据;
确定所述加速度数据对应的相机控制指令,并触发所述相机控制指令。
5.如权利要求1所述的方法,其特征在于,所述应用处理芯片还包括操作***,所述操作***包括内核层;所述多媒体服务模块根据所述第一指示信息,对协处理芯片的前图像信号处理器的流水线进行硬件配置和软件配置,并对摄像头模组进行配置,包括:
所述多媒体服务模块将所述第一指示信息发送至所述内核层,使得所述内核层通过协处理芯片驱动程序对协处理芯片的前图像信号处理器的流水线进行硬件配置和软件配置,并通过摄像头驱动程序对所述摄像头模组进行配置。
6.如权利要求5所述的方法,其特征在于,所述应用处理芯片还包括操作***,所述操作***还包括应用层;所述多媒体服务模块按照所述第二指示信息,对所述应用处理芯片中的相机软件参数进行配置,包括:
所述多媒体服务模块将所述第二指示信息发送至所述应用层,使得所述应用层对所述应用处理芯片中的相机参数进行配置。
7.如权利要求1至6任一项所述的方法,其特征在于,所述摄像头模组包括第一接口,所述协处理芯片包括第二接口,所述第一接口与所述第二接口连接;所述方法还包括:
在所述前图像信号处理器配置完成后,控制所述第一接口由关闭状态切换为开启状态,使得所述协处理芯片接收所述摄像头模组输出的原始图像数据。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至7任一项所述的相机控制方法。
9.一种应用处理芯片,其特征在于,所述应用处理芯片包括多媒体服务模块,所述多媒体服务模块用于:
根据接收到的控制参数触发相机控制指令;
基于所述相机控制指令生成第一指示信息和第二指示信息;
按照所述第一指示信息,对协处理芯片的前图像信号处理器的流水线进行硬件配置和软件配置,并对摄像头模组进行配置;
按照所述第二指示信息,对所述应用处理芯片中的相机软件参数进行配置。
10.一种电子设备,其特征在于,包括如权利要求9所述的应用处理芯片,以及协处理芯片和摄像头模组。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111355955.5A CN116156317A (zh) | 2021-11-16 | 2021-11-16 | 相机控制方法、存储介质、协处理芯片及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111355955.5A CN116156317A (zh) | 2021-11-16 | 2021-11-16 | 相机控制方法、存储介质、协处理芯片及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116156317A true CN116156317A (zh) | 2023-05-23 |
Family
ID=86360453
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111355955.5A Pending CN116156317A (zh) | 2021-11-16 | 2021-11-16 | 相机控制方法、存储介质、协处理芯片及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116156317A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150237280A1 (en) * | 2014-02-19 | 2015-08-20 | Samsung Electronics Co., Ltd. | Image processing device with multiple image signal processors and image processing method |
CN106937043A (zh) * | 2017-02-16 | 2017-07-07 | 奇酷互联网络科技(深圳)有限公司 | 移动终端及其图像处理的方法和装置 |
US20170374276A1 (en) * | 2016-06-23 | 2017-12-28 | Intel Corporation | Controlling capturing of a multimedia stream with user physical responses |
CN110933312A (zh) * | 2019-12-09 | 2020-03-27 | Oppo广东移动通信有限公司 | 拍照控制方法及相关产品 |
CN111225153A (zh) * | 2020-01-21 | 2020-06-02 | Oppo广东移动通信有限公司 | 一种图像数据处理方法、图像数据处理装置及移动终端 |
WO2021169337A1 (zh) * | 2020-02-29 | 2021-09-02 | 荣耀终端有限公司 | 屏下指纹显示方法及电子设备 |
WO2021169394A1 (zh) * | 2020-02-25 | 2021-09-02 | 荣耀终端有限公司 | 基于深度的人体图像美化方法及电子设备 |
-
2021
- 2021-11-16 CN CN202111355955.5A patent/CN116156317A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150237280A1 (en) * | 2014-02-19 | 2015-08-20 | Samsung Electronics Co., Ltd. | Image processing device with multiple image signal processors and image processing method |
US20170374276A1 (en) * | 2016-06-23 | 2017-12-28 | Intel Corporation | Controlling capturing of a multimedia stream with user physical responses |
CN106937043A (zh) * | 2017-02-16 | 2017-07-07 | 奇酷互联网络科技(深圳)有限公司 | 移动终端及其图像处理的方法和装置 |
CN110933312A (zh) * | 2019-12-09 | 2020-03-27 | Oppo广东移动通信有限公司 | 拍照控制方法及相关产品 |
CN111225153A (zh) * | 2020-01-21 | 2020-06-02 | Oppo广东移动通信有限公司 | 一种图像数据处理方法、图像数据处理装置及移动终端 |
WO2021169394A1 (zh) * | 2020-02-25 | 2021-09-02 | 荣耀终端有限公司 | 基于深度的人体图像美化方法及电子设备 |
WO2021169337A1 (zh) * | 2020-02-29 | 2021-09-02 | 荣耀终端有限公司 | 屏下指纹显示方法及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2022200580B2 (en) | Photographing method, photographing apparatus, and mobile terminal | |
US11722449B2 (en) | Notification message preview method and electronic device | |
WO2021104236A1 (zh) | 一种共享拍摄参数的方法及电子设备 | |
WO2020042890A1 (zh) | 视频处理方法、终端及计算机可读存储介质 | |
JP7495517B2 (ja) | 画像撮影方法と電子機器 | |
CN112394811A (zh) | 一种隔空手势的交互方法及电子设备 | |
CN111240546B (zh) | 一种分屏处理方法及通信终端 | |
CN112866576B (zh) | 图像预览方法、存储介质及显示设备 | |
CN109102555B (zh) | 一种图像编辑方法及终端 | |
CN112672061B (zh) | 视频拍摄方法、装置、电子设备及介质 | |
CN112114733B (zh) | 一种截屏、录屏方法、移动终端及计算机存储介质 | |
CN112911147B (zh) | 显示控制方法、显示控制装置及电子设备 | |
WO2023134583A1 (zh) | 视频录制方法、装置及电子设备 | |
CN110865765A (zh) | 终端及地图控制方法 | |
CN111464746B (zh) | 拍照方法及电子设备 | |
CN112578981A (zh) | 具有柔性屏幕的电子设备的控制方法及电子设备 | |
CN112770173A (zh) | 直播画面处理方法、装置、计算机设备及存储介质 | |
CN105635553B (zh) | 一种图像拍摄方法和装置 | |
CN114845152B (zh) | 播放控件的显示方法、装置、电子设备及存储介质 | |
JP2023544544A (ja) | スクリーンキャプチャ方法、装置及び電子機器 | |
CN114564101A (zh) | 一种三维界面的控制方法和终端 | |
CN108984677B (zh) | 一种图像拼合方法及终端 | |
EP4125274A1 (en) | Method and apparatus for playing videos | |
CN116156317A (zh) | 相机控制方法、存储介质、协处理芯片及电子设备 | |
CN115484387A (zh) | 一种提示方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |