CN113315913B - 图像传感器控制方法及相关产品 - Google Patents
图像传感器控制方法及相关产品 Download PDFInfo
- Publication number
- CN113315913B CN113315913B CN202110558472.9A CN202110558472A CN113315913B CN 113315913 B CN113315913 B CN 113315913B CN 202110558472 A CN202110558472 A CN 202110558472A CN 113315913 B CN113315913 B CN 113315913B
- Authority
- CN
- China
- Prior art keywords
- image sensor
- image
- mode
- data
- new
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例公开了一种图像传感器控制方法及相关产品,图像传感器控制方法在图像传感器输出图像前,获取图像传感器输出的数据进行解析,得到数据中包含的模式信息;当判断出模式信息发生改变时,根据模式信息确定图像传感器待进入的新的工作模式;进而将图像传感器的配置参数更换成与新的工作模式对应的新的配置参数,以控制图像传感器直接以新的配置参数输出图像。本申请实施例通过模式信息监督传感器工作模式的变化,若模式信息发生变化,则及时更换相应的配置参数,从而无须进入待机模式即可在输出图像前成功切换到新的工作模式,切换过程中维持拍摄,不会丢帧,提高了图像传感器模式切换的效率。
Description
技术领域
本申请涉及集成电路领域,尤其涉及一种图像传感器控制方法及相关产品。
背景技术
随着电子设备制造技术的快速发展,诸如手机、平板等电子设备上都配置了摄像头。通过摄像头可以拍摄美食、风景,丰富了人们的日常生活。用户可以针对不同的应用场景,为摄像头选择不同的工作模式,根据实际需求在两个或多个工作模式之间进行切换。
目前,摄像头图像传感器在切换模式时,一般要先进入待机模式,在待机模式中更换工作模式的相关配置,再恢复拍摄。而待机模式期间无法拍摄,导致整个模式切换过程出现多帧延迟,模式切换效率低。
发明内容
本申请实施例提供一种图像传感器控制方法及相关产品,能够提高图像传感器模式切换的效率。
本申请实施例提供一种图像传感器控制方法,其中,图像传感器控制方法包括:
在图像传感器输出图像前,获取图像传感器输出的数据,所述数据中包含用于表征所述图像传感器工作模式的模式信息;
对所述数据进行解析,得到所述数据中包含的模式信息;
当判断出所述模式信息发生改变时,根据所述模式信息确定所述图像传感器待进入的新的工作模式;
将图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数,以控制所述图像传感器直接以所述新的配置参数输出所述图像。
本申请实施例还提供一种图像传感器控制装置,其中,图像传感器控制装置包括:
获取模块,用于在图像传感器输出图像前,获取图像传感器输出的数据,所述数据中包含用于表征所述图像传感器工作模式的模式信息;
解析模块,用于对所述数据进行解析,得到所述数据中包含的模式信息;
确定模块,用于当判断出所述模式信息发生改变时,根据所述模式信息确定所述图像传感器待进入的新的工作模式;
更换模块,用于将图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数,以控制所述图像传感器直接以所述新的配置参数输出所述图像。
本申请实施例还提供一种存储介质,其中,存储介质中存储有计算机程序,当计算机程序在计算机上运行时,使得计算机执行本申请实施例提供的任一种图像传感器控制方法中的步骤。
本申请实施例还提供一种图像信号处理芯片,其中,图像信号处理芯片包括:
存储器,所述存储器中存储有计算机程序;
图像信号处理器,所述图像信号处理器用于调用所述存储器中存储的所述计算机程序,以执行本申请实施例提供的任一种图像传感器控制方法中的步骤。
本申请实施例还提供一种电子设备,其中,电子设备包括应用处理器和图像信号处理器,应用处理器用于配置图像传感器在输出每帧图像前,输出数据,所述数据中包含用于表征所述图像传感器工作模式的模式信息,以及获取图像传感器输出的数据并将所述图像传感器输出的数据传递给图像信号处理器,图像信号处理器用于在图像传感器输出图像前,从所述应用处理器获取图像传感器输出的数据,对所述数据进行解析,得到所述数据中包含的模式信息,当判断出所述模式信息发生改变时,根据所述模式信息确定所述图像传感器待进入的新的工作模式,将图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数,以控制所述图像传感器直接以所述新的配置参数输出所述图像。
本申请实施例中,首先在图像传感器输出图像前,获取图像传感器输出的数据,数据中包含用于表征图像传感器工作模式的模式信息;对数据进行解析,得到数据中包含的模式信息;当判断出图像传感器的模式信息发生改变时,根据模式信息确定图像传感器待进入的新的工作模式;从而将图像传感器的配置参数更换成与新的工作模式对应的新的配置参数,以控制图像传感器直接以新的配置参数输出所述图像。本申请实施例在图像传感器输出图像前及时获取图像传感器的数据并从中解析出模式信息,通过模式信息监督传感器工作模式的变化,若模式信息发生变化,则及时更换相应的配置参数,从而无须进入待机模式即可在输出图像前成功切换到新的工作模式,切换过程中维持拍摄,不会丢帧,提高了图像传感器模式切换的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像处理流水线的第一种示意图。
图2为本申请实施例提供的图像信号处理芯片的模块示意图。
图3为本申请实施例提供的图像传感器控制方法的第一种流程示意图。
图4为本申请实施例提供的图像传感器控制方法的第二种流程示意图。
图5为本申请实施例提供的图像处理流水线的第二种示意图。
图6为本申请实施例提供的图像传感器控制装置的结构示意图。
图7为本申请实施例提供的图像信号处理器的数据处理流程图。
图8为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整的描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有付出创造性劳动前提下所获得的所有实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书以及上述附图中的术语“第一”、“第二”、“第三”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应当理解,这样描述的对象在适当情况下可以互换。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。例如,包含了一系列步骤的过程、方法或包含了一系列模块或单元的装置、处理器、电子设备、***不必限于清楚地列出的那些步骤或模块和单元,还可以包括没有清楚地列出的步骤或模块或单元,也可以包括对于这些过程、方法、装置、处理器、电子设备或***固有的其它步骤或模块或单元。
本申请实施例提供的图像传感器例如可以为图像传感器,图像传感器具有多种工作模式,用于支持其实现不同的拍摄效果,在不同的工作模式中图像分辨率、帧率、MIPI(Mobile Industry Processor Interface,移动产业处理器接口)传输速率等配合参数可能不同,在图像传感器的模式切换中伴随着这些配置参数的变化。应用处理器(Application Processor,AP)侧通过重新配置图像信号处理器的流水线来应对此类图像传感器工作模式的变化。
应用处理器在重新配置流水线的过程中则会导致多帧的延迟,反映在视频上则是出现明显的图像卡顿。请参阅图1,图1为本申请实施例提供的图像处理流水线的第一种示意图。在切换过程中,应用处理器侧会先停止图像信号处理器的流水线,设置图像传感器进入待机(SW-Standby)状态和新的工作模式,重新配置图像信号处理器的流水线,再设置图像传感器退出待机状态,随后图像传感器会经历恢复、预曝光等过程,最终才输出新模式下的第一帧图像给图像信号处理器。待机状态使得整个切换过程会有两帧以上的延迟,待机时间内图像传感器无法获取图像,使得拍摄的视频中出现掉帧情况。
而本申请实施例提供一种图像信号处理器,该图像信号处理器可以集成在电子设备上实现。其中,电子设备可以是智能手机、平板电脑、掌上电脑(PDA,Personal DigitalAssistant)等。以下进行具体分析说明。
当使用集成了本申请实施例所提供的图像信号处理器的电子设备时,该图像信号处理器可以在图像传感器输出图像前,获取图像传感器输出的数据,所述数据中包含用于表征所述图像传感器工作模式的模式信息,对所述数据进行解析,得到所述数据中包含的模式信息,当判断出模式信息发生改变时,根据模式确定图像传感器待进入的新的工作模式,进而将图像传感器的配置参数更换成与新的工作模式对应的新的配置参数,以控制图像传感器直接以新的配置参数输出图像。
由于本申请实施例提供的图像信号处理器在图像传感器输出图像前及时获取图像传感器的数据进行分析,若分析出图像传感器待进入新的工作模式发生变化则直接更换配置参数,因而可以在不进入待机模式的情况下快速完成模式切换,然后输出图像,切换过程中维持拍摄,不会丢帧。
本申请实施例提供一种图像信号处理芯片,该图像信号处理芯片可用于智能手机、平板电脑、游戏设备、AR(Augmented Reality,增强现实)设备、汽车、车辆周边障碍检测装置、音频播放装置、视频播放装置、笔记本、桌面计算设备、可穿戴设备诸如手表、眼镜、头盔、电子手链、电子项链等设备。
在一实施例中,本申请实施例提供的图像信号处理芯片可以采取硬件加速技术,把计算量非常大的工作分配给专门的硬件来处理以减轻中央处理器的工作量。本申请实施例提供的图像信号处理器可以集成在这样的图像信号处理芯片中,以硬件加速的方式实施本申请实施例提供的图像传感器控制方法,从而实现高速的模式切换。
请参阅图2,图2为本申请实施例提供的图像信号处理芯片的模块示意图。该图像信号处理芯片100可以包括图像信号处理器110和存储器120。
存储器120中存储有计算机程序;
图像信号处理器110通过调用存储器中存储的计算机程序,实现本申请提供的图像传感器控制方法中的步骤,例如实现:
在图像传感器输出图像前,获取图像传感器输出的数据,所述数据中包含用于表征所述图像传感器工作模式的模式信息;
对所述数据进行解析,得到所述数据中包含的模式信息;
当判断出所述模式信息发生改变时,根据所述模式信息确定所述图像传感器待进入的新的工作模式;
将图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数,以控制所述图像传感器直接以所述新的配置参数输出所述图像。
其中图像信号处理器(Image Signal Processor,ISP)110是用来处理图像传感器输出的数据的处理器,如做自动曝光控制(Automatic Exposure Control,AEC)、自动增益控制(Automatic Gain Control,AGC)、自动白平衡(Automatic white balance,AWB)、色彩校正、镜头校正(Lens Shading)、伽马(Gamma)校正、祛除坏点、自动黑电平(Auto BlackLevel)、自动白电平(Auto White Level)等等功能的处理。
在一些实施例中,除图像信号处理器110和存储器120外,图像信号处理芯片100上还可以集成有嵌入式神经网络处理器(neural-network process units,NPU)等器件。
本申请实施例提供一种图像传感器控制方法,该图像传感器控制方法可以应用于本申请实施例提供的图像信号处理器。图像信号处理器可以配置在智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等电子设备中,也可以本申请实施例提供的图像信号处理芯片上。
请参阅图3,图3为本申请实施例提供的图像传感器控制方法的第一种流程示意图。本申请实施例提供的图像传感器控制方法可以包括以下步骤:
210,在图像传感器输出图像前,获取图像传感器输出的数据,所述数据中包含用于表征所述图像传感器工作模式的模式信息。
本申请实施例提供的图像传感器控制方式在图像传感器切换模式后、输出下一帧图像前可及时侦测到图像传感器工作模式的变化并调整相应的配置参数。
其中,图像传感器可以为图像传感器,例如可以为摄像头。图像传感器输出图像,即摄像头拍摄得到图像。图像传感器输出的数据可以是元数据(meta data)。元数据是一种电子式目录,又称中介数据、中继数据,为描述数据的数据(data about data),主要是描述数据属性的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。
图像传感器在输出每一帧图像之前,先输出图像传感器的元数据,在元数据中包含用于表征所述图像传感器工作模式的模式信息,通过观测模式信息的变化,就可以知道图像传感器是否即将进入新的工作模式。
在一实施例中,由应用处理器侧配置图像传感器在输出每一帧图像之前先行输出数据,图像传感器输出的数据先到达应用处理器侧,然后由应用处理器传递给图像信号处理器。
在图像传感器输出图像前先行获取图像传感器输出的数据,即抢在图像传感器输出图像之前先行分析图像传感器是否待进入新的工作模式,若是则在图像传感器输出图像之前先行更换相应的配置参数,避免在图像传感器输出图像时,配置参数未随工作模式改变,旧的配置参数与新的工作模式不适配从而导致流水线出现问题,影响到图像的获取和处理。
220,对数据进行解析,得到数据中包含的模式信息。
图像传感器的数据中包含用于表征所述图像传感器工作模式的模式信息,在图像传感器输出图像前获取到图像传感器输出的数据后,可以根据数据中包含的模式信息判断图像传感器是否待进入新的工作模式,以根据判断结果决定是否更换相应的配置参数。
为判断图像传感器是否待进入新的工作模式,首先,对数据进行解析,得到数据中包含的模式信息,根据模式信息判断图像传感器是否待进入新的工作模式。
在一实施例中,图像传感器在输出每一帧图像前,都会输出图像传感器的数据,经过解析,对于即将输出的每一帧图像,都会解析出一组模式信息。
230,当判断出模式信息发生改变时,根据模式信息确定所述图像传感器待进入的新的工作模式。
在一实施例中,可以根据模式信息判断图像传感器是否待进入新的工作模式,包括:
获取图像传感器输出上一帧图像前解析出的模式信息;
将图像传感器输出本次图像前解析出的模式信息与输出上一帧图像前解析出的模式信息进行对比,以判断图像传感器是否待进入新的工作模式。
例如,在图像传感器输出第一帧图像前,获取图像传感器输出的第一元数据,对第一元数据进行解析,得到第一元数据中包含的第一模式信息。在图像传感器输出第二帧图像前,获取图像传感器输出的第二元数据,对第二元数据进行解析,得到第二元数据中包含的第二模式信息。在图像传感器输出第二帧图像前,将第二模式信息与第一模式信息进行对比,判断第二模式信息与第一模式信息是否一致。第若二模式信息与第一模式信息不一致,则可判断出图像传感器待进入新的工作模式。
当判断出图像传感器待进入新的工作模式时,为了保证图像正常输出和处理,首先需要确定待进入的新的工作模式。
由于本申请实施例中的数据是在图像传感器输出上一帧图像之后、输出当前图像之前输出,因而,图像传感器待进入的工作模式可以通过该数据中包含的模式信息反映出来,根据模式信息确定待进入的新的工作模式。
240,将图像传感器的配置参数更换成与新的工作模式对应的新的配置参数,以控制图像传感器直接以新的配置参数输出所述图像。
在确定出待进入的新的工作模式后,为了使得流水线上为图像传感器配置的参数与待进入的新的工作模式相匹配从而成功切换到新的工作模式,可以将图像传感器的配置参数更换成与新的工作模式对应的新的配置参数,以控制图像传感器直接以所述新的配置参数输出所述图像。
为实现快速的模式切换处理,上述图像传感器控制方法可以采用硬件的方式实现。本申请实施例提供的图像传感器控制方法的相关代码可以在图像信号处理器生产时,固化到图像信号处理器内部,采用硬件加速的方式,快速实现本申请实施例提供的图像传感器控制方法中的步骤。
在一实施例中,摄像头的工作模式包括预览模式和拍摄模式。例如摄像头在预览模式下输出第一帧图像,在输出第一帧图像前,图像信号处理器获取图像传感器的第一元数据,对第一元数据进行解析,得到预览模式对应的模式信息。在摄像头输出第二帧图像前,用户点击拍摄按钮,摄像头的工作模式即将由预览模式切换为拍摄模式,图像信号处理器获取图像传感器的第二元数据,对第二元数据进行解析,得到拍摄模式对应的模式信息。
将拍摄模式对应的模式信息与预览模式对应的模式信息进行对比,可以判断出模式信息发生了改变。图像信号处理器即根据第二元数据解析出的模式信息确定待进入的工作模式为拍摄模式,并将图像传感器的配置参数更换成与拍摄模式对应的配置参数,以控制摄像头直接以拍摄模式对应的配置参数输出第二帧图像。切换过程中摄像头不进入待机状态,以免切换后需要超过一帧的恢复时间导致掉帧。
此外,拍摄模式中,也可以包括第一拍摄模式、第二拍摄模式等多种拍摄模式,分别对应不同的模式信息和不同的配置参数。在切换不同拍摄模式时,可采用本申请实施例提供的图像传感器控制方法控制图像传感器成功完成切换。
根据前一实施例所描述的方法,以下作进一步详细说明。
请参照图4,图4为本申请实施例提供的图像传感器控制方法的第二种流程示意图。该图像传感器控制方法可应用于本申请实施例提供的图像信号处理器,图像信号处理器包括最前端接收模块和寄存器,其中最前端接收模块为图像信号处理器中第一个处理图像的模块,寄存器中存储有图像传感器的配置参数。本申请实施例提供的图像传感器控制方法可以包括以下步骤:
301、在图像传感器输出图像前,获取图像传感器输出的数据。
本申请实施例提供的图像传感器控制方式在图像传感器输出当前帧图像前可及时侦测到图像传感器待进入新的工作模式并调整相应的配置参数,从而控制图像传感器成功切换到新的工作模式。
其中,图像传感器可以为图像传感器,例如可以为摄像头。图像传感器输出图像,即摄像头拍摄得到图像。图像传感器输出的数据可以是元数据(meta data),图像传感器在输出每一帧图像之前,先输出图像传感器的元数据,在元数据中包含用于表征所述图像传感器工作模式的模式信息,通过观测模式信息的变化,就可以知道图像传感器是否即将进入新的工作模式。
在一实施例中,由应用处理器侧配置图像传感器在输出每一帧图像之前先行输出数据,图像传感器输出的数据先到达应用处理器侧,然后由应用处理器传递给图像信号处理器。
在图像传感器输出图像前先行获取图像传感器输出的数据,即抢在图像传感器输出图像之前先行分析图像传感器是否待进入新的工作模式,若是则在图像传感器输出图像之前先行更换相应的配置参数,避免在图像传感器输出图像时,配置参数未随工作模式改变,旧的配置参数与新的工作模式不适配从而导致流水线出现问题,影响到图像的获取和处理。
302、通过图像信号处理器中第一个图像处理模块对数据进行解析,得到数据中包含的模式信息。
303、根据模式信息判断图像传感器是否待进入新的工作模式。
图像传感器的数据中包含用于表征所述图像传感器工作模式的模式信息,在图像传感器输出图像前获取到图像传感器输出的数据之后,可以通过对数据进行解析,得到其中包含的模式信息,根据模式信息判断图像传感器是否待进入新的工作模式,以根据判断结果决定是否更换相应的配置参数。
在一实施例中,通过图像信号处理器中的第一个图像处理模块对数据进行解析。其中,图像信号处理器中的第一个图像处理模块是指图像信号图像传感器中首个接收到图像进行处理的图像处理模块。图像信号处理器中有多个图像处理模块,每个图像处理模块都可以对数据进行解析,使用第一个图像处理模块而非其他图像处理模块对数据进行解析可以确保尽早解析出其中的模式信息,从而判断是否待进入新的工作模式,若是,则进行后续处理,以此提高模式切换的效率。
在一实施例中,图像传感器在输出每一帧图像前,都会输出图像传感器的数据,经过解析,对于即将输出的每一帧图像,都会解析出一组模式信息。获取图像传感器输出的数据后,根据数据判断图像传感器是否待进入新的工作模式的步骤可以包括:
获取图像传感器输出上一帧图像前输出的数据;
将图像传感器输出本次图像前输出的数据与输出上一帧图像前输出的数据进行对比,以判断图像传感器是否待进入新的工作模式。
或者,也可以直接将解析出的模式信息进行对比,从而判断图像传感器是否待进入新的工作模式。即,根据是否待进入新判断图像传感器是否待进入新的工作模式的步骤可以包括:
获取图像传感器输出上一帧图像前解析出的模式信息;
将图像传感器输出本次图像前解析出的模式信息与输出上一帧图像前解析出的模式信息进行对比,以判断图像传感器是否待进入新的工作模式。
例如,在图像传感器输出第一帧图像前,获取图像传感器输出的第一数据,对第一元数据进行解析,得到第一元数据中包含的第一模式信息。在图像传感器输出第二帧图像前,获取图像传感器输出的第二元数据,对第二元数据进行解析,得到第二元数据中包含的第二模式信息。在图像传感器输出第二帧图像前,将第二模式信息与第一模式信息进行对比,判断第二模式信息与第一模式信息是否一致。第若二模式信息与第一模式信息不一致,则可判断出图像传感器待进入新的工作模式。
304、当确定出图像传感器待进入新的工作模式时,根据模式信息确定图像传感器待进入的新的工作模式。
当判断出图像传感器待进入新的工作模式时,为了保证图像正常输出和处理,首先需要确定待进入的新的工作模式。
由于本申请实施例中的数据是在图像传感器输出上一帧图像之后、输出当前图像之前输出,因而,图像传感器待进入的新的工作模式可以通过该数据中包含的模式信息反映出来,根据模式信息确定待进入的新的工作模式。
305、在不进入待机模式的情况下将图像传感器的配置参数更换成与新的工作模式对应的新的配置参数,以控制图像传感器直接更换到新的工作模式并以新的配置参数输出图像。
在确定出待进入的工作模式后,为了使得流水线上为图像传感器配置的参数与待进入的工作模式相匹配从而成功切换到新的工作模式,可以将图像传感器的配置参数更换成与新的工作模式对应的新的配置参数,以控制图像传感器直接以所述新的配置参数输出所述图像。
其中,图像传感器的配置参数可以存储在图像信号处理器的寄存器中。图像信号处理器在不进入待机模式的情况下将图像传感器的配置参数更换成与新的工作模式对应的新的配置参数,以控制图像传感器直接更换到新的工作模式并以新的配置参数输出图像。
其中,图像传感器的配置参数可以包括曝光参数。例如,图像传感器输出一帧图像的过程中,可以有长、中、短三种曝光时长的数据,这三种曝光时长的时长大小顺序为:长曝>中曝>短曝。当输出一帧图像时有不止一种曝光时长的数据时,在流水线中,要分别处理不同曝光时长下获取的数据,将它们糅合后,输出糅合后的数据。图像传感器在不同工作模式下,在一帧的时间周期内采用的曝光时长的种类和数量可能不同。如在第一种工作模式中,图像传感器在一帧曝光时长中只发送一种曝光时长(短曝)的数据,在第二种工作模式中,图像传感器在一帧曝光时长中只发送一种曝光时长(长曝)的数据,在第三种工作模式中,图像传感器在一帧曝光时长中发送两种曝光时长(长曝和短曝)的数据,在第四种工作模式中,图像传感器在一帧曝光时长中发送三种曝光时长(长曝、中曝和短曝)的数据。那么,这四种工作模式对应的曝光参数都是不一样的。当判断出图像传感器待进入新的工作模式发生改变时,将图像传感器的曝光参数更换成与新的工作模式对应的新的曝光参数,以控制图像传感器直接以新的曝光参数输出图像。
请参阅图5,图5为本申请实施例提供的图像处理流水线的第二种示意图。应用处理器配置图像传感器在输出每帧图像前,输出数据,在输出图像前,若待进入新的工作模式,应用处理器侧不停止图像信号处理器的流水线,也不设置图像传感器进入待机状态,而是将从图像传感器侧获取的数据传递给图像信号处理器侧,图像信号处理器侧解析出数据中的模式信息,判断出模式信息发生改变,则根据模式信息确定图像传感器待进入的新的工作模式,进而在寄存器中更换图像传感器的配置参数,由于更换后的配置参数与新的工作模式相匹配,可以正常输出图像,图像传感器即完成了工作模式的切换,并以新的工作模式对应的配置参数输出图像给图像信号处理器。整个切换过程流水线无需经历待机模式,不会丢帧,图像传感器持续获取图像。
为实现快速的模式切换处理,上述图像传感器控制方法可以采用硬件的方式实现。本申请实施例提供的图像传感器控制方法的相关代码可以在图像信号处理器生产时,固化到图像信号处理器内部,采用硬件加速的方式,快速实现本申请实施例提供的图像传感器控制方法中的步骤。
由上可知,本申请实施例提供的图像传感器控制方法,首先在图像传感器输出图像前,获取图像传感器输出的数据,数据中包含用于表征图像传感器工作模式的模式信息;对所述数据进行解析,得到所述数据中包含的模式信息;当判断出模式信息发生改变时,根据模式信息确定图像传感器待进入的新的工作模式;进而将图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数,以控制所述图像传感器直接以所述新的配置参数输出所述图像。本申请实施例在图像传感器输出图像前及时获取图像传感器的数据并从中解析出模式信息,通过模式信息监督传感器工作模式的变化,若模式信息发生变化,则及时更换相应的配置参数,从而无须进入待机模式即可在输出图像前成功切换到新的工作模式,切换过程中维持拍摄,不会丢帧,提高了图像传感器模式切换的效率。
本申请实施例还提供一种图像传感器控制装置。请参照图6,图6为本申请实施例提供的图像传感器控制装置的结构示意图。其中该图像传感器控制装置400可以包括获取模块401、解析模块402、确定模块403和更换模块404,如下:
获取模块401,用于在图像传感器输出图像前,获取图像传感器输出的数据,数据中包含用于表征图像传感器工作模式的模式信息;
解析模块402,用于对数据进行解析,得到数据中包含的模式信息;
确定模块403,用于当判断出模式信息发生改变时,根据模式信息确定图像传感器待进入的新的工作模式;
更换模块404,用于将图像传感器的配置参数更换成与新的工作模式对应的新的配置参数,以控制图像传感器直接以新的配置参数输出图像。
在一实施例中,在将图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数,以控制所述图像传感器直接以所述新的配置参数输出所述图像时,更换模块404可以用于:
在不进入待机模式的情况下将图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数,以控制所述图像传感器直接更换到所述新的工作模式并以所述新的配置参数输出所述图像。
在一实施例中,本申请实施例提供的图像传感器控制方法应用于图像信号处理器,所述图像信号处理器中包括图像处理模块,在对所述数据进行解析,得到所述数据中包含的模式信息时,解析模块402可以用于:
通过所述图像信号处理器中第一个图像处理模块对所述数据进行解析,得到所述数据中包含的模式信息。
在一实施例中,所述配置参数包括曝光参数,在将图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数,以控制所述图像传感器直接以所述新的配置参数输出所述图像时,更换模块404可以用于:
将图像传感器的曝光参数更换成与所述新的工作模式对应的新的曝光参数,以控制所述图像传感器直接以所述新的曝光参数输出所述图像。
在一实施例中,所述图像传感器在输出每帧图像前向应用处理器输出所述数据,在获取图像传感器输出的数据时,获取模块401可以用于:
从所述应用处理器获取图像传感器输出的数据。
在一实施例中,图像信号处理器中包括寄存器,所述图像传感器的配置参数存储在所述寄存器中,在将图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数时,更换模块404可以用于:
在所述寄存器中将图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数。
由上可知,本申请实施例提供的图像传感器控制装置400,首先获取模块401在图像传感器输出图像前,获取图像传感器输出的数据,数据中包含用于表征图像传感器工作模式的模式信息;解析模块402对所述数据进行解析,得到所述数据中包含的模式信息;当判断出模式信息发生改变时,确定模块403,根据模式信息确定图像传感器待进入的新的工作模式;进而更换模块404将图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数,以控制所述图像传感器直接以所述新的配置参数输出所述图像。本申请实施例在图像传感器输出图像前及时获取图像传感器的数据并从中解析出模式信息,通过模式信息监督传感器工作模式的变化,若模式信息发生变化,则及时更换相应的配置参数,从而无须进入待机模式即可在输出图像前成功切换到新的工作模式,切换过程中维持拍摄,不会丢帧,提高了图像传感器模式切换的效率。
本申请实施例还提供一种电子设备,该电子设备可以包括图像传感器、图像信号处理器和应用处理器。其中,电子设备可以是智能手机、平板电脑、掌上电脑(PDA,PersonalDigital Assistant)等。
比如,请参照图7,图7为本申请实施例提供的图像信号处理器的数据处理流程图。如图中步骤501所示,应用处理器配置图像传感器在输出每帧图像前,输出数据,数据中包含用于表征图像传感器工作模式的模式信息,接着如步骤502所示,图像传感器在输出图像前,输出数据给应用处理器;步骤503,应用处理器获取图像传感器输出的数据并将图像传感器输出的数据传递给图像信号处理器。至此,数据从图像传感器侧顺利传到了图像信号处理器侧。
图像信号处理器从应用处理器获取图像传感器输出的数据,并通过第一图像处理模块执行如步骤504~506所示的步骤:对数据进行解析,得到数据中包含的模式信息,根据模式信息判断图像传感器是否待进入新的工作模式,当判断出图像传感器待进入新的工作模式时,根据模式信息确定图像传感器待进入的新的工作模式。然后,如步骤507所示,第一图像处理模块将图像传感器的配置参数更换成与新的工作模式对应的新的配置参数,以实现步骤508,控制图像传感器直接以新的配置参数输出图像。以下进行具体说明。
为了更好的实现本申请实施例所提供的图像信号处理器,本申请实施例提供了一种电子设备。请参阅图8,图8为本申请实施例提供的电子设备的结构示意图。该电子设备600包括:
应用处理器601,用于配置图像传感器在输出每帧图像前,输出数据,所述数据中包含用于表征所述图像传感器工作模式的模式信息,以及获取图像传感器输出的数据并将所述图像传感器输出的数据传递给图像信号处理器;
图像信号处理器110,用于执行本申请实施例提供的图像传感器控制方法中的步骤,例如:
在图像传感器输出图像前,从所述应用处理器获取图像传感器输出的数据,所述数据中包含用于表征所述图像传感器工作模式的模式信息;
对所述数据进行解析,得到所述数据中包含的模式信息;
当判断出所述模式信息发生改变时,根据所述模式信息确定所述图像传感器待进入的新的工作模式;
将图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数,以控制所述图像传感器直接以所述新的配置参数输出所述图像。
在一实施例中,应用处理器601在获取图像传感器输出的数据后,可以确定出其中与工作模式相关的字段所在的位置,并从中筛选出与工作模式相关的字段,图像信号处理器110从应用处理器601获取的图像传感器输出的数据,是经过应用处理器601筛选后的与工作模式相关的字段。例如,图像传感器输出的数据中,第100个、第101个、第200个比特(binary digit,bit,表示信息的最小单位)是与工作模式相关的字段,则应用处理器从图像传感器输出的数据中筛选出第100个、第101个、第200个比特的字段,发送给图像信号处理器110。
在一实施例中,在将图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数,以控制所述图像传感器直接以所述新的配置参数输出所述图像时,图像信号处理器110执行:
在不进入待机模式的情况下将图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数,以控制所述图像传感器直接更换到所述新的工作模式并以所述新的配置参数输出所述图像。
在一实施例中,图像信号处理器110中包括图像处理模块,在对所述数据进行解析,得到所述数据中包含的模式信息时,图像信号处理器110执行:
通过所述图像信号处理器中第一个图像处理模块对所述数据进行解析,得到所述数据中包含的模式信息。
在一实施例中,配置参数包括曝光参数,在将图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数,以控制所述图像传感器直接以所述新的配置参数输出所述图像时,图像信号处理器110执行:
将图像传感器的曝光参数更换成与所述新的工作模式对应的新的曝光参数,以控制所述图像传感器直接以所述新的曝光参数输出所述图像。
在一实施例中,图像传感器在输出每帧图像前向应用处理器601输出数据,在获取图像传感器输出的数据时,图像信号处理器110执行:
从应用处理器601获取图像传感器输出的数据。
在一实施例中,图像信号处理器110中包括寄存器,图像传感器的配置参数存储在寄存器中,在将图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数时,图像信号处理器110执行:
在所述寄存器中将图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数。
由上可知,本申请实施例提供的电子设备600包括应用处理器601和图像信号处理器110,其中应用处理器601用于配置图像传感器在输出每帧图像前,输出数据,所述数据中包含用于表征所述图像传感器工作模式的模式信息,以及获取图像传感器输出的数据并将所述图像传感器输出的数据传递给图像信号处理器,图像信号处理器110用于在图像传感器输出图像前,从所述应用处理器获取图像传感器输出的数据,对所述数据进行解析,得到所述数据中包含的模式信息,当判断出所述模式信息发生改变时,根据所述模式信息确定所述图像传感器待进入的新的工作模式,将图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数,以控制所述图像传感器直接以所述新的配置参数输出所述图像。本申请实施例在图像传感器输出图像前及时获取图像传感器的数据并从中解析出模式信息,通过模式信息监督传感器工作模式的变化,若模式信息发生变化,则及时更换相应的配置参数,从而无须进入待机模式即可在输出图像前成功切换到新的工作模式,切换过程中维持拍摄,不会丢帧,提高了图像传感器模式切换的效率。
本领域内的技术人员应明白,本申请的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
即,本申请实施例提供的图像信号处理器在实现上述图像传感器控制方法中的步骤时,可以采取硬件方式、软件方式或者二者的结合实现。例如,该处理器可以是电子设备中的主处理器,通过调用电子设备存储器中的计算机程序来实现上述图像传感器控制方法中的步骤。或者,该处理器也可以是集成电路芯片中的硬件加速处理器,采用硬件加速技术,用硬件方式实现上述图像传感器控制方法中的步骤。
需要说明的是,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以通过计算机程序来指令相关的硬件来完成,计算机程序可以存储于计算机可读存储介质中,包括但不限于:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,Random AccessMemory)、磁盘或光盘等。
即,本申请实施例还提供一种存储介质,存储介质中存储有计算机程序,当计算机程序在计算机上运行时,计算机执行上述任一实施例的图像传感器控制方法。
例如,在一些实施例中,当计算机程序在计算机上运行时,计算机执行以下步骤:
在图像传感器输出图像前,获取图像传感器输出的数据,所述数据中包含用于表征所述图像传感器工作模式的模式信息;
对所述数据进行解析,得到所述数据中包含的模式信息;
当判断出所述模式信息发生改变时,根据所述模式信息确定所述图像传感器待进入的新的工作模式;
将图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数,以控制所述图像传感器直接以所述新的配置参数输出所述图像。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对图像传感器控制方法的详细描述,此处不再赘述。
以上对本申请实施例所提供的图像传感器控制方法及相关产品进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。
Claims (12)
1.一种图像传感器控制方法,其特征在于,包括:
在图像传感器输出图像前,获取所述图像传感器输出的数据,所述数据包括元数据,所述元数据中包含用于表征所述图像传感器工作模式的模式信息;
对所述数据进行解析,得到所述数据中包含的模式信息;
当判断出所述模式信息发生改变时,根据所述模式信息确定所述图像传感器待进入的新的工作模式;
在不进入待机模式的情况下,将所述图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数,以控制所述图像传感器直接以所述新的配置参数输出所述图像。
2.根据权利要求1所述的图像传感器控制方法,其特征在于,所述在不进入待机模式的情况下,将所述图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数,以控制所述图像传感器直接以所述新的配置参数输出所述图像包括:
在不进入待机模式的情况下,将所述图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数,以控制所述图像传感器直接更换到所述新的工作模式并以所述新的配置参数输出所述图像。
3.根据权利要求2所述的图像传感器控制方法,其特征在于,所述图像传感器控制方法应用于图像信号处理器,所述图像信号处理器中包括图像处理模块,所述对所述数据进行解析,得到所述数据中包含的模式信息包括:
通过所述图像信号处理器中第一个图像处理模块对所述数据进行解析,得到所述数据中包含的模式信息。
4.根据权利要求3所述的图像传感器控制方法,其特征在于,所述配置参数包括曝光参数,所述将所述图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数,以控制所述图像传感器直接以所述新的配置参数输出所述图像包括:
将所述图像传感器的曝光参数更换成与所述新的工作模式对应的新的曝光参数,以控制所述图像传感器直接以所述新的曝光参数输出所述图像。
5.根据权利要求1所述的图像传感器控制方法,其特征在于,所述元数据包括第一元数据和第二元数据,所述第一元数据中包含第一模式信息,所述第二元数据中包含第二模式信息,若所述第一模式信息和所述第二模式信息不一致,则判断出所述数据中包含的模式信息发生改变。
6.根据权利要求1-5任一项所述的图像传感器控制方法,其特征在于,所述图像传感器在输出每帧图像前向应用处理器输出所述数据,所述获取图像传感器输出的数据包括:
从所述应用处理器获取所述图像传感器输出的数据。
7.根据权利要求3或4所述的图像传感器控制方法,其特征在于,所述图像信号处理器中包括寄存器,所述图像传感器的配置参数存储在所述寄存器中,所述将图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数包括:
在所述寄存器中将图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数。
8.一种图像传感器控制方法,其特征在于,包括:
应用处理器配置图像传感器在输出每帧图像前,输出数据,所述数据包括元数据,所述元数据中包含用于表征所述图像传感器工作模式的模式信息;
图像传感器在输出每帧图像前,向应用处理器输出数据;
应用处理器获取图像传感器输出的数据,并将所述图像传感器输出的数据传递给图像信号处理器;
图像信号处理器从所述应用处理器获取图像传感器输出的数据,对所述图像传感器输出的数据进行解析,得到所述图像传感器输出的数据中包含的模式信息,当判断出所述模式信息发生改变时,根据所述模式信息确定所述图像传感器待进入的新的工作模式,在不进入待机模式的情况下,将所述图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数,以控制所述图像传感器直接以所述新的配置参数输出所述图像。
9.一种图像传感器控制装置,其特征在于,包括:
获取模块,用于在图像传感器输出图像前,获取所述图像传感器输出的数据,所述数据包括元数据,所述元数据中包含用于表征所述图像传感器工作模式的模式信息;
解析模块,用于对所述数据进行解析,得到所述数据中包含的模式信息;
确定模块,用于当判断出所述模式信息发生改变时,根据所述模式信息确定所述图像传感器待进入的新的工作模式;
更换模块,用于在不进入待机模式的情况下,将所述图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数,以控制所述图像传感器直接以所述新的配置参数输出所述图像。
10.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,当计算机程序在计算机上运行时,使得计算机执行如权利要求1至7任一项所述的图像传感器控制方法中的步骤。
11.一种图像信号处理芯片,其特征在于,包括:
存储器,所述存储器中存储有计算机程序;
图像信号处理器,所述图像信号处理器用于调用所述存储器中存储的所述计算机程序,以执行权利要求1至7任一项所述的图像传感器控制方法中的步骤。
12.一种电子设备,其特征在于,包括:
应用处理器,用于配置图像传感器在输出每帧图像前,输出数据,所述数据包括元数据,所述元数据中包含用于表征所述图像传感器工作模式的模式信息,以及获取所述图像传感器输出的数据并将所述图像传感器输出的数据传递给图像信号处理器;
图像信号处理器,用于在所述图像传感器输出图像前,从所述应用处理器获取所述图像传感器输出的数据,对所述数据进行解析,得到所述数据中包含的模式信息,当判断出所述模式信息发生改变时,根据所述模式信息确定所述图像传感器待进入的新的工作模式,在不进入待机模式的情况下,将所述图像传感器的配置参数更换成与所述新的工作模式对应的新的配置参数,以控制所述图像传感器直接以所述新的配置参数输出所述图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110558472.9A CN113315913B (zh) | 2021-05-21 | 2021-05-21 | 图像传感器控制方法及相关产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110558472.9A CN113315913B (zh) | 2021-05-21 | 2021-05-21 | 图像传感器控制方法及相关产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113315913A CN113315913A (zh) | 2021-08-27 |
CN113315913B true CN113315913B (zh) | 2023-04-25 |
Family
ID=77374096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110558472.9A Active CN113315913B (zh) | 2021-05-21 | 2021-05-21 | 图像传感器控制方法及相关产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113315913B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116074623B (zh) * | 2022-05-30 | 2023-11-28 | 荣耀终端有限公司 | 一种摄像头的分辨率选择方法和装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102149448B1 (ko) * | 2014-02-21 | 2020-08-28 | 삼성전자주식회사 | 이미지를 처리하기 위한 전자 장치 및 방법 |
CN105430276A (zh) * | 2015-12-18 | 2016-03-23 | 广东欧珀移动通信有限公司 | 成像装置和电子装置 |
JP2020191520A (ja) * | 2019-05-21 | 2020-11-26 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
CN110266951A (zh) * | 2019-06-28 | 2019-09-20 | Oppo广东移动通信有限公司 | 图像处理器、图像处理方法、拍摄装置和电子设备 |
CN111225153B (zh) * | 2020-01-21 | 2021-08-06 | Oppo广东移动通信有限公司 | 一种图像数据处理方法、图像数据处理装置及移动终端 |
CN111726529B (zh) * | 2020-06-24 | 2022-10-21 | 深圳市道通智能航空技术股份有限公司 | 一种图像处理方法、摄像设备及存储介质 |
-
2021
- 2021-05-21 CN CN202110558472.9A patent/CN113315913B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113315913A (zh) | 2021-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107172345B (zh) | 一种图像处理方法及终端 | |
CN109951595A (zh) | 智能调节屏幕亮度的方法、装置、存储介质及移动终端 | |
KR20210073568A (ko) | 이미지 처리 방법 및 장치, 및 디바이스 | |
CN109639896A (zh) | 遮挡物检测方法、装置、存储介质及移动终端 | |
US20220417417A1 (en) | Content Operation Method and Device, Terminal, and Storage Medium | |
CN107360366B (zh) | 拍照方法、装置、存储介质及电子设备 | |
CN111835982B (zh) | 图像获取方法、图像获取装置、电子设备及存储介质 | |
CN112822412B (zh) | 曝光方法、装置、电子设备和存储介质 | |
CN107743191A (zh) | 终端及其防抖拍照方法、存储装置 | |
CN113315913B (zh) | 图像传感器控制方法及相关产品 | |
CN112017137A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN111064930B (zh) | 分屏显示方法、显示终端及存储装置 | |
EP3617990B1 (en) | Picture processing method and apparatus, computer readable storage medium, and electronic device | |
CN110677580A (zh) | 拍摄方法、装置、存储介质及终端 | |
CN113891018A (zh) | 拍摄方法、装置及电子设备 | |
CN115115526A (zh) | 图像处理方法及装置、存储介质和图形计算处理器 | |
CN113989387A (zh) | 相机拍摄参数调整方法、装置及电子设备 | |
CN112734661A (zh) | 图像处理方法及装置 | |
CN108495038B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN114531544B (zh) | 录制方法、装置、设备及计算机存储介质 | |
CN115278047A (zh) | 拍摄方法、装置、电子设备和存储介质 | |
CN113271378A (zh) | 图像处理方法、装置及电子设备 | |
CN114125226A (zh) | 图像拍摄方法、装置、电子设备和可读存储介质 | |
CN108647097B (zh) | 文本图像处理方法、装置、存储介质及终端 | |
CN113347355A (zh) | 图像处理方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |