CN113411476A - 图像传感器控制装置、方法、存储介质和可移动对象 - Google Patents

Abstract

本发明涉及图像传感器控制装置、方法、存储介质和可移动对象。图像传感器控制装置包括：数据获取单元，其配置成获取与一个或多个移动场景有关的参数数据；以及指令生成单元，其配置成基于参数数据，生成用于控制图像传感器的操作模式的指令，其中，移动场景是带有图像传感器的可移动对象所处的场景；以及操作模式对应于图像传感器的有效像素的设置方式。根据本发明一个或多个实施例的方案通过在不同场景下对图像传感器进行不同的操作模式设置，使得可以在满足不同场景的感测需求的前提下，尽可能地节省功耗并降低对***的要求。

Description

图像传感器控制装置、方法、存储介质和可移动对象

技术领域

本发明涉及智能驾驶技术领域。具体而言，本发明涉及一种图像传感器控制装置、方法、存储介质和可移动对象。

背景技术

在高级辅助驾驶、半自动驾驶、全自动驾驶等领域中，通常采用各种各样的传感器来获取所驾驶对象（例如，车辆、飞行器、船舶等）自身部件的运转信息以及所驾驶对象周围的环境信息，从而为驾驶操作提供参考依据。

用于上述目的的常见传感器包括雷达、图像传感器、光传感器、温度传感器、压力传感器等。其中，图像传感器可以用于获取所驾驶对象周围的真实世界的直观图像表示，从而应用于环视、前/后视、变道辅助、停车辅助等各个方面。

发明内容

按照本发明的一个方面，提供一种图像传感器控制装置，其包括：数据获取单元，其配置成获取与一个或多个移动场景有关的参数数据；以及指令生成单元，其配置成基于参数数据，生成用于控制图像传感器的操作模式的指令，其中，移动场景是带有图像传感器的可移动对象所处的场景；以及操作模式对应于图像传感器的有效像素的设置方式。

作为上述方案的替代或补充，根据本发明一实施例的图像传感器控制装置还包括：数据处理单元，其配置成基于参数数据来确定多个移动场景中的特定移动场景；以及传感器控制单元，其配置成响应于指令而控制图像传感器的操作模式，并且指令生成单元还配置成基于所确定的特定移动场景，生成用于控制图像传感器的操作模式的指令。

作为上述方案的替代或补充，在根据本发明一实施例的图像传感器控制装置中，多个操作模式包括默认模式、跳过模式与组合模式，并且默认模式包括以对应于图像传感器的最高分辨率的第一像素集合作为有效像素的模式；跳过模式包括从第一像素集合中的一个或多个子集中分别选择像素来作为有效像素的一个或多个子跳过模式；以及组合模式包括将第一像素集合中的一个或多个子集的像素进行组合来作为有效像素的一个或多个子组合模式。

作为上述方案的替代或补充，在根据本发明一实施例的图像传感器控制装置中，参数数据包括以下各项中的至少一项：环境照度，其表示可移动对象所处环境的光照强度；运动速度，其表示可移动对象的移动速度；以及感测距离，其表示由图像传感器感测的对象距离可移动对象的距离。

作为上述方案的替代或补充，在根据本发明一实施例的图像传感器控制装置中，指令生成单元还配置成根据特定要求，来生成用于控制图像传感器的操作模式的指令，特定要求包括带宽要求、功耗要求、计算能力要求中的至少一项。

作为上述方案的替代或补充，在根据本发明一实施例的图像传感器控制装置中，指令生成单元还配置成：对应于图像传感器的设置位置，来生成相应的用于控制图像传感器的操作模式的指令。

作为上述方案的替代或补充，在根据本发明一实施例的图像传感器控制装置中，有效像素是用于构成感测图像的像素。

作为上述方案的替代或补充，在根据本发明一实施例的图像传感器控制装置中，环境照度通过所述图像传感器和/或光传感器来获取。

按照本发明的另一个方面，提供一种图像传感器控制方法，其包括：数据获取步骤，获取与一个或多个移动场景有关的参数数据；以及指令生成步骤，基于参数数据，生成用于控制图像传感器的操作模式的指令，其中，移动场景是带有图像传感器的可移动对象所处的场景；以及操作模式对应于图像传感器的有效像素的设置方式。

作为上述方案的替代或补充，根据本发明一实施例的图像传感器控制方法还包括：数据处理步骤，基于参数数据来确定多个移动场景中的特定移动场景；以及传感器控制步骤，响应于指令而控制图像传感器的操作模式，并且指令生成步骤还包括基于所确定的特定移动场景，生成用于控制图像传感器的操作模式的所述指令。

作为上述方案的替代或补充，在根据本发明一实施例的图像传感器控制方法中，多个操作模式包括默认模式、跳过模式与组合模式，并且默认模式包括以对应于图像传感器的最高分辨率的第一像素集合作为有效像素的模式；跳过模式包括从所述第一像素集合中的一个或多个子集中分别选择像素来作为有效像素的一个或多个子跳过模式；以及组合模式包括将第一像素集合中的一个或多个子集的像素进行组合来作为有效像素的一个或多个子组合模式。

作为上述方案的替代或补充，在根据本发明一实施例的图像传感器控制方法中，参数数据包括以下各项中的至少一项：环境照度，其表示可移动对象所处环境的光照强度；运动速度，其表示可移动对象的移动速度；以及感测距离，其表示由图像传感器感测的对象距离可移动对象的距离。

作为上述方案的替代或补充，在根据本发明一实施例的图像传感器控制方法中，指令生成步骤还包括根据特定要求，来生成用于控制图像传感器的操作模式的指令，特定要求包括带宽要求、功耗要求、计算能力要求中的至少一项。

作为上述方案的替代或补充，在根据本发明一实施例的图像传感器控制方法中，指令生成步骤还包括：对应于图像传感器的设置位置，来生成相应的用于控制图像传感器的操作模式的指令。

作为上述方案的替代或补充，在根据本发明一实施例的图像传感器控制方法中，有效像素是用于构成感测图像的像素。

作为上述方案的替代或补充，在根据本发明一实施例的图像传感器控制方法中，环境照度通过图像传感器和/或光传感器来获取。

按照本发明的又一个方面，提供一种计算机可读存储介质，其上存储有可由处理器执行的程序指令，所述程序指令在由处理器执行时，执行根据本发明的一个方面的任一实施例所述的图像传感器控制方法。

按照本发明的再一个方面，提供一种可移动对象，其包括根据本发明的一个方面的任一实施例所述的图像传感器控制装置。

作为上述方案的替代或补充，根据本发明一实施例的可移动对象是车辆、船舶、飞行器、电梯轿厢中的任何一个或多个。

根据本发明一个或多个实施例的方案通过在不同场景下对图像传感器进行不同的操作模式设置，使得可以在满足不同场景的感测需求的前提下，尽可能地节省功耗并降低对***的要求。

附图说明

本发明的上述和/或其他方面和优点将通过以下结合附图的各个方面的描述变得更加清晰和更容易理解，附图中相同或相似的单元采用相同的标号表示。附图包括：

图1为根据本发明一实施例的图像传感器控制装置100的示意性框图；

图2a-2c为根据本发明一实施例的组合模式和跳过模式的部分示例的示意图；

图3示出了根据本发明一实施例的多个图像传感器在车辆上的安装位置示意图；

图4a-4d示出了在不同的特定场景下对设置于车辆不同位置处的图像传感器的配置示例；以及

图5为根据本发明一实施例的图像传感器控制方法200的示意性流程图。

具体实施方式

在本说明书中，参照其中图示了本发明示意性实施例的附图更为全面地说明本发明。但本发明可以按不同形式来实现，而不应解读为仅限于本文给出的各实施例。给出的各实施例旨在使本文的披露全面完整，以将本发明的保护范围更为全面地传达给本领域技术人员。

诸如“包含”和“包括”之类的用语表示除了具有在说明书和权利要求书中有直接和明确表述的单元和步骤以外，本发明的技术方案也不排除具有未被直接或明确表述的其他单元和步骤的情形。诸如“第一”和“第二”之类的用语并不表示单元在时间、空间、大小等方面的顺序而仅仅是作区分各单元之用。

下文参考根据本发明实施例的方法和***的流程图说明、框图和/或流程图来描述本发明。将理解这些流程图说明和/或框图的每个框、以及流程图说明和/或框图的组合可以由计算机程序指令来实现。可以将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理单元的处理器以构成机器，以便由计算机或其他可编程数据处理单元的处理器执行的这些指令创建用于实施这些流程图和/或框和/或一个或多个流程框图中指定的功能/操作的部件。还应该注意在一些备选实现中，框中所示的功能/操作可以不按流程图所示的次序来发生。例如，依次示出的两个框实际可以基本同时地执行或这些框有时可以按逆序执行，具体取决于所涉及的功能/操作。

在可适用的情况下，可以使用硬件、软件或硬件和软件的组合来实现由本公开提供的各种实施例。另外，在可适用的情况下，在不脱离本公开的范围的情况下，本文中阐述的各种硬件部件和/或软件部件可以组合成包括软件、硬件和/或两者的复合部件。在可适用的情况下，在不脱离本公开的范围的情况下，本文中阐述的各种硬件部件和/或软件部件可以被分离成包括软件、硬件或两者的子部件。另外，在可适用的情况下，设想的是软件部件可以被实现为硬件部件，以及反之亦然。

现在参考图1，图1图示了根据本发明一实施例的图像传感器控制装置100的示意性框图。在图1中，图像传感器控制装置100可以包括数据获取单元110、数据处理单元120、指令生成单元130以及传感器控制单元140。

在一个实施例中，图像传感器控制装置100可以包括数据获取单元110和指令生成单元130。其中，图像传感器可以是图像采集设备和视频采集设备中的至少一种。常见的图像采集设备和视频采集设备可以是摄像头和相机，例如，模拟摄像头、数字摄像头、夜视摄像头、红外摄像头、具有各种视场（FOV）的摄像头等等。在使用多个摄像头的情况下，由多个摄像头采集的图像可以被进行数据融合，以得到更精确的结果。

数据获取单元110可以配置成获取与一个或多个移动场景有关的参数数据。其中，所述移动场景是带有所述图像传感器的可移动对象所处的场景。可移动对象可以是车辆、飞行器、船舶等，并且相应的移动场景类型可以是道路、天空、水域等。为了简洁起见，在后文中以车辆作为可移动对象的示例来进行说明，但是要理解的是，在可适用的情况下，根据本发明的方案能够被应用于与车辆、飞行器、船舶以及其他可移动对象（例如，升降机）相关联的情景。

在根据本发明的车辆的示例中，可以在例如自动驾驶视觉感知***中包括高像素（例如，8M像素）的摄像头和高带宽、大算力的域控制器。图像传感器的总像素数、单位面积上的像素数和目标检测算法的最远检测距离、不同光照条件下的信噪比和响应度、***带宽、域控制器算力和功耗等之间存在一系列依赖和制约关系。而单个图像传感器自身的缩放模式又为在不同应用场景下配置不同模式提供底层技术的支持。本发明的一个目的在于通过根据不同应用场景，将图像传感器配置成以不同的操作模式进行工作，来满足不同应用场景的需求并尽可能降低***功耗。

在车辆的示例中，与其移动场景有关的参数数据可以是，但不限于，以下中的任意一个或多个：环境照度、运动速度、感测距离等。

环境照度表示可移动对象（例如，车辆）所处环境的光照强度，其可以通过图像传感器和/或光传感器来获取。在一个实施例中，由图像传感器获取的图像数据可以被提供给处理单元（例如，数据处理单元120），处理单元可以对图像数据中有关亮度的信息进行提取以获得该图像所显示的场景的亮度。例如，可以使用图像像素数据的亮度平均值得到环境照度。此外，可以使用图像传感器像素亮度的统计值来得到环境照度。在另一个实施例中，可以设置专用的光照传感器来获取环境照度。可以择一地使用图像传感器或光照传感器来获取环境照度，或者可以共同使用该两者（例如，将图像传感器与光照传感器的数据进行融合、互补、校正等作用）来获取环境照度。

运动速度表示可移动对象的移动速度。通常，该移动速度是图像传感器所处的可移动对象相对于环境（例如，地面、天空、水域、电梯井等）的相对移动速度。在此情况下，可以通过例如轮速计等传感器来获取车辆的运动速度信息。在其他情况下，例如，对于车辆而言，在车辆周围近距离处存在大量其他车辆的拥堵场景中，运动速度还可以表示图像传感器所在车辆相对于周围车辆的移动速度。

感测距离表示由图像传感器感测的对象距离可移动对象的距离。例如，当用户希望通过图像传感器看清远处的场景或物体时，可以将有效像素设置地较多，使得用户更易于区分较远场景中出现的物体，反之亦然。

虽然此处仅给出了三个参数数据的示例，但是要理解的是，参数数据可以是使得可能需要对图像传感器的有效像素的设置进行调整的任何与移动场景有关的参数数据。例如，参数数据可以是车辆周围一定范围内的障碍物的数量等。

指令生成单元130可以配置成基于参数数据，生成用于控制图像传感器的操作模式的指令，其中操作模式对应于图像传感器的有效像素的设置方式。在某些实施例中，有效像素可以指用于构成感测图像的像素；在某些实施例中，有效像素可以指被进行采样的像素。以不同方式定义的有效像素的集合可能重合或产生交集。

对于多帧感测图像而言，并且以图像传感器的最高分辨率感测模式（在后文中也称为“默认模式”）作为参考，有效像素的数量可以不同，有效像素在通过最高分辨率感测模式获取的图像（在后文中也称为“最高分辨率图像”）中的位置可以不同；另外，单个有效像素可以不仅对应于最高分辨率图像中的一个像素，而是对应于最高分辨率图像中的多个像素或像素集合。

在指令生成单元130基于参数数据生成用于控制图像传感器的操作模式的指令中，指令生成单元可以将各个参数数据与预设阈值进行比较，并根据比较结果生成操作指令，其详细过程在以下具体描述。

在一个实施例中，考虑到环境照度的情况下，当所获取环境照度的值大于第一预设环境照度阈值时，表示环境中的光照强度足以进行高分辨率成像，因此指令生成单元130可以生成控制图像传感器保持默认模式或切换到默认模式的指令。默认模式可以包括以对应于图像传感器的最高分辨率的第一像素集合（例如，图像传感器的所有像素的集合）作为有效像素的模式，也就是说，默认模式可以对应于成像条件足以用于生成最高质量图像的场景，并且在后文中以此为例进行说明。然而，要理解的是，随着硬件的升级和对用户个性化的注重的提升，在条件允许的情况下，也可以由用户来选择其希望的默认模式。例如，当用户长期在夜间（环境照度值低的场景）驾车时，其可以将默认模式设置为有利于夜间感测的模式，诸如后文中将介绍的组合模式。或者，当用户希望节省***带宽或降低功耗时，可以将默认模式设置为对较少像素进行采样的模式，诸如后文中将介绍的跳过模式。

在一方面，当所获取的环境照度的值小于或等于第一预设环境照度阈值时，表示环境中的光照强度不足以进行高分辨率成像。因此，为了使得感测图像的画面不过于黑暗而使得人眼难以观看和分辨，指令生成单元130可以生成控制图像传感器进入组合模式或保持组合模式的指令。参考图2a和2b，组合模式可以包括但不限于将第一像素集合中的一个或多个子集的像素进行组合来作为有效像素的一个或多个如下的子组合模式。

在一个实施例中，组合模式是指特定的合并读出模式。例如，在该合并读出模式中，可以将相邻像素中感应的电荷加在一起，并以一个像素的模式读出。在水平方向合并读出的情况下，相邻行的特定数量的电荷被加在一起进行读出，在垂直方向合并读出的情况下，相邻列的特定数量的电荷被加在一起进行读出。

在各个子组合模式中，像素子集可以是默认模式的有效像素阵列（例如，图2a中以虚线示出的12*12个像素阵列）中的不同尺寸的像素的集合，例如M行*N列像素的集合，其中N、M为大于1的整数，并且M和N可以相同或不同。可以将每个M*N像素子集的像素进行组合（例如，组合成一个像素）。相应地，通过子组合模式得到的图像中的像素数量为默认模式的1/(M*N)。

例如，在示例的第一子组合模式中，M=N=2，可以将每2*2=4个像素的阵列（如图2a中的21所示）组合成一个有效像素，由此使得组合成的像素的亮度高于该4个像素的平均亮度，从而提高所产生的画面的亮度。由此方法形成的图像中的像素数量为默认模式的1/4，因此图像分辨率有所下降。

在示例的第二子组合模式中，M=2且N=1。例如，参考图2b，可以将两行中的对应列上的两个像素（如图2b中的23所示）组合成一个有效像素。在示例的第三子组合模式中，M=3且N=1。可以将三行中的对应列上的三个像素（如图2b中的24所示）或更多像素组合成一个有效像素。在第二子组合模式中，经过组合生成的图像的纵横比与默认模式下的图像相比会发生变化，使得图像中的场景发生畸变，因此可能较少采用该组合方式。

另外，M和N的值可以是固定的，使得仅具有一种子组合模式；也可以根据需要进行调整，使得具有多种子组合模式可供选择。在M、N值可调整的情况下，通常环境照度值越低，M和N的值会越大，由此将更多的像素组合成单个或多个有效像素，从而提高图像亮度。组合前后的像素数量的比可以是灵活的。例如，可以将2*2阵列的像素组合成1个有效像素（比为4:1）；可以将3*3阵列（如图2a中的22所示）的像素组合成1个（比为9:1）、2个（比为9:2）、3个（比为9:3）有效像素等，这取决于实际需要。

在各个子组合模式中，可以通过合理地设置组合前后的像素数量的比或是设置组合之后的像素的位置排布来使得经过组合生成的图像的纵横比与默认模式下的图像的纵横比一致。并且可以通过合理地使得像素子集产生交集来复用一些像素的信息，以保持图像的纵横比或满足其他要求。

虽然此处仅给出了若干个子组合模式的示例，但是要理解的是，子组合模式可以采用使得所产生图像能够达到所需亮度的任何组合方式。例如，可以根据图像中不同位置处的照度值来分块或分区地采用不同的组合方式，例如针对图像的不同区域采用不同的M和N值。

在另一方面，当所获取环境照度的值大于第一预设环境照度阈值时，表示环境中的光照强度足以进行高分辨率成像。在此情况下，指令生成单元130还可以配置成根据诸如***要求之类的特定要求，来生成用于控制图像传感器的操作模式的指令。其中，特定要求包括带宽要求、功耗要求、计算能力要求等中的任意一项或多项。为了节省***带宽、降低功耗、匹配***的处理单元的算力，可以在环境照度足够的情况下采取跳过模式。跳过模式包括从第一像素集合中的一个或多个子集中分别选择像素来作为有效像素的一个或多个子跳过模式。

在一个实施例中，跳过模式是指特定的跳采样模式。例如，在该跳采样模式中，可以通过选取某些像素点、并仅对该些像素点进行采样来降低分辨率。可以对行和列的数据进行成对读取，可以不对每一行或每一列都进行采样，以降低图像的分辨率。

在各个子跳过模式中，每个有效像素选自默认模式的有效像素阵列（例如，图2c中以虚线示出的12*12个像素阵列）中的不同尺寸的像素的子集，例如M行*N列像素的子集，其中N、M为大于1的整数，并且M和N可以相同或不同。可以在每个M*N像素子集中选择一个或多个像素。相应地，在选择1个像素的情况下，通过跳过模式得到的图像中的像素数量为默认模式的1/(M*N)。

例如，在示例的第一子跳过模式中，M=N=2，可以在每2*2=4个像素的阵列（如图2c中的25所示）子集中选择一个有效像素（以黑色示出），并仅针对该选择的像素进行采样处理，从而在一定程度上节省采样所需的功耗，并减小需要被传输和处理的像素的数量，以节约带宽并减小所需算力。由此方法形成的图像中的像素数量为默认模式的1/4，因此图像分辨率有所下降。在示例的第二子跳过模式中，M=N=3，可以从如图2c中的26所示的3*3阵列子集中选择1个（以黑色示出）、2个、3个有效像素等，这取决于实际需要。

另外，M和N的值可以是固定的，使得仅具有一种子跳过模式；也可以根据需要进行调整，使得具有多种子跳过模式可供选择。在可调整的情况下，通常***各方面性能越低，N和M的值会越大，由此在由更多像素构成的阵列中选择单个或多个有效像素，从而降低对***性能的消耗和要求。用于选择有效像素的N*M像素阵列子集中的像素数量与子集中选择的有效像素数量的比可以是灵活的。例如，可以从4*6的像素子集阵列中选择2*3个有效像素进行采样。

在各个子跳过模式中，可以通过合理地设置像素子集中的像素数量与从子集中选择的像素数量的比或是设置被选择的像素的位置排布来使得经过跳过操作生成的图像的纵横比与默认模式下的图像的纵横比一致。并且可以通过合理地使得像素子集产生交集来复用一些像素的信息，以保持图像的纵横比或满足其他要求。

虽然此处仅给出了若干个子跳过模式的示例，但是要理解的是，子跳过模式可以采用使得在产生图像过程中降低***能耗的任何跳过方式。例如，可以根据图像中不同位置处的照度值来分块或分区地采用不同的跳过方式，例如针对图像的不同区域采用不同的M和N值。

在一个实施例中，图像传感器控制装置100还可以包括数据处理单元120。数据处理单元120可以配置成基于参数数据来确定多个移动场景中的特定移动场景，然后将所确定的移动场景提供给指令生成单元130。相应地，指令生成单元130可以配置成基于接收的所确定的特定移动场景，来生成用于控制图像传感器的操作模式的指令。

指令生成单元130还可以配置成对应于图像传感器的设置位置，来生成相应的用于控制图像传感器的操作模式的指令。例如，参见图3，示出了根据实施例的多个图像传感器在车辆上的安装位置示意图。在图3中所示的示例中，车辆上设置了共5种类型的7个8M像素的图像传感器。其中，类型1的前视图像传感器具有120°的视场（FOV），并安装于车辆的前挡风玻璃后；类型2的前视图像传感器具有30°的视场和比类型1更远的感测距离，并同样安装于车辆的前挡风玻璃后；类型3的后视图像传感器具有70°的视场，并安装于车辆的后窗上沿；类型4的两个侧前视图像传感器具有120°的视场，并分别安装于车辆的左右A柱角上；类型5的两个侧后视图像传感器具有120°的视场，并分别安装于车辆的左右翼子板上。要指出的是，图3中仅给出了车辆图像传感器的一个安装示例，在实践中，无论是图像传感器的数量、类型、安装位置或其余设置，均可以视情况而更改。

接下来，以图3中的图像传感器为示例，来给出数据处理单元120的配置示例。

在车辆的存储装置中，可以预先存储有一个或多个预设环境照度阈值、预设运动速度阈值、预设感测距离阈值等，以用于对移动场景进行分类和确定。下面以单个预设环境照度阈值和预设运动速度阈值作为示例进行说明。但是要理解的是，在需要的情况下，可以设置多个同种类阈值来对移动场景进行更细致的分类。

在一个实施例中，数据处理单元120可以配置成：在环境照度值不超过第一环境照度阈值且运动速度不超过第一运动速度阈值的情况下，确定当前场景为“低照度低速”场景；在环境照度值不超过第一环境照度阈值且运动速度超过第一运动速度阈值的情况下，确定当前场景为“低照度高速”场景；在环境照度值超过第一环境照度阈值且运动速度不超过第一运动速度阈值的情况下，确定当前场景为“高照度低速”场景；在环境照度值超过第一环境照度阈值且运动速度超过第一运动速度阈值的情况下，确定当前场景为“高照度高速”场景。

在“低照度低速”场景下，需要图像传感器具有尽量大的单像素感光面积，以提高对场景中的光照的灵敏度，从而提高成像的信噪比。在此情况下，数据处理单元120可以将所确定的“低照度低速”场景类型提供给指令生成单元130。指令生成单元130根据该场景可以生成控制图像传感器进入如上所述的组合模式或保持组合模式的指令。由此生成的感测图像的像素被缩小到默认模式的1/(M*N)。如图4a中所示，当M=N=2时，5种类型的摄像头均被从8M像素缩小为2M像素的模式。

在“低照度高速”场景下，需要图像传感器具有尽量大的单像素感光面积，以提高对场景中的光照的灵敏度，从而提高成像的信噪比。然而，由于车辆的运动速度较快从而对检测距离的要求较高，考虑到安全因素，车辆的前视摄像头仍然可以采用较高像素的模式。在此情况下，数据处理单元120可以将所确定的“低照度高速”场景类型提供给指令生成单元130。指令生成单元130根据该场景可以生成控制除了前视摄像头以外的图像传感器进入如上所述的组合模式或保持组合模式的指令。由此生成的感测图像的像素被缩小到默认模式的1/(M*N)。并且指令生成单元130根据该场景还可以生成控制前视摄像头进入如上所述的默认模式或保持默认模式的指令。如图4b中所示，当M=N=2时，除了两个前视摄像头保持为8M的默认模式，其余3种类型的摄像头均被从8M像素缩小为2M像素的模式。

在“高照度低速”场景下，光照条件较好，因此成像效果一般优于低照度场景。同时，对检测距离的要求一般低于高速场景，因此图像传感器可以工作在较低像素的模式下，从而满足特定的***需求并降低***的带宽和算力负载，从而降低***功耗等指标。在此情况下，数据处理单元120可以将所确定的“高照度低速”场景类型提供给指令生成单元130。指令生成单元130根据该场景可以生成控制图像传感器进入如上所述的跳过模式或保持跳过模式的指令。由此生成的感测图像的像素被缩小到默认模式的1/(M*N)。由于移动场景较易于获得高质量的感测图像，在确保安全的情况下，也可以在有多个前视摄像头的情况下，生成关闭冗余前视摄像头的指令而只保留一个或多个必要的摄像头。如果较为注重安全，车辆的前视摄像头仍然可以采用较高像素的模式，因此指令生成单元130根据该场景还可以生成控制前视摄像头进入如上所述的默认模式或保持默认模式的指令。如图4c中所示，当M=N=2时，有4种类型的摄像头被从8M像素缩小为2M像素的模式，并且一个感测距离较远的30°视场前视摄像头被关闭。利用该设置方式，用于摄像头的带宽和对处理单元的算力要求可以近似降低到默认模式下的1/5或甚至更低。

在“高照度高速”场景下，光照条件较好，因此成像效果一般优于低照度场景。在此情况下，数据处理单元120可以将所确定的“高照度低速”场景类型提供给指令生成单元130。指令生成单元130根据该场景可以生成控制图像传感器进入如上所述的跳过模式或保持跳过模式的指令。由此生成的感测图像的像素被缩小到默认模式的1/(M*N)。然而，由于车辆的运动速度较快从而对检测距离的要求较高，考虑到安全因素，车辆的前视摄像头仍然可以采用较高像素的模式。因此指令生成单元130根据该场景还可以生成控制前视摄像头进入如上所述的默认模式或保持默认模式的指令。如图4c中所示，当M=N=2时，有4种类型的摄像头被从8M像素缩小为2M像素的模式，并且一个感测距离较远的30°视场前视摄像头被保持为8M像素的默认模式。

虽然以上通过单个预设环境照度阈值，在光照强度方面将移动场景简单分为低照度和高照度两类，但是也可以设置例如两个预设环境照度阈值来将移动场景简单分为低照度和高照度两类。

例如，数据处理单元120可以在环境照度超过第一环境照度阈值的情况下确定进入高照度场景，并在环境照度低于第二环境照度阈值的情况下确定进入低照度场景，其中第二环境照度阈值低于第一环境照度阈值一适当量。通过这样的设置方式，在环境照度围绕第一次环境照度阈值频繁波动时，可以避免数据处理单元120所确定的场景在高照度和低照度之间频繁切换而引起的***运算量增加，从而进一步降低***能耗。

以上仅给出了一些特定场景下的摄像头配置方式，在本文中没有提及的其他场景中，也可以按照需求来对多个摄像头进行适应性的缩放调整。此外，取决于各个可移动对象的运算速度、感知算法的检测和距离性能等，可以根据***对场景改变做出相应的操纵控制所需的时间，来确定是否对图像传感器进行缩放。

在一个实施例中，图像传感器控制装置100还可以包括传感器控制单元140，其可以配置成响应于指令生成单元130生成的指令而控制图像传感器的操作模式，从而使得图像传感器退出某个操作模式（例如，默认模式、跳过模式、组合模式等）、保持处于某个操作模式或切换到某个操作模式中。

现在参考图5，图5图示了根据本发明一实施例的图像传感器控制方法200的示意性流程图。在图5中，图像传感器控制方法200可以包括数据获取步骤S210、数据处理步骤S220、指令生成步骤S230以及传感器控制步骤S240。

在一个实施例中，图像传感器控制方法200可以包括数据获取步骤S210和指令生成步骤S230。在数据获取步骤S210中，可以包括获取与一个或多个移动场景有关的参数数据。其中，所述移动场景是带有所述图像传感器的可移动对象所处的场景。可移动对象可以是车辆、飞行器、船舶等，并且相应的移动场景类型可以是道路、天空、水域等。为了简洁起见，在后文中以车辆作为可移动对象的示例来进行说明，但是要理解的是，在可适用的情况下，根据本发明的方案能够被应用于与车辆、飞行器、船舶以及其他可移动对象（例如，升降机）相关联的情景。

在根据本发明的车辆的示例中，可以在例如自动驾驶视觉感知***中包括高像素（例如，8M像素）的摄像头和高带宽、大算力的域控制器。图像传感器的总像素数、单位面积上的像素数和目标检测算法的最远检测距离、不同光照条件下的信噪比和响应度、***带宽、域控制器算力和功耗等之间存在一系列依赖和制约关系。而单个图像传感器自身的缩放模式又为在不同应用场景下配置不同模式提供底层技术的支持。本发明的一个目的在于通过根据不同应用场景，将图像传感器配置成以不同的操作模式进行工作，来满足不同应用场景的需求并尽可能降低***功耗。

在车辆的示例中，与其移动场景有关的参数数据可以是，但不限于，以下中的任意一个或多个：环境照度、运动速度、感测距离等。

环境照度表示可移动对象（例如，车辆）所处环境的光照强度，其可以通过图像传感器和/或光传感器来获取。在一个实施例中，由图像传感器获取的图像数据可以在处理步骤（例如，数据处理步骤S220）被处理，例如可以对图像数据中有关亮度的信息进行提取以获得该图像所显示的场景的亮度。例如，在数据处理步骤S220中可以使用图像像素数据的亮度平均值得到环境照度。此外，可以使用图像传感器像素亮度的统计值来得到环境照度。在另一个实施例中，可以利用专用的光照传感器来获取环境照度。可以择一地使用图像传感器或光照传感器来获取环境照度，或者可以共同使用该两者（例如，将图像传感器与光照传感器的数据进行融合、互补、校正等作用）来获取环境照度。

对运动速度和感测距离的描述可以参考上文的对应内容，在此不作重复描述。虽然此处仅给出了三个参数数据的示例，但是要理解的是，参数数据可以是使得可能需要对图像传感器的有效像素的设置进行调整的任何与移动场景有关的参数数据。例如，参数数据可以是车辆周围一定范围内的障碍物的数量等。

在指令生成步骤S230中，可以基于参数数据，生成用于控制图像传感器的操作模式的指令，其中操作模式对应于图像传感器的有效像素的设置方式。在某些实施例中，有效像素可以指用于构成感测图像的像素；在某些实施例中，有效像素可以指被进行采样的像素。以不同方式定义的有效像素的集合可能重合或产生交集。对于多帧感测图像而言，并且以图像传感器的最高分辨率感测模式（在后文中也称为“默认模式”）作为参考，有效像素的数量可以不同，有效像素在通过最高分辨率感测模式获取的图像（在后文中也称为“最高分辨率图像”）中的位置可以不同；另外，单个有效像素可以不仅对应于最高分辨率图像中的一个像素，而是对应于最高分辨率图像中的多个像素或像素集合。

在指令生成步骤S230中，基于参数数据生成用于控制图像传感器的操作模式的指令。具体来说，可以将各个参数数据与预设阈值进行比较，并根据比较结果生成操作指令，其详细过程在以下具体描述。

在一个实施例中，考虑到环境照度的情况下，当所获取环境照度的值大于第一预设环境照度阈值时，表示环境中的光照强度足以进行高分辨率成像，因此在指令生成步骤S230中可以生成控制图像传感器保持默认模式或切换到默认模式的指令。默认模式可以包括以对应于图像传感器的最高分辨率的第一像素集合（例如，图像传感器的所有像素的集合）作为有效像素的模式，也就是说，默认模式可以对应于成像条件足以用于生成最高质量图像的场景，并且在后文中以此为例进行说明。然而，要理解的是，随着硬件的升级和对用户个性化的注重的提升，在条件允许的情况下，也可以由用户来选择其希望的默认模式。例如，当用户长期在夜间（环境照度值低的场景）驾车时，其可以将默认模式设置为有利于夜间感测的模式，诸如后文中将介绍的组合模式。或者，当用户希望节省***带宽或降低功耗时，可以将默认模式设置为对较少像素进行采样的模式，诸如后文中将介绍的跳过模式。

在一方面，当所获取的环境照度的值小于或等于第一预设环境照度阈值时，表示环境中的光照强度不足以进行高分辨率成像。因此，为了使得感测图像的画面不过于黑暗而使得人眼难以观看和分辨，在指令生成步骤S230中可以生成控制图像传感器进入组合模式或保持组合模式的指令。关于组合模式可以参考图2a和2b以及上文关于图2a和2b的描述。

在另一方面，当所获取环境照度的值大于第一预设环境照度阈值时，表示环境中的光照强度足以进行高分辨率成像。在此情况下，在指令生成步骤S230中还可以根据诸如***要求之类的特定要求，来生成用于控制图像传感器的操作模式的指令。其中，特定要求包括带宽要求、功耗要求、计算能力要求等中的任意一项或多项。为了节省***带宽、降低功耗、匹配***的处理单元的算力，可以在环境照度足够的情况下采取跳过模式。跳过模式包括从第一像素集合中的一个或多个子集中分别选择像素来作为有效像素的一个或多个子跳过模式。关于跳过模式可以参考图2c以及上文关于图2c的描述。

在一个实施例中，图像传感器控制方法200还可以包括数据处理步骤S220。在数据处理步骤S220中，可以基于参数数据来确定多个移动场景中的特定移动场景，然后将所确定的移动场景应用于指令生成步骤S230中。相应地，在指令生成步骤S230中可以基于所确定的特定移动场景，来生成用于控制图像传感器的操作模式的指令。

在指令生成步骤S230中，还可以对应于图像传感器的设置位置，来生成相应的用于控制图像传感器的操作模式的指令。下面以图3中的图像传感器为示例，来给出数据处理步骤S220的操作示例。

在车辆的存储装置中，可以预先存储有一个或多个预设环境照度阈值、预设运动速度阈值、预设感测距离阈值等，以用于对移动场景进行分类和确定。下面以单个预设环境照度阈值和预设运动速度阈值作为示例进行说明。但是要理解的是，在需要的情况下，可以设置多个同种类阈值来对移动场景进行更细致的分类。

在一个实施例中，在数据处理步骤S220中：在环境照度值不超过第一环境照度阈值且运动速度不超过第一运动速度阈值的情况下，确定当前场景为“低照度低速”场景；在环境照度值不超过第一环境照度阈值且运动速度超过第一运动速度阈值的情况下，确定当前场景为“低照度高速”场景；在环境照度值超过第一环境照度阈值且运动速度不超过第一运动速度阈值的情况下，确定当前场景为“高照度低速”场景；在环境照度值超过第一环境照度阈值且运动速度超过第一运动速度阈值的情况下，确定当前场景为“高照度高速”场景。

在“低照度低速”场景下，需要图像传感器具有尽量大的单像素感光面积，以提高对场景中的光照的灵敏度，从而提高成像的信噪比。在此情况下，通过数据处理步骤S220可以确定“低照度低速”场景类型，并应用于指令生成步骤S230。在指令生成步骤S230中，可以根据该场景类型生成控制图像传感器进入如上所述的组合模式或保持组合模式的指令。由此生成的感测图像的像素被缩小到默认模式的1/(M*N)。如图4a中所示，当M=N=2时，通过传感器控制步骤240，5种类型的摄像头均被从8M像素缩小为2M像素的模式。

在“低照度高速”场景下，需要图像传感器具有尽量大的单像素感光面积，以提高对场景中的光照的灵敏度，从而提高成像的信噪比。然而，由于车辆的运动速度较快从而对检测距离的要求较高，考虑到安全因素，车辆的前视摄像头仍然可以采用较高像素的模式。在此情况下，通过数据处理步骤S220可以确定“低照度高速”场景类型，并应用于指令生成步骤S230。在指令生成步骤S230中，可以根据该场景类型生成控制除了前视摄像头以外的图像传感器进入如上所述的组合模式或保持组合模式的指令。由此生成的感测图像的像素被缩小到默认模式的1/(M*N)。并且在指令生成步骤S230中，还可以根据该场景类型生成控制前视摄像头进入如上所述的默认模式或保持默认模式的指令。如图4b中所示，当M=N=2时，通过传感器控制步骤240，除了两个前视摄像头保持为8M的默认模式，其余3种类型的摄像头均被从8M像素缩小为2M像素的模式。

在“高照度低速”场景下，光照条件较好，因此成像效果一般优于低照度场景。同时，对检测距离的要求一般低于高速场景，因此图像传感器可以工作在较低像素的模式下，从而满足特定的***需求并降低***的带宽和算力负载，从而降低***功耗等指标。在此情况下，通过数据处理步骤S220可以确定“高照度低速”场景类型，并应用于指令生成步骤S230。在指令生成步骤S230中，可以根据该场景类型生成控制图像传感器进入如上所述的跳过模式或保持跳过模式的指令。由此生成的感测图像的像素被缩小到默认模式的1/(M*N)。由于移动场景较易于获得高质量的感测图像，在确保安全的情况下，也可以在有多个前视摄像头的情况下，生成关闭冗余前视摄像头的指令而只保留一个或多个必要的摄像头。如果较为注重安全，车辆的前视摄像头仍然可以采用较高像素的模式，因此在指令生成步骤S230中，还可以根据该场景类型生成控制前视摄像头进入如上所述的默认模式或保持默认模式的指令。如图4c中所示，当M=N=2时，通过传感器控制步骤240，有4种类型的摄像头被从8M像素缩小为2M像素的模式，并且一个感测距离较远的30°视场前视摄像头被关闭。利用该设置方式，用于摄像头的带宽和对处理单元的算力要求可以近似降低到默认模式下的1/5或甚至更低。

在“高照度高速”场景下，光照条件较好，因此成像效果一般优于低照度场景。在此情况下，通过数据处理步骤S220可以确定“高照度低速”场景类型，并应用于指令生成步骤S230。在指令生成步骤S230中，可以根据该场景类型生成控制图像传感器进入如上所述的跳过模式或保持跳过模式的指令。由此生成的感测图像的像素被缩小到默认模式的1/(M*N)。然而，由于车辆的运动速度较快从而对检测距离的要求较高，考虑到安全因素，车辆的前视摄像头仍然可以采用较高像素的模式。因此在指令生成步骤S230中，还可以根据该场景类型生成控制前视摄像头进入如上所述的默认模式或保持默认模式的指令。如图4c中所示，当M=N=2时，通过传感器控制步骤240，有4种类型的摄像头被从8M像素缩小为2M像素的模式，并且一个感测距离较远的30°视场前视摄像头被保持为8M像素的默认模式。

虽然以上通过单个预设环境照度阈值，在光照强度方面将移动场景简单分为低照度和高照度两类，但是也可以设置例如两个预设环境照度阈值来将移动场景简单分为低照度和高照度两类。

例如，在数据处理步骤S220中，可以在环境照度超过第一环境照度阈值的情况下确定进入高照度场景，并在环境照度低于第二环境照度阈值的情况下确定进入低照度场景，其中第二环境照度阈值低于第一环境照度阈值一适当量。通过这样的设置方式，在环境照度围绕第一次环境照度阈值频繁波动时，可以避免所确定的场景在高照度和低照度之间频繁切换而引起的***运算量增加，从而进一步降低***能耗。

以上仅给出了一些特定场景下的摄像头配置方式，在本文中没有提及的其他场景中，也可以按照需求来对多个摄像头进行适应性的缩放调整。此外，取决于各个可移动对象的运算速度、感知算法的检测和距离性能等，可以根据***对场景改变做出相应的操纵控制所需的时间，来确定是否对图像传感器进行缩放。

在一个实施例中，图像传感器控制方法200还可以包括传感器控制步骤S240，在该步骤中，响应于在指令生成步骤S230中生成的指令而控制图像传感器的操作模式，从而使得图像传感器退出某个操作模式（例如，默认模式、跳过模式、组合模式等）、保持处于某个操作模式或切换到某个操作模式中。

根据本发明一个或多个实施例的图像传感器控制方法200根据多个参数数据（例如，环境照度、运动速度等）来确定当前场景并设置车载图像传感器的操作模式，以实现在节省带宽、功耗、算力等***资源的同时达到最好的感测效果。

按照本发明的又一个方面，提供一种计算机可读存储介质，其上存储有可由处理器执行的程序指令，所述程序指令在由处理器执行时，执行根据本发明的一个方面的任一实施例所述的图像传感器控制方法。

按照本发明的再一个方面，提供一种可移动对象，其包括根据本发明的一个方面的任一实施例所述的图像传感器控制装置。

作为上述方案的替代或补充，根据本发明一实施例的可移动对象是车辆、船舶、飞行器、电梯轿厢中的任何一个或多个。

根据本发明一个或多个实施例的方案通过在不同场景下对图像传感器进行不同的操作模式设置，使得可以在满足不同场景的感测需求的前提下，尽可能地节省功耗并降低对***的要求。

前述公开不旨在将本公开限制为所公开的精确形式或特别使用领域。因此，设想的是，鉴于本公开，无论在本文中明确描述还是暗示，本公开的各种替代实施例和/或修改都是可能的。在已经像这样描述了本公开的实施例的情况下，本领域普通技术人员将认识到的是，在不脱离本公开的范围的情况下，可以在形式和细节上进行改变。因此，本公开仅由权利要求限制。

Claims (19)

1. 一种图像传感器控制装置，包括：

数据获取单元，其配置成获取与一个或多个移动场景有关的参数数据；以及

指令生成单元，其配置成基于所述参数数据，生成用于控制所述图像传感器的操作模式的指令，

其中，所述移动场景是带有所述图像传感器的可移动对象所处的场景；以及

所述操作模式对应于所述图像传感器的有效像素的设置方式。

2. 根据权利要求1所述的装置，还包括：

数据处理单元，其配置成基于所述参数数据来确定所述多个移动场景中的特定移动场景；以及

传感器控制单元，其配置成响应于所述指令而控制所述图像传感器的操作模式，并且

所述指令生成单元还配置成基于所确定的特定移动场景，生成用于控制所述图像传感器的所述操作模式的所述指令。

3.根据权利要求1或2所述的装置，其中，所述多个操作模式包括默认模式、跳过模式与组合模式，并且

所述默认模式包括以对应于所述图像传感器的最高分辨率的第一像素集合作为所述有效像素的模式；

所述跳过模式包括从所述第一像素集合中的一个或多个子集中分别选择像素来作为有效像素的一个或多个子跳过模式；以及

所述组合模式包括将所述第一像素集合中的一个或多个子集的像素进行组合来作为有效像素的一个或多个子组合模式。

4.根据权利要求1或2所述的装置，其中，所述参数数据包括以下各项中的至少一项：

环境照度，其表示所述可移动对象所处环境的光照强度；

运动速度，其表示所述可移动对象的移动速度；以及

感测距离，其表示由所述图像传感器感测的对象距离所述可移动对象的距离。

5.根据权利要求1所述的装置，其中，所述指令生成单元还配置成：

根据特定要求，来生成用于控制所述图像传感器的所述操作模式的所述指令，所述特定要求包括带宽要求、功耗要求、计算能力要求中的至少一项。

6.根据权利要求1所述的装置，其中，所述指令生成单元还配置成：

对应于所述图像传感器的设置位置，来生成相应的用于控制所述图像传感器的所述操作模式的所述指令。

7.根据权利要求1所述的装置，其中，所述有效像素是用于构成感测图像的像素。

8.根据权利要求4所述的装置，其中，所述环境照度通过所述图像传感器和/或光传感器来获取。

9. 一种图像传感器控制方法，包括：

数据获取步骤，获取与一个或多个移动场景有关的参数数据；以及

指令生成步骤，基于所述参数数据，生成用于控制所述图像传感器的操作模式的指令，

其中，所述移动场景是带有所述图像传感器的可移动对象所处的场景；以及

所述操作模式对应于所述图像传感器的有效像素的设置方式。

10. 根据权利要求9所述的方法，还包括：

数据处理步骤，基于所述参数数据来确定所述多个移动场景中的特定移动场景；以及

传感器控制步骤，响应于所述指令而控制所述图像传感器的操作模式，并且

所述指令生成步骤还包括基于所确定的特定移动场景，生成用于控制所述图像传感器的所述操作模式的所述指令。

11.根据权利要求9或10所述的方法，其中，所述多个操作模式包括默认模式、跳过模式与组合模式，并且

所述默认模式包括以对应于所述图像传感器的最高分辨率的第一像素集合作为所述有效像素的模式；

所述跳过模式包括从所述第一像素集合中的一个或多个子集中分别选择像素来作为有效像素的一个或多个子跳过模式；以及

所述组合模式包括将所述第一像素集合中的一个或多个子集的像素进行组合来作为有效像素的一个或多个子组合模式。

12.根据权利要求9或10所述的方法，其中，所述参数数据包括以下各项中的至少一项：

环境照度，其表示所述可移动对象所处环境的光照强度；

运动速度，其表示所述可移动对象的移动速度；以及

感测距离，其表示由所述图像传感器感测的对象距离所述可移动对象的距离。

13.根据权利要求9所述的方法，其中，所述指令生成步骤还包括：

根据特定要求，来生成用于控制所述图像传感器的所述操作模式的所述指令，所述特定要求包括带宽要求、功耗要求、计算能力要求中的至少一项。

14.根据权利要求9所述的方法，其中，所述指令生成步骤还包括：

对应于所述图像传感器的设置位置，来生成相应的用于控制所述图像传感器的所述操作模式的所述指令。

15.根据权利要求9所述的方法，其中，所述有效像素是用于构成感测图像的像素。

16.根据权利要求12所述的方法，其中，所述环境照度通过所述图像传感器和/或光传感器来获取。

17.一种计算机可读存储介质，其上存储有可由处理器执行的程序指令，所述程序指令在由所述处理器执行时，执行根据权利要求9-16中任一项所述的图像传感器控制方法。

18.一种可移动对象，其包括根据权利要求1-8中任一项所述的图像传感器控制装置。

19.根据权利要求18所述的可移动对象，所述可移动对象是车辆、船舶、飞行器、电梯轿厢中的任何一个或多个。

Images