CN117296333A - Hdr混合方案内的图像位置相关模糊控制 - Google Patents

Hdr混合方案内的图像位置相关模糊控制 Download PDF

Info

Publication number
CN117296333A
CN117296333A CN202280016971.8A CN202280016971A CN117296333A CN 117296333 A CN117296333 A CN 117296333A CN 202280016971 A CN202280016971 A CN 202280016971A CN 117296333 A CN117296333 A CN 117296333A
Authority
CN
China
Prior art keywords
vehicle
exposure
pixel
pixel array
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280016971.8A
Other languages
English (en)
Inventor
G·鲍尔斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mobileye Vision Technologies Ltd
Original Assignee
Mobileye Vision Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mobileye Vision Technologies Ltd filed Critical Mobileye Vision Technologies Ltd
Publication of CN117296333A publication Critical patent/CN117296333A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

公开了用于改进对相对于交通工具相机具有不同相对角速度的对象的检测的技术。该技术用于对像素曝光值进行选择性地加权，以有利于像素阵列内的某些像素比其他像素有更长或更短的曝光时间。公开了一种选择性像素曝光加权***，该***用于基于像素阵列内的像素的位置以及诸如交通工具的移动和/或定向之类的其他因素而对在像素阵列内采集的像素的曝光值进行加权。该技术有利地使自主交通工具(AV)或高级驾驶员辅助***(ADAS)能够更好地利用现有的相机并且消除运动模糊和其他伪像。

Description

HDR混合方案内的图像位置相关模糊控制
相关申请的交叉引用
本申请要求于2021年12月30日提交的临时申请第63295043号的优先权，该申请的内容通过引用以其整体并入本文中。
技术领域
本文中描述的方面总体上涉及像素混合技术，并且具体地涉及基于图像内的像素位置和采集图像的相机的位置来调节对不同曝光的像素加权的像素混合技术。
背景技术
自主交通工具(Autonomous vehicle,AV)和高级驾驶员辅助***(advanceddriver-assistance system,ADAS)用于标识包括人员、标志和光源的道路上的所有对象，以保持乘客和周围道路用户以及道路基础设施的安全。出于此目的，一个或多个相机可以被安装在交通工具内部和/或外部。然而，目前针对AV和ADAS使用的相机具有缺陷，因为作为对象相对于交通工具的相对速度的结果，相机通常无法捕获高质量的图像。
附图说明
并入到本文中并形成本说明书的一部分的所附附图图示出本公开的多个方面，并且与说明书一起，进一步用于解释多个方面的原理，并使相关领域的技术人员能够制造和使用多个方面。
图1图示出根据本公开的一个或多个方面的示例交通工具的示例。
图2图示出根据本公开的一个或多个方面的交通工具的安全性***的各种示例电子组件；
图3A图示出根据本公开的一个或多个方面的相对于交通工具相机的位置具有不同角速度的对象的示例；
图3B图示出根据本公开的一个或多个方面的相对于交通工具相机的位置不具有角速度的对象的示例；
图3C图示出根据本公开的一个或多个方面的相对于前置交通工具相机的位置具有不同角速度的对象的示例；
图3D图示出根据本公开的一个或多个方面的相对于侧置交通工具相机的位置具有不同角速度的对象的示例；
图4图示出根据本公开的一个或多个方面的用于生成具有选择性加权的像素的输出图像的示例过程流。
图5图示出根据本公开的一个或多个方面的用于生成具有选择性加权的像素的输出图像的示例位置相关图。
图6A-图6H图示出根据本公开的一个或多个方面的不同角速度对所捕获的图像的像素的影响的示例；
图7图示出根据本公开的一个或多个方面的示例过程流。
图8图示出根据本公开的一个或多个方面的示例计算设备。
将参照所附附图描述本公开的示例性方面。其中要素第一次出现的附图通常由相对应的附图标记中最左面的(一个或多个)数字指示。
具体实施方式
在下面的描述中，阐述了众多具体细节以便提供对本公开的多个方面的完全理解。然而，对本领域技术人员将显而易见的是，可以在没有这些具体细节的情况下实施包括结构、***和方法在内的多个方面。本文中的描述和表示是由本领域的经验或技术人员使用来向本领域其他技术人员最有效地传达其工作的实质的通用手段。在其他实例中，未详细地描述公知的方法、过程、组件、和电路***，以避免不必要地使本公开的多个方面变得模糊。
图1示出了根据本公开的各个方面的包括安全性***200(也参见图2)的交通工具100。交通工具100和安全性***200本质上是示例性的，并且因此可出于解释的目的而被简化。要素的位置和关系距离(如本文中所讨论，这些附图并未按比例绘制)是作为示例而被提供，并且不限于此。取决于特定实现方式和/或应用的要求，安全性***200可以包括各种组件，并且可以促进对交通工具100的导航和/或控制。交通工具100可以是可包括任何自动化级别(例如，级别0-5)的自主交通工具(AV)，任何自动化级别包括无自动化或完全自动化(级别5)。交通工具100可以将安全性***200实现为任何合适类型的自主或驾驶辅助控制***(例如，包括AV和/或高级驾驶员辅助***(ADAS))的一部分。安全性***200可包括在制造期间集成为交通工具100的一部分、附加设备或售后设备的一部分、或这些的组合的一个或多个组件。由此，如图2所示的安全性***200的各个组件都可以集成为交通工具的***的一部分和/或安装在交通工具100中的售后***的一部分。
一个或多个处理器102可与交通工具100的电子控制单元(electronic controlunit,ECU)或交通工具100的发动机控制单元集成或分离，该一个或多个处理器102在本文中可被视为一种专用类型的电子控制单元。安全性***200可以生成数据来控制或辅助控制交通工具100的ECU和/或其他组件，以直接地或间接地控制交通工具100的驾驶。然而，本文中描述的多个方面不限于在自主或半自主交通工具内的实现方式，因为这些是通过示例来提供的。本文中描述的多个方面可以被实现为能够在特定驾驶环境中、在有或没有任何合适级别的人类辅助的情况下行进的任何合适类型的交通工具的一部分。因此，在各种方面中，各种交通工具组件中的一个或多个交通工具组件(例如，诸如本文中参考图2讨论的交通工具组件)可被实现为标准交通工具(即，不使用自主驾驶功能的交通工具)、完全自主交通工具和/或半自主交通工具的一部分。在作为标准交通工具的一部分实现的方面中，应当理解的是，安全性***200可以执行替代功能，并且由此根据此类方面，安全性***200可以替代地表示可以由标准交通工具实现的、不一定利用自主或半自主控制相关功能的任何合适类型的***。
不管如图1和图2所示的交通工具100和伴随的安全性***200的特定实现方式如何，安全性***200可以包括一个或多个处理器102、一个或多个图像采集设备104(诸如例如，被配置成用于在任何合适的波长范围上执行图像采集的一个或多个相机或者任何其他合适的传感器)、一个或多个位置传感器106(其可以被实现为诸如全球导航卫星***(Global Navigation Satellite System,GNSS)(例如，全球定位***(GlobalPositioning System,GPS))之类的位置和/或位置标识***)、一个或多个存储器202、一个或多个地图数据库204，一个或多个用户接口206(诸如例如，显示器、触摸屏、麦克风、扬声器、一个或多个按钮和/或开关等)、以及一个或多个无线收发器208、210、212。
无线收发器208、210、212可以被配置成用于根据任何合适数量和/或类型的所需无线电通信协议或标准来操作。作为示例，无线收发器(例如，第一无线收发器208)可以根据短程移动无线电通信标准(诸如例如，蓝牙、Zigbee等)来进行配置。作为另一示例，无线收发器(例如，第二无线收发器210)可以根据中程或宽程移动无线电通信标准(诸如例如，根据相对应的3GPP(第三代合作伙伴计划)标准(截至撰写本文时，最新版本是3GPP发布16(2020))的3G(例如，通用移动通信***-UMTS)、4G(例如，长期演进-LTE)或5G移动无线电通信标准等)来进行配置。
作为进一步的示例，无线收发器(例如，第三无线收发器212)可以根据无线局域网通信协议或标准(诸如例如，根据IEEE 802.11工作组标准(在撰写本申请时其最新版本是于2021年2月26日发布的IEEE标准802.11TM-2020(例如，802.11、802.11a、802.11b、802.11g、802.11n、802.11p、802.11-12、802.11ac、802.11ad、802.11ah、802.11ax、802.11ay等)))来配置。一个或多个无线收发器208、210、212可被配置为用于经由天线***(未示出)、使用空中接口来传输信号。作为附加的示例，收发器208、210、212中的一个或多个收发器可以被配置成用于实现一个或多个交通工具到外界(vehicle to everything,V2X)通信协议，其可以包括交通工具到交通工具(vehicle to vehicle,V2V)、交通工具到基础设施(vehicle to infrastructure,V2I)、交通工具到网络(vehicle to network,V2N)、交通工具到行人(vehicle to pedestrian,V2P)、交通工具到设备(vehicle todevice,V2D)、交通工具到电网(vehicle to grid,V2G)、以及任何其他合适的通信协议。
无线收发器208、210、212中的一个或多个可以附加地或替代地被配置成用于使得交通工具100与一个或多个其他远程计算设备之间能够经由一个或多个无线链路140进行通信。这可以包括例如与如图1所示的远程服务器或其他合适的计算***150的通信。如图1所示的示例将此类远程计算***150图示为云计算***，尽管这是作为示例而非限制，并且计算***150可以根据任何合适的体系结构和/或网络来实现，以及可以构成包括此类***的一个或若干个物理计算机、服务器、处理器等。作为另一示例，计算***150可以被实现为边缘计算***和/或网络。
一个或多个处理器102可以实现任何合适类型的处理电路***、其他合适的电路***、存储器等，并且利用任何合适类型的体系结构。一个或多个处理器102可被配置为由交通工具100实现的控制器，以执行各种交通工具控制功能、导航功能等。例如，一个或多个处理器102可被配置成用作用于交通工具100的控制器，以分析传感器数据和所接收的通信、计算用于交通工具100执行以供对交通工具100进行导航和/或对交通工具100进行控制的特定动作、以及使得可以根据例如AV或ADAS***的相对应的动作被执行。一个或多个处理器和/或安全性***200可以形成高级驾驶员辅助***(ADAS)或自主交通工具(AV)***的全部或部分。
此外，一个或多个处理器102中的处理器214A、214B、216和/或218中的一者或多者可被配置成用于互相协作和/或与交通工具100的其他组件协作以收集关于环境的信息(例如，传感器数据，诸如图像、深度信息(例如，激光雷达(Lidar))等)。在本文中，一个或多个处理器102的处理器214A、214B、216和/或218中的一者或多者可以被称为“处理器”。由此，处理器可以被(独立地或一起)实现以根据所获取的数据(例如，可用于道路体验管理(RoadExperience Management,REM)映射技术的道路路段数据(Road Segment Data,RSD)信息)来创建映射信息，其细节将被进一步描述以下。作为另一示例，处理器可以被实现为处理通过无线通信链路(例如，链路140)从远程服务器接收到的地图信息(例如，用于REM地图技术的路书信息)以在AV地图上定位交通工具100，该AV地图可以由处理器用来控制交通工具100。
一个或多个处理器102可以包括一个或多个应用处理器214A、214B、图像处理器216、通信处理器218，并且可以附加地或替代地包括出于简洁的目的而未在附图中示出的任何其他合适的处理设备、电路***、组件等。类似地，取决于特定应用的要求，图像采集设备104可以包括任何合适数量的图像采集设备和组件。图像采集设备104可包括一个或多个图像捕获设备(例如，相机、CCD(charge coupling device,电荷耦合器件)、或任何其他类型的图像传感器)。安全性***200也可包括将一个或多个处理器102通信地连接至一个或多个图像采集设备104的数据接口。例如，第一数据接口可包括任何有线和/或无线的一个或多个第一链路220，该一个或多个第一链路220用于将由一个或多个图像采集设备104采集的图像数据传输至一个或多个处理器102(例如，传输至图像处理器216)。
无线收发器208、210、212可以例如经由第二数据接口被耦合到一个或多个处理器102(例如，被耦合到通信处理器218)。第二数据接口可以包括用于将由无线收发器208、210、212采集的无线电传输数据传输至一个或多个处理器102(例如，传输至通信处理器218)的任何有线和/或无线的一个或多个第二链路222。此类传输还可以包括交通工具100与交通工具100的环境中的一个或多个其他(目标)交通工具之间的通信(单向或双向)(例如，以促进交通工具100鉴于在交通工具100的环境中的其他(目标)交通工具或与其他(目标)交通工具一起协作地导航)，或甚至包括向正在传输的交通工具100的附近区域中的未指定接收者进行的广播传输。
存储器202以及一个或多个用户接口206可以经由第三数据接口耦合到一个或多个处理器102中的每个处理器。第三数据接口可以包括任何有线和/或无线的一个或多个第三链路224。此外，位置传感器106可例如经由第三数据接口耦合至一个或多个处理器102中的每个处理器。
一个或多个处理器102的每个处理器214A、214B、216、218可被实现为任何合适数量和/或类型的基于硬件的处理设备(例如，处理电路***)，并且可以共同地(即与一个或多个处理器102一起)形成本文中讨论的一种或多种类型的控制器。图2中所示的体系结构被提供以易于解释以及作为示例，并且交通工具100可包括任何合适数量的一个或多个处理器102，该一个或多个处理器102中的每个处理器可以类似地被配置成用于利用经由各种接口接收到的数据并且用于执行一个或多个特定任务。
例如，一个或多个处理器102可以形成被配置成用于执行交通工具100的各种控制相关功能(诸如对特定的交通工具跟随速度、速率、加速度、制动、转向、轨迹等的计算和执行等等)的控制器。作为另一示例，除了一个或多个处理器102之外或者作为一个或多个处理器102的替代，交通工具100可以实现可以形成不同类型的控制器的其他处理器(未示出)，该控制器被配置成用于执行附加的或替代类型的控制相关功能。每个控制器可以负责控制与交通工具100相关联的特定子***和/或控制器。根据此类方面，每个控制器可以经由相应的接口(例如，220、222、224、232等)从图2所示的相应耦合的组件接收数据，其中无线收发器208、210和/或212经由第二链路222向各自的控制器提供数据，这些第二链路222在该示例中用作相应的无线收发器208、210和/或212与每个相应的控制器之间的通信接口。
为了提供另一示例，应用处理器214A、214B可以单独地表示与一个或多个处理器102结合工作以执行特定的控制相关任务的相应的控制器。例如，应用处理器214A可以被实现为第一控制器，而应用处理器214B可以被实现为被配置成用于执行本文中进一步讨论的其他类型的任务的不同类型的控制器。根据此类方面，一个或多个处理器102可以经由各种接口220、222、224、232等从图2所示的相应耦合的组件接收数据，并且通信处理器218可以经由相应耦合的链路240A、240B向每个控制器提供从其他交通工具接收到的(或要被传输到其他交通工具的)通信数据，链路240A、240B在该示例中用作相应的应用处理器214A、214B与通信处理器218之间的通信接口。
一个或多个处理器102可以附加地被实现为与交通工具100的任何其他合适的组件通信，以确定交通工具在驾驶时或在任何其他合适的时间的状态。例如，交通工具100可包括一个或多个交通工具计算机、传感器、ECU、接口等，上述各项可被统称为如图2所示的交通工具组件230。一个或多个处理器102被配置成用于经由附加的数据接口232(其可以表示任何合适类型的链路并且根据任何合适的通信协议(诸如CAN总线通信)操作)与交通工具组件230通信。使用经由数据接口232接收到的数据，一个或多个处理器102可以确定任何合适类型的交通工具状态信息，诸如交通工具100的当前驱动齿轮、当前发动机速度、加速能力等。作为另一示例，用于控制速度、加速度、制动、转向等的各种度量可经由交通工具组件230接收，这可包括接收指示此类度量或此类度量如何随时间变化的变化的程度的任何合适类型的信号(例如，制动力、车轮角度、倒档等)。
一个或多个处理器可包括任何合适数量的其他处理器214A、214B、216、218，这些处理器中的每个处理器可包括诸如以下各项的处理电路***：子处理器、微处理器、预处理器(诸如，图像预处理器)、图形处理器、中央处理单元(central processing unit,CPU)、支持电路、数字信号处理器、集成电路、存储器、或适合于运行应用和以及适合于数据处理(例如，图像处理、音频处理等)和分析和/或使交通工具控制在功能上能够实现的任何其他类型的设备。在一些方面中，每个处理器214A、214B、216、218可包括任何合适类型的单核心或多核心处理器、微控制器、中央处理单元等。这些处理器类型可各自包括具有本地存储器和指令集的多个处理单元。此类处理器可包括用于从多个图像传感器接收图像数据的视频输入，并且还可包括视频输出能力。
本文中公开的处理器214A、214B、216、218中的任何处理器可被配置成用于根据程序指令执行某些功能，这些程序指令可被存储在每个相应的处理器214A、214B、216、218的本地存储器中，或者经由作为安全性***200的一部分或在安全性***200的外部的另一存储器访问。该存储器可以包括一个或多个存储器202。不管存储器的具体类型和位置如何，存储器可以存储软件和/或可执行(即，计算机可读)指令，这些软件和/或可执行指令当由相关处理器(例如，由一个或多个处理器102、处理器214A、214B、216、218中的一个或多个等等)执行时控制安全性***200的操作并且可以执行诸如用下面进一步详细描述的方面所标识的功能之类的其他功能。例如，这可以包括：(例如，经由一个或多个位置传感器106)标识交通工具100的位置；标识用图像采集设备104标识的特定相机的位置；修改应用于用经由用图像采集设备104标识的像素阵列采集的像素标识的曝光值的权重以生成输出图像等，如本文中进一步讨论的。
由一个或多个处理器214A、214B、216、218访问的相关存储器(例如，一个或多个存储器202)还可以存储一个或多个数据库和图像处理软件、以及训练过的***，诸如例如神经网络或深度神经网络，该神经网络或深度神经网络可以被利用以执行根据本文中所讨论的方面中的任何方面的任务。由一个或多个处理器214A、214B、216、218访问的相关存储器(例如，一个或多个存储器202)可以被实现为任何合适数量和/或类型的非暂态计算机可读介质，诸如随机存取存储器、只读存储器、闪存存储器、盘驱动器、光学存储装置、磁带存储装置、可移动存储装置或任何其他合适类型的存储装置。
如图2所示的与安全性***200相关联的组件是为了易于解释并且作为示例而非限制而被图示。安全性***200可以包括附加的、更少的或替代的组件，如本文中参考图2所示和讨论的。此外，安全性***200的一个或多个组件可以被集成或以其他方式被组合到公共处理电路***组件中或与图2所示的那些组件分离以形成不同且分离的组件。例如，安全性***200的组件中的一个或多个组件可以互相集成在公共管芯或芯片上。作为说明性示例，一个或多个处理器102以及由一个或多个处理器214A、214B、216、218访问的相关存储器(例如，一个或多个存储器202)可以集成在公共芯片、管芯、封装上，等等，并且一起包括被配置成用于执行一项或多项特定任务或功能的控制器或***。同样，如本文中进一步讨论的，此类控制器或***可以被配置成用于执行与修改应用于使用由用图像采集设备104标识的像素阵列采集的像素标识的曝光值的加权相关的各种功能，以生成输出图像，以控制基于传感器的图像、交通工具100的各个方面，和/或控制交通工具100的状态，如本文中进一步详细讨论的。
在一些方面中，安全性***200可进一步包括诸如用于测量交通工具100的速度的速度传感器108(例如，速度计)之类的组件。安全性***200还可包括：一个或多个传感器105，其可包括用于测量交通工具100沿一个或多个轴线的加速度的一个或多个加速计(或单轴线或多轴线)；以及附加地或替代地，一个或多个陀螺仪传感器。一个或多个传感器105可进一步包括附加的传感器或不同的传感器类型，诸如超声传感器、红外传感器、热传感器、数字罗盘等。安全性***200可进一步包括一个或多个雷达(radar)传感器110和一个或多个LIDAR传感器112(其可以集成在交通工具100的前照灯中)。雷达传感器110和/或LIDAR传感器112可以被配置成用于提供经预处理的传感器数据，诸如雷达目标列表或LIDAR目标列表。第三数据接口(例如，一个或多个链路224)可以将一个或多个传感器105、速度传感器108、一个或多个雷达传感器110、以及一个或多个LIDAR传感器112耦合至一个或多个处理器102中的至少一个处理器。
自主交通工具(AV)地图数据和道路体验管理(REM)
被称为REM地图数据(或者替代地被称为路书地图数据或AV地图数据)的数据也可以被存储在由一个或多个处理器214A、214B、216、218访问的相关存储器(例如，一个或多个存储器202)中，或以任何合适的位置和/或格式被存储，诸如被存储在本地或基于云的数据库中，这些数据经由交通工具与一个或多个外部组件之间的通信(例如，经由收发器208、210、212)等来访问。值得注意的是，虽然本文中被称为“AV地图数据”，但是数据可以在任何合适的交通工具平台中实现，该交通工具平台可以包括具有任何合适的自动化级别(例如，级别0-5)的交通工具，如上所述。
不管AV地图数据被存储在哪里和/或在哪里被访问，AV地图数据都可以包括在其中交通工具100行进的导航环境中容易能标识的已知地标的地理位置。地标的位置可以根据来自在同一道路上行驶的、收集关于地标的外观和/或位置的数据的其他交通工具的历史累积来生成(例如，“众包”)。由此，每个地标可以与已经建立的预定的地理坐标集相关。因此，除了使用基于位置的传感器(诸如GNSS)之外，由AV地图数据提供的地标数据库使得交通工具100能够使用一个或多个图像采集设备104来标识地标。一旦被标识，交通工具100可以实现诸如LIDAR、加速度计、速度计等之类的其他传感器，或来自图像采集设备104的图像，以评测交通工具100相对于经标识的地标位置的位置和定位。
此外，交通工具100可以确定其自身的运动，这被称为“自我运动”。自我运动总体上用于计算机视觉算法和其他类似算法，以表示跨多个帧的交通工具相机的运动，这提供了可用于从相应的图像计算场景的3D结构的基线(即，空间关系)。交通工具100可以分析其自身运动以跟踪交通工具100相对于经标识的已知地标的位置和定向。因为地标是用预定的地理坐标来标识的，所以交通工具100可以基于使用地标相关地理坐标确定其相对于经标识的地标的位置来确定其在地图上的地理定位和位置。这样做提供了不同的优点，该优点在于将小规模位置跟踪的益处与GNSS定位***的可靠性相结合，同时避免了这两种***的缺点。进一步应当注意的是，以这种方式对自我运动的分析是可以使用单眼成像来实现以确定交通工具的位置与(一个或多个)已知地标的已知位置之间的关系、由此辅助交通工具对其自身进行定位的算法的一个示例。然而，自我运动对于其他类型的技术来说不是必要的或相关，并且因此对于使用单眼成像进行定位来说不是必需的。由此，根据本文中描述的方面，交通工具100可以利用任何合适类型的定位技术。
由此，AV地图数据总体上被构建为一系列步骤的一部分，这可能会涉及选择加入到数据收集过程中的任何合适数量的交通工具。当每个交通工具收集数据时，数据被分类为经标记的数据点，然后该数据被传输到云端或到另一个合适的外部位置。然后，合适的计算设备(例如，云服务器)分析来自同一道路上的各个驾驶的数据点，并将这些数据点相互聚合和对齐。在对齐已被执行后，数据点用于定义道路基础设施的精确轮廓。接下来，相关语义被识别，该相关语义使交通工具能够理解即时驾驶环境，即链接到经分类的数据点的特征和对象被定义。例如，以这种方式定义的特征和对象可以包括到驾驶环境的交通灯、道路箭头、标志、道路边缘、可驾驶路径、车道分割点、停车线、车道标记等，以便交通工具可以使用AV地图数据容易地标识这些特征和对象。然后，这些信息被编译成路书地图，该路书地图构成了驾驶路径组、诸如特征和对象之类的语义道路信息、以及聚合的驾驶行为。
例如，可以作为一个或多个存储器202的一部分被存储或者经由计算***150经由(一个或多个)链路140被访问的地图数据库204可包括任何合适类型的数据库，这些数据库被配置成用于存储针对交通工具100(例如，针对安全性***200)的(数字)地图数据。一个或多个处理器102可以使用合适的通信网络(例如，通过蜂窝网络和/或互联网等)通过有线或无线数据连接(例如，(一个或多个)链路140)将信息下载到地图数据库204。同样，地图数据库204可以存储AV地图数据，其包括与诸如项目(包括道路、水景、地理特征、商业、感兴趣的点、餐馆、加油站等)之类的各种地标在参考坐标系中的位置有关的数据。
由此，作为AV地图数据的一部分，地图数据库204不仅可以存储此类地标的位置，还可以存储与这些地标有关的描述符，包括例如与所存储的特征中的任何特征相关联的名称，并且还可以存储诸如项目的精确位置和定向之类的与项目的细节有关的信息。在一些情形中，路书地图数据可存储稀疏数据模型，其包括针对交通工具100的某些道路特征(例如，车道标记)或目标轨迹的多项式表示。AV地图数据还可以包括各种公认的地标的所存储的表示，这些所存储的表示可以被提供以确定或更新交通工具100相对于目标轨迹的已知位置。地标表示可以包括诸如地标类型、地标位置、以及其他潜在标识符之类的数据字段。AV地图数据还可以包括非语义特征，这些非语义特征包括环境中某些对象或特征的点云、以及特征点和描述符。
地图数据库204可以用除AV地图数据之外的数据来扩充，和/或地图数据库204和/或AV地图数据可以部分或全部驻留作为远程计算***150的一部分。如本文中所讨论，可以被存储在地图数据库204和/或远程计算***150中的已知地标的位置和地图数据库信息可以形成本文中所称的“AV地图数据”、“REM地图数据”、或“路书地图数据”。由此，一个或多个处理器102可以处理交通工具100的环境的传感信息(诸如图像、雷达信号、来自对两个或更多个图像的LIDAR或立体处理的深度信息)以及位置信息(诸如GPS坐标、交通工具的自我运动等)，以通过使用AV地图中包含的信息来确定交通工具100相对于已知地标的当前定位、位置和/或定向。由此，交通工具的位置的确定可以以这种方式被细化。该技术的某些方面可以附加地或替代地被包括在定位技术(诸如映射和路由模型)中。
像素阵列加权
同样，一个或多个图像采集设备104可以形成安全性***200的一部分，并且可以被实现为被配置成用于采集任何合适的波长范围内的图像的任何合适数量和类型的基于图像的传感器，诸如相机、LIDAR传感器等。在任何情况下，一个或多个图像采集设备104可经由安全性***200的一个或多个组件来操作、监测和/或控制，安全性***200可被实现为AV或ADAS***的一部分。例如，一个或多个处理器102、处理器214A、214B、216、218等中的一个或多个处理器可以与一个或多个图像采集设备104通信和/或控制一个或多个图像采集设备104。这可以包括：修改一个或多个图像采集设备104关于如何采集图像的操作参数；修改应用于使用由用图像采集设备104标识的像素阵列采集的像素标识的曝光值的加权以生成输出图像；监测一个或多个图像采集设备104的设置和/或操作参数等。
如本文中进一步讨论的，安全性***200可以修改用一个或多个图像采集设备104标识的像素的曝光值权重，以确保所捕获的图像内的图像或感兴趣区域(例如，道路表面、对象等)的高质量。根据本文中进一步讨论的多个方面，这可以通过调节用像素阵列中的每个像素标识的曝光权重来促进，使得较长曝光时间值和较短曝光时间值可以基于以下各项或多或少地进行加权：相机相对于交通工具的位置、图像传感器像素阵列内的像素的位置、和/或诸如交通工具速度、偏航、逐曝光设置的增益、积分时间等的其他因素。由此，对像素权重的调节确保针对某些像素的曝光值基于所采集的图像的视场(field of view,FoV)内的对象的相对运动来与其他像素的曝光值不同地进行加权。
例如，AV或ADAS交通工具中的相机通常用于标识远距离(例如，50m)处的对象，以使交通工具100能够确定在道路上观察到的变化(诸如停止的汽车)并对其做出反应。然而，当对象位于距交通工具100相对距离处并且相对于交通工具100以不同的相对速度行进时，该用例变得更加复杂。此外，这些差异给相机用例添加了挑战，因为较远距离处的对象可能会要求更长的曝光时间以被检测到，并且此类对象可能会使用诸如快速打开和关闭的发光二极管之类的闪烁的光源。在此类情况中，相机积分时间必须超过这些光源的振荡或闪烁以标识这些光源。相反因为此类运动模糊将使得计算机视觉算法对此类对象进行分类的能力降级，因此距离较近且通过相机速度较快的对象要求较短的积分时间以最小化所捕获的图像中的运动模糊。
参考图3A-图3D进一步展示这个问题。例如，图3A图示出交通工具100以高速向前行进的示例，而图3B示出了交通工具100停止的情况。如图3A-图3B所示的交通工具100使用安装在交通工具前部的相机，其具有指向行进方向的相对应的FoV。与位于交通工具前部的对象相比，如图3A所示的对象相对于相机的FoV左侧(即，像素阵列的左侧)具有更高的角速度。由此，与交通工具100前部的对象相比，具有更高的角速度的对象被定位成朝向相机的像素阵列的左部分。因此，如果相同的曝光权重跨整个像素阵列被使用，则当交通工具处于运动时，使用由相机实现的像素阵列左侧的像素成像的对象可能会受到模糊。
参考图3C-图3D进一步展示这个效果。例如，图3C和图3D两者都示出了向前移动的交通工具，如图3A中的情况。然而，如图3C中示出的交通工具100实现了前置相机(类似于图3A中的交通工具)，而图3D中示出了使用侧置相机的交通工具。由此，如图3C中示出的，不同的对象基于它们在相机的FoV内的位置(即，相对于它们在相机的像素阵列内的位置)具有不同的相对角速度。图3D还图示出侧置相机的情况。换句话说，对象的相对角速度是交通工具速度和相对于成像对象的定向以及成像对象在相机的FoV内的位置的函数，它也取决于相机相对于交通工具的位置。
由此，为了改进对相对于交通工具相机具有不同相对角速度的对象的检测，本文中描述的方面提供选择性像素曝光加权***，该***用于基于像素阵列内的像素的位置以及诸如交通工具的移动和/或定向、相机在交通工具上的位置等之类的其他因素对像素的曝光值进行加权。本文中描述的方面有利地消除了对适应AV或ADAS的需要并且使得能够使用现有相机，由此减少了成本和时间。如本文中进一步讨论的，这些方面用于对像素曝光值进行选择性地加权，以有利于像素阵列内的某些像素比其他像素有更长或更短的曝光时间。
图4图示出根据本公开的一个或多个方面的、用于生成具有选择性加权的像素的输出图像的示例过程流。例如，与本文中参考图4所讨论的过程流400相关联的功能可以经由用交通工具100和/或安全性***200标识的合适的计算设备和/或处理电路***来执行。例如，这可以包括：一个或多个处理器102；处理器214A、214B、216、218等中的一个或多个处理器，这些处理器执行存储在合适存储器(例如，一个或多个存储器202)中的指令。在其他方面中，与本文中参考图4所讨论的过程流400相关联的功能可以例如经由使用用相应的相机标识的图像传感器标识的处理电路***来执行，该处理电路***可以被实现为片上***(system on a chip,SoC)、专用集成电路(application specific integrated circuit,ASIC)或以其他方式被集成作为用一个或多个图像采集设备104标识的图像传感器的一部分。在又一些方面中，与本文中参考图4所讨论的过程流400相关联的功能可以例如经由使用可以用交通工具100标识的任何合适类型的计算设备(例如，芯片、售后产品等)标识的处理电路***来执行，或者以其他方式与交通工具100的一个或多个组件进行通信。
如图4所示的过程流400可以开始于使用用图像传感器标识的像素阵列402来采集图像和相对应的像素曝光值集。针对用图像传感器标识的每个像素，像素曝光值表示曝光值集。当图像被采集或者替代地可以被存储在任何合适的存储器(诸如例如，一个或多个存储器202)中时，曝光值集可以从一个或多个图像采集设备104的相机(即，图像传感器)被接收。由此，用像素阵列标识的图像传感器可以针对每个像素顺序地或同时地捕获一系列长曝光值和短曝光值(即，用由每个像素使用的不同的积分时间标识的曝光值)，以经由相应的光电二极管收集电荷。然后，所得到的像素值可以从组合的曝光值生成。初始曝光值(即，在如下文进一步讨论的那样被加权和组合之前)是基于场景上下文(例如，明亮或黑暗的场景)来确定的。
如上所述，多曝光拼合框404可以表示经由任何合适类型的处理电路***对像素混合算法的执行。由此，出于此目的像素曝光值可以被提供、访问、传输等等到多曝光拼合框404。换句话说，(来自每次曝光的)各个像素捕获从像素阵列402转移到多曝光拼合框404。这可以根据由将像素阵列402耦合到多曝光拼合框404的箭头表示的任何合适类型和/或数量的数据接口来执行。例如，多曝光拼合框404可以实现诸如数据接口之类的附加硬件和/或软件组件，该数据接口耦合到用像素阵列402标识的图像传感器，并且使得多曝光拼合框404能够接收像素曝光值。替代地，此类数据接口可以促进多曝光拼合框404从合适的存储器位置取回已经经由图像传感器存储的像素曝光值。
像素混合算法用于经由选择性曝光值加权过程的应用来混合或组合不同的长像素曝光值和短像素曝光值。也就是说，各方面包括像素混合算法基于像素阵列402内的每个像素的位置以及驾驶状况和/或交通工具状态信息(诸如交通工具速度、交通工具是否正在转弯等)来计算或以其他方式确定曝光值权重。由此，在框406处用于混合长曝光值和短曝光值以产生所得到的输出图像的曝光值权重可以基于像素阵列内的像素的位置和被提供到像素混合算法的其他控制输入而改变。在一方面中，位置依赖性以及由此在逐像素基础上应用的特定曝光值权重可以基于位置相关加权图来确定，该位置相关加权图是相机位置(即，图像传感器位置)相对于用每个相应的图像传感器标识的交通工具和/或方向(即，FoV)的函数。
同样，像素曝光值集可以用基于图像的传感器的像素阵列402来标识。由此，像素阵列402中的每个像素可以或者顺序地(例如，串行地)或者同时地采集两个或更多个曝光。可以各自表示相应的曝光值的这些多个曝光可以使用任何合适的技术(包括已知技术)以这种方式来获得。例如，高动态范围(high dynamic range,HDR)像素值可以被表示为与不同的积分时间相对应的不同的像素曝光值的加权和，其可以被用作用于提供然后可以被用于生成输出图像的HDR像素值的已知技术的一部分。例如，下文的等式1表示用于生成输出像素值的已知技术：
等式1：
输出像素值＝
f(w1(x，y)·HDR_gain1(exp1integration，gain)·Exp1(x，y)+w2(x，y)·HDR_gain2(exp2integration，gain)·Exp2(x，y)+…)(输出像素值＝f(w1·HDR_gain1(指数1积分，增益)·Exp1(x，y)+w2·HDR_gain2(指数2积分，增益)·Exp2(x，y)+…))
参考上文的等式1，(x，y)记号指示用输出像素值标识的像素在像素阵列402内的物理位置。例如，如果像素阵列402包括M×N个像素，则像素阵列402内的像素位置(x，y)可以在(0，0)与(M，N)之间变化。HDR_增益(HDR_gain)值表示除了相应的加权值w之外还应用于每个相应的曝光值Exp的HDR增益设置。由此，对于典型的HDR输出图像，像素值根据上文的等式1来计算，其中可以使用关于积分时间和传感器增益的信息来对不同的曝光值进行加权。然而，并且如下文进一步指出的，当前***未能考虑像素阵列402内的像素的位置来调节加权值w。
图6A-图6H图示出在以常规方式将宽度应用于阵列中的像素时未能考虑像素位置的示例。如图6A所示，速度限制标志包括由于加权过重的较长的曝光时间而产生的伪像，因为该标志包括未用较长的曝光时间充分成像的快速闪烁的光。图6B示出了由于加权过重的较长的曝光时间而产生的成像标志中的模糊。此外，图6C图示出侧置交通工具相机，其示出了当交通工具正在转弯或处于运动时由于加权过重的较长的曝光时间而产生的所采集的图像模糊度，而当交通工具如图6D所示没有移动或转弯时不是这种情况。
图6E和图6F还图示出在交通工具移动时对不同的曝光时间的使用。如图6E中所示的图像是在该示例中使用11ms(长)的曝光时间捕获的，而图6F中所示的图像是使用1ms(短)的曝光时间捕获的。这对于图6G-图6H中的示例图像也是如此，其中图6G图示出以11ms曝光捕获到的图像，并且图6H图示出以1ms曝光捕获到的图像。从每个这些图像集中可以看出，较长的曝光时间会导致交通工具处于运动时出现明显的模糊。
由此，本文中描述的方面包括接收像素曝光值集的多曝光拼合框404，该像素曝光值集表示针对如本文中所述的像素阵列402内的每个像素捕获的曝光值(例如，其中每个像素具有一个或多个短曝光值和一个或多个长曝光值)。然后，多曝光拼合框404基于该信息来确定每个像素的所得到的值，该值被提供到输出图像框406。例如，这可以包括对经修改的曝光值的应用(作为应用所确定的曝光权重的结果)，然后经修改的曝光值逐像素被组合以提供用于在框406处生成输出图像的像素值。
由此，多曝光拼合框404可以经由任何合适的数量和/或类型的连接耦合到合适的存储器、显示器、用交通工具100标识的一个或多个图像传感器、交通工具100的一个或多个组件等，这些连接在图4中被表示为将各个框互相耦合的箭头。这些连接促进将数据从各种交通工具组件转移到用于实现经由多曝光拼合框404(诸如，经由一个或多个处理器102、处理器214A、214B、216、218中的一个或多个处理器等)执行的像素混合算法的组件。该数据可以包括用于生成输出图像的像素曝光值、交通工具状态信息(诸如交通工具速度和偏航)和/或用于像素混合算法的任何其他合适的信息(诸如基于图像的数据)，其可以包括位置相关权重、积分和逐曝光的增益等，如图4所示。该数据可以根据再次由将多曝光拼合框404耦合到其他框的箭头表示的任何合适类型和/或数量的数据接口来转移，如图4所示。
像素混合算法可以使用用于基于像素阵列402内的每个像素的位置以及其他因素来调节用于曝光组合的曝光权重的位置相关加权图。例如，用交通工具100标识的每个相机可以实现用作标识像素阵列的各个部分的“掩模”的位置相关加权图。此类位置相关加权图的示例在图5中示出，并且图示出像素阵列402的左部分、右部分和中心部分。用位置相关加权图标识的像素阵列402的部分可以是任何合适的数量、大小和/或形状。由此，如图5所示的部分是示例性的而非限制性的，并且位置相关加权图可以包括附加的、更少的或替代的部分和/或构成替代的形状。在任何情况下，包含在像素阵列402的每个相应的部分内的像素以彼此相同的方式进行加权，但是可以相对于像素阵列402的其他部分中的像素进行不同的加权。位置相关加权图还可以包括针对不同相机位置的不同部分(即，不同的数量、大小和/或形状或部分)。换句话说，经由多曝光拼合框404实现的像素混合算法可以基于相机的位置、其中成像对象可能会具有不同角速度的像素阵列内的位置和/或本文中所述的其他交通工具状况来调节每个相机的相应的像素阵列内的每个像素的曝光权重。
例如，下文的等式2表示根据本文中描述的各方面的用于生成输出像素值的技术：
等式2：
输出像素值＝
f(w1(x，y)·HDR_gain1(exp1integration，gain)·Exp1(x，y)+w2(x，y)·HDR_gain2(exp2integration，gain)·Exp2(x，y)+…)(输出像素值＝f(w1(x，y)·HDR_gain1(指数1积分，增益)·Exp1(x，y)+w2(x，y)·HDR_gain2(指数2积分，增益)·Exp2(x，y)+…))
参考上文的等式2，(x，y)记号还指示用输出像素值标识的像素在像素阵列402内的物理位置，如上文针对等式1所述，其中其它符号保持与等式1中所示相同。然而，如等式2所示的权重w1、w2等现在是位置相关的，即根据每个像素在像素阵列402内的位置、以及使用如本文中所述的其他因素来计算。
例如，通过多曝光拼合框404实现的像素混合算法可以根据等式3、针对像素阵列402内的每个像素计算每个相应的曝光值的权重w1、w2等，等式3如下所示：
等式3：w(x，y)＝wPixel Array Location(x，y)·wVehicle speed·wVehicle yaw…
换句话说，针对像素阵列内的每个像素w(x，y)表示曝光权重集w1、w2等，曝光权重集w1、w2相应地根据上文的等式2分别应用于曝光值和HDR增益值，以生成用于生成输出图像的输出像素值。像素混合算法可以用于基于多个变量以这种方式计算每个像素的每个像素曝光权重值，多个变量可以包括积分和逐曝光的增益、如上所述的位置相关加权图内的像素的位置(即，wPixel Array Location(x，y)(w像素阵列位置(x，y))，这进而取决于特定的交通工具相机位置)、以及交通工具的参数(诸如当前速度和/或偏航(即，WVehicle speed·WVehicle yaw(w交通工具速度·w交通工具偏航)))。当然，曝光权重可以使用比等式3中所示且在本文中讨论的参数附加的、更少的或替代的参数来计算，并且由此交通工具速度、偏航和像素阵列402内的像素的位置的使用是通过示例而非限制的方式提供的。
由此，各方面包括像素混合算法，该像素混合算法基于像素阵列内的像素的位置、诸如积分时间和逐曝光值的增益之类的曝光信息、以及交通工具的速度和偏航来调节相应的相机的像素阵列中的每个像素的曝光权重。为此，出于此目的像素混合算法可以接收、监测或以其他方式访问任何合适类型的信息，这些信息可以从与一个或多个采集设备104和/或交通工具100的其他组件的通信中导出，以标识相机位置、交通工具速度、交通工具偏航等。
曝光权重可以根据任何合适的技术来计算。例如，查找表(lookup table，LUT)集可以被存储在交通工具100的任何合适的存储器中或者以其他方式由多曝光拼合框404访问。LUT可以存储上文的等式2和等式3的相对应的输入的曝光权重集，使得对于像素阵列402内的特定位置、HDR增益、积分时间、交通工具速度、交通工具偏航等，像素混合算法取回针对用特定交通工具相机标识的像素阵列402内的特定像素位置的相对应的曝光权重集。继续该示例，像素混合算法可以逐至如上所述的等式2的输入以这种方式访问任何合适数量的LUT。例如，针对每个交通工具相机位置、交通工具速度、交通工具偏航、HDR增益、积分时间等，针对阵列内的像素位置可能存在单独的LUT。由此，每个LUT可以返回不同的中间加权值，然后该中间加权值可以以任何合适的方式互相组合(例如，如上文的等式3所示相乘、一起被添加、等等)，以基于各种算法输入来导出曝光权重集。
由此，现在参考图5提供说明性示例，其图示出经由交通工具的前向相机采集的图像。如图5所示，像素阵列402的中心部分包括具有低移动(即，低角速度)的对象，而像素阵列402的左部分和右部分上的对象具有高移动(即，高角速度)。由此，在此类情况下，假设交通工具100超过预定的阈值速度和/或阈值偏航(例如，超过在用转弯标识的方向上的阈值加速度)。在任一情况下，如本文中所述的像素混合算法可以在检测到此类状况时，针对驻留在像素阵列402的左部分和/或右部分(即，针对如上所述的前向相机的位置相关加权图中的相对应的像素位置)中的像素增加短曝光值的曝光权重。附加地，像素混合算法可以针对驻留在像素阵列的中心部分(即，针对如上所述的前向相机的位置相关加权图中的相对应的像素位置)中的像素增加长曝光值的曝光权重。
作为又一示例，像素混合算法可以用于取决于交通工具100的状态或状况以不同的方式修改曝光加权。例如，交通工具相机可以具有不同的位置相关加权图集，每个位置相关加权图分别与不同的状况相对应。作为说明性示例，前向交通工具相机可以具有与行进超过预定的阈值速度的交通工具相关联的一个位置相关加权图，以及与超过用交通工具向左或向右转弯来标识的阈值加速度的交通工具偏航相关联的另一个位置相关加权图。为了继续该示例，当检测到偏航的增加超过阈值时，像素混合算法可以调节曝光权重，以更加有利于针对像素阵列中所有像素的短曝光值。然而，如果交通工具速度在没有偏航(或偏航小于阈值预定的值)的情况下增加，并且由此交通工具向前或向后驾驶，则像素阵列的左侧和右侧中的像素具有变化为更大加权的短曝光值的曝光权重，而像素阵列的中心部分中的像素具有被调节为更大加权的长曝光值的曝光权重，如上文所述。
以此方式，曝光权重是像素位置相关的，并且可以基于交通工具速度和/或偏航逐交通工具相机和逐每个交通工具相机的像素阵列内的像素位置进行动态地调节。这使得能够捕获单个图像(即，使用所应用的曝光权重重建的输出图像)，其中相对于每个交通工具相机的FoV具有较低移动的对象将使用更大加权的更长的曝光值来捕获，而以较高的相对速度移动的对象使用更大加权的更短的曝光值来捕获。
同样，本文中所描述的方面使得能够基于相机在交通工具上的位置来调节相机曝光值加权。例如，如图3C所示的前向相机可以观察到对象相对于像素阵列的最左边移动或最右边移动的较大角速度。对象的角速度可以随着交通工具接近对象而进一步增加，并且对象在像素阵列的更极端的左部分或右部分内被捕获，这在图3C中针对交通工具左侧的对象被图示。由此，本文中所描述的方面可以被实现以将像素阵列402进一步划分为5个不同的部分，以考虑此类场景(未示出)。这可以包括将像素阵列的中心部分映射到针对交通工具前方具有小角速度或不具有角速度的对象的曝光权重集、将像素阵列相应的最右部分和最左部分(例如，如图5所示)映射到针对交通工具前方具有最高角速度的对象的曝光权重集、以及最终将像素阵列相应的中间右部分和中间左部分(未示出)映射到针对交通工具前方具有最高与最低之间的相对角速度的对象的曝光权重集，如图5C所示。由此，当交通工具向前移动并且对象的角速度基于它们在像素阵列内的位置而改变时，每个像素的曝光加权值可以动态地被调节以补偿这些差异。
作为另一示例，现在参考图3D，其中侧置的交通工具相机可以基于对象相对于交通工具侧面的移动来观察较高的角速度(非常高的角速度)。然而，同一FoV中的像素阵列的最左边或最右边(覆盖通常由侧视镜示出的FoV)可以被配置成用于(即，针对如图所示的低角速度对象)更大地对更长的曝光值进行加权。以这种方式，如本文中所描述的各方面的实现方式可以使用单个相机来采集图像，该单个相机既检测相对于交通工具以高速移动的对象，也检测可以用于代替侧视镜的图像(即，电子镜应用)。
本文中所述的方面还可以在交通工具改变方向时调节短曝光和快速曝光如何混合。作为一个说明性示例，短曝光的使用可以经由像素混合算法减少(即，加权较少)，以减少在交通工具转弯时在明亮对象(例如，交通灯)中引入的模糊。作为另一个说明性示例，当交通工具以较低的速度行进时，像素混合算法可以对长曝光进行更高的加权，以辅助基于观看的停车应用。
图7图示出根据本公开的一个或多个方面的示例总体过程流。参考图7，流程700可以是由一个或多个处理器(处理电路***)和/或存储设备执行的和/或以其他方式与一个或多个处理器(处理电路***)和/或存储设备相关联的计算机实现的方法。这些处理器和/或存储设备可以与如本文中所讨论的用交通工具100的安全性***200标识的一个或多个计算组件相关联(诸如一个或多个处理器102、处理器214A、214B、216、218中的一个或多个处理器等)。替代地，处理器和/或存储设备可以用可与交通工具100通信的单独的计算设备(诸如售后计算设备和/或计算设备800)来标识，如本文中关于图8进一步详细示出和讨论的。作为又一示例，处理器和/或存储设备可以用(一个或多个)图像传感器(例如，作为可以可选地包括如本文中所讨论的图像传感器的芯片、SoC或ASIC的一部分)本身来标识。在其中图像传感器是此类芯片、SoC、ASIC等的一部分的可选场景中，处理可以经由图像传感器而不是交通工具控制器/处理器来执行。
在任何情况下，如本文中所讨论，用组件中的一个或多个组件标识的一个或多个处理器可以执行存储在附图中未示出的其他计算机可读存储介质上的指令(其可以是本地存储的指令和/或作为处理电路***本身的一部分)。流程700可以包括出于简明的目的而未在图7中示出的替代的或附加的步骤，并且可以以与图7所示的步骤的顺序不同的顺序被执行。
流程700可以在一个或多个处理器接收(框702)交通工具状态信息时开始。如本文中所讨论，交通工具状态信息可以包括例如可以由像素混合算法用来标识曝光权重的任何合适类型的信息。例如，交通工具状态信息可包括交通工具相机的位置、交通工具速度、加速度、偏航等。附加地或替代地，一个或多个处理器可以接收(框702)如上文关于图4所讨论的基于图像的数据，其同样可以包括位置相关权重、积分和逐曝光的增益等。
流程700可以在一个或多个处理器接收(框704)用所采集的图像(即，经由本文中所讨论的合适的图像传感器采集的图像)标识的像素曝光值集时开始。像素曝光值集可以包括例如针对图像传感器的像素阵列内的每个像素的不同的曝光值集。例如，该曝光值集可以包括与第一积分时间相对应的第一曝光值(例如，短曝光值)、与第二积分时间相对应的第二曝光值(如，长曝光值)等。
如上所述，流程700可以包括一个或多个处理器针对像素阵列内的每个像素确定(框706)应用于每个相应的曝光值的像素权重集。由此，这可以包括像素混合算法，针对用图像传感器的像素阵列标识的每个相应的像素，该像素混合算法确定应用于每个曝光值的相应的曝光权重。同样，各种曝光权重可以基于图像传感器的像素阵列内的每个相应的像素的位置来确定，这可以根据与图像传感器在交通工具上的位置相对应的位置相关加权图来进行。除了如本文中所描述的像素阵列中每个像素的位置之外，各种曝光权重还可以基于各种因素来确定。例如，各种曝光权重可以基于交通工具速度、交通工具偏航等来确定。
过程流700包括一个或多个处理器针对像素阵列中的每个像素通过将所确定的曝光权重集应用到曝光值来生成(框708)输出图像。这可以包括针对每个像素根据如本文中所讨论的相应的曝光权重集来组合像素曝光值以生成输出图像，该输出图像然后可以用于如上所述的各种AV和/或ADAS功能。
图8图示出根据本公开的一方面的示例性计算设备的框图。在一方面中，如关于图8示出和描述的计算设备800可以用本文中所讨论的安全性***200的组件标识为可以在交通工具100内或在任何合适的环境中实现的单独的计算设备，和/或标识为芯片或其他合适类型的集成电路、片上***(SoC)、ASIC等。如下文进一步讨论的，计算设备800可以执行本文中描述的关于接收图像和/或与所采集的图像相关联的信息(诸如曝光值、HDR增益、积分时间、交通工具速度、偏航等)的各种功能，并且使用这些信息的任意组合来确定曝光权重。
为此，计算设备800可以包括处理电路***802和存储器804。图8中所示的组件是为了易于解释而提供的，并且计算设备800可以实现比图8中所示的那些组件更多的、更少的或替代的组件。
处理电路***802可被配置成可用于控制计算设备800和/或计算设备800的其他组件的任何适当数量和/或类型的计算机处理器。替代地，如果计算设备800用经由图像传感器实现的SoC、ASIC等来标识，则处理电路***802可以用于执行与本文中参考多曝光拼合框404所讨论的相同的功能，使得图像传感器可以使用确定的曝光权重来输出图像。替代地，曝光权重的确定和输出图像的生成可以由如本文中所述的交通工具100的一个或多个组件来执行。由此，处理电路***802可以用由计算设备800实现的一个或多个处理器(或其合适的部分)来标识，并且可包括用如本文中所讨论的安全性***200标识的处理器(例如，一个或多个处理器102、处理器214A、214B、216、218中的一个或多个处理器等)，或者一个或多个图像采集设备104。处理电路***802可以用一个或多个处理器(诸如主机处理器、数字信号处理器、一个或多个微处理器、图形处理器、基带处理器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)的部分(或全部)等)来标识。
在任何情况下，处理电路***802可被配置成用于实行用于执行算术、逻辑、和/或输入/输出(input/output,I/O)操作的指令和/或用于控制计算设备800、交通工具100和/或一个或多个图像采集设备104的一个或多个组件的操作的指令，以执行如本文中所描述的各种功能。处理电路***802可以包括一个或多个微处理器核心、存储器寄存器、缓冲器、时钟等，并且可以生成与计算设备800的组件相关联的电子控制信号，以控制和/或修改这些组件的操作。处理电路***802可以与存储器804通信和/或控制与存储器804相关联的功能。
存储器804被配置成用于存储数据和/或指令，使得当指令由处理电路***802执行时，使计算设备800(或计算设备800可形成的交通工具100和/或安全性***200的一部分、一个或多个图像采集设备104等)执行如本文中所描述的各种功能。存储器804可以被实现为任何公知的易失性和/或非易失性存储器，包括例如只读存储器(ROM)、随机存取存储器(RAM)、闪存、磁存储介质、光盘、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)等等。存储器804可以是不可移动的、可移动的、或两者的组合。存储器804可以被实现为存储一个或多个可执行指令(诸如例如，逻辑、算法、代码等)的非暂态计算机可读介质。
如下文进一步所讨论的，存储在存储器804中的指令、逻辑、代码等由图8所示的各种模块表示，这些模块可使本文中公开的各方面能够在功能上被实现。替代地，如果经由硬件来实现，则图8中所示的与存储器804相关联的模块可以包括用于促进控制和/或监测此类硬件组件的操作的指令和/或代码。换句话说，图8中所示的模块是为了易于对关于硬件与软件组件之间的功能关联进行解释而提供的。由此，处理电路***802与一个或多个硬件组件一起执行存储在这些相应的模块中的指令，以执行如本文中所讨论的各种功能。
曝光权重计算模块805可以执行如本文中参考接收到图像和/或与经由基于图像的传感器采集的图像相关联的曝光值所讨论的功能。如本文中所讨论，存储在曝光权重计算模块805中的可执行指令可以结合经由处理电路***802的执行来促进计算设备800针对用基于图像的传感器标识的像素阵列中的每个像素确定曝光权重。这可以包括解析和/或取回用所采集的图像标识的像素曝光值集，以及关于何时取回像素曝光值以及响应于各种触发状况(例如，交通工具速度和/或偏航超过预定的阈值)而计算曝光权重的定时。
图像生成模块807可以执行如本文中参考在逐像素基础上使用曝光权重来生成输出图像所讨论的功能。同样，这可以包括应用所确定的长曝光权重和短曝光权重集以及组合经加权的曝光值以产生输出图像。
示例
以下示例涉及进一步的各个方面。
示例(例如，示例1)涉及一种交通工具。交通工具包括：图像传感器；存储器，该存储器被配置成用于存储计算机可读指令；处理电路***，该处理电路***被配置成用于执行该计算机可读指令以使交通工具：接收与由图像传感器采集的图像相关联的像素曝光值集；针对用图像传感器的像素阵列标识的每个相应的像素，该像素曝光值集包括与第一积分时间相对应的第一曝光值和与第二积分时间相对应的第二曝光值；针对用图像传感器的像素阵列标识的每个相应的像素，确定要被应用于第一曝光值的第一曝光权重和要被应用于第二曝光值的第二曝光权重，第一曝光权重和第二曝光权重基于图像传感器的像素阵列内的每个相应的像素的位置来确定；针对用图像传感器的像素阵列标识的每个相应的像素，基于分别被应用于第一曝光值和第二曝光值的第一曝光权重和第二曝光权重来生成输出图像。
另一示例(例如，示例2)涉及先前描述的示例(例如，示例1)，其中，第一积分时间小于第二积分时间，使得第一曝光值与比第二曝光值更短的曝光值相对应。
另一示例(例如，示例3)涉及先前描述的示例(例如，示例1-2中的一项或多项)，其中，像素阵列包括像素的中心部分、像素的左部分和像素的右部分，并且其中当交通工具以超过预定的阈值速度行进时，(i)应用于像素的中心部分的第二曝光权重大于第一曝光权重，以及(ii)应用于像素的左部分和像素的右部分的第一曝光权重大于第二曝光权重。
另一示例(例如，示例4)涉及先前描述的示例(例如，示例1-3中的一项或多项)，其中，第一曝光权重和第二曝光权重进一步基于交通工具的速度来确定。
另一示例(例如，示例5)涉及先前描述的示例(例如，示例1-4中的一项或多项)，其中，第一曝光权重和第二曝光权重进一步基于交通工具的偏航来确定。
另一示例(例如，示例6)涉及先前描述的示例(例如，示例1-5中的一项或多项)，其中，第一曝光权重和第二曝光权重是根据预定的位置相关加权图、基于图像传感器的像素阵列内的每个相应的像素的位置来确定的，预定的位置相关加权图基于图像传感器在交通工具上的位置。
另一示例(例如，示例7)涉及先前描述的示例(例如，示例1-6中的一项或多项)，其中，图像传感器来自交通工具上的多个图像传感器之中，并且其中多个图像传感器中的每个图像传感器具有不同的相应的预定的位置相关加权图。
示例(例如，示例8)涉及一种计算设备。该计算设备包括：存储器，该存储器被配置成用于存储计算机可读指令；以及处理电路***，该处理电路***被配置成用于执行该计算机可读指令以使该计算设备：接收与由交通工具的图像传感器采集的图像相关联的像素曝光值集；针对用图像传感器的像素阵列标识的每个相应的像素，该像素曝光值集包括与第一积分时间相对应的第一曝光值和与第二积分时间相对应的第二曝光值；针对用图像传感器的像素阵列标识的每个相应的像素，确定要被应用于第一曝光值的第一曝光权重和要被应用于第二曝光值的第二曝光权重，第一曝光权重和第二曝光权重基于图像传感器的像素阵列内的每个相应的像素的位置来确定；针对用图像传感器的像素阵列标识的每个相应的像素，基于分别被应用于第一曝光值和第二曝光值的第一曝光权重和第二曝光权重来生成输出图像。
另一示例(例如，示例9)涉及先前描述的示例(例如，示例8)，其中，第一积分时间小于第二积分时间，使得第一曝光值与比第二曝光值更短的曝光值相对应。
另一示例(例如，示例10)涉及先前描述的示例(例如，示例8-9中的一项或多项)，其中，像素阵列包括像素的中心部分、像素的左部分和像素的右部分，并且其中计算机可读指令进一步使该计算设备：
当交通工具以超过预定的阈值速度行进时，(i)将具有大于第一曝光权重的权重的第二曝光权重应用于像素的中心部分，以及(ii)将具有大于第二曝光权重的权重的第一曝光权重应用于像素的左部分和像素的右部分。
另一示例(例如，示例11)涉及先前描述的示例(例如，示例8-10中的一项或多项)，其中，计算机可读指令进一步使该计算设备进一步基于交通工具的速度来确定第一曝光权重和第二曝光权重。
另一示例(例如，示例12)涉及先前描述的示例(例如，示例8-11中的一项或多项)，其中，计算机可读指令进一步使该计算设备进一步基于交通工具的偏航来确定第一曝光权重和第二曝光权重。
另一示例(例如，示例13)涉及先前描述的示例(例如，示例8-12中的一项或多项)，其中，计算机可读指令进一步使该计算设备根据预定的位置相关加权图、基于图像传感器的像素阵列内的每个相应的像素的位置来确定第一曝光权重和第二曝光权重，预定的位置相关加权图基于图像传感器在交通工具上的位置。
另一示例(例如，示例14)涉及先前描述的示例(例如，示例8-13中的一项或多项)，其中，图像传感器来自交通工具上的多个图像传感器之中，并且其中多个图像传感器中的每个图像传感器具有不同的相应的预定的位置相关加权图。
示例(例如，示例15)涉及一种方法。方法包括：接收交通工具状态信息；接收与由交通工具的图像传感器采集的图像相关联的像素曝光值集；针对用图像传感器的像素阵列标识的每个相应的像素，该像素曝光值集包括与第一积分时间相对应的第一曝光值和与第二积分时间相对应的第二曝光值；针对用图像传感器的像素阵列标识的每个相应的像素，确定要被应用于第一曝光值的第一曝光权重和要被应用于第二曝光值的第二曝光权重，第一曝光权重和第二曝光权重基于图像传感器的像素阵列内的每个相应的像素的位置来确定；以及针对用图像传感器的像素阵列标识的每个相应的像素，基于分别被应用于第一曝光值和第二曝光值的第一曝光权重和第二曝光权重来生成输出图像。
另一示例(例如，示例16)涉及先前描述的示例(例如，示例15)，其中，第一积分时间小于第二积分时间，使得第一曝光值与比第二曝光值更短的曝光值相对应。
另一示例(例如，示例17)涉及先前描述的示例(例如，示例15-16中的一项或多项)，其中，像素阵列包括像素的中心部分、像素的左部分以及像素的右部分，并且进一步包括：当基于接收到的交通工具状态信息确定交通工具以超过预定的阈值速度行进时：将具有大于第一曝光权重的权重的第二曝光权重应用于像素的中心部分；以及将具有大于第二曝光权重的权重的第一曝光权重应用于像素的左部分和像素的右部分。
另一示例(例如，示例18)涉及先前描述的示例(例如，示例15-17中的一项或多项)，进一步包括：进一步基于使用接收到的交通工具状态信息确定的交通工具的速度来确定第一曝光权重和第二曝光权重。
另一示例(例如，示例19)涉及先前描述的示例(例如，示例15-18中的一项或多项)，进一步包括：进一步基于使用接收到的交通工具状态信息确定的交通工具的偏航来确定第一曝光权重和第二曝光权重。
另一示例(例如，示例20)涉及先前描述的示例(例如，示例15-19中的一项或多项)，进一步包括：根据预定的位置相关加权图、基于图像传感器的像素阵列内的每个相应的像素的位置来确定第一曝光权重和第二曝光权重，预定的位置相关加权图基于图像传感器在交通工具上的位置。
另一示例(例如，示例21)涉及先前描述的示例(例如，示例15-20中的一项或多项)，其中，图像传感器来自交通工具上的多个图像传感器之中，并且其中多个图像传感器中的每个图像传感器具有不同的相应的预定的位置相关加权图。
如所示出和所描述的装置。
如所示出和所描述的方法。
结语
具体方面的前述描述将如此充分地揭示本公开的一般性质，以至于其他人可以通过应用本领域技术内的知识就容易地修改和/或改编诸如这些具体方面之类的各种应用，而无需过度实验，并且不背离本公开的一般概念。因此，基于本文中呈现的教示和指导，此类改编和修改旨在落入所公开多个方面的等效方案的含义和范围内。应当理解的是，本文中的措辞或术语是出于描述而非限制的目的，使得本说明书的术语或措辞将由本领域技术人员根据教示和指导来解释。
说明书中对“一个方面”、“方面”、“示例性方面”等的引用指示所描述的方面可包括特定的特征、结构或特性，但是并非每个方面都可必然包括该特定的特征、结构或特性。此外，此类短语不一定是指同一方面。进一步地，当结合一方面描述特定的特征、结构或特性时，认为结合无论是否被明确描述的其他方面而影响此类特征、结构或特性是在本领域技术人员的知识范围之内的。
本文中所描述的示例性方面是出于说明性目的而提供的，而不是限制性的。其他示例性方面是可能的，并且可以对示例性方面进行修改。因此，说明书并非旨在限制本公开。相反，本公开的范围仅根据所附权利要求及其等效方案来限定。
多个方面可实现在硬件(例如，电路)、固件、软件或其任何组合中。多个方面还可实现为存储在机器可读介质上的指令，这些指令可由一个或多个处理器读取和执行。机器可读介质可包括用于存储或传输机器(例如，计算设备)可读形式的信息的任何机制。例如，机器可读介质可包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光学存储介质；闪存存储器设备；电、光、声或其他形式的传播信号(例如，载波、红外信号、数字信号等)等等。进一步地，固件、软件、例程、指令在本文中可被描述为执行特定动作。然而，应当领会的是，此类描述仅仅是出于方便起见，并且此类动作实际上起因于执行固件、软件、例程、指令的计算设备、处理器、控制器、或其他设备等。进一步地，实现方式变体中的任一者可以由通用计算机执行。
出于本讨论的目的，术语“处理电路***”或“处理器电路***”应理解为(一个或多个)电路、(一个或多个)处理器、逻辑或其组合。例如，电路可以包括模拟电路、数字电路、状态机逻辑、其他结构电子硬件或其组合。处理器可以包括微处理器、数字信号处理器(DSP)、或其他硬件处理器。处理器可以利用指令“硬编码”，以根据本文中描述的多个方面来执行相对应的(一个或多个)功能。替代地，处理器可以访问内部和/或外部存储器以取回存储在存储器中的指令，该指令当由处理器执行时，执行与处理器相关联的(一个或多个)相对应的功能，和/或与具有包含在其中的处理器的组件的操作相关的一个或多个功能和/或操作。
在本文中描述的示例性方面中的一个或多个示例性方面中，处理电路***可以包括存储数据和/或指令的存储器。存储器可以是任何公知的易失性和/或非易失性存储器，包括例如只读存储器(ROM)、随机存取存储器(RAM)、闪存存储器、磁存储介质、光盘、可擦除可编程只读存储器(EPROM)、以及可编程只读存储器(PROM)。存储器可以是不可移除的、可移除的、或这两者的组合。

Claims (7)

1.一种交通工具，包括：
图像传感器；
存储器，所述存储器被配置成用于存储计算机可读指令；以及
处理电路***，所述处理电路***被配置成用于执行所述计算机可读指令以使所述交通工具：
接收与由所述图像传感器采集的图像相关联的像素曝光值集，针对用所述图像传感器的像素阵列标识的每个相应的像素，所述像素曝光值集包括与第一积分时间相对应的第一曝光值和与第二积分时间相对应的第二曝光值；
针对用所述图像传感器的所述像素阵列标识的每个相应的像素，确定要被应用于所述第一曝光值的第一曝光权重和要被应用于所述第二曝光值的第二曝光权重，所述第一曝光权重和所述第二曝光权重基于所述图像传感器的所述像素阵列内的每个相应的像素的位置来确定；以及
针对用所述图像传感器的所述像素阵列标识的每个相应的像素，基于分别被应用于所述第一曝光值和所述第二曝光值的所述第一曝光权重和所述第二曝光权重来生成输出图像。
2.如权利要求1所述的交通工具，其中，所述第一积分时间小于所述第二积分时间，使得所述第一曝光值与比所述第二曝光值更短的曝光值相对应。
3.如权利要求2所述的交通工具，其中，所述像素阵列包括像素的中心部分、像素的左部分和像素的右部分，并且
其中，当所述交通工具以超过预定的阈值速度行进时，(i)应用于所述像素的中心部分的所述第二曝光权重大于所述第一曝光权重，以及(ii)应用于所述像素的左部分和所述像素的右部分的所述第一曝光权重大于所述第二曝光权重。
4.如权利要求1所述的交通工具，其中，所述第一曝光权重和所述第二曝光权重进一步基于所述交通工具的速度来确定。
5.如权利要求1所述的交通工具，其中，所述第一曝光权重和所述第二曝光权重进一步基于所述交通工具的偏航来确定。
6.如权利要求1所述的交通工具，其中，所述第一曝光权重和所述第二曝光权重是根据预定的位置相关加权图、基于所述图像传感器的所述像素阵列内的每个相应的像素的位置来确定的，所述预定的位置相关加权图基于所述图像传感器在所述交通工具上的位置。
7.如权利要求6所述的交通工具，其中，所述图像传感器来自所述交通工具上的多个图像传感器之中，并且
其中所述多个图像传感器中的每个图像传感器具有不同的相应的预定的位置相关加权图。
CN202280016971.8A 2021-12-30 2022-12-14 Hdr混合方案内的图像位置相关模糊控制 Pending CN117296333A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163295043P 2021-12-30 2021-12-30
US63/295,043 2021-12-30
PCT/IB2022/062238 WO2023126736A1 (en) 2021-12-30 2022-12-14 Image position dependent blur control within hdr blending scheme

Publications (1)

Publication Number Publication Date
CN117296333A true CN117296333A (zh) 2023-12-26

Family

ID=84602232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280016971.8A Pending CN117296333A (zh) 2021-12-30 2022-12-14 Hdr混合方案内的图像位置相关模糊控制

Country Status (3)

Country Link
EP (1) EP4344481A1 (zh)
CN (1) CN117296333A (zh)
WO (1) WO2023126736A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8441535B2 (en) * 2008-03-05 2013-05-14 Omnivision Technologies, Inc. System and method for independent image sensor parameter control in regions of interest
KR101510189B1 (ko) * 2012-10-29 2015-04-08 주식회사 만도 자동 노출 제어 장치 및 자동 노출 제어 방법
US10992876B2 (en) * 2016-10-18 2021-04-27 Texas Instruments Incorporated WDR imaging with LED flicker mitigation
WO2018190649A1 (en) * 2017-04-12 2018-10-18 Samsung Electronics Co., Ltd. Method and apparatus for generating hdr images
WO2020223519A1 (en) * 2019-04-30 2020-11-05 Axon Enterprise, Inc. License plate reading system with enhancements
EP3902240B1 (en) * 2020-04-22 2022-03-30 Axis AB Method, device, camera and software for performing electronic image stabilization of a high dynamic range image
CN112528944A (zh) * 2020-12-23 2021-03-19 杭州海康汽车软件有限公司 一种图像识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP4344481A1 (en) 2024-04-03
WO2023126736A1 (en) 2023-07-06

Similar Documents

Publication Publication Date Title
EP3885993A1 (en) Robust object detection and classification using rgb + events
US11042157B2 (en) Lane/object detection and tracking perception system for autonomous vehicles
CN109215433B (zh) 用于自动驾驶仿真的基于视觉的驾驶场景生成器
JP7043755B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
CN113376657B (zh) 用于自动驾驶车辆lidar数据的自动标记***
EP3598411A1 (en) Method and system to predict object movement for autonomous driving vehicles
JP7314798B2 (ja) 撮像装置、画像処理装置、及び、画像処理方法
WO2019130945A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
CN113212498B (zh) 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质
JP7143857B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US11828615B2 (en) AR processing device, augmented reality-based route guidance method and electronic device
US11363212B2 (en) Exposure control device, exposure control method, program, imaging device, and mobile body
CN112238862A (zh) 用于自主驾驶平台的开放和安全监视***
CN111862226B (zh) 用于车辆中的摄像机校准和图像预处理的硬件设计
KR102533246B1 (ko) 항법 장치 및 이를 포함하는 차량 운전 보조장치
CN117296333A (zh) Hdr混合方案内的图像位置相关模糊控制
JP2021118002A (ja) 車両映像に基づく車間距離の測定方法、車間距離測定装置、電子機器、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
US11312380B2 (en) Corner negotiation method for autonomous driving vehicles without map and localization
US20220309693A1 (en) Adversarial Approach to Usage of Lidar Supervision to Image Depth Estimation
CN113424243B (zh) 信息处理装置、信息处理方法和信息处理程序
WO2024009739A1 (ja) 光学式測距センサ、及び光学式測距システム
WO2023037347A1 (en) Map features delivered via augmented reality (ar)
WO2023119091A1 (en) Hot spot detection and reporting system
KR20220018425A (ko) 증강 현실 처리 장치, 증강현실 기반 경로 안내 방법 및 전자 장치
WO2023187718A1 (en) Adaptive advanced driver-assistance system (adas)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication