CN109155052A - 用于多重曝光宽动态范围图像数据的图像数据处理 - Google Patents

用于多重曝光宽动态范围图像数据的图像数据处理 Download PDF

Info

Publication number
CN109155052A
CN109155052A CN201780029806.5A CN201780029806A CN109155052A CN 109155052 A CN109155052 A CN 109155052A CN 201780029806 A CN201780029806 A CN 201780029806A CN 109155052 A CN109155052 A CN 109155052A
Authority
CN
China
Prior art keywords
circuit
exposure data
exposure
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780029806.5A
Other languages
English (en)
Other versions
CN109155052B (zh
Inventor
S·达布拉尔
R·R·阿留
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Texas Instruments Inc
Original Assignee
Texas Instruments Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Texas Instruments Inc filed Critical Texas Instruments Inc
Publication of CN109155052A publication Critical patent/CN109155052A/zh
Application granted granted Critical
Publication of CN109155052B publication Critical patent/CN109155052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

在集成电路(100)、合并电路(130)及处理多次曝光图像数据的方法的所描述实例中，单个预处理电路(120)用于预处理与图像的第一曝光相关联的第一输入曝光数据，且随后用于预处理与所述图像的第二曝光相关联的第二输入曝光数据。将第一及第二预处理曝光数据合并，以生成用于色调映射及其它后处理的合并图像数据。所述实例合并电路(130)包含可配置增益电路，以将增益应用于所述第一及/或第二曝光数据；及可配置加权电路，其具有权重计算电路及运动自适应滤波器电路，以计算用于合并所述预处理第一及第二曝光数据的第一及第二权重值。

Description

用于多重曝光宽动态范围图像数据的图像数据处理
技术领域
本发明大体上涉及图像处理，且更具体来说，涉及用于处理来自宽动态范围(WDR)传感器的图像数据的电路。
背景技术
摄像机及图像传感器广泛用于监测、运动控制及其它应用。举例来说，汽车应用包含用于在备份时协助驱动器的后视镜头，并且车载摄像机可向控制***提供输入以避开障碍物、控制制动、转向、加速等。数码相机传感器具有有限的动态范围，所述动态范围通常比自然环境(及其它观察区域)的动态范围及人类眼睛的动态范围小得多。举例来说，室内房间可能无光照，但具有窗口可看到日出或日落。这为观察摄像机呈现极暗区域及极亮区域。尽管人类视觉***能够捕获此动态范围，但是由于传感器及图像处理硬件中的有限动态范围，大部分数码相机不能够捕获此动态范围。因此，具有高动态范围的场景的数字图像通常倾向于具有吹出的高光及完全暗的阴影区域。处理图像中的低动态范围在汽车及监控摄像机***中存在问题，其中保持整个动态范围非常重要。宽动态范围(WDR)传感器呈现潜在解决方案，并且常用于汽车及监控应用以保持自然场景的全动态范围。然而，现有图像处理(图像管道)电路及架构不是非常适合WDR传感器信号处理，并且完整的宽动态范围图像处理管道昂贵且实施起来复杂。举例来说，必须在合并处理之前预处理多次曝光的曝光数据，因此，来自WDR传感器的多次曝光数据需要较大且更复杂的处理电路。WDR传感器还可能遭受在后处理中难以校正的运动伪影。此外，合并多个时间上分离的帧可能导致由于像素噪声及运动伪影引起的图像质量降低。而且，所捕获场景中存在LED灯或其它脉冲光源可能导致使用WDR传感器获得的图像的多次曝光之间的偏差。举例来说，脉冲光源可在第一曝光时间期间处于“关闭”状态，随后在第二曝光时间期间“打开”。在此类情况下，WDR传感器提供相同图像的第一及第二曝光数据，其中一或多个像素位置将在第一及第二曝光数据之间具有偏差。因此，WDR传感器为图像处理呈现新挑战，以提供宽动态范围成像的完整解决方案。
发明内容
所描述实例包含图像信号处理电路、集成电路、合并电路及用于处理多次曝光图像数据，例如，来自宽动态范围传感器的第一及第二曝光数据的方法。单个预处理电路用于对与图像的第一曝光相关联的第一输入曝光数据执行预处理，随后用于预处理与图像的第二曝光相关联的第二输入曝光数据。随后在色调映射及其它后处理之前合并用于两次曝光的预处理数据。实例合并电路包含可配置增益电路，以在合并之前将增益因数应用于第一及第二图像数据中的一或两者的数据。在某些实例中，合并电路进一步包含可配置权重计算电路，以计算第一及第二曝光数据的权重值供合并处理。在一些实例中，合并电路还包含运动自适应滤波器电路，以计算运动自适应加权值来缩放应用于第一及第二图像数据的增益因数。
附图说明
图1是图像传感器处理器(ISP)集成电路(IC)的***图。
图2是图像处理方法的流程图。
图3是帧数据流程图。
图4是在图1的IC中的合并处理的***级图。
图5是展示图1及4中的合并电路的另外细节的***级图。
图6是在图5的合并电路中的增益调整电路的详细示意图。
图7是根据输入的像素值及可配置参数(V)的不同值而变的加权值的图形。
图8是根据长像素值及短像素值之间的差而变的运动自适应加权值的图形。
图9是在图5的合并电路中的加权电路的详细电路图。
具体实施方式
在附图中，相同参考数字贯穿全文指代相同元件，且各种特征不必按比例绘制。所描述实例提供有效电路、IC及用于预处理及合并来自WDR及其它图像数据源的多次曝光图像数据的方法。在某些所描述实例中，获得给定图像的第一及第二曝光数据，例如，使用第一(例如，长)曝光时间设定下的图像传感器来获得第一曝光数据，随后使用第二更短曝光时间设定下的传感器来获得第二曝光数据。每组数据包含所获得图像的给定像素位置的个别像素数据，其中较长曝光时间数据促进图像场景的暗区域的捕获，且较短曝光时间数据用于捕获图像场景的明亮照明部分的细节。所描述电路及方法有助于此双曝光图像数据的预处理及合并处理。而且，所描述技术可适用于各种不同成像应用，例如，车载摄像机、监控摄像机、机器人及其它运动控制应用的图像数据的处理等。
图1展示成像***，所述成像***包含通过可为有线或无线的数据连接或链路103从WDR传感器102接收信号数据的图像传感器处理器IC 100。图2展示可在IC 100中实施的处理输入曝光数据的过程或方法204。在一个实例中，IC 100安装到印刷电路板(PCB，未展示)，并且包含通过导电PCB迹线电连接到板安装连接器的一或多个引脚或端子，且WDR传感器102通过电缆(未展示)与连接器耦合。集成电路100包含下文描述的各种块或电路，其可为专用逻辑电路、可编程逻辑电路及/或通过数字处理器电路实施的功能。在一个实例中，传感器102是数字重叠(DOL)WDR传感器，所述DOL WDR传感器感测及检测对应传感器场106内穿过镜头结构104的光以捕获图像曝光数据。
IC 100包含像素数据接口电路108，其具有通信电路105，用于从传感器102接收对应于图像的多次曝光的像素数据及分类电路107。接口电路108与IC 100中的存储器电路110可操作地连接。在一个实例中，像素数据接口108的通信电路105是移动行业处理器接口(MIPI)电路，其支持摄像机串行接口(CSI)通信协议以从传感器102接收像素数据。举例来说，通信电路105支持MIPI CSI-2或CSI-3通信。在一个实例中，互连件103包含多个IC引脚及对应电路板迹线并连接到传感器102，以在传感器102与像素数据接口电路108之间提供整数N个数据线连接，并且互连件103可进一步包含用于时钟信号的一或多个连接。传感器102提供与对应于传感器场106的图像的多次曝光相关联的多组像素数据。举例来说，传感器102提供与在第一曝光时间，在这种情况下两个或更多个曝光中的最长曝光时间下所感测图像的第一曝光对应的第一曝光数据，及与使用较短第二曝光时间获得的第二曝光对应的第二曝光数据。在其它实例中，技术可延伸到多次曝光图像数据，包含多于两组曝光数据，并且每组曝光数据通常对应于唯一的曝光时间。这允许使用单个传感器102来利用全动态范围。
IC 100进一步包含处理电路112，所述处理电路与存储器电路110可操作地耦合并且根据一或多个配置参数140配置，以处理对应于图像的多次曝光的曝光数据。处理电路112包含单个预处理电路120，所述单个预处理电路操作以对输入曝光数据执行初始处理或预处理操作。预处理电路120提供通常在线性域中工作的图像滤波操作(在合并之前)。因此，单独地对每个独立曝光执行这些操作。在所说明实例中，预处理电路120包含噪声滤波电路121、偏转像素校正电路122、DC箝位去除电路123、镜头阴影校正电路124及白平衡校正电路125。噪声滤波电路121及缺陷像素校正电路122可用于增强在合并处理之后执行的色调映射逻辑134的质量。而且，DC箝位去除电路123优选地在电路125中的白平衡校正之前，并且还优选地在色调映射之前对数据进行操作，因此这些操作在合并处理之前有利地执行为预处理电路120的一部分。此外，在任何非线性操作之前，镜头阴影校正电路124有利地用于在合并处理之前对单独曝光数据进行操作。
在其它实例中，更少或更多预处理电路及功能可实施于预处理电路120中。在图1的实例中，单个预处理电路120使用电路121至25对第一输入曝光数据(图1中标记为“LONG”)及第二输入曝光数据(标记为“SHORT”)依序地执行所说明操作。这与现有的WDR传感器电路相反，现有的WDR传感器电路包含用于给定图像的每组曝光数据的单独专用预处理电路。
图1中的处理电路112进一步包含合并电路130，以处理第一及第二预处理曝光数据来生成表示图像的合并图像数据，并且将合并数据提供到色调映射电路134。图像的色调映射数据随后通过后处理电路136进行后处理，并且存储于存储器电路110中以供主机***142访问。在此实例中，主机***142可通过将一或多个可配置或配置参数140存储在IC 100中来配置IC 100，如下文进一步描述。
IC 100的操作一般在图2的方法200中说明。一般来说，接口电路108从传感器102接收输入曝光数据，并且将数据提供到存储器电路110。在图1的实例中，存储器电路110是双倍数据速率(DDR)存储器电路，或多倍DDR存储器电路。存储器电路110包含第一部分或位置110a(图1中标记为DDR-1)、第二部分或位置110b(标记为DDR-2)、第三部分或位置110c(DDR-3)，及第四部分或位置110d(DDR-4)。在用于处理给定图像的多于两个曝光的其它实例中，存储器电路110可包含另外位置或部分(未展示)。在所说明实例的操作中，接口电路108将与图像的第一曝光相关联的第一输入曝光数据LONG存储在第一存储器部分或位置110a中(图2中的202)。在图2中的204处，接口电路108将与图像的第二曝光相关联的第二输入曝光数据SHORT存储在第二存储器部分或位置110b中。
在图2中的206处，单个预处理电路120对来自第一存储器部分110a的第一曝光数据LONG执行预处理操作，以生成与图像的第一曝光相关联的第一预处理曝光数据(下文描述的图4中的401)，并且在图2中的208处，图1中的电路120将第一预处理曝光数据存储在第三存储器部分110c中。处理电路112有利地从第二存储器部分110b获得第二输入曝光数据SHORT，并且再次使用相同的单个预处理电路120对第二输入曝光数据SHORT执行图2中的210处的初始图像处理，以生成与图像的第二曝光相关联的第二预处理曝光数据(图4中的402)。图1中的合并电路130处理212处的第一预处理曝光数据401及第二预处理曝光数据402，以生成表示图像的合并图像数据(图4中的404)。在图2中的214处，处理电路112使用色调映射电路134来对来自合并电路130的合并图像数据404执行色调映射处理。在一个实例中，色调映射电路134执行全局及后续局部色调映射操作，以将合并图像的位深度从20位减小(例如，压缩)到较小(16或12位)，同时仍保持图像的低光及高光。此处理减小位深度，同时保持图像质量。
后处理电路136对合并图像数据404执行进一步图像处理214，以生成最终图像数据。在一个实例中，后处理电路136包含用于对合并图像数据进行操作的图像滤波电路，并且相关联后处理操作仅应用一次，而与曝光次数无关。举例来说，通过电路136执行的后处理操作不需要在线性域中执行，因为在合并及色调映射处理之后的像素数据通常为非线性。在216处，处理电路112将最终图像数据存储在第四存储器部分110d中。在图2中的218处，存储器部分110d随后将最终图像数据提供到主机***142。
如图1中所示，IC 100包含仅单个预处理电路112，并且第一输入曝光数据LONG进行预处理并临时存储在第三存储器部分110c中，以沿着第一预处理路径131最终提供到合并电路130。第二输入曝光数据SHORT通过预处理电路120直接进行预处理，并沿着第二预处理路径132提供给合并电路130。此解决方案在合并处理之前有利地采用多遍预处理方法，以便有利于节省IC面积及成本来权衡性能。在某些实施方案中，IC100可以时钟速度操作，使得满足任何所需的吞吐量要求，例如，考虑用于图像数据预处理的多遍操作的案例。在一个实例中，电路112可以200MHz的时钟频率操作，用于以相当大的裕度支持30fps下的2Mpix分辨率(2Mpix@30fps通常是汽车装置的最高要求)。因此，IC 100利用WDR传感器102及其它多次曝光图像数据源的动态范围优点，其中合并电路130及其它后处理电路134、136执行图像处理及其它操作，以提供具有全动态范围的最终输出图像数据。此方法允许通过有效的图像处理电路空间及成本捕获更高动态范围，从而为预期即使在不利光照条件下也正确地生成曝光图像的类似于安全及汽车成像***的应用提供智能解决方案。此不利光照条件的实例包含在太阳低于地平线并面向相机的早晨/晚上时间操作的监控摄像机、当车辆从黑暗的停车场或隧道驶出到阳光照射的道路时的汽车摄像机，及具有阳光照射的窗户的室内场景，例如暗室，其中室内及室外场景都应进行适当曝光。在这些极端光照条件下，图1的***将最终图像数据提供到主机***142，其具有降低或消除的曝光过度或“吹出”区域，同时仍在图像的弱光部分中展示良好细节。
图3说明具有IC 100中的多遍预处理的帧数据流，包含用于在合并电路130中的合并处理之前进行初始处理的PASS 0、PASS 1及PASS 2。如图3中所示，在一个实例中，传感器102将12位输入曝光数据提供到接口108，所述接口将LONG第一输入曝光数据存储在第一存储器位置110a中(图2中的202)，并且将12位第二输入曝光数据SHORT存储在第二存储器位置110b中。在PASS 1中，第一输入曝光数据LONG使用第一存储器位置110a的“读取DMA”直接存储器存取300通过处理电路112读取，并且数据在电路120中进行预处理以生成第一预处理曝光数据，所述第一预处理曝光数据随后存储在第三存储器位置110c中。在PASS 2中，第二输入曝光数据SHORT使用读取DMA操作302从第二存储器位置110b获取，并且第二输入曝光数据使用相同预处理电路120在PASS 2中进行预处理。随后，预处理曝光数据使用合并电路130合并。在一个实例中，在合并处理之后的数据是24位，随后全局色调映射到16位，接着局部色调映射到12位，并且压缩的合并图像数据通过用于一个或多个后处理步骤的图像管线的其余部分(例如，图1中的电路136)进行处理。
参考图4，常规的曝光合并技术遭受可由于输入图像数据中的运动和/或高水平噪声产生的伪影。所描述实例采用合并电路来实施用于合并过程的复杂、噪声稳固及运动自适应算法，以减轻或消除伪影并提供更佳图像质量。在某些实例中，合并处理电路130提供多组曝光数据的智能可配置合并。图4展示图1的IC中的合并处理的***级描述。合并电路130从第三存储器位置110c接收第一预处理曝光数据401，如下文所描述。在一个实例中，用于一的第一预处理曝光数据是与对应图像的第一曝光相关联的8至12位像素数据，并且合并电路130通过存储器接口(IF)操作(例如，在一个实例中，DMA访问)获取数据401。预处理电路120(图1)将第二预处理曝光数据402(例如，8至12位)提供到合并电路130。合并电路130使用如下文进一步描述的一或多个配置参数140如通常上文所描述操作，以生成并提供合并图像数据404(例如，在某些所描述实例中，12至20位)。在一个实例中，电路130合并用于两次曝光的数据401、402，以生成高位宽(例如，高达24位)合并帧。在一个实例中，图1中的色调映射电路134实施全局色调映射操作，以将范围从24位减小到16位，并且可应用局部色调映射以将动态范围从16位减小到12位，同时仍保留图像的高光及阴影区域中的细节。
参考图5至9，在一个实例中，合并电路130对合并过程提供自适应可配置控制。由于各种原因，处理通常遭受图像质量降低。举例来说，在合并预处理的长及短曝光数据时存在图像质量降级的两个潜在原因。这些是由于噪声引起的降级及由于运动引起的降级。关于噪声降级，合并过程是基于阈值的操作，并且对输入的预处理曝光像素数据中的噪声敏感。举例来说，如果合并逻辑基于第一预处理曝光数据401，则所述数据中的噪声可致使常规合并逻辑选择不正确曝光，并且由于噪声而频繁切换曝光将在最终的合并图像数据中产生显著伪影。
关于运动降级，大部分WDR传感器102涉及长曝光与短曝光之间的时间滞后，因为单个传感器用于最初产生一组曝光数据，随后在不同曝光时间设定处产生第二组曝光数据。举例来说，长曝光时间设定通常较大(例如，33ms或更多)，并且在捕获短曝光之前，可在图像到物体中，或在摄像机传感器102(例如，在车辆安装的摄像机应用中)的参考帧中出现显著的运动延迟。举例来说，帧中的快速移动物体可能已在帧中移动，从而导致运动模糊。此问题具体来说存在于汽车(及摄像机)快速行驶且甚至静止物体相对于汽车相对移动的汽车案例中。
第三个问题是闪烁光源，例如，在所捕获场景中存在LED灯或其它闪烁光源。LED灯通常通过开/关周期及占空比(即，这些LED灯未必总是发光，相反其以周期性方式接通及断开)以开/关方式操作。此周期的占空比用于调节图像的强度。人类眼睛不可感知大部分LED光源的闪烁效果，但是在数字图像中，后续帧交替地捕获及错过LED有效占空比，从而产生称为LED闪烁的现象。当使用WDR传感器时，LED闪烁问题进一步加重，其中一次曝光可捕获处于接通状态的LED(例如，长曝光)，而另一次曝光(例如，设定相同帧的曝光数据的短曝光时间)可能错过LED。当合并这两个单独曝光时，所得输出可展现伪影。
图1、5、6及9中的实例合并电路130可用于解决上述问题。举例来说，电路130提供复原噪声及运动伪影及LED闪烁的智能合并方法。合并处理一般涉及组合两个或更多个曝光来生成宽动态范围场景。在一个实例中，两个(例如，长曝光时间设定，及短路曝光时间设定)12位曝光组合，以生成单个20位(或16位)帧，从而产生位深度比给定图像的两组原始曝光数据中的任一者更高的统一或合并曝光。如图5中所示，合并电路130包含增益电路500(图5中标记为“GAIN ADJUST”)，以及第一移位电路502及第二移位电路504、加权电路506及最终合并电路508。在操作中，增益电路500将增益应用于第一预处理曝光数据401及/或第二预处理曝光数据402中的一或两者，以生成与图像的第一曝光相关联的第一增益调整曝光数据LONG ADJ，及与图像的第二曝光相关联的第二增益调整曝光数据SHORT ADJ。在所说明实例中，增益调整数据LONG ADJ及SHORT ADJ是20位长，但是其它位深也是可能的。在某些实例中，增益电路500根据一或多个配置参数140操作。下文结合图6进一步描述实例增益电路500。
移位电路502及504根据3位WEIGHT SHIFT配置参数140j移位第一增益调整曝光数据LONG ADJ及第二增益调整曝光数据SHORT ADJ，以生成16位第一移位曝光数据LONGSHIFTED及第二移位曝光数据SHORT SHIFTED，并且这些提供为加权电路506的输入数据。加权电路506计算用于第一移位曝光数据LONG SHIFTED的合并处理212的16位第一权重值ALPHA_L，及用于第二移位曝光数据LONG SHIFTED的合并处理212的第二权重值ALPHA_U。在某些实例中，加权电路506根据一或多个配置参数140操作。下文结合图7到9说明及描述详细的实例加权电路506。最终合并电路508接收第一权重值ALPHA_L及第二权重值ALPHA_U，并合并第一增益调整数据LONG ADJ及第二增益调整数据SHORT ADJ来根据第一权重值ALPHA_L及第二权重值ALPHA_U生成合并图像数据404。
图6展示增益电路500的一个实例的另外细节。增益电路500将增益应用于第一曝光数据401及第二曝光数据402中的一或两者，以将值移动成彼此更接近，理想地，使这些值具有相同的强度指标。在一个实例中，单位增益应用于第一曝光数据401，且更高增益应用于短曝光数据402。为了在某些实施方案中说明定点算术，及为了减小增益应用中的误差，在一个实例中，增益电路500将增益‘1’应用于短曝光且将<‘1’的增益应用于长曝光。在一个实例中，第一曝光增益“gain_long”根据以下公式(1)设定：
(1)gain_long＝215x(短曝光增益)/(长曝光增益)
增益电路500包含黑电平偏移电路601至604，包含电路601及602，以分别向减法器电路603及604提供可配置第一黑电平偏移值参数140a及可配置第二黑电平偏移值参数140b(例如，所说明实例中的四个位值)。在某些实例中，数字图像数据具有非零黑电平，并且因此，在图像中应表示零的像素是非零值，例如，在一个实例中是200。因此，图像中的最低值是200，并且在进一步处理之前从图像中减去通过可配置参数140a及140b设定的此值。分别从第一曝光数据401及第二曝光数据402(例如，在一个实例中，8至12位)中减去来自黑电平偏移电路601及602的值，并且分别通过限幅电路605及606将结果限幅在0与4095之间。电路605及606向乘法器电路607及608提供12位所得值，所述乘法器电路将限幅结果值乘以可配置长增益值140c及可配置短增益值140d。以此方式，电路607将可配置第一增益值140c应用于第一曝光数据401，并且电路608将可配置增益值140d应用于第二曝光数据402，以在生成第一增益调整曝光数据LONG ADJ及第二增益调整曝光数据SHORT ADJ时生成。作为通过电路607及608的乘法的结果，将28位结果分别提供给求和或其电路609及610处。增益电路500使用可配置的4位第一及第二(例如，长及短)移位值140b及140f(“xl”及“xs”)，这些值用于计算分别与来自乘法器607及608的28位值求和的移位值。
求和电路609及610分别将28位结果提供到移位电路611及612。电路611及612将28位输入值右移15-xl及15-xs，并且所得值(例如，在一个实例中，20位)根据20位可配置限幅值140g(WDR_CLIP)由限幅电路613及614限制或限幅。电路613及614根据通过电路615及616提供的可配置13位白平衡增益140h及140i分别将20位结果提供到乘法器617及618，用于长及短白平衡增益应用。使用电路615至618，增益电路500校正曝光数据中的白平衡作为处理的一部分，以生成第一增益调整曝光数据LONG ADJ及第二增益调整曝光数据SHORT ADJ。白平衡校正用于从图像中去除色偏。在一个实例中，单位增益应用于绿色通道值，而非单位增益(高于或低于1)应用于红色及蓝色通道。在白平衡增益调整之后，乘法器617及618将33位乘法器结果值提供到求和电路619及620，所述乘法器结果值在所说明实例中加上值256以提供33位输出。这些输出使用移位电路621及622右移九个位。电路621及622将24位移位值提供到限幅电路623及624。限幅电路623及624根据可配置限幅值140g操作，以提供20位第一增益调整曝光数据LONG ADJ及第二增益调整曝光数据SHORT ADJ。
说明实例加权电路506的另外细节。图7中的图形700展示说明根据输入的像素值而变的加权值的曲线701、702、703、704及705，并且图8中的图形800展示根据长像素值与短路像素值之间的差Δ而变的运动自适应加权值曲线802{MA Weight)。图9展示加权电路506的一个实例的另外细节。在此实例中，电路506包含权重计算电路900及运动自适应滤波器电路930。权重计算电路900根据可配置选择参数140q(WGT_SEL)基于第一或第二移位曝光数据计算初始权重值α，用于LED闪烁减少。电路900还在计算α时使用可配置第一阈值140r(T)。当用于图像中的当前像素位置的选定第一移位曝光数据LONG SHIFTED或第二移位曝光数据SHORT SHIFTED的值大于T时，电路900计算α作为第一预定值(例如，32,768)。否则，如果选定值小于或等于T，则电路900根据一或多个可配置参数140l、140m、140n(图9中的bf、af_m及af_e)及根据用于当前像素位置的选定长或短数据像素值计算初始权重值α。在一个实例中，这些参数140l、140m及140e共同构成图7中所示的可配置参数“V”(140k)。举例来说，权重计算电路900使用一或多个可配置参数设定图形700中低于阈值712的曲线701、702、703、704或705的形状。如在此图形中所示，加权电路506将短(第二)权重值ALPHA_U设定成用于高于阈值712的像素值的常数值(例如，图形700中的换算值“1”)。低于此值(例如，在所说明实施中为1000)，一或多个配置参数140k、140l、140m及/或140n可由主机***142(图1)配置以实施任何合适的曲线，用于在低于阈值712的第一及第二曝光数据集之间混合。图7中的曲线701至705是用于V＝0.73、V＝0.51、V＝0.35、V＝0.25及V＝0的实例，其中曲线705(V＝0)在此实例中以像素值500终止于值ALPHA_U＝0(在图7中在阈值710处指示)。以此方式，IC 100可被配置成实施第一曝光数据401及第二曝光数据402的任何所需混合或合并。
加权电路506包含根据选择信号(配置参数140q)可操作的复用器或选择电路902，以将长或短移位数据流中的一者(在此实例中，16位值)提供到权重计算电路900。电路900中的乘法器电路904及908分别通过第一配置参数值1401(bf)及第二配置参数值140m(af_m)缩放选定值。乘法器904的输出通过移位电路906右移一个位，并且电路906的输出提供为求和或加法器电路916的输入。乘法器908的输出根据配置参数140n(af_e)通过移位电路910移位。乘法器电路912将移位结果乘以选定值，并且在此实例中，移位电路914将乘法结果右移10个位。来自电路914的移位输出与移位电路906的输出相加。移位电路918将求和结果右移4倍配置参数clipU，并且所得值提供为复用器920的第一输入。复用器920的第二输入是预定值，在此实例中，1左移15个位。电路900还使用减法电路922根据阈值参数T(140r)计算α，所述减法电路从来自电路902的16位选定值中减去阈值T。减法结果用作操作为复用器920的选择输入的“SIGN BIT”。复用器的输出是初始权重值α。减法电路924减去预定值(例如，1左移15个位)，以将输入提供到乘法器940，以根据来自运动自适应滤波器电路930的运动自适应权重值MA Weight选择性缩放。
加权电路506还适应图像数据中的运动。运动自适应滤波器电路930计算差值Δ(图8中展示为横轴“Δ”)。此值使用图9中的减法电路931及绝对值电路932计算为用于图像中的当前像素位置的第一移位曝光数据LONG SHIFTED及第二移位曝光数据SHORT SHIFTED的值之间的差的绝对值。运动自适应滤波器电路930进一步包含减法电路933，所述减法电路从差值Δ中减去第二阈值140o(D1)。限幅电路934将所得值限幅在0与第一预定值32,768之间，并且结果使用乘法器电路935乘以配置参数140p(WDRMA.MAS)。减法电路936从预定值(例如，1左移15个位)减去乘积值，并且减法结果通过限幅电路937限幅在0与32,768之间。电路932nd将限幅输出提供为运动自适应权重值MA Weight。
乘法器电路940将运动自适应权重值MA Weight乘以减法电路924的输出，并且在一个实例中，所述结果使用移位电路942右移15个位。移位电路942提供16位第一权重值ALPHA_L，并且减法电路944将第一权重值ALPHA_U提供为1-ALPHA_L。如图9中所示，当差值Δ大于或等于第二阈值140o(D1)时，运动自适应滤波器电路930根据差值Δ计算运动自适应权重值MA Weight，并且运动自适应权重值另外设定成常数值(在此实例中为1)。使用电路940、942及944，加权电路506将初始权重值α乘以运动自适应权重值MA Weight，以生成第一权重值ALPHA_L，并且通过从第一预定值(例如，32,768)中减去第一权重值ALPHA_L计算第二权重值ALPHA_U。
在此实例中，电路506生成用于长及短曝光的权重。权重ALPHA_L及ALPHA_U用于在最终合并电路508(图5)中内插以形成合并输出，其中图8展示通过电路930提供的运动自适应滤波的效果。如图形800中所示，值α的运动自适应修改在Δ的较高值处发生，并且所说明电路930在0.25处实施运动自适应权重的最小值，但是其它实施方案可用于提供不同最小值。图9中的权重计算电路900有助于对抗像素噪声，并且运动自适应滤波器电路930有助于抑制运动伪影。图9中的权重计算电路实例900使用以下公式(2)计算α的值：
(2)
在等式(2)中，‘x’是输入的像素数据的值，而T、af_m、bf及af_e是可配置参数140。在没有运动自适应电路930的情况下，‘α’将用作短像素的增益，并且长像素的增益设定为‘1-α’。如图7中所示，可以通过改变不同配置参数以实施不同性能曲线来控制权重图形700。在此图形700中，阈值712(T)设定成1000，并且曲线701、702、703、704及705分别表示根据像素值(x轴)，例如，值0.73、0.51、0.35、0.25及0.0而变的用于短像素加权(y轴)的权重。V是源自配置参数af_m、af_e及bf的简化配置参数140k。在图形700中的实例展示在像素值大于1000之后短像素的权重为‘1’，而起遵循从0至1000的非线性曲线。通过选择长曝光与短曝光之间的正确混合，这在设定任何合适的所需动态范围时提供灵活性。每个曲线701至705可适用于不同种类的传感器102(图1)。在用于0.4的y轴值的一个实例中，将通过用于短曝光的权重0.4及用于长曝光的权重0.6计算输出(例如，输出＝0.4*短+0.6*长)。图9中的运动自适应滤波器电路930使用以下等式(3a至3d)描述，其中32768表示值1.0(伪浮动符号)。
(3a)Δ＝abs((长曝光像素)-(短曝光像素))
(3b)
(3c)ALPHA_L＝(32768-α)*MAWeight>>15
(3d)ALPHA_U＝(32768-Alpha_L
ALPHA_U是短曝光值的最终权重，且ALPHA_L是长曝光值。图8中的曲线802展示通过图9中的电路930实施的运动自适应权重计算。在操作中，当长像素与短像素之间的差较低(Δ较小)时，电路930将MA_Weight设定成1并且运动自适应滤波器电路930并未有效地修改α。然而，当Δ较大时，MA_Weight取小于1的值。举例来说，在极端情况下，当Δ＝4095时，MA_weight具有0.25的值。在此情况下，长曝光权重减小，因为所述长曝光权重乘以因数0.25。随后，短曝光权重相应地增加，因为短曝光权重计算为1.0-长曝光权重。因此，每当图像中存在运动时，权重朝向短曝光偏移。
类似逻辑电路可以用于说明LED闪烁。每当LED光源(或其它脉冲光源)在图像中并且存在闪烁时，与短曝光相比，长曝光具有捕获LED源的高得多的概率。为了完全避免闪烁伪影，长曝光时间可保持高于LED源的频率。举例来说，如果LED源频率是90Hz(多个LED源在约90Hz的频率下操作)，则11ms或更高的曝光时间总是正确地捕获LED源。如果在给定应用中怀疑LED闪烁，则运动自适应电路930可通过设定合适的配置参数140重新配置，以便800应用朝向短曝光减小的权重。在此实例中，图8中的图形仍然如图所示，但是MA_Weight应用于短曝光，而不是长曝光。在此情况下，每当长曝光值与短曝光值之间存在显著Δ时，假设LED闪烁，并且在合并过程中将更高加权提供到长曝光。因为长曝光被视为无闪烁，所以加权机构产生不含闪烁的合并帧。
在计算权重之后，最终合并块508(图5)使用以下公式(4)混合两个曝光：
(4)out＝(长曝光像素x Alpha_L+短曝光像素x Alpha_U+(1<<(s-1)))>>(s)
其中“s”是固定点符号中的分数精度(或分数位数)。
所描述实例解决由多个传感器支持的单独曝光WDR数据流，并且提供用于处理多次曝光WDR输入数据，而不会导致与图像预处理电路的复制相关联的成本损失。这使用智能两遍方法提供性能与保存区域之间平衡的折衷。因此，促进显著的成本(逻辑及存储器区域)节省，从而使信号处理IC 100适合于成本敏感应用。此外，IC 100实施用于合并多次曝光的先进电路及技术，这对于图像噪声及运动伪影两者是稳固的。
在所描述的实施例中可能进行修改，且其它实施例在权利要求的范围内为可能的。

Claims (20)

1.一种集成电路IC，其包括：
存储器电路；
接口电路，用于从图像传感器接收对应于图像的多次曝光的输入曝光数据，所述接口电路用于将与所述图像的第一曝光相关联的第一输入曝光数据存储在所述存储器电路的第一存储器部分中，及将与所述图像的第二曝光相关联的第二输入曝光数据存储在所述存储器电路的第二存储器部分中；及
处理电路，用于处理对应于图像的多次曝光的曝光数据，所述处理电路包含：
单个预处理电路，其用于：
对来自所述第一存储器部分的所述第一输入曝光数据执行初始图像处理，以生成与所述图像的所述第一曝光相关联的第一预处理曝光数据，
将所述第一预处理曝光数据存储在所述存储器电路的第三存储器部分中，及
对来自所述第二存储器部分的所述第二输入曝光数据执行初始图像处理，以生成与所述图像的所述第二曝光相关联的第二预处理曝光数据，及
合并电路，用于处理所述第一及第二预处理曝光数据，以生成表示所述图像的合并图像数据。
2.根据权利要求1所述的IC，其中所述处理电路进一步包含：
色调映射电路，用于对来自所述合并电路的所述合并图像数据执行色调映射处理；及
后处理电路，用于对所述合并图像数据执行进一步图像处理以生成最终图像数据，及将所述最终图像数据存储在所述存储器电路的第四存储器部分中。
3.根据权利要求1所述的IC，其中所述单个预处理电路用于对所述第一输入曝光数据及所述第二输入曝光数据执行噪声滤波处理、偏转像素校正、DC箝位去除、镜头阴影校正及白平衡校正中的一者。
4.根据权利要求1所述的IC，其中所述合并电路包含：
增益电路，用于将增益应用于所述第一及第二预处理曝光数据中的至少一者，以生成与所述图像的所述第一曝光相关联的第一增益调整曝光数据，及与所述图像的所述第二曝光相关联的第二增益调整曝光数据；
移位电路，用于移位所述第一增益调整曝光数据及所述第二增益调整曝光数据，以生成与所述图像的所述第一曝光相关联的第一移位曝光数据及与所述图像的所述第二曝光相关联的第二移位曝光数据；
加权电路，用于计算用于所述第一移位曝光数据的合并处理的第一权重值，及计算用于所述第二移位曝光数据的合并处理的第二权重值；及
最终合并电路，用于合并所述第一及第二增益调整曝光数据，以根据所述第一及第二权重值生成所述合并图像数据；
其中所述增益电路及所述加权电路中的一者可配置。
5.根据权利要求4所述的IC，其中所述增益电路包含用于将可配置第一白平衡增益应用于所述第一曝光数据的电路，及用于将可配置第二白平衡增益应用于所述第二曝光数据的电路，以生成所述第一及第二增益调整曝光数据。
6.根据权利要求4所述的IC，其中所述增益电路包含用于将可配置第一黑电平偏移应用于所述第一曝光数据的电路，及用于将可配置第二黑电平偏移应用于所述第二曝光数据的电路，以生成所述第一及第二增益调整曝光数据。
7.根据权利要求4所述的IC，其中所述增益电路包含用于将可配置第一增益值应用于所述第一曝光数据的电路，及用于将可配置增益值应用于所述第二曝光数据的电路，以生成所述第一及第二增益调整曝光数据。
8.根据权利要求4所述的IC，其中所述加权电路包含：
权重计算电路，用于基于所述第一及第二移位曝光数据中的选定一者及可配置第一阈值计算初始权重值，所述权重计算电路用于：
当用于所述图像中的当前像素位置的所述第一及第二移位曝光数据中的所述选定一者的值大于所述第一阈值时，计算所述初始权重值作为第一预定值，及
当用于所述当前像素位置的所述第一及第二移位曝光数据中的所述选定一者的所述值小于或等于所述第一阈值时，根据一或多个可配置参数及用于所述当前像素位置的所述第一及第二移位曝光数据中的所述选定一者的所述值计算所述初始权重值；及
运动自适应滤波器电路，用于计算差值作为用于所述图像中的所述当前像素位置的所述第一及第二移位曝光数据的值之间的差的绝对值，所述运动自适应滤波器电路用于：
当所述差值小于可配置第二阈值时，计算运动自适应权重值作为所述第一预定值，及
当所述差值大于或等于所述第二阈值时，根据所述差值计算所述运动自适应权重值；
其中所述加权电路用于将所述初始权重值乘以所述运动自适应权重值来生成所述第一权重值，并且通过从所述第一预定值中减去所述第一权重值来计算所述第二权重值。
9.根据权利要求4所述的IC，其中所述一或多个可配置参数可配置以控制闪烁及运动。
10.根据权利要求4所述的IC，其中所述单个预处理电路用于对所述第一输入曝光数据及所述第二输入曝光数据执行噪声滤波处理、偏转像素校正、DC箝位去除、镜头阴影校正及白平衡校正中的一者。
11.一种合并电路，用于处理与图像的第一曝光相关联的第一曝光数据，及与所述图像的第二曝光相关联的第二曝光数据，以生成表示所述图像的合并图像数据，所述合并电路包括：
增益电路，用于将增益应用于所述第一及第二曝光数据中的至少一者，以生成与所述图像的所述第一曝光相关联的第一增益调整曝光数据，及与所述图像的所述第二曝光相关联的第二增益调整曝光数据；
移位电路，用于移位所述第一增益调整曝光数据及所述第二增益调整曝光数据，以生成与所述图像的所述第一曝光相关联的第一移位曝光数据及与所述图像的所述第二曝光相关联的第二移位曝光数据；
加权电路，用于计算用于所述第一移位曝光数据的合并处理的第一权重值，及计算用于所述第二移位曝光数据的合并处理的第二权重值；及
最终合并电路，用于合并所述第一及第二增益调整曝光数据，以根据所述第一及第二权重值生成所述合并图像数据；
其中所述增益电路及所述加权电路中的一者可配置。
12.根据权利要求11所述的合并电路，其中所述增益电路包含用于将可配置第一白平衡增益应用于所述第一曝光数据的电路，及用于将可配置第二白平衡增益应用于所述第二曝光数据的电路，以生成所述第一及第二增益调整曝光数据。
13.根据权利要求11所述的合并电路，其中所述增益电路包含用于将可配置第一黑电平偏移应用于所述第一曝光数据的电路，及用于将可配置第二黑电平偏移应用于所述第二曝光数据的电路，以生成所述第一及第二增益调整曝光数据。
14.根据权利要求11所述的合并电路，其中所述增益电路包含用于将可配置第一增益值应用于所述第一曝光数据的电路，及用于将可配置增益值应用于所述第二曝光数据的电路，以生成所述第一及第二增益调整曝光数据。
15.根据权利要求11所述的合并电路，其中所述加权电路包含：
权重计算电路，用于基于所述第一及第二移位曝光数据中的选定一者及可配置第一阈值计算初始权重值，所述权重计算电路用于：
当用于所述图像中的当前像素位置的所述第一及第二移位曝光数据中的所述选定一者的值大于所述第一阈值时，计算所述初始权重值作为第一预定值，及
当用于所述当前像素位置的所述第一及第二移位曝光数据中的所述选定一者的所述值小于或等于所述第一阈值时，根据一或多个可配置参数及用于所述当前像素位置的所述第一及第二移位曝光数据中的所述选定一者的所述值计算所述初始权重值；及
运动自适应滤波器电路，用于计算差值作为用于所述图像中的所述当前像素位置的所述第一及第二移位曝光数据的值之间的差的绝对值，所述运动自适应滤波器电路用于：
当所述差值小于可配置第二阈值时，计算运动自适应权重值作为所述第一预定值，及
当所述差值大于或等于所述第二阈值时，根据所述差值计算所述运动自适应权重值；
其中所述加权电路用于将所述初始权重值乘以所述运动自适应权重值来生成所述第一权重值，并且通过从所述第一预定值中减去所述第一权重值来计算所述第二权重值。
16.根据权利要求15所述的合并电路，其中所述增益电路包含用于将可配置第一白平衡增益应用于所述第一曝光数据的电路，及用于将可配置第二白平衡增益应用于所述第二曝光数据的电路，以生成所述第一及第二增益调整曝光数据。
17.根据权利要求15所述的合并电路，其中所述增益电路包含用于将可配置第一黑电平偏移应用于所述第一曝光数据的电路，及用于将可配置第二黑电平偏移应用于所述第二曝光数据的电路，以生成所述第一及第二增益调整曝光数据。
18.根据权利要求15所述的合并电路，其中所述增益电路包含用于将可配置第一增益值应用于所述第一曝光数据的电路，及用于将可配置增益值应用于所述第二曝光数据的电路，以生成所述第一及第二增益调整曝光数据。
19.一种处理与来自图像传感器的图像的多次曝光对应的输入曝光数据的方法，所述方法包括：
使用单个预处理电路，对与所述图像的第一曝光相关联的第一输入曝光数据执行初始图像处理，以生成与所述图像的所述第一曝光相关联的第一预处理曝光数据；
将所述第一预处理曝光数据存储在存储器电路中；
使用所述单个预处理电路，对与所述图像的第二曝光相关联的第二输入曝光数据执行初始图像处理，以生成与所述图像的所述第二曝光相关联的第二预处理曝光数据；
合并所述第一及第二预处理曝光数据，以生成表示所述图像的合并图像数据；
对来自合并电路的所述合并图像数据执行色调映射；
对所述合并图像数据执行进一步图像处理以生成最终图像数据；及
将所述最终图像数据存储在所述存储器电路中。
20.根据权利要求19所述的方法，其中合并所述第一及第二预处理曝光数据包括：
将增益应用于所述第一及第二曝光数据中的至少一者，以生成与所述图像的所述第一曝光相关联的第一增益调整曝光数据，及与所述图像的所述第二曝光相关联的第二增益调整曝光数据；
移位所述第一增益调整曝光数据及所述第二增益调整曝光数据，以生成与所述图像的所述第一曝光相关联的第一移位曝光数据及与所述图像的所述第二曝光相关联的第二移位曝光数据；
计算用于所述第一移位曝光数据的合并处理的第一权重值；
计算用于所述第二移位曝光数据的合并处理的第二权重值；及
合并所述第一及第二增益调整曝光数据，以根据所述第一及第二权重值生成所述合并图像数据。
CN201780029806.5A 2016-05-18 2017-05-18 用于多重曝光宽动态范围图像数据的图像数据处理 Active CN109155052B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/157,568 2016-05-18
US15/157,568 US10148888B2 (en) 2016-05-18 2016-05-18 Image data processing for multi-exposure wide dynamic range image data
PCT/US2017/033387 WO2017201319A1 (en) 2016-05-18 2017-05-18 Image data processing for multi-exposure wide dynamic range image data

Publications (2)

Publication Number Publication Date
CN109155052A true CN109155052A (zh) 2019-01-04
CN109155052B CN109155052B (zh) 2023-06-16

Family

ID=60326607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780029806.5A Active CN109155052B (zh) 2016-05-18 2017-05-18 用于多重曝光宽动态范围图像数据的图像数据处理

Country Status (5)

Country Link
US (4) US10148888B2 (zh)
EP (1) EP3459040B1 (zh)
JP (1) JP7200452B2 (zh)
CN (1) CN109155052B (zh)
WO (1) WO2017201319A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110602420A (zh) * 2019-09-30 2019-12-20 杭州海康威视数字技术股份有限公司 相机、黑电平调整方法及装置
CN110619593A (zh) * 2019-07-30 2019-12-27 西安电子科技大学 一种基于动态场景的双曝光视频成像***
CN112243090A (zh) * 2019-07-16 2021-01-19 三星电子株式会社 图像传感器和图像处理***

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7239345B1 (en) 2001-10-12 2007-07-03 Worldscape, Inc. Camera arrangements with backlighting detection and methods of using same
JP2018042200A (ja) * 2016-09-09 2018-03-15 オリンパス株式会社 撮像装置及び撮像方法
US10592450B2 (en) 2016-10-20 2020-03-17 Micron Technology, Inc. Custom compute cores in integrated circuit devices
KR102482009B1 (ko) 2018-04-24 2022-12-28 삼성디스플레이 주식회사 수신 회로를 포함하는 소스 드라이버 및 그것을 포함하는 표시 장치
US11922639B2 (en) 2018-06-07 2024-03-05 Dolby Laboratories Licensing Corporation HDR image generation from single-shot HDR color image sensors
CN110599433B (zh) * 2019-07-30 2023-06-06 西安电子科技大学 一种基于动态场景的双曝光图像融合方法
US11653105B2 (en) 2020-12-02 2023-05-16 Texas Instmments Incorporated Intensity separated local white balance correction
US20230140542A1 (en) * 2021-11-01 2023-05-04 Advanced Energy Industries, Inc. Tensor non-linear signal processing random access memory
US12020412B1 (en) 2021-12-15 2024-06-25 Waymo Llc Systems and methods for a tone mapper solution for an autonomous driving system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090216961A1 (en) * 2008-02-27 2009-08-27 Kwon Jin-Hyung Multi-port semiconductor memory device for reducing data transfer event and access method therefor
CN103518223A (zh) * 2011-04-18 2014-01-15 高通股份有限公司 高动态范围图像的白平衡优化
US20140152694A1 (en) * 2012-12-05 2014-06-05 Texas Instruments Incorporated Merging Multiple Exposures to Generate a High Dynamic Range Image

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4356134B2 (ja) * 1999-04-16 2009-11-04 ソニー株式会社 画像処理装置及び画像処理方法
JP4190124B2 (ja) * 2000-02-28 2008-12-03 オリンパス株式会社 画像処理装置
JP3645502B2 (ja) * 2001-06-29 2005-05-11 株式会社東芝 撮像装置及び映像信号処理方法
US7474345B2 (en) 2001-10-24 2009-01-06 Texas Instruments Incorporated System and method to facilitate time domain sampling for solid state imager
US7616256B2 (en) * 2005-03-21 2009-11-10 Dolby Laboratories Licensing Corporation Multiple exposure methods and apparatus for electronic cameras
US7884871B2 (en) * 2007-06-15 2011-02-08 Aptina Imaging Corporation Images with high speed digital frame transfer and frame processing
US20090002530A1 (en) 2007-06-27 2009-01-01 Texas Instruments Incorporated Apparatus and method for processing images
JP5251563B2 (ja) 2009-02-04 2013-07-31 日本テキサス・インスツルメンツ株式会社 撮像装置
US8013911B2 (en) 2009-03-30 2011-09-06 Texas Instruments Incorporated Method for mixing high-gain and low-gain signal for wide dynamic range image sensor
US8749667B2 (en) 2010-08-02 2014-06-10 Texas Instruments Incorporated System and method for maintaining maximum input rate while up-scaling an image vertically
US8625013B2 (en) 2010-08-23 2014-01-07 Red.Com, Inc. Multi-exposure imaging
US8643769B2 (en) 2010-10-12 2014-02-04 Texas Instruments Incorporated Method for capturing wide dynamic range image in a 16 bit floating point format
DE102011118456A1 (de) 2010-12-03 2012-06-06 Docter Optics Gmbh Optisches Bauteil für Beleuchtungszwecke
JP5791336B2 (ja) * 2011-04-01 2015-10-07 キヤノン株式会社 画像処理装置及びその制御方法
JP6025472B2 (ja) * 2012-09-14 2016-11-16 キヤノン株式会社 画像処理装置及び画像処理方法
US9554057B2 (en) 2013-07-16 2017-01-24 Texas Instruments Incorporated Wide dynamic range depth imaging
US9148580B2 (en) 2013-07-16 2015-09-29 Texas Instruments Incorporated Transforming wide dynamic range images to reduced dynamic range images
US20150097978A1 (en) * 2013-10-07 2015-04-09 Qualcomm Incorporated System and method for high fidelity, high dynamic range scene reconstruction with frame stacking
KR101511853B1 (ko) * 2013-10-14 2015-04-13 영남대학교 산학협력단 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템 및 방법
US9538092B2 (en) 2014-01-17 2017-01-03 Texas Instruments Incorporated Methods and apparatus to generate wide dynamic range images
JP6678376B2 (ja) * 2014-04-11 2020-04-08 ハンファテクウィン株式会社 動き検出装置および動き検出方法
US10944911B2 (en) 2014-10-24 2021-03-09 Texas Instruments Incorporated Image data processing for digital overlap wide dynamic range sensors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090216961A1 (en) * 2008-02-27 2009-08-27 Kwon Jin-Hyung Multi-port semiconductor memory device for reducing data transfer event and access method therefor
CN103518223A (zh) * 2011-04-18 2014-01-15 高通股份有限公司 高动态范围图像的白平衡优化
US20140152694A1 (en) * 2012-12-05 2014-06-05 Texas Instruments Incorporated Merging Multiple Exposures to Generate a High Dynamic Range Image

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112243090A (zh) * 2019-07-16 2021-01-19 三星电子株式会社 图像传感器和图像处理***
CN110619593A (zh) * 2019-07-30 2019-12-27 西安电子科技大学 一种基于动态场景的双曝光视频成像***
CN110602420A (zh) * 2019-09-30 2019-12-20 杭州海康威视数字技术股份有限公司 相机、黑电平调整方法及装置
CN110602420B (zh) * 2019-09-30 2022-02-15 杭州海康威视数字技术股份有限公司 相机、黑电平调整方法及装置

Also Published As

Publication number Publication date
CN109155052B (zh) 2023-06-16
WO2017201319A1 (en) 2017-11-23
US20170339325A1 (en) 2017-11-23
US20220294960A1 (en) 2022-09-15
US20200389581A1 (en) 2020-12-10
US10148888B2 (en) 2018-12-04
US10757339B2 (en) 2020-08-25
US11637961B2 (en) 2023-04-25
EP3459040A1 (en) 2019-03-27
JP2019517215A (ja) 2019-06-20
JP7200452B2 (ja) 2023-01-10
US11375131B2 (en) 2022-06-28
EP3459040A4 (en) 2019-09-04
US20190104245A1 (en) 2019-04-04
EP3459040B1 (en) 2021-06-16

Similar Documents

Publication Publication Date Title
CN109155052A (zh) 用于多重曝光宽动态范围图像数据的图像数据处理
CN105208281B (zh) 一种夜景拍摄方法及装置
JP7077395B2 (ja) 多重化高ダイナミックレンジ画像
CN110022469B (zh) 图像处理方法、装置、存储介质及电子设备
CN107709096B (zh) 用于处理流式传输视频图像以校正经调幅光的闪变的***和方法
CN102077572A (zh) 用于在成像***中防止运动模糊和重影的方法及装置
WO2007020760A1 (ja) 画像処理方法、画像処理システムおよび画像処理プログラム
CN112654924B (zh) 用立体相机进行暗闪光灯拍照
CN108156369A (zh) 图像处理方法和装置
CN110740266B (zh) 图像选帧方法、装置、存储介质及电子设备
US20230171510A1 (en) Vision system for a motor vehicle
KR20150040559A (ko) 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체
CN114125311A (zh) 一种宽动态模式的自动切换方法及装置
CN111885281A (zh) 图像处理
CN118338135A (zh) 一种基于KinD算法的低照度视觉增强方法及设备
CN118233756A (zh) 一种图像检测方法、装置和可读存储介质
JP2003530029A (ja) 光変調除去手段を有するカメラ
EP4084464A1 (en) Image processing for on-chip inference
CN111861912A (zh) 一种线列周扫立体全景图像去噪方法、***及存储介质
CN115314627A (zh) 一种图像处理方法、***及摄像机
JP2024510958A (ja) 方法及び画像キャプチャ装置
CN117830192A (zh) 屏幕检测方法、装置、终端设备及屏幕检测设备
CN114071018A (zh) 一种刀闸指示牌图像的亮度调节方法及设备
CN114913085A (zh) 基于灰度提升的双路卷积低光照图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant