CN108055484B - 序列转换模块、高动态范围图像序列转换模块及转换方法 - Google Patents

Abstract

本发明提供了序列转换模块、高动态范围图像序列转换模块及转换方法，用于对第一数据和第二数据进行存储及输出时序转换，序列转换模块包括数据选择模块、写数据模块、读数据模块、存储器以及合成模块，数据选择模块用于接收原始第一数据输出至写数据模块或合成模块；写数据模块用于将写入的第一数据输入至存储器；读数据模块用于从存储器读取存储的第一数据；数据选择模块还用于接收读取的第一数据输出至合成模块；合成模块的一个输入端用于接收数据选择模块输出的第一数据，另一个输入端用于接收第二数据，合成模块用于对接收的第一数据和第二数据进行时序转换。本发明提供的序列转换模块极大地节省了存储空间并且减少了对外部主存储器的访问。

Description

序列转换模块、高动态范围图像序列转换模块及转换方法

技术领域

本发明属于图像处理领域，涉及一种序列转换模块、高动态范围图像序列转换模块及转换方法。

背景技术

高动态范围图像(HDR)将不同曝光时间的图像合成一张以使其获得更高的动态范围和图像细节，正因其特性，越来越多具有高动态范围性能的摄像头被应用于各种设备当中。其中，交错高动态范围摄像头在众多具有高动态范围模式的摄像头中具有最佳性能，但由于其长短曝光的交错性，交错高动态范围摄像头输出的长短曝光图像时序如图1所示，为保证输出长短曝光的同步，传统方法是将长短曝光数据均存入外部主存储器后，再按照长短交错的序列顺序读出，所需输出时序如图2所示，该方法需耗费大量存储空间进行序列重组。

发明内容

本发明的目的在于提供一种序列转换模块、高动态范围图像序列转换模块及转换方法，以解决现有技术中在进行长短曝光数据时序转换时需耗费大量存储空间和存储带宽进行序列重组的问题。

为解决上述技术问题，本发明提供了一种序列转换模块，用于对一第一数据和一第二数据进行存储及输出时序转换，所述第一数据领先所述第二数据若干行到达所述序列转换模块，所述序列转换模块包括数据选择模块、写数据模块、读数据模块、存储器以及合成模块，所述数据选择模块用于接收原始第一数据，并输出至所述写数据模块或所述合成模块；所述写数据模块与所述存储器连接，并用于将写入的第一数据输入至所述存储器；所述读数据模块与所述存储器连接，所述读数据模块用于从所述存储器读取存储的第一数据；所述数据选择模块还用于接收所述读数据模块读取的第一数据，并输出至所述合成模块；所述合成模块具有两个输入端，其中一个输入端与所述数据选择模块连接，并用于接收所述数据选择模块输出的第一数据，另一个输入端用于接收所述第二数据，所述合成模块用于对接收的所述第一数据和所述第二数据进行时序转换。

进一步的，所述数据选择模块包括至少两个数据选择器和一寄存器配置模块，所述两个数据选择器分别为写数据选择器和合成数据选择器，所述写数据选择器的输入端分别用于输入0和所述原始第一数据，输出端与所述写数据模块连接；所述合成数据选择器的输入端分别用于输入所述原始第一数据和所述读数据模块读取的第一数据，输出端与所述合成模块连接；所述寄存器配置模块用于控制所述写数据选择器和所述合成数据选择器的输入。

进一步的，当所述第一数据领先所述第二数据的行数大于设定值时，所述寄存器配置模块控制所述写数据选择器输入所述原始第一数据，所述合成数据选择器输入所述读数据模块读取的第一数据；当所述第一数据与所述第二数据的行差小于等于设定值时，所述寄存器配置模块控制所述写数据选择器输入0，所述合成数据选择器输入所述原始第一数据。

进一步的，所述合成模块包括第一缓冲器和第二缓冲器，所述第一缓冲器用于接收所述第一数据，所述第二缓冲器用于接收所述第二数据。

进一步的，所述合成模块还包括状态机和异步FIFO，所述状态机用于控制所述第一缓冲器和所述第二缓冲器按照时序输出数据，所述异步FIFO用于接收所述第一缓冲器和所述第二缓冲器输出的数据并进行时钟域转换输出转换后的序列。

进一步的，所述异步FIFO的读取控制逻辑为在M个时钟周期进行N次读取，M≥N。

一种高动态范围图像序列转换模块，包括如上所述的序列转换模块，所述第一数据为长曝光数据，所述第二数据为短曝光数据。

一种高动态范围图像序列转换方法，包括如下步骤：

S1：寄存器配置模块获取长曝光数据领先短曝光数据的行数，当所述行数大于设定值时，执行S2；否则，执行S3；

S2：数据选择模块接收原始长曝光数据，并输出至写数据模块，执行S4；

S3：数据选择模块接收原始长曝光数据，并输出至合成模块，执行S7；

S4：所述写数据模块将写入的长曝光数据传输至存储器；

S5：读数据模块读取所述存储器存储的长曝光数据，并输出至所述数据选择模块；

S6：所述数据选择模块接收所述读数据模块读取的长曝光数据，并输出至合成模块，执行S7；

S7：合成模块接收长曝光数据和短曝光数据，并进行时序转换。

进一步的，所述S7具体包括：

S71：合成模块的第一缓冲器接收所述长曝光数据，合成模块的第二缓冲器接收所述短曝光数据；

S72：合成模块的状态机控制所述第一缓冲器和所述第二缓冲器按照时序输出数据至合成模块的异步FIFO；

S73：所述异步FIFO对接收的数据进行时钟域转换并输出转换后的序列。

进一步的，所述S73中，所述异步FIFO的读取控制逻辑为在M个时钟周期进行N次读取，M≥N。

进一步的，所述长曝光数据与所述短曝光数据均为多条，在所述S2之前，还对所述写数据模块设置返回起始地址的传输数量参数；在所述S5之前，对所述读数据模块设置与所述写数据模块相同的返回起始地址的传输数量参数。

进一步的，所述返回起始地址的传输数量参数根据长短曝光时间上相差的数据量获得。

进一步的，所述S5中，首次启动所述读数据模块的触发信号为短曝光数据的帧起始信号；第二次及以后启动所述读数据模块的触发信号为合成模块输出的长曝光数据的非帧最后行的行尾信号。

与现有技术相比，本发明提供了一种序列转换模块、高动态范围图像序列转换模块及转换方法，可以用于到达序列转换模块时间不一致的数据的时序转换，例如高动态范围图像的长曝光数据和短曝光数据，通过设置数据选择器将先到达的第一数据输入写数据模块，然后通过写数据模块将第一数据写入外部存储器中进行存储，然后再通过读数据模块将存储的第一数据经数据选择器输入至合成模块中，合成模块再将第一数据和第二数据进行时序转换。与现有技术相比，可以大大节省存储空间并且减轻了存储器的负载。

此外，在合成模块中同样设置双条的行缓冲器，这样可以将长曝光数据和短曝光数据分别存入对应的缓冲器，极大的降低了在外部存储器响应较慢的情况下，读数据模块无法在有限的时间内读完一行数据的概率，变相增加了读数据模块读取一行数据的最大时间。

并且，通过设置合成模块的异步FIFO的输出时钟为慢时钟，在前级模块进行了图像缩小，或者在数据行与行之间的空隙时间可以利用的情况下，将一行数据尽量均匀展开，从而可以缓解后续存储器存入数据时存储器峰值带宽的压力，并且在较慢的时钟下功耗更低。

同时，所述异步FIFO的读取控制逻辑可以为在M个时钟周期进行N次读取，M≥N，这样，在所述合成模块后的后续模块对时钟频率有要求的情况下可以同样达到缓解存储器峰值带宽压力的效果。

附图说明

图1是一种交错高动态范围摄像头输出的长短曝光图像时序；

图2是一种长短曝光图像的时序输出图；

图3是本发明一实施例提供的一种序列转换模块的示意图；

图4是本发明一实施例提供的一种高动态范围图像序列转换方法的流程示意图；

图5是本发明一实施例提供的一种高动态范围图像序列转换模块应用到高动态范围图像处理***中的结构图。

具体实施方式

以下结合附图和具体实施例对本发明提出的一种序列转换模块、高动态范围图像序列转换模块及转换方法作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

图3是本发明一实施例提供的一种序列转换模块的示意图。请参考图3，一种序列转换模块，用于对一第一数据和一第二数据进行存储及输出时序转换，所述第一数据领先所述第二数据若干行到达所述序列转换模块，所述第一数据的行数等于所述第二数据的行数，例如第一数据可以为高动态范围图像处理过程中的长曝光数据，第二数据为短曝光数据，所述序列转换模块包括数据选择模块、写数据模块、读数据模块、存储器以及合成模块，所述数据选择模块用于接收原始第一数据，并输出至所述写数据模块或所述合成模块；所述写数据模块与所述存储器连接，并用于将写入的第一数据输入至所述存储器；所述读数据模块与所述存储器连接，所述读数据模块用于从所述存储器读取存储的第一数据；所述数据选择模块还用于接收所述读数据模块读取的第一数据，并输出至所述合成模块；所述合成模块具有两个输入端，其中一个输入端与所述数据选择模块连接，并用于接收所述数据选择模块输出的第一数据，另一个输入端用于接收所述第二数据，所述合成模块用于对接收的所述第一数据和所述第二数据进行时序转换。

本实施例中，设置数据选择器将先到达的第一数据输入写数据模块，然后通过写数据模块将第一数据写入外部存储器中进行存储，然后再通过读数据模块将存储的第一数据经数据选择器输入至合成模块中，合成模块再将第一数据和第二数据进行时序转换。与现有技术相比，可以大大节省存储空间并且减轻了存储器的负载。

作为本实施例的一种实现方式，所述数据选择模块可以包括至少两个数据选择器和一寄存器配置模块，所述两个数据选择器分别为写数据选择器和合成数据选择器，所述写数据选择器的输入端分别用于输入0和所述原始第一数据，输出端与所述写数据模块连接；所述合成数据选择器的输入端分别用于输入所述原始第一数据和所述读数据模块读取的第一数据，输出端与所述合成模块连接；所述寄存器配置模块用于控制所述写数据选择器和所述合成数据选择器的输入。寄存器配置模块通过获取第一数据领先第二数据的行数即两个数据的行差，来控制写数据选择器和合成数据选择器的输入。

其中，当所述第一数据领先所述第二数据的行数大于设定值时，所述寄存器配置模块控制所述写数据选择器输入所述原始第一数据，所述合成数据选择器输入所述读数据模块读取的第一数据；当所述第一数据领先所述第二数据的行数小于等于设定值时，所述寄存器配置模块控制所述写数据选择器输入0，所述合成数据选择器输入所述原始第一数据。在本方案中，当第一数据与第二数据的行差很小，在一行以内时，可以通过寄存器判断后控制写数据选择器输入0，即原始第一数据直接进入合成数据选择器，然后输入合成模块，这样第一数据就无需写入外部存储器，直接与第二数据一起进入合成模块进行时序转换，进一步提高效率，节省存储空间。

在本实施例的方案中，所述合成模块可以包括第一缓冲器和第二缓冲器，所述第一缓冲器用于接收所述第一数据，所述第二缓冲器用于接收所述第二数据。本实施例在合成模块中同样设置双条的行缓冲器，这样可以将长曝光数据和短曝光数据分别存入对应的缓冲器，极大的降低了在外部存储器响应较慢的情况下，读数据模块无法在有限的时间内读完一行数据的概率，变相增加了读数据模块读取一行数据的最大时间。

本实施例的所述合成模块还包括状态机和异步FIFO，所述状态机用于根据行缓冲器的状态控制所述第一缓冲器和所述第二缓冲器按照时序输出数据，所述异步FIFO用于接收所述第一缓冲器和所述第二缓冲器输出的数据并进行时钟域转换输出转换后的序列。

一般来说，所述异步FIFO的输出时钟可以设置为慢时钟，这样可以在前级模块进行图像缩小，或者在数据行与行之间的空隙时间可以利用的情况下，将一行数据尽量均匀展开，从而可以缓解后续存储器存入数据时存储器峰值带宽的压力，并且在较慢的时钟下功耗更低。同时，所述异步FIFO的读取控制逻辑可以为在M个时钟周期进行N次读取，M≥N，这样，在所述合成模块后的后续模块对时钟频率有要求的情况下可以同样达到缓解存储器峰值带宽压力的效果。

本申请的序列转换模块可以用于高动态范围图像序列转换中，该高动态范围图像序列转换模块包括如上所述的序列转换模块，此时，所述第一数据为长曝光数据，所述第二数据为短曝光数据。由于实际长短曝光数据的行差在几行几十行至上百行不等，本实施例的方案中采用的存储策略可以极大地节省了存储空间并且减少了对外部主存储器的访问，从而减轻了外部主存储器的负载。

下面介绍采用上述的序列转换模块或高动态范围图像序列转换模块对长曝光数据和短曝光数据进行序列转换时的工作方法，一种高动态范围图像序列转换方法，如图4所示，包括如下步骤：

S1：寄存器配置模块获取长曝光数据领先短曝光数据的行数即两者之间的行差，当所述行差大于设定值时，执行S2；否则，执行S3。该设定值可以根据实际情况进行设定，例如可以设定行差值为1行，当大于1行时，执行S2，小于等于1行时则执行S3。长曝光数据与短曝光数据的行差可以由相机的处理模块根据相机拍摄的长短曝光图像获得，然后将行差值传递给寄存器配置模块。

S2：数据选择模块接收原始长曝光数据，并输出至写数据模块，执行S4；即当行差大于设定值时，数据选择模块将长曝光数据输出至写数据模块，并由写数据模块后续传输到外部存储器中进行存储。

S3：数据选择模块接收原始长曝光数据，并输出至合成模块，执行S7；考虑到一种极端情况，当长曝光数据与短曝光数据的行差小于设定值例如在1行以内时，此时，及无需将长曝光数据存入外部存储器中，而是可以直接由数据选择模块传输至合成模块中参与时序转换。

S4：所述写数据模块将写入的长曝光数据传输至存储器；写数据模块写入存储器的每一笔传输均可以采用最大长度的传输模式，以使得传输效率达到最高，若一行的数据量不足一笔传输的整数倍则等下一行数据到达后进行数据拼接再继续传输。对于非一笔传输数据量整数倍的数据(例如整幅图像数据)，最后一笔传输数据量不足仍然发起传输。

S5：读数据模块读取所述存储器存储的长曝光数据，并输出至所述数据选择模块；读数据模块同样采用最大长度的传输模式，以使得传输效率达到最高。

S6：所述数据选择模块接收所述读数据模块读取的长曝光数据，并输出至合成模块，执行S7；

S7：合成模块接收长曝光数据和短曝光数据，并进行时序转换。

作为本实施例方法的优选方案，所述S7具体可以包括：

S71：合成模块的第一缓冲器接收所述长曝光数据，合成模块的第二缓冲器接收所述短曝光数据；设置双条行缓冲器可以极大的降低了在外部存储器响应较慢的情况下，读数据模块无法在有限的时间内读完一行数据的概率，变相增加了读数据模块读取一行数据的最大时间。

S72：合成模块的状态机控制所述第一缓冲器和所述第二缓冲器按照时序输出数据至合成模块的异步FIFO；

S73：所述异步FIFO对接收的数据进行时钟域转换并输出转换后的序列。其中，所述异步FIFO的读取控制逻辑为在M个时钟周期进行N次读取，M≥N。

在实际应用过程中，长曝光数据和短曝光数据是源源不断的输入转换模块的，此时，需要通过对写数据模块及读数据模块进行设定，以便对多条长曝光数据进行辨识。

此时，需要对所述写数据模块设置返回起始地址的传输数量参数，即进行了所设传输数量笔的传输后，写数据模块的写地址将不再递增而是回到起始写地址。返回起始地址的传输数量参数根据长短曝光时间上相差的数据量进行设置。同样，读数据模块配置和写数据模块相同的返回起始地址的传输数量参数，则读数据模块进行了所设传输数量笔传输后将回到读起始地址，也即写起始地址，从而和写数据模块达到匹配。

此外，由于长曝光数据与短曝光数据在输入转换模块时会有时间差，长曝光数据输入转换模块一段时间后，短曝光数据才会到达。为了保证合成模块进行时序转换的准确性，需要对读数据模块的启动进行设定，本实施例可以选择短曝光数据的帧起始信号作为触发信号首次启动读数据模块读取之前存入外部主存储器的长曝光数据的第一行，在此之后，读数据模块后续行的触发信号则均来自合成模块输出的长曝光数据的非帧最后行的行尾信号。

本实施例提供的高动态范围图像序列转换模块可应用于需要进行高动态范围图像序列转换的各类芯片中，例如高动态范围图像***中，如图5所示，可将该高动态范围图像序列转换模块应用在传感器与图像信号处理器之间，最终合成高动态范围图像。

综上所述，本发明提供了一种序列转换模块、高动态范围图像序列转换模块及转换方法，可以用于到达序列转换模块时间不一致的数据的时序转换，例如高动态范围图像的长曝光数据和短曝光数据，通过设置数据选择器将先到达的第一数据输入写数据模块，然后通过写数据模块将第一数据写入外部存储器中进行存储，然后再通过读数据模块将存储的第一数据经数据选择器输入至合成模块中，合成模块再将第一数据和第二数据进行时序转换。与现有技术相比，可以大大节省存储空间并且减轻了存储器的负载。

此外，在合成模块中同样设置双条的行缓冲器，这样可以将长曝光数据和短曝光数据分别存入对应的缓冲器，极大的降低了在外部存储器响应较慢的情况下，读数据模块无法在有限的时间内读完一行数据的概率，变相增加了读数据模块读取一行数据的最大时间。

并且，通过设置合成模块的异步FIFO的输出时钟为慢时钟，在前级模块进行了图像缩小，或者在数据行与行之间的空隙时间可以利用的情况下，将一行数据尽量均匀展开，从而可以缓解后续存储器存入数据时存储器峰值带宽的压力，并且在较慢的时钟下功耗更低。

同时，所述异步FIFO的读取控制逻辑可以为在M个时钟周期进行N次读取，M≥N，这样，在所述合成模块后的后续模块对时钟频率有要求的情况下可以同样达到缓解存储器峰值带宽压力的效果。

上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (12)

1.一种序列转换模块，用于对一第一数据和一第二数据进行存储及输出时序转换，所述第一数据领先所述第二数据K行到达所述序列转换模块，其特征在于，所述第一数据为长曝光数据，所述第二数据为短曝光数据，所述第一数据和所述第二数据的行数相等；所述序列转换模块包括数据选择模块、写数据模块、读数据模块、存储器以及合成模块，

所述数据选择模块用于接收原始第一数据，并输出至所述写数据模块；

所述写数据模块与所述存储器连接，并用于将写入的第一数据输入至所述存储器；

所述读数据模块与所述存储器连接，所述读数据模块用于从所述存储器读取存储的第一数据；

所述数据选择模块还用于接收所述读数据模块读取的第一数据，并输出至所述合成模块；

所述合成模块具有两个输入端，其中一个输入端与所述数据选择模块连接，并用于接收所述数据选择模块输出的第一数据，另一个输入端用于接收所述第二数据，所述合成模块用于对接收的所述第一数据和所述第二数据进行时序转换；

其中所述K＞1。

2.根据权利要求1所述的一种序列转换模块，其特征在于，所述数据选择模块包括至少两个数据选择器和一寄存器配置模块，所述两个数据选择器分别为写数据选择器和合成数据选择器，

所述写数据选择器的输入端分别用于输入0和所述原始第一数据，输出端与所述写数据模块连接；

所述合成数据选择器的输入端分别用于输入所述原始第一数据和所述读数据模块读取的第一数据，输出端与所述合成模块连接；

所述寄存器配置模块用于控制所述写数据选择器和所述合成数据选择器的输入。

3.根据权利要求1所述的一种序列转换模块，其特征在于，所述合成模块包括第一缓冲器和第二缓冲器，所述第一缓冲器用于接收所述第一数据，所述第二缓冲器用于接收所述第二数据。

4.根据权利要求3所述的一种序列转换模块，其特征在于，所述合成模块还包括状态机和异步FIFO，所述状态机用于控制所述第一缓冲器和所述第二缓冲器按照时序输出数据，所述异步FIFO用于接收所述第一缓冲器和所述第二缓冲器输出的数据并进行时钟域转换输出转换后的序列。

5.根据权利要求4所述的一种序列转换模块，其特征在于，所述异步FIFO的读取控制逻辑为在M个时钟周期进行N次读取，M≥N。

6.一种高动态范围图像序列转换模块，其特征在于，包括如权利要求1-5任一项所述的序列转换模块，所述第一数据为长曝光数据，所述第二数据为短曝光数据。

7.一种高动态范围图像序列转换方法，其特征在于，包括如下步骤：

S1：数据选择模块接收原始长曝光数据，并输出至写数据模块，执行S2；

S2：所述写数据模块将写入的长曝光数据传输至存储器；

S3：读数据模块读取所述存储器存储的长曝光数据，并输出至所述数据选择模块；

S4：所述数据选择模块接收所述读数据模块读取的长曝光数据，并输出至合成模块，执行S5；

S5：合成模块接收长曝光数据和短曝光数据，并进行时序转换；

其中，所述长曝光数据和所述短曝光数据的行数相等，所述长曝光数据领先所述短曝光数据K行到达序列转换模块，所述K＞1。

8.根据权利要求7所述的一种高动态范围图像序列转换方法，其特征在于，所述S5具体包括：

S51：合成模块的第一缓冲器接收所述长曝光数据，合成模块的第二缓冲器接收所述短曝光数据；

S52：合成模块的状态机控制所述第一缓冲器和所述第二缓冲器按照时序输出数据至合成模块的异步FIFO；

S53：所述异步FIFO对接收的数据进行时钟域转换并输出转换后的序列。

9.根据权利要求8所述的一种高动态范围图像序列转换方法，其特征在于，所述S53中，所述异步FIFO的读取控制逻辑为在M个时钟周期进行N次读取，M≥N。

10.根据权利要求8所述的一种高动态范围图像序列转换方法，其特征在于，所述长曝光数据与所述短曝光数据均为多条，在所述S1之前，还对所述写数据模块设置返回起始地址的传输数量参数；在所述S3之前，对所述读数据模块设置与所述写数据模块相同的返回起始地址的传输数量参数。

11.根据权利要求10所述的一种高动态范围图像序列转换方法，其特征在于，所述返回起始地址的传输数量参数根据长短曝光时间上相差的数据量获得。

12.根据权利要求10所述的一种高动态范围图像序列转换方法，其特征在于，所述S3中，首次启动所述读数据模块的触发信号为短曝光数据的帧起始信号；第二次及以后启动所述读数据模块的触发信号为合成模块输出的长曝光数据的非帧最后行的行尾信号。

Images