CN116634074A - 对多路图像进行同步的方法、装置及电子设备 - Google Patents

Abstract

本公开实施例公开了一种对多路图像进行同步的方法、装置、计算机可读存储介质及电子设备，其中，该方法包括：从至少两个图像传输通路中确定目标图像传输通路在预设时刻对应的目标图像数据；确定目标图像数据的帧标识的挂载状态；基于挂载状态，确定目标图像数据的完整性信息；基于完整性信息，生成目标图像数据的帧标识；基于帧标识，生成至少两个图像传输通路中的每个图像传输通路对应的待输出图像，并输出待输出图像。本公开实施例实现了自动化地对多个图像传输通路中传输的图像数据进行检测和修复，提高了多通路图像采集的效率和图像质量，解决了图像数据在多个图像传输通路中传输时的数据不同步的问题。

Description

对多路图像进行同步的方法、装置及电子设备

技术领域

本公开涉及计算机技术领域，尤其是一种对多路图像进行同步的方法、装置、计算机可读存储介质及电子设备。

背景技术

随着图像处理技术的发展，目前很多领域需要使用多个摄像头对同一场景进行拍摄，不同的摄像头拍摄的图像数据往往是通过不同的通路进行传递和处理，而不同通路对图像数据的传输和处理会产生不同的延时。例如，在智能驾驶领域，多路摄像头拍摄的多个图像需要进行同步处理，才能真实反映车辆行驶现场在某一时刻的情况，若同步处理不当就可能导致严重的事故。因此，不同摄像头拍摄的图像数据在各个通路传输时，如何保证不同通路输出的图像帧在拍摄时间上同步，是需要解决的问题。

发明内容

为了解决上述技术问题，本公开的实施例提供了一种对多路图像进行同步的方法、装置、计算机可读存储介质及电子设备，以解决不同通路内的图像数据在传输、处理过程中的延时导致的在拍摄时间上难以同步的问题。

本公开的实施例提供了一种对多路图像进行同步的方法，该方法包括：从至少两个图像传输通路中确定目标图像传输通路在预设时刻对应的目标图像数据；确定目标图像数据的帧标识的挂载状态；基于挂载状态，确定目标图像数据的完整性信息；基于完整性信息，生成目标图像数据的帧标识；基于帧标识，生成至少两个图像传输通路中的每个图像传输通路对应的待输出图像，并输出待输出图像。

根据本公开实施例的另一个方面，提供了一种对多路图像进行同步的装置，该装置包括：第一确定模块，用于从至少两个图像传输通路中确定目标图像传输通路在预设时刻对应的目标图像数据；第二确定模块，用于确定目标图像数据的帧标识的挂载状态；第三确定模块，用于基于挂载状态，确定目标图像数据的完整性信息；生成模块，用于基于完整性信息，生成目标图像数据的帧标识；输出模块，用于基于帧标识，生成至少两个图像传输通路中的每个图像传输通路对应的待输出图像，并输出待输出图像。

根据本公开实施例的另一个方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序用于被处理器执行以实现执行上述对多路图像进行同步的方法。

根据本公开实施例的另一个方面，提供了一种电子设备，该电子设备包括：处理器；用于存储处理器可执行指令的存储器；该处理器，用于从存储器中读取可执行指令，并执行指令以实现上述对多路图像进行同步的方法。

根据本公开实施例的另一个方面，提供了一种计算机程序产品，计算机程序产品包括计算机程序指令，当计算机程序指令由指令处理器执行时，执行本公开提出的对多路图像进行同步的方法。

基于本公开上述实施例提供的对多路图像进行同步的方法、装置、计算机可读存储介质及电子设备，通过对至少两个图像传输通路中传输的图像数据进行帧号检测和数据完整性检测，生成图像数据的帧标识，并通过处理各个图像传输通路中的图像数据生成待输出图像，由各个图像传输通路分别输出该帧标识对应的图像，实现了自动化地对多个图像传输通路中传输的图像数据进行检测和修复，提高了多通路图像采集的效率和图像质量。同时，通过图像数据在多个通路内传输的过程中对图像数据的帧标识进行检测和调整，可以使多个摄像头拍摄的图像在各个图像传输通路中传输的全过程保持帧标识一致，有助于使用户从各个图像传输通路输出的图像中提取到同一时刻拍摄的图像，从而确保图像数据在多个图像传输通路中传输时具有同步性。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤；

图1是本公开所适用的***图；

图2是本公开一示例性实施例提供的对多路图像进行同步的方法的流程示意图；

图3是本公开另一示例性实施例提供的对多路图像进行同步的方法的流程示意图；

图4是本公开另一示例性实施例提供的对多路图像进行同步的方法的流程示意图；

图5是本公开另一示例性实施例提供的对多路图像进行同步的方法的流程示意图；

图6是本公开另一示例性实施例提供的对多路图像进行同步的方法的流程示意图；

图7是本公开另一示例性实施例提供的对多路图像进行同步的方法的流程示意图；

图8是本公开一示例性实施例提供的对多路图像进行同步的装置的结构示意图；

图9是本公开另一示例性实施例提供的对多路图像进行同步的装置的结构示意图；

图10是本公开一示例性实施例提供的电子设备的结构图。

具体实施方式

为了解释本公开，下面将参考附图详细地描述本公开的示例实施例，显然，所描述的实施例仅是本公开的一部分实施例，而不是全部实施例，应理解，本公开不受示例性实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

申请概述

为了实现多摄像头拍摄的图像在拍摄时间上同步，目前较常用的手段是对摄像头的拍摄动作进行同步控制，摄像头拍摄的数据能够同步输出，但数据在传递的过程中，由于传输通路不同，图像处理模块处理的方式不同，程序运行的环境不同等因素，导致各通路的数据不能同时在各个模块中进行处理，进而导致各通路输出的图像在时间上不同步。

另外，目前的方案无法实现数据在不同的图像处理模块中传递时，自动化地进行异常问题分析，异常问题分析需要技术人员参数，数据处理效率较低，无法满足诸如自动驾驶等场景的需求。

本公开实施例旨在解决上述问题，提出了一种对多路图像进行同步的方法，该方法可以在图像数据在多通路传递过程中，进行帧标识检测和数据完整性检测，并最终从多个通路输出具有相同帧标识的图像，从而实现多通路图像数据在经过数据传递后的数据同步输出。

示例性***

图1示出了可以应用本公开的实施例的对多路图像进行同步的方法或对多路图像进行同步的装置的示例性***架构100。

如图1所示，***架构100可以包括电子设备101和至少两个摄像头102。

至少两个摄像头102可以与电子设备通过各种类型的连接方式连接，例如有线、无线通信链路或者光纤电缆等等。

至少两个摄像头102用于对目标场景进行拍摄，目标场景可以是各种类型的场景。例如，当至少两个摄像头102设置在车辆上时，目标场景即为车辆所在道路、停车场等场景，至少两个摄像头102可以对车辆周围的环境进行拍摄。

电子设备上可以设置有至少两个图像传输通路，每个图像传输通路对应一个摄像头，每个图像传输通路上设置有图像处理模块，摄像头拍摄的图像数据在对应的图像传输通路中传输，并经过图像处理模块进行处理后，从对应的图像传输通路输出。

电子设备101可以是各种电子设备，包括但不限于诸如图像处理专用芯片，图像处理专用电路板等专用设备，以及诸如车载终端、移动电话、笔记本电脑、PAD(平板电脑)等等的移动通用终端，以及诸如数字电视、台式计算机等等的固定通用终端。

本公开的实施例所提供的对多路图像进行同步的方法由电子设备101执行，相应地，对多路图像进行同步的装置可以设置于电子设备101中。

应该理解，图1中的电子设备和摄像头的数目仅仅是示意性的，根据实现需要，可以具有任意数目的电子设备和摄像头。

示例性方法

图2是本公开一示例性实施例提供的对多路图像进行同步的方法的流程示意图。本实施例可应用在电子设备(如图1所示的电子设备101)上，如图2所示，该方法包括如下步骤：

步骤201，从至少两个图像传输通路中确定目标图像传输通路在预设时刻对应的目标图像数据。

其中，目标图像传输通路可以是至少两个图像传输通路中的任一个。预设时刻可以是被指定的固定时刻，也可以是目标图像传输通路对应的摄像头的拍摄时刻。目标图像数据可以是目标图像传输通路对应的摄像头拍摄得到的数据。通常，目标图像数据可以是未经过图像处理操作的数据，例如，可以是摄像头的传感器采集的原始(RAW)数据。

步骤202，确定目标图像数据的帧标识的挂载状态。

其中，帧标识可以是用于区别不同时刻拍摄的图像数据的标记，帧标识通常与图像数据的拍摄时刻相关。例如，帧标识可以包括但不限于以下至少一项：图像帧序号、表示图像的拍摄时刻的时间戳等。通常，在拍摄到一帧图像数据后，会生成图像数据的帧标识，这一过程称为帧挂载，挂载状态可以包含挂载成功和挂载失败两种。若图像数据因一些软件或硬件等故障造成图像数据缺失或不完整，会造成帧标识挂载失败。

步骤203，基于挂载状态，确定目标图像数据的完整性信息。

其中，完整性信息表示目标图像数据的完整程度。作为示例，完整性信息可以是对图像数据的每行进行数据校验(例如CRC(循环冗余校验，Cyclic Redundancy Check)校验)后，得到的校验失败的行数，或校验失败的行数占总行的比例。若挂载状态失败，则需要获取完整性信息以进一步判断目标图像数据的帧标识是否可修复。

步骤204，基于完整性信息，生成目标图像数据的帧标识。

具体地，若完整性信息表示目标图像数据完整(例如校验成功的行数占总行数的比例大于预设比例)，则可以生成目标图像数据的帧标识。作为示例，生成帧标识的方法可以为，获取记录的目标图像数据的拍摄时间，根据拍摄时间的时间戳，生成帧标识。

步骤205，基于帧标识，生成至少两个图像传输通路中的每个图像传输通路对应的待输出图像，并输出待输出图像。

具体地，每个图像传输通路在传输目标图像数据的过程中，会利用预设的图像处理模块(例如ISP(图像信号处理，Image Signal Processing)模型)对目标图像数据进行处理，处理后可以得到待输出图像。由于相同的帧标识对应的多个待输出图像的拍摄时间相同或相近，因此，电子设备可以将在各个图像传输通路生成的具有相同的帧标识的待输出图像同时输出。

可选的，对于上述帧标识，若从每个图像传输通路均获取到对应于该帧标识的处理后图像，或获取到的对应于该帧标识的处理后图像的数量大于等于预设数量，则可以将这些处理后图像确定为待输出图像，并同时输出这些待输出图像。若获取到的对应于该帧标识的处理后图像的数量小于预设数量，则丢弃该帧标识对应的处理后图像，继续重新执行上述步骤201。

本公开的上述实施例提供的方法，通过对至少两个图像传输通路中传输的图像数据进行帧号检测和数据完整性检测，生成图像数据的帧标识，并通过处理各个图像传输通路中的图像数据生成待输出图像，由各个图像传输通路分别输出该帧标识对应的图像，实现了自动化地对多个图像传输通路中传输的图像数据进行检测和修复，提高了多通路图像采集的效率和图像质量。同时，通过图像数据在多个通路内传输的过程中对图像数据的帧标识进行检测和调整，可以使多个摄像头拍摄的图像在各个图像传输通路中传输的全过程保持帧标识一致，有助于使用户从各个图像传输通路输出的图像中提取到同一时刻拍摄的图像，从而确保图像数据在多个图像传输通路中传输时具有同步性。

在一些可选的实现方式中，如图3所示，步骤204包括：

步骤2041，基于完整性信息，确定目标图像数据所属的图像数据序列中的图像数据的排列顺序。

具体地，在每个图像传输通路中传输的多个图像数据，可以确定为一个图像数据序列。在不发生数据异常的情况下，图像数据序列中的图像数据的帧标识具有排列顺序。若发生数据异常，即上述完整信息表示目标图像数据不完整，则需要根据帧标识顺序生成目标图像数据的帧标识。

作为示例，当完整性信息表示目标图像数据完整时，可以直接确定当前的图像数据序列中的图像数据的帧标识顺序作为图像数据的排列顺序。当完整性信息表示目标图像数据不完整时，可以对目标图像数据进行修复，修复完成后，由于修复过需要耗费一定的时间，在此期间可能会发生帧标识乱序，因此，需要根据当前的图像数据序列中的各图像数据的时间戳，对图像数据序列进行重排序。

步骤2042，基于排列顺序，确定目标图像数据的帧标识。

作为示例，帧标识包括帧号和时间戳，若当前一帧(即目标图像数据)的上一帧的帧号为1，时间戳为t1，当前一帧的时间戳为t2，则当前一帧的帧号设置为2。若上一帧的帧号为3，时间戳为t3，当前一帧的时间戳为t5，因某种故障，导致未获取到帧号为4、时间戳为t4的帧，则当前一帧的帧号设置为5。

本实施例基于图像数据序列中的图像数据的排列顺序生成目标图像数据的帧标识，可以准确地生成目标图像数据的帧标识，使目标图像数据的帧标识可以准确表示目标图像数据的拍摄时间，有助于提高对多个图像传输通路中传输的图像数据进行同步传输及输出的准确性。

在一些可选的实现方式中，如图4所示，步骤2041包括：

步骤20411，基于完整性信息确定目标图像数据的可修复状态。

具体地，由于完整性信息可以表示目标图像数据的数据量的完整程度，因此，可以在完整信息表示完整程度达到设定的阈值时，确定目标图像数据的可修复状态为可修复，若完整信息表示完整程度未达到设定的阈值时，确定目标图像数据的可修复状态为不可修复。

步骤20412，基于可修复状态，确定目标图像数据所属的图像数据序列中的图像数据的排列顺序。

具体地，若可修复状态表示可修复但无需修复(例如目标图像数据的完整性大于95％)，则确定图像数据序列中的图像数据的帧标识的排列顺序作为图像数据的排列顺序，若可修复状态表示可修复且需要修复(例如目标图像数据的完整性小于等于95％且大于70％)，则对目标图像数据进行修复，待修复结束后，重新基于各图像数据的时间戳，确定包含修复后的目标图像数据的图像数据序列的排列顺序。

本实施例实现了根据图像的完整性有针对性地确定目标图像数据在图像数据序列中的位置，从而有助于提高生成目标图像数据的帧标识的准确性。

在一些可选的实现方式中，步骤20412可以如下执行：

首先，若修复状态表示可修复状态，对目标图像数据进行修复。

其中，对目标图像数据进行修复的方法可以包括多种。例如，通过卷积神经网络对目标图像数据进行修复；或通过CRC校验从目标图像数据中确定发生异常的数值，并利用发生异常的数值周围的数值进行插值从而得到修复后的目标图像数据。

然后，调整修复后的目标图像数据所属的图像数据序列中的图像数据的排列顺序。

通常，由于对目标图像数据进行修复需要耗费一定的时间，则该时间段内，可能会接收到新的图像数据，导致目标图像数据所属的图像数据序列中的图像数据发生乱序，因此，在对目标图像数据进行修复后，可以利用诸如时间戳，对图像数据序列中的图像数据进行重新排序。

本实施例通过在目标图像数据发生异常且可修复时，对目标图像数据进行修复并调整图像数据的排列顺序，实现了自动化地对图像数据进行检测及修复，有助于提高同一图像传输通路中传输的图像的连续性。

在一些可选的实现方式中，该方法还包括：

若上述修复状态表示目标图像数据不可修复，将目标图像数据丢弃，并将至少两个图像传输通路中传输的对应于预设时刻的图像数据丢弃。

具体地，可以从至少两个图像传输通路中的其他通路中，将与目标图像数据的拍摄时间的时间戳一致(或时间戳差距小于预设时间差)的图像数据丢弃。

通常，若目标图像传输通路中的目标图像数据不可修复，可以向其他通路对应的线程发送丢弃通知，其他通路对应的线程接收到丢弃通知后，可以将对应于对应于预设时刻的图像数据丢弃。

本实施例实现了在某一时刻的某一图像传输通路内的图像数据发生故障且不可修复时，将对应的其他图像传输通路的图像数据一并丢弃，避免了最终从各个图像传输通路输出的图像的拍摄时间不一致的问题。

在一些可选的实现方式中，如图5所示，步骤205包括：

步骤2051，利用预设的图像处理模型，对目标图像数据进行处理，得到目标处理后图像。

其中，图像处理模型可以是对目标图像数据进行各种方式的处理的模型。作为示例，图像处理模型可以是ISP模型，ISP模型包括多个图像处理模块，例如白平衡模块、颜色差值模块、颜色矫正模块等。

步骤2052，基于目标处理后图像，确定目标待输出图像。

具体地，可以将目标处理后图像直接确定为目标待输出图像，或者对目标处理后图像的帧标识进行判断，在帧标识不符合图像传输通路内的处理后图像的排列顺序时，重新对处理后图像进行排序，按照顺序确定当前时刻的待输出图像。

步骤2053，从至少两个图像传输通路中的目标图像传输通路以外的其他通路中，分别获取经过图像处理模型处理的与目标待输出图像的帧标识对应的待输出图像。

具体地，相同的帧标识对应的各个图像的拍摄时间相同或相近(例如图像间的拍摄时间的时间戳差距小于预设时间差)，因此，将相同的帧标识对应的各个图像确定为当前时刻的待输出图像。

步骤2054，输出目标待输出图像和获取到的各个待输出图像。

本步骤当前输出的图像即多个摄像头在同一时刻拍摄的图像，可以反映目标场景下相同拍摄时刻不同拍摄方位的情况。

本实施例通过在利用图像处理模型对目标图像数据和其他图像传输通路的图像数据进行处理后，将对应于同一帧标识的图像输出，实现了使同一时刻输出的各通路的图像保持拍摄时间的一致，解决了各通路的图像数据因传输路径差异，以及因图像处理模型对各通路的图像数据进行处理的延时导致的输出图像在拍摄时间上不同步的问题。

在一些可选的实现方式中，如图6所示，步骤2052包括：

步骤20521，响应于目标处理后图像的帧标识与目标图像传输通路中的历史处理后图像的帧标识发生乱序，对目标处理后图像和历史处理后图像进行重新排序。

具体地，由于图像数据在通路中的传输路径的差异，以及图像处理模型的处理时间的差异，导致一个图像传输通路中生成的处理后图像并非按照帧标识的顺序生成。例如，图像处理处理模型中有的模块在处理后得到的数据需要在内存中暂存，等待其他模块从内存中提取出数据继续处理，从而导致通路内的处理后图像的帧标识不连续，此时需要重新对处理后图像进行重新排序。

步骤20522，从排序后的目标处理后图像和历史处理后图像中，确定当前输出轮次对应的帧标识对应的处理后图像作为目标待输出图像。

具体地，各个图像传输通路是按照输出轮次依次输出图像的，且轮次的顺序与帧标识的顺序一致，因此，为了使各图像传输通路输出的图像的帧标识保持一致且连续，每个图像传输通路需要按照帧标识的顺序，依次输出图像。作为示例，上一轮次输出的图像的帧标识为3，则本轮次应该输出帧标识为4图像，但实际上由图像处理模型处理后，先得到帧标识为6的图像，再得到帧标识为5图像，即帧标识出现了乱序，此时就需要先重新排序，将帧标识为5的图像排到帧标识为6的图像前面；然后，又得到帧标识为4图像，则再次重新排序，并且当前轮次对应的帧标识为4，则将帧标识为4的图像作为目标待输出图像。

本实施例通过在目标图像传输通路中，对各个时刻生成的处理后图像进行重新排序，实现了在通路内保持处理后图像按照拍摄时间排序，避免造成单个通路输出的图像的顺序混乱，有助于高效地实现多通路输出图像的帧标识的一致性。

在一些可选的实现方式中，如图7所示，步骤2051包括：

步骤20511，利用图像处理模型，对目标图像数据进行处理，得到初始处理后图像。

步骤20512，确定初始处理后图像的图像质量是否合格。

其中，确定图像质量是否合格的方法可以包括多种。例如，可以对处理后图像进行坏点检测，确定坏点数量，若坏点数量大于等于第一预设数量阈值，确定图像质量不合格。再例如，对图像进行CRC校验，若校验结果为异常的行数大于等于第一预设行数阈值，确定图像质量不合格。

步骤20513，若不合格，确定初始处理后图像是否可修复。

作为示例，若坏点数量大于等于第二预设数量阈值，确定图像不可修复。再例如，若异常的行数大于等于第二预设行数阈值，确定图像不可修复。

可选的，若合格，可以直接将上述初始处理后图像确定为目标处理后图像。

步骤20514，若可修复，对初始处理后图像进行修复，得到目标处理后图像。

其中，对初始处理后图像进行修复的方法可以包括多种，例如，通过ISP图像处理模型的坏点矫正模块对初始处理后图像进行修复，或利用卷积神经网络对初始处理后图像进行修复等方法。

本实施例通过对图像处理模型处理后得到的图像进行图像质量判断，并对质量不合格的图像进行修复，实现了在多通路中传输图像的过程中，自动化地对生成的处理后图像进行检测及修复，提高了同一图像传输通路中生成的处理后图像的连续性。

在一些可选的实现方式中，上述步骤5013之后，该方法还包括：

若初始处理后图像不可修复，将初始处理后图像丢弃，并将至少两个图像传输通路中的对应于初始处理后图像的帧标识的图像数据丢弃。

具体地，若目标图像传输通路中的初始处理后图像不可修复，通常可以向其他通路对应的线程发送丢弃通知，其他通路对应的线程接收到丢弃通知后，可以将对应于初始处理后图像的帧标识的图像数据丢弃。

需要说明的是，这里的对应于初始处理后图像的帧标识的图像数据，不限于从摄像头接收的图像数据和经过图像处理模型处理后得到的处理后图像，在图像传输、处理的任意阶段，若触发表示初始处理后图像不可修复的信号，即可将对应于上述帧标识的任意类型的图像数据丢弃。

本实施例实现了在某一时刻的某一图像传输通路内生成的处理后图像发生故障且不可修复时，将对应的其他图像传输通路的图像数据一并丢弃，避免了最终从各个图像传输通路输出的图像的拍摄时间不一致的问题。

示例性装置

图8是本公开一示例性实施例提供的对多路图像进行同步的装置的结构示意图。本实施例可应用在电子设备上，如图8所示，对多路图像进行同步的装置包括：第一确定模块801，用于从至少两个图像传输通路中确定目标图像传输通路在预设时刻对应的目标图像数据；第二确定模块802，用于确定目标图像数据的帧标识的挂载状态；第三确定模块803，用于基于挂载状态，确定目标图像数据的完整性信息；生成模块804，用于基于完整性信息，生成目标图像数据的帧标识；输出模块805，用于基于帧标识，生成至少两个图像传输通路中的每个图像传输通路对应的待输出图像，并输出待输出图像。

在本实施例中，第一确定模块801从至少两个图像传输通路中确定目标图像传输通路在预设时刻对应的目标图像数据。

其中，目标图像传输通路可以是至少两个图像传输通路中的任一个。预设时刻可以是被指定的固定时刻，也可以是目标图像传输通路对应的摄像头的拍摄时刻。目标图像数据可以是目标图像传输通路对应的摄像头拍摄得到的数据。通常，目标图像数据可以是未经过图像处理操作的数据，例如，可以是摄像头的传感器采集的原始(RAW)数据。

在本实施例中，第二确定模块802确定目标图像数据的帧标识的挂载状态。

其中，帧标识可以是用于区别不同时刻拍摄的图像数据的标记，帧标识通常与图像数据的拍摄时刻相关。例如，帧标识可以包括但不限于以下至少一项：图像帧序号、表示图像的拍摄时刻的时间戳等。通常，在拍摄到一帧图像数据后，会生成图像数据的帧标识，这一过程称为帧挂载，挂载状态可以包含挂载成功和挂载失败两种。若图像数据因一些软件或硬件等故障造成图像数据缺失或不完整，会造成帧标识挂载失败。

在本实施例中，第三确定模块803基于挂载状态，确定目标图像数据的完整性信息。

其中，完整性信息表示目标图像数据的完整程度。作为示例，完整性信息可以是对图像数据的每行进行数据校验(例如CRC(循环冗余校验，Cyclic Redundancy Check)校验)后，得到的校验失败的行数，或校验失败的行数占总行的比例。若挂载状态失败，则需要获取完整性信息以进一步判断目标图像数据的帧标识是否可修复。

在本实施例中，生成模块804基于完整性信息，生成目标图像数据的帧标识。

具体地，若完整性信息表示目标图像数据完整(例如校验成功的行数占总行数的比例大于预设比例)，则可以生成目标图像数据的帧标识。作为示例，生成帧标识的方法可以为，获取记录的目标图像数据的拍摄时间，根据拍摄时间的时间戳，生成帧标识。

在本实施例中，输出模块805基于帧标识，生成至少两个图像传输通路中的每个图像传输通路对应的待输出图像，并输出待输出图像。

具体地，每个图像传输通路在传输目标图像数据的过程中，会利用预设的图像处理模块(例如ISP(图像信号处理，Image Signal Processing)模型)对目标图像数据进行处理，处理后可以得到待输出图像。由于相同的帧标识对应的多个待输出图像的拍摄时间相同或相近，因此，输出模块805可以将在各个图像传输通路生成的具有相同的帧标识的待输出图像同时输出。

参照图9，图9是本公开另一示例性实施例提供的对多路图像进行同步的装置的结构示意图。

在一些可选的实现方式中，生成模块804包括：第一确定单元8041，用于基于完整性信息，确定目标图像数据所属的图像数据序列中的图像数据的排列顺序；第二确定单元8042，用于基于排列顺序，确定目标图像数据的帧标识。

在一些可选的实现方式中，第一确定单元8041包括：第一确定子单元80411，用于基于完整性信息确定目标图像数据的可修复状态；第二确定子单元80412，用于基于可修复状态，确定目标图像数据所属的图像数据序列中的图像数据的排列顺序。

在一些可选的实现方式中，第二确定子单元80412进一步用于：若修复状态表示可修复状态，对目标图像数据进行修复；调整修复后的目标图像数据所属的图像数据序列中的图像数据的排列顺序。

在一些可选的实现方式中，第二确定子单元80412进一步用于：若修复状态表示目标图像数据不可修复，将目标图像数据丢弃，并将至少两个图像传输通路中传输的对应于预设时刻的图像数据丢弃。

在一些可选的实现方式中，输出模块805包括：处理单元8051，用于利用预设的图像处理模型，对目标图像数据进行处理，得到目标处理后图像；第三确定单元8052，用于基于目标处理后图像，确定目标待输出图像；获取单元8053，用于从至少两个图像传输通路中的目标图像传输通路以外的其他通路中，分别获取经过图像处理模型处理的与目标待输出图像的帧标识对应的待输出图像；输出单元8054，用于输出目标待输出图像和获取到的各个待输出图像。

在一些可选的实现方式中，第三确定单元8052包括：排序子单元80521，用于响应于目标处理后图像的帧标识与目标图像传输通路中的历史处理后图像的帧标识发生乱序，对目标处理后图像和历史处理后图像进行重新排序；第三确定子单元80522，用于从排序后的目标处理后图像和历史处理后图像中，确定当前输出轮次对应的帧标识对应的处理后图像作为目标待输出图像。

在一些可选的实现方式中，处理单元8051包括：处理子单元80511，用于利用图像处理模型，对目标图像数据进行处理，得到初始处理后图像；第四确定子单元80512，用于确定初始处理后图像的图像质量是否合格；第五确定子单元80513，用于若不合格，确定初始处理后图像是否可修复；修复子单元80514，用于若可修复，对初始处理后图像进行修复，得到目标处理后图像。

在一些可选的实现方式中，处理单元8051还包括：丢弃子单元80515，用于若初始处理后图像不可修复，将初始处理后图像丢弃，并将至少两个图像传输通路中的对应于初始处理后图像的帧标识的图像数据丢弃。

本公开上述实施例提供的对多路图像进行同步的装置，通过对至少两个图像传输通路中传输的图像数据进行帧号检测和数据完整性检测，生成图像数据的帧标识，并通过处理各个图像传输通路中的图像数据生成待输出图像，由各个图像传输通路分别输出该帧标识对应的图像，实现了自动化地对多个图像传输通路中传输的图像数据进行检测和修复，提高了多通路图像采集的效率和图像质量。同时，通过图像数据在多个通路内传输的过程中对图像数据的帧标识进行检测和调整，可以使多个摄像头拍摄的图像在各个图像传输通路中传输的全过程保持帧标识一致，有助于使用户从各个图像传输通路输出的图像中提取到同一时刻拍摄的图像，从而确保图像数据在多个图像传输通路中传输时具有同步性。

示例性电子设备

下面，参考图10来描述根据本公开实施例的电子设备。该电子设备可以是如图1所示的电子设备101。

图10示出了根据本公开实施例的电子设备的框图。

如图10所示，电子设备包括一个或多个处理器1001和存储器1002。

处理器1001可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

存储器1002可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1001可以运行程序指令，以实现上文的本公开的各个实施例的对多路图像进行同步的方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如图像数据等各种内容。

在一个示例中，电子设备还可以包括：输入装置1003和输出装置1004，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。

例如，该输入装置1003可以是摄像头、鼠标、键盘等设备，用于输入图像数据、各种命令等。该输入装置1003还可以是通信网络连接器，用于从与电子设备连接的其他设备接收所输入的图像数据、各种命令等。

该输出装置1004可以向外部输出各种信息，包括各图像传输通路输出的图像。该输出装置1004可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出装置等等。

当然，为了简化，图10中仅示出了该电子设备中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以提供一种计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行上述“示例性方法”部分中描述的本公开各种实施例的对多路图像进行同步的方法中的步骤。

计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行上述“示例性方法”部分中描述的本公开各种实施例的对多路图像进行同步的方法中的步骤。

计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如但不限于包括电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为其是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本领域的技术人员可以对本公开进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

Claims (12)

1.一种对多路图像进行同步的方法，包括：

从至少两个图像传输通路中确定目标图像传输通路在预设时刻对应的目标图像数据；

确定所述目标图像数据的帧标识的挂载状态；

基于所述挂载状态，确定所述目标图像数据的完整性信息；

基于所述完整性信息，生成所述目标图像数据的帧标识；

基于所述帧标识，生成所述至少两个图像传输通路中的每个图像传输通路对应的待输出图像，并输出所述待输出图像。

2.根据权利要求1所述的方法，其中，所述基于所述完整性信息，生成所述目标图像数据的帧标识，包括：

基于所述完整性信息，确定所述目标图像数据所属的图像数据序列中的图像数据的排列顺序；

基于所述排列顺序，确定所述目标图像数据的帧标识。

3.根据权利要求1所述的方法，其中，所述基于所述完整性信息，确定所述目标图像数据所属的图像数据序列中的图像数据的排列顺序，包括：

基于所述完整性信息确定所述目标图像数据的可修复状态；

基于所述可修复状态，确定所述目标图像数据所属的图像数据序列中的图像数据的排列顺序。

4.根据权利要求3所述的方法，其中，所述基于所述可修复状态，确定所述目标图像数据所属的图像数据序列中的图像数据的排列顺序，包括：

若所述修复状态表示可修复状态，对所述目标图像数据进行修复；

调整修复后的所述目标图像数据所属的图像数据序列中的图像数据的排列顺序。

5.根据权利要求3或4所述的方法，其中，所述方法还包括：

若所述修复状态表示所述目标图像数据不可修复，将所述目标图像数据丢弃，并将所述至少两个图像传输通路中传输的对应于所述预设时刻的图像数据丢弃。

6.根据权利要求1所述的方法，其中，所述基于所述帧标识，生成所述至少两个图像传输通路中的每个图像传输通路对应的待输出图像，并输出所述待输出图像，包括：

利用预设的图像处理模型，对所述目标图像数据进行处理，得到目标处理后图像；

基于所述目标处理后图像，确定目标待输出图像；

从所述至少两个图像传输通路中的所述目标图像传输通路以外的其他通路中，分别获取经过所述图像处理模型处理的与所述目标待输出图像的帧标识对应的待输出图像；

输出所述目标待输出图像和获取到的各个待输出图像。

7.根据权利要求6所述的方法，其中，所述基于所述目标处理后图像，确定目标待输出图像，包括：

响应于所述目标处理后图像的帧标识与所述目标图像传输通路中的历史处理后图像的帧标识发生乱序，对所述目标处理后图像和所述历史处理后图像进行重新排序；

从排序后的所述目标处理后图像和所述历史处理后图像中，确定当前输出轮次对应的帧标识对应的处理后图像作为所述目标待输出图像。

8.根据权利要求6或7所述的方法，其中，所述利用预设的图像处理模型，对所述目标图像数据进行处理，得到目标处理后图像，包括：

利用所述图像处理模型，对所述目标图像数据进行处理，得到初始处理后图像；

确定所述初始处理后图像的图像质量是否合格；

若不合格，确定所述初始处理后图像是否可修复；

若可修复，对所述初始处理后图像进行修复，得到所述目标处理后图像。

9.根据权利要求8所述的方法，其中，在所述确定所述初始处理后图像是否可修复之后，所述方法还包括：

若所述初始处理后图像不可修复，将所述初始处理后图像丢弃，并将所述至少两个图像传输通路中的对应于所述初始处理后图像的帧标识的图像数据丢弃。

10.一种对多路图像进行同步的装置，包括：

第一确定模块，用于从至少两个图像传输通路中确定目标图像传输通路在预设时刻对应的目标图像数据；

第二确定模块，用于确定所述目标图像数据的帧标识的挂载状态；

第三确定模块，用于基于所述挂载状态，确定所述目标图像数据的完整性信息；

生成模块，用于基于所述完整性信息，生成所述目标图像数据的帧标识；

输出模块，用于基于所述帧标识，生成所述至少两个图像传输通路中的每个图像传输通路对应的待输出图像，并输出所述待输出图像。

11.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于被处理器执行以实现上述权利要求1-9任一所述的方法。

12.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器的可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-9任一所述的方法。