CN111614952A - 检测图像传输通道可靠性的方法及装置 - Google Patents

Abstract

公开了一种检测图像传输通道可靠性的方法及装置，包括：通过图像传输通道接收图像的行图像信息，所述行图像信息中含有校验信息；根据所述行图像信息中的校验信息，确定所述图像中的错误行；以及，根据所述图像中的错误行，确定所述图像传输通道的可靠性。本申请能够快速、高效且准确的检测图像传输通道的可靠性，从而提升硬件利用图像做出正确决策的速度，使其功能安全等级适应实际应用的需求。

Description

检测图像传输通道可靠性的方法及装置

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种检测图像传输通道可靠性的方法及装置。

背景技术

计算机视觉领域中，硬件(例如，计算机或类似设备)通过从图像中提取信息来做出决策。如果图像传输通道可靠性差，硬件接收到的图像可能发生错误，例如，遗漏图像信息或包含错误信息等，这必然将会影响硬件决策的正确性和有效性。

因此，期望提供一种检测图像传输通道可靠性的方法及装置，以快速、高效且准确的检测图像传输通道的可靠性，从而提升硬件迅速、高效、准确地做出决策的能力。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种检测图像传输通道可靠性的方法及装置。

根据本申请的一个方面，提供了一种检测图像传输通道可靠性的方法，包括：

通过图像传输通道接收图像的行图像信息，所述行图像信息中含有校验信息；

根据所述行图像信息中的校验信息，确定所述图像中的错误行；以及

根据所述图像中的错误行，确定所述图像传输通道的可靠性。

根据本申请的一个方面，提供了一种电子设备，包括：一个或多个处理器；以及，存储器，存储有计算机指令，所述计算机指令在被所述处理器运行时使所述处理器执行根据上述检测图像传输通道可靠性的方法。

根据本申请的一个方面，提供了一种检测图像传输通道可靠性的装置，包括：接收单元、错误行确定单元和通道确定单元；其中，接收单元，配置为通过图像传输通道接收图像的行图像信息，所述行图像信息中含有校验信息；

错误行确定单元，配置为根据所述行图像信息中的校验信息，确定所述图像中的错误行；以及，通道确定单元，配置为根据所述图像中的错误行，确定所述图像传输通道的可靠性。

根据本申请的一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上述检测图像传输通道可靠性的方法。

通过本申请实施例的方法和/或装置，通过含有校验信息的行图像信息快速、高效且准确地确定图像传输通道的可靠性，从而提升硬件利用图像做出正确决策的速度，使其功能安全等级适应实际应用的需求。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请所适用的***的示例性结构图。

图2是本申请所适用的***的示例性硬件架构图。

图3是本申请一示例性实施例提供的检测图像传输通道可靠性的方法的流程示意图。

图4～图7是本申请一示例性实施例提供的包含校验信息的行图像信息的示例性结构图。

图8是本申请一示例性实施例提供的确定至少一个预定位置的示例性流程图。

图9～图10是本申请一示例性实施例提供的用于存放校验信息和行数据的寄存器的排列示例图。

图11是本申请一示例性实施例提供的图像传输通道的恢复处理的示例性流程图。

图12是本申请一示例性实施例提供的检测图像传输通道可靠性的装置的结构示意图。

图13是本申请一示例性实施例提供的检测图像传输通道可靠性的装置的结构示意图。

图14是本申请一示例性实施例提供的电子设备的结构示意图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

如上文所述，计算机视觉领域中，图像传输通道可靠性将影响硬件利用图像做出决策的正确性和有效性。

以智能驾驶为例，智能驾驶是机器帮助人进行驾驶以及在特殊情况下完全取代人驾驶的技术。具体应用中，装载于交通工具上的智能驾驶***通过从实时采集的图像中提取信息来做出辅助驾驶或完全取代人驾驶的决策。如果图像传输通道可靠性差，智能驾驶***接收到的图像可能存在问题，例如，遗漏图像信息或包含错误信息等，智能驾驶***将无法迅速高效地做出正确有效的决策，从而降低智能驾驶的安全性，影响智能驾驶***的功能安全等级。

上述智能驾驶***可通过软件、硬件或两者的结合来实现。例如，该智能驾驶***可通过片上***(Soc)来实现，该片上***可通过车载网络(例如，CAN)与交通工具中的车载***通信。

可见，计算机视觉领域中，如何快速高效准确地检测图像传输通道可靠性对于硬件迅速高效地做出正确有效的决策至关重要。

发明人又发现，尽管在其他领域可能存在图像传输通道可靠性的检测方法，但这些检测方法响应时间较长且准确性不高。计算机视觉领域的诸多应用场景(例如，智能驾驶)中，硬件需要迅速高效地响应随机出现的各类状况。以自动驾驶为例，时速为60Km/h的车辆在50ms内将开出1m的距离，如果延迟能够控制在1ms以内，汽车在该延迟时间内仅会开出1.6cm的距离，缩短延迟将大大增加自动驾驶的安全性。可见，计算机视觉领域的应用场景中，硬件需要在更短的延迟时间内接收到图像并基于该图像中的有效信息做出决策，其功能安全等级才可满足实际应用的需求。因此，计算机视觉领域的应用场景中硬件必须迅速、高效且准确地检测图像传输通道的可靠性，其他领域可能存在的图像传输通道可靠性检测方法并不能适用于计算机视觉领域。

针对上述技术问题，本申请实施例的发明构思是提供一种检测图像传输通道可靠性的方法、装置、电子设备以及计算机可读存储介质，通过图像传输通道接收图像的行图像信息，行图像信息中含有校验信息，根据行图像信息中的校验信息确定图像中的错误行，根据图像中的错误行确定图像传输通道的可靠性。本申请实施例中，利用含有校验信息的行图像信息来确定图像传输通道的可靠性，检测精度可以精确到单帧图像的图像行，进而可迅速、高效、准确的检测图像传输通道的可靠性，从而显著提升硬件利用图像做出正确决策的速度，进而在不增加***复杂度、冗余度、成本的同时提升了功能安全等级，满足了计算机视觉领域中实际应用的需求。

本申请实施例可应用于各类应用场景中。具体来说，本申请实施例可应用于计算机视觉领域的任何应用中(例如，智能驾驶)。

示例性***

图1示出了本申请实施例适用的示例性***10的结构，包括：至少一个生成行图像信息的装置101和检测图像传输通道可靠性的装置102。其中，装置101与装置102之间可直接通信。装置101可以通过任何有线、无线等任何适用的通信方式与装置102进行通信。需要说明的是，图1中仅示出了一个装置101，但实际应用中，该示例性***可以包括多个装置101，具体视应用场景的需求。

本申请实施例中，生成行图像信息的装置101可以是任何具备图像传输功能的装置。例如，该生成行图像信息的装置101可以包括但不限于图像采集装置、图像处理装置等。其中，图像采集装置可以包括但不限于摄像头、图像传感器、成像器件等。图像处理装置可以包括但不限于图像信号处理器(ISP，Image Signal Processor)或类似的其他器件。

本申请实施例中，检测图像传输通道可靠性的装置102可以是任何具备图像有效性检测功能的装置。例如，该检测图像传输通道可靠性的装置102可以是但不限于图像处理装置等。具体应用中，装置102可通过具备图像处理功能的一个或多个处理器、***级芯片(SoC)等来实现。

上述示例性***10中，装置101与装置102可以集成于同一电子设备中，装置101可通过具有图像采集功能的传感器或其他类似的器件来实现，装置102可以通过电子设备中的处理器来实现。至少一些实施例中，该电子设备可以是下文的电子设备140。

上述示例性***10中，装置101和装置102可以独立部署。例如，装置101可通过具有图像采集功能的任何类型的电子设备来实现，例如，摄像头、相机等，装置102可以通过任何具有图像处理功能的电子设备来实现，该电子设备可以为(但不限于)移动终端、便携式终端、个人计算机、服务器计算机、多处理器***、基于微处理器的***、可穿戴电子设备等。至少一些实施例中，该装置102可通过下文的电子设备140来实现。

图2示出了上述示例性***10的一示例性硬件架构。图2的示例中，摄像头相当于上文的装置101，控制器相当于上文的装置102，摄像头与控制器通过POC线缆或以太网供电(Power over Ethernet，POE)线缆连接。

图2的示例中，摄像头中可以包括镜头(lens)、传感器(sensor)、图像传输器件(例如，串行器或以太网传输接口等)、图像信号处理器件(ISP，Image Signal Processing)，镜头(lens)和传感器(sensor)用于采集图像，图像传输器件用于向控制器传送图像，连接在传感器与图像传输器件之间的ISP可根据应用场景的需求选择性的配置。

图2的示例中，控制器中可以包括图像传输器件(例如，解串器或以太网传输接口等)、ISP、现场可编程门阵列(FPGA，Field－Programmable Gate Array)和***级芯片(SoC)，图像传输器件用于接收来自摄像头的图像信息，ISP和FPGA可根据具体应用场景的需求选择性的配置，***级芯片可用于实现下文的示例性方法300。

需要说明的是，图2的示例中，摄像头和控制器中分别可以包含存储器等部件，这些部件在图2中未示出。除此之外，图2的示例中，摄像头和控制器中还可包含其他部件，对其具体结构，本申请实施例不予限制。

示例性方法

图3是本申请实施例的检测图像传输通道可靠性的示例性方法300，该示例性方法300可通过上文的装置102来执行。一个示例中，该示例性方法300可通过下文的电子设备140来实现。

如图3所示，示例性方法300可以包括如下步骤：

步骤310，通过图像传输通道接收图像的行图像信息，行图像信息中含有校验信息；

步骤320，根据行图像信息中的校验信息，确定图像中的错误行；

步骤330，根据图像中的错误行，确定图像传输通道的可靠性。

发明人发现，一幅图像与校验信息分离的情况下，硬件要花费更多时间才能确认图像传输通道的状况，如果应用于计算机视觉领域中这将增加延迟，而延迟的增加将大幅降低相关应用的安全性(可参照上文的自动驾驶示例)，从而造成相关应用的功能安全等级无法满足实际应用的需求。

本申请实施例中，通过含有校验信息的行图像信息来确认图像传输通道的状况，每帧图像的每个图像行中都具有校验信息，这样，硬件在接收到单帧图像甚至于单帧图像的一个或多个图像行时即可基于其中的校验信息确认图像的状况，进而迅速、高效、准确地确认图像传输通道的状况，由此即可高效且可靠地提升硬件基于图像的有效信息做出正确决策的速度，在不增加***复杂度、冗余度、硬件成本的同时减小了延迟，提升了相关应用(例如，智能驾驶)的功能安全等级，满足了计算机视觉领域中实际应用的需求。

本申请实施例中，行图像信息包含校验信息和行数据，一行数据包含一图像行中各个像素点的内容。在未叠加校验信息时，一行数据包含一行图像中所有像素点的内容。如果校验信息是加在行数据之前或之后，那么行图像信息中的行数据仍将包含一图像行中所有像素点的内容，如果校验信息是通过替换行数据中的部分数据而嵌入在行数据中，那么行图像信息中的行数据将只包含图像行中部分像素点的内容。

本申请实施例中，校验信息可以位于行数据之前或之后，或者校验信息通过替换行数据中的至少一个预定位置处的数据而嵌入在行数据中。这样，本申请实施例可以根据实际应用的情况，可选地将校验信息叠加在图像行的合理位置上，这不仅能成功在图像行中叠加校验信息，同时还可确保图像质量仍满足要求。

一个示例中，如图4所示，校验信息可以位于行数据之前的z个字节中。这种实现方式不会更改图像的原始信息，可确保图像质量完全不受影响，但要求生成行图像信息的装置中具有可存放校验信息的空闲寄存器，且该空闲寄存器与用于存放行数据的寄存器可一并读取。

一个示例中，如图5所示，校验信息可以位于行数据之后的y个字节中。这种实现方式不会更改图像的原始信息，可确保图像质量完全不受影响，但要求生成行图像信息的装置中具有可存放校验信息的空闲寄存器，且该空闲寄存器与用于存放行数据的寄存器可一并读取。

一个示例中，如图6所示，校验信息可以通过替换行数据中的x个像素的内容而嵌入在行数据中。其中，x个像素彼此相邻。尽管该实现方式会更改图像的原始信息，但这不仅可减少存储空间的需求，同时还可确保图像质量满足要求，适用于生成行图像信息的装置存储空间有限(例如，寄存器不足)的情况。

一个示例中，如图7所示，校验信息可以通过替换行数据中的a+b+c个像素的内容而嵌入在行数据中，其中，a个像素、b个像素和c个像素分散在行数据的各个不同位置。尽管该实现方式会更改图像的原始信息，但这不仅可减少存储空间的需求，同时还可确保图像质量满足要求，适用于生成行图像信息的装置存储空间有限(例如，寄存器不足)的情况。

上述示例中，x、y、z、a、b、c可预先确定，z和y取决于校验信息的大小，x、a、b、c与校验信息的大小、具体应用中的图像质量要求等因素相关。具体应用中，x、y、z、a、b、c的取值可以是固定数值、也可以是变量。至少一些实施例中，可以根据具体应用场景的不同、图像质量要求的不同、基于图像的有效信息做出决策的图像处理算法的不同来选择性的配置不同的取值。

需要说明的是，上述图4～图7仅为示例，本申请实施例包含上述示例的任意结合。例如，校验信息中的一部分可以通过替换行数据中的至少一个预定位置处的数据而嵌入在行数据中，另一部分可以追加在行数据之后。再例如，校验信息中的一部分可以通过替换行数据中的至少一个预定位置处的数据而嵌入在行数据中，另一部分可以追加在行数据之前。

至少一些实施例中，上述示例性方法300还可以包括：确定至少一个预定位置，并且将至少一个预定位置提供给生成图像的行图像信息的装置，以便生成行图像信息的装置在图像行中的该至少一个预定位置处叠加校验信息。一个示例中，可以由检测图像传输通道可靠性的装置来确定上述的至少一个预定位置，并将该至少一个预定位置通知给生成行图像信息的装置。一个示例中，可通过其他装置或设备来确定上述的至少一个预定位置，这些装置或设备可以是任何具有相应处理能力的处理器或电子设备，这些装置或设备在确定上述至少一个预定位置之后，可以将上述至少一个预定位置一并提供给检测图像传输通道可靠性的装置和生成行图像信息的装置。

本申请实施例中，预定位置可以通过像素点的标识信息来表示，该像素点的标识信息可以唯一标识行数据中的一个数据。至少一些实施例中，该像素点的标识信息可以包括但不限于像素点内容的存储地址、像素点的坐标信息(例如，像素点在图像中的行标识和列标识等)等。除此之外，上述预定位置还可以通过其他方式来表示，对于预定位置的具体表示方式本申请实施例不予限制。

本申请实施例中，检测图像传输通道可靠性的装置还可采用任何其他可替代的方法来确定上述的至少一个预定位置，只需要确保将校验信息叠加在图像行的这些预定位置处之后图像的质量仍满足要求即可。

至少一些实施例中，如图8所示，确定至少一个预定位置的示例性流程可以包括如下步骤：

步骤801，用校验信息替换标准图像的行数据中的至少一个候选位置处的数据；

步骤802，验证标准图像的图像质量是否满足预定的图像质量要求；

步骤803，在标准图像的图像质量满足预定的图像质量要求时，确定至少一个候选位置为至少一个预定位置。

一个示例中，上述示例性流程还可以包括：步骤804，在标准图像的图像质量不满足预定的图像质量要求时，调整至少一个候选位置，并返回步骤801重新执行，如此迭代，直到找到合适的至少一个预定位置使得标准图像的图像质量满足预定的图像质量要求。

具体应用中，可以使用标准图像源中至少一幅标准图像来完成图8的处理，以准确确定上述的至少一个预定位置。

本申请实施例中，可以采用任何可用的图像质量评价方法来实现步骤802的验证过程。至少一些实施例中，可以利用无参考图像质量评价方法确定叠加校验信息后的标准图像的清晰度、噪声等多个图像质量指标，再将该多个图像质量指标与预先设定的多个图像质量指标阈值进行比较，进而确定叠加校验信息后标准图像的图像质量是否满足预定的图像质量要求。其中，图像质量指标阈值可以采用行业内的统一标准(比如，国家标准中规定的标准参考值)，也可通过基于图像的有效信息做出决策所采用的图像处理算法来确定，还可以基于利用图像做出决策的硬件的要求来确定，更可以基于具体应用场景的要求来确定。

一个示例中，可以通过估算均值、标准差、平均梯度中至少之一或其结合来对标准图像进行模糊度估计，进而确定表征该标准图像清晰度的图像质量指标。

一个示例中，可以利用诸如基于分块方差估计的、基于低通滤波的、基于小波高频系数的、基于其他变换域技术等的各种噪声估计方法来确定表征该标准图像噪声的图像质量指标。

至少一些实施例中，步骤804中调整候选位置的具体实现方式可以有多种。至少一个实施例中，可以通过人为调整的方式来调整候选位置，例如，人为向检测图像传输通道可靠性的装置输入下一组候选位置等方式。至少一个实施例中，可以通过预先配置预定策略到检测图像传输通道可靠性的装置中，由检测图像传输通道可靠性的装置按照该预定策略来自动调整上述候选位置。这里，该预定策略可以人为配置，预定策略的具体内容可基于具体应用场景的需求、经验值、基于图像的有效信息做出决策的图像处理算法等来确定。

需要说明的是，图8仅为示例，并非用于限制本申请实施例，具体应用中，确定上述至少一个预定位置还可通过替代方式来实现，对其具体实现方式，本申请实施例不予限制。

本申请实施例中，可以由生成行图像信息的装置生成校验信息，并通过在行图像中叠加校验信息来生成行图像信息。

至少一些实施例中，生成行图像信息的装置可以基于预定校验算法来生成校验信息。每个行图像信息中包含的校验信息可以相同、也可以不同，取决于使用何种校验算法。一个示例中，可以采用预定校验算法利用行数据来计算得到校验信息。一个示例中，校验信息可以为固定值，该固定值可通过预定校验算法计算得到。这里，预定校验算法的具体技术细节将下文详细说明。

至少一些实施例中，生成行图像信息的装置可以通过在一行数据中第一个数据之前或最后一个数据之后添加校验信息来生成行图像信息，也可以通过使用校验信息替换一行数据中至少一个预定位置处的数据来生成行图像信息。具体采用何种方式，可根据生成行图像信息的装置中寄存器的数量来选择。

至少一个实施例中，生成行图像信息的装置可以根据一幅图像的行、列等信息将一幅图像的各个行数据存储在寄存器中，一个行数据中的各个数据占用的寄存器地址连续，可一并读取。生成行图像信息的装置生成某一行数据的校验信息后，将该校验信息写入对应上述至少一个预定位置(例如，图6中的x个像素点；再例如，图7中的a个像素点、b个像素点和c个像素点)的寄存器中或写入与该行数据使用的寄存器相邻的空闲寄存器中。需要时，生成行图像信息的装置从寄存器中一并读取上述行数据及其校验信息即可获得相应的行图像信息。如此，便通过在行图像中叠加校验信息生成了行图像信息。

图9示出了生成行图像信息的装置中用于存放校验信息和行数据的寄存器的排列示例，其中，一个方框表示一个寄存器，CRC表示校验信息，一个data表示一个像素点的内容即一个行数据中的一个数据，图9的示例中两行寄存器可一并读取。图9的示例中，用于存放校验信息的空闲寄存器在存放行数据的多个寄存器之后，由此得到的行图像信息中校验信息将位于行数据中最后一个数据(即行图像中最后一个像素点的内容)之后，形成的行图像信息的结构如上文图5所示。

图10示出了生成行图像信息的装置中用于存放校验信息和行数据的寄存器的排列示例，其中，一个方框表示一个寄存器，CRC表示校验信息，一个data表示一个像素点的内容即一个行数据中的一个数据，图10的示例中两行寄存器可一并读取。图10的示例中，通过将校验信息覆盖对应x个预定位置的x个寄存器中的数据来将校验信息存放在这x个寄存器中，由此得到的行图像信息中校验信息通过替换行数据中的x个预定位置处的数据而嵌入在行数据中，形成的行图像信息结构如上文图6所示。

至少一些实施例中，步骤320的示例性流程可以包括如下步骤：

步骤a1，基于预定校验算法，校验每个所述行图像信息中的校验信息是否合法；

步骤a2，在校验信息不合法时，确定行图像信息对应的图像行(也可称为行图像)为错误行。

至少一个实施例中，上述预定校验算法可以由生成行图像信息的装置与检测图像传输通道可靠性的装置协商来定，这样，生成行图像信息的装置可使用该预定校验算法来生成校验信息，而检测图像传输通道可靠性的装置也可以使用同样的预定校验算法来完成上述步骤a1中的校验。除此之外，上述预定校验算法也可以通过人为配置等其他方式在生成行图像信息的装置与检测图像传输通道可靠性的装置中预先设定，对其具体配置方式，本申请实施例不予限制。

具体应用中，上述预定校验算法包括但不限于：错误校验和校正(ECC)(也可称为错误校正编码)校验(也可称为错误校正编码)、MD5校验、哈希值校验、奇偶校验、循环冗余校验码(CRC，Cyclic Redundancy Check)校验、纵向冗余校验(LRC，LongitudinalRedundancy Check)、格雷码校验、累加和校验、异或校验等。可以理解，任何未列出的其他数据校验算法均可适用于本申请实施例。

至少一个实施例中，在步骤a2确定一图像行是错误行后，还可以使用该图像行的信息(例如，行标识)来标记相应图像，该标记用于指示相应图像中是否包含错误行以及错误行是哪些，标记之后可以存储相应图像到存储器中，以便执行步骤330中的处理。

本申请实施例的第一个实现方案中，步骤330可以包括：根据一图像帧中的错误行的数量和/或位置，确定图像传输通道是否异常。

第一个实现方案的至少一些实施例中，步骤330可以包括如下之一或其任意组合：

1)计算一图像帧中不连续错误行的数量，比较不连续错误行的数量与预先设定的第一阈值，并基于该比较的结果确定图像传输通道是否异常；

2)计算一图像帧中连续错误行的数量，比较连续错误行的数量与预先设定的第二阈值，并基于该比较的结果确定图像传输通道是否异常；

3)计算一图像帧中错误行的总数，比较错误行的总数与预先设定的第三阈值，并基于该比较的结果确定图像传输通道是否异常。

本申请实施例中，错误行总数是指单帧图像中包含的所有错误行的数量，不连续错误行是指单帧图像中位置彼此不相邻的多个错误行，连续错误行是单帧图像中位置彼此相邻的多个错误行。一个示例中，不连续错误行的数量可以是位置间隔行数不少于一阈值(例如，1)的错误行的数量。一个示例中，连续错误行的数量可以取单帧图像中位置彼此相邻的多个错误行的数量的最大值。

本申请实施例中，第一阈值、第二阈值和第三阈值可以是固定值，也可以是满足预定函数关系的变量。第一阈值、第二阈值和第三阈值的取值均可随时调整，以便适应不同硬件、不同应用场景以及不同的图像处理算法的需求。一个示例中，第一阈值、第二阈值和第三阈值可取为经验值。

举例来说，一图像帧总共有1280行，其中总共有500个错误行，这500个错误行分布在该图像帧的各个区域，其中，某个区域中具有50个错误行且这50个错误行彼此相邻，另一区域中具有10个错误行且该10个错误行彼此相邻，其他错误行则分布在其他区域且彼此间隔行数超过1，如果上述间隔行数的阈值设为1，那么该图像帧的错误行总数是500行，不连续错误行的数量是440，连续错误行的数量可以是50，如果上文中第一阈值的取值预设为100、第二阈值的取值预设为100、第三阈值的取值预设为400，那么可确定图像传输通道异常。

本申请实施例的第二个实现方案中，步骤330可以包括：根据包含错误行的图像帧的数量，确定图像传输通道是否异常。

第二个实现方案的至少一些实施例中，步骤330可以包括如下之一或其任意组合：

1)确定预定的多帧图像中包含错误行的连续图像帧的数量，比较所述连续图像帧的数量与预先设定的第四阈值，并基于该比较的结果确定所述图像传输通道是否异常；

2)确定预定的多帧图像中包含错误行的不连续图像帧的数量，比较所述不连续图像帧的数量与预先设定的第五阈值，并基于该比较的结果确定所述图像传输通道是否异常。

本申请实施例中，预定的多帧图像可以是图像帧的数量达到预定量的多帧连续图像。例如，每30帧连续图像即可视为一预定的多帧图像。

一个示例中，连续图像帧是指持续图像中彼此相邻且包含错误行的多帧图像，不连续图像帧是指持续图像中彼此不相邻(例如，间隔至少一帧图像)且包含错误行的多帧图像。一个示例中，不连续图像帧的数量可以是彼此间隔的图像帧的数量不少于一阈值(例如，1)的包含错误行的图像帧的数量。

本申请实施例中，第四阈值和第五阈值可以是固定值，也可以是满足预定函数关系的变量。第四阈值和第五阈值的取值均可随时调整，以便适应不同硬件、不同应用场景以及不同的图像处理算法的需求。一个示例中，第四阈值和第五阈值可取为经验值。

举例来说，假设使用即将接收到的30帧图像来检测图像传输通道是不是异常，如果这30帧图像中有10帧图像包含错误行，这10帧图像中6帧是连续的、4帧是不连续的，那么，不连续图像帧的数量是4，连续图像帧的数量为6。假设第四阈值取3，那么从开始接收到当前时刻已经连续接收到6个含有错误行的图像帧，那么即便当前30帧图像没有传输完成，也可确定图像传输通道异常。假设第五阈值取3，那么如果从开始接收到当前时刻已接收到5帧图像，这5帧图像中有3帧图像包含错误行且这3帧图像之间间隔的图像帧数量不低于预设的一阈值1，那么在接收到第5帧图像时即可确定图像传输通道异常。

具体应用中，还可以将上述两种实现方案结合使用来更精确地确定图像传输通道的可靠性。

本申请实施例中，还可以包括：响应于图像传输通道的可靠性为异常，发出提醒信号和/或执行所述图像传输通道的恢复处理。如此，在检测到图像传输通道异常时可及时提示用户(例如，使用智能驾驶应用的驾驶员)注意并及时恢复，以进一步提高用户体验。可以理解，在确定图像传输通道异常之后还可以执行其他处理，对此，本申请实施例不作限制。

至少一些实施例中，执行所述图像传输通道的恢复处理，可以包括：向所述图像传输通道相关的部件和/或程序下发恢复指令，由所述部件和/或程序执行对应所述恢复指令的操作。

本申请实施例中，上述恢复指令包括但不限于：软件复位指令、硬件重新上电指令等。上述对应所述恢复指令的操作包括但不限于：重启程序、硬件重新上电等。除此之外，恢复指令和相应的操作还可包括其他，对此，本申请实施例不予限制。

本申请实施例中，上述图像传输通道相关的部件可以包括生成行图像信息的装置中用于图像传输的一个或多个元件、检测图像传输通道可靠性的装置中用于图像传输的一个或多个元件，例如，上文装置101中的串行器或以太网接口、上文装置102中的解串器或以太网接口、POC线缆、POE线缆等。上述图像传输通道相关的程序可以包括生成行图像信息的装置中用于通过无线方式传输图像的软件程序、用于图像传输的一个或多个元件的驱动程序和应用程序、以及检测图像传输通道可靠性的装置中用于通过无线方式传输图像的软件程序、用于图像传输的一个或多个元件的驱动程序和应用程序等。除此之外，上述图像传输通道相关的部件和/或程序还可以包括其他，对此，本申请实施例不予限制。

一个示例中，如图11所示，响应于图像传输通道的可靠性为异常，发出提醒信号和/或执行所述图像传输通道的恢复处理的具体过程可以包括如下步骤：

步骤1101，当前图像传输异常时，向图像传输通道的硬件部分(包括但不限于生成行图像信息的装置中用于传输图像的部件、检测图像传输通道可靠性的装置中用于传输图像的部件等)发送硬件重新上电指令使其复位；

步骤1102，检测图像传输通道是否异常，如果图像传输通道正常，则继续步骤1103，如果图像传输通道异常则继续步骤1104；

步骤1103，确定是硬件部分发生故障，且已复位，提示用户该图像传输通道的图像源仍可使用；

步骤1104，如果图像传输通道仍异常，则确定是图像传输通道的软件部分(即生成行图像信息的装置中用于传输图像的某程序、检测图像传输通道可靠性的装置中用于传输图像的某程序)发生故障，向图像传输通道的软件部分(包括但不限于生成行图像信息的装置中用于传输图像的各个程序、检测图像传输通道可靠性的装置中用于传输图像的各个程序)发送软件复位指令使其复位；

步骤1105，再次检测图像传输通道是否异常，如果图像传输通道正常，则继续步骤1106，如果图像传输通道异常则继续步骤1107；

步骤1106，确定是软件部分发生故障，且已恢复，提示用户该图像传输通道的图像源仍可使用；

步骤1107，确定图像传输通道异常不可恢复，提示用户在维修或更换前该图像传输通道的图像源不可用。

一个示例中，可以由检测图像传输通道可靠性的装置执行上述的发出提醒和/或恢复处理的步骤。当然，本申请实施例中也可通过其他装置或设备来执行上述的恢复处理。

示例性装置

图12示出了本申请实施例的检测图像传输通道可靠性的示例性装置120的结构，该示例性装置120可通过软件、硬件或两者的结合来实现。具体应用中，该示例性装置120可通过上文的装置102来实现。一个示例中，该示例性装置120可设置于下文的电子设备140中或通过该电子设备140来实现。

如图12所示，本申请实施例的检测图像传输通道可靠性的示例性装置120可以包括：接收单元121、错误行确定单元122和通道确定单元123；其中，

接收单元121，配置为通过图像传输通道接收图像的行图像信息，所述行图像信息中含有校验信息；

错误行确定单元122，配置为根据所述行图像信息中的校验信息，确定所述图像中的错误行；以及

通道确定单元123，配置为根据所述图像中的错误行，确定所述图像传输通道的可靠性。

至少一些实施例中，行图像信息还包括所述图像的行数据，校验信息可以位于所述行数据之前或之后，或者校验信息可以通过替换所述行数据中的至少一个预定位置处的数据而嵌入在行数据中。

至少一些实施例中，如图13所示，上述示例性装置120还可以包括：位置确定单元124，配置为确定所述至少一个预定位置；以及，提供单元125，配置为将所述至少一个预定位置提供给生成所述图像的行图像信息的装置。

至少一个实施例中，上述位置确定单元124，可以包括：

替换模块，配置为用校验信息替换标准图像的行数据中的至少一个候选位置处的数据，以生成所述标准图像的行图像信息；

图像质量验证模块，配置为验证所述标准图像的图像质量是否满足预定的图像质量要求；

第一确定模块，配置为在所述标准图像的图像质量满足预定的图像质量要求时，确定所述至少一个候选位置为所述至少一个预定位置；以及

调整模块，配置为在所述标准图像的图像质量不满足预定的图像质量要求时，调整所述至少一个候选位置。

至少一些实施例中，错误行确定单元122，可以包括：校验模块，配置为基于预定校验算法，校验每个所述行图像信息中的校验信息是否合法；以及，第二确定模块，配置为在所述校验模块校验的结果是校验信息不合法时，确定所述行图像信息对应的行图像为错误行。

至少一些实施例中，通道确定单元123中可以包括第一确定子单元和/或第二确定子单元，其中，第一确定子单元可配置为根据一图像帧中的错误行的数量和/或位置，确定所述图像传输通道是否异常；第二确定子单元可配置为根据包含所述错误行的图像帧的数量，确定所述图像传输通道是否异常。

至少一个实施例中，第一确定子单元可配置通过至少如下之一来确定所述图像传输通道是否异常：1)计算一图像帧中不连续错误行的数量，比较所述不连续错误行的数量与预先设定的第一阈值，并基于该比较的结果确定所述图像传输通道是否异常；2)计算一图像帧中连续错误行的数量，比较所述连续错误行的数量与预先设定的第二阈值，并基于该比较的结果确定所述图像传输通道是否异常；3)计算一图像帧中错误行的总数，比较所述错误行的总数与预先设定的第三阈值，并基于该比较的结果确定所述图像传输通道是否异常。

至少一些实施例中，第二确定子单元可配置通过至少如下之一来确定所述图像传输通道是否异常：1)确定预定的多帧图像中包含错误行的连续图像帧的数量，比较所述连续图像帧的数量与预先设定的第四阈值，并基于该比较的结果确定所述图像传输通道是否异常；2)确定预定的多帧图像中包含错误行的不连续图像帧的数量，比较所述不连续图像帧的数量与预先设定的第五阈值，并基于该比较的结果确定所述图像传输通道是否异常。

至少一些实施例中，如图13所示，上述示例性装置120还可以包括：提醒单元127和/或恢复处理单元126。其中，提醒单元127可配置为响应于所述图像传输通道的可靠性为异常，发出提醒信号。恢复处理单元126可配置为响应于所述图像传输通道的可靠性为异常，执行所述图像传输通道的恢复处理。

至少一个实施例中，上述恢复处理单元126具体可配置为向所述图像传输通道相关的部件和/或程序下发恢复指令，由所述部件和/或程序执行对应所述恢复指令的操作。

本申请实施例中，示例性装置120通过含有校验信息的行图像信息来确认图像传输通道的状况，每帧图像的每个图像行中都具有校验信息，这样，示例性装置120在接收到单帧图像甚至于单帧图像的一个或多个图像行时即可基于其中的校验信息确认图像的状况，进而迅速、高效、准确地确认图像传输通道的状况，由此即可高效且可靠地提升硬件基于图像的有效信息做出正确决策的速度，在不增加***复杂度、冗余度、硬件成本的同时减小了延迟，提升了相关应用(例如，智能驾驶)的功能安全等级，满足了计算机视觉领域中实际应用的需求。

示例性电子设备

图14示出了本申请实施例中示例性电子设备140的结构。

如图14所示，本申请的电子设备140可以包括：一个或多个处理器141和用于存储所述处理器可执行指令的存储器142，处理器141用于执行上文“示例性方法”中所述检测图像传输通道可靠性的方法的步骤。

处理器141可以是CPU、GPU等支持图像处理的处理器，或者具有图像处理能力的其他形式的处理单元，并且可以控制电子设备140中的其他组件以执行期望的功能。

存储器142可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器141可以运行所述程序指令，以实现上文所述的本申请的各个实施例的检测图像传输通道可靠性的方法以及/或者其他期望的功能。

一个示例中，电子设备140还可以包括：输入装置143和输出装置144，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。该输入装置143还可以包括例如键盘、鼠标等等。该输出装置144可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

一个示例中，电子设备140还可以包括：图像传输器件145(例如，解串器或以太网传输接口等)、图像信号处理器件(ISP)146等。

当然，为了简化，图14中仅示出了该电子设备140中的部分组件，省略了诸如输入/输出接口等的组件。除此之外，根据具体应用情况，电子设备140还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的检测图像传输通道可靠性的方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的检测图像传输通道可靠性的方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (14)

1.一种检测图像传输通道可靠性的方法，包括：

通过图像传输通道接收图像的行图像信息，所述行图像信息中含有校验信息；

根据所述行图像信息中的校验信息，确定所述图像中的错误行；以及

根据所述图像中的错误行，确定所述图像传输通道的可靠性。

2.根据权利要求1所述的方法，其中，

所述行图像信息还包括所述图像的行数据；

所述校验信息位于所述行数据之前或之后，或者所述校验信息通过替换所述行数据中的至少一个预定位置处的数据而嵌入在所述行数据中。

3.根据权利要求2所述的方法，还包括：

确定所述至少一个预定位置，并且将所述至少一个预定位置提供给生成所述图像的行图像信息的装置。

4.根据权利要求3所述的方法，其中，确定所述至少一个预定位置，包括：

用校验信息替换标准图像的行数据中的至少一个候选位置处的数据；

验证所述标准图像的图像质量是否满足预定的图像质量要求；以及

在所述标准图像的图像质量满足预定的图像质量要求时，确定所述至少一个候选位置为所述至少一个预定位置。

5.根据权利要求4所述的方法，还包括：

在所述标准图像的图像质量不满足预定的图像质量要求时，调整所述至少一个候选位置。

6.根据权利要求1所述的方法，其中，根据所述行图像信息中的校验信息，确定所述图像中的错误行，包括：

基于预定校验算法，校验每个所述行图像信息中的校验信息是否合法；以及

在一行图像信息的校验信息不合法时，确定所述行图像信息对应的图像行为错误行。

7.根据权利要求1所述的方法，其中，根据所述图像中的错误行，确定所述图像传输通道的可靠性，至少包括如下之一：

根据一图像帧中的错误行的数量和/或位置，确定所述图像传输通道是否异常；

根据包含所述错误行的图像帧的数量，确定所述图像传输通道是否异常。

8.根据权利要求7所述的方法，其中，根据一图像帧中的错误行的数量和/或位置，确定所述图像传输通道是否异常，至少包括如下之一：

计算一图像帧中不连续错误行的数量，比较所述不连续错误行的数量与预先设定的第一阈值，并基于该比较的结果确定所述图像传输通道是否异常；

计算一图像帧中连续错误行的数量，比较所述连续错误行的数量与预先设定的第二阈值，并基于该比较的结果确定所述图像传输通道是否异常；

计算一图像帧中错误行的总数，比较所述错误行的总数与预先设定的第三阈值，并基于该比较的结果确定所述图像传输通道是否异常。

9.根据权利要求7所述的方法，其中，根据包含所述错误行的图像帧的数量，确定所述图像传输通道是否异常，至少包括如下之一：

确定预定的多帧图像中包含错误行的连续图像帧的数量，比较所述连续图像帧的数量与预先设定的第四阈值，并基于该比较的结果确定所述图像传输通道是否异常；

确定预定的多帧图像中包含错误行的不连续图像帧的数量，比较所述不连续图像帧的数量与预先设定的第五阈值，并基于该比较的结果确定所述图像传输通道是否异常。

10.根据权利要求1所述的方法，还包括：

响应于所述图像传输通道的可靠性为异常，发出提醒信号和/或执行所述图像传输通道的恢复处理。

11.根据权利要求10所述的方法，其中，执行所述图像传输通道的恢复处理，包括：

向所述图像传输通道相关的部件和/或程序下发恢复指令，由所述部件和/或程序执行对应所述恢复指令的操作。

12.一种电子设备，包括：

至少一个处理器；

用于存储所述处理器可执行指令的存储器；

所述至少一个处理器，用于执行上述权利要求1～11中任一项所述检测图像传输通道可靠性的方法。

13.一种检测图像传输通道可靠性的装置，包括：接收单元、错误行确定单元和通道确定单元；其中，

接收单元，配置为通过图像传输通道接收图像的行图像信息，所述行图像信息中含有校验信息；

错误行确定单元，配置为根据所述行图像信息中的校验信息，确定所述图像中的错误行；以及

通道确定单元，配置为根据所述图像中的错误行，确定所述图像传输通道的可靠性。

14.一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1～11中任一项所述检测图像传输通道可靠性的方法。

Images