CN114693540A - 一种图像处理方法、装置以及智能汽车 - Google Patents

Abstract

本申请公开了一种图像处理方法，可以应用于智能汽车、智能网联汽车上。该方法可以包括：获取待处理图像。将待处理图像输入至第一神经网络，以获取第一预测结果。第一预测结果指示待处理图像的第一区域是车道线时，根据高度信息和第一区域获取待处理图像中待检测物体的感兴趣区域，高度信息包括预设定的待检测物体的物理高度，感兴趣区域用于第二神经网络获取待检测物体的候选框和分类。通过本申请提供的方案，可以提升路口路段物体识别的准确度，比如提升交通灯识别的准确度。

Description

一种图像处理方法、装置以及智能汽车

技术领域

本申请涉及图像处理领域，尤其涉及一种图像处理方法、装置以及智能汽车。

背景技术

人工智能(artificial intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，AI基础理论等。

自动驾驶是人工智能领域的一种主流应用，自动驾驶技术依靠计算机视觉、雷达、监控装置和全球定位***等协同合作，让机动车辆可以在不需要人类主动操作下，实现自动驾驶。自动驾驶的车辆使用各种计算***来帮助将乘客从一个位置运输到另一位置。一些自动驾驶车辆可能要求来自操作者(诸如，领航员、驾驶员、或者乘客)的一些初始输入或者连续输入。自动驾驶车辆准许操作者从手动模操作式切换到自动驾驶模式或者介于两者之间的模式。由于自动驾驶技术无需人类来驾驶机动车辆，所以理论上能够有效避免人类的驾驶失误，减少交通事故的发生，且能够提高公路的运输效率。因此，自动驾驶技术越来越受到重视。

交通灯作为交通运转的枢纽设备，提升交通灯检测的准确度，对于自动驾驶有非常重要的意义。

发明内容

本申请提供了一种图像处理方法、装置以及智能汽车，以提升路口路段物体识别的准确度，比如提升交通灯识别的准确度。

为解决上述技术问题，本申请提供以下技术方案：

本申请第一方面提供一种图像处理方法，可用于人工智能领域的自动驾驶领域中。可以包括：获取待处理图像。将待处理图像输入至第一神经网络，以获取第一预测结果。该第一神经网络可以是用于执行图像分割任务的神经网络。相关技术中可以用于执行图像分割任务的神经网络本申请实施例均可以采用，比如第一神经网络包括但不限于：特殊卷积神经网络(specia convolutional neural network，SCNN)全卷积网络(fullyconvolutional networks，FCN)、U型神经网络(U-Net)、掩膜区域卷积神经网络(maskregion convolutional neural network，Mask-RCNN)、语义分割网(semanticsegmentation net，SegNet)。第一预测结果会指示待处理图像中每个像素属于车道线的概率，具体的指示每个像素属于停止车道线的概率，每个像素属于导向车道线的概率。属于停止车道线的概率超过预设阈值的像素点的集合可以用于获取一条停止车道线在待处理图像中的区域。属于一条导向车道线的概率超过预设阈值的像素点的集合可以用于获取一条导向车道线在待处理图像中的区域。第一预测结果指示待处理图像的第一区域是车道线时，根据高度信息和第一区域获取待处理图像中待检测物体的感兴趣区域。高度信息可以包括预设定的待检测物体的物理高度，感兴趣区域用于第二神经网络获取待检测物体的候选框和分类。其中，该第二神经网络可以是用于还行物体识别任务的神经网络，包括但不限于卷积神经网络(convolutional neuron network，CNN)、深度神经网络(deepneural network，DNN)、你只能看一次(you only look once，YOLO)v3(版本号，代表第三版)、单发多核探测器(single shot multibox detector，SSD)。本申请中的ROI是指从待处理的图像以方框的方式勾勒出需要处理的区域(本申请也称之为抠图区域)，将该ROI输入至第二神经网络，以输出待检测物体的候选框和分类。确定感兴趣区域包括确定感兴趣的位置、感兴趣区域的长度以及感兴趣区域的宽度。本申请提供的方案提出了一种利用车道线获取感兴趣区域的方式，具体的，可以根据车道线确定感兴趣区域的位置以及感兴趣区域的长度，根据待检测物体的物体高度确定感兴趣的宽度。本申请提供的方案利用车道线，在待处理图像中选出路口路段对应的区域，有利于提升路口路段的待检测物体的检测的准确度。

在一种可能的实施方式中，第一区域中的车道线可以包括停止线，根据高度信息和第一区域获取待处理图像的感兴趣区域，可以包括：获取停止线在待处理图像中的长度。根据停止线在待处理图像中的长度获取感兴趣区域的长度。根据高度信息和比例尺获取待检测物体在待处理图像中的长度，比例尺用于指示待检测物体在待处理图像中的长度和待检测物体的物理高度之间的比例关系。根据待检测物体在待处理图像中的长度获取感兴趣区域的宽度。待处理图像中包括停止车道线时，说明车辆处于路口路段或者车辆即将驶入路口路段，根据停止车道线获取感兴趣区域，可以很好的在待处理图像中选出路口路段对应的区域，有利于提升路口路段的待检测物体的检测的准确度。

在一种可能的实施方式中，第一区域中可以包括多个第一像素，多个第一像素中各个第一像素属于停止线的概率超过第一预设阈值，停止线由多个第一像素组成，获取停止线在待处理图像中的长度，可以包括：根据多个第一像素中距离最远的两个像素之间的距离获取停止线在待处理图像中的长度。在这种实施方式中，给出了一种具体的获取停止线在待处理图像中的长度，增加了方案的多样性。

在一种可能的实施方式中，方法还可以包括：获取第一距离，第一距离是待检测物体和自车之间的距离。获取第二距离，第二距离是停止线和待处理图像的下边缘之间的距离。根据第一距离和第二距离获取比例尺。在这种实施方式中，给出了一种具体的获取比例尺的方式，增加了方案的多样性。

在一种可能的实施方式中，第一区域中的车道线还可以包括至少两条导向车道线，方法还可以包括：获取至少两条导向车道线中任意两条相邻的导向车道线在待处理图像中的宽度。根据任意两条相邻的导向车道线在待处理图像中的宽度和预设定的两条导向车道线的物理宽度获取比例尺。在这种实施方式中，给出了另一种具体的获取比例尺的方式，增加了方案的多样性。

在一种可能的实施方式中，根据停止线在待处理图像中的长度获取感兴趣区域的长度，可以包括：根据第一交点和第二交点之间的距离获取感兴趣区域的长度，第一交点是待处理图像中第一导向车道线和停止线一端的交点，第二交点是待处理图像中第二导向车道线和停止线另一端的交点，第一导向车道线和第二导向车道线是至少两条导向车道线中距离最远的两条导向车道线。在这种实施方式中，给出了一种具体的根据停止线的长度获取感兴趣区域的长度的方式，增加了方案的多样性。

在一种可能的实施方式中，感兴趣区域的下边缘的位置根据停止线在待处理图像中的位置确定。在这种可能的实施方式中，感兴趣区域的下边缘的位置直接根据停止线在待处理图像中的位置确定，简化计算过程。

在一种可能的实施方式中，第一区域中的车道线可以包括至少两条导向车道线且不可以包括停止线，根据高度信息和第一区域获取待处理图像的感兴趣区域，可以包括：根据第三交点和第四交点之间的距离获取感兴趣区域的长度，第三交点是待处理图像中第一导向车道线和第一线段的一端的交点，第二交点是待处理图像中第二导向车道线和第一线段另一端的交点，第一导向车道线和第二导向车道线是至少两条导向车道线中距离最远的两条导向车道线，第一线段是经过第二像素的一条线段，第二像素是至少两条导向车道线中最短的导向车道线在待处理图像中最高点对应的像素。根据高度信息和比例尺获取待检测物体在待处理图像中的长度，比例尺用于指示待检测物体在待处理图像中的长度和待检测物体的物理高度之间的比例关系。根据待检测物体在待处理图像中的长度获取感兴趣区域的宽度。在这种实施方式中，获取到的待处理图像不包括停止车道线，但是包括导向车道线，则可以根据待处理图像中导向车道线之间的位置关系确定ROI的下边缘的位置以及ROI区域的长度。保证在没有检测到停止车道线的时候，也可以根据导向车道线确定合适的ROI区域，在待处理图像中选出路口路段对应的区域，提升路口路段的待检测物体的检测的准确度。

在一种可能的实施方式中，第一线段与待处理图像的下边缘平行。

在一种可能的实施方式中，第一区域中的车道线可以包括至少两条导向车道线且不可以包括停止线，感兴趣区域的下边缘的位置根据第一线段在待处理图像中的位置确定，第一线段占据预设长度的像素，且第一线段的一端与第一导向车道线相交，第一线段的另一端与第二导向车道线相交，第一导向车道线和第二导向车道线是至少两条导向车道线中距离最远的两条导向车道线。在这种实施方式中，针对获取到的待处理图像不包括停止车道线，但是包括导向车道线的情况，给出了另一种根据导向车道线获取感兴趣区域的方式。

在一种可能的实施方式中，根据高度信息和第一区域获取待处理图像的感兴趣区域，可以包括：根据第一线段的长度获取感兴趣区域的长度。根据高度信息和比例尺获取待检测物体在待处理图像中的长度，比例尺用于指示待检测物体在待处理图像中的长度和待检测物体的物理高度之间的比例关系。根据待检测物体在待处理图像中的长度获取感兴趣区域的宽度。

在一种可能的实施方式中，若根据高度信息和第一区域获取的感兴趣区域的分辨率大于第二预设阈值时，该方法还可以包括：将感兴趣区域的分辨率压缩至第二预设阈值。在这种可能的实施方式中，感兴趣区域的尺寸可能过大，为了减少第二神经网络的计算量，还可以对感兴趣区域进行压缩处理，将经过压缩处理后的感兴趣区域输入至第二神经网络。

在一种可能的实施方式中，若根据高度信息和第一区域获取的感兴趣区域的分辨率小于第二预设阈值时，方法还可以包括：对感兴趣区域进行超分辨率处理，以使感兴趣的分辨率提升至第二预设阈值。在这种可能的实施方式中，还可以对感兴趣区域进行超分辨率处理，提升感兴趣区域的画面的质量，将经过超分辨率处理后的感兴趣区域输入至第二神经网络中，以提升第二神经网络对于物体检测的效果。

在一种可能的实施方式中，待检测物体可以包括交通灯。

本申请第二方面提供一种图像处理装置，可以包括：获取模块，用于获取待处理图像。图像分割模块，用于将待处理图像输入至第一神经网络，以获取第一预测结果。感兴趣区域模块，还用于第一预测结果指示待处理图像的第一区域是车道线时，根据高度信息和第一区域获取待处理图像中待检测物体的感兴趣区域，高度信息可以包括预设定的待检测物体的物理高度，感兴趣区域用于第二神经网络获取待检测物体的候选框和分类。

在一种可能的实施方式中，第一区域中的车道线可以包括停止线，感兴趣区域模块，具体用于：获取停止线在待处理图像中的长度。根据停止线在待处理图像中的长度获取感兴趣区域的长度。根据高度信息和比例尺获取待检测物体在待处理图像中的长度，比例尺用于指示待检测物体在待处理图像中的长度和待检测物体的物理高度之间的比例关系。根据待检测物体在待处理图像中的长度获取感兴趣区域的宽度。

在一种可能的实施方式中，第一区域中可以包括多个第一像素，多个第一像素中各个第一像素属于停止线的概率超过第一预设阈值，停止线由多个第一像素组成，感兴趣区域模块，具体用于：根据多个第一像素中距离最远的两个像素之间的距离获取停止线在待处理图像中的长度。

在一种可能的实施方式中，感兴趣区域模块，还用于：获取第一距离，第一距离是待检测物体和自车之间的距离。获取第二距离，第二距离是停止线和待处理图像的下边缘之间的距离。根据第一距离和第二距离获取比例尺。

在一种可能的实施方式中，第一区域中的车道线还可以包括至少两条导向车道线，感兴趣区域模块，还用于：获取至少两条导向车道线中任意两条相邻的导向车道线在待处理图像中的宽度。根据任意两条相邻的导向车道线在待处理图像中的宽度和预设定的两条导向车道线的物理宽度获取比例尺。

在一种可能的实施方式中，感兴趣区域模块，具体用于：根据第一交点和第二交点之间的距离获取感兴趣区域的长度，第一交点是待处理图像中第一导向车道线和停止线一端的交点，第二交点是待处理图像中第二导向车道线和停止线另一端的交点，第一导向车道线和第二导向车道线是至少两条导向车道线中距离最远的两条导向车道线。

在一种可能的实施方式中，感兴趣区域的下边缘的位置根据停止线在待处理图像中的位置确定。

在一种可能的实施方式中，第一区域中的车道线可以包括至少两条导向车道线且不可以包括停止线，感兴趣区域模块，具体用于：根据第三交点和第四交点之间的距离获取感兴趣区域的长度，第三交点是待处理图像中第一导向车道线和第一线段的一端的交点，第二交点是待处理图像中第二导向车道线和第一线段另一端的交点，第一导向车道线和第二导向车道线是至少两条导向车道线中距离最远的两条导向车道线，第一线段是经过第二像素的一条线段，第二像素是至少两条导向车道线中最短的导向车道线在待处理图像中最高点对应的像素。根据高度信息和比例尺获取待检测物体在待处理图像中的长度，比例尺用于指示待检测物体在待处理图像中的长度和待检测物体的物理高度之间的比例关系。根据待检测物体在待处理图像中的长度获取感兴趣区域的宽度。

在一种可能的实施方式中，第一线段与待处理图像的下边缘平行。

在一种可能的实施方式中，第一区域中的车道线可以包括至少两条导向车道线且不可以包括停止线，感兴趣区域的下边缘的位置根据第一线段在待处理图像中的位置确定，第一线段占据预设长度的像素，且第一线段的一端与第一导向车道线相交，第一线段的另一端与第二导向车道线相交，第一导向车道线和第二导向车道线是至少两条导向车道线中距离最远的两条导向车道线。

在一种可能的实施方式中，感兴趣区域模块，具体用于：根据第一线段的长度获取感兴趣区域的长度。根据高度信息和比例尺获取待检测物体在待处理图像中的长度，比例尺用于指示待检测物体在待处理图像中的长度和待检测物体的物理高度之间的比例关系。根据待检测物体在待处理图像中的长度获取感兴趣区域的宽度。

在一种可能的实施方式中，还可以包括压缩模块，压缩模块，用于若根据高度信息和第一区域获取的感兴趣区域的分辨率大于第二预设阈值时，将感兴趣区域的分辨率压缩至第二预设阈值。

在一种可能的实施方式中，还可以包括超分辨率处理模块，超分辨率处理模块，用于若根据高度信息和第一区域获取的感兴趣区域的分辨率小于第二预设阈值时，对感兴趣区域进行超分辨率处理，以使感兴趣的分辨率提升至第二预设阈值。

在一种可能的实施方式中，待检测物体可以包括交通灯。

本申请第三方面提供一种图像处理装置，可以包括处理器，处理器和存储器耦合，存储器存储有程序指令，当存储器存储的程序指令被处理器执行时实现第一方面所描述的方法。

本申请第四方面提供一种计算机可读存储介质，可以包括程序，当其在计算机上运行时，使得计算机执行如第一方面所描述的方法。

本申请第五方面提供一种计算机程序产品，当在计算机上运行时，使得计算机可以执行如第一方面所描述的方法。

本申请第六方面提供一种芯片，芯片与存储器耦合，用于执行存储器中存储的程序，以执行如第一方面所描述的方法。

本申请第七方面提供一种智能汽车，智能汽车可以包括处理电路和存储电路，处理电路和存储电路被配置为执行如第一方面所描述的方法。

本申请提供的方案针对于车辆获取的待处理图像，若获取到的待处理图像包括车道线，则根据车道线获取待处理图像中待检测物体的感兴趣区域。具体的，可以根据车道线确定感兴趣区域的位置以及感兴趣区域的长度，根据待检测物体的物体高度确定感兴趣的宽度。其中，待处理图像中包括停止车道线时，说明车辆处于路口路段或者车辆即将驶入路口路段，根据停止车道线获取感兴趣区域，比如车道线包括停止车道线时，根据停止车道线在待处理图像中的位置确定ROI的下边缘的位置以及ROI区域的长度，可以很好的在待处理图像中选出路口路段对应的区域，有利于提升路口路段的待检测物体的检测的准确度。若获取到的待处理图像不包括停止车道线，但是包括导向车道线，则可以根据待处理图像中导向车道线之间的位置关系确定ROI的下边缘的位置以及ROI区域的长度。保证在没有检测到停止车道线的时候，也可以根据导向车道线确定合适的ROI区域，在待处理图像中选出路口路段对应的区域，提升路口路段的待检测物体的检测的准确度。

此外，获取了感兴趣区域在待处理图像中的位置和尺寸后，可以将待处理图像中将感兴趣区作为抠图区域，将抠图区域输入至第二神经网络，使第二神经网络根据抠图区域确定待检测物体的候选框和分类。在一些可能的实施方式中，还可以对抠图区域进行超分辨率处理，提升抠图区域的画面的质量，将经过超分辨率处理后的抠图区域输入至第二神经网络中，以提升第二神经网络对于物体检测的效果。在一些可能的实施方式中，抠图区域的尺寸可能过大，为了减少第二神经网络的计算量，还可以对抠图区域进行压缩处理，将经过压缩处理后的抠图区域输入至第二神经网络。

附图说明

图1为本申请实施例提供的自动驾驶车辆的一种结构示意图；

图2为本申请实施例提供的一种图像处理方法的流程示意图；

图3为本申请实施例提供的另一种图像处理方法的流程示意图；

图4-a为本申请实施例中获取停止线长度的一种方案的示意图；

图4-b为本申请实施例中获取停止线长度的另一种方案的示意图；

图4-c为本申请实施例中获取比例尺的一种方案的示意图；

图4-d为本申请实施例中获取比例尺的另一种方案的示意图；

图5为本申请实施例提供的另一种图像处理方法的流程示意图；

图6为本申请提供的一种图像处理方法的一种应用场景示意图；

图7为本申请实施例提供的另一种图像处理方法的流程示意图；

图8为本申请提供的一种图像处理方法的另一种应用场景示意图；

图9为本申请实施例提供的另一种图像处理方法的流程示意图；

图10为本申请提供的一种图像处理方法的另一种应用场景示意图；

图11为本申请实施例提供的一种图像处理方法的流程示意图；

图12为在待处理图像中选取感兴趣区域的示意图；

图13为本申请实施例提供的图像处理装置的一种结构示意图；

图14为本申请实施例提供的图像处理装置的另一种结构示意图；

图15为本申请实施例提供的自动驾驶车辆的另一种的结构示意图；

图16为本申请实施例提供的芯片的一种结构示意图。

具体实施方式

本申请实施例提供了一种图像处理方法，根据车道线获取待处理图像的感兴趣区域。通过本申请提供的方案，可以有效提升路口场景的物体识别的准确度。

下面结合附图，对本申请的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

为了便于理解本方案，本申请实施例中首先结合图1对自动驾驶车辆的结构进行介绍，请先参阅图1，图1为本申请实施例提供的自动驾驶车辆的一种结构示意图，自动驾驶车辆100配置为完全或部分地自动驾驶模式，例如，自动驾驶车辆100可以在处于自动驾驶模式中的同时控制自身，并且可通过人为操作来确定车辆及其周边环境的当前状态，确定周边环境中的至少一个其他车辆的可能行为，并确定其他车辆执行可能行为的可能性相对应的置信水平，基于所确定的信息来控制自动驾驶车辆100。在自动驾驶车辆100处于自动驾驶模式中时，也可以将自动驾驶车辆100置为在没有和人交互的情况下操作。

自动驾驶车辆100可包括各种子***，例如行进***102、传感器***104、控制***106、一个或多个***设备108以及电源110、计算机***112和用户接口116。可选地，自动驾驶车辆100可包括更多或更少的子***，并且每个子***可包括多个部件。另外，自动驾驶车辆100的每个子***和部件可以通过有线或者无线互连。

行进***102可包括为自动驾驶车辆100提供动力运动的组件。在一个实施例中，行进***102可包括引擎118、能量源119、传动装置120和车轮121。

其中，引擎118可以是内燃引擎、电动机、空气压缩引擎或其他类型的引擎组合，例如，汽油发动机和电动机组成的混动引擎，内燃引擎和空气压缩引擎组成的混动引擎。引擎118将能量源119转换成机械能量。能量源119的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源119也可以为自动驾驶车辆100的其他***提供能量。传动装置120可以将来自引擎118的机械动力传送到车轮121。传动装置120可包括变速箱、差速器和驱动轴。在一个实施例中，传动装置120还可以包括其他器件，比如离合器。其中，驱动轴可包括可耦合到一个或多个车轮121的一个或多个轴。

传感器***104可包括感测关于自动驾驶车辆100周边的环境的信息的若干个传感器。例如，传感器***104可包括全球定位***122(定位***可以是全球定位GPS***，也可以是北斗***或者其他定位***)、惯性测量单元(inertial measurement unit，IMU)124、雷达126、激光测距仪128以及相机130。传感器***104还可包括被监视自动驾驶车辆100的内部***的传感器(例如，车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是自主自动驾驶车辆100的安全操作的关键功能。

其中，定位***122可用于估计自动驾驶车辆100的地理位置。IMU 124用于基于惯性加速度来感知自动驾驶车辆100的位置和朝向变化。在一个实施例中，IMU 124可以是加速度计和陀螺仪的组合。雷达126可利用无线电信号来感知自动驾驶车辆100的周边环境内的物体，具体可以表现为毫米波雷达或激光雷达。在一些实施例中，除了感知物体以外，雷达126还可用于感知物体的速度和/或前进方向。激光测距仪128可利用激光来感知自动驾驶车辆100所位于的环境中的物体。在一些实施例中，激光测距仪128可包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他***组件。相机130可用于捕捉自动驾驶车辆100的周边环境的多个图像。相机130可以是静态相机或视频相机。

控制***106为控制自动驾驶车辆100及其组件的操作。控制***106可包括各种部件，其中包括转向***132、油门134、制动单元136、计算机视觉***140、线路控制***142以及障碍避免***144。

其中，转向***132可操作来调整自动驾驶车辆100的前进方向。例如在一个实施例中可以为方向盘***。油门134用于控制引擎118的操作速度并进而控制自动驾驶车辆100的速度。制动单元136用于控制自动驾驶车辆100减速。制动单元136可使用摩擦力来减慢车轮121。在其他实施例中，制动单元136可将车轮121的动能转换为电流。制动单元136也可采取其他形式来减慢车轮121转速从而控制自动驾驶车辆100的速度。计算机视觉***140可以操作来处理和分析由相机130捕捉的图像以便识别自动驾驶车辆100周边环境中的物体和/或特征。所述物体和/或特征可包括交通信号、道路边界和障碍体。计算机视觉***140可使用物体识别算法、运动中恢复结构(Structure from Motion，SFM)算法、视频跟踪和其他计算机视觉技术。在一些实施例中，计算机视觉***140可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。线路控制***142用于确定自动驾驶车辆100的行驶路线以及行驶速度。在一些实施例中，线路控制***142可以包括横向规划模块1421和纵向规划模块1422，横向规划模块1421和纵向规划模块1422分别用于结合来自障碍避免***144、GPS 122和一个或多个预定地图的数据为自动驾驶车辆100确定行驶路线和行驶速度。障碍避免***144用于识别、评估和避免或者以其他方式越过自动驾驶车辆100的环境中的障碍体，前述障碍体具体可以表现为实际障碍体和可能与自动驾驶车辆100发生碰撞的虚拟移动体。在一个实例中，控制***106可以增加或替换地包括除了所示出和描述的那些以外的组件。或者也可以减少一部分上述示出的组件。

自动驾驶车辆100通过***设备108与外部传感器、其他车辆、其他计算机***或用户之间进行交互。***设备108可包括无线通信***146、车载电脑148、麦克风150和/或扬声器152。在一些实施例中，***设备108为自动驾驶车辆100的用户提供与用户接口116交互的手段。例如，车载电脑148可向自动驾驶车辆100的用户提供信息。用户接口116还可操作车载电脑148来接收用户的输入。车载电脑148可以通过触摸屏进行操作。在其他情况中，***设备108可提供用于自动驾驶车辆100与位于车内的其它设备通信的手段。例如，麦克风150可从自动驾驶车辆100的用户接收音频(例如，语音命令或其他音频输入)。类似地，扬声器152可向自动驾驶车辆100的用户输出音频。无线通信***146可以直接地或者经由通信网络来与一个或多个设备无线通信。例如，无线通信***146可使用3G蜂窝通信，例如例如码分多址(code division multipleaccess，CDMA)、EVD0、全球移动通信***(globalsystem for mobile communications，GSM)，通用分组无线服务技术(general packetradio service，GPRS)，或者4G蜂窝通信，例如长期演进(long term evolution，LTE)或者5G蜂窝通信。无线通信***146可利用无线局域网(wireless localarea network，WLAN)通信。在一些实施例中，无线通信***146可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议，例如各种车辆通信***，例如，无线通信***146可包括一个或多个专用短程通信(dedicated short range communications，DSRC)设备，这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。

电源110可向自动驾驶车辆100的各种组件提供电力。在一个实施例中，电源110可以为可再充电锂离子或铅酸电池。这种电池的一个或多个电池组可被配置为电源为自动驾驶车辆100的各种组件提供电力。在一些实施例中，电源110和能量源119可一起实现，例如一些全电动车中那样。

自动驾驶车辆100的部分或所有功能受计算机***112控制。计算机***112可包括至少一个处理器113，处理器113执行存储在例如存储器114这样的非暂态计算机可读介质中的指令115。计算机***112还可以是采用分布式方式控制自动驾驶车辆100的个体组件或子***的多个计算设备。处理器113可以是任何常规的处理器，诸如商业可获得的中央处理器(central processing unit，CPU)。可选地，处理器113可以是诸如专用集成电路(application specific integrated circuit，ASIC)或其它基于硬件的处理器的专用设备。尽管图1功能性地图示了处理器、存储器、和在相同块中的计算机***112的其它部件，但是本领域的普通技术人员应该理解该处理器、或存储器实际上可以包括不存储在相同的物理外壳内的多个处理器、或存储器。例如，存储器114可以是硬盘驱动器或位于不同于计算机***112的外壳内的其它存储介质。因此，对处理器113或存储器114的引用将被理解为包括可以并行操作或者可以不并行操作的处理器或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤，诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器，所述处理器只执行与特定于组件的功能相关的计算。在此处所描述的各个方面中，处理器113可以位于远离自动驾驶车辆100并且与自动驾驶车辆100进行无线通信。在其它方面中，此处所描述的过程中的一些在布置于自动驾驶车辆100内的处理器113上执行而其它则由远程处理器113执行，包括采取执行单一操纵的必要步骤。在一些实施例中，存储器114可包含指令115(例如，程序逻辑)，指令115可被处理器113执行来执行自动驾驶车辆100的各种功能，包括以上描述的那些功能。存储器114也可包含额外的指令，包括向行进***102、传感器***104、控制***106和***设备108中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。例如，以向右换道为例，则对于人工驾驶员需要进行以下操作：第一步：考虑安全因素和交规因素，决定换道的时机；第二步：规划出一条行驶轨迹；第三步：控制油门、刹车和方向盘，让车辆沿着预定轨迹行驶。上述操作对应于自动驾驶车辆，可以分别由自动驾驶车辆的行为规划器(behavior planner，BP)，运动规划器(motion planner，MoP)和运动控制器(Control)执行。其中，BP负责下发高层决策，MoP负责规划预期轨迹和速度，Control负责操作油门刹车方向盘，让自动驾驶车辆根据目标轨迹并达到目标速度。应理解，行为规划器、运动规划器和运动控制器执行的相关操作可以是如图1所示的处理器113执行存储器114中的指令115，该指令115可以用于指示线路控制***142。本申请实施例有时也将行为规划器，运动规划器以及运动控制器统称为规控模块。

除了指令115以外，存储器114还可存储数据，例如道路地图、路线信息，车辆的位置、方向、速度以及其它这样的车辆数据，以及其他信息。这种信息可在自动驾驶车辆100在自主、半自主和/或手动模式中操作期间被自动驾驶车辆100和计算机***112使用。用户接口116，用于向自动驾驶车辆100的用户提供信息或从其接收信息。可选地，用户接口116可包括在***设备108的集合内的一个或多个输入/输出设备，例如无线通信***146、车载电脑148、麦克风150和扬声器152。

计算机***112可基于从各种子***(例如，行进***102、传感器***104和控制***106)以及从用户接口116接收的输入来控制自动驾驶车辆100的功能。例如，计算机***112可利用来自控制***106的输入以便控制转向***132来避免由传感器***104和障碍避免***144检测到的障碍体。在一些实施例中，计算机***112可操作来对自动驾驶车辆100及其子***的许多方面提供控制。

可选地，上述这些组件中的一个或多个可与自动驾驶车辆100分开安装或关联。例如，存储器114可以部分或完全地与自动驾驶车辆100分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。

可选地，上述组件只是一个示例，实际应用中，上述各个模块中的组件有可能根据实际需要增添或者删除，图1不应理解为对本申请实施例的限制。在道路行进的自动驾驶车辆，如上面的自动驾驶车辆100，可以识别其周围环境内的物体以确定对当前速度的调整。所述物体可以是其它车辆、交通控制设备、或者其它类型的物体。在一些示例中，可以独立地考虑每个识别的物体，并且基于物体的各自的特性，诸如它的当前速度、加速度、与车辆的间距等，可以用来确定自动驾驶车辆所要调整的速度。

可选地，自动驾驶车辆100或者与自动驾驶车辆100相关联的计算设备如图1的计算机***112、计算机视觉***140、存储器114可以基于所识别的物体的特性和周围环境的状态(例如，交通、雨、道路上的冰、等等)来预测所识别的物体的行为。可选地，每一个所识别的物体都依赖于彼此的行为，因此还可以将所识别的所有物体全部一起考虑来预测单个识别的物体的行为。自动驾驶车辆100能够基于预测的所识别的物体的行为来调整它的速度。换句话说，自动驾驶车辆100能够基于所预测的物体的行为来确定车辆将需要调整到(例如，加速、减速、或者停止)什么稳定状态。在这个过程中，也可以考虑其它因素来确定自动驾驶车辆100的速度，诸如，自动驾驶车辆100在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。除了提供调整自动驾驶车辆的速度的指令之外，计算设备还可以提供修改自动驾驶车辆100的转向角的指令，以使得自动驾驶车辆100遵循给定的轨迹和/或维持与自动驾驶车辆100附近的物体(例如，道路上的相邻车道中的轿车)的安全横向和纵向距离。

上述自动驾驶车辆100可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车和火车等，本申请实施例不做特别的限定。

结合上述描述，本申请实施例提供了一种图像处理的方法，可应用于图1中示出的自动驾驶车辆100中。

参阅图2，为本申请实施例提供的一种图像处理方法的流程示意图。

如图2所示，本申请提供的一种图像处理方法可以包括如下步骤：

201、获取待处理图像。

车辆可以通过传感器***104获取待处理图像。比如，车辆可以通过相机130获取待处理图像。待处理图像用于体现车辆周围的环境。在一个可能的实施方式中，车辆可以实时通过相机130获取车辆周围的环境信息，即实时获取待处理图像。在一个可能的实施方式中，当车辆获取到前方即将进入路口路段，则开始通过相机130获取车辆周围的环境信息，即获取到车辆前方即将进入路口路段时，开始获取待处理图像。

在一个可能的实施方式中，可以对获取到的待处理图像进行筛选处理，以获取信噪比满足预设条件的待处理图像。可以根据实际情况采用不同的筛选手段删除不满足信噪比的数据，获取满足信噪比的数据。还可以将一些重复的待处理图像进行删除。

202、将待处理图像输入至第一神经网络，以获取第一预测结果。

该第一神经网络可以是用于执行图像分割任务的神经网络。相关技术中可以用于执行图像分割任务的神经网络本申请实施例均可以采用，比如第一神经网络包括但不限于：特殊卷积神经网络(specia convolutional neural network，SCNN)全卷积网络(fullyconvolutional networks，FCN)、U型神经网络(U-Net)、掩膜区域卷积神经网络(maskregion convolutional neural network，Mask-RCNN)、语义分割网(semanticsegmentation net，SegNet)。第一预测结果会指示待处理图像中每个像素属于车道线的概率，具体的指示每个像素属于停止车道线的概率，每个像素属于导向车道线的概率。属于停止车道线的概率超过预设阈值的像素点的集合可以用于获取一条停止车道线在待处理图像中的区域。属于一条导向车道线的概率超过预设阈值的像素点的集合可以用于获取一条导向车道线在待处理图像中的区域。

可以通过第一神经网络获取待处理图像中是否包括车道线，若包括车道线，则将车道线从待处理图像中分割出来，示例性的，下面给出一种车道线检测方法：将待处理图像输入第一神经网络进行特征提取，再将提取出来的特征(每个特征图事先划分为多个栅格)通过预测头模型进行解码，生成密集的线簇(即多条预测车道线)，最后，按照每个预测车道线的置信度(也可称为栅格的置信度，置信度反应的是是否有车道线穿过该栅格以及有多大概率穿过该栅格，置信度大于预设值的栅格则用于对车道线进行预测，置信度低于预设值的栅格则被认为对预测没有贡献)取值对线簇进行排序，以置信度取值最大的预测车道线为基线且以其他预测车道线与该基线之间的间距小于阈值为条件将车道线分为一组，以类似的方式将线簇分为若干组，并分别取每组中的基线作为本组最终对一条真实车道线的检测结果输出。需要说明的，本领域的技术人员可以根据实际情况选择车道线检测的方法，本申请实施例对此并不进行限定。

203、第一预测结果指示待处理图像的第一区域是车道线时，根据高度信息和第一区域获取待处理图像中待检测物体的感兴趣区域。

高度信息包括预设定的待检测物体的物理高度。比如待检测物体包括交通灯，则高度信息包括预设定的交通灯的实际高度，比如通常交通灯的高度为6-7米，可以预设定交通灯的物体高度为7米。再比如，待检测物体包括轿车，则高度信息包括预设定的轿车的实际高度，比如通常轿车的高度为1.4米至1.6米，可以预设定轿车的物体高度为1.6米。

感兴趣区域(region of interest，ROI)用于第二神经网络获取待检测物体的候选框和分类。其中，该第二神经网络可以是用于还行物体识别任务的神经网络，包括但不限于卷积神经网络(convolutional neuron network，CNN)、深度神经网络(deep neuralnetwork，DNN)、你只能看一次(you only look once，YOLO)v3(版本号，代表第三版)、单发多核探测器(single shot multibox detector，SSD)。本申请中的ROI是指从待处理的图像以方框的方式勾勒出需要处理的区域(本申请也称之为抠图区域)，并将该ROI输入至第二神经网络，以输出待检测物体的候选框和分类。确定感兴趣区域包括确定感兴趣的位置、感兴趣区域的长度以及感兴趣区域的宽度。

本申请提供的方案针对于车辆获取的待处理图像，若获取到的待处理图像包括车道线，则根据车道线获取待处理图像中待检测物体的感兴趣区域。具体的，可以根据车道线确定感兴趣区域的位置以及感兴趣区域的长度，根据待检测物体的物体高度确定感兴趣的宽度。其中，待处理图像中包括停止车道线时，说明车辆处于路口路段或者车辆即将驶入路口路段，根据停止车道线获取感兴趣区域，比如车道线包括停止车道线时，根据停止车道线在待处理图像中的位置确定ROI的下边缘的位置以及ROI区域的长度，可以很好的在待处理图像中选出路口路段对应的区域，有利于提升路口路段的待检测物体的检测的准确度。若获取到的待处理图像不包括停止车道线，但是包括导向车道线，则可以根据待处理图像中导向车道线之间的位置关系确定ROI的下边缘的位置以及ROI区域的长度。保证在没有检测到停止车道线的时候，也可以根据导向车道线确定合适的ROI区域，在待处理图像中选出路口路段对应的区域，提升路口路段的待检测物体的检测的准确度。需要说明的是，本申请有时也将停止车道线称为停止线，二者表示相同的意思。

在一个可能的实施方式中，待检测物体是交通灯，比如待检测物体是红绿灯。本申请提供的方案可以有效提升交通灯检测的准确度。制约交通灯检测的准确度的一个因素在于，针对于同一个焦距下获取的待处理图像，交通灯在待处理图像中占据的像素，相比于其他待检测物体在待处理图像(比如人、车辆)中占据的像素要小很多；待处理图像在输入神经网络之前，需要对待处理图像进行压缩处理，以减小待处理图像的尺寸，进而可以减少神经网络对待处理图像进行处理所需要的数据量；由于交通灯在待处理图像中占据的像素比例本来就少，压缩处理后，可能会导致交通灯占据的像素更小，大大提升交通灯的检测难度；为了能够保证交通灯在待处理图像中占据的像素不会因为压缩处理而被压缩，且能够保证减少神经网络对待处理图像进行处理所需要的数据量，其中一种方式为选取出交通灯的ROI区域，并将该交通灯的ROI区域输入至神经网络中，使神经网络根据ROI区域检测交通灯；由于车辆在行驶过程中，交通灯的ROI区域是在不断变动的，比如车辆靠近交通灯的过程，交通灯的ROI区域在不断地向上方移动，因此如何选取ROI区域对于提升交通灯检测的准确度至关重要；现有技术中采用的手段，ROI的区域一般是固定不变的，固定的ROI区域无法适应交通灯的ROI区域是不断变化的情况；且目前一般采用通过高精地图以及自车的GPS定位信息获取红绿灯的ROI区域，这种获取红绿灯的ROI区域的方法，当出现GPS定位不准，或者无法获取GPS信号、高精地图时，将无法获取红绿灯的ROI区域，则无法根据红绿灯的ROI区域检测红绿灯，可能会因此检测不出红绿灯，增加了安全隐患。而本申请提供的方案可以通过车道线获取红绿灯的ROI区域，不会受限于GPS信号以及高精地图；且根据车道线在待处理图像中的信息，比如根据停止车道线在待处理图像中的位置信息，停止线车道线在待处理图像中的长度、导向车道线之间的位置关系获取红绿灯的ROI区域，使红绿灯的ROI区域是动态变化的，且结合红绿灯的实际物理高度，可以更好的在待处理图像中选出红绿灯的ROI区域，将通过本申请提供的方案获取的ROI区域输入至神经网络中，以使神经网络根据本申请提供的方案获取的ROI区域进行红绿灯检测，可以有效的提升红绿灯检测的准确度。

图2对应的实施例中介绍到，车道线可以包括停止车道线和导向车道线，针对于车道线是否包括停止车道线，根据高度信息和第一区域获取待处理图像中待检测物体的感兴趣区域可能有不同的实现方式，下面结合几个典型的实施方式对如何根据车道线获取待处理图像中待检测物体感兴趣区域。

一、待处理图像包括停止车道线

参阅图3，为本申请实施例提供的另一种图像处理方法的流程示意图。

如图3所示，本申请提供的另一种图像处理方法可以包括如下步骤：

301、获取待处理图像。

302、将待处理图像输入至第一神经网络，以获取第一预测结果。

步骤301和步骤302可以参照图2对应的实施例中的步骤201和步骤202进行理解，这里不再重复赘述。

303、第一预测结果指示待处理图像的第一区域是车道线，且该车道线包括停止线时，获取停止线在待处理图像中的长度。

第一预测结果会指示待处理图像中每个像素属于停止车道线的概率，将属于停止线的概率超过预设阈值的像素点占据的区域称为区域1，则第一区域中的区域1可以用于表示停止车道线在待处理图像中的位置。参阅图4-a，图4-a为本申请实施例中获取停止线长度的一种方案的示意图。在待处理图像中，停止线由多个第一像素组成，第一像素是第一区域中包括的像素，在一个可能的实施方式中，可以根据第一像素中距离最远的两个像素之间的距离获取停止线在待处理图像中的长度。

在一个可能的实施方式中，第一预测结果指示待处理图像的区域1是车道线，该车道线还包括导向车道线。参阅图4-b，图4-b为本申请实施例中获取停止线长度的另一种方案的示意图。在这种方式中，可以从区域1中选取多个像素点，根据该多个像素点进行直线拟合，获取拟合后的直线线段。此外，第一预测结果会指示每个像素属于导向车道线的概率，每一条导向车道线都有各自的概率图，以一条导向车道线为例，该条导向车道线的概率图指示每个像素点属于该条导向车道线的概率，将属于该导向车道线的概率超过预设阈值的像素点占据的区域称为区域2，则该第一区域中的区域2可以用于表示该条导向车道线在待处理图像中的位置。可以从区域2中选取多个像素点，根据该多个像素点进行直线拟合。针对每一条导向车道线，都可以按照上述方式获取各自拟合后的线段，以获取多条拟合后的线段。在一些可能的实施方式中，也可以对多个像素点进行曲线拟合。根据第一交点和第二交点之间的距离获取停止线在待处理图像中的长度，第一交点是待处理图像中第一导向车道线对应的曲线线段和停止线对应的直线线段一端的交点，第二交点是待处理图像中第二导向车道线对应的曲线线段和停止线对应的直线线段另一端的交点，第一导向车道线和第二导向车道线是至少两条导向车道线中距离最远的两条导向车道线。通过导向车道线重新确定停止车道线的长度，有利于获取更准确的停止车道线的长度，降低误差。

304、根据停止线在待处理图像中的长度获取感兴趣区域的长度。

在一个可能的实施方式中，停止线的长度即为感兴趣区域的长度。在一个可能的实施方式中，可以对停止线的长度进行处理，比如将停止线的长度增加预设像素距离以获取感兴趣区域的长度。

305、根据高度信息和比例尺获取待检测物体在待处理图像中的长度。

比例尺用于指示待检测物体在待处理图像中的长度和待检测物体的物理高度之间的比例关系。

本申请提供的方案可以通过多种可能的方式获取比例尺，包括但不限于以下两种方式：

在一个可能的实施方式中，获取第一距离，第一距离是待检测物体和自车之间的距离。可以通过多种方式获取待检测物体和自车之间的距离，比如可以通过雷达126获取待检测物体和自车之间的距离，相关技术中可以获取待检测物体和自车之间的距离方式，本申请实施例均可以采用，包括但不限于单目测距方式，双目测距方式。获取第二距离，第二距离是停止线和待处理图像的下边缘之间的距离，比如参照图4-c，待处理图像中的停止线和待处理图像的下边缘之间的距离可以指示图像中待检测物体(比如是交通信号灯)和自车之间的距离，根据第一距离和第二距离获取比例尺。通过比例尺可以获取一个像素的长度对应的实际物理长度，进而可以获取待检测物体的物理高度在待处理图像中占据的像素的长度。其中，待检测物体的物理高度参照图2对应的实施例中的步骤203中描述的待检测物体的物理高度进行理解，这里不再重复赘述。

在一个可能的实施方式中，第一预测结果指示待处理图像的第一区域是车道线，且该车道线还包括导向车道线时，比如第一区域的区域2指示包括至少两条导向车道线。参阅图4-d，获取至少两条导向车道线中任意两条相邻的导向车道线在待处理图像中的宽度。任意两条相邻的导向根据任意两条相邻的导向车道线在待处理图像中的宽度和预设定的两条导向车道线的物理宽度获取比例尺。在这种实施方式中，任意两条相邻的导向车道线在待处理图像中的宽度指示待处理图像中车道的宽度，结合实际的车道宽度，比如通常车道的宽度为3.5米，其中车道的宽度可以预先设定，则通过二者的比值，可以获取一个像素的长度对应的实际物理长度，进而可以获取待检测物体的物理高度在待处理图像中占据的像素的长度。

305、根据待检测物体在待处理图像中的长度获取感兴趣区域的宽度。

在一个可能的实施方式中，待检测物体在待处理图像中的长度即为感兴趣区域的宽度，在一个可能的实施方式中，可以对待检测物体在待处理图像中的长度进行处理，比如将待检测物体在待处理图像中的长度增加预设像素距离以获取感兴趣区域的宽度。

在一个可能的实施方式中，感兴趣区域的下边缘的位置根据停止线在待处理图像中的位置确定，比如感兴趣区域的下边缘即为根据步骤303获取的停止线对应的第一交点和第二交点之间的线段。

通过上述步骤，可以获取感兴趣区域的长度和宽度，进而获取感兴趣区域的尺寸。对于路口路段，停止线和交通信号灯往往是一同出现在待处理图像中，车辆在行驶过程中，停止线在待处理图像中的区域也是不断变动的，交通信号等在待处理图像中的区域也是不断变动的。本申请提供的方案通过停止线在待处理图像中的位置获取感兴趣区域在待处理图像中的位置，通过停止线的长度获取感兴趣区域的尺寸。停止线在待处理图像中的区域也是不断变动的，所以获取到的感兴趣区域的位置和尺寸也随之变化，使感兴趣区域可以精确的包括路口路段的场景，有利于对路口路段的待检测物体进行识别，比如进行红绿灯检测，提升对路口路段的待检测物体识别的准确度。

二、待处理图像不包括停止车道线

在一些场景中，待处理图像可能不包括停止车道线，此时可以根据导向车道线获取感情区域，针对导向车道线的不同形态，可以采用不同的获取感兴趣区域的方式，下面结合几个典型的实施方式进行说明。

参阅图5，为本申请实施例提供的另一种图像处理方法的流程示意图。

如图5所示，本申请提供的另一种图像处理方法可以包括如下步骤：

501、获取待处理图像。

502、将待处理图像输入至第一神经网络，以获取第一预测结果。

步骤501和步骤502可以参照图2对应的实施例中的步骤201和步骤202进行理解，这里不再重复赘述。

503、第一预测结果指示待处理图像的第一区域中的车道线包括至少两条导向车道线且不包括停止线，根据第三交点和第四交点之间的距离获取感兴趣区域的长度。

第一预测结果会指示每个像素属于导向车道线的概率，每一条导向车道线都有各自的概率图，以一条导向车道线为例，该条导向车道线的概率图指示每个像素点属于该条导向车道线的概率，将属于该导向车道线的概率超过预设阈值的像素点占据的区域称为区域2，则第一区域中的区域2可以用于表示该条导向车道线在待处理图像中的位置(获取区域2中包括的像素点组成了一条导向车道线)。在一个可能的实施方式中，可以从区域2中选取多个像素点，根据该多个像素点进行曲线拟合。针对每一条导向车道线，都可以按照上述方式获取各自拟合后的曲线线段，可以认为拟合后的曲线线段为一条导向车道线。第三交点是待处理图像中第一导向车道线和第一直线线段的一端的交点，第二交点是待处理图像中第二导向车道线和第一直线线段另一端的交点，第一导向车道线和第二导向车道线是至少两条导向车道线中距离最远的两条导向车道线，第一直线线段是经过第二像素的一条直线线段，第二像素是至少两条导向车道线中最短的导向车道线在待处理图像中最高点对应的像素。下面结合图6进行说明，参阅图6，在一些可能的场景中，待处理图像中包括至少两条导向车道线，该两条导向车道线中的至少一条车道线有缺失，导致该至少两条车道线的长度不一致。其中车道线的缺失可能是由于车道线的实际缺失导致，也可能是因为经过图像分割神经网络处理后导致的，本申请实施例对车道线有缺失的具体情况并不进行限定。当获取到待处理图像中有至少一条车道线有缺失时，则根据该最短的车道线在待处理图像中最高点对应的像素、经过该最高点对应的像素的直线线段，与最左车道线和最右车道线的交点(第三交点、第四交点)获取感兴趣区域的长度。在一个可能的实施方式中，该第三交点和第四交点之间的线段即为感兴趣区域的下边缘。

504、根据高度信息和比例尺获取待检测物体在待处理图像中的长度。

步骤504可以参照图3对应的实施例中的步骤305进行理解，这里不再重复赘述。

505、根据待检测物体在待处理图像中的长度获取感兴趣区域的宽度。

在一个可能的实施方式中，待检测物体在待处理图像中的长度即为感兴趣区域的宽度，在一个可能的实施方式中，可以对待检测物体在待处理图像中的长度进行处理，比如将待检测物体在待处理图像中的长度增加预设像素距离以获取感兴趣区域的宽度。

由图5对应的实施例可知，在一些可能的场景中，待处理图像不包括停止车道线，无法根据停止车道线在待处理图像中选取出路口路段对应的区域。为了能够在待处理图像不包括停止车道线时，也能够针对路口路段，从待处理图像中选取可能的路口路段对应的区域，且保证获取的路口路段对应的区域尽量是一个完整的路口路段区域，则根据最短的导向车道线在待处理图像中最高点对应的像素获取感兴趣区域的下边缘的位置、进一步的确定感兴趣区域的尺寸。

在图5对应的实施例中，待处理图像中包括的至少两条导向车道线中存在缺失的导向车道线，在一些可能的实施方式中，该待处理图像中至少两条导向车道线中可能都是完整的导向车道线，没有缺失；此外，在一些可能的实施方式中，该待处理图像中至少两条车道线中的至少两条车道线可能有相交的情况。其中，属于一条导向车道线上的像素点的横坐标与属于另一条导向车道线上的像素点的横坐标之间的差值在预设范围内，则可以认为该两条导向车道线是相交的。下面针对这些场景，结合一个具体的实施方式说明如何确定感兴趣区域的尺寸以及位置。

参阅图7，为本申请实施例提供的另一种图像处理方法的流程示意图。

如图7所示，本申请提供的另一种图像处理方法可以包括如下步骤：

701、获取待处理图像。

702、将待处理图像输入至第一神经网络，以获取第一预测结果。

步骤701和步骤702可以参照图2对应的实施例中的步骤201和步骤202进行理解，这里不再重复赘述。

703、第一区域中的车道线包括至少两条导向车道线且不包括停止线，感兴趣区域的下边缘的位置根据第一线段在待处理图像中的位置确定。

第一预测结果会指示每个像素属于导向车道线的概率，每一条导向车道线都有各自的概率图，以一条导向车道线为例，该条导向车道线的概率图指示每个像素点属于该条导向车道线的概率，将属于该导向车道线的概率超过预设阈值的像素点占据的区域称为区域2，则第一区域中的区域2可以用于表示该条导向车道线在待处理图像中的位置(获取区域2中包括的像素点组成了一条导向车道线)。在一个可能的实施方式中，可以从区域2中选取多个像素点，根据该多个像素点进行曲线拟合。针对每一条导向车道线，都可以按照上述方式获取各自拟合后的曲线线段，可以认为拟合后的曲线线段为一条导向车道线。

第一线段占据预设长度的像素，其中预设长度可以是一个长度的范围区间，该长度的范围区间中的任意一条线段为第一线段。或者，该预设长度也可以是某一个固定的长度。第一线段的一端与第一导向车道线相交，第一线段的另一端与第二导向车道线相交，第一导向车道线和第二导向车道线是至少两条导向车道线中距离最远的两条导向车道线。在一个可能的实施方式中，该第一线段占据300个像素，假设第一线段与第一导向车道线的交点为交点1，第一线段与第二导向车道线的交点为交点2，则交点1的横坐标和交点2的横坐标之间的差值为预设长度的像素，比如交点1的横坐标和交点2的横坐标之间的差值为300个像素的长度。再比如，在一个可能的实施方式中，预设长度是一个长度的范围区间，参照图8进行理解，最左导向车道线和最右导向车道线为该至少两条导向车道线中距离最远的两条导向车道线，最左导向车道线和最右导向车道线之间可能有无数的线段，比如图8中的线段1，线段2，线段3：假设线段1占据的像素长度不满足条件，比如线段1占据的像素长度不在预设的长度范围内，具体的，超出预设的长度范围中的最大长度；线段3占据的像素长度不满足条件，比如线段3占据的像素长度不在预设的长度范围内，具体的，小于预设的长度范围中最小的长度，线段2占据的像素长度满足条件，比如线段2占据的像素长度在预设的长度范围内。则从满足预设长度范围的限度中任意选择一条作为第一线段，比如选择线段2作为第一线段，并根据第一线段确定感兴趣区域的下边缘的位置。比如感兴趣区域的下边缘与第一线段在待处理图像上的距离不超过预设阈值。

704、根据第一线段的长度获取感兴趣区域的长度。

在一个可能的实施方式中，第一线段的长度即为感兴趣区域的长度，在一个可能的实施方式中，对第一线段的长度进行处理，以获取感兴趣区域的长度，比如将第一线段的长度增加预设像素距离以获取感兴趣区域的长度。

705、根据高度信息和比例尺获取待检测物体在待处理图像中的长度。

步骤705可以参照图3对应的实施例中的步骤305进行理解，这里不再重复赘述。

706、根据待检测物体在待处理图像中的长度获取感兴趣区域的宽度。

一个可能的实施方式中，待检测物体在待处理图像中的长度即为感兴趣区域的宽度，在一个可能的实施方式中，可以对待检测物体在待处理图像中的长度进行处理，比如将待检测物体在待处理图像中的长度增加预设像素距离以获取感兴趣区域的宽度。

由图7对应的实施例可知，在一些可能的场景中，待处理图像不包括停止车道线，无法根据停止车道线在待处理图像中选取出路口路段对应的区域。为了能够在待处理图像不包括停止车道线时，也能够针对路口路段，从待处理图像中选取可能的路口路段对应的区域，且在保证能够获取完整的路口路段对应的区域的基础上，保证获取的路口路段对应的区域不至于太小，导致获取的感兴趣区域太小。则根据预设的像素长度对应的线段与最左边的导向车道线、最右边导向车道线的交点获取感兴趣区域的下边缘的位置、进一步的确定感兴趣区域的尺寸。

以上对如何获取感兴趣区域在待处理图像中的位置以及感兴趣区域的尺寸进行了介绍。获取了感兴趣区域在待处理图像中的位置和尺寸后，可以将待处理图像中将感兴趣区作为抠图区域，将抠图区域输入至第二神经网络，使第二神经网络根据抠图区域确定待检测物体的候选框和分类。在一些可能的实施方式中，还可以对抠图区域进行超分辨率处理，提升抠图区域的画面的质量，将经过超分辨率处理后的抠图区域输入至第二神经网络中，以提升第二神经网络对于物体检测的效果。在一些可能的实施方式中，抠图区域的尺寸可能过大，为了减少第二神经网络的计算量，还可以对抠图区域进行压缩处理，将经过压缩处理后的抠图区域输入至第二神经网络。下面结合一个具体的实施例进行说明。

参阅图9，为本申请实施例提供的另一种图像处理方法的流程示意图。

如图9所示，本申请提供的另一种图像处理方法可以包括如下步骤：

901、获取待处理图像。

902、将待处理图像输入至第一神经网络，以获取第一预测结果。

步骤901和步骤902可以参照图2对应的实施例中的步骤201和步骤202进行理解，这里不再重复赘述。

903、第一预测结果指示待处理图像的第一区域是车道线时，根据高度信息和第一区域获取待处理图像中待检测物体的感兴趣区域。

图2、图3、图5、图7对应的实施例描述的根据高度信息和第一区域获取待处理图像中待检测物体的感兴趣区域的方式，图9对应的实施例都可以采用，这里不再重复赘述。

904、若根据高度信息和第一区域获取的感兴趣区域的分辨率大于第二预设阈值时，将感兴趣区域的分辨率压缩至第二预设阈值。

比如预设的分辨率为896*512像素，若根据高度信息和第一区域获取的感兴趣区域的分辨率大于896*512像素，则对获取到的感兴趣区域进行压缩处理，以将感兴趣区域的分辨率压缩至896*512像素。其中预设的分辨率的大小与第二神经网络的输入相关，比如第二神经网络输入格式为896*512像素，则设定预设分辨率为896*512像素。关于如何对图像进行压缩处理，压缩至指定分辨率可以采用多种方式，本申请实施例对此并不进行限定。比如对相邻的多个像素求平均值以得到一个像素，以实现对图像进行压缩的目的。

905、若根据高度信息和第一区域获取的感兴趣区域的分辨率小于第二预设阈值时，对感兴趣区域进行超分辨率处理，以使感兴趣的分辨率提升至第二预设阈值。

比如预设的分辨率为896*512像素，若根据高度信息和第一区域获取的感兴趣区域的分辨率小于896*512像素，则对获取到的感兴趣区域进行超分辨率处理，以将感兴趣区域的分辨率提升至896*512像素。其中预设的分辨率的大小与第二神经网络的输入相关，比如第二神经网络输入格式为896*512像素，则设定预设分辨率为896*512像素。关于如何对图像进行超分辨率处理，提升画质到指定的像素有多种可能的实现方式，本申请实施例对此并不进行限定。比如，可以通过超分辨率卷积神经网络(superresolutionconvolutional neural networks，SRCNN)、基于区域的快速卷积神经网络(accelerating the super-resolution convolutional neural network，FSRCNN)等深度学习网络进行超分辨率处理。具体的，可以对感兴趣区域进行双三次插值算法，以提升感兴趣区域的分辨率。

经过超分辨处理后，图像的细节更明显，更有利于提升目标检测的准确度。参阅图10，通过第二神经网络对感兴趣区域进行处理，以获取感兴趣区域中待检测物体的候选框和类别。根据感兴趣区域中包括的任意一个像素的坐标，可以将感兴趣区域重新合并到待处理图像中。比如待处理图像中每个像素都有对应的坐标，可以根据感兴趣区域左上角的像素在待处理图像中的坐标，将感兴趣区域重新合并到待处理图像，进而可以在待处理图像中显示待检测物体的候选框以及待检测物体的类别。

参照图11，为本申请实施例提供的一种图像处理方法的流程示意图。获取待处理图像，判断待处理图像中是否存在停止车道线，若存在停止车道线，则根据停止车道线和导向车道线获取感兴趣区域。具体的，根据停止车道线和最左车道线、最右车道线的两个交点之间的线段确定感兴趣区域的下边缘(长度以及位置)，根据比例尺、待检测物体的实际物理高度获取感兴趣区域的宽度。若待处理图像中不包括停止车道线，则进一步判断待处理图像中最短的一条导向车道线是否与其他导向车道线相交。如果相交，则根据目标线段获取感兴趣区域的下边缘(长度以及位置)，目标线段的长度为300个像素的长度，且目标线段的一端与最左车道线相交，目标线段的另一端与最右车道线相交。需要说明的是，300个像素的长度仅为示例性的说明，目标线段的长度可以根据第二神经网络输入的阈值确定。如果不相交，则根据，目标线段与最左车道线、最右车道线的两个交点之间的线段获取感兴趣区域的下边缘(长度以及位置)，根据比例尺、待检测物体的实际物理高度获取感兴趣区域的宽度。其中目标线段与待处理图像的下边缘平行，且该目标线段经过最短的车道线在待处理图像中最高点对应的像素。获取了感兴趣区域后，判断感兴趣区域的分辨率与预设的分辨率之间的关系，如果感兴趣区域的分辨率大于预设的分辨率，则对感兴趣区域进行压缩处理，以将感兴趣区域的分辨率压缩至预设的分辨率，如果感兴趣区域的分辨率小于预设的分辨率，则对感兴趣区域进行超分辨率处理，以提升感兴趣区域的分辨率至预设的分辨率。

参阅图12，为在待处理图像中选取感兴趣区域的示意图，根据停止车道线和最左车道线、最右车道线的两个交点之间的线段确定感兴趣区域的下边缘(长度以及位置)，根据比例尺、待检测物体的实际物理高度获取感兴趣区域的宽度。

在一个可能的实施方式中，可以通过车载设备显示感兴趣区域，或者在挡风玻璃上投影出感兴趣区域，感兴趣区域始终包括路口路段对应的区域。根据本申请提供的方案获取的感兴趣区域，只会包括影响自车所在车道行驶状态的交通信号灯，所以针对该感兴趣区域进行交通信号灯的检测，只会输出一种决策结果。

以上对本申请实施例提供的一种图像处理的方法进行了介绍，通过本申请提供的一种图像处理的方法，可以很好的在待处理图像中选出路口路段对应的区域，有利于提升路口路段的待检测物体的检测的准确度。

在图2至图11所对应的实施例的基础上，为了更好的实施本申请实施例的上述方案，下面还提供用于实施上述方案的相关设备。具体参阅图13，图13为本申请实施例提供的图像处理装置的一种结构示意图。图像处理装置包括可以包括获取模块131，图像分割模块132，感兴趣区域模块133。

在一种可能的实施方式中，获取模块131，用于获取待处理图像。图像分割模块132，用于将待处理图像输入至第一神经网络，以获取第一预测结果。感兴趣区域模块133，还用于第一预测结果指示待处理图像的第一区域是车道线时，根据高度信息和第一区域获取待处理图像中待检测物体的感兴趣区域，高度信息可以包括预设定的待检测物体的物理高度，感兴趣区域用于第二神经网络获取待检测物体的候选框和分类。

在一种可能的实施方式中，第一区域中的车道线可以包括停止线，感兴趣区域模块133，具体用于：获取停止线在待处理图像中的长度。根据停止线在待处理图像中的长度获取感兴趣区域的长度。根据高度信息和比例尺获取待检测物体在待处理图像中的长度，比例尺用于指示待检测物体在待处理图像中的长度和待检测物体的物理高度之间的比例关系。根据待检测物体在待处理图像中的长度获取感兴趣区域的宽度。

在一种可能的实施方式中，第一区域中可以包括多个第一像素，多个第一像素中各个第一像素属于停止线的概率超过第一预设阈值，停止线由多个第一像素组成，感兴趣区域模块133，具体用于：根据多个第一像素中距离最远的两个像素之间的距离获取停止线在待处理图像中的长度。

在一种可能的实施方式中，感兴趣区域模块133，还用于：获取第一距离，第一距离是待检测物体和自车之间的距离。获取第二距离，第二距离是停止线和待处理图像的下边缘之间的距离。根据第一距离和第二距离获取比例尺。

在一种可能的实施方式中，第一区域中的车道线还可以包括至少两条导向车道线，感兴趣区域模块133，还用于：获取至少两条导向车道线中任意两条相邻的导向车道线在待处理图像中的宽度。根据任意两条相邻的导向车道线在待处理图像中的宽度和预设定的两条导向车道线的物理宽度获取比例尺。

在一种可能的实施方式中，感兴趣区域模块133，具体用于：根据第一交点和第二交点之间的距离获取感兴趣区域的长度，第一交点是待处理图像中第一导向车道线和停止线一端的交点，第二交点是待处理图像中第二导向车道线和停止线另一端的交点，第一导向车道线和第二导向车道线是至少两条导向车道线中距离最远的两条导向车道线。

在一种可能的实施方式中，感兴趣区域的下边缘的位置根据停止线在待处理图像中的位置确定。

在一种可能的实施方式中，第一区域中的车道线可以包括至少两条导向车道线且不可以包括停止线，感兴趣区域模块133，具体用于：根据第三交点和第四交点之间的距离获取感兴趣区域的长度，第三交点是待处理图像中第一导向车道线和第一线段的一端的交点，第二交点是待处理图像中第二导向车道线和第一线段另一端的交点，第一导向车道线和第二导向车道线是至少两条导向车道线中距离最远的两条导向车道线，第一线段是经过第二像素的一条线段，第二像素是至少两条导向车道线中最短的导向车道线在待处理图像中最高点对应的像素。根据高度信息和比例尺获取待检测物体在待处理图像中的长度，比例尺用于指示待检测物体在待处理图像中的长度和待检测物体的物理高度之间的比例关系。根据待检测物体在待处理图像中的长度获取感兴趣区域的宽度。

在一种可能的实施方式中，第一线段与待处理图像的下边缘平行。

在一种可能的实施方式中，第一区域中的车道线可以包括至少两条导向车道线且不可以包括停止线，感兴趣区域的下边缘的位置根据第一线段在待处理图像中的位置确定，第一线段占据预设长度的像素，且第一线段的一端与第一导向车道线相交，第一线段的另一端与第二导向车道线相交，第一导向车道线和第二导向车道线是至少两条导向车道线中距离最远的两条导向车道线。

在一种可能的实施方式中，感兴趣区域模块133，具体用于：根据第一线段的长度获取感兴趣区域的长度。根据高度信息和比例尺获取待检测物体在待处理图像中的长度，比例尺用于指示待检测物体在待处理图像中的长度和待检测物体的物理高度之间的比例关系。根据待检测物体在待处理图像中的长度获取感兴趣区域的宽度。

在一种可能的实施方式中，还可以包括压缩模块，压缩模块，用于若根据高度信息和第一区域获取的感兴趣区域的分辨率大于第二预设阈值时，将感兴趣区域的分辨率压缩至第二预设阈值。

在一种可能的实施方式中，还可以包括超分辨率处理模块，超分辨率处理模块，用于若根据高度信息和第一区域获取的感兴趣区域的分辨率小于第二预设阈值时，对感兴趣区域进行超分辨率处理，以使感兴趣的分辨率提升至第二预设阈值。

在一种可能的实施方式中，待检测物体可以包括交通灯。

参阅图14，为本申请实施例提供的图像处理装置的另一种结构示意图。包括处理器1402和存储器1403。

其中，处理器1402包括但不限于中央处理器(central processing unit，CPU)，网络处理器(network processor，NP)，专用集成电路(application-specific integratedcircuit，ASIC)或者可编程逻辑器件(programmable logic device，PLD)中的一个或多个。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(genericarray logic,GAL)或其任意组合。处理器1402负责通信线路1404和通常的处理，还可以提供各种功能，包括定时，***接口，电压调节，电源管理以及其他控制功能。

存储器1403可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically er服务器able programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路1404与处理器1402相连接。存储器1403也可以和处理器1402集成在一起。如果存储器1403和处理器1402是相互独立的器件，存储器1403和处理器1402相连，例如存储器1403和处理器1402可以通过通信线路通信。通信线路1404和处理器1402可以通过通信线路通信，通信线路1404也可以与处理器1402直连。

通信线路1404可以包括任意数量的互联的总线和桥，通信线路1404将包括由处理器1402代表的一个或多个处理器1402和存储器1403代表的存储器的各种电路链接在一起。通信线路1404还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本申请不再对其进行进一步描述。

在一个可能的实施方式中，该图像处理转置可以包括处理器，处理器和存储器耦合，存储器存储有程序指令，当存储器存储的程序指令被处理器执行时实现图2至图11所描述的方法。

本申请实施例还提供了一种自动驾驶车辆，结合上述对图1的描述，请参阅图15，图15为本申请实施例提供的自动驾驶车辆的一种结构示意图，其中，自动驾驶车辆100上可以部署有图14对应实施例中所描述的图像处理装置，用于实现图2至图11对应实施例中自动驾驶车辆的功能。由于在部分实施例中，自动驾驶车辆100还可以包括通信功能，则自动驾驶车辆100除了包括图1中所示的组件，还可以包括：接收器1201和发射器1202，其中，处理器113可以包括应用处理器1131和通信处理器1132。在本申请的一些实施例中，接收器1201、发射器1202、处理器113和存储器114可通过总线或其它方式连接。

处理器113控制自动驾驶车辆的操作。具体的应用中，自动驾驶车辆100的各个组件通过总线***耦合在一起，其中总线***除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线***。

接收器1201可用于接收输入的数字或字符信息，以及产生与自动驾驶车辆的相关设置以及功能控制有关的信号输入。发射器1202可用于通过第一接口输出数字或字符信息；发射器1202还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据；发射器1202还可以包括显示屏等显示设备。

本申请实施例中，应用处理器1131，用于执行图2至图11对应实施例中的自动驾驶车辆或者图像处理装置执行的图像处理方法。

需要说明的是，对于应用处理器1131执行图像处理方法的具体实现方式以及带来的有益效果，均可以参考图2至图11对应的各个方法实施例中的叙述，此处不再一一赘述。

本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有用于规划车辆行驶路线的程序，当其在计算机上行驶时，使得计算机执行如前述图2至图11所示实施例描述的方法中自动驾驶车辆(或者图像处理装置)所执行的步骤。

本申请实施例中还提供一种包括计算机程序产品，当其在计算机上行驶时，使得计算机执行如前述图2至图11所示实施例描述的方法中自动驾驶车辆(或者图像处理装置)所执行的步骤。

本申请实施例中还提供一种电路***，所述电路***包括处理电路，所述处理电路配置为执行如前述图2至图11所示实施例描述的方法中自动驾驶车辆(或者图像处理装置)所执行的步骤。

本申请实施例提供的图像处理装置或自动驾驶车辆具体可以为芯片，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使服务器内的芯片执行上述图2至图9所示实施例描述的规划车辆行驶路线的方法。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。

具体的，请参阅图16，图16为本申请实施例提供的芯片的一种结构示意图，所述芯片可以表现为神经网络处理器NPU 130，NPU 130作为协处理器挂载到主CPU(Host CPU)上，由Host CPU分配任务。NPU的核心部分为运算电路1303，通过控制器1304控制运算电路1303提取存储器中的矩阵数据并进行乘法运算。

在一些实现中，运算电路1303内部包括多个处理单元(Process Engine,PE)。在一些实现中，运算电路1303是二维脉动阵列。运算电路1303还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路1303是通用的矩阵处理器。

举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路从权重存储器1302中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器1301中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)1308中。

统一存储器1306用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(direct memory access controller，DMAC)1305，DMAC被搬运到权重存储器1302中。输入数据也通过DMAC被搬运到统一存储器1306中。

总线接口单元(bus interface unit，BIU)1310，用于AXI总线与DMAC和取指存储器(instruction fetch buffer，IFB)1309的交互。

BIU1310，用于取指存储器1309从外部存储器获取指令，还用于存储单元访问控制器1305从外部存储器获取输入矩阵A或者权重矩阵B的原数据。

DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器1306或将权重数据搬运到权重存储器1302中或将输入数据数据搬运到输入存储器1301中。

向量计算单元1307包括多个运算处理单元，在需要的情况下，对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/全连接层网络计算，如批归一化(batch normalization)，像素级求和，对特征平面进行上采样等。

在一些实现中，向量计算单元1307能将经处理的输出的向量存储到统一存储器1306。例如，向量计算单元1307可以将线性函数和/或非线性函数应用到运算电路1303的输出，例如对卷积层提取的特征平面进行线性插值，再例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元1307生成归一化的值、像素级求和的值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路1303的激活输入，例如用于在神经网络中的后续层中的使用。

控制器1304连接的取指存储器(instruction fetch buffer)1309，用于存储控制器1304使用的指令。

统一存储器1306，输入存储器1301，权重存储器1302以及取指存储器1309均为On-Chip存储器。外部存储器私有于该NPU硬件架构。

其中，循环神经网络中各层的运算可以由运算电路1303或向量计算单元1307执行。

其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，ASIC，或一个或多个用于控制上述第一方面方法的程序执行的集成电路。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CLU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

Claims (33)

1.一种图像处理方法，其特征在于，包括：

获取待处理图像；

将所述待处理图像输入至第一神经网络，以获取第一预测结果；

所述第一预测结果指示所述待处理图像的第一区域是车道线时，根据高度信息和所述第一区域获取所述待处理图像中待检测物体的感兴趣区域，所述高度信息包括预设定的所述待检测物体的物理高度，所述感兴趣区域用于第二神经网络获取待检测物体的候选框和分类。

2.根据权利要求1所述的方法，其特征在于，所述第一区域中的车道线包括停止线，所述根据高度信息和所述第一区域获取所述待处理图像的感兴趣区域，包括：

获取所述停止线在所述待处理图像中的长度；

根据所述停止线在所述待处理图像中的长度获取所述感兴趣区域的长度；

根据所述高度信息和比例尺获取所述待检测物体在所述待处理图像中的长度，所述比例尺用于指示所述待检测物体在所述待处理图像中的长度和所述待检测物体的物理高度之间的比例关系；

根据所述待检测物体在所述待处理图像中的长度获取所述感兴趣区域的宽度。

3.根据权利要求2所述的方法，其特征在于，所述第一区域中包括多个第一像素，所述多个第一像素中各个第一像素属于所述停止线的概率超过第一预设阈值，所述停止线由所述多个第一像素组成，所述获取所述停止线在所述待处理图像中的长度，包括：

根据所述多个第一像素中距离最远的两个像素之间的距离获取所述停止线在所述待处理图像中的长度。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取第一距离，所述第一距离是所述待检测物体和自车之间的距离；

获取第二距离，所述第二距离是所述停止线和所述待处理图像的下边缘之间的距离；

根据所述第一距离和所述第二距离获取所述比例尺。

5.根据权利要求2所述的方法，其特征在于，所述第一区域中的车道线还包括至少两条导向车道线，所述方法还包括：

获取所述至少两条导向车道线中任意两条相邻的导向车道线在所述待处理图像中的宽度；

根据所述任意两条相邻的导向车道线在所述待处理图像中的宽度和预设定的两条导向车道线的物理宽度获取所述比例尺。

6.根据权利要求2至5任一项所述的方法，其特征在于，所述根据所述停止线在所述待处理图像中的长度获取所述感兴趣区域的长度，包括：

根据第一交点和第二交点之间的距离获取所述感兴趣区域的长度，所述第一交点是所述待处理图像中第一导向车道线和所述停止线一端的交点，所述第二交点是所述待处理图像中第二导向车道线和所述停止线另一端的交点，所述第一导向车道线和所述第二导向车道线是所述至少两条导向车道线中距离最远的两条导向车道线。

7.根据权利要求2至6任一项所述的方法，其特征在于，所述感兴趣区域的下边缘的位置根据所述停止线在所述待处理图像中的位置确定。

8.根据权利要求1所述的方法，其特征在于，所述第一区域中的车道线包括至少两条导向车道线且不包括停止线，所述根据高度信息和所述第一区域获取所述待处理图像的感兴趣区域，包括：

根据第三交点和第四交点之间的距离获取所述感兴趣区域的长度，所述第三交点是所述待处理图像中第一导向车道线和第一线段的一端的交点，所述第二交点是所述待处理图像中第二导向车道线和所述第一线段另一端的交点，所述第一导向车道线和所述第二导向车道线是所述至少两条导向车道线中距离最远的两条导向车道线，所述第一线段是经过第二像素的一条线段，所述第二像素是所述至少两条导向车道线中最短的导向车道线在所述待处理图像中最高点对应的像素；

根据所述高度信息和比例尺获取所述待检测物体在所述待处理图像中的长度，所述比例尺用于指示所述待检测物体在所述待处理图像中的长度和所述待检测物体的物理高度之间的比例关系；

根据所述待检测物体在所述待处理图像中的长度获取所述感兴趣区域的宽度。

9.根据权利要求8所述的方法，其特征在于，所述第一线段与所述待处理图像的下边缘平行。

10.根据权利要求1所述的方法，其特征在于，所述第一区域中的车道线包括至少两条导向车道线且不包括停止线，所述根据高度信息和所述第一区域获取所述待处理图像的感兴趣区域，包括：

根据第一线段在所述待处理图像中的位置确定所述感兴趣区域的下边缘的位置，所述第一线段占据预设长度的像素，且所述第一线段的一端与第一导向车道线相交，所述第一线段的另一端与第二导向车道线相交，所述第一导向车道线和所述第二导向车道线是所述至少两条导向车道线中距离最远的两条导向车道线。

11.根据权利要求10所述的方法，其特征在于，所述根据高度信息和所述第一区域获取所述待处理图像的感兴趣区域，还包括：

根据所述第一线段的长度获取所述感兴趣区域的长度；

根据所述高度信息和比例尺获取所述待检测物体在所述待处理图像中的长度，所述比例尺用于指示所述待检测物体在所述待处理图像中的长度和所述待检测物体的物理高度之间的比例关系；

根据所述待检测物体在所述待处理图像中的长度获取所述感兴趣区域的宽度。

12.根据权利要求1至11任一项所述的方法，其特征在于，若根据所述高度信息和所述第一区域获取的所述感兴趣区域的分辨率大于第二预设阈值时，所述方法还包括：

将所述感兴趣区域的分辨率压缩至所述第二预设阈值。

13.根据权利要求1至11任一项所述的方法，其特征在于，若根据所述高度信息和所述第一区域获取的所述感兴趣区域的分辨率小于第二预设阈值时，所述方法还包括：

对所述感兴趣区域进行超分辨率处理，以使所述感兴趣的分辨率提升至所述第二预设阈值。

14.根据权利要求1至13任一项所述的方法，其特征在于，所述待检测物体包括交通灯。

15.一种图像处理装置，其特征在于，包括：

获取模块，用于获取待处理图像；

图像分割模块，用于将所述待处理图像输入至第一神经网络，以获取第一预测结果；

感兴趣区域模块，还用于所述第一预测结果指示所述待处理图像的第一区域是车道线时，根据高度信息和所述第一区域获取所述待处理图像中待检测物体的感兴趣区域，所述高度信息包括预设定的所述待检测物体的物理高度，所述感兴趣区域用于第二神经网络获取待检测物体的候选框和分类。

16.根据权利要求15所述的图像处理装置，其特征在于，所述第一区域中的车道线包括停止线，所述感兴趣区域模块，具体用于：

获取所述停止线在所述待处理图像中的长度；

根据所述停止线在所述待处理图像中的长度获取所述感兴趣区域的长度；

根据所述高度信息和比例尺获取所述待检测物体在所述待处理图像中的长度，所述比例尺用于指示所述待检测物体在所述待处理图像中的长度和所述待检测物体的物理高度之间的比例关系；

根据所述待检测物体在所述待处理图像中的长度获取所述感兴趣区域的宽度。

17.根据权利要求16所述的图像处理装置，其特征在于，所述第一区域中包括多个第一像素，所述多个第一像素中各个第一像素属于所述停止线的概率超过第一预设阈值，所述停止线由所述多个第一像素组成，所述感兴趣区域模块，具体用于：

根据所述多个第一像素中距离最远的两个像素之间的距离获取所述停止线在所述待处理图像中的长度。

18.根据权利要求16所述的图像处理装置，其特征在于，所述感兴趣区域模块，还用于：

获取第一距离，所述第一距离是所述待检测物体和自车之间的距离；

获取第二距离，所述第二距离是所述停止线和所述待处理图像的下边缘之间的距离；

根据所述第一距离和所述第二距离获取所述比例尺。

19.根据权利要求16所述的图像处理装置，其特征在于，所述第一区域中的车道线还包括至少两条导向车道线，所述感兴趣区域模块，还用于：

获取所述至少两条导向车道线中任意两条相邻的导向车道线在所述待处理图像中的宽度；

根据所述任意两条相邻的导向车道线在所述待处理图像中的宽度和预设定的两条导向车道线的物理宽度获取所述比例尺。

20.根据权利要求16至19任一项所述的图像处理装置，其特征在于，所述感兴趣区域模块，具体用于：

根据第一交点和第二交点之间的距离获取所述感兴趣区域的长度，所述第一交点是所述待处理图像中第一导向车道线和所述停止线一端的交点，所述第二交点是所述待处理图像中第二导向车道线和所述停止线另一端的交点，所述第一导向车道线和所述第二导向车道线是所述至少两条导向车道线中距离最远的两条导向车道线。

21.根据权利要求16至20任一项所述的图像处理装置，其特征在于，所述感兴趣区域的下边缘的位置根据所述停止线在所述待处理图像中的位置确定。

22.根据权利要求15所述的图像处理装置，其特征在于，所述第一区域中的车道线包括至少两条导向车道线且不包括停止线，所述感兴趣区域模块，具体用于：

根据第三交点和第四交点之间的距离获取所述感兴趣区域的长度，所述第三交点是所述待处理图像中第一导向车道线和第一线段的一端的交点，所述第二交点是所述待处理图像中第二导向车道线和所述第一线段另一端的交点，所述第一导向车道线和所述第二导向车道线是所述至少两条导向车道线中距离最远的两条导向车道线，所述第一线段是经过第二像素的一条线段，所述第二像素是所述至少两条导向车道线中最短的导向车道线在所述待处理图像中最高点对应的像素；

根据所述高度信息和比例尺获取所述待检测物体在所述待处理图像中的长度，所述比例尺用于指示所述待检测物体在所述待处理图像中的长度和所述待检测物体的物理高度之间的比例关系；

根据所述待检测物体在所述待处理图像中的长度获取所述感兴趣区域的宽度。

23.根据权利要求22所述的图像处理装置，其特征在于，所述第一线段与所述待处理图像的下边缘平行。

24.根据权利要求15所述的图像处理装置，其特征在于，所述第一区域中的车道线包括至少两条导向车道线且不包括停止线，所述感兴趣区域的下边缘的位置根据第一线段在所述待处理图像中的位置确定，所述第一线段占据预设长度的像素，且所述第一线段的一端与第一导向车道线相交，所述第一线段的另一端与第二导向车道线相交，所述第一导向车道线和所述第二导向车道线是所述至少两条导向车道线中距离最远的两条导向车道线。

25.根据权利要求15至24任一项所述的图像处理装置，其特征在于，所述感兴趣区域模块，具体用于：

根据所述第一线段的长度获取所述感兴趣区域的长度；

根据所述高度信息和比例尺获取所述待检测物体在所述待处理图像中的长度，所述比例尺用于指示所述待检测物体在所述待处理图像中的长度和所述待检测物体的物理高度之间的比例关系；

根据所述待检测物体在所述待处理图像中的长度获取所述感兴趣区域的宽度。

26.根据权利要求15至25任一项所述的图像处理装置，其特征在于，还包括压缩模块，

所述压缩模块，用于若根据所述高度信息和所述第一区域获取的所述感兴趣区域的分辨率大于第二预设阈值时，将所述感兴趣区域的分辨率压缩至所述第二预设阈值。

27.根据权利要求15至25任一项所述的图像处理装置，其特征在于，还包括超分辨率处理模块，

所述超分辨率处理模块，用于若根据所述高度信息和所述第一区域获取的所述感兴趣区域的分辨率小于第二预设阈值时，对所述感兴趣区域进行超分辨率处理，以使所述感兴趣的分辨率提升至所述第二预设阈值。

28.根据权利要求15至27任一项所述的图像处理装置，其特征在于，所述待检测物体包括交通灯。

29.一种图像处理装置，其特征在于，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现权利要求1至14中任一项所述的方法。

30.一种计算机可读存储介质，包括程序，当其在计算机上运行时，使得计算机执行如权利要求1至14中任一项所述的方法。

31.一种计算机程序产品，当在计算机上运行时，使得计算机可以执行如权利要求1至14任一所描述的方法。

32.一种芯片，其特征在于，所述芯片与存储器耦合，用于执行所述存储器中存储的程序，以执行如权利要求1至14任一项所述的方法。

33.一种智能汽车，其特征在于，所述智能汽车包括处理电路和存储电路，所述处理电路和所述存储电路被配置为执行如权利要求1至14中任一项所述的方法。

Images