CN107944333A - 自动驾驶控制设备、具有该设备的车辆及其控制方法 - Google Patents

Abstract

根据本公开的车辆包括车体、设置在车体中并配置成获取道路的图像和道路周围的图像的图像获取器以及自动驾驶控制设备。驾驶控制设备配置为从图像获取器实时接收第一图像和第二图像，检测第一图像和第二图像中的每一个中的移动对象，将去除了移动对象的第一图像与去除了移动对象的第二图像进行比较以识别车体的位置变化，并基于所识别的车体的位置变化来控制车辆的驾驶。

Description

自动驾驶控制设备、具有该设备的车辆及其控制方法

技术领域

本公开涉及一种用于识别车辆自身的位置变化的自动驾驶控制设备、具有该设备的车辆及其控制方法。

背景技术

车辆是驱动车轮以在道路上行驶的设备。在车辆中嵌入有用于保护乘客、辅助驾驶车辆和改善乘坐舒适性的各种装置。

近来，在车辆中设置有自动驾驶控制设备，其配置为通过控制车辆自身以识别道路环境并确定驾驶状况以及沿着计划行驶路径行驶来使车辆能够自动驾驶至目的地，并且正积极地进行关于这种技术的研究。

自动驾驶控制设备识别车辆自身的位置变化和对象的位置变化，并且实时生成用于避开对象的行驶路径。

本部分的公开内容是提供本发明的背景。申请人注意到，本部分可能包含本申请之前的信息。但是，通过提供本部分，申请人不承认本部分所包含的任何信息构成现有技术。

发明内容

一种用于识别车辆自身的位置变化和对象的位置变化的技术包括处理车辆自身周围的图像的技术。

也就是说，自动驾驶控制设备使用图像处理技术识别车辆自身的位置变化，并且从所识别的车辆自身的位置变化来识别对象的位置变化。

此处，存在的问题在于，随着正在处理的图像中的特征点的数量的增加，图像处理速度变慢，并且位置识别性能下降。

由于上述原因，当自动驾驶控制设备控制车辆的驾驶时，由于反映车辆自身和附近车辆的位置变化的速度是慢的，因此车辆自身稳定驾驶是不可能的，并且可能增加与对象碰撞的危险。

本公开的一方面提供一种自动驾驶控制设备、具有该设备的车辆及其控制方法，该自动驾驶控制设备使用深度学习来检测图像内的移动对象，并使用图像中的固定对象的特征点而非移动对象的特征点来识别车辆自身的位置。

本公开的另一个方面提供一种自动驾驶控制设备、具有该设备的车辆及其控制方法，该自动驾驶控制设备将图像分成检测到固定对象的第一区域、检测到移动对象的第二区域以及作为第一区域和第二区域之间的边界的第三区域以在第三区域中的特征点之中搜索固定对象的特征点，以识别车辆自身的位置。

根据一个方面，一种设置在可移动设备处的自动驾驶控制设备包括：配置成存储多个数据片段的存储器、配置成获取周围的图像的图像获取器以及控制器，该控制器配置成接收由图像获取器获取的第一图像和第二图像，基于多个数据片段检测在第一图像和第二图像中的每一个中的固定对象，将在第一图像中的固定对象的位置与在第二图像中的固定对象的位置进行比较，以识别固定对象的位置变化，基于所识别的固定对象的位置变化来识别可移动设备的位置变化，并基于所识别的可移动设备的位置变化来控制驾驶。

根据一个方面，自动驾驶控制设备的第二图像可包括在从获取第一图像的时间点流逝一定时间的时间点处获取的图像。

根据一个方面，自动驾驶控制设备的控制器可对第一图像和第二图像执行深度学习以从第一图像和第二图像中检查线条信息(line information)、像素信息、表面信息、形状信息、颜色分布信息以及尺寸信息中的至少一个，并可将至少一个所检查的信息与多个数据片段进行比较以检测固定对象。

根据一个方面，自动驾驶控制设备的控制器可使用关于对第一图像和第二图像执行的深度学习的信息来更新存储器的数据。

根据一个方面，自动驾驶控制设备的控制器可对第一图像和第二图像执行深度学习以检测在第一图像和第二图像中的每一个中的移动对象，并基于在第一图像中的移动对象和在第二图像中的移动对象的位置变化以及固定对象的位置变化来控制驾驶。

根据一个方面，自动驾驶控制设备的多个数据可包括关于多个对象的图像信息和状态信息。

根据另一个方面，一种车辆包括：车体，设置在车体中并配置成获取道路和道路的周围的图像的图像获取器，以及自动驾驶控制设备，其配置成实时接收第一图像和第二图像，基于预先存储的多个数据片段检测第一图像和第二图像中的每一个中的固定对象，将在第一图像中的固定对象的位置与在第二图像中的固定对象的位置进行比较，以识别车体的位置变化，并基于所识别的车体的位置变化来控制驾驶。

车辆的自动驾驶控制设备可对第一图像和第二图像执行深度学习以从第一图像和第二图像中检查线条信息、像素信息、表面信息、形状信息、颜色分布信息以及尺寸信息中的至少一个，并可将至少一个所检查的信息与多个数据片段进行比较以检测固定对象。

车辆的自动驾驶控制设备可使用关于对第一图像和第二图像执行的深度学习的信息来更新多个数据片段。

车辆的自动驾驶控制设备的控制器可对第一图像和第二图像执行深度学习以在第一图像和第二图像中的每一个中检测移动对象，并基于在第一图像中的移动对象和在第二图像中的移动对象的位置变化以及固定对象的位置变化来控制驾驶。

车辆的自动驾驶控制设备可将第一图像和第二图像中的每一个的区域划分为检测到固定对象的第一区域、检测到移动对象的第二区域以及作为第一区域和第二区域之间的边界的第三区域，从第一图像和第二图像的第一、第二和第三区域提取特征点，并针对每个区域将在第一图像中的特征点的位置与在第二图像中的特征点的位置进行比较，以检查在每个区域中特征点的位置是否改变。

车辆的自动驾驶控制设备可检查第一图像和第二图像中的每一个的第三区域中的特征点的特征值，并基于所检查的特征点的特征值，在第一图像和第二图像中的每一个的第三区域中的特征点之中确定固定对象的特征点。

车辆的自动驾驶控制设备可检查第一图像和第二图像中的每一个的第一区域和第三区域中的特征点的特征值，并且确定具有所检查的特征点的特征值之中的等于或大于第一预定特征值的特征值的特征点是固定对象的代表性特征点。

车辆的自动驾驶控制设备可将第一图像中的固定对象的代表性特征点与第二图像中的固定对象的代表性特征点进行比较，以检查代表性特征点是否匹配，并且可确定匹配的代表性特征点是第一图像和第二图像中的固定对象的有效特征点。

车辆的自动驾驶控制设备可确定具有第一图像和第二图像中的每一个的第二区域和第三区域中的特征点的特征值之中的等于或大于第二预定特征值的特征值的特征点是移动对象的代表性特征点，并基于第一图像和第二图像中的代表性特征点来识别移动对象的位置变化。

车辆的自动驾驶控制设备可将第一图像中的移动对象的代表性特征点与第二图像中的移动对象的代表性特征点进行比较，以检查特征点是否匹配，并且可确定匹配的代表性特征点是第一图像和第二图像中的移动对象的有效特征点。

当在第一图像和第二图像中的每一个的第三区域中的有效特征点之中存在与移动对象的有效特征点匹配的一个或多个固定对象的有效特征点时，车辆的自动驾驶控制设备可从固定对象的有效特征点中移除一个或多个匹配的有效特征点。

根据另一个方面，一种用于控制自动驾驶的车辆的方法包括实时地获取图像，从所获取的图像中选择第一图像和第二图像，基于预先存储的多个数据检测第一图像和第二图像中的每一个中的固定对象，将在第一图像中的固定对象的位置与在第二图像中的固定对象的位置进行比较以识别固定对象的位置变化，基于所识别的固定对象的位置变化来识别车辆自身的位置变化，以及基于所识别的车辆自身的位置变化来控制驾驶。

识别固定对象的位置变化和移动对象的位置的变化可包括将第一图像和第二图像中的每一个的区域划分为检测到固定对象的第一区域、检测到移动对象的第二区域以及作为第一区域和第二区域之间的边界的第三区域，从第一图像和第二图像的第一、第二和第三区域提取特征点，并针对每个区域比较在第一图像中的特征点的位置与在第二图像中的特征点的位置，以检查在每个区域中特征点的位置是否改变。

识别固定对象的位置的变化和移动对象的位置的变化可包括检查第一图像和第二图像中的每一个的第一区域、第二区域和第三区域中的特征点的特征值，确定具有第一图像和第二图像中的每一个的第一和第二区域中的特征点的特征值之中的等于或大于第一预定特征值的特征值的特征点是固定对象的代表性特征点，比较第一图像和第二图像中的每一个中的固定对象的代表性特征点的位置以识别固定对象的位置变化，确定具有第一图像和第二图像中的每一个的第二区域和第三区域中的特征点的特征值之中的等于或大于第二预定特征值的特征值的特征点是移动对象的代表性特征点，以及比较第一图像和第二图像中的每一个中的移动对象的代表性特征点的位置以识别移动对象的位置变化。

本公开的另外的方面将在下面的描述中部分地阐述，并且部分地将从描述中显而易见，或者可通过本公开的实践而习得。

附图说明

通过以下结合附图对实施例的描述，本公开的这些和/或其它方面将变得清楚和更容易理解：

图1示出根据实施例的车辆的外部；

图2示出根据实施例的车辆的内部；

图3是根据实施例的车辆的控制框图；

图4是根据实施例的车辆的控制流程图；

图5示出根据实施例驾驶车辆；

图6A和6B示出根据实施例的设置在车辆中的自动驾驶控制设备的第一图像和第二图像；

图7至图13示出根据实施例的设置在车辆中的自动驾驶控制设备的第一图像的图像处理；

图14至图21示出根据实施例的设置在车辆中的自动驾驶控制设备的第二图像的图像处理；

图22A和22B示出根据实施例的设置在车辆中的自动驾驶控制设备的第一图像和第二图像的第一匹配图像；

图23A和23B示出分别从图22A和22B的第一匹配图像中去除无效特征点；

图24A和24B示出根据实施例的设置在车辆中的自动驾驶控制设备的第一图像和第二图像的第二匹配图像；

图25示出从图24A的第一图像的第二匹配图像中去除无效特征点；

图26A、图26B、图26C和图26D示出根据实施例的设置在车辆中的自动驾驶控制设备的第一图像和第二图像的第一有效图像和第二有效图像；并且

图27示出根据实施例的设置在车辆中的自动驾驶控制设备的第一图像和第二图像中的每一个的第三区域中的特征点。

具体实施方式

在下文中，将参照附图详细描述本公开。

公开了一种用于确定车辆运动的***和方法。安装在车辆中的计算装置处理在面向车辆前方的相机120处捕获的两个或更多个图像(视频的帧191b、192b)的序列。计算装置处理图像以识别至少一个固定到地面(建筑物，树木)的对象，并在图像序列中确定所识别的固定对象的移动。可使用固定对象的移动来确定在对应于图像序列的时间段期间主体车辆的移动。

从相机120捕获的图像具有中央部分(图7中的R2)、***部分(图7中的R1)和中心部分和***部分之间的中间部分(图7中的R3)。在实施例中，在处理图像以识别表示固定对象的图像分量(像素)时，计算装置应用对图像的不同部分具有不同权重(weight)的滤波器。如图8所示，高权重应用于周边部分，低权重应用于中心部分，使得在检测固定对象和确定固定对象的移动时可排除由中心段中的图像分量表示的前进车辆。在实施例中，使用过滤的图像序列(图22A和22B中的191f、192f)确定固定对象的候选项。

在实施例中，计算装置处理捕获的图像以识别至少一个移动对象，其如前进车辆那样不固定到地面。在实施例中，对周边部分具有低权重和对中心部分具有高权重的另一滤波器(图12中的掩模191d)被应用，使得可在检测移动对象的候选项中排除由***段中的图像分量表示的路灯或道路标志。在实施例中，当图像分量被同时识别为固定对象的候选项和移动对象的候选项时，可取消图像分量作为固定对象的候选项资格(被确定为无效特征点)以增强检测固定对象的准确性。

自动驾驶设备是一种检测附近对象并能够基于所检测对象的位置信息来移动自身的设备。自动驾驶设备的示例可包括人形机器人、宠物机器人、清洁机器人以及车辆。

在上述示例之中，车辆是一种为了运输人或货物的目的而驱动车轮以在道路上行驶的设备，并可包括自动驾驶控制设备，其配置成检测道路附近的对象并使得车辆能够基于所检测到的对象的位置信息和道路车道信息而自行驾驶。

根据本发明的实施例，在自动驾驶设备中，将以车辆为例进行说明。

图1示出根据实施例的车辆的外部，图2示出根据实施例的车辆的内部。

车辆1包括具有内部和外部的车体，以及底盘，该底盘配置成占据除车体以外的其余部分以具有安装在其上的驾驶所需的机械装置。

如图1所示，车体的外部110包括前面板111，引擎盖112，顶板113，后面板114，行李箱115，左前门、右前门、左后门及右后门116，以及待被打开和关闭的配置在左前门、右前门、左后门及右后门116处的挡风玻璃117。

此外，车体的外部进一步包括设置在前面板的挡风玻璃、引擎盖，顶板，后面板，行李箱，和左前门、右前门、左后门以及右后门之间的边界处的填充物118，以及配置成向驾驶员提供车辆1后方的视野的侧视镜119。

车辆1包括配置成获取道路的图像和道路周围的图像的图像获取器120。

图像获取器120可以是包括电荷耦合器(CCD)或互补金属氧化物半导体(CMOS)图像传感器的照相机。

图像获取器120可设置在车辆内部挡风玻璃的一侧处的挡风玻璃处、可设置在车辆内部的后视镜处、或者可设置在顶板113处以被暴露至外部。

车辆可进一步包括距离检测器130，其配置为检测从该车辆到该车辆的前方、后方、左侧和右侧的其他车辆的距离。

距离检测器130可包括超声波传感器、图像传感器、雷达传感器或光检测及测距(LIDAR)传感器。

距离检测器130可设置在车辆的前面板111、顶板113和后面板114中的至少一个上。

如图2所示，车体的内部140包括配置成供乘客乘坐的座椅141，仪表板142，设置在仪表板上并配置成具有转速计、速度计、冷却剂温度计、燃油量表、转向信号指示器、远光指示灯、警告灯、安全带警告灯、转速计、里程计、自动变速器选择杆指示灯、车门开启警告灯、发动机油警告灯以及低燃料警告灯布置在其上的仪表盘(即，组合仪表盘143)，配置成控制车辆的方向的方向盘144，以及具有布置在其上的空调的空气出口和调节板以及音频装置的中心仪表板(center fascia)145。

方向盘144是用于控制车辆1的行驶方向的设备，并可包括由驾驶员握持的轮辋(rim)和连接到车辆1的转向机构并配置成将轮辋连接到用于转向的旋转轴的轮毂(hub)的轮辐(spoke)。

进一步地，轮辐可包括配置成控制车辆1中的各种类型的装置，例如音频设备，的操作装置。

中心仪表板145可包括配置成控制音频装置、空调和加热器的头部单元146、多端子147等。

此处，多端子147可被布置为邻近于头部单元146，可包括通用串行总线(USB)端口和辅助(AUX)端口，并可进一步包括安全数字(SD)插槽。

车辆1可进一步包括配置成接收用于各种类型的功能的操作命令的输入单元148。

输入单元148可设置在头部单元146和中心仪表板145处，并可包括一个或多个物理按钮，诸如用于各种类型的功能的操作开/关按钮和用于改变各种类型的功能的设置值的按钮。

输入单元148可包括一体地设置在车辆终端150的显示器处的触摸面板。输入单元148接收在车辆终端150的显示器上显示的按钮的位置信息。

输入单元148可进一步包括微动拨盘(jog dial)或触摸板，其配置成接收用于在车辆终端150的显示器上显示的光标的移动命令、选择命令等。

此处，微动拨盘或触摸板可设置在中心仪表板等处。

车辆1可进一步包括设置在头部单元处的显示器149，并且其配置成显示关于当前正在执行的功能的信息和用户输入的信息。

进一步地，车辆1还可在车辆终端150的显示器上显示关于当前正在执行的功能的信息和用户输入的信息。

车辆终端150可安装并固定在仪表板处。

车辆终端150可执行音频功能、视频功能、导航功能、数字多媒体广播(DMB)功能和无线电功能，可在自动驾驶模式下显示在车辆的前方、后方、左侧和右侧的图像，并可显示地图信息和路线引导信息。

车辆进一步包括配置成向左前、右前、左后和右后车轮施加驱动力和制动力的致动装置，诸如发电装置、动力传动系、驾驶控制装置、转向装置、制动装置、悬挂装置、变速装置、燃料装置等。

此外，为了驾驶员和乘客的安全，可在车辆中设置各种类型的安全装置。

车辆中的安全装置可包括各种类型的安全装置，诸如配置成在车辆发生碰撞时确保诸如驾驶员的乘客的安全的气囊控制装置，以及配置成当车辆加速或转弯时控制车辆方向的车辆电子稳定控制(ESC)装置。

车辆1包括配置成控制致动装置、各种类型的安全装置和各种类型的检测装置的操作的电子控制单元(ECU)。

此外，车辆1可进一步包括为驾驶员的方便而安装的免提装置，以及诸如全球定位***(GPS)接收器、音频装置、蓝牙装置和高通装置的电子装置。

车辆1可进一步包括配置成向起动马达输入操作命令的启动按钮。

当按下启动按钮时，车辆1操作起动马达，并且作为发电装置的发动机由于起动马达的操作而***作。

车辆1进一步包括电连接到终端、音频装置、车内灯、起动马达和其它电子装置以向其提供驱动电力的电池。

在行驶期间使用自发电机或发动机的电力对电池充电。

图3是根据实施例的车辆的控制框图。车辆1包括图像获取器120、输入单元148、显示器149、自动驾驶控制设备160、ECU 170和致动装置180。

图像获取器120在自动驾驶模式中实时地获取道路和道路周围的图像，并按照获取图像的顺序将实时获取的图像信息发送到自动驾驶控制设备160。

输入单元148接收驾驶员直接驾驶车辆的手动驾驶模式和车辆自动驾驶自身的自动驾驶模式中的任一个，并将与输入模式相对应的命令的信号发送到自动驾驶控制设备160。

输入单元148可接收关于目的地的信息，接收在高速公路上行驶和在国道上行驶之间的选择，并且可接收在自动驾驶模式中的行驶速度。

显示器149显示车辆的驾驶模式和行驶速度。

进一步地，车辆可通过车辆终端150接收关于目的地的信息，通过车辆终端显示道路的图像、路线引导信息、地图信息以及周围的图像。

图像获取器120、输入单元148和显示器149可通过通信向自动驾驶控制设备160发送信息和从自动驾驶控制设备160接收信息。

自动驾驶控制设备160在自动驾驶模式期间基于道路和对象的信息来控制车辆的驾驶，并且包括通信单元161、控制器162和存储器163。

通信单元161执行图像获取器120、输入单元148、显示器149与自动驾驶控制设备160的控制器162之间的通信。

也就是说，通信单元161将自动驾驶控制设备160的控制器162的图像获取命令发送到图像获取器120，并将由图像获取器120获取的图像信息发送到控制器162。

此外，通信单元161将输入到输入单元148的自动驾驶命令发送到控制器162，并基于来自控制器162的命令将与自动驾驶模式相关的信息发送到显示器149。

此外，通信单元161基于来自控制器162的命令，与ECU 170进行通信，并将用于自动驾驶的驾驶控制信息、制动控制信息和转向控制信息发送到ECU 170。

当接收到自动驾驶命令时，控制器162向图像获取器120发送激活命令，使得图像获取器120获取道路和道路周围的图像。

当接收到由图像获取器120获取的图像时，控制器162使用接收的图像执行深度学习。

可周期性地或实时地接收由图像获取器120获取的图像。

控制器162从接收的图像中选择两个或更多个连续图像，使用两个或更多个所选择的图像上的信息来执行深度学习，通过执行深度学习来检测移动对象，并基于检测到的移动对象的信息来识别车辆自身的位置变化。

将更详细地描述使用深度学习来识别车辆自身的位置变化的控制器的配置。

进一步地，为了便于描述，在当前时间点之前获取的图像将被称为第一图像，在当前时间点获取的图像将被称为第二图像。也就是说，第二图像是在从获取第一图像的时间点流逝一定时间的时间点处获取的图像。

控制器162基于关于第一图像的信息片段之中的第一图像的像素信息，检查区分线条信息、区分颜色分布信息和区分像素信息中的一个或多个信息片段，并将一个或多个所检查的信息片段与存储在存储器163中的数据进行比较，以在存储器163中存储的数据之中搜索与一个或多个所检查的信息片段相似的信息。

此处，相似的信息可以是在存储器163中存储的数据之中的具有与所检查的信息预定相似度或更高相似度的信息。

此外，区分线条信息、区分颜色分布信息和区分像素信息的检查包括检查第一图像中的线条图案或颜色分布。

进一步地，控制器162还可基于第一图像的像素信息来检查表面信息、形状信息和尺寸信息。

也就是说，控制器162使用深度学习来从第一图像和第二图像的每一个中检测移动对象，检查所检测到的移动对象所属的第一图像和第二图像中的每一个的区域，在第一图像和第二图像中的每一个中检测所检查区域的周围区域中的移动对象，从第一图像和第二图像中移除所检测到的移动对象以在每个图像中仅留下固定对象，并比较固定对象在第一图像和第二图像中的位置来识别车辆自身的位置变化。更详细地，控制器162从来自第一图像和第二图像的区域中的检测到移动对象的检测区域和检测到移动对象的检测区域的周围区域提取特征点，过滤检测区域和周围区域以确定代表性特征点，并使用第一图像和第二图像中的特征点之中的除了所确定的代表性特征点之外的特征点来识别车辆自身的位置。

此处，可存在单个代表性特征点或多个代表性特征点。

在第一图像和第二图像中的特征点之中的除了所确定的代表性特征点之外的特征点可以是固定对象的特征点。

进一步地，控制器162排除第一图像和第二图像中的特征点之中的存在于第一图像的周围区域和第二图像的周围区域两者中的代表性特征点，以从固定对象的特征点识别车辆自身的位置。

此外，控制器162可使用深度学习来检测在第一图像和第二图像中的每一个中的固定对象和移动对象，检测在固定对象和移动对象之间的边界区域中的移动对象，移除在第一图像和第二图像中所检测到的移动对象以在每个图像中仅留下固定对象，并比较固定对象在第一图像和第二图像中的位置以识别车辆自身的位置变化。

进一步地，控制器162可使用视觉里程计算法、即时定位与地图构建(SLAM)或运动结构法则(SFM)来检测固定对象，并可使用深度学习来检测移动对象。

在下文中，将描述当检测到固定对象和移动对象时控制器的配置。

控制器162基于找到的信息检测第一图像中的固定对象和移动对象，并从检测到固定对象和移动对象的第一图像的区域中提取特征点。

控制器162检测第二图像中的固定对象和移动对象，并从检测到固定对象和移动对象的第二图像的区域中提取特征点。

此处使用的方法与检测第一图像中的固定对象和移动对象并从其提取特征点的方法相同。

进一步地，控制器162还可在执行深度学习的同时提取特征点。

控制器162将第一图像的检测到固定对象的区域中的特征点的位置与第二图像的检测到固定对象的区域中的特征点的位置进行比较，以识别固定对象的位置变化，并基于所识别的固定对象的位置变化来识别车辆自身的位置变化。

此处，在检测到特征点的区域中可存在多个特征点。

控制器162将第一图像和第二图像中的每一个的区域划分为检测到固定对象的区域(即，第一区域)、检测到移动对象的区域(即，第二区域)以及作为第一区域和第二区域之间的边界的第三区域，并从第一图像和第二图像的第一、第二和第三区域提取特征点。

控制器162检查在第一图像和第二图像的第一和第三区域中的特征点的特征值，将检查的特征值乘以每个区域的滤波器系数以确定固定对象的代表性特征点，检查在第一图像和第二图像的第二和第三区域中的特征点的特征值，并将检查的特征值乘以每个区域的滤波器系数以确定移动对象的代表性特征点。

此处，可存在单个代表性特征点或多个代表性特征点。

控制器162将第一图像中的固定对象的代表性特征点与第二图像中的固定对象的代表性特征点进行比较以确定固定对象的有效特征点，并将第一图像中的移动对象的代表性特征点与第二图像中的移动对象的代表性特征点进行比较以确定移动对象的有效特征点。

控制器162将固定对象的有效特征点的特征值与移动对象的有效特征点的特征值进行比较，以确定是否存在匹配特征值，并且当存在匹配特征值时，将固定对象的有效特征点之中的具有匹配特征值的有效特征点改变为无效特征值。

此处，基于亮度恒定性假设(BCA*)，相互匹配的特征值可以是彼此相等的特征值。

进一步地，相互匹配的特征值可包括具有在预定值以内的差异的特征值。

控制器162基于在第一图像和第二图像中的固定对象的有效特征点的位置来识别固定对象的位置变化，并基于在第一图像和第二图像中的移动对象的有效特征点的位置来识别移动对象的位置变化。

控制器162基于所识别的移动对象的位置变化和所识别的固定对象的位置变化来识别车辆自身和移动对象之间的距离变化和方向变化，并基于所识别的距离和方向的变化来控制车辆自身的驾驶。

此处，车辆自身的位置变化是指关于车辆自身的移动的信息。

进一步地，控制器162可将第一图像和第二图像中的每一个的区域划分为检测到固定对象的区域(即，第一区域)、检测移动对象的区域(即，第二区域)以及作为第一区域和第二区域之间的边界的第三区域，从第一图像和第二图像中的每一个的第三区域提取固定对象的特征点，并将从第一图像的第三区域和第二图像的第三区域提取的特征点使用为用于识别车辆自身的位置变化的特征点。

也就是说，控制器162将第一图像的第三区域中的特征点的位置与第二图像的第三区域中的特征点的位置进行比较以识别第三区域中的固定对象的特征点的位置的变化，并基于所识别的第三区域中的特征点的位置的变化和所识别的第一区域中的特征点的位置变化来识别车辆自身的位置变化。

控制器162可在第一图像的第三区域中的特征点之中提取移动对象的特征点，在第二图像的第三区域中的特征点之中提取移动对象的特征点，提取第一图像的第二区域中的特征点和第二图像的第二区域中的特征点，并将第一图像中所提取的移动对象的特征点的位置与第二图像中所提取的移动对象的特征点的位置进行比较以识别移动对象的位置变化。

控制器162使用实时接收的图像信息片段来实时地识别车辆自身的位置变化，并控制用于避开对象的避障驾驶。

控制器162可将对应于深度学习性能结果的图像中的固定对象的线条信息、像素信息和颜色分布信息，以及移动对象的线条信息、像素信息和颜色分布信息存储在存储器163中，并更新存储器163中的数据。

此处，控制器162将对象的线条信息、像素信息和颜色分布信息存储在相似信息存储在其中的组中。

例如，固定对象的线条信息、像素信息和颜色分布信息被存储在存储器中的组之中的其中存储有关于固定对象的信息的组中，并且移动对象的线条信息、像素信息和颜色分布信息被存储在存储器中的组之中的存储有关于移动对象的信息的组中。

存储器163存储多个数据片段。

此处，多个数据片段包括与道路和可能存在于道路附近的对象相关的数据。

此处，对象是可能成为车辆自身驾驶中的障碍物的对象，并可包括其位置是固定的固定对象以及其位置是可移动的移动对象。

与对象相关的数据可包括每个对象(即，对象)的图像信息、文本信息、语音信息和状态信息中的一个或多个。

图像信息可包括线条信息、颜色分布信息和像素信息，并可进一步包括每个对象的表面信息、形状信息和尺寸信息。

此处，每个对象的线条信息、颜色分布信息、像素信息、表面信息、形状信息和大小信息是关于对象的每一个的独有的信息片段。信息片段的每一个可针对同一对象以相同的图案出现。进一步地，信息片段的每一个的图案可以是用于每个对象的区分信息。

关于对象的状态的信息包括其位置是固定的固定状态和其位置是可移动的移动状态。

具有相似图案的信息片段可被区分并存储在存储器163中。

例如，可对具有相似的线条图案的信息片段、具有相似的颜色分布图案的信息片段以及具有相似的线条图案和相似的颜色分布图案的信息片段可以被区分成组并被存储。

在另一示例中，可将移动对象的线条图案和颜色分布图案的可能图案以及固定对象的线条图案和颜色分布图案的可能图案存储在存储器163中。

存储器163可具有多个存储区域，并且多个存储区域可以是被区分为组的存储器。

此外，可提供多个存储器163，使得多组信息按组被存储在其中。

存储器中的数据可包括由用户输入的对象名称和与其对应的图像信息、从外部服务器发送的对象名称和与其对应的图像信息、从服务器发送的关于对象的图像信息片段、区分信息以及关于固定状态或移动状态的信息。

此外，存储器中的数据可包括关于在特定时间段期间获取的图像的信息片段、通过对在特定时间段期间获取的图像执行的深度学习而检测到的关于对象的区分信息片段以及关于对象的固定状态或移动状态的信息片段。

此处，图像信息可包括获取图像的时间、图像的名称、图像的像素信息等。

区分信息可包括区分线条信息、区分像素信息、区分颜色分布信息、区分表面信息、区分形状信息和区分尺寸信息。

存储器中的数据可进一步包括关于在车辆的自动驾驶模式期间通过深度学习产生的图像的信息和关于对象的信息。

也就是说，可更新存储器中的数据。

ECU 170基于从自动驾驶控制设备160发送的驾驶控制信息控制致动装置180的操作。

此处，可设置单个ECU 170，或者可设置多个ECU 170，使得ECU 170分别控制驾驶装置、制动装置和转向装置。

致动装置180基于ECU 170的控制信号驱动驾驶装置、制动装置和转向装置中的一个或多个。

图4是根据实施例的车辆的控制流程图，将参照图5至图23进行描述。

车辆使用深度学习来从第一图像和第二图像中的每一个检测移动对象，检查所检测到的移动对象所属的第一图像和第二图像中的每一个的区域，在第一图像和第二图像中的每一个中检测所检查的区域的周围区域中的移动对象，从第一图像和第二图像中移除所检测到的移动对象以在每个图像中仅留下固定对象，并比较固定对象在第一图像和第二图像中的位置来识别车辆自身的位置变化。

车辆可使用深度学习、视觉里程计算法、SLAM或SFM来检测固定对象。

换句话说，在本实施例中，将描述其中检测固定对象和移动对象两者并且区分检测到移动对象的检测区域的周围区域中的特征点的属性的情况。

此处，区分周围区域中的特征点的属性包括区分特征点是与移动对象相关还是与固定对象相关。

此处，图5示出驾驶根据实施例的车辆，并且图6A和6B是根据实施例的设置在车辆中的自动驾驶控制设备的第一图像和第二图像的示例性视图。

另外，图7至图13示出根据实施例的设置在车辆中的自动驾驶控制设备的第一图像的图像处理，并且是用于描述提取用于识别第一图像中的对象的特征点并确定代表性特征点的视图。

图14至图21示出根据实施例的设置在车辆中的自动驾驶控制设备的第二图像的图像处理，并且是用于描述提取用于识别第二图像中的对象的特征点并确定代表性特征点的视图。

图22A、22B、23A、23B、24A、24B、25、26A、26B、26C和26D示出确定在第一图像和第二图像中的有效特征点，并识别固定对象和移动对象的位置。

当通过输入单元148输入自动驾驶命令时，车辆启动图像获取器120并获取道路及其周围的图像(201)。

如图5所示，车辆1可实时地获取车辆自身前方的道路、道路的周围以及另一车辆2的图像。

对应于车辆自身的位置变化，车辆可获取相同对象在不同位置处的图像或不同对象的图像。

也就是说，在车辆自身的位置变化之后获取的图像中，相比于在车辆自身的位置变化之前获取的图像，相同对象的位置可不同，或者可示出不同的对象。

进一步地，移动对象从在车辆自身的位置变化之前获取的图像到在车辆自身的位置变化之后获取的图像中的位置变化取决于移动对象的移动速度和移动方向，并且可不同于固定对象的位置变化。

也就是说，车辆比较实时获取的多个图像信息片段以识别车辆自身的位置变化。

如图6A和6B所示，车辆在实时获取的多个图像中选择在当前时间点之前获取的第一图像(帧)191和在当前时间点获取的第二图像(帧)192(202)。

然后，车辆使用所选择的第一图像和第二图像来执行深度学习并从图像中检测对象(203)。

更具体地，车辆基于关于第一图像的信息片段之中的第一图像的像素信息来检查线条信息、像素信息和颜色分布信息，并在存储在存储器163中的数据中搜索与所检查的线条信息、像素信息和颜色分布信息相似的相似信息。

此处，线条信息、像素信息和颜色分布信息的检查包括检查线条的图案和颜色分布图案。

进一步地，车辆还可基于第一图像的像素信息来检查表面信息、形状信息以及尺寸信息，并在存储器163中的数据中搜索与所检查的表面信息、形状信息和尺寸信息相似的相似信息。

此外，搜索与所检查的线条信息、像素信息和颜色分布信息相似的相似信息包括从存储器163中的数据中搜索具有与所检查的线条的图案预定或更高相似度的线条的图案，搜索具有与所检查的像素图案预定或更高相似度的像素图案，搜索具有与所检查的颜色分布图案预定或更高相似度的颜色分布图案，以及搜索具有所找到的线条的图案、像素图案和颜色分布图案的对象。

然后，车辆基于所找到的相似信息确定移动对象。进一步地，车辆可基于所找到的相似信息来确定固定对象。

此处，所找到的相似信息包括关于具有从存储器163中的数据找到的线条的图案、像素图案和颜色分布图案的对象的信息。

关于对象的信息可包括对象的名称和关于对象是固定的还是移动的信息。

然后，车辆将第一图像的区域划分为检测到固定对象的第一区域、检测到移动对象的第二区域以及作为第一区域和第二区域之间的边界的第三区域(204)。

此处，第三区域可以是从第二区域的周边到从其向第一区域延伸预定长度的线的区域。

如图7所示，第一图像的区域被划分为第一区域R1和第二区域R2，并且第一区域R1的部分，其从第二区域R2的周边到从其向第一区域R1延伸预定长度d的线的区域，被区分为第三区域R3。

然后，车辆在第一图像的第一区域、第二区域和第三区域的每个像素处生成滤波器系数，以生成第一掩模图像(205)。

此处，在第一区域中反映的滤波器系数可以是1，在第二区域中反映的滤波器系数可以是0.5，并且在第三区域中反映的滤波器系数可以是0。

如图8所示，车辆在第一图像的第一区域R1中生成为1的滤波器系数，在第一图像的第二区域R2中生成为0.5的滤波器系数，并且在第一图像的第三区域R3中生成为0的滤波器系数，以生成第一掩模图像191a。

然后，车辆从第一图像的第一区域、第二区域和第三区域中的每一个提取特征点，并提取每个特征点的特征值(206)。

此处，也可在执行深度学习时提取特征点。

车辆提取第一图像中的固定对象和移动对象的特征点的特征值，并且生成反映所提取的特征值的特征图像191b(207)。

此处，特征值的提取可在以下中使用任何一种提取和计算特征的方法：加速分段测试特征算法(FAST)、尺度不变特征变换(SIFT)、方向梯度直方图(HOG)、加速鲁棒特征(SURF)、基于实时特征匹配算法(BRIEF)、定向FAST和旋转BRIEF(ORB)、快速视网膜关键点(FREAK)、二进制鲁棒不变可缩放关键点(BRISK)、主成分分析SIFT(PCA-SIFT)以及梯度位置和方向直方图(GLOH)。

而且，可使用用于提取特征值的各种类型的特征提取和计算方法。

进一步地，车辆可提取第一图像的所有像素的特征值。

如图9所示，车辆提取第一图像的所有像素的特征值，并生成具有特征值的特征图像191b。

如图10所示，车辆针对相同位置处的每个像素将第一掩模图像中的滤波器系数与特征图像中的特征值进行匹配，针对每个像素将滤波器系数乘以匹配特征值以生成新的特征值，并且生成反映新特征值的第一过滤图像191c(208)。

此处，滤波器系数为0.5的第三区域中的特征值可改变为其初始特征值的1/2，滤波器系数为0的第二区域中的特征值可改变为0。

如图11所示，车辆检查第一过滤图像191c的像素中是否存在具有等于或大于第一预定特征值的特征值的像素，将所找到的像素确定为代表性特征点(209)，并存储所确定的代表性特征点的位置(即，像素位置)。

此处，第一图像的第一区域中的特征点可以是与固定对象相关的特征点，第三区域中的特征点可以是固定对象或移动对象的特征点。

进一步地，在第一图像的像素中是否存在具有等于或大于第一预定特征值的特征值的像素的检查被称为车辆自身的自主通过滤波。

车辆可生成第一匹配图像，其中存储了在第一图像的第一区域和第三区域中的代表性特征点之中的所确定的代表性特征点的位置(即，像素位置)(参见图22A)。

此处，可将第一图像的第一匹配图像的代表性特征点的特征值存储为原始值，以便于图像之间的比较。

然后，车辆在第一图像的第一区域、第二区域和第三区域的每个像素处生成滤波器系数，以通过图像获取器120生成第二掩模图像(210)。

此处，在第一区域中反映的滤波器系数可以是0，在第二区域中反映的滤波器系数可以是1，在第三区域中反映的滤波器系数可以是0.5。

如图12所示，车辆在第一图像的第一区域R1中生成为0的滤波器系数、在第一图像的第二区域R2中生成为1的滤波器系数、在第一图像的第三区域R3中生成为0.5的滤波器系数以生成第二掩模图像191d。

然后，车辆针对相同位置处的每个像素将第二掩模图像191d中的滤波器系数与特征图像191b中的特征值进行匹配，针对每个像素将滤波器系数乘以匹配特征值以生成新的特征值，并且生成反映新特征值的第二过滤图像191e(211)。

此处，滤波器系数为0.5的第三区域中的特征值可改变为其初始特征值的1/2，滤波器系数为0的第一区域中的特征值可改变为0。

如图13所示，车辆检查在第二过滤图像191e的像素中是否存在具有等于或大于第二预定特征值的特征值的像素，将找到的像素确定为代表性特征点(212)，并存储所确定的代表性特征点的位置(即，像素位置)。

此处，第二预定特征值可等于或大于第一预定特征值。

此处，第一图像的第二区域中的特征点可以是与移动对象相关的特征点，第三区域中的特征点可以是固定对象或移动对象的特征点。

进一步地，在第一图像的像素中是否存在具有等于或大于第二预定特征值的特征值的像素的检查被称为车辆自身的自主停止滤波(ego-motion stop filter)。

车辆可生成第二匹配图像，其中存储了在第一图像的第二区域和第三区域中的代表性特征点之中的所确定的代表性特征点的位置(即，像素位置)(参见图24A)。

此处，可将第一图像的第二匹配图像的代表性特征点的特征值存储为原始值，以便于图像之间的比较。

车辆通过将特征点区分为移动对象的特征点和固定对象的特征点来确定在当前时间点获取的第二图像192中的特征点。

这可与上述第一图像191的情况相同的方式执行。

这将参考图14至21简要描述。

车辆基于第二图像的信息片段之中的第二图像的像素信息检查线条信息、像素信息和颜色分布信息，并在存储在存储器163中的数据中搜索与所检查的线条信息、像素信息和颜色分布信息相似的相似信息。

然后，车辆基于所找到的相似信息确定检测到的对象是固定的还是移动的。

如图14所示，第二图像的区域被划分为检测到固定对象的第一区域R1、检测到移动对象的第二区域R2以及作为第一区域和第二区域之间的边界的第三区域R3。

此处，第三区域R3可以是从第二区域R2的周边到从其向第一区域延伸预定长度d的线的区域。

如图15所示，车辆在第二图像的第一区域R1、第二区域R2和第三区域R3的每个像素处生成滤波器系数，以生成第一掩模图像192a。

此处，在第一区域R1中反映的滤波器系数可以是1，在第二区域中反映的滤波器系数可以是0，在第三区域中反映的滤波器系数可以是0.5。

如图16所示，车辆从第二图像的第一区域R1、第二区域R2和第三区域R3中的每一个中提取特征点，并提取每个特征点的特征值以生成反映特征值的特征图像192b。

如图17所示，车辆针对相同位置处的每个像素将第二图像的第一掩模图像192a中的滤波器系数与特征图像192b中的特征值进行匹配，针对每个像素将滤波器系数乘以匹配特征值以生成新的特征值，并且生成反映新的特征值的第一过滤图像192c(208)。

此处，滤波器系数为0.5的第三区域中的特征值可改变为其初始特征值的1/2，滤波器系数为0的第二区域中的特征值可改变为0。

如图18所示，车辆检查第一过滤图像192c的像素中是否存在具有等于或大于第一预定特征值的特征值的像素，将所找到的像素确定为代表性特征点，并存储所确定的代表性特征点的位置(即，像素位置)。

此处，第二图像的第一区域中的特征点可以是与固定对象相关的特征点，第三区域中的特征点可以是固定对象或移动对象的特征点。

进一步地，在第二图像的像素中是否存在具有等于或大于第一预定特征值的特征值的像素的检查被称为车辆自身的自主通过过滤。

车辆可生成第一匹配图像，其中存储了在第二图像的第一区域和第三区域中的代表性特征点之中的所确定的代表性特征点的位置(即，像素位置)(参见图22B)。

此处，可将第二图像的第一匹配图像的代表性特征点的特征值存储为原始值，以便于图像之间的比较。

如图19所示，车辆在第二图像的第一区域R1、第二区域R2和第三区域R3的每个像素处生成滤波器系数，以生成第二掩模图像192d。

此处，在第一区域中反映的滤波器系数可以是0，在第二区域中反映的滤波器系数可以是1，在第三区域中反映的滤波器系数可以是0.5。

如图20所示，车辆针对相同位置处的每个像素将第二图像的第二掩模图像192d中的滤波器系数与特征图像192b中的特征值进行匹配，针对每个像素将滤波器系数乘以匹配特征值以生成新的特征值，并且生成反映新的特征值的第二过滤图像192e。

此处，滤波器系数为0.5的第三区域中的特征值可改变为其初始特征值的1/2，滤波器系数为0的第一区域中的特征值可改变为0。

如图21所示，车辆检查第二图像的第二过滤图像192e的像素中是否存在具有等于或大于第二预定特征值的特征值的像素，将找到的像素确定为代表性特征点，并存储所确定的代表性特征点的位置(即，像素位置)。此处，第二预定特征值可等于或大于第一预定特征值。

此处，第二图像的第二区域中的特征点可以是与移动对象相关的特征点，第三区域中的特征点可以是固定对象或移动对象的特征点。

进一步地，在第二图像的像素中是否存在具有等于或大于第二预定特征值的特征值的像素的检查被称为车辆自身的自主停止过滤。

车辆可生成第二匹配图像，其中存储了在第二图像的第二区域和第三区域中的代表性特征点之中的所确定的代表性特征点的位置(即，像素位置)(参见图24B)。

此处，可将第二图像的第二匹配图像的代表性特征点的特征值存储为原始值，以便于图像之间的比较。

然后，车辆将第一图像的第一匹配图像191f与第二图像的第一匹配图像192f进行比较。此处，车辆比较第一图像与第二图像的匹配图像的第一区域和第三区域中的特征点，并区分匹配图像的第三区域中的特征点是移动对象的特征点还是固定对象的特征点(213)。

参见图22A和22B，车辆将第一图像的第一匹配图像191f的第一区域和第三区域中的代表性特征点的特征值与第二图像的第一匹配图像192f的第一区域和第三区域中的代表性特征点的特征值进行比较，以检查在第一图像的第一匹配图像191f的第一区域和第三区域中是否存在具有匹配特征值的代表性特征点，以及在第二图像的第一匹配图像192f的第一区域和第三区域中是否存在具有匹配特征值的代表性特征点。

此处，第一图像的第一匹配图像191f的第一区域和第三区域中的代表性特征点的特征值与第二图像的第一匹配图像192f的第一区域和第三区域中的代表性特征点的特征值的比较包括执行块匹配、光流估计和Kanade-Lucas-Tomasi(KLT)特征跟踪的任何一个匹配特征检测算法。

而且，可使用能够检测在图像之间对应的点的各种类型的算法。

车辆将第一图像的第一匹配图像191f的第一区域和第三区域中的具有匹配特征值的代表性特征点以及第二图像的第一匹配图像192f的第一区域和第三区域中的具有匹配特征值的代表性特征点确定为固定对象的有效特征点，并且将在第一图像的第一匹配图像中和第二图像的第一匹配图像中具有剩余特征值的代表性特征点确定为无效特征点。

也就是说，车辆从固定对象的代表性特征点中去除在第一图像的第一匹配图像191f的第一区域和第三区域中的代表性特征点中以及在第二图像的第一匹配图像192f的第一区域和第三区域中的代表性特征点中的特征值不匹配的代表性特征点。

如图22A所示，第一图像的第一匹配图像191f的第一区域和第三区域中的代表性特征点和代表性特征点的原始特征值包括像素A4处的特征值486、像素A5处的特征值750、像素B5处的特征值685、像素C1处的特征值440、像素C2处的特征值870、像素D1处的特征值500、像素D6处的特征值750、像素D7处的特征值250、像素E7处的特征值500、像素G2处的特征值540以及像素G3处的特征值530。

此外，如图22B所示，第二图像的第一匹配图像192f的第一区域和第三区域中的代表性特征点和代表性特征点的原始特征值包括像素A5处的特征值486、像素A6处的特征值750、像素B6处的特征值685、像素C2处的特征值440、像素C3处的特征值870、像素D1处的特征值740、像素D2处的特征值500、像素D7处的特征值750、像素G3的特征值540以及像素G4处的特征值530。

车辆检查第二图像的第一匹配图像192f的第一区域和第三区域中的代表性特征点及其特征值，其具有与各个像素A4、A5、B5、C1、C2、D1、D6、D7、E7、G2和G3，即第一图像的第一匹配图像191f的第一区域和第三区域中的代表性特征点，的特征值486、750、685、440、870、500、750、250、500、540和530相匹配的特征值。

此处，在第二图像的第一匹配图像192f的第一区域和第三区域中的检查到的代表性特征点的特征值是特征值486、750、685、440、870、500、750、250、500、540和530。

也就是说，在第一图像的第一匹配图像191f的第一区域和第三区域中的代表性特征点的特征值和第二图像的第一匹配图像192f的第一区域和第三区域中的代表性特征点的特征值之间的匹配特征值是486、750、685、440、870、500、750、250、500、540和530，并且具有上述特征值的代表性特征点被确定为固定对象的有效特征点。

如图23A所示，车辆确定在第一图像的第一匹配图像191f的第一区域中的代表性特征点之中具有特征值250和500的特征点是固定对象的无效特征点，并且如图23B所示，确定在第二图像的第一匹配图像192f的第一区域中的代表性特征点之中具有特征值740的特征点是固定对象的无效特征点。

然后，车辆将第一图像的第二匹配图像191g的第二区域和第三区域中的代表性特征点的特征值与第二图像的第二匹配图像192g的第二区域和第三区域中的代表性特征点的特征值进行比较，以检查在第一图像的第二匹配图像191g的第二区域和第三区域中是否存在具有匹配特征值的代表性特征点，以及在第二图像的第二匹配图像192g的第二区域和第三区域中是否存在具有匹配特征值的代表性特征点(参见图24A和24B)。

此处，第一图像的第二匹配图像191g的第二区域和第三区域中的代表性特征点的特征值与第二图像的第二匹配图像192g的第二区域和第三区域中的代表性特征点的特征值的比较包括执行块匹配、光流估计和KLT特征跟踪的任何一个匹配特征检测算法。

车辆确定第一图像的第二匹配图像191g的第二区域和第三区域中的具有匹配特征值的代表性特征点以及第二图像的第二匹配图像192g的第二区域和第三区域中的具有匹配特征值的代表性特征点是移动对象的有效特征点，并确定在第一图像的第二匹配图像191g和第二图像的第二匹配图像192g中具有剩余特征值的代表性特征点是无效特征点。

也就是说，车辆从移动对象的代表性特征点中去除第一图像的第二匹配图像191g的第二区域和第三区域中的代表性特征点中以及第二图像的第二匹配图像192g的第二区域和第三区域中的代表性特征点中的特征值不匹配的代表性特征点。

如图24A所示，第一图像的第二匹配图像191g的第二区域和第三区域中的代表性特征点和代表性特征点的原始特征值包括像素C2处的特征值870、像素D3处的特征值720、像素D6处的特征值750、像素E5处的特征值900以及像素F5处的特征值888。

此处，代表性特征点的原始特征值是在图像被乘以滤波器系数之前的图像中的代表性特征点的特征值。

如图24B所示，第二图像的第二匹配图像192g的第二区域和第三区域中的代表性特征点及其特征值包括像素C2处的特征值870、像素D3处的特征值750、像素E2处的特征值900以及像素F2处的特征值888。

车辆检查第二图像的第二匹配图像192g的第二区域和第三区域中的代表性特征点及其特征值，其具有与各个像素C2、D3、D6、E5和F5，即第一图像的第二匹配图像191g的第二区域和第三区域中的代表性特征点，的特征值870、720、750、900和888相匹配的特征值。

此处，在第二图像的第二匹配图像192g的第二区域和第三区域中检查到的代表性特征点的特征值是特征值870、750、900和888。

也就是说，在第一图像的第二匹配图像191g的第二区域和第三区域中的代表性特征点的特征值和第二图像的第二匹配图像192g的第二区域和第三区域中的代表性特征点的特征值之间的匹配特征值是870、750、900和888，并且具有上述特征值的代表性特征点被确定为移动对象的有效特征点。

如图25所示，车辆确定在第一图像的第二匹配图像191g的第二区域和第三区域中的代表性特征点之中的具有特征值720的特征点是移动对象的无效特征点。

进一步地，车辆确定第二图像的第二匹配图像192g的第二区域和第三区域中的所有代表性特征点都是有效特征点(与图24B中相同)，因为在第二图像的第二匹配图像192g的第二区域和第三区域中的代表性特征点的特征值与第一图像的第二匹配图像191g的第二区域和第三区域中的代表性特征点的特征值完全匹配。

车辆将固定对象的有效特征点的位置与移动对象的有效特征点的位置进行比较，以确定是否存在处于与固定对象的有效特征点相同位置的移动对象的有效特征点。当确定存在处于与固定对象的有效特征点相同位置的移动对象的有效特征点时，车辆将确定的固定对象的有效特征点改变为无效特征点。

如上所述，当不清楚与第一图像的第三区域中的代表性特征点相同的第二图像的第三区域中的代表性特征点是固定对象的有效特征点还是移动对象的有效特征点时，从固定对象的特征点中去除该代表性特征点。以这种方式，可提高识别根据固定对象的位置变化而识别的车辆自身的位置变化的准确性。

由于如上所述，车辆仅使用去除了移动对象的图像中的固定对象的特征点，因此便于移除异常点。

进一步地，处于与固定对象的有效特征点相同位置处的移动对象的有效特征点可保留为移动对象的有效特征点。

参考图23A、23B、24A、24B，可看出在第一图像和第二图像中的每一个的第三区域中的特征值之中的具有特征值870的有效特征点既包括在固定对象的有效特征点中也包括在移动对象的有效特征点中。

也就是说，车辆将固定对象的有效特征点中的具有特征值870的有效特征点改变为无效特征点。

因此，如图26A，26B，26C和26D所示，车辆可获取第一图像的第一有效图像191h和第二有效图像191i，以及第二图像的第一有效图像192h和第二有效图像192i。

然后，车辆将第一图像的第一有效图像191h与第二图像的第一有效图像192h进行比较以检查第一图像和第二图像中的每一个中的固定对象的有效特征点的位置，并且检查在第一图像中所检查的固定对象的有效特征点的位置和在第二图像中所检查的固定对象的有效特征点的位置是否改变，以识别固定对象的位置变化(214)。

参见图26A和26B，将在第一图像的第一有效图像191h中具有特征值为486、750、685、440、500、750、540和530的有效特征点的位置与在第二图像的第一有效图像192h中具有特征值为486、750、685、440、500、750、540和530的有效特征点的位置进行比较，以检查具有匹配特征值的特征点的位置是否改变，使得可识别固定对象的位置变化。

也就是说，可看出具有特征值486的有效特征点的位置已经在从第一图像到第二图像中从像素A4变为像素A5，具有特征值750的有效特征点的位置已经在从第一图像到第二图像中从像素A5变为像素A6，并且具有特征值685的有效特征点的位置已经在从第一图像到第二图像中从像素B5变为像素B6。

可看出具有匹配特征值的固定对象的所有有效特征点已经向右移动一个像素。

然后，车辆基于固定对象的位置变化来识别车辆自身的位置变化(215)。

也就是说，当图像中的固定对象被识别为向右移动一个像素时，车辆可识别出车辆自身已经在相对于固定对象的方向上向左移动与一个像素相对应的距离。

然后，车辆将第一图像的第二有效图像191i与第二图像的第二有效图像192i进行比较，以检查第一图像和第二图像的每一个中的移动对象的有效特征点的位置，并检查在第一图像中所检查的移动对象的有效特征点的位置和在第二图像中所检查的移动对象的有效特征点的位置是否改变，以识别移动对象的位置变化(216)。

参考图26C和26D，可看出具有特征值750的有效特征点的位置已经在从第一图像到第二图像中从像素D6变为像素D3，具有特征值900的有效特征点的位置已经在从第一图像到第二图像中从像素E5变为像素E2，并且具有特征值888的有效特征点的位置已经在从第一图像到第二图像中从像素F5变为像素F2。

从上面可看出，移动对象已经向左移动了两个像素。

车辆基于移动对象的位置变化和固定对象的位置变化来识别车辆自身和移动对象之间的距离变化和方向变化，并基于所识别的距离变化和方向变化来控制车辆自身的驾驶(217)。

此处，车辆自身的位置变化是指关于车辆自身的移动的信息。

车辆使用实时接收的图像信息片段来实时识别车辆自身的位置变化，并在驾驶时同时避开对象。

进一步地，由于车辆首先检测对象并基于车辆自身的位置变化来确定检测到的对象是否危险，当在执行驾驶控制以防止与对象碰撞之前的时间点处检测到对象时，车辆可执行预填充控制以准备制动用于抢先措施。

在下文中，将描述用于区分第一图像和第二图像的第三区域中的对象的配置的另一示例。

车辆可检查第一图像的第二过滤图像191e的第三区域中的像素中是否存在具有等于或大于第二预定特征值的特征值的像素，将所找到的像素确定为移动对象的代表性特征点，检查第一图像的第二过滤图像191e的第三区域中的像素中是否存在具有等于或大于第一预定特征值且小于第二预定特征值的特征值的像素，并将所找到的像素确定为固定对象的特征点。

如图27所示，将第一图像的第二过滤图像191e的第三区域中的像素中的具有等于或大于第二预定特征值的特征值的像素C2和D6确定为移动对象的代表性特征点，并将具有等于或大于第一预定特征值且小于第二预定特征值的特征值的像素G2和G3确定为固定对象的特征点。

进一步地，车辆还可确定第一图像的第二过滤图像191e的第三区域R3中的像素中的具有等于或大于第三预定特征值的特征值的像素是移动对象的代表性特征点，并确定具有小于第三预定特征值的特征值的像素是固定对象的代表性特征点。

此处，第三预定特征值可等于或大于第一预定特征值并小于第二预定特征值。

进一步地，还可基于第二区域中的代表性特征点的特征值来设置第三预定特征值。

如上所述，通过将第三区域中的特征点区分为移动对象和固定对象的特征点，可防止将移动对象的尺寸最小化，并可防止将移动对象的特征点用作识别车辆自身的位置变化的特征点。

也就是说，根据实施例，通过区分第三区域中的特征点，可防止将移动对象的特征点识别为固定对象的特征点。因此，可提高识别车辆自身的位置变化的准确性。

车辆可通过与第一图像相同的方法区分第二图像的第二过滤图像192e的第三区域中的对象。

根据本公开的实施例，深度学习用于检测所获取的图像中的对象，并且所检测的对象的固定对象的特征点用于识别车辆自身的位置变化，从而可提高识别车辆自身的位置变化的准确性，并可减少与对象碰撞的可能性。

也就是说，根据本公开的实施例，使用更稳定的特征点来识别车辆自身的位置，从而能够提高识别车辆自身的位置变化的准确性，并且因此能够提高车辆的控制稳定性。

此外，根据本公开的实施例，自动驾驶控制设备首先检测对象并基于车辆自身的位置变化来确定检测到的对象是否危险，从而可在控制车辆之前的时间点采取抢先措施，并可减少事故率。

根据本公开的实施例，即使当在所获取的图像中车辆自身和移动对象之间的距离是短的并且对象占据大面积时，也可容易地移除异常点，并且仅使用已经移除移动对象的图像中的固定对象的特征点来识别车辆自身的位置变化，从而可减少识别车辆自身的位置变化的错误。

此外，根据本公开的实施例，识别车辆自身的位置变化的错误不影响对移动对象的位置变化的识别，从而即使当移动对象密集地处于车辆自身的周围或者处于车辆自身附近时，也可在需要控制车辆的时间点处精确地控制车辆，并且可提高自动驾驶性能。

因此，根据本公开的实施例，可提高自动驾驶控制设备和具有自动驾驶功能的车辆的质量和市场性。进一步地，可提高用户满意度，并可确保产品的竞争力。

尽管已经示出和描述了本公开的一些实施例，但是本领域技术人员应当理解，可对这些实施例进行改变。

Claims (20)

1.一种设置在可移动设备处的自动驾驶控制设备，所述自动驾驶控制设备包括：

存储器，其配置为存储多个数据片段；

图像获取器，其配置为获取周围的图像；以及

控制器，其配置为接收由所述图像获取器获取的第一图像和第二图像、从所述第一图像和所述第二图像中提取特征点、基于所述多个数据片段从所述第一图像和所述第二图像的每一个中检测移动对象、将所述第一图像和所述第二图像的每一个的区域划分成检测到移动对象的检测区域和所述检测区域的周围区域、将所述第一图像的周围区域中的特征点与所述第二图像的周围区域中的特征点进行比较以确定无效特征点、从所述第一图像和所述第二图像的特征点中移除所述移动对象的特征点和所述无效特征点以从所述图像的每个中获取有效特征点，并且基于所述第一图像中的有效特征点和所述第二图像中的有效特征点来识别所述可移动设备的位置。

2.根据权利要求1所述的自动驾驶控制设备，其中所述第二图像包括在从获取所述第一图像的时间点流逝一定时间的时间点处获取的图像。

3.根据权利要求1所述的自动驾驶控制设备，其中所述控制器对所述第一图像和所述第二图像执行深度学习以从所述第一图像和所述第二图像中检查线条信息、像素信息、表面信息、形状信息、颜色分布信息以及尺寸信息中的至少一个，并将至少一个所检查的信息与所述多个数据片段进行比较以检测所述移动对象。

4.根据权利要求3所述的自动驾驶控制设备，其中所述控制器使用关于对所述第一图像和所述第二图像执行的所述深度学习的信息来更新所述存储器的数据。

5.根据权利要求3所述的自动驾驶控制设备，其中所述控制器将所述第一图像中的所述移动对象的所述特征点与所述第二图像中的所述移动对象的所述特征点进行比较，以识别所述移动对象的位置变化，并基于所识别的所述移动对象的位置变化来控制所述可移动设备的驾驶。

6.根据权利要求1所述的自动驾驶控制设备，其中所述多个数据包括关于多个对象的图像信息和状态信息。

7.一种车辆，其包括：

车体；

图像获取器，其设置在所述车体中并配置为获取道路的图像和所述道路周围的图像；以及

自动驾驶控制设备，其配置为实时接收第一图像和第二图像、基于预先存储的多个数据片段来检测所述第一图像和所述第二图像的每一个中的移动对象、比较所述第一图像和所述第二图像以识别所述车体的位置变化，其中从所述第一图像和所述第二图像中移除所述移动对象、并基于所识别的所述车体的位置变化来控制驾驶。

8.根据权利要求7所述的车辆，其中所述自动驾驶控制设备对所述第一图像和所述第二图像执行深度学习以从所述第一图像和所述第二图像中检查线条信息、像素信息、表面信息、形状信息、颜色分布信息以及尺寸信息中的至少一个，并将至少一个所检查的信息与所述多个数据片段进行比较以检测所述移动对象。

9.根据权利要求7所述的车辆，其中所述自动驾驶控制设备从所述第一图像和所述第二图像提取特征点、将所述第一图像和所述第二图像的每一个的区域划分成检测到所述移动对象的检测区域和所述检测区域的周围区域、将所述第一图像的周围区域中的特征点与所述第二图像的周围区域中的特征点进行比较以确定无效特征点、从所述第一图像和所述第二图像的所述特征点中移除所述移动对象的特征点和所述无效特征点以从所述图像的每个中获取有效特征点、并基于所述第一图像中的有效特征点和所述第二图像中的有效特征点来识别所述车体的位置变化。

10.根据权利要求9所述的车辆，其中所述自动驾驶控制设备将所述第一图像中的所述移动对象的所述特征点与所述第二图像中的所述移动对象的所述特征点进行比较以识别所述移动对象的位置变化，并基于所识别的所述移动对象的位置变化和所述车体的位置变化来控制所述车体的驾驶。

11.根据权利要求7所述的车辆，其中所述自动驾驶控制设备将所述第一图像和所述第二图像的每一个的区域划分成检测到固定对象的第一区域、检测到移动对象的第二区域以及作为所述第一区域和所述第二区域之间的边界的第三区域，从所述第一图像和所述第二图像的所述第一区域、所述第二区域和所述第三区域提取特征点，并针对每个区域将所述第一图像中的特征点的位置与所述第二图像中的特征点的位置进行比较以检查在所述每个区域中所述特征点的位置是否改变。

12.根据权利要求11所述的车辆，其中所述自动驾驶控制设备检查所述第一图像和所述第二图像的每一个的所述第三区域中的所述特征点的特征值，并基于所检查的所述特征点的特征值，在所述第一图像和所述第二图像的每一个的所述第三区域中的所述特征点之中确定所述固定对象的特征点。

13.根据权利要求11所述的车辆，其中所述自动驾驶控制设备检查所述第一图像和所述第二图像的每一个的所述第一区域和所述第三区域中的所述特征点的特征值，并且确定具有所检查的所述特征点的特征值之中的等于或大于第一预定特征值的特征值的特征点是所述固定对象的代表性特征点。

14.根据权利要求13所述的车辆，其中所述自动驾驶控制设备将所述第一图像中的所述固定对象的所述代表性特征点与所述第二图像中的所述固定对象的所述代表性特征点进行比较，以检查所述代表性特征点是否匹配，并且确定匹配的所述代表性特征点是所述第一图像和所述第二图像中的所述固定对象的有效特征点。

15.根据权利要求11所述的车辆，其中所述自动驾驶控制设备确定具有所述第一图像和所述第二图像的每一个的所述第二区域和所述第三区域中的所述特征点的特征值之中的等于或大于第二预定特征值的特征值的特征点是所述移动对象的代表性特征点，并基于所述第一图像和所述第二图像中的所述代表性特征点来识别所述移动对象的位置变化。

16.根据权利要求15所述的车辆，其中所述自动驾驶控制设备将所述第一图像中的所述移动对象的所述代表性特征点与所述第二图像中的所述移动对象的所述代表性特征点进行比较，以检查所述代表性特征点是否匹配，并且确定匹配的所述代表性特征点是所述第一图像和所述第二图像中的所述移动对象的有效特征点。

17.根据权利要求16所述的车辆，其中，当在所述第一图像和所述第二图像的每一个的所述第三区域中的有效特征点之中存在与所述移动对象的有效特征点匹配的所述固定对象的一个或多个有效特征点时，所述自动驾驶控制设备从所述固定对象的有效特征点中移除一个或多个匹配的有效特征点。

18.一种用于控制自动驾驶的车辆的方法，所述方法包括：

实时获取图像；

从所获取的图像中选择第一图像和第二图像；

从所述第一图像和所述第二图像中提取特征点；

基于预先存储的多个数据片段，从所述第一图像和所述第二图像的每一个中检测移动对象；

从所述第一图像的特征点中移除所检测到的移动对象的特征点；

从所述第二图像的特征点中移除所检测到的移动对象的特征点；

将移除所述移动对象的特征点的所述第一图像和所述第二图像进行比较，以识别车辆自身的位置变化；以及

基于所识别的车辆自身的位置变化来控制驾驶。

19.根据权利要求18所述的方法，进一步包括从所述第一图像和所述第二图像的每一个中检测固定对象，

其中，识别所述车辆自身的位置变化包括：

将所述第一图像和所述第二图像的每一个的区域划分为检测到所述固定对象的第一区域、检测到移动对象的第二区域以及作为所述第一区域和所述第二区域之间的边界的第三区域；

从所述第一图像和所述第二图像的第一区域、第二区域和第三区域提取特征点；

针对每个区域将所述第一图像中的所述特征点的位置与所述第二图像中的所述特征点的位置进行比较以检查在所述每个所述区域中所述特征点的位置是否改变；以及

基于所述特征点针对所述每个区域的位置变化来识别所述车辆自身的位置变化。

20.根据权利要求19所述的方法，其中识别所述车辆自身的位置变化包括：

检查所述第一图像和所述第二图像的每一个的所述第一区域、所述第二区域和所述第三区域中的所述特征点的特征值；

确定具有所述第一图像和所述第二图像的每一个的所述第一区域和所述第二区域中的所述特征点的所述特征值之中的等于或大于第一预定特征值的特征值的特征点是所述固定对象的代表性特征点；

比较所述第一图像和所述第二图像的每一个中的所述固定对象的所述代表性特征点的位置以识别所述固定对象的位置变化；以及

基于所识别的所述固定对象的位置变化来识别所述车辆自身的位置变化，并且

所述控制驾驶包括：

确定具有在所述第一图像和所述第二图像的所述第二区域和所述第三区域中的所述特征点的所述特征值之中的等于或大于第二预定特征值的特征值的特征点是所述移动对象的代表性特征点；

比较所述第一图像和所述第二图像中的所述移动对象的所述代表性特征点的位置以识别所述移动对象的位置变化；以及

基于所识别的所述移动对象的位置变化来控制驾驶。