CN109584578A - 用于识别行驶车道的方法和装置 - Google Patents

用于识别行驶车道的方法和装置 Download PDF

Info

Publication number
CN109584578A
CN109584578A CN201810184058.4A CN201810184058A CN109584578A CN 109584578 A CN109584578 A CN 109584578A CN 201810184058 A CN201810184058 A CN 201810184058A CN 109584578 A CN109584578 A CN 109584578A
Authority
CN
China
Prior art keywords
lane
road
traveling lane
input picture
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810184058.4A
Other languages
English (en)
Other versions
CN109584578B (zh
Inventor
姜纳硖
李基彰
河仁友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109584578A publication Critical patent/CN109584578A/zh
Application granted granted Critical
Publication of CN109584578B publication Critical patent/CN109584578B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/056—Detecting movement of traffic to be counted or controlled with provision for distinguishing direction of travel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

用于识别行驶车道的方法和装置从输入图像中提取道路标记，使用道路标记和通过基于语义单元将输入图像分割成输入图像中包括的对象而获得的分割图像来产生多虚拟车道，并且基于多虚拟车道中的行驶车道的相对位置来识别车辆的行驶车道。

Description

用于识别行驶车道的方法和装置
相关申请的交叉引用
本申请要求于2017年9月28日向韩国知识产权局递交的韩国专利申请No.10-2017-0126241的优先权，其全部公开内容通过引用并入本文中以用于所有目的。
技术领域
以下描述涉及一种用于识别行驶车道的方法和装置。
背景技术
提供各种视觉信息增强方法来帮助车辆和其它运输设备行进或行驶。从输入图像中提取道路信息的方法可以用于增强视觉信息。车道偏离警告***(LDWS)和自适应巡航控制***(ACC)也可用于帮助车辆和其它运输设备行进或行驶。LDWS确定车辆是否偏离该车辆正在行进的车道，并且ACC自动控制车辆的速度，同时允许车辆与前面的另一车辆保持距离。然而，LDWS仅可以处理具有窄视角的输入图像，并且可能不容易用于确定针对整个道路的信息并且定位车辆。此外，ACC可以仅基于在相同车道上的、在车辆前方行驶的另一车辆来控制车辆的速度，因此可能不能识别或处理车辆正在行进的道路的整个结构。
发明内容
提供了本发明内容以介绍下面在具体实施方式中进一步描述的简化形式的理念的选择。本发明内容不旨在标识所请求保护的主题的关键特征或基本特征，也不旨在用作帮助确定所请求保护的主题的范围。
在一个总体方面中，提供了一种识别行驶车道的方法，包括：获得输入图像；从输入图像中提取道路标记；基于语义单元将输入图像分割成输入图像中包括的对象以获得分割图像；使用道路标记和分割图像来产生多虚拟车道；以及，基于车辆的行驶车道在多虚拟车道中的相对位置来识别所述行驶车道。
输入图像可以包括车辆前方的图像，并且图像可以包括车辆可以行进的道路或者道路的至少左侧或右侧的道路边界部分。
道路标记可以包括在道路表面上标记的线或道路标志中的任何一个或任何组合，所述道路标志包括在道路表面上标记的标志和字符中的一个或任何组合。
提取道路标记可以包括：从输入图像中提取与道路标记相对应的像素；以及，将像素分类为组，并且去除与道路标志相对应的组。
去除与道路标志相对应的组可以包括：使用连接组分操作将像素分类为组；确定每个像素组是否与线或道路标志相对应；以及去除与道路标志相对应的组。
产生多虚拟车道可以包括：使用与线相对应的组来提取行驶车道的左车道边界线和右车道边界线；通过在所述分割图像中拟合左车道边界线和右车道边界线来产生虚拟线；通过在分割图像中以等距间隔在左车道边界线的左侧和右车道边界线的右侧上分别平行地布置虚拟线，来产生多虚拟车道。
产生多虚拟车道可以包括：基于在分割图像中以等距间隔分别在左侧和右侧上扩展行驶车道的左车道边界线和右车道边界线，来产生多虚拟车道。
多虚拟车道的产生可以包括：通过在分割中以等距间隔将行驶车道的左车道边界线和右车道边界线分别扩展到左侧和右侧来产生多虚拟车道。
识别行驶车道可以包括：基于多虚拟车道是否与分割图像中的道路组分相对应，来确定多虚拟车道的车道数量；以及，通过基于所确定的多虚拟车道的车道数量，确定行驶车道在车辆可以行进的道路上的相对位置，来识别行驶车道。
识别行驶车道可以包括：通过从所述道路的道路边界开始对所述道路上的车道数量进行计数，并且基于所述多虚拟车道的车道数量确定所述行驶车道与哪个车道相对应，来确定所述行驶车道的相对位置。
所述方法可以包括获得车辆可以行进的道路上的车道数量。
识别行驶车道可以包括：基于所述车辆的所述行驶车道在所述多虚拟车道中的相对位置来识别所述行驶车道，其中所述相对位置可以是基于所述道路上的车道数量和所述多虚拟车道的车道数量而确定的。
道路上的车道数量可以是从地图信息获得的。
所述方法可以包括将输入图像变换成俯视图像。
将输入图像变换到俯视图像可以包括：将输入图像和分割图像分别变换成俯视输入图像和俯视分割图像；以及从俯视图输入和俯视分割图像中去除透视组分。
所述方法可以包括：响应于识别到行驶环境的改变，来执行所述获得、所述提取、所述分割、所述产生和所述识别的操作。
行驶环境的改变可以包括以下项中的任何一项或任何组合：所述车辆的所述行驶车道的改变、所述车辆偏离所述行驶车道、附近车辆进入所述行驶车道、以及所述道路标记的改变。
在另一个总体方面中，提供了一种识别行驶车道的方法，包括：从输入图像中提取车辆的行驶车道的左车道边界线和右车道边界线；通过基于语义单元将输入图像分割成输入图像中包括的对象，来产生分割图像；通过在分割图像中以等距间隔在左侧和右侧上拟合左车道边界线和右车道边界线来产生多虚拟车道；基于多虚拟车道是否与分割图像中的道路组分相对应，来确定多虚拟车道的车道数量；以及通过基于所确定的多虚拟车道的车道数量确定行驶车道在车辆可以行进的道路上的相对位置，来识别行驶车道。
识别行驶车道可以包括：通过从所述道路的道路边界开始对所述道路上的车道数量进行计数，并且基于所述多虚拟车道的车道数量确定所述行驶车道与哪个车道相对应，来确定所述行驶车道的相对位置。
提取行驶车道的左车道边界线和右车道边界线可以包括：将输入图像变换成俯视图像；以及，从俯视图像提取行驶车道的左车道边界线和右车道边界线。
将输入图像变换到俯视图像可以包括：将输入图像和分割图像分别变换成俯视输入图像和俯视分割图像；以及从俯视图输入和俯视分割图像中去除透视组分。
所述方法可以包括从地图信息获得道路上的车道数量，其中，识别行驶车道可以包括：通过从所述道路的道路边界开始对所述道路上的车道数量进行计数，并且基于所述道路上的车道数量和所述多虚拟车道的车道数量确定行驶车道与哪个车道相对应，来确定所述行驶车道的相对位置。
所述方法可以包括：响应于识别到所述行驶环境的改变，执行所述提取、所述分割图像的产生、所述多虚拟车道的产生、所述确定以及所述识别的操作。
在另一总体方面中，提供了一种用于识别行驶车道的装置，包括：图像传感器，被配置为捕获输入图像；以及处理器，被配置为从输入图像提取道路标记，通过基于语义单元将输入图像分割成输入图像中包括的对象来获得分割分割图像，使用道路标记和分割图像来产生多虚拟车道，并且基于在多虚拟车道中的相对位置来识别车辆的行驶车道。
所述装置可以包括存储器，存储器被配置为存储以下项中的任何一个或任何组合：输入图像、分割图像、多虚拟车道的相对位置、地图信息和导航信息。
处理器可以被配置为：从输入图像提取与道路标记相对应的像素；使用连接组分操作将像素分类为组；确定每个像素组是否与线或道路标志相对应；以及，去除与道路标志相对应的组。
处理器可以被配置为：基于多虚拟车道是否与分割图像中的道路组分相对应，来确定多虚拟车道的车道数量；以及，通过基于多虚拟车道的车道数量，确定行驶车道在车辆可以行进的道路上的相对位置，来识别行驶车道。
处理器可以被配置为：将输入图像和分割图像分别变换成俯视输入图像和俯视分割图像；以及，从俯视输入图像和俯视图分割图像中去除透视组分。
所述装置可以包括通信接口，通信接口被配置为接收与车辆可以行进的道路相对应的、并且包括道路上的车道数量在内的地图信息和导航信息中的任何一个或任何组合，其中，处理器可以被配置为基于在多虚拟车道中的相对位置(其可以基于道路上的车道数量来确定)来识别车辆的行驶车道。
处理器可以被配置为：识别行驶环境的改变；以及，响应于识别到行驶环境的改变来识别行驶车道。
在另一总体方面中，提供了一种导航装置，包括：传感器，被配置为捕获车辆前方的图像；以及处理器，被配置为：通过将图像分割成与输入图像中包括的对象相对应的部分来产生分割图像；从图像中识别左车道边界线和右车道边界线；基于在所述分割图像中拟合左车道边界线和右车道边界线来产生虚拟线；基于在分割图像中以等距间隔平行地布置虚拟线来产生多虚拟车道；基于多虚拟车道是否与分割图像中的道路对象相对应，来确定多虚拟车道的车道数量；以及，基于车辆的行驶车道在所确定数量的多虚拟车道的车道中的相对位置，来识别所述行驶车道。
处理器可以被配置为：从图像中提取与道路标记相对应的像素；将所提取的像素分类成组；确定组中的分类组是否与线相对应；以及，响应于分类组与线相对应，来识别左车道边界线或右车道边界线。
处理器可以被配置为：将输入图像和分割图像分别变换成俯视输入图像和俯视分割图像；以及，从俯视输入图像和俯视分割图像中提取信息，以识别左车道边界线和右车道边界线。
处理器可以被配置为：基于识别车辆可以行进的道路的中心线，来去除分割图像中的与相对侧车道对象相对应的部分。
处理器可以被配置为：在俯视输入图像中在车辆的左侧和右侧上设置感兴趣区域(ROI)；以及，使用与车道标记的线相对应的对象，从ROI提取左车道边界线和右车道边界线。
处理器可以被配置为在显示器上输出所识别出的车辆的行驶车道。
在另一总体方面中，提供了一种车辆，包括：传感器，被配置为捕获图像；行驶车道识别处理器，被配置为：从所述图像中提取道路标记；通过基于语义单元将所述图像分割成对象来获得分割图像；使用所述道路标记和所述分割图像来产生多虚拟车道；以及基于所述车辆在所述多虚拟车道中的相对位置来识别行驶车道。
其它特征和方面可以通过以下详细描述、附图和权利要求变得清楚明白。
附图说明
图1是示出了识别行驶车道的方法的示例的图。
图2是示出了从输入图像提取道路标记的方法的示例的图。
图3是示出了产生多虚拟车道的方法的示例的图。
图4是示出了识别车辆正在沿其行进的行驶车道的方法的示例的图。
图5是示出了识别行驶车道的方法的示例的图。
图6是示出了识别行驶车道的方法的示例的图。
图7是示出了通过识别中心线来识别行驶车道的方法的示例的图。
图8A和图8B是示出了基于道路上的车道数量来识别行驶车道的方法的示例的图。
图9是示出了识别行驶车道的方法的示例的图。
图10是示出了基于执行所述方法的行驶环境来识别行驶车道的方法的示例的图。
图11是示出了输入图像的示例的图。
图12是示出了分割图像的示例的图。
图13是示出了俯视图像的示例的图。
图14是示出了从输入图像中提取的道路标记的示例的图。
图15是示出了产生虚拟线的方法的示例的图。
图16A和图16B是示出了产生多虚拟车道的方法的示例的图。
图17A和图17B是示出了道路标记的示例的图。
图18是示出了识别行驶车道的方法的示例的图。
图19是示出了用于识别行驶车道的装置的图。
在整个附图和详细描述中，除非另有描述或提供，否则相同的附图标记应被理解为指代相同的元件、特征以及结构。附图不必按比例绘制，并且为了清楚、示出和方便，可以扩大附图中的元件的相对大小、比例和描绘。
具体实施方式
提供以下详细描述以帮助读者获得对本文所描述的方法、装置和/或***的全面理解。然而，在理解了本申请的公开内容之后，本文描述的方法、装置和/或***的各种变型、改型和等同物将是显而易见的。例如，本文所述的操作的顺序仅仅是示例，并不限于本文中阐述的那些顺序，而是可以被改变成在理解本申请的公开内容之后将是显而易见的顺序，除了期望操作必须以某一顺序出现之外。此外，为了更加清楚和简洁，可以省略本领域已知的特征的描述。
本文所述的特征可以以不同的形式来体现，并且不被解释为限于本文所述的示例。相反，本文所述的示例仅仅是为了说明实现本文所述的方法、装置和/或***的许多可能方式中的一些方式而提供的，这些方式、装置和/或***在理解了本申请的公开内容之后将是显而易见的。
在整个说明书中，当一个元件(比如，层、区域或衬底)被描述为“在另一元件之上”、“连接到”或“耦接到”另一元件时，所述元件可以直接“在所述另一元件之上”、“连接到”或“耦接到”所述另一元件，或者可以存在介于其二者之间的一个或多个其它元件。相比之下，当一个元件被描述为“直接在另一元件上”、“直接连接到”或“直接耦接到”另一元件时，不存在介于其二者之间的其它元件。如本文中所使用的，术语“和/或”包括相关联列出项目中的任何两个或更多个的任何一个和任何组合。
尽管本文中可以使用诸如“第一”、“第二”、“第三”之类的术语来描述各种元件、组件、区域、层或部分，但是这些元件、组件、区域、层或部分不受这些术语限制。相反，这些术语仅用于将一个元件、组件、区域、层或部分与另一元件、组件、区域、层或部分区分开来。因此，在不脱离示例的教导的情况下，本文所述示例中提及的第一元件、组件、区域、层或部分也可以称为第二元件、组件、区域、层或部分。
本文中所使用的术语仅仅是用于描述各种示例，而不用于限制本公开。除非上下文另有明确说明，否则冠词“一”、“一个”和“该”旨在也包括复数形式。
当认为公知的相关结构或功能的详细描述将导致对本公开的模糊解释时，将省略这样的描述。
本文所述的装置和方法可以用于指示智能车辆的增强现实导航***中的线路，或者产生视觉信息以帮助自主或自动行驶车辆转向。示例还可以用于解译包括安装用于车内驾驶帮助或完全自主或自动驾驶的智能***(例如，平视显示器(HUD)或车载信息娱乐***)在内的设备中的视觉信息，因此能够使得驾驶更安全、更舒适。示例可以适用于不同类型的车辆。本文所述车辆指代任何运输、递送或传输工具，例如汽车、卡车、拖拉机、滑板车、摩托车、自行车、水陆两用车辆、雪地摩托车、船、公交车辆、公共汽车、单轨电车、火车、有轨电车、自主或自动驾驶车辆、智能车辆、自驾车辆、无人机、无人驾驶飞机、或移动设备。
在另一示例中，本文公开的车道检测装置被包括在置于车辆中的另一设备中。在示例中，车道检测装置被体现或并入到各种类型的产品中，例如智能代理、移动电话、蜂窝电话、智能电话、可穿戴智能设备(例如，戒指、手表、眼镜、眼镜型设备、手环、脚环、皮带、项链、耳环、头带、头盔、嵌入衣服中的设备或眼镜显示器(EGD))、服务器、个人计算机(PC)、膝上型电脑、笔记本电脑、亚笔记本电脑、上网本电脑、超级移动PC(UMPC)、平板个人计算机(平板电脑)、平板手机、移动互联网设备)、个人数字助手(PDA)、企业数字助手(EDA)、数码相机、数字摄像机、便携式游戏机、MP3播放器、便携式/个人多媒体播放器(PMP)、手持电子书、超级移动个人计算机(UMPC)、便携式膝上型PC、全球定位***(GPS)导航、个人导航设备、便携导航设备(PND)、手持式游戏机、电子书、高清电视(HDTV)、智能家电、通信***、图像处理***、图形处理***、通过网络控制的各种物联网(IoT)设备、智能车辆、智能汽车、自主驾驶车辆、其它消费者电子/信息技术(CE/IT)设备、或能够进行符合本文所公开的通信的无线通信或网络通信的任何其它设备。
在另一示例中，车道检测装置在车辆外部，并且设置在诸如计算机、服务器和移动电话之类的设备中，并且通过符合本文所公开的通信的无线通信或网络通信与车辆进行通信。
图1是示出了识别行驶车道的方法的示例的图。在下文中，识别行驶车道的方法可以被称为行驶车道识别方法。图1中的操作可以按照所示的顺序和方式来执行，然而在不脱离所述的说明性示例的精神和范围的情况下，可以改变一些操作的顺序，或者省略一些操作。图1所示的许多操作可以并行或同时执行。图1的一个或多个块和这些块的组合可以通过执行指定功能的基于专用硬件的计算机或者专用硬件和计算机指令的组合来实现。
在操作110中，用于识别行驶车道的装置(在下文称为行驶车道识别装置)获得输入图像。在示例中，输入图像(比如，图11的输入图像1100)包括诸如道路图像和道路表面图像(包括车辆、车道、线、路边石、人行道和周围环境)之类的特征。在示例中，行驶车道识别装置使用设置在车辆前方的图像设备捕获，针对获得单个输入图像或多个输入图像。假设捕获设备的校准信息是预先知道的。捕获设备可以包括诸如单色相机、视觉传感器和图像传感器之类的设备。在不脱离所述的说明性示例的精神和范围的情况下，可以使用其它捕获设备(例如，光检测和测距(LiDAR))。输入图像可以是通过行驶车道识别装置中包括的捕获设备或者通过其它设备捕获到的图像。
在示例中，输入图像包括整个道路、道路的左侧或右侧的道路边界部分。例如，当由于例如捕获设备的视角和附近车辆或障碍物的遮挡而未捕获到道路上的全部车道时，行驶车道识别装置可以使用车辆的地图信息或位置信息来确定道路上的车道数量。在另一示例中，行驶车道识别装置可以通过用户的语音输入或者触摸输入来接收车道数量。
本文中使用的道路指代车辆行进的道路，并且包括各种类型的道路，例如高速公路、国道、地方道路、国家高速公路、旁车道、收费道路、临街道路、辅路、汽车道、有限出入的分层高速路和限制出入的道路。在不脱离所述的说明性示例的精神和范围的情况下，可以使用其它类型的道路，例如多式联运道路、乡村小路和泥路。道路可以包括单个车道或多个车道。
本文使用的车道指代通过道路表面上所标记的线来区分的道路上的空间。本文使用的行驶车道指代道路上的多个车道中的、车辆沿其行进的车道，并且也被解释为车辆占用和使用的车道空间。单个车道是通过车道左侧和右侧上的线来区分的。
本文使用的线被解释为各种类型的线，比如实线、以白色、蓝色或黄色指示的虚线、或者在道路表面上的任何其它分界线。除了界定车道界线的线之外，道路上的各种类型的线可以包括例如之字形线、公共汽车专用车道分界线和人行道分界线。在这些各种类型的线中，界定车道界线的线在本文中被称为车道边界线。
本文中使用的行进车辆或车辆指代任何运输、递送或传输工具，例如在道路上行进的车辆、自主或自动驾驶车辆、配备有先进驾驶帮助***(ADAS)的智慧型或智能车辆、以及上述提及的其它类型的车辆。
在操作120中，行驶车道识别装置从输入图像中提取道路标记。道路标记指代在车辆行进的道路的表面上指示的标记。道路标记可以包括多种线，包括：例如，禁止通行线、双线、通行线、中心线(包括允许车辆改变行驶车道的虚线和不允许车辆改变行驶车道的实线)、缓慢行驶的之字形线、公共汽车专用车道分界线和人行道分界线，并且道路标记可以包括指示方向的道路标志、里程牌、边界标志和上述任何线。在示例中，道路标记包括标志或符号(例如上坡标志、前方人行横道标志、慢速标志、限速标志、转弯车道标志和禁止停车标志)和/或字符(例如，儿童保护区和减速)。线还可以包括界定车道界线的线，例如车道边界线。图17A和图17B示出了这些道路标记的各种示例。
在示例中，行驶车道识别装置使用例如被预先训练以识别道路标记的卷积神经网络(CNN)、深度神经网络(DNN)和支持向量机(SVM)，来从输入图像中提取包括线和/或道路标志的道路标志牌在内的道路标记。可以利用道路图像中包括的各种道路标记来预先训练CNN，并且CNN可以是基于区域的CNN。可以对CNN进行训练，使得例如要在输入图像中检测的线与道路标志的边界框一起被确定，并且要在输入图像中检测的线与道路标志的类型一起被确定。
在示例中，使用利用各种道路图像的线和/或道路标志而训练的CNN，行驶车道识别装置可以针对各种情况鲁棒地提取线。除了上述示例以外，行驶车道识别装置还可以使用各种机器学习方法来提取道路标记。将参考图2更详细地描述通过行驶车道识别装置来提取道路标记的方法。
在操作130中，行驶车道识别装置使用道路标记和通过基于语义单元将输入图像分割成输入图像中包括的对象而获得的分割图像来产生多虚拟车道。在示例中，行驶车道识别装置通过以下操作来产生分割图像：通过语义单元将输入图像分割成输入图像中包括的对象；通过像素单元来确定每个分割区域的语义；以及为每个类别贴标签。在示例中，基于语义单元，可以将类别分类为大约20个类别，例如道路、车辆、人行道、人、动物、天空和建筑物。在不脱离所述的说明性示例的精神和范围的情况下，可以将类别分类为其它数量和类型的类别。行驶车道识别装置可以根据分割图像中包括的像素单元标签来精确地识别图像的元素或组分(例如，对象和背景)存在于何处并且以何种方式存在。此外，行驶车道识别装置可以使用预先训练的CNN、DNN和SVM来对分割图像中包括的元素或组分进行分类。图12中示出了分割图像的示例。
在示例中，行驶车道识别装置通过以下操作来产生多虚拟车道：在分割图像中以等距间隔在左侧和右侧上扩展行驶车道的左车道边界线和右车道边界线。例如，行驶车道识别装置可以通过以下操作来产生多虚拟车道：在分割图像中拟合在操作120中提取的行驶车道的左车道边界线和右车道边界线；以及，以等距间隔在左侧和右侧平行地布置拟合后的左车道边界线和拟合后的右车道边界线。将参考图3更详细地描述通过行驶车道识别装置来产生多虚拟车道的方法。
在操作140中，行驶车道识别装置使用在多虚拟车道中的相对位置来识别车辆的行驶车道。行驶车道识别装置可以从道路的一个道路边界开始对道路上的车道数量进行计数，并且确定与行驶车道相对应的是哪个车道。例如，行驶车道识别装置可以识别出车辆行进在从包括四个车道在内的多虚拟车道的右侧开始的第二车道或第三车道上。将参考图4更详细地描述要由行驶车道识别装置执行的行驶车道识别方法。
图2是示出了从输入图像提取道路标记的方法的示例的图。图2中的操作可以按照所示的顺序和方式来执行，然而在不脱离所述的说明性示例的精神和范围的情况下，可以改变一些操作的顺序，或者省略一些操作。图2所示的许多操作可以并行或同时执行。图2的一个或多个块和这些块的组合可以通过执行指定功能的基于专用硬件的计算机或者专用硬件和计算机指令的组合来实现。除了以下图2的描述之外，图1的描述也适用于图2，并且通过引用合并于此。因此，这里可以不再重复以上描述。
在操作210中，行驶车道识别装置从输入图像中提取与道路标记相对应的像素。行驶车道识别装置将所提取的像素分类为组，并且去除与道路标记的道路标志相对应的组。
在操作220中，行驶车道识别装置使用连接组分操作(connected componentoperation)对像素进行分类。连接组分操作是指在图论中使用的、用于连接包括通过图中的至少一条路径所连接的顶点在内的子图的操作。行驶车道识别装置通过连接组分操作将像素分类成同一组，并且提取与道路标记相对应的像素。
在操作230中，行驶车道识别装置确定像素组中的每一个是否与线(例如，更详细地，车道的边界线)或道路标志相对应。行驶车道识别装置可以使用例如SVM和神经网络来确定像素组是否与线或道路标志相对应。在像素组指示直线的示例中，行驶车道识别装置可以确定该组与线相对应。在像素组指示字符、标志或符号、或者箭头的示例中，行驶车道识别装置可以确定该组与道路标志相对应。
在操作240中，行驶车道识别装置去除与道路标志相对应的组。然后，行驶车道识别装置可以使用在去除与道路标志相对应的像素组之后留下的线(例如，车道的边界线)来产生多虚拟车道。
图3是示出了产生多虚拟车道的方法的示例的图。图3中的操作可以按照所示的顺序和方式来执行，然而在不脱离所述的说明性示例的精神和范围的情况下，可以改变一些操作的顺序，或者省略一些操作。图3所示的许多操作可以并行或同时执行。图3的一个或多个块和这些块的组合可以通过执行指定功能的基于专用硬件的计算机或者专用硬件和计算机指令的组合来实现。除了以下图3的描述之外，图1至图2的描述也适用于图3，并且通过引用合并于此。因此，这里可以不再重复以上描述。
在操作310中，行驶车道识别装置使用与线相对应的组来提取车道的左车道边界线和右车道边界线(例如，图14的边界线1410)。
在操作320中，行驶车道识别装置通过在分割图像中拟合边界线(其界定车道的左边界和右边界的界线)，来产生虚拟线(例如，图15的虚拟线1510)。行驶车道识别装置可以通过基于局部梯度或局部阈值使用样条或多段线来在分割图像中拟合边界线，来产生虚拟线(例如，虚拟线1510)。
在操作330中，行驶车道识别装置产生由虚拟线(例如，图16B的虚拟线1630)区分的多虚拟车道，所述多虚拟车道是通过在分割图像中以等距间隔在左侧和右侧平行地布置虚拟线而产生的。
图4是示出了识别车辆正在沿其行进的行驶车道的方法的示例的图。图4中的操作可以按照所示的顺序和方式来执行，然而在不脱离所述的说明性示例的精神和范围的情况下，可以改变一些操作的顺序，或者省略一些操作。图4所示的许多操作可以并行或同时执行。图4的一个或多个块和这些块的组合可以通过执行指定功能的基于专用硬件的计算机或者专用硬件和计算机指令的组合来实现。除了以下图4的描述之外，图1至图3的描述也适用于图4，并且通过引用合并于此。因此，这里可以不再重复以上描述。
在操作410中，行驶车道识别装置基于多虚拟车道是否与分割图像中的道路组分相对应来确定多虚拟车道的车道数量。在示例中，行驶车道识别装置将多虚拟车道与分割图像相匹配。行驶车道识别装置可以基于匹配的结果或者多个虚拟车道是否与分割图像中的道路组分或道路类别相对应，来确定分割图像的对应区域中是否存在道路。当确定出多虚拟车道与分割图像中的道路组分相对应时，行驶车道识别装置可以对与道路组分相对应的车道数量进行计数，并且确定多虚拟车道的车道数量。
在操作420中，行驶车道识别装置通过基于在操作410中确定的多虚拟车道的车道数量确定道路上的行驶车道的相对位置，来识别行驶车道。行驶车道识别装置可以通过从多虚拟车道的左边界或右边界中的一个开始对多虚拟车道的车道数量进行计数，并且确定行驶车道与哪条车道相对应，来确定车辆的行驶车道在道路上的相对位置。在示例中，行驶车道识别装置可以通过计算道路上的车道数量，并且基于每个国家的国家交通规则(例如，日本和英国是行人车辆左行，韩国和美国是行人车辆右行)确定行驶车道与从右道路边界或左道路边界开始的哪个车道相对应，来确定行驶车道或车辆的相对位置。
图5是示出了识别行驶车道方法的另一示例的图。图5示出了通过将输入图像变换为俯视图像来执行的行驶车道识别方法的示例。图5中的操作可以按照所示的顺序和方式来执行，然而在不脱离所述的说明性示例的精神和范围的情况下，可以改变一些操作的顺序，或者省略一些操作。图5所示的许多操作可以并行或同时执行。图5的一个或多个块和这些块的组合可以通过执行指定功能的基于专用硬件的计算机或者专用硬件和计算机指令的组合来实现。除了以下图5的描述之外，图1至图4的描述也适用于图5，并且通过引用合并于此。因此，这里可以不再重复以上描述。
参考图5，在操作510中，行驶车道识别装置获得输入图像。在操作520中，行驶车道识别装置通过以下操作来产生分割图像：通过语义单元使用语义分割方法将输入图像分割成与输入图像中包括的对象(例如，道路、线和车辆)相对应的部分；以及，通过像素单元检测所述部分。
在示例中，图像分割方法包括：通过将例如输入图像中包括的边缘或色彩用作为用于分割的参考，将输入图像分割成区域或结构以作为输出。也就是说，这样的分割方法可以基于属性来分割图像，但是该分割方法可能不确定属性。相比之下，语义分割方法指代这样的方法：根据像素单元密集地预测对象；以及，在确定图像中包括哪个对象之后，输出包括对象类别在内的像素单元区域。
在示例中，行驶车道识别装置可以通过包括若干段的卷积层和完全连接层在内的分类网络来产生分割图像。在通过分类网络时，输入图像可以从原始大小缩小1/32的大小。对于这样的像素单元密集预测，可能需要恢复原始大小。
行驶车道识别装置可以使用被训练以根据训练图像输出训练输出的分类器模型，来将输入图像分割成多个区域。分类器模型可以是例如CNN。例如，训练图像可以是色彩图像，并且训练输出可以指示通过分割训练输入而获得的区域图像。例如，训练输出可以是基于手动指定的属性或类别(例如，车辆、人、物体和背景)而预先分割的、与训练图像的每个像素相对应的区域图像。
行驶车道识别装置可以通过以下操作来产生分割图像：通过语义单元使用分类网络(例如，AlexNet、VGGNet和GoogleNET)将输入图像分割成输入图像中包括的对象；根据每个像素单元确定每个分割区域的语义；为每个类别的每个分割区域贴标签。
在操作530中，行驶车道识别装置将输入图像和分割图像变换为各自的俯视图像。行驶车道识别装置可以从通过变换而获得的俯视输入图像和通过变换而获得的俯视分割图像中去除透视组分。
在操作540中，行驶车道识别装置从俯视输入图像中提取与道路的道路标记相对应的信息(例如，行驶车道的左车道边界线和右车道边界线)。在操作550中，行驶车道识别装置使用与道路标记相对应的信息和俯视分割图像来产生多虚拟车道。行驶车道识别装置通过在俯视分割图像中拟合左车道边界线和右车道边界线来产生虚拟线，并且通过在俯视分割图像中以等距间隔在左侧和右侧上平行地布置虚拟线来产生多虚拟车道。
在操作560中，行驶车道识别装置获得道路上的车道数量。行驶车道识别装置可以从例如全球定位***(GPS)信息、地图信息和导航信息获得道路上的车道数量。在示例中，GPS信息、地图信息和导航信息是由行驶车道识别装置通过GPS传感器而直接检测到的。在另一示例中，GPS信息、地图信息和导航信息是从地图数据库接收的，或者是由设置在行驶车道识别装置外部的传感器、数据库或其它电子设备提供的。
如上所述，输入图像是通过捕获整个道路的图像或者捕获在道路的左侧或右侧中的至少一个上的道路边界部分而获得的。当由于捕获设备的有限的视角或其它车辆的遮挡而捕获到仅具有一个道路边界部分的图像时，行驶车道识别装置可以仅从该道路边界部分开始识别行驶车道与哪个车道相对应。行驶车道识别装置可能无法精确识别道路上的车道数量，或者行驶车道与道路上的车道中的哪个车道相对应。在识别行驶车道的操作570中，使用在操作560中获得的道路上的车道数量，行驶车道识别装置可以通过将车辆正行进的道路上的车道数量和多虚拟车道的车道数量进行比较，来更精确地确定行驶车道的相对位置。
在操作570中，行驶车道识别装置使用在操作550中产生的多虚拟车道和在操作560中获得的道路上的车道数量，来识别行驶车道。在示例中，行驶车道识别装置基于多虚拟车道是否与分割图像中的道路组分相对应来确定多虚拟车道的车道数量。在示例中，行车车道识别装置通过基于道路上的车道数量和多虚拟车道的车道数量确定行驶车道在道路上的相对位置，来识别行驶车道。将参考图6更详细地描述要由行驶车道识别装置执行的行驶车道识别方法。
图6是示出了识别行驶车道方法的示例的图。
图6示出了输入图像610、与输入图像610相对应的分割图像620、通过将输入图像610变换为俯视图像而获得的俯视输入图像630、通过将分割图像620变换成俯视图像而获得的俯视分割图像640、以及多虚拟车道图像650。在多虚拟车道图像650中，实线指示与行驶车道的车道边界线相对应的虚拟线，而虚线指示通过在行驶车道的左侧和右侧以等距间隔扩展与行驶车道的车道边界线相对应的虚拟线而产生的虚拟车道。
参考图6，行驶车道识别装置使用与线相对应的像素组从俯视输入图像630中提取行驶车道的左车道边界线和右车道边界线635，并且通过在俯视分割图像640中拟合左车道边界线和右车道边界线635来产生多虚拟车道图像650中的、由与左车道边界线和右车道边界线635相对应的实线指示的虚拟车道。行驶车道识别装置通过将在实线的左侧和右侧平行地且等距间隔开地布置由虚线指示的虚拟车道来产生由虚线指示的虚拟车道。
行驶车道识别装置产生通过由实线和虚线指示的虚拟线界定界线的多虚拟车道。行驶车道识别装置基于多虚拟车道是否与俯视分割图像640中的道路组分相对应来确定多虚拟车道的车道数量。在多虚拟车道图像650中，由在顶部的“○”指示的车道指示与在俯视分割图像640中的道路组分相对应的车道，并且由在顶部的“×”指示的车道指示不与俯视分割图像640中的道路组分相对应的车道。
行驶车道识别装置通过对由“○”指示的车道数量进行计数来将多个虚拟车道的车道数量确定为四个，并且通过确定行驶车道在多虚拟车道中的相对位置来识别行驶车道。例如如图6所示，在行驶车道的左侧存在一条车道，并且在行驶车道的右侧存在两条车道，因此多虚拟车道包括四条车道。行驶车道识别装置可以通过从包括四条车道在内的多虚拟车道的左边界开始计数行驶车道在多虚拟车道中的相对应编号是哪个，来确定行驶车道的相对位置为第二车道。
根据示例，行驶车道识别装置基于中心线识别车辆的行驶车道。将参考图7更详细地描述要由行驶车道识别装置执行的基于中心线的行驶车道识别方法。
根据示例，当输入图像仅包括道路一侧的道路边界部分时，行驶车道识别装置可以使用在行驶车道识别装置外部获得的道路上的车道数量来识别车辆的行驶车道。将参考图8更详细地描述要由行驶车道识别装置执行的使用道路上的车道数量的行驶车道识别方法。
图7是示出了通过识别中心线来执行的行驶车道识别方法的示例的图。图7示出了双向六车道道路的输入图像710和响应于输入图像710产生的多虚拟车道730。多虚拟车道730的各车道中所示的箭头指示输入图像710中包括的车辆的行进方向，并且实际上不包括在多虚拟车道730中。
行驶车道识别装置仅使用与线相对应的像素组来从输入图像710中提取行驶车道的左车道边界线和右车道边界线，并通过在分割图像中拟合左车道边界线和右车道边界线来产生多虚拟车道730。当行驶车道识别装置不区分由双实线指示的中心线时，输入图像710中的双向六车道的道路被分类为分割图像中的道路组分，而不管行进方向如何。例如，当双向六车道的道路被分类为相同的道路组分时，行驶车道识别装置可以产生其中行驶车道的相对侧上的车道被指示为可用行驶空间而与行进方向无关的多虚拟车道。在这种情况下，所产生的多虚拟车道可以具有六条车道，但是实际上可用于行驶或行进的车道数量是三条。
在示例中，行驶车道识别装置可以基于相机捕获输入图像710的方向，将位于由双实线指示的中心线的另一侧上的车道分类为具有与行驶车道的方向相反的行进方向的相对侧车道类别。在示例中，当产生分割图像时，行驶车道识别装置基于中心线来识别或去除被分类为相对侧车道类别的区域，使得当产生多虚拟车道时，与相对侧车道类别相对应的区域不被包括道路组分中。多虚拟车道730中的不与道路组分相对应的这种相对侧车道区域可以由×指示，并且不包括在要被计数的多虚拟车道730的车道数量中。
图8A和图8B是示出了基于道路上的车道数量的行驶车道识别方法的示例的图。图8A示出了道路的右道路边界部分被其它车辆遮挡的输入图像810，并且响应于输入图像810产生了多虚拟车道830。在未识别到道路一侧上的道路边界部分(如输入图像810中所示)的示例中，行驶车道识别装置也可以使用通过地图信息或导航信息获得的道路上的车道数量来识别车辆的行驶车道。
基于道路上的车道数量的行驶车道识别方法可以如下执行。
在示例中，如图8A所示，车辆在包括五个车道在内的五车道道路上行进，并且由于设备捕获的视角或者由于附近行进的其它车辆，仅捕获到从五车道道路的左道路边界部分开始的四个车道。行驶车道识别装置通过上述操作产生包括四个车道在内的多虚拟车道830。行驶车道识别装置通过将道路上的五个车道和多虚拟车道830的四条车道进行比较，来确定多虚拟车道830指示道路上的一部分车道。行驶车道识别装置通过确定多虚拟车道830指示道路上的一部分车道(例如，从道路的左道路边界部分开始的四车道部分)，来识别车辆的行驶车道。这里，由于车辆位于从五车道道路的左道路边界部分开始的指示四个车道的多虚拟车道830的第二车道上，因此行驶车道识别装置将行驶车道的相对位置识别为五车道道路上的第二车道。
在示例中，行驶车道识别装置基于是否从输入图像中识别到道路两侧的道路边界部分，从地图信息或导航信息获得道路上的车道数量，并且使用所获得的数量来识别车辆的行驶车道。
图8B示出了输入图像850以及响应于输入图像850而产生的多虚拟车道870。
例如，当由于不存在附加的中间分割带或者行驶车道识别装置未从输入图像850中区分出中心线，而使得输入图像850中的道路上的车道未被清楚地区分出车道是单向六车道还是双向六车道时，行驶车道识别装置可以将输入图像850中包括的全部六个车道分类为分割图像中的相同的道路组分，而不管行进方向如何。当双向六车道道路的六个车道全部被分类为相同的道路组分时，行驶车道识别装置可以产生包括六个车道的多虚拟车道870，所述六个车道包括在行驶车道的相对侧上的相对侧车道区域。在这样的情况下，由于多虚拟车道870包括六个车道(尽管在单向上实际上可用于行进的车道数量仅是三个车道)，因此行驶车道识别装置可能不能精确地识别行驶车道。
在示例中，行驶车道识别装置从地图信息或导航获得车辆正在沿其行进的道路上的车道数量(例如，双向六车道道路或单向三车道道路)。行驶车道识别装置将所获得的道路上的车道数量与多虚拟车道870的车道数量(例如，六个车道)进行比较。基于该比较，行驶车道识别装置确定在多虚拟车道870中存在错误。例如，由于道路上的车道的实际数量(例如，单向三车道)小于多虚拟车道870的六个车道，因此，行驶车道识别装置确定多虚拟车道870包括全部双向六车道而不管行进方向如何。
在这样的示例中，行驶车道识别装置可以通过将多虚拟车道数量除以2来确定多虚拟车道870的车道数量。行驶车道识别装置可以将多虚拟车道870划分成两部分，并且将包括由划分后的多个虚拟车道中的实线指示的虚拟线在内的部分确定为行驶车道。行驶车道识别装置可以基于最终确定的多虚拟车道870来识别车辆的行驶车道。
图9是示出了识别行驶车道方法的又一示例的图。可以通过将输入图像变换为俯视图像来执行行驶车道识别方法。图9中的操作可以按照所示的顺序和方式来执行，然而在不脱离所述的说明性示例的精神和范围的情况下，可以改变一些操作的顺序，或者省略一些操作。图9所示的许多操作可以并行或同时执行。图9的一个或多个块和这些块的组合可以通过执行指定功能的基于专用硬件的计算机或者专用硬件和计算机指令的组合来实现。除了以下图9的描述之外，图1至图8B的描述也适用于图9，并且通过引用合并于此。因此，这里可以不再重复以上描述。
在操作905中，行驶车道识别装置获得输入图像。在操作910中，行驶车道识别装置通过基于语义单元将输入图像分割成输入图像中包括的对象来产生分割图像。
在操作915中，行驶车道识别装置将输入图像和分割图像变换为各自的俯视图像。在操作920中，行驶车道识别装置从通过变换获得的俯视输入图像和通过变换获得的俯视分割图像中去除透视组分。
在操作925中，行驶车道识别装置从俯视输入图像中提取与道路标记相对应的像素。在操作930中，行驶车道识别装置将像素分类为组，并且去除与道路标记的道路标志相对应的组。
在操作935中，行驶车道识别装置将俯视输入图像中的包括车辆的行驶车道的左线和右线在内的区域设置为感兴趣区域(ROI)。在另一示例中，行驶车道识别装置基于车辆设置ROI，并且提取ROI的左线和右线。
在操作940中，行驶车道识别装置使用与道路标记的线相对应的组从ROI中提取行驶车道的左车道边界线和右车道边界线。
在操作945中，行驶车道识别装置通过将左车道边界线和右车道边界线拟合在分割图像中来产生虚拟线。在操作950中，行驶车道识别装置通过以等距间隔在车道边界的左侧和右侧上平行地布置虚拟线来产生多虚拟车道。
在操作955中，行驶车道识别装置获得车辆正行进的道路上的车道数量。在操作960中，行驶车道识别装置基于根据道路上的车道数量而确定的在多虚拟车道中的相对位置来识别车辆的行驶车道。在操作960中，行驶车道识别装置基于多虚拟车道中的行驶车道的相对位置(其是基于道路上的车道数量和多虚拟车道的车道数量而确定的)来识别车辆的行驶车道。
图10是示出了基于执行形式车道识别方法的行驶环境的行驶车道识别方法的示例的图。图10中的操作可以按照所示的顺序和方式来执行，然而在不脱离所述的说明性示例的精神和范围的情况下，可以改变一些操作的顺序，或者省略一些操作。图10所示的许多操作可以并行或同时执行。图10的一个或多个块和这些块的组合可以通过执行指定功能的基于专用硬件的计算机或者专用硬件和计算机指令的组合来实现。除了以下图10的描述之外，图1至图9的描述也适用于图10，并且通过引用合并于此。因此，这里可以不再重复以上描述。
行驶车道识别装置可以接收输入图像，并且根据输入图像识别行驶环境的改变。基于识别行驶环境的改变，行驶车道识别装置可以执行本文所述的行驶车道识别方法。行驶环境的改变可以包括例如行进的车辆的行驶车道的改变、车辆偏离行驶车道、附近车辆进入行驶车道、车道布局的改变、以及道路标记的改变。车道布局的改变的一些示例可以是双向八车道减少到双向六车道、或者车道到公共汽车专用车道的改变。当未识别到行驶环境的改变时，行驶车道识别装置可以继续保持初始识别的车道。然而，当识别到行驶环境的改变时，行驶车道识别装置可以执行上述行驶车道识别方法的操作。
参考图10，在操作1010中，行驶车道识别装置接收输入图像。在操作1020中，行驶车道识别装置根据输入图像确定是否发生了行驶车道的改变。行驶车道的改变可以包括例如车道布局的改变。例如，行驶车道识别装置可以使用地图信息作为参考来确定是否发生了行驶车道的改变(例如，行驶车道是否从第二车道改变到第三车道)。在操作1040中，响应于确定行驶车道改变，行驶车道识别装置识别行驶车道。
在操作1030中，响应于确定行驶车道没有改变，行驶车道识别装置确定车辆是否偏离行驶车道。例如，行驶车道识别装置可以基于车辆是否离开行驶车道的左车道边界线和右车道边界线某一距离，来检测车辆偏离行驶车道。
响应于在操作1030中未确定偏离行驶车道，行驶车道识别装置可以终止上述操作。在操作1040中，响应于确定偏离行驶车道，行驶车道识别装置识别行驶车道。
图11是示出了分割图像的示例的图。参考图11，输入图像1100是通过行驶车道识别装置中包括的图像传感器或者捕获设备而捕获的图像。本文使用的输入图像可以是通过捕获在道路上行进的车辆前方的图像而获得的前视图像和/或通过捕获车辆侧面的图像而获得的侧视图像。输入图像可以包括整个道路、或者道路的左侧或者右侧中的至少一个的道路边界部分。
图12是示出了分割图像的示例的图。参考图12，分割图像1200包括按类别(例如，道路、车辆、人行道、天空和路边树木)分类或分割的对象。行驶车道识别装置可以通过为每个类别的区域贴标签来识别分割图像中组分或元素存在的位置和方式。
行驶车道识别装置可以通过以下操作来产生分割图像(例如，如所示的分割图像1200)：基于语义单元来分割输入图像，通过像素单元确定分割后的区域的语义，并且为每个类别(例如，道路、车辆、人行道、人、动物、天空和建筑物)贴标签。
在示例中，行驶车道识别装置可以将包括在道路上标记的线和道路标志在内的道路标记分类成类。此外，行驶车道识别装置还可以将靠近由双实线指示的中心线的车道分类为行驶车道类别，并且将位于中心线另一侧的车道分类为相对侧车道类别，相对侧车道类别具有与行驶车道的行进方向相反的行进方向。
图13是示出了俯视图像的示例的图。图13示出了俯视图像1300，其是从上方观看的输入图像或分割图像的平面图。
行驶车道识别装置可以通过对检测到的线应用逆透视映射(IPM)方法，来将输入图像或分割图像变换成俯视图像1300。当已知相机的校准信息(例如，相机的安装高度、朝向地面的角度、朝向前侧的角度、以及相机的投影矩阵)时，行驶车道识别装置可以通过单应性映射来获得俯视图像。然而，当预先未获得相机的校准信息时，行驶车道识别装置可以发现输入图像中的两条平行线上的点，并且使用所发现的点之间的实际距离和像素距离来获得近似校准信息。由于在一般道路环境中，线彼此平行，并且线之间的宽度遵循道路规则，因此可以得到这样的值(例如，两个平行线上的点之间的实际距离)。
行驶车道识别装置可以通过对汇聚在消失点上的道路的图像应用逆透视变换来获得俯视图像1300，并且因此可以确定更均匀和更清晰的线。因此，在俯视图像1300中，线条可以是更加可区分的。
逆透视变换可以从具有透视效果的输入图像去除透视效果，并且将图像平面的位置信息转换为世界坐标系的位置信息。通过逆透视变换，行驶车道识别装置可以基于世界坐标系中指示的车道的位置信息，容易地指示道路上的车道的相对位置，所述道路是由从道路的中心线到车辆的原始点的正常距离以及车辆的方向限定的。
例如，行驶车道识别装置可以基于滑动窗口中包括的边界框的中心，通过应用逆透视变换来获得俯视图像1300。这里，与变换图像的全部像素相比，行驶车道识别装置可以仅对检测到的线应用逆透视变换而不对周围环境应用逆透视变换，从而显著减少计算量。俯视图像1300可以是通过变换获得的俯视分割图像。
图14是示出了从输入图像中提取的道路标记的示例的图。参考图14，行驶车道识别装置使用例如预先训练的CNN、DNN和SVM从俯视图像1300中提取包括线1410和道路标志1430在内的道路标记。可以预先训练本文使用的CNN，以确定要从输入图像检测的线以及道路标志的边界框，并且确定要从输入图像检测的线以及道路标志的类型。
图15是示出了产生虚拟线的方法的示例的图。图15示出了虚拟线1510和道路标志的边界框1530。
参考图15，行驶车道识别装置使用道路标志的边界框1530从俯视图像1300中去除道路标志，并且仅使用如图14所示的所提取的线1410来在行驶车道的左侧和右侧产生虚拟线1510。行驶车道识别装置使用样条或多段线来拟合在左侧和右侧的虚拟线1510，并且将行驶车道表示为虚拟线1510的几何形状。
图16A和图16B是示出了产生多虚拟车道的方法的示例的图。参考图16A，行驶车道识别装置将图15所示的虚拟线1510的几何形状拟合到通过俯视变换获得的俯视分割图像1610中。
行驶车道识别装置通过在分割图像1610中以等距间隔在左侧和右侧平行地布置由实线指示的虚拟线1510，来产生由图16B中所示的虚线指示的虚拟线1630。行驶车道识别装置产生由虚拟线1510和1630划分而成的多虚拟车道。行驶车道识别装置确定多虚拟车道是否与分割图像1610中的道路组分相对应。行驶车道识别装置基于确定的结果来确定多虚拟车道的车道数量。
如上所述，基于多虚拟车道的车道数量和/或车辆正行进的道路上的车道数量，行驶车道识别装置通过确定车辆的行驶车道与从道路的左边界或右边界开始的哪个车道相对应，来识别所述行驶车道。
图17A和图17B是示出了道路标记的示例的图。图17A和图17B示出了包括各种线和道路标志在内的各种道路标记。
道路标记可以包括诸如中心线之类的线、以及公共汽车专用车道分界线。此外，道路标记还可以包括多种标志或符号，例如，路边分界线、变道限制线、障碍物指示线、禁止右转标志、禁止左转标志、禁止直行标志、禁止左转和右转标志、禁止掉头标志、禁止泊车标志、禁止停车标志、禁止泊车和停车标志、指示前方人行横道的标志、慢速标志、安全区域标志、人行横道、凸起的人行横道、自行车交叉道路、行驶或行进方向、变道、上坡标志和行进方向引导线。
此外，道路标记还可以包括：箭头，指示比如直行、右转、左转、直行和右转、直行和左转、左转和右转、以及掉头；还有字符或文本，指示诸如减速、限速、停车、儿童保护区或学校区域、保护/许可左转、让行以及行驶或行进引导语。
图18是示出了识别行驶车道方法的另一示例的图。图18中的操作可以按照所示的顺序和方式来执行，然而在不脱离所述的说明性示例的精神和范围的情况下，可以改变一些操作的顺序，或者省略一些操作。图18所示的许多操作可以并行或同时执行。图18的一个或多个块和这些块的组合可以通过执行指定功能的基于专用硬件的计算机或者专用硬件和计算机指令的组合来实现。除了以下图18的描述之外，图1至图17B的描述也适用于图18，并且通过引用合并于此。因此，这里可以不再重复以上描述。
参考图18，在操作1810中，行驶车道识别装置从输入图像提取行驶车道的左车道边界线和右车道边界线。输入图像可以包括道路标记的线或道路标志中的至少一个。
在操作1820中，行驶车道识别装置通过基于语义单元将输入图像分割成输入图像中包括的对象来产生分割图像。在另一示例中，行驶车道识别装置将输入图像变换为俯视图像，并且从俯视图像中提取行驶车道的左车道边界线和右车道边界线。这里，行驶车道识别装置可以通过基于语义单元将输入图像分割成输入图像中包括的对象来产生分割图像，并且将输入图像和分割图像变换为相应的俯视图像。在示例中，行驶车道识别装置从通过变换而获得的俯视输入图像和通过变换而获得的俯视分割图像中去除透视组分。
在操作1830中，行驶车道识别装置通过在所述分割图像中拟合左车道边界线和右车道边界线，并且以等距间隔在左侧和右侧布置边界线，来产生多虚拟车道。行驶车道识别装置可以将通过变换而获得的俯视输入图像中的行驶车道的左侧和右侧上的线设置为ROI。行驶车道识别装置可以使用与线相对应的像素组从ROI中提取左车道边界线和右车道边界线。行驶车道识别装置可以通过在通过变换而获得的俯视分割图像中拟合左车道边界线和右车道边界线，来产生虚拟线。行驶车道识别装置可以通过以等距间隔在左侧和右侧平行地布置虚拟线来产生多虚拟车道。
在操作1840中，行驶车道识别装置基于多虚拟车道是否与分割图像中的道路组分相对应来确定多虚拟车道的车道数量。行驶车道识别装置可以将多虚拟车道与分割图像相匹配。行驶车道识别装置可以基于匹配的结果来确定多虚拟车道是否与分割图像中的道路组分相对应，并且基于确定的结果来确定多虚拟车道的车道数量。
在操作1850中，行驶车道识别装置通过基于多虚拟车道的车道数量确定行驶车道在道路上的相对位置，来识别行驶车道。根据示例，行驶车道识别装置可以通过使用车辆正行进的道路上的车道数量和多虚拟车道的车道数量而确定行驶车道在道路上的相对位置，来识别行驶车道。例如，行驶车道识别装置通过基于道路上的车道数量以及多虚拟车道的道路的数量，确定行驶车道与从道路的道路边界之一开始的哪个车道相对应，来确定行驶车道的相对位置。这里，道路上的车道数量可以根据导航信息、道路信息和/或用户输入来获得。
此外，行驶车道识别装置可以识别行驶环境的改变，并且基于识别结果来执行以上参考图18所述的行驶车道识别方法的操作。
图19是示出了行驶车道识别装置的图。参考图19，行驶车道识别装置1900包括图像传感器1910、通信接口1920、处理器1930和存储器1940。根据示例，行驶车道识别装置1900还可以包括显示器1950。
图像传感器1910、通信接口1920、处理器1930、存储器1940和显示器1950可以通过通信总线1905彼此通信。
图像传感器1910可以检测或捕获输入图像。
通信接口1920可以接收与车辆正行进的道路相对应的地图信息和/或导航信息。根据示例，通信接口1920可以接收在行驶车道识别装置1900外部捕获的输入图像。
处理器1930可以从输入图像提取道路标记，并且使用所提取的道路标记和通过基于语义单元将输入图像分割成输入图像中包括的对象而获得的分割图像，来产生多虚拟车道。处理器1930可以基于在多虚拟车道中的相对位置来识别车辆正在行进的行驶车道。
处理器1930可以从输入图像提取与道路标记相对应的像素。处理器1930可以使用连接组分操作将像素分类为组，确定每个像素组是否与道路标记的线或道路标志相对应，并且去除与道路标志相对应的组。
处理器1930可以使用与线相对应的组来提取行驶车道的左车道边界线和右车道边界线。处理器1930可以通过在所述分割图像中拟合左车道边界线和右车道边界线来产生虚拟线，并且通过在分割图像中以等距间隔在左侧和右侧上平行地布置所产生的虚拟线来产生多虚拟车道。
处理器1930可以基于多虚拟车道是否与分割图像中的道路组分相对应，来确定多虚拟车道的车道数量。处理器1930可以通过基于多虚拟车道的车道数量确定道路上的相对位置来识别行驶车道。处理器1930可以将多虚拟车道与分割图像相匹配，并且基于匹配的结果来确定多虚拟车道是否与分割图像中的道路组分相对应。处理器1930可以基于确定多虚拟车道是否与道路组分相对应的结果来确定车道数量。
根据示例，处理器1930可以通过以下操作来确定行驶车道的相对位置：从道路的一个道路边界开始对道路上的车道数量进行计数；基于道路上的车道数量和多虚拟车道的车道数量，确定行驶车道与哪个车道相对应。这里，处理器1930可以使用地图信息和导航信息来获得道路上的车道数量。
处理器1930可以通过基于语义单元将输入图像分割成输入图像中包括的对象，来产生分割图像。处理器1930可以将输入图像和分割图像变换为相应的俯视图像，并且从通过变换而获得的俯视输入图像和通过变换而获得的俯视分割图像中去除透视组分。
处理器1930可以从通过变换而获得的俯视输入图像中提取与道路的道路标记相对应的像素，将像素分类为组，并且去除与道路标记的道路标志相对应的组。
处理器1930可以将俯视输入图像中的车道的左侧和右侧上的线设置为ROI。处理器1930可以通过在分割图像中拟合使用与ROI中的道路标记的线相对应的组而提取的车道的左车道边界线和右车道边界线，来产生虚拟线。然后，处理器1930可以通过以等距间隔平行地布置虚拟线来产生多虚拟车道。
处理器1930可以识别行驶环境的改变，并且通过执行参考图1至图18所述的行驶车道识别方法来识别车辆的行驶车道。行驶环境的改变可以包括诸如以下至少一项之类的改变：例如，车辆偏离行驶车道、附近的车辆进入行驶车道、或道路标记的改变。
例如，当车辆需要通过从当前行驶车道开始穿过两个车道进入高速公路出口时，处理器1930可以确定或预测是否改变行驶车道，并且向用户通知确定的结果或者通过显示器1950向用户显示确定的结果，从而实现安全驾驶。在另一示例中，处理器1930可以确定或者预测是否改变行驶车道，并且使用音频信号向用户通知确定的结果。
根据示例，在处理器1930基于所识别的行驶车道和行驶环境确定车辆需要改变行驶车道的情况下，处理器1930可以提供用于改变行驶车道的信息(例如，控制参数)来作为用于自主或自动驾驶车辆的信息。
此外，处理器1930可以执行参考图1至图18所述的方法或者与方法相对应的算法。处理器1930可以执行程序，并且控制行驶车道识别装置1900。要由处理器1930执行的程序代码可以被存储在存储器1940中。
存储器1940可以存储输入图像、分割图像、道路上的车道数量、多虚拟车道的相对位置、以及地图信息和/或导航信息。存储器1940还可以存储通过处理器1930执行变换而获得的俯视输入图像和俯视分割图像。
存储器1940还可以存储预先被训练以识别包括线和道路标志在内的道路标志的神经网络的参数。然后，处理器1930可以使用应用存储器1940中存储的参数的神经网络来从输入图像中检测道路标记。本文使用的神经网络可以是例如CNN。可以对CNN进行训练，使得要从输入图像中检测的线将与道路标志的边界框或与道路标志的类型一起被确定。
此外，存储器1940可以存储在上述处理器1930的操作期间产生的各种信息。存储器1940还可以存储各种数据和程序。存储器1940可以包括易失性存储器或非易失性存储器。存储器1940可以包括大容量存储介质(比如，硬盘等)，以存储各种数据。下面提供存储器的进一步描述。
在示例中，显示器1950是包括提供用于呈现用户界面和/或接收用户输入的能力的一个或多个硬件组件的物理结构。显示器1950可以在输入图像或导航图像中显示由处理器1930识别的行驶车道。此外，在预测到需要改变行驶车道的情况下，显示器1950可以基于由处理器1930识别的行驶车道来指示用于改变行驶车道的车辆转向方向。显示器1950可以包含显示区域、手势捕获区域、触敏显示器和/或可配置区域的任何组合。在示例中，显示器可以嵌入在行驶车道识别装置1900中。在示例中，显示器是可以附接到行驶车道识别装置1900和从行驶车道识别装置1900拆卸的外部***设备。显示器1950可以是单屏幕或多屏幕显示器。单个物理屏幕可以包括多个显示器，这些多个显示器作为单独的逻辑显示器而被管理，允许不同的内容显示在分开的显示器上(尽管这些分开的显示器是同一个物理屏幕的一部分)。显示器1950也可以被实现为包括单眼眼镜或双眼眼镜在内的眼镜显示器(EGD)。在示例中，显示器1950是平视显示器(HUD)或车载信息娱乐***。
行驶车道识别装置1900以及本文描述的其它装置、单元、模块、设备和组件通过硬件组件来实现。在适当的情况下可用于执行本申请中所描述的操作的硬件组件的示例包括控制器、传感器、产生器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、分频器、积分器、以及被配置为执行本申请所述的操作的任何其它电子组件。在其它示例中，执行本申请中所述的操作的一个或多个硬件组件通过计算硬件来实现(例如，通过一个或多个处理器或计算机来实现)。处理器或计算机可以由以下项实现：一个或多个处理元件(比如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器、或被配置为以定义的方式响应并执行指令以实现期望的结果的任何其它设备或设备的组合。在示例中，处理器或计算机包括或连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可以执行指令或软件(比如，操作***(OS)和在OS上运行的一个或多个软件应用)来执行本申请所述的操作。硬件组件还可以响应于指令或软件的执行来访问、操纵、处理、创建和存储数据。硬件组件还响应于指令或软件的执行来访问、操纵、处理、创建和存储数据。为了简洁起见，在本申请中描述的示例的描述中可以使用单数术语“处理器”或“计算机”，但是在其它示例中可以使用多个处理器或计算机，或者处理器或计算机包括多个处理元件、或多种类型的处理元件、或两者兼有。例如，单个硬件组件或者两个或更多个硬件组件可以由单个处理器、或两个或更多个处理器、或者处理器和控制器来实现。一个或多个硬件组件可以由一个或多个处理器、或处理器和控制器来实现，并且一个或多个其它硬件组件可以由一个或多个其它处理器或另一处理器和另一控制器来实现。一个或多个处理器或者处理器和控制器可以实现单个硬件组件、或者两个或更多个硬件组件。硬件组件具有不同的处理配置中的任何一种或多种，所述处理配置的示例包括单处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令指令单数据(MISD)多处理、和多指令多数据(MIMD)多处理。
执行本申请中所述的操作的图1至图10和图18所示的方法是由计算硬件来执行的，例如，由如以上描述而实现的、执行或软件以执行本申请所述的操作(通过所述方法实现的操作)的一个或多个处理器或计算机来执行的。例如，单个操作或者两个或更多个操作可以由单个处理器、或者两个或更多个处理器、或者处理器和控制器来执行。一个或多个操作可以由一个或多个处理器或者处理器和控制器执行，并且一个或多个其它操作可以由一个或多个其它处理器或者另一处理器和另一控制器执行。一个或多个处理器或者处理器和控制器可以执行单个操作或者两个或更多个操作。
用于控制处理器或计算机如上所述地实现硬件组件并执行所述方法的指令或软件被写为计算机程序、代码段、指令或其任何组合，用于单独地或共同地指示或配置处理器或计算机作为机器或专用计算机来操作，以执行由硬件组件执行的操作和上述方法。在一个示例中，指令或软件包括以下至少一项：小应用程序、动态链接库(DLL)、中间件、固件、设备驱动程序、存储防止冲突的方法的应用程序。在一个示例中，指令或软件包括由一个或多个处理器或计算机直接执行的机器代码，例如由编译器产生的机器代码。在另一示例中，指令或软件包括由一个或多个处理器或者计算机使用解译器执行的更高级代码。可以基于附图中所示的框图和流程图以及说明书中的对应描述(其公开了用于执行由硬件组件执行的操作和如上所述的方法的算法)使用任何编程语言来编写指令或软件。
控制处理器或计算机如上所述地实现硬件组件并执行所述方法的指令或软件以及任何相关联的数据、数据文件和数据结构被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态驱动器(SSD)、闪存、卡类型的存储器(比如，多媒体卡或微型卡(例如，安全数字(SD)或极限数字(XD)))、磁带、软盘、磁光数据存储设备、光学数据存储设备、硬盘、固态盘、以及被配置为以非暂时方式存储指令或软件以及如下所述的任何其它设备，所述任何其它设备被配置为以非暂时性方式存储指令或软件、以及任何相关联的数据、数据文件和数据结构，并且向处理器或计算机提供指令或软件以及相关联的数据、数据文件和数据结构，使得处理器或计算机可以执行所述指令。在一个示例中，指令或软件以及任何关联的数据、数据文件和数据结构分布在联网的计算机***上，使得一个或多个处理器或计算机以分布方式存储、访问和执行所述指令和软件以及任何关联的数据、数据文件和数据结构。
尽管本公开包括特定示例，但是在获得对本申请的公开内容的全面理解之后将显而易见的是，在不脱离权利要求及其等同物的精神和范围的情况下，可以对这些示例进行形式和细节上的各种改变。本文描述的示例仅被认为是描述性的，而不是为了限制的目的。每个示例中的特征或方面的描述被认为适用于其它示例中的类似特征或方面。如果所描述的技术以不同的顺序执行和/或如果所描述的***、架构、设备或电路中的组件以不同的方式组合和/或被其它组件或其等同物替换或补充，则可以实现合适的结果。因此，本公开的范围不是由详细描述来限定，而是由权利要求及其等同物来限定，并且在权利要求及其等同物的范围内的所有变化都被解释为包括在本公开内容中。

Claims (38)

1.一种识别行驶车道的方法，包括：
获得输入图像；
从所述输入图像中提取道路标记；
基于语义单元将所述输入图像分割为所述输入图像中包括的对象，以获得分割图像；
使用所述道路标记和所述分割图像来产生多虚拟车道；以及
基于车辆的行驶车道在所述多虚拟车道中的相对位置来识别所述行驶车道。
2.根据权利要求1所述的方法，其中，所述输入图像是所述车辆前方的图像，并且所述图像包括所述车辆正行进的道路、或者所述道路的至少左侧或右侧的道路边界部分。
3.根据权利要求1所述的方法，其中，所述道路标记包括在道路表面上标记的线或道路标志中的任何一个或任何组合，所述道路标志包括在道路表面上标记的标志和字符中的一个或任何组合。
4.根据权利要求3所述的方法，其中，提取所述道路标记包括：
从所述输入图像中提取与所述道路标记相对应的像素；以及
将所述像素分类成组，并且去除与所述道路标志相对应的组。
5.根据权利要求4所述的方法，其中，所述去除与所述道路标志相对应的组包括：
使用连接组分操作将所述像素分类为组；
确定每个像素组是否与所述线或所述道路标志相对应；以及
去除与所述道路标志相对应的组。
6.根据权利要求5所述的方法，其中，产生所述多虚拟车道包括：
使用与所述线相对应的组来提取所述行驶车道的左车道边界线和右车道边界线；
通过将所述左车道边界线和所述右车道边界线拟合在所述分割图像中来产生虚拟线；以及
通过在所述分割图像中以等距间隔在所述左车道边界线的左侧和所述右车道边界线的右侧分别平行地布置所述虚拟线，来产生所述多虚拟车道。
7.根据权利要求6所述的方法，其中，产生所述多虚拟车道包括：
基于在所述分割图像中以等距间隔分别在左侧和右侧扩展所述行驶车道的所述左车道边界线和所述右车道边界线，来产生所述多虚拟车道。
8.根据权利要求1所述的方法，其中，产生所述多虚拟车道包括：
通过在所述分割图像中以等距间隔分别向左侧和右侧扩展所述行驶车道的所述左车道边界线和所述右车道边界线，来产生所述多虚拟车道。
9.根据权利要求1所述的方法，其中，识别所述行驶车道包括：
基于所述多虚拟车道是否与所述分割图像中的道路组分相对应，来确定所述多虚拟车道的车道数量；以及
通过基于确定的所述多虚拟车道的车道数量确定所述行驶车道在所述车辆正行进的道路上的相对位置，来识别所述行驶车道。
10.根据权利要求9所述的方法，其中，识别所述行驶车道包括：
通过从所述道路的道路边界开始对所述道路上的车道数量进行计数，并且基于所述多虚拟车道的车道数量确定所述行驶车道与哪个车道相对应，来确定所述行驶车道的相对位置。
11.根据权利要求1所述的方法，还包括：
获得所述车辆正行进的道路上的车道数量。
12.根据权利要求11所述的方法，其中，识别所述行驶车道包括：
基于所述车辆的所述行驶车道在所述多虚拟车道中的相对位置来识别所述行驶车道，其中所述相对位置是基于所述道路上的车道数量和所述多虚拟车道的车道数量而确定的。
13.根据权利要求12所述的方法，其中，从地图信息获得所述道路上的车道数量。
14.根据权利要求1所述的方法，还包括：
将所述输入图像变换成俯视图像。
15.根据权利要求14所述的方法，其中，将所述输入图像变换成所述俯视图像包括：
将所述输入图像和所述分割图像分别变换为俯视输入图像和俯视分割图像；以及
从所述俯视输入图像和所述俯视分割图像中去除透视组分。
16.根据权利要求1所述的方法，还包括：
响应于识别到行驶环境的改变，来执行所述获得、所述提取、所述分割、所述产生和所述识别的操作。
17.根据权利要求16所述的方法，其中，所述行驶环境的改变包括以下项中的任何一项或任何组合：所述车辆的所述行驶车道的改变、所述车辆偏离所述行驶车道、附近车辆进入所述行驶车道、以及所述道路标记的改变。
18.一种存储指令的非暂时性计算机可读存储介质，所述指令在被处理器执行时，使得所述处理器执行权利要求1所述的方法。
19.一种识别行驶车道的方法，包括：
从输入图像中提取车辆的行驶车道的左车道边界线和右车道边界线；
通过基于语义单元将所述输入图像分割成所述输入图像中包括的对象，来产生分割图像；
通过在所述分割图像中以等距间隔在左侧和右侧拟合所述左车道边界线和所述右车道边界线，来产生多虚拟车道；
基于所述多虚拟车道是否与所述分割图像中的道路组分相对应，来确定所述多虚拟车道的车道数量；以及
通过基于确定的所述多虚拟车道的车道数量确定所述行驶车道在所述车辆正行进的道路上的相对位置，来识别所述行驶车道。
20.根据权利要求19所述的方法，其中，识别所述行驶车道包括：
通过从所述道路的道路边界开始对所述道路上的车道数量进行计数，并且基于所述多虚拟车道的车道数量确定所述行驶车道与哪个车道相对应，来确定所述行驶车道的相对位置。
21.根据权利要求19所述的方法，其中，提取所述行驶车道的所述左车道边界线和所述右车道边界线包括：
将所述输入图像变换成俯视图像；以及
从所述俯视图像中提取所述行驶车道的所述左车道边界线和所述右车道边界线。
22.根据权利要求21所述的方法，其中，将所述输入图像变换成所述俯视图像包括：
将所述输入图像和所述分割图像分别变换为俯视输入图像和俯视分割图像；以及
从所述俯视输入图像和所述俯视分割图像中去除透视组分。
23.根据权利要求19所述的方法，还包括：
从地图信息获得所述道路上的车道数量，
其中，识别所述行驶车道包括：
通过从所述道路的道路边界开始对所述道路上的车道数量进行计数，并且基于所述道路上的车道数量和所述多虚拟车道的车道数量确定行驶车道与哪个车道相对应，来确定所述行驶车道的相对位置。
24.根据权利要求19所述的方法，还包括：
响应于识别到行驶环境的改变，执行所述提取、所述分割图像的产生、所述多虚拟车道的产生、所述确定以及所述识别的操作。
25.一种用于识别行驶车道的装置，包括：
图像传感器，被配置为捕获输入图像；以及
处理器，被配置为：从所述输入图像中提取道路标记；通过基于语义单元将所述输入图像分割成所述输入图像中包括的对象来获得分割图像；使用所述道路标记和所述分割图像来产生多虚拟车道；以及基于在所述多虚拟车道中的相对位置来识别车辆的行驶车道。
26.根据权利要求25所述的装置，还包括：
存储器，被配置为存储以下项中的任何一项或任何组合：所述输入图像、所述分割图像、所述多虚拟车道的相对位置、地图信息和导航信息。
27.根据权利要求25所述的装置，其中，所述处理器还配置为：
从所述输入图像中提取与所述道路标记相对应的像素；
使用连接组分操作将所述像素分类为组；
确定每个像素组是否与线或道路标志相对应；
去除与所述道路标志相对应的组。
28.根据权利要求25所述的装置，其中，所述处理器还被配置为：基于所述多虚拟车道是否与所述分割图像中的道路组分相对应，来确定所述多虚拟车道的车道数量，以及
通过基于所述多虚拟车道的车道数量确定所述行驶车道在所述车辆正行进的道路上的相对位置，来识别所述行驶车道。
29.根据权利要求25所述的装置，其中，所述处理器还配置为：将所述输入图像和所述分割图像分别变换为相应的俯视输入图像和俯视分割图像；以及
从所述俯视输入图像和所述俯视分割图像中去除透视组分。
30.根据权利要求25所述的装置，还包括：
通信接口，被配置为接收地图信息和导航信息中的任何一个或任何组合，所述地图信息和所述导航信息与所述车辆正行进的道路相对应，并且包括所述道路上的车道数量，
其中，所述处理器还被配置为：基于在所述多虚拟车道中的相对位置来识别所述车辆的行驶车道，其中所述相对位置是基于所述道路上的所述车道数量而确定的。
31.根据权利要求25所述的装置，其中，所述处理器还被配置为：识别行驶环境的改变，以及
响应于识别到所述行驶环境的改变来识别所述行驶车道。
32.一种导航装置，包括：
传感器，被配置为捕获车辆前方的图像；以及
处理器，被配置为：
通过将所述图像分割成与输入图像中包括的对象相对应的部分来产生分割图像，
从所述图像中识别左车道边界线和右车道边界线，
基于在所述分割图像中拟合所述左车道边界线和所述右车道边界线，来产生虚拟线，
基于在所述分割图像中以等距间隔平行地布置所述虚拟线来产生多虚拟车道，
基于所述多虚拟车道是否与所述分割图像中的道路对象相对应，来确定所述多虚拟车道的车道数量，以及
基于所述车辆的行驶车道在所确定数量的所述多虚拟车道的车道中的相对位置来识别所述行驶车道。
33.根据权利要求32所述的导航装置，其中，所述处理器还被配置为：
从所述图像中提取与道路标记相对应的像素；
将所提取的像素分类成组；
确定所述组中的分类组是否与线相对应；以及
响应于所述分类组与线相对应，来识别所述左车道边界线或所述右车道边界线。
34.根据权利要求32所述的导航装置，其中，所述处理器还被配置为：
将所述输入图像和所述分割图像分别变换为俯视输入图像和俯视分割图像；以及
从所述俯视输入图像和所述俯视分割图像中提取信息，以识别所述左车道边界线和所述右车道边界线。
35.根据权利要求32所述的导航装置，其中，所述处理器还被配置为：
基于识别所述车辆正行进的道路的中心线，去除所述分割图像中的、与相对侧车道对象相对应的一部分。
36.根据权利要求34所述的导航装置，其中，所述处理器还被配置为：
在所述俯视输入图像中在所述车辆的左侧和右侧设置感兴趣区域ROI；以及
使用与道路标记的线相对应的对象，从所述ROI中提取所述左车道边界线和所述右车道边界线。
37.根据权利要求32所述的导航装置，其中，所述处理器还被配置为：
在显示器上输出所识别的所述车辆的行驶车道。
38.一种车辆，包括：
传感器，被配置为捕获图像；以及
行驶车道识别处理器，被配置为：从所述图像中提取道路标记；通过基于语义单元将所述图像分割成对象来获得分割图像；使用所述道路标记和所述分割图像来产生多虚拟车道；以及基于所述车辆在所述多虚拟车道中的相对位置来识别行驶车道。
CN201810184058.4A 2017-09-28 2018-03-06 用于识别行驶车道的方法和装置 Active CN109584578B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0126241 2017-09-28
KR1020170126241A KR102421855B1 (ko) 2017-09-28 2017-09-28 주행 차로를 식별하는 방법 및 장치

Publications (2)

Publication Number Publication Date
CN109584578A true CN109584578A (zh) 2019-04-05
CN109584578B CN109584578B (zh) 2022-11-18

Family

ID=62063305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810184058.4A Active CN109584578B (zh) 2017-09-28 2018-03-06 用于识别行驶车道的方法和装置

Country Status (5)

Country Link
US (1) US10740626B2 (zh)
EP (1) EP3462377B1 (zh)
JP (2) JP7385348B2 (zh)
KR (1) KR102421855B1 (zh)
CN (1) CN109584578B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136222A (zh) * 2019-04-17 2019-08-16 百度在线网络技术（北京）有限公司 虚拟车道线生成方法、装置及***
CN110825093A (zh) * 2019-11-28 2020-02-21 安徽江淮汽车集团股份有限公司 自动驾驶策略生成方法、装置、设备及存储介质
CN111199194A (zh) * 2019-12-25 2020-05-26 吉林大学 基于机器视觉和深度学习的汽车智能座舱仪表测试方法
CN115619856A (zh) * 2022-12-05 2023-01-17 中质智通检测技术有限公司 基于车路协同感知的车道定位方法

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102628654B1 (ko) * 2016-11-07 2024-01-24 삼성전자주식회사 차선을 표시하는 방법 및 장치
US11216004B2 (en) * 2017-11-07 2022-01-04 Uatc, Llc Map automation—lane classification
DE102018213191A1 (de) * 2018-05-09 2019-11-14 Conti Temic Microelectronic Gmbh Verfahren zur Fahrspur- und Fahrbahndetektion
EP3576010A1 (en) * 2018-05-31 2019-12-04 KPIT Technologies Ltd. System and method for detection of free parking space for a vehicle
GB201809604D0 (en) * 2018-06-12 2018-07-25 Tom Tom Global Content B V Generative adversarial networks for image segmentation
CN108871368B (zh) * 2018-08-06 2020-12-29 武汉中海庭数据技术有限公司 一种高精度地图车道横向拓扑关系的构建方法、***及存储器
KR102595897B1 (ko) 2018-08-27 2023-10-30 삼성전자 주식회사 차선 결정 방법 및 장치
CN109389650B (zh) * 2018-09-30 2021-01-12 京东方科技集团股份有限公司 一种车载相机的标定方法、装置、车辆和存储介质
CN113298845A (zh) * 2018-10-15 2021-08-24 华为技术有限公司 一种图像处理方法、装置与设备
US11662725B2 (en) * 2018-10-17 2023-05-30 Hl Klemove Corp. Control method of determining virtual vehicle boundary and vehicle providing the control method
DE102018218043A1 (de) * 2018-10-22 2020-04-23 Robert Bosch Gmbh Ermittlung einer Anzahl von Fahrspuren sowie von Spurmarkierungen auf Straßenabschnitten
US11003920B2 (en) * 2018-11-13 2021-05-11 GM Global Technology Operations LLC Detection and planar representation of three dimensional lanes in a road scene
US11232705B2 (en) * 2018-11-28 2022-01-25 Toyota Jidosha Kabushiki Kaisha Mitigation of traffic oscillation on roadway
KR20200069542A (ko) * 2018-12-07 2020-06-17 팅크웨어(주) 차선 내 안내 정보 추출을 통한 경로 안내 방법 및 이를 수행하는 전자 기기
US20200189459A1 (en) * 2018-12-13 2020-06-18 GM Global Technology Operations LLC Method and system for assessing errant threat detection
KR102177880B1 (ko) * 2019-03-08 2020-11-12 현대모비스 주식회사 자율주행용 클래스 레이블링 장치
US10887928B2 (en) 2019-04-24 2021-01-05 Here Global B.V. Lane aware clusters for vehicle to vehicle communication
CN110321877B (zh) * 2019-06-04 2022-09-16 中北大学 一种三目后视镜和三目视觉安全驾驶方法和***
JP2020201649A (ja) * 2019-06-07 2020-12-17 トヨタ自動車株式会社 地図生成装置、地図生成方法及び地図生成用コンピュータプログラム
KR102316818B1 (ko) * 2019-06-12 2021-10-25 주식회사 카카오 도로 네트워크를 갱신하는 방법 및 장치
CN112084822A (zh) * 2019-06-14 2020-12-15 富士通株式会社 车道检测装置及方法、电子设备
CN110763246A (zh) * 2019-08-06 2020-02-07 中国第一汽车股份有限公司 自动驾驶车辆路径规划方法、装置、车辆及存储介质
CN110414487B (zh) * 2019-08-16 2022-05-13 东软睿驰汽车技术（沈阳）有限公司 一种识别车道线的方法及装置
EP3983930A1 (en) * 2019-10-11 2022-04-20 Huawei Technologies Co., Ltd. Lane detection system and method for a vehicle
CN114787739A (zh) * 2019-11-15 2022-07-22 伟摩有限责任公司 使用向量化输入的智能体轨迹预测
KR102667741B1 (ko) * 2019-11-19 2024-05-22 삼성전자주식회사 3차원 객체를 표시하는 방법 및 장치
CN110989624B (zh) * 2019-12-25 2023-03-31 东软睿驰汽车技术（沈阳）有限公司 行车控制方法、装置及车辆
US11180165B2 (en) * 2019-12-26 2021-11-23 Baidu Usa Llc Autonomous driving vehicle three-point turn
US11037328B1 (en) 2019-12-31 2021-06-15 Lyft, Inc. Overhead view image generation
US11244500B2 (en) * 2019-12-31 2022-02-08 Woven Planet North America, Inc. Map feature extraction using overhead view images
US11288522B2 (en) 2019-12-31 2022-03-29 Woven Planet North America, Inc. Generating training data from overhead view images
KR20210112672A (ko) * 2020-03-05 2021-09-15 삼성전자주식회사 객체를 검출하기 위한 프로세서 및 객체 검출 방법
AU2020202249A1 (en) * 2020-03-30 2021-10-14 Anditi Pty Ltd Feature extraction from mobile lidar and imagery data
CN111780771B (zh) * 2020-05-12 2022-09-23 驭势科技（北京）有限公司 一种定位方法、装置、电子设备及计算机可读存储介质
KR102342414B1 (ko) 2020-05-29 2021-12-24 서울대학교산학협력단 악천후 자율주행을 위한 교통 흐름 정보 인지 기반 가상 차선 생성 장치 및 방법
CN111652112B (zh) * 2020-05-29 2023-06-30 阿波罗智联(北京)科技有限公司 一种车道流向的识别方法、装置、电子设备及存储介质
CN111783651B (zh) * 2020-06-30 2024-01-12 北京百度网讯科技有限公司 路面元素识别方法、装置、电子设备和存储介质
JPWO2022091478A1 (zh) * 2020-10-29 2022-05-05
US20220147746A1 (en) * 2020-11-10 2022-05-12 Nec Laboratories America, Inc. End-to-end parametric road layout prediction with cheap supervision
JPWO2022118422A1 (zh) * 2020-12-03 2022-06-09
CN112376340B (zh) * 2020-12-03 2022-02-22 吉林大学 一种左转路口导向线及左转停止线设计方法
CN112541437A (zh) * 2020-12-15 2021-03-23 北京百度网讯科技有限公司 车辆定位方法、装置、电子设备及存储介质
CN112801021B (zh) * 2021-02-09 2022-07-08 福州大学 基于多级语义信息的车道线检测方法及***
JP2022146655A (ja) * 2021-03-22 2022-10-05 トヨタ自動車株式会社 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
KR102674613B1 (ko) * 2021-11-02 2024-06-13 주식회사 파인디지털 차로 결정 방법 및 차로 결정 장치
CN114620055B (zh) * 2022-03-15 2022-11-25 阿波罗智能技术(北京)有限公司 道路数据处理方法、装置、电子设备及自动驾驶车辆
CN114674338B (zh) * 2022-04-08 2024-05-07 石家庄铁道大学 基于分层输入输出和双注意力跳接的道路可行驶区域精细推荐方法
KR102551145B1 (ko) * 2022-11-30 2023-07-04 주식회사 모라이 주행 환경과 연관된 혼합 현실 영상 생성 방법 및 시스템
CN116630467A (zh) * 2023-03-15 2023-08-22 广州小鹏自动驾驶科技有限公司 虚拟车道构建方法、装置、设备及计算机可读存储介质
CN116258792A (zh) * 2023-03-17 2023-06-13 广州小鹏自动驾驶科技有限公司 虚拟车道构建方法、装置、设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090012709A1 (en) * 2007-07-05 2009-01-08 Aisin Aw Co., Ltd. Road information generating apparatus, road information generating method, and road information generating program
CN103121448A (zh) * 2011-11-17 2013-05-29 现代摩比斯株式会社 利用车辆前方和侧方图像的车道识别率提升***及方法
KR20140071174A (ko) * 2012-12-03 2014-06-11 현대자동차주식회사 차량의 차선 가이드 장치 및 그 방법
JP2015096946A (ja) * 2013-10-10 2015-05-21 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御プログラム、および表示制御方法
CN106448260A (zh) * 2015-08-05 2017-02-22 Lg电子株式会社 驾驶员辅助设备和包括该驾驶员辅助设备的车辆
CN106598695A (zh) * 2015-10-16 2017-04-26 福特全球技术公司 用于虚拟驾驶环境中的车道边界检测的试验台

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100355993B1 (ko) 2000-03-02 2002-10-12 엔알디테크 주식회사 차선 이탈 경보장치 및 방법
JP4605145B2 (ja) 2006-11-14 2011-01-05 トヨタ自動車株式会社 車線検出装置
WO2008145543A1 (de) * 2007-05-25 2008-12-04 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zur erkennung von verkehrsrelevanten informationen
US8670592B2 (en) * 2008-04-24 2014-03-11 GM Global Technology Operations LLC Clear path detection using segmentation-based method
KR100917330B1 (ko) 2008-06-30 2009-09-16 쌍용자동차 주식회사 차량의 탑뷰 모니터 시스템 및 방법
US8204277B2 (en) * 2008-07-18 2012-06-19 GM Global Technology Operations LLC Apparatus and method for camera-bases lane marker detection
US8055445B2 (en) 2008-09-24 2011-11-08 Delphi Technologies, Inc. Probabilistic lane assignment method
KR100956858B1 (ko) 2009-05-19 2010-05-11 주식회사 이미지넥스트 차량 주변 영상을 이용하는 차선 이탈 감지 방법 및 장치
CN103164851B (zh) 2011-12-09 2016-04-20 株式会社理光 道路分割物检测方法和装置
KR101405193B1 (ko) 2012-10-26 2014-06-27 현대자동차 주식회사 차로 인식 방법 및 시스템
KR101836246B1 (ko) * 2012-12-31 2018-03-08 현대자동차 주식회사 현재 차선 추정 방법
JP5966965B2 (ja) 2013-02-19 2016-08-10 株式会社デンソー 車線境界線逸脱抑制装置及び車線境界線逸脱抑制方法
KR101906951B1 (ko) * 2013-12-11 2018-10-11 한화지상방산 주식회사 차선 검출 시스템 및 차선 검출 방법
EP2899669A1 (en) 2014-01-22 2015-07-29 Honda Research Institute Europe GmbH Lane relative position estimation method and system for driver assistance systems
KR101653491B1 (ko) 2014-04-28 2016-09-12 한국과학기술원 다중 차로 검출 및 차로 변경 감지 기반의 차로 인식 방법 및 시스템
KR101620425B1 (ko) 2014-06-20 2016-05-13 주식회사 세인전장 주변 환경 정보를 이용한 차선 인식 시스템 및 그 방법
KR101583797B1 (ko) 2015-03-04 2016-01-08 군산대학교산학협력단 탑뷰 이미지 변환을 적용한 차선 인식 장치 및 방법
KR101637535B1 (ko) 2015-04-14 2016-07-07 주식회사 와이즈오토모티브 탑뷰 영상 왜곡 보정 장치 및 방법
EP3098753A1 (en) 2015-05-28 2016-11-30 Tata Consultancy Services Limited Lane detection
KR101738034B1 (ko) 2015-07-09 2017-05-22 현대자동차주식회사 개선된 차선 인식 방법
US9672734B1 (en) * 2016-04-08 2017-06-06 Sivalogeswaran Ratnasingam Traffic aware lane determination for human driver and autonomous vehicle driving system
KR101697484B1 (ko) 2016-08-31 2017-01-18 (주)캠시스 차량 주변의 위험요소 경고장치 및 경고방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090012709A1 (en) * 2007-07-05 2009-01-08 Aisin Aw Co., Ltd. Road information generating apparatus, road information generating method, and road information generating program
CN103121448A (zh) * 2011-11-17 2013-05-29 现代摩比斯株式会社 利用车辆前方和侧方图像的车道识别率提升***及方法
KR20140071174A (ko) * 2012-12-03 2014-06-11 현대자동차주식회사 차량의 차선 가이드 장치 및 그 방법
JP2015096946A (ja) * 2013-10-10 2015-05-21 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御プログラム、および表示制御方法
CN106448260A (zh) * 2015-08-05 2017-02-22 Lg电子株式会社 驾驶员辅助设备和包括该驾驶员辅助设备的车辆
CN106598695A (zh) * 2015-10-16 2017-04-26 福特全球技术公司 用于虚拟驾驶环境中的车道边界检测的试验台

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JESMIN F. KHAN ET AL.: "Image Segmentation and Shape Analysis for", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》 *
MARCOS NIETO ET AL.: "ROBUST MULTIPLE LANE ROAD MODELING BASED ON PERSPECTIVE ANALYSIS", 《2008 15TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
REZA AZAD ET AL.: "OPTIMIZED METHOD FOR IRANIAN ROAD SIGNS DETECTION AND RECOGNITION SYSTEM", 《INTERNATIONAL JOURNAL OF RESEARCH IN COMPUTER》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136222A (zh) * 2019-04-17 2019-08-16 百度在线网络技术（北京）有限公司 虚拟车道线生成方法、装置及***
CN110825093A (zh) * 2019-11-28 2020-02-21 安徽江淮汽车集团股份有限公司 自动驾驶策略生成方法、装置、设备及存储介质
CN111199194A (zh) * 2019-12-25 2020-05-26 吉林大学 基于机器视觉和深度学习的汽车智能座舱仪表测试方法
CN115619856A (zh) * 2022-12-05 2023-01-17 中质智通检测技术有限公司 基于车路协同感知的车道定位方法
CN115619856B (zh) * 2022-12-05 2023-04-07 中质智通检测技术有限公司 基于车路协同感知的车道定位方法

Also Published As

Publication number Publication date
JP2023126327A (ja) 2023-09-07
EP3462377A2 (en) 2019-04-03
JP7385348B2 (ja) 2023-11-22
JP2019067364A (ja) 2019-04-25
KR20190036844A (ko) 2019-04-05
KR102421855B1 (ko) 2022-07-18
CN109584578B (zh) 2022-11-18
US10740626B2 (en) 2020-08-11
US20190095722A1 (en) 2019-03-28
EP3462377A3 (en) 2019-05-08
EP3462377B1 (en) 2024-02-14

Similar Documents

Publication Publication Date Title
CN109584578A (zh) 用于识别行驶车道的方法和装置
US11113544B2 (en) Method and apparatus providing information for driving vehicle
US10296794B2 (en) On-demand artificial intelligence and roadway stewardship system
US11486727B2 (en) Map generation device, map generation method, and map generation computer program
US11313695B2 (en) Augmented reality navigational indicator
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
US11392797B2 (en) Method, apparatus, and system for filtering imagery to train a feature detection model
CN109389026A (zh) 车道检测方法和设备
Katsamenis et al. TraCon: A novel dataset for real-time traffic cones detection using deep learning
JP2018512672A (ja) 駐車ゾーンを自動的に認識する方法及びシステム
Cao et al. Amateur: Augmented reality based vehicle navigation system
Choi et al. Map-matching-based cascade landmark detection and vehicle localization
Hazelhoff et al. Exploiting street-level panoramic images for large-scale automated surveying of traffic signs
Saika et al. Real-Time Vehicle and Lane Detection using Modified OverFeat CNN: A Comprehensive Study on Robustness and Performance in Autonomous Driving
Bhavsar et al. Vision-based investigation of road traffic and violations at urban roundabout in India using UAV video: a case study
Cypto et al. Automatic detection system of speed violations in a traffic based on deep learning technique
Morrissett et al. A review of non-lane road marking detection and recognition
CN114383594A (zh) 地图生成装置、地图生成方法以及地图生成用计算机程序
JP7310957B2 (ja) 地図生成装置、地図生成方法及び地図生成用コンピュータプログラム
US20240119740A1 (en) Method and apparatus with lane line determination
de Matos Synthetic Data in Semantic Segmentation and Lane Estimation for Autonomous Driving
Rebai et al. Hierarchical SVM classifier for road intersection detection and recognition
Hazelhoff et al. Combined generation of road marking and road sign databases applied to consistency checking of pedestrian crossings
Narasimhan et al. Automatic Detection and Localization of Roadwork
Fabregat Bosch Detection & tracking for micromobility safety using computer vision and artificial intelligence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant