CN105074794B - 信号识别装置 - Google Patents

信号识别装置 Download PDF

Info

Publication number
CN105074794B
CN105074794B CN201480017472.6A CN201480017472A CN105074794B CN 105074794 B CN105074794 B CN 105074794B CN 201480017472 A CN201480017472 A CN 201480017472A CN 105074794 B CN105074794 B CN 105074794B
Authority
CN
China
Prior art keywords
semaphore
information
link
vehicle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480017472.6A
Other languages
English (en)
Other versions
CN105074794A (zh
Inventor
古城直树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN105074794A publication Critical patent/CN105074794A/zh
Application granted granted Critical
Publication of CN105074794B publication Critical patent/CN105074794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Image Processing (AREA)

Abstract

提供具备控制装置(10)的信号识别装置(100)，控制装置执行：从相机(20)获取本车辆周围的拍摄图像的拍摄图像获取功能；获取本车辆的当前位置的本车位置获取功能；参照地图信息，确定在本车辆的行驶链路中应关注的信号机的关注信号机确定功能，地图信息包括：行驶链路信息，以包含起点及终点和行驶方向的有向链路来定义的、并且以有向链路的起点及终点来连接的连接链路、与确定包含了直行或左右转弯的行进方向的行进方向信息相关联，以及包含与行驶链路相关联的信号机的位置信息的信号机信息；基于信号机的位置信息和相机(20)的拍摄特性信息，提取信号机的图像区域的信号图像区域提取功能；以及基于图像区域的信号机的图像，识别信号机的信号内容的信号内容识别功能。

Description

信号识别装置
技术领域
本发明涉及确定在本车辆的行驶道路中应关注的信号，并识别该内容的信号识别装置。
背景技术
关于这类装置，已知基于从本车至交叉路口的距离和信号机的高度信息，推测在相机的拍摄图像内可能拍摄信号机的信号机的图像区域，并基于该信号机的图像区域的图像，识别信号机的状态的技术(专利文献1)。
现有技术文献
专利文献
专利文献1：专利第3857698号公报
发明内容
发明要解决的问题
可是，在交叉路口中存在多个信号机的环境下，因本车辆的朝向、行驶道路的车道的差异和行驶方向等形状，在车载相机的拍摄图像中，有时发生映入不是本车辆应关注的信号机、或未映入应关注的信号机，所以在依据现有技术的方法中，有错误确定本车辆应关注的信号机，并错误识别该信号机表示的信号内容的问题。
本发明要解决的课题是，即使是发生了在车载相机的拍摄图像中甚至映入不是应关注的信号机、或未映入应关注的信号机等不便的情况，也正确地确定本车辆应关注的一个信号机，并以高精度识别该信号机表示的信号内容。
解决问题的方案
本发明通过参照地图信息，并基于本车辆的当前位置所属的行驶链路，确定在行驶本车辆的当前位置所属的行驶链路的下一个要行驶的行驶链路时应关注的信号机，从而解决上述课题，地图信息包括：对每个车道以有向链路来定义，将连接链路、与行进方向信息相关联的行驶链路信息；以及与该行驶链路信息相关联的信号机信息。
发明的效果
根据本发明，基于在以包含起点及终点和行驶方向的有向链路来对每个车道确定，在将连接链路及行进方向信息相关联的行驶链路，相关联在该行驶链路上行驶时应关注的信号机信息的地图信息，确定在各行驶链路的行驶中应关注的信号机，所以在存在多个信号机的复杂的交通环境中，驾驶员也能够正确地确定在本车辆的行驶链路中应关注的一个信号机。
附图说明
图1是表示本实施方式的驾驶辅助***的结构框图。
图2是表示本实施方式的地图信息的一例子的图。
图3是用于说明存在多个信号机的交通环境的图。
图4是用于说明确定应关注的信号机的处理的图。
图5是用于说明行驶链路的推测处理的定时的图。
图6是表示本实施方式的驾驶辅助***的控制过程的流程图。
具体实施方式
以下，基于附图说明本发明的实施方式。在本实施方式中，以将本发明的信号识别装置适用于驾驶辅助***的情况为例来说明。
图1是表示具备本实施方式的信号识别装置100的驾驶辅助***1的结构框图。信号识别装置100及包含该装置的驾驶辅助***1装载在车辆上。信号识别装置100确定本车辆的驾驶员应关注的信号，并识别该信号表示的信息的内容。
驾驶辅助***1包括信号识别装置100、导航装置50、车辆控制器60、以及控制驱动的驱动***70(车辆的驱动装置)。驾驶辅助***1基于由信号识别装置100识别出的信号表示的信息，通过车辆控制器60、驱动***70控制本车辆的驱动和制动，并通过导航装置50对驾驶员提供辅助驾驶的信息。
如图1所示，本实施方式的信号识别装置100包括控制装置10、相机20、位置检测装置30、以及数据库40。
相机20装载在本车辆上，拍摄本车辆的周围。例如，其为使用了CCD等的拍摄元件的相机。镜头也可以使用可拍摄远方的前行车辆的视野角较窄的望远镜头、为了与路缘和坡度变化对应而视野较宽的鱼眼镜头、可拍摄全景的全方位相机用的镜头。相机20的安装位置没有限定，但在本实施方式中，设置在本车辆的车厢内后视镜的附近、车辆前方向上。此外，以视野角为25°～50°左右的标准镜头下的情况为例子来说明镜头。再有，相机20的镜头失真等的内部参数、以及表示相对车辆的安装位置的外部参数等的拍摄特性信息42能够被预先存储在ROM中。
本实施方式的相机20具有使拍摄时的拍摄倍率增减的变焦功能。本实施方式的变焦功能基于后述的、确定的信号机的图像区域的相对拍摄图像的面积比，控制拍摄倍率。
本实施方式的相机20包括驱动装置21。驱动装置21能够变更相机20的拍摄方向。本实施方式的驱动装置21具备在本车辆的垂直方向上可驱动的驱动功能。驱动装置21可以作为与相机20不同的支承装置而构成，但在本实施方式中，如包括使相机20本体旋转驱动的机构的PTZ相机(可平移、倾斜和变焦驱动的相机)那样，使用相机20本体和驱动装置21作为一体构成的相机20。PTZ相机没有特别地限定，但配置在本车辆的仪表盘上方，以便拍摄车辆前方。再有，驱动装置21的方式没有特别地限定，也可以采取在拍摄元件的前方设置反射镜，通过驱动反射镜而使拍摄方向变化的方法。事先计算包含相机20相对车辆的安装位置的外部参数、驱动装置21的动作造成的相机20的安装位置的变更量等，并存储在数据库40中。本实施方式的驱动装置21基于确定的信号机的图像区域相对拍摄图像的位置，变更相机20的拍摄方向。
位置检测装置30包括GPS(Global Positioning System；全球定位***)，检测行驶中的车辆的当前位置(纬度和经度)。也可以从本车辆上装载的导航装置50具备的位置检测装置30中获取本车辆的当前位置。本实施方式的位置检测装置30具有检测本车辆的姿态的功能。在检测本车辆的姿态的情况下，位置检测装置30具有二台GPS，可以计算本车辆的朝向，也可以还具有方位仪来计算本车辆的朝向。
此外，位置检测装置30也可以基于相机20的拍摄图像，计算本车辆的姿态。说明在基于拍摄图像计算本车辆的姿态的情况下的方法的一例子。当本车辆行驶在直线的道路的情况下，将相机20的拍摄图像的视点设定在车辆上方，将拍摄图像从车辆信息的视点变换为观察本车辆的俯瞰图像。而且，能够在该俯瞰图像中识别白线或路缘，从白线或路缘的斜度计算车辆的朝向。当然，也可以使用本申请时已知的图像，采用自我位置推测技术即SLAM(Simultaneous Localization and Mapping；同时定位和绘图)，计算本车辆的位置和姿态。具体地说，将图像特征点的三维位置预先存储在数据库40中，通过将数据库40中保持的图像特征点和相机20的拍摄图像中的图像特征点进行核对，能够计算本车辆的位置和姿态。
数据库40存储地图信息41。该地图信息41也可以存储在控制装置10可访问的导航装置50中。本实施方式的地图信息41有行驶链路信息411、以及与其关联的信号机信息412。
对每个车道以包含起点及终点和行驶方向的有向链路来定义行驶链路信息411的各行驶链路。有向链路至少由起点、终点(即长度)、方向的信息来定义。而且，在本实施方式的各行驶链路(有向链路)中，以起点及终点连接的连接链路和确定包含直行或左右转弯的行进方向的行进方向信息相关联。此外，行驶链路中相关联着信号机信息。信号机信息是驾驶员在各行驶链路行驶时要关注的包含信号机的位置信息的信息。
图2表示地图信息41的一例子。如图2所示，本实施方式的地图信息41包含：与普通的地图信息同样地以纬度和经度等的地图坐标值确定的地点；附加了识别符(ID)的节点；附加了识别符(ID)的行驶链路；附加了识别符(ID)的信号机；以及对每个地点所关联的地点信息(POI)。节点的信息有以地图坐标值确定、并且连接的节点的识别符以及分支的前头的多个节点的识别符。再有，节点设定在道路的车道的中央，但在有多个车道的复杂的交叉路口等中，也可以利用车辆实际地通过的轨迹来定义节点的位置。
行驶链路信息具有：以地图坐标值确定的、并且定义起点和终点的节点的识别符；各行驶链路的直线、右转和左转等的行进方向；各行驶链路是否为汇合用链路/分支用链路的类别、行驶链路上连接的行驶链路的识别符、以及分支的前头的多个分支行驶链路的识别符。此外，在各行驶链路中，相关联着应关注的信号机的识别符。本实施方式的行驶链路信息即使存在于相同的道路上，也对每个车道附加不同的ID，作为不同的行驶链路来处理。由此，即使在相同的道路上，右转用的行驶链路和直行用的行驶链路也作为不同的行驶链路来处理。即使起点及终点的信息为共同的，右转用的行驶链路中应关注的信号机和直行用的行驶链路中应关注的信号机也不同，所以作为各自的信息来存储。在本实施方式中，在车辆的行驶道路产生分支或交叉的情况下，或在应关注的信号机不同的情况下，作为另外的行驶链路来定义。即，在本实施方式的行驶链路信息中，对每个车道定义行驶链路，在一个行驶链路中相关联着一个应关注的信号机，例如即使在相同的行驶道路中存在多个信号机，在本实施方式的行驶链路信息中，在一个行驶链路中也不会相关联着多个信号机。在对每个车道定义的一个行驶链路中相关联一个应关注的信号机，所以只要确定本车辆行驶的行驶链路，就能够确定唯一地要关注的信号机。
信号机信息具有：其高度信息；以地图坐标值确定的设置位置；应关注各信号机的车辆将行驶的行驶链路、即作为信号机控制交通的目标的行驶链路的识别符；以及信号机的类别信息。信号机的类别信息是显示红色、黄色或蓝色的信号机、进行行人用的红色或蓝色显示的信号机、或通过箭头表示左右转弯的信号机等的信息。
图3是表示实际的交叉路口中的行驶链路信息及信号机信息的一例子的图。如图3所示，在本车辆V将行驶的行驶链路LKU1存在的道路中，设定有行驶链路LKD1。但是，行驶链路LKU1是上行车道的行驶链路，行驶链路LKD1是下行车道的行驶链路，两者作为另外的行驶链路附加不同的识别符。此外，在本车辆将行驶的行驶链路LKU1的行进方向侧，有以节点ND2连接的三个行驶链路LKU2A、行驶链路LKU2B和行驶链路LKU2C。行驶链路LKU2A是直行车道的行驶链路，行驶链路LKU2B是右转车道的行驶链路，行驶链路LKU2C是左转车道的行驶链路。行驶链路LKU2A和行驶链路LKU2C相关联的连接链路不同，所以被定义作为不同的行驶链路。
然而，从图3所示的本车辆V观察前方时，如图4所示，有信号机SG1和信号机SG2两者会同时进入视野(拍摄范围)，本车辆V难以清楚应关注哪个信号机的情况。在这样的状况中，在通过图像识别技术等确定其中一个信号机的处理中也有可能进行错误的处理。再有，图4所示的z轴是拍摄方向。
细节将后面论述，但本实施方式的信号识别装置100中，对每个应关注的信号机都与行驶链路相关联，在图3所示的例子中，在本车辆V的行驶链路LKU1中，由于仅信号机SG1相关联，所以如图4所示，即使同时地进入拍摄范围，也能够确定应关注的信号机SG1，并提取包含了该信号机SG1的图像区域R。
即，在交叉路口设置多个信号机，交通环境为复杂的环境中，在本实施方式中通过参照行驶链路信息和信号机信息，也能够对于一个行驶链路确定一个应关注的信号机。以下，说明确定一个应关注的信号机，并识别该信号表示的内容的本实施方式的信号识别方法。
信号识别装置100的控制装置10确定应关注的信号机，是包括存储了识别该信号机表示的信息的内容的程序的ROM(Read Only Memory；只读存储器)12、通过执行该ROM中存储的程序，具有作为信号识别装置100的功能的动作电路的CPU(Central ProcessingUnit；中央处理器)11、以及具有作为可访问的存储装置的功能的RAM(Random AccessMemory；随机存储器)13的计算机。
本实施方式的信号识别装置100的控制装置10具有拍摄图像获取功能、本车位置获取功能、关注信号机确定功能、信号图像区域提取功能、以及信号内容识别功能。本实施方式的控制装置10，通过用于实现上述功能的软件和上述硬件的合作来执行各功能。
以下，说明本实施方式的信号识别装置100的各功能。
首先，说明本实施方式的控制装置10的拍摄图像获取功能。控制装置10获取相机20拍摄的本车辆周围的拍摄图像。
说明本实施方式的控制装置10的本车位置获取功能。控制装置10获取由位置检测装置30检测到的本车辆的当前位置。如果有由位置检测装置30检测到的本车辆的姿态信息，则控制装置10也将其获取。
控制装置10的关注信号机确定功能，参照地图信息41，基于本车辆的当前位置所属的行驶链路来确定应关注的信号机。控制装置10根据从地图信息41获取的行驶链路信息和从位置检测装置获取的本车辆的当前位置，推测本车辆将行驶的行驶链路。控制装置10将与本车辆的当前位置所属的地点或区域相关联的行驶链路，作为本车辆将行驶的行驶链路来推测。此外，控制装置10也可以将距本车辆的当前位置的距离最小的(近的)行驶链路作为本车辆将行驶的行驶链路来推测。此外，在获取了包含本车辆的行驶方向的姿态的情况下，也可以将本车辆的行驶方向和从行驶链路的起点朝向终点的向量的方向之差为规定阈值以下的、例如90°以下行驶链路、即距当前位置的距离最小(近的)行驶链路作为本车辆将行驶的行驶链路来推测。
而且，在行驶链路信息中包含要连接的(换道目的地的)连接链路的情况下，由于选择项被缩小在当前的行驶链路中要连接的连接链路中，所以下一个要行驶的行驶链路也可以在缩小的行驶链路中选择距当前位置距离最近的行驶链路。由此，对每个要换道的(下一个移动的)连接链路，即使是应注意的信号机不同的复杂的交通环境，也能够正确地推测本车辆要行驶的行驶链路，不弄错地推测在交叉路口要右转的行驶链路和在交叉路口要直行的行驶链路。
在参照地图信息41的本车辆将行驶的行驶链路信息411，并判断为到达了行驶链路的终点的情况下，本实施方式的控制装置10计算本车辆下一个要行驶的行驶链路。具体地说，在本车辆和行驶链路相关联的有向链路的终点之间的距离不足规定值的情况下，控制装置10参照行驶链路信息411，运算以本车辆的当前位置所属的行驶链路的终点连接的连接链路。
具体地说，如图5所示，在与从行驶链路的起点朝向终点的向量的比较中，计算至终点节点为止的距离，本车辆V的当前位置VL距行驶链路LKU1的终点节点ND2的距离D不足规定值的情况下，在本车辆V到达了行驶链路LKU1的终点的定时，控制装置10推测本车辆V的下一个要行驶的行驶链路。
本实施方式的控制装置10参照地图信息41中相关联的行驶链路信息411和/或信号机信息412，确定与推测出的本车辆的行驶链路相关联的应关注的信号机。控制装置10识别本车辆将行驶的行驶链路ID，在行驶链路信息411中，参照与该行驶链路ID相关联的信号机信息412，确定本车辆在该行驶链路行驶时应关注的信号机。而且，控制装置10从信号机信息412中获取确定的信号机的设置位置、高度等的三维位置信息、类别等。
接下来，说明控制装置10的信号图像区域提取功能。控制装置10基于确定的信号机的位置信息和相机20的拍摄特性信息42，提取相机20的拍摄图像中的信号机的图像区域。控制装置10根据包含本车位置获取功能获取的本车辆的位置、由信号机确定功能确定的应关注的信号机的三维位置信息、相机20相对本车辆的安装位置信息的外部参数(拍摄特性信息42)，从几何关系计算以相机20作为基准的信号机的相对位置关系。
本实施方式的控制装置10考虑由本车位置获取功能检测出的本车辆的姿态，提取拍摄图像中的信号机的图像区域。通过连本车辆的姿态都被考虑，能够正确地提取信号机的图像显现的图像区域。具体的处理没有被限定，但进行与本车辆的姿态对应的坐标变换，求在当前的本车辆的姿态中拍摄了信号机时的、拍摄图像中的信号机的图像区域。
在本车位置获取功能仅获取了本车辆的位置的情况下，即在不能获取本车辆的姿态信息的情况下，控制装置10能够将本车要行驶的行驶链路的朝向用作本车辆的姿态。在具有右转或左转等曲率的行驶链路中，在地图信息41的行驶链路信息中预先包含起点节点中的姿态和终点节点中的姿态，分别计算本车辆的位置至行驶链路的起点节点及终点节点为止的距离，根据该距离在行驶链路中的本车辆的行进比例，能够计算从行驶链路的起点节点至终点节点为止的各位置中的姿态的变化。
如上述的，相机20的驱动装置21基于拍摄图像中的信号机的图像区域的位置，变更相机20的拍摄方向。对于变更相机20的拍摄方向时所用的信号机的图像区域的位置，优选不仅计算以当前的相机20作为基准的至信号机为止的相对位置信息，还考虑了本车辆的车速和偏航率等本车辆的行驶信息、以及计算该信号机的图像区域的处理上需要的预计时间，计算在下一个周期中确定的信号机的图像区域。从车辆控制器60获取本车辆的行驶信息。如果能够预测进行下次的信号机的确定处理时的信号机的图像区域，则驱动装置21调整相机20的拍摄方向，以使相机20能够拍摄预测的信号机的图像区域。由此，能够正确地进行下次的信号机的确定。
如同前述，相机20基于信号机的图像区域相对拍摄图像的比例，变更相机20的拍摄倍率。对于在使相机20的拍摄倍率变更时使用的、信号机的图像区域占拍摄图像整体的比例，优选不仅计算至以当前的相机20作为基准的信号机为止的相对位置信息，还考虑本车辆的车速和偏航率等本车辆的行驶信息以及计算该信号机的图像区域的处理上需要的预计时间，计算在下一个周期确定的信号机的图像区域。如果能够预测进行下次的信号机的确定处理时的信号机的图像区域，则驱动装置21调整相机20的拍摄倍率，以使相机20能够明确地拍摄预测的信号机的图像区域。由此，能够正确地进行下次的信号机表示的信号的内容认定。
控制装置10根据以相机20作为基准的信号机的相对位置和包含了相机20的镜头失真信息的内部参数(拍摄特性信息42)中，提取确定的信号机的像显现的拍摄图像上的图像区域(信号机的图像区域)。将该信号机的中心部(例如如果是红黄蓝类型的信号，则是黄色灯的中央部)的三维坐标投影变换到相机20的拍摄图像的坐标系中来求信号机的图像区域的中心坐标。信号机的图像区域的大小可以任意地设定为固定的大小，可以根据信号机的类别来设定，也可以根据从本车辆至信号机为止的距离来变更大小。虽然没有被特别地限定，但为了成为拍摄图像的信号机的图像区域的大小的规定的范围，也可以至信号机为止的距离越远，将信号机的图像区域设定得越大，至信号机为止的距离越近，使信号机的图像区域越小。此外，也可以根据本车辆的位置检测装置30的检测精度，使信号机的图像区域的大小变化。
最后，说明本实施方式的控制装置10的信号内容识别功能。本实施方式的控制装置10基于提取到的图像区域的信号机的图像，识别该信号机的信号内容。控制装置10对于由信号图像提取功能提取到的信号机的图像区域，进行识别信号机的信号内容的处理，获取信号表示的信息。信号机的信号内容的识别处理没有被特别地限定，但预先对信号机表示的每个信息保持模板图像，在图像处理中通过普通的模板匹配来具体地确定信号机的图像区域，然后，通过颜色识别验证信号机表示的各信号(例如红色、黄色和蓝色)的亮灯状态，并将亮灯的颜色作为信号机表示的信息来识别。信号的识别方法没有被特别地限定，能够适当地采用申请时已知的方法。
接着，基于图6的流程图说明本实施方式的信号识别装置100的控制过程。图6所示的处理内容，在具有作为控制装置10的功能的信号识别ECU中，例如以50毫秒(msec)左右的间隔连续地进行。
如图6所示，在步骤S110中，控制装置10获取位置检测装置30检测到的本车辆的当前位置。
在步骤S120中，控制装置10基于步骤S110中获取的本车辆的位置、以及在上次的处理中判定为本车辆行驶了(所属的)的行驶链路的信息，判断本车辆是否到达了行驶链路的终点节点。判断方法采用基于图5说明的方法。在判断为本车辆到达了终点节点的情况下，进至步骤S130，在没有判断为本车辆到达了终点节点的情况下，继续步骤110及120的处理。
在步骤S130中，控制装置10基于步骤S110中获取的本车辆的当前位置和地图信息41中包含的行驶链路信息411，求本车辆将行驶的行驶链路，进至步骤S140。
在步骤S140中，控制装置10根据步骤S130中求得的本车辆所属的行驶链路的识别符(ID)和地图信息41，基于本车辆的当前位置所属的行驶链路，确定应关注的信号机。
在步骤S150中，控制装置10从参照地图信息41的信号机信息412获取的、在步骤S140中确定的信号机的位置信息、在步骤S110中获取的本车辆的当前位置、以及本车辆上安装的相机20的外部参数(拍摄特性信息42)，计算信号机相对相机20的相对位置。
在步骤S160中，控制装置10基于确定的信号机的位置信息和相机20的拍摄特性信息42，提取相机20的拍摄图像中的信号机的图像区域。
在步骤S170中，控制装置10基于图像区域的信号机的图像，识别该信号机的信号内容。
在步骤S180中，控制装置10将识别结果传送到导航装置50、车辆控制器60或驱动***70。车载装置进行与信号机表示的信号的内容对应的驾驶辅助。虽没有被特别地限定，但在识别出停止或注意的信号显示的情况下，本实施方式的驾驶辅助***1通过执行使本车辆的速度减速的控制，或执行用声音引导停止或注意的信号显示的事实。
此外，控制装置10在步骤220中，基于步骤S160中求得的、拍摄图像中的信号机的图像区域的位置，变更相机20的拍摄方向。这是因为在信号的图像从拍摄图像的中心错开的情况下，校正相机20的拍摄方向，能够获取信号整体的图像。
而且，在本实施方式中，利用在步骤S160中求得的信号的图像区域，在步骤S210中预测在下次周期中进行的处理的定时中的信号的图像区域，基于预测的信号机的图像区域的位置，变更相机20的拍摄方向。由于车辆在移动中，所以预测为本次处理周期中的信号机的图像区域的位置和下次处理周期中的信号机的图像区域的位置不同。在本实施方式中，考虑本车辆的车速和偏航率等的本车辆的行驶信息和计算该信号机的图像区域的处理上需要的预计时间，计算在下一个周期中被确定的信号机的图像区域。
根据本实施方式的信号识别装置100，具有以下效果。
[1]根据本实施方式的信号识别装置100，由于参照包含了以有向链路定义的将连接链路和行进方向的信息相关联的行驶链路信息411、以及与该行驶链路信息相关联的信号机信息412的地图信息41，基于本车辆的当前位置所属的行驶链路来确定应关注的信号机，所以在存在多个信号机的复杂的交通环境中，也能够正确地推测本车辆的行驶链路，作为结果，驾驶员能够正确地确定应关注的一个信号机。
在本实施方式中，对道路的每个行驶车道设定由起点及终点作为有向链路定义的行驶链路，在交叉路口内，对直线、右转、左转等的每个行进方向信息设定由起点及终点作为有向链路定义的行驶链路，所以例如在图3所示的复杂的交叉路口内的环境中，也能够确定本车辆应关注的信号机。
在本实施方式中，由于行驶链路相关联下一个要连接的连接链路的信息，所以即使在相同的道路上存在多个行驶链路的情况下，也能够适当地推测本车辆所属的行驶链路。例如，如图3所示，在配置了信号机SG2的交叉路口中的左转时，左转行驶链路LKU2C和直行行驶链路LKU2A存在于相同的车道上，但左转行驶链路LKU2C与要换道的连接链路LKU3－TL相关联，直行行驶链路LKU2A与要换道的连接链路LKU3－ST相关联，所以能够正确地识别行驶链路LKU2C和行驶链路LKU2A。
[2]根据本实施方式的信号识别装置100，由于本车辆在与行驶链路的终点节点接近到规定距离以内的定时进行行驶链路的确定处理，所以能够正确地确定下一个要行驶的行驶链路。例如，能够在本车辆的当前位置的检测精度下降的情况下，不选择错误的连接链路。
[3]根据本实施方式的信号识别装置100，由于获取本车辆的姿态，并提取该姿态中的信号机的图像区域，所以能够正确地求信号机的图像显现的图像区域的位置。
[4]在本实施方式的信号识别装置100中，由于是一个行驶链路信息相关联一个信号机信息的信息方式，所以能够从通过车道、有向链路、连接链路及行进方向信息以较高精度推测出的行驶链路信息中，确定一个应关注的信号机。
[5]在本实施方式的信号识别装置100中，相机20是可驱动的，所以无论信号机的位置如何，都能够进行拍摄。例如，在图3那样的交叉路口环境中，在行驶链路LKU3－TR的点TRP处于右转等待的状况中，在拍摄通常前方的相机20中能够拍摄为视野范围外的信号机SG3。此外，与使用了宽视野角的相机的情况相比，使用了窄视野角的驱动相机的方式，能够降低映入不是要关注的信号机的可能性，能够降低误识别。
[6]在本实施方式的信号识别装置100中，相机20具备变焦驱动功能，根据信号机的图像区域的大小进行拍摄倍率的增减控制，所以无论与信号机之间的距离关系如何，都能够适当地保持拍摄图像中的信号机的图像区域的大小。由此，能够进一步降低其他信号机映入的风险。此外，由于识别目标即信号机的图像区域的大小大致固定，所以能够提高信号识别处理的精度。
再有，以上说明的实施方式，是为了容易理解本发明而记载的实施方式，不是用于限定本发明而记载的实施方式。因此，上述实施方式中公开的各要素，意在还包含属于本发明的技术的范围的全部设计变更和等同物。
即，在本说明书中，举例说明具备本发明的信号识别装置100、导航装置50、车辆控制器60、以及驱动***70的驾驶辅助***1，但本发明不限定于此。
在本说明书中，作为本发明的信号识别装置的方式，将具备控制装置10、作为拍摄单元的相机20、位置检测装置30、以及数据库40的信号识别装置100作为一例子来说明，但不限定于此。
在本说明书中，作为具备拍摄图像获取单元、本车位置获取单元、关注信号机确定单元、信号图像区域提取单元、以及信号内容识别单元的本发明的信号识别装置的一例子，将具有执行拍摄图像获取功能、本车位置获取功能、关注信号机确定功能、信号图像区域提取功能、以及信号内容识别功能的控制装置10的信号识别装置100，作为一例子来说明，但不限定于此。
标号说明
1…驾驶辅助***
100…信号识别装置
10…控制装置
11…CPU
12…ROM
13…RAM
20…相机
30…位置检测装置
40…数据库
41…地图信息
411…行驶链路信息
412…信号机信息
50…导航装置
60…车辆控制器
70…驱动***

Claims (7)

1.一种信号识别装置，包括：
拍摄图像获取单元，从本车辆上装载的拍摄单元，获取所述本车辆的周围的拍摄图像；
本车位置获取单元，获取所述本车辆的当前位置；
关注信号机确定单元，参照地图信息，并基于所述本车辆的当前位置所属的行驶链路，运算所述本车辆的当前位置所属的行驶链路的接着要行驶的行驶链路，并确定在所述接着要行驶的行驶链路行驶时应关注的信号机；
信号图像区域提取单元，基于所述确定的信号机的位置信息和所述拍摄单元的拍摄特性信息，提取所述拍摄单元的拍摄图像中的所述信号机的图像区域；以及
信号内容识别单元，基于所述提取出的图像区域中包含的所述信号机的图像，识别所述信号机的信号内容，
所述地图信息包含行驶链路信息和信号机信息，
所述行驶链路信息是将对每个车道通过包含起点及终点以及行驶方向的有向链路定义的行驶链路、以所述有向链路的起点及终点连接的连接链路、以及确定包含直行或左右转弯的行进方向的行进方向信息相关联的信息，
所述信号机信息与所述行驶链路相关联，并且是包含在所述行驶链路行驶时要关注的信号机的位置信息的信息。
2.如权利要求1所述的信号识别装置，其特征在于，
所述关注信号机确定单元参照所述本车辆要行驶的行驶链路信息，并在所述本车辆和所述行驶链路相关联的所述有向链路的终点之间的距离不足规定值的情况下，运算所述本车辆当前位置所属的行驶链路的接着要行驶的行驶链路，并确定在所述接着要行驶的行驶链路行驶时应关注的信号机。
3.如权利要求1或2所述的信号识别装置，其特征在于，
所述本车位置获取单元获取当前位置中的本车辆的姿态，
并提取所述获取的所述本车辆的姿态中的、所述信号机的图像区域。
4.如权利要求1或2所述的信号识别装置，其特征在于，
一个所述行驶链路信息关联着一个所述信号机信息。
5.如权利要求1或2所述的信号识别装置，其特征在于，
所述拍摄单元具备使该拍摄单元的拍摄方向变更的驱动装置，
所述驱动装置基于所述拍摄图像中的所述信号机的图像区域的位置，变更所述拍摄单元的拍摄方向。
6.如权利要求1或2所述的信号识别装置，其特征在于，
所述拍摄单元具备变焦功能，
所述拍摄单元的变焦功能，基于所述信号机的图像区域相对所述拍摄图像的面积比，控制拍摄倍率。
7.一种信号识别装置，包括装载于本车辆上的相机、位置检测装置和控制装置，
所述相机拍摄所述本车辆的周围，
位置检测装置检测所述本车辆的当前位置，
所述控制装置参照数据库中存储的地图信息，基于所述检测出的本车辆的当前位置所属的行驶链路，运算所述本车辆的当前位置所属的行驶链路的接着要行驶的行驶链路，确定在所述接着要行驶的行驶链路行驶时应关注的信号机，基于所述确定出的信号机的位置信息和所述相机的拍摄特性信息，提取所述相机拍摄的拍摄图像中的所述信号机的图像区域，基于在所述提取出的图像区域中包含的所述信号机的图像，识别所述信号机的信号内容，
所述地图信息包含行驶链路信息和信号机信息，
所述行驶链路信息是将对每个车道通过包含起点及终点以及行驶方向的有向链路定义的行驶链路、以所述有向链路的起点及终点连接的连接链路、以及确定包含直行或左右转弯的行进方向的行进方向信息相关联的信息，
所述信号机信息与所述行驶链路相关联，并且是包含在所述行驶链路行驶时要关注的信号机的位置信息的信息。
CN201480017472.6A 2013-04-04 2014-02-25 信号识别装置 Active CN105074794B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-078368 2013-04-04
JP2013078368 2013-04-04
PCT/JP2014/054435 WO2014162797A1 (ja) 2013-04-04 2014-02-25 信号認識装置

Publications (2)

Publication Number Publication Date
CN105074794A CN105074794A (zh) 2015-11-18
CN105074794B true CN105074794B (zh) 2017-10-24

Family

ID=51658101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480017472.6A Active CN105074794B (zh) 2013-04-04 2014-02-25 信号识别装置

Country Status (8)

Country Link
US (1) US9389093B2 (zh)
EP (1) EP2983153B1 (zh)
JP (1) JP5962850B2 (zh)
CN (1) CN105074794B (zh)
BR (1) BR112015024721B1 (zh)
MX (1) MX346231B (zh)
RU (1) RU2666061C2 (zh)
WO (1) WO2014162797A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9164511B1 (en) * 2013-04-17 2015-10-20 Google Inc. Use of detected objects for image processing
US9558408B2 (en) * 2013-10-15 2017-01-31 Ford Global Technologies, Llc Traffic signal prediction
JP6546450B2 (ja) * 2015-05-29 2019-07-17 株式会社Ｓｕｂａｒｕ 道路地図情報処理装置
MX363873B (es) * 2015-06-09 2019-04-05 Nissan Motor Dispositivo de deteccion de señales de trafico y metodo de deteccion de señales de trafico.
WO2016203616A1 (ja) * 2015-06-18 2016-12-22 日産自動車株式会社 信号機検出装置及び信号機検出方法
JP6712447B2 (ja) * 2015-06-30 2020-06-24 株式会社ゼンリン 運転支援装置、プログラム
JP6477883B2 (ja) * 2015-07-13 2019-03-13 日産自動車株式会社 信号機認識装置及び信号機認識方法
BR112018000191B1 (pt) * 2015-07-13 2023-02-14 Nissan Motor Co., Ltd Dispositivo de reconhecimento de semáforo e método de reconhecidmento de semáforo
JP6742736B2 (ja) * 2016-01-22 2020-08-19 株式会社デンソーテン 信号機の点灯色判定装置および信号機の点灯色判定方法
DE102016216070A1 (de) * 2016-08-26 2018-03-01 Siemens Aktiengesellschaft Steuergerät, System mit solch einem Steuergerät und Verfahren zum Betrieb solch eines Systems
WO2018145245A1 (en) * 2017-02-07 2018-08-16 Bayerische Motoren Werke Aktiengesellschaft Method, device and system for configuration of a sensor on a moving object
DE102017102593A1 (de) * 2017-02-09 2018-08-09 SMR Patents S.à.r.l. Verfahren und Vorrichtung zum Erkennen des Signalisierungszustands von mindestens einer Signalvorrichtung
JP6552064B2 (ja) * 2017-03-31 2019-07-31 株式会社Ｓｕｂａｒｕ 車両の走行制御システム
JP6838522B2 (ja) * 2017-08-10 2021-03-03 トヨタ自動車株式会社 画像収集システム、画像収集方法、画像収集装置、および記録媒体
CN110617821B (zh) * 2018-06-19 2021-11-02 北京嘀嘀无限科技发展有限公司 定位方法、装置及存储介质
JP6843819B2 (ja) 2018-11-27 2021-03-17 本田技研工業株式会社 交通案内物認識装置、交通案内物認識方法、およびプログラム
KR20200069542A (ko) 2018-12-07 2020-06-17 팅크웨어(주) 차선 내 안내 정보 추출을 통한 경로 안내 방법 및 이를 수행하는 전자 기기
JP7088135B2 (ja) * 2019-07-23 2022-06-21 トヨタ自動車株式会社 信号表示推定システム
JP7088137B2 (ja) * 2019-07-26 2022-06-21 トヨタ自動車株式会社 信号機情報管理システム
JP2021051603A (ja) * 2019-09-25 2021-04-01 株式会社Ｊｖｃケンウッド 車両用電子機器制御装置、車両用電子機器、車両用制御方法およびプログラム
JP6965325B2 (ja) * 2019-11-05 2021-11-10 三菱スペース・ソフトウエア株式会社 自動検出システムおよび自動検出プログラム
JP6979438B2 (ja) * 2019-11-05 2021-12-15 三菱スペース・ソフトウエア株式会社 データベース生成システムおよびデータベース生成プログラム
MX2022005541A (es) * 2019-11-12 2022-11-28 Nissan Motor Metodo de reconocimiento de semaforo y dispositivo de reconocimiento de semaforo.
JP7390204B2 (ja) * 2020-02-07 2023-12-01 三菱重工機械システム株式会社 経路推定装置、経路推定方法、及びプログラム
EP4308430A1 (en) * 2021-03-17 2024-01-24 Argo AI, LLC Remote guidance for autonomous vehicles
JP2022147209A (ja) * 2021-03-23 2022-10-06 トヨタ自動車株式会社 車両制御装置
CN113452904B (zh) * 2021-06-18 2022-11-04 北京三快在线科技有限公司 一种交通信号灯检测方法及装置
US11810049B2 (en) * 2021-08-20 2023-11-07 Ford Global Technologies, Llc Systems and methods to generate a last mile travel route for a delivery robot

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187930A (ja) * 1996-12-19 1998-07-21 Hitachi Ltd 走行環境認識装置
CN101395645A (zh) * 2006-03-06 2009-03-25 丰田自动车株式会社 图像处理***及方法
CN102792316A (zh) * 2010-01-22 2012-11-21 谷歌公司 交通信号的映射和检测

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100224326B1 (ko) 1995-12-26 1999-10-15 모리 하루오 차량용 네비게이션장치
JPH11306489A (ja) * 1998-04-16 1999-11-05 Matsushita Electric Ind Co Ltd カメラシステム
EP1540937A4 (en) * 2002-09-20 2008-11-12 M7 Visual Intelligence Lp VEHICLE TESTED DATA COLLECTION AND TREATMENT SYSTEM
JP3857698B2 (ja) 2004-04-05 2006-12-13 株式会社日立製作所 走行環境認識装置
JP2007071581A (ja) 2005-09-05 2007-03-22 Xanavi Informatics Corp ナビゲーション装置
JP4577655B2 (ja) * 2005-12-27 2010-11-10 アイシン・エィ・ダブリュ株式会社 地物認識装置
JP4446201B2 (ja) * 2007-03-30 2010-04-07 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法
JP4915281B2 (ja) * 2007-05-24 2012-04-11 アイシン・エィ・ダブリュ株式会社 信号機検出装置、信号機検出方法及びプログラム
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
JP5691915B2 (ja) 2011-07-27 2015-04-01 アイシン・エィ・ダブリュ株式会社 移動案内システム、移動案内装置、移動案内方法及びコンピュータプログラム
CN104956418B (zh) * 2013-01-25 2018-01-23 三菱电机株式会社 移动辅助装置及移动辅助方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187930A (ja) * 1996-12-19 1998-07-21 Hitachi Ltd 走行環境認識装置
CN101395645A (zh) * 2006-03-06 2009-03-25 丰田自动车株式会社 图像处理***及方法
CN102792316A (zh) * 2010-01-22 2012-11-21 谷歌公司 交通信号的映射和检测

Also Published As

Publication number Publication date
US20160054138A1 (en) 2016-02-25
MX346231B (es) 2017-03-13
RU2666061C2 (ru) 2018-09-05
EP2983153A1 (en) 2016-02-10
BR112015024721A2 (pt) 2017-07-18
RU2015140803A (ru) 2017-05-15
JPWO2014162797A1 (ja) 2017-02-16
WO2014162797A1 (ja) 2014-10-09
CN105074794A (zh) 2015-11-18
BR112015024721B1 (pt) 2022-01-18
JP5962850B2 (ja) 2016-08-03
EP2983153B1 (en) 2018-12-19
US9389093B2 (en) 2016-07-12
MX2015013884A (es) 2016-06-06
EP2983153A4 (en) 2016-06-01

Similar Documents

Publication Publication Date Title
CN105074794B (zh) 信号识别装置
CN105015547B (zh) 驾驶辅助装置
CN114375467B (zh) 用于检测紧急车辆的***和方法
CN105270287B (zh) 车辆驾驶辅助装置及具有该车辆驾驶辅助装置的车辆
JP4370869B2 (ja) 地図データ更新方法および地図データ更新装置
US10179588B2 (en) Autonomous vehicle control system
US11520340B2 (en) Traffic lane information management method, running control method, and traffic lane information management device
CN107176165A (zh) 车辆的控制装置
CN106569214B (zh) 结合导航信息的自适应巡航车载雷达数据处理方法及***
JP2021165080A (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
JP7172441B2 (ja) 進行可能方向検出装置及び進行可能方向検出方法
JP7206010B2 (ja) 制御装置
CN110036426A (zh) 控制装置和控制方法
JP4775658B2 (ja) 地物認識装置・自車位置認識装置・ナビゲーション装置・地物認識方法
CN110171415A (zh) 车辆控制装置
CN107111741B (zh) 用于具有摄像机的机动车的方法，设备和***
CN107063256A (zh) 汽车同步建图与定位方法
CN106840177A (zh) 汽车同步建图与障碍识别方法
US11073833B2 (en) Vehicle control apparatus
CN108128244A (zh) 车辆用显示装置
WO2020045426A1 (ja) 車載機
JP2020535541A (ja) 運転者支援のためのシステムおよび方法
CN114973644B (zh) 道路信息生成装置
JP2005092516A (ja) 車載用移動体検出装置
JP2014089137A (ja) 退出道路案内システム、方法およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant