JP7349792B2 - 車両走行のための情報を提供する方法 - Google Patents

車両走行のための情報を提供する方法 Download PDF

Info

Publication number
JP7349792B2
JP7349792B2 JP2019016926A JP2019016926A JP7349792B2 JP 7349792 B2 JP7349792 B2 JP 7349792B2 JP 2019016926 A JP2019016926 A JP 2019016926A JP 2019016926 A JP2019016926 A JP 2019016926A JP 7349792 B2 JP7349792 B2 JP 7349792B2
Authority
JP
Japan
Prior art keywords
vehicle
lane
information
image
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019016926A
Other languages
English (en)
Other versions
JP2019139762A (ja
Inventor
元周 李
滋厚 具
東▲うく▼ 李
宰雨 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2019139762A publication Critical patent/JP2019139762A/ja
Application granted granted Critical
Publication of JP7349792B2 publication Critical patent/JP7349792B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)

Description

本発明は、車両走行のための情報を提供する方法及びその装置に関する。
車両及びその他運送手段の操向を補助するための多様な視覚情報拡張現実（visual information augmentation）が提供されている。そのうち、任意の走行映像から、車線表示または道路情報などを抽出する多様な方法が利用される。
例えば、車両から遠く離れている映像に係わるピクセル情報が不足する場合、道路環境において、多様な客体によって車線が分かれる場合、雨や雪のような気象変化、昼夜のような時間変化による映像の明るさまたは対比（contrast）の変化が生じる場合、道路の様子や曲率（curvature）（例えば、ランプ（ramp）など）、または道路の高度変化などにより、映像情報が不足したり不正確であったりする等の場合のように、車線検出が容易ではない状況が生じてしまう。正確な車線検出がなされない場合、車の制御、経路決定のように、車両走行のための正確な情報提供に困難さが伴う。
本発明が解決しようとする課題は、車両走行のための情報を提供する方法及びその装置を提供することである。
前述の課題を解決するために、方法であって、該方法は、走行映像から、車線を含む車線領域を検出する段階と、地図情報を利用し、車両走行中である道路の曲率情報を決定する段階と、前記曲率情報を有する基準線（reference line）と、前記検出された車線領域とを基に、前記車両の横方向オフセット（lateral offset）を推定する段階と、前記曲率情報及び前記横方向オフセットに基づいて、前記車両走行のための情報を含む信号を出力する段階と、を含む。
前記車線領域を検出する段階は、前記走行映像に含まれた客体を区分する段階と、前記走行映像に含まれた前記客体が区分されたセグメンテーション（segmentation）映像を生成する段階と、前記生成されたセグメンテーション映像から、前記車線領域を検出する段階と、を含んでもよい。
前記曲率情報を決定する段階は、前記車両の現在位置を決定する段階と、前記車両の現在位置に対応する、地図上の複数の中間地点（waypoints）を基に、前記曲率情報を決定する段階と、を含んでもよい。
前記中間地点を基に、前記曲率情報を決定する段階は、前記現在位置から予見距離（look-ahead distance）以内に位置する前記中間地点を選択する段階を含んでもよい。
前記中間地点を基に、前記曲率情報を決定する段階は、前記中間地点に基づいて、前記地図上の道路の形態を認識する段階と、前記地図上の前記道路の形態に基づいて、前記曲率情報を決定する段階と、を含んでもよい。
前記地図上の前記道路の形態を認識する段階は、前記中間地点に係わる線形回帰分析（linear regression analysis）を介して、前記地図上の前記道路の形態を表現する回帰関数を算出する段階を含んでもよい。
前記予見距離は、前記車両の速度、可視距離、天候条件、走行条件、及び前記道路の状態のうちいずれか一つ、またはそれらの組み合わせに基づいても決定される。
前記曲率情報を決定する段階は、前記車両走行中である道路が複数の経路を含む場合、前記車両の目的地情報を基に、いずれか１つの経路を選択する段階と、前記選択された経路に対応する道路の曲率情報を決定する段階と、を含んでもよい。
前記車両の横方向オフセットを推定する段階は、前記車線領域の映像を平面視点映像に変換する段階と、前記平面視点映像に含まれた車線と前記基準線との多項式（polynomial）フィッティングスコア（fitting scores）を算出する段階と、前記多項式フィッティングスコアに基づいて、前記車両の横方向オフセットを推定する段階と、を含んでもよい。
前記多項式フィッティングスコアを算出する段階は、前記基準線を、既決定数のピクセル単位に移動させて行きながら、前記基準線と、前記平面視点映像に含まれた車線との間でマッチングされるピクセル個数を計数することにより、前記基準線移動による候補フィッティングスコアを算出する段階を含んでもよい。
前記候補フィッティングスコアを算出する段階は、前記基準線を、既決定数のピクセル単位に移動させる段階と、前記既決定数のピクセル単位に移動された基準線と、前記平面視点映像に含まれた車線との間でマッチングされるピクセル個数を計数する段階と、前記マッチングされるピクセル個数に基づいて、前記ピクセル単位に移動された基準線の候補フィッティングスコアを算出する段階と、を含んでもよい。
前記車両の横方向オフセットを推定する段階は、前記多項式フィッティングスコアに基づいて、車線を検出する段階と、前記検出された車線、及び前記平面視点映像における前記車両の横方向位置（lateral position）に基づいて、前記横方向オフセットを算出する段階を含んでもよい。
前記車線を検出する段階は、既定の臨界値に基づいて、前記フィッティングスコアのうち、各車線に対応する少なくとも１つの多項式フィッティングスコアを決定する段階と、前記各車線に対応する少なくとも１つの多項式フィッティングスコアに基づいて、当該車線を検出する段階と、を含んでもよい。
前記当該車線を検出する段階は、前記当該車線の少なくとも１つの多項式フィッティングスコアのうち、最高値を有する多項式フィッティングスコアを検出する段階と、前記検出された多項式フィッティングスコアに対応するオフセット情報を利用して、前記当該車線を決定する段階と、を含んでもよい。
前記当該車線を検出する段階は、前記当該車線の少なくとも１つの多項式フィッティングスコアを加重値とし、前記少なくとも１つの多項式フィッティングスコアに対応する少なくとも１つのオフセット情報を加重合算する段階と、前記加重合算結果を利用し、前記当該車線を決定する段階と、を含んでもよい。
前記横方向オフセットを算出する段階は、前記車両の横方向位置に隣接した左右車線の中心線を決定する段階と、前記中心線と、前記車両の横方向位置との距離を算出する段階と、を含んでもよい。
前記平面視点映像における前記車両の横方向位置は、前記平面視点映像の横方向の中央位置を含んでもよい。
前記平面視点映像における前記車両の横方向位置は、前記走行映像を撮影するために、前記車両に取り付けられたカメラの横方向位置に基づいても決定される。
前記車両走行のための情報を含む信号を出力する段階は、前記曲率情報及び前記横方向オフセットに基づいて、前記車両のローカル経路を決定する段階と、前記ローカル経路に基づいて、前記車両走行を制御するための信号を生成する段階と、を含んでもよい。
前記車両走行のための情報を含む信号を出力する段階は、前記曲率情報及び前記横方向オフセットに基づいて、前記車両のローカル経路を決定する段階と、前記ローカル経路に基づいて、前記車両走行経路を含む走行情報を提供する段階と、を含んでもよい。
前記走行映像を獲得する段階と、前記地図情報を獲得する段階と、を含んでもよい。
前述の課題を解決するために、車線を検出する方法は、走行映像から、車線を含む車線領域を検出する段階と、地図情報を基に、車両走行中である道路の曲率情報を決定する段階と、前記曲率情報に基づいた基準線と前記車線領域とを基に、車線を検出する段階と、を含む。
前記車線領域を検出する段階は、前記走行映像に含まれた客体を区分する段階と、前記走行映像に含まれた前記客体が区分されたセグメンテーション映像を生成する段階と、前記生成されたセグメンテーション映像から、前記車線領域を検出する段階と、を含んでもよい。
前記曲率情報を決定する段階は、前記車両の現在位置を決定する段階と、前記車両の現在位置に対応する、地図上の複数の中間地点を基に、前記曲率情報を決定する段階と、を含んでもよい。
前記中間地点を基に、前記曲率情報を決定する段階は、前記現在位置から予見距離以内に位置する前記中間地点を選択する段階を含んでもよい。
前記中間地点を基に、前記曲率情報を決定する段階は、前記中間地点に基づいて、前記地図上の前記道路の形態を認識する段階と、前記地図上の前記道路の形態に基づいて、前記曲率情報を決定する段階と、を含んでもよい。
前記地図上の前記道路の形態を認識する段階は、前記中間地点に係わる線形回帰分析を介して、前記地図上の前記道路の形態を表現する回帰関数を算出する段階を含んでもよい。
前記予見距離は、前記車両の速度、可視距離、天候条件、走行条件、及び前記道路の状態のうちいずれか一つ、またはそれらの組み合わせに基づいても決定される。
前記曲率情報を決定する段階は、前記車両走行中である道路が複数の経路を含む場合、前記車両の目的地情報を利用していずれか１つの経路を選択する段階と、前記選択された経路に対応する道路の曲率情報を決定する段階と、を含んでもよい。
前記車線を検出する段階は、前記車線領域の映像を平面視点映像に変換する段階と、前記平面視点映像に含まれた車線と前記基準線との多項式フィッティングスコアを算出する段階と、前記多項式フィッティングスコアに基づいて、前記車線を検出する段階と、を含んでもよい。
前記多項式フィッティングスコアを算出する段階は、前記基準線を、既決定数のピクセル単位に移動させて行きながら、前記基準線と、前記平面視点映像に含まれた車線との間でマッチングされるピクセル個数を計数することにより、前記基準線移動による候補フィッティングスコアを算出する段階を含んでもよい。
前記候補フィッティングスコアを算出する段階は、前記基準線を前記既決定数のピクセル単位に移動させる段階と、前記ピクセル単位に移動された基準線と、前記平面視点映像に含まれた車線との間でマッチングされるピクセル個数を計数する段階と、前記地図上の前記道路の形態を基に、前記曲率情報を決定する段階と、を含んでもよい。
前記地図上の前記道路の形態を認識する段階は、前記中間地点に係わる線形回帰分析を介して、前記地図上の前記道路の形態を表現する回帰関数を算出する段階を含んでもよい。
前記予見距離は、前記車両の速度、可視距離、天候条件、走行条件、及び前記道路の状態のうちいずれか一つ、またはそれらの組み合わせに基づいても決定される。
前記曲率情報を決定する段階は、前記車両走行中である道路が複数の経路を含む場合、前記車両の目的地情報を基に、いずれか１つの経路を選択する段階と、前記選択された経路に対応する道路の曲率情報を決定する段階と、を含んでもよい。
前記車線を検出する段階は、前記車線領域の映像を平面視点映像に変換する段階と、前記平面視点映像に含まれた車線と前記基準線との多項式フィッティングスコアを算出する段階と、前記多項式フィッティングスコアに基づいて、前記車線を検出する段階と、を含んでもよい。
前記多項式フィッティングスコアを算出する段階は、前記基準線を、既決定数のピクセル単位に移動させて行きながら、前記基準線と、前記平面視点映像に含まれた車線との間でマッチングされるピクセル個数を計数することにより、前記基準線移動による候補フィッティングスコアを算出する段階を含んでもよい。
前記候補フィッティングスコアを算出する段階は、前記基準線を、既決定数のピクセル単位に移動させる段階と、前記既決定数のピクセル単位に移動された基準線と、前記平面視点映像に含まれた車線との間でマッチングされるピクセル個数を計数する段階と、前記マッチングされるピクセル個数に基づいて、前記ピクセル単位に移動された基準線の候補フィッティングスコアを算出する段階と、を含んでもよい。
前記多項式フィッティングスコアに基づいて、前記車線を検出する段階は、既定の臨界値に基づいて、前記フィッティングスコアのうち、各車線に対応する少なくとも１つのフィッティングスコアを決定する段階と、前記各車線に対応する少なくとも１つのフィッティングスコアに基づいて、当該車線を検出する段階と、を含んでもよい。
前記当該車線を検出する段階は、前記当該車線の少なくとも１つのフィッティングスコアのうち、最高値を有するフィッティングスコアを検出する段階と、前記検出されたフィッティングスコアに対応するオフセット情報を利用し、前記当該車線を決定する段階と、を含んでもよい。
前記当該車線を検出する段階は、前記当該車線の少なくとも１つのフィッティングスコアを加重値とし、前記少なくとも１つのフィッティングスコアに対応する少なくとも１つのオフセット情報を加重合算する段階と、前記加重合算結果を利用し、前記当該車線を決定する段階と、を含んでもよい。
前記車線を検出する方法は、前記走行映像を獲得する段階と、前記地図情報を獲得する段階と、を含んでもよい。
前述の課題を解決するために、装置であって、該装置は、走行映像から、車線を含む車線領域を検出し、地図情報を利用し、車両走行中である道路の曲率情報を決定し、前記曲率情報を有する基準線と前記車線領域とを基に、前記車両の横方向オフセットを推定し、前記曲率情報及び前記横方向オフセットに基づいて、前記車両走行のための情報を含む信号を出力するプロセッサを含む。
前述の課題を解決するために、車線を検出する装置は、走行映像から、車線を含む車線領域を検出し、地図情報を利用し、車両走行中である道路の曲率情報を決定し、前記曲率情報に基づいた基準線と前記車線領域とを利用して車線を検出するプロセッサを含む。
前述の課題を解決するために、方法であって、該方法は、カメラセンサを利用し、道路上の車線領域を検出する段階と、車両の現在位置、及び前記車両から既決定距離内の位置内の複数の単一車線中間地点を基に、前記道路の曲率情報を決定する段階と、前記曲率情報を基に、前記車線領域の中心からの前記車両オフセットを決定する段階と、前記決定されたオフセット、及び前記曲率情報を基に、前記車両走行を制御する段階と、を含む。
前記オフセットは、前記車両の中心と、前記道路の中心線との距離でもある。
前記曲率情報は、前記複数の中間地点に係わる線形回帰分析を行うことによっても得られる。
一実施形態による、車両走行のための情報を提供する方法について説明するための図面である。 一実施形態による、車両走行のための情報を提供する方法について説明するための図面である。 一実施形態による、車両走行のための情報を提供する方法を示したフローチャートである。 一実施形態による、車線領域を検出する方法を示したフローチャートである。 一実施形態による、曲率情報を決定する方法を示したフローチャートである。 一実施形態による、曲率情報を決定する方法を示したフローチャートである。 一実施形態による、車両の横方向オフセットを推定する方法を示したフローチャートである。 一実施形態による、フィッティングスコアを算出する方法を示したフローチャートである。 一実施形態による、フィッティングスコアに基づいて、車両の横方向オフセットを推定する方法を示したフローチャートである。 一実施形態による、車線を検出する方法を示したフローチャートである。 他の実施形態による、車両走行のための情報を提供する方法を示したフローチャートである。 他の実施形態による、車両走行のための情報を提供する方法について説明するための図面である。 一実施形態による、車線回帰関数について説明するための図面である。 一実施形態による、走行映像、及び該走行映像に対応するセグメンテーション映像を図示した図面である。 一実施形態による、走行映像、及び該走行映像に対応するセグメンテーション映像を図示した図面である。 一実施形態による、セグメンテーション映像から検出された車線領域の映像、及び該車線領域の映像から変換された平面視点映像を図示した図面である。 一実施形態による、セグメンテーション映像から検出された車線領域の映像、及び該車線領域の映像から変換された平面視点映像を図示した図面である。 一実施形態による、車線を検出し、車両の横方向オフセットを検出する方法について説明するための図面である。 一実施形態による、カメラが車両中心で離隔された位置に取り付けられた場合、車両の横方向オフセットを推定する方法について説明するための図面である。 一実施形態による、カメラが車両中心で離隔された位置に取り付けられた場合、車両の横方向オフセットを推定する方法について説明するための図面である。 一実施形態による、車線を検出する方法を示したフローチャートである。 一実施形態による、曲率情報に基づいた基準線と車線領域とを利用して車線を検出する方法を示したフローチャートである。 一実施形態による、車両走行のための情報を提供したり、車線を検出したりする装置のブロック図である。
以下、添付された図面を参照し、一実施形態について詳細に説明する。しかし、特許出願の範囲は、そのような実施形態によって制限されたり限定されたりするものではない。各図面に提示された同一参照符号は、同一部材を示す。
以下で説明する実施形態には、多様な変更が加えられてもよい。以下で説明する実施形態は、当該実施形態について限定するものではなく、それらに係わる全ての変更、均等物あるいは代替物を含むものであると理解されなければならない。
一実施形態で使用した用語は、単に特定実施形態についての説明に使用されたものであり、一実施形態を限定する意図ではない。単数の表現は、文脈上明白に異なって意味しない限り、複数の表現を含む。本明細書において、「含む」または「有する」というような用語は、明細書上に記載された特徴、数、段階、動作、構成要素、部品、またはそれらの組み合わせが存在するということを指定するものであり、１またはそれ以上の他の特徴、数、段階、動作、構成要素、部品、またはそれらの組み合わせの存在または付加の可能性をあらかじめ排除するものではないと理解されなければならない。
取り立てて定義されない限り、技術的であったり科学的であったりする用語を含め、ここで使用される全用語は、一実施形態が属する技術分野において当業者によって一般的に理解されるところと同一意味を有している。一般的に使用される既定義の用語は、関連技術の文脈上有する意味と一致する意味を有するものであると解釈されなければならず、本出願で明白に定義しない限り、理想的であったり、過度に形式的であったりする意味に解釈されるものではない。
下記で説明される実施形態は、スマート車両のような拡張現実ナビゲーション（augmented reality navigation）システムにおいて車線（lines）を表示したり、自律走行車両の操向の一助とするための視覚情報を生成したりするか、あるいは車両走行のための多様な制御情報を提供するところにも活用される。また、一実施形態は、車両内走行補助または完全自律走行のために設置されたＨＵＤ（head us display）などの知能システムを含む機器に視覚情報（visual information）を提供し、安全であって快適な走行の一助にも使用される。一実施形態は、例えば、自律走行自動車、知能型自動車、スマートフォン及びモバイル機器などにも適用されるが、それらに制限されるものではない。以下、一実施形態について、添付された図面を参照して詳細に説明する。各図面に提示された同一参照符号は、同一部材を示す。
図１は、一実施形態による、車両走行のための情報を提供する方法について説明するための図面である。
自律走行システムにおいては、道路（road）の曲率と、道路中央からのオフセットとを含む多項式が選択され、それは、車線の維持や変更のためのローカル経路生成にも利用される。一実施形態による、車両走行のための情報を提供する車両（vehicle）、または他の装置（以下、「情報提供装置」）は、地図情報から、道路の曲率情報を抽出することができる。情報提供装置は、走行映像から、車線基盤の横方向オフセット検出するとき、道路の曲率情報を活用することができる。それにより、該情報提供装置は、走行映像から、正確な情報検出が困難である多様な状況（例えば、遠距離映像に係わるピクセル情報が不足した場合、道路環境における多様な客体によって車線が分かれる場合、または高速走行によって検出可能な車線距離が短くなる場合など）においても、車線検出及び横方向オフセット推定をさらに正確に行うことができ、車両走行のための情報を安定して提供することができる。
図１Ａは、車両１１０の現在位置に対応する、地図上の複数の中間地点（waypoints）１３０，…，１４０を図示する。このとき、複数の中間地点１３０，…，１４０は、車両１１０が走行中である道路に対応する地図上の道路１５０の一部地点にも該当する。
該情報提供装置は、地図上において、車両１１０の現在位置に隣接した中間地点１３０か、予見距離（look-ahead distance）に該当する中間地点１４０以内に位置する複数の中間地点１３０，…，１４０を基に、車両１１０が走行中である道路１５０の曲率情報を決定することができる。中間地点１４０は、車両１１０の前方位置において、中間地点１３０から定義された距離、または提供された距離に位置することができる。「予見距離」は、車両１１０の走行のための情報が必要であると予見される距離を意味し、例えば、車両の速度、可視距離（visible distance）、天候条件、走行条件、道路の状態、またはそれらの多様な組み合わせなどに基づいても決定される。または、該予見距離は、既決定の車線回帰関数（多項式）の次数により、複数の中間地点１３０，…，１４０を最も良好に表現することができる距離にも該当する。
該情報提供装置は、例えば、中間地点１３０，…，１４０に対する線形回帰分析（linear regression analysis）を介して、地図上の道路１５０の形態を表現する回帰関数を生成したり算出したりすることができる。該情報提供装置は、回帰関数を利用し、道路１５０の曲率情報を決定することができる。
図１Ｂを参照すれば、一実施形態において、該情報提供装置は、車両１１０に取り付けられたカメラを利用して獲得した走行映像から、車線を含む車線領域を検出することができ、曲率情報を基に形成された基準線と車線領域とを利用し、車両１１０の横方向オフセットを推定することができる。一実施形態において、車両１１０の「横方向オフセット（lateral offset）」は、車両１１０の中心１１５が道路１５０の中心線１５５から離れた距離ｄであるとすることが可能である。
以下、地図情報から獲得した道路の曲率情報と、走行映像から検出した車線領域とを利用し、車両走行のための情報を提供する方法について、図２ないし図１５を参照して説明する。また、該地図情報から獲得した道路の曲率情報と、走行映像から検出した車線領域とを利用して車線を検出する方法は、図１６Ａないし図１８を参照して説明する。
本明細書において「車両」は、道路上で走行中である車両を意味するものであり、例えば、自律走行車両、先端運転手支援システム（ＡＤＡＳ：advanced driver assistance system）を具備した知能型車両などを含んでもよい。しかし、該車両は、それに制限されるものではない。「道路」は、車両が通る路面を意味し、例えば、高速道路、国道、田舎道、地方道路、高速国道、自動車専用道路のような多様な類型の道路を含んでもよい。該道路は、１または多数個の車路（lane）を含んでもよい。「車路」は、道路路面上に表示された車線を介して、互いに区分される道路上の特定の指定空間または領域にも該当する。車路は、当該車路に隣接した左右車線によっても区分される。
また、「車線」は、道路路面上に、白色、青色または黄色のような色で表示された実線または点線のような多様な形態の指標（indicator）または線とも理解される。「車線領域」は、走行映像内において、車線を含む領域、または車線に対応する領域を含んでもよい。
図２は、一実施形態による、車両走行のための情報を提供する方法を示したフローチャートである。図２の動作は、図示された順序と方式とによって遂行されてよいが、一部の動作の順序が変わってもよいし、あるいは説明された例示的実施形態の思想及び範囲を逸脱せずに、動作の一部が省略されてもよい。図２に図示された多くの動作は、並列的又は同時に遂行されてよい。図２の１以上のブロック、及びブロックの組み合わせは、特定機能を遂行する特殊目的ハードウェア基盤コンピュータ、または特殊目的ハードウェアとコンピュータ命令との組み合わせによって具現されてもよい。
以下の図２の説明に加え、図１Ａ及び図１Ｂの説明は、図２にも適用可能であり、それらも適宜合わせて参照されてよい。従って、前述の説明は、ここで反復されない。また、図２は、図１Ａ及び図１Ｂのうちいずれか１つの情報提供装置に対応するように、該情報提供装置に関連して以下で説明する。
図２を参照すれば、一実施形態による情報提供装置は、走行映像から、車線を含む道路の車線領域を検出する（２１０）。該情報提供装置は、例えば、車両に装着された撮影装置を利用し、１または複数個の走行映像を獲得することができる。該車両は、図１の車両１１０に対応する。該走行映像は、単一走行映像、または複数の走行映像を含んでもよい。該撮影装置は、例えば、車両のウインドシールド（windshield）、ダッシュボード（dashboard）あるいはバックミラー（rear-view mirror）のように既定位置に固定され、車両前方の走行映像を撮影することができる。しかし、該撮影装置の位置は、それに制限されるものではない。該撮影装置は、例えば、ビジョンセンサ、イメージセンサ、またはそれと類似した機能を遂行する装置を含んでもよい。該撮影装置は、単一映像を撮影するか、あるいは、場合によっては、複数のフレームそれぞれに係わる映像を撮影することもできる。または、該走行映像は、該情報提供装置に含まれた撮影装置、または該情報提供装置以外の他の装置でキャプチャされた映像でもある。該走行映像は、例えば、図１３Ａに図示された走行映像１３１０でもある。
一実施形態によれば、段階（２１０）において、該情報提供装置は、ニューラルネットワーク（neural network）のディープラーニング（deep learning）技法、または他のマシーンラーニングモデルなどを基に、走行映像において、車線成分または道路成分に該当するピクセルを分類し、車線領域を検出することができる。該情報提供装置が車線領域を検出する方法は、以下の図３を参照して具体的に説明する。
該情報提供装置は、地図情報を利用し、車両走行中である道路の曲率情報を決定する（２２０）。該「地図情報」は、例えば、地球表面上の地理的な特徴（geographic feature）が、記号、文字、絵などを介して示された地図、当該地形地物の緯度・経度及び高度を含む地図座標、及び地図に示された経路上の複数の中間地点などを含んでもよい。ここで、該複数の中間地点は、道路上の単一車路を走行しながら、既定間隔で獲得された位置座標の集合でもある。該地図情報は、一般地図レベルの地図情報であるか、あるいは一般ナビゲーションレベルの地図情報にも該当する。該地図情報は、情報提供装置のメモリ（例えば、図１８のメモリ１８４０参照）にあらかじめ保存されるか、あるいは情報提供装置の通信インターフェース（例えば、図１８の通信インターフェース１８２０）を介して、情報提供装置の外部から受信したものでもある。
段階（２２０）において、該情報提供装置は、例えば、車両の現在位置から、予見距離以内に位置する地図上の複数の中間地点を選択し、該中間地点に係わる線形回帰分析を介して、地図上の道路の形態を表現する回帰関数を算出することができる。該車両の現在位置は、例えば、該情報提供装置に含まれたＧＰＳ（global position system）センサ、加速度センサ及び羅針盤センサなどを利用しても測定される。該情報提供装置は、回帰関数に基づいて、道路の曲率情報を決定することができる。該情報提供装置が道路の曲率情報を決定する方法は、以下の図４及び図５を参照して具体的に説明する。
該情報提供装置は、曲率情報を基に形成された基準線（reference line）と車線領域とを利用し、車両の横方向オフセットを推定する（２３０）。該基準線は、例えば、曲率情報が０である場合、直線状の線であり、曲率情報が０より大きい場合、カーブ（curve）状の線である。該カーブ状の線は、１方向の曲率を有する曲線、２方向以上の曲率を有する曲線、円形の少なくとも一部に該当する曲線、または楕円形の少なくとも一部に該当する曲線などを含んでもよい。該車両の横方向オフセットは、車両中心が走行中である車路の中心から離れた距離にも該当する。該車両の横方向オフセットは、例えば、車線における位置を維持するためのローカル経路（local path）を生成するために、正確に決定されなければならない。該情報提供装置が、車両の横方向オフセットを推定する方法は、以下の図６ないし図９を参照して具体的に説明する。
該情報提供装置は、曲率情報及び横方向オフセットに基づいて、車両走行のための情報を含む信号を出力する（２４０）。該情報提供装置は、例えば、曲率情報及び横方向オフセットに基づいて、車のローカル経路を決定することができる。該情報提供装置は、該ローカル経路に基づいて、車両走行のための情報を生成することができる。
このとき、車両走行のための情報は、例えば、ハンドル操向制御情報、車のアクセラレータ及びブレーキを介した加減速制御情報、検出された車線による走行情報、車両のローカル経路を含む映像情報、並びに多様な音響で表現される制御情報、及び映像情報を示す音響情報などを含んでもよい。該車両走行のための情報は、例えば、曲率情報及び横方向オフセットを反映させた車線回帰関数に基づいても決定される。該車線回帰関数は、例えば、
c2x2+c1x+c0
のような多項式（polynomial equation）形態、または平面曲線の一種であるクロソイド（clothoid）形態でもある。該クロソイドは、曲率変更が曲線長に反比例する螺旋（spiral）の一つであり、自動車のハンドルを等角速度で回したとき、自動車の走行軌跡に一致する曲線にも該当する。
または、該情報提供装置は、例えば、ＨＵＤのようなディスプレイ装置にディスプレイするために、ローカル経路に基づいた車両走行経路情報、または走行経路映像を走行情報を提供することができる。
図３は、一実施形態による、車線領域を検出する方法を示したフローチャートである。図３の動作は、図示された順序と方式とによって遂行されてよいが、一部の動作の順序が変わってもよいし、あるいは説明された例示的実施形態の思想及び範囲を逸脱せずに、動作の一部が省略されてもよい。図３に図示された多くの動作は、並列的又は同時に遂行されてよい。図３の１以上のブロック、及びブロックの組み合わせは、特定機能を遂行する特殊目的ハードウェア基盤コンピュータ、または特殊目的ハードウェアとコンピュータ命令との組み合わせによって具現されてもよい。また、図３は、図１Ａ及び図１Ｂのうちいずれか１つの情報提供装置に対応するように、情報提供装置に関連して以下で説明する。
図３を参照すれば、一実施形態による提供装置は、走行映像に含まれた客体を区分したセグメンテーション（segmentation）映像を生成することができる（３１０）。該提供装置は、例えば、走行映像から意味（semantic）単位で客体（object）を分割し、分割された客体（車線または道路）がいかなる意味を有するかということを、ピクセル（pixel）単位で把握することにより、セグメンテーション映像を生成することができる。該客体は、クラス（class）単位に分類され、該クラスは、例えば、道路、車線、車両、人道、人、動物、空、建物のような多様な意味単位を含んでもよい。該セグメンテーション映像は、例えば、図１３Ｂのセグメンテーション映像１３３０でもある。該提供装置がセグメンテーション映像を生成する方法は、図１３Ｂを参照し、さらに具体的に説明する。
該提供装置は、セグメンテーション映像から車線領域を検出することができる（３２０）。該提供装置は、セグメンテーション映像に含まれたピクセル単位のラベルから、客体、背景のような映像内の構成要素がどこにどのように存在するかということを精密に把握することができる。該提供装置は、例えば、車線クラスに分類されるピクセルを含む車線領域の映像を生成することができる。該セグメンテーション映像から検出された車線領域の映像は、例えば、図１４の映像１４１０である。
一実施形態によれば、該提供装置は、車線を含む車線領域を認識するように、あらかじめ学習されたコンボリューション神経網（ＣＮＮ：convolution neural network）、深層神経網（ＤＮＮ：deep neural network）、サポートベクターマシーン（support vector machine）などを利用し、走行映像から、車線領域を検出することができる。該コンボリューション神経網は、例えば、走行映像から検出する車線のバウンディングボックスや、検出する車線の種類などが共に判別されるように学習されたものでもある。
図４は、一実施形態による、曲率情報を決定する方法を示したフローチャートである。図４の動作は、図示された順序と方式とによって遂行されてよいが、一部の動作の順序が変わってもよいし、あるいは説明された例示的実施形態の思想及び範囲を逸脱せずに、動作の一部が省略されてもよい。図４に図示された多くの動作は、並列的又は同時に遂行されてよい。図４の１以上のブロック、及びブロックの組み合わせは、特定機能を遂行する特殊目的ハードウェア基盤コンピュータ、または特殊目的ハードウェアとコンピュータ命令との組み合わせによって具現されてもよい。また、図４は、図１Ａ及び図１Ｂのうちいずれか１つの情報提供装置に対応するように、情報提供装置に関連して以下で説明する。
図４を参照すれば、一実施形態による情報提供装置は、車両の現在位置を決定することができる（４１０）。該情報提供装置は、例えば、ＧＰＳ情報及び地図情報に基づいて、車両の現在位置を決定することができる。また、該情報提供装置は、車両のオドメータ、地磁気測定値などを利用し、車両の現在位置を決定することができる。しかし、車両位置決定方式は、それらに制限されるものではない。車両の現在位置が決定されれば、該情報提供装置は、車両の現在位置に対応する、地図上の複数の中間地点を利用し、曲率情報を決定することができる。
該情報提供装置は、車両の現在位置から既決定予見距離以内に位置する中間地点を選択することができる（４２０）。該予見距離は、例えば、車両の速度、可視距離、天候、走行状況、及び道路の状態のうちいずれか一つ、またはそれらの組み合わせに基づいても決定される。
例えば、予見距離が５０ｍである場合を仮定する。該情報提供装置は、車両速度が、設定された速度（例えば、６０ｋｍ）より速い場合、予見距離を、７０ｍまたは１００ｍに拡張させ、車両速度が設定された速度より遅い場合、予見距離を、４０ｍまたは３０ｍに縮小させることができる。または、該情報提供装置は、例えば、霧、雪または雨により、走行映像から把握される可視距離が短い場合、該予見距離を縮小させることができる。該情報提供装置は、微細ほこりがない日、または天候が晴れの日のように、可視距離が長い場合、該予見距離を拡張させることができる。
該情報提供装置は、例えば、道路の屈曲が激しい場合のように、道路状態が劣悪である場合(例えば、変化が大きい場合、変化が多い場合)には、予見距離を縮小させ、緩慢な平地のように、道路状態が良好である場合(例えば、変化が小さい場合、変化が少ない場合)には、該予見距離を拡張させることができる。その以外にも、該情報提供装置は、ラッシュアワー（rush hour）による交通の流れが混雑した走行状況においては、該予見距離を縮小させ、交通流れが円滑な走行状況においては、該予見距離を拡張させることができる。ただし、一実施形態による予見距離の決定方法は、前述の例示に限定されるものではない。
該情報提供装置は、地図上の車両現在位置に対応する複数の中間地点を利用し、曲率情報を決定することができる（４３０）。該情報提供装置は、中間地点に基づいて、地図上の道路形態を認識することができる。該情報提供装置は、例えば、中間地点に係わる線形回帰分析を介して、地図上の道路形態を表現する回帰関数を算出することができる。該情報提供装置は、回帰関数を利用し、地図上の道路形態を認識し、地図上の道路形態に基づいて、曲率情報を決定することができる。例えば、回帰関数が
c2x2+c1x
のような多項式であるとすれば、該情報提供装置は、多項式係数に該当するＣ２及びＣ１を曲率情報と決定することができる。以下、説明の便宜のために、回帰関数が二次多項式である場合について説明するが、該回帰関数は、三次以上の多項式、円の方程式、または楕円の方程式などにも多様に変形される。
図５は、他の実施形態による、曲率情報を決定する方法を示したフローチャートである。図５の動作は、図示された順序と方式とによって遂行されてよいが、一部の動作の順序が変わってもよいし、あるいは説明された例示的実施形態の思想及び範囲を逸脱せずに、動作の一部が省略されてもよい。図５に図示された多くの動作は、並列的又は同時に遂行されてよい。図５の１以上のブロック、及びブロックの組み合わせは、特定機能を遂行する特殊目的ハードウェア基盤コンピュータ、または特殊目的ハードウェアとコンピュータ命令との組み合わせによって具現されてもよい。また、図５は、図１Ａ及び図１Ｂのうちいずれか１つの情報提供装置に対応するように、情報提供装置に関連して以下で説明する。
図５を参照すれば、車両走行中である道路が、分岐点または回送路のように複数の経路を含む場合、曲率情報を決定する方法が図示される。
一実施形態による情報提供装置は、車両走行中である道路が、複数の経路を含むか否かということを判断することができる（５１０）。該情報提供装置は、例えば、地図情報及びＧＰＳ情報を利用し、車両走行中である道路が複数の経路を含むか否かということを判断することができる。
段階（５１０）において、車両走行中である道路が複数の経路を含むと判断されれば、該情報提供装置は、車両の目的地情報を利用し、いずれか１つの経路を選択することができる（５２０）。例えば、車両の目的地が場所Ａであり、車両走行中である道路が場所Ｂに向かう経路と、場所Ｃに向かう経路とを含むとする。該情報提供装置は、車両の目的地情報（場所Ａ）を利用し、場所Ｂと場所Ｃとのうち、場所Ａに向かう経路上にある場所Ｂに向かう経路を選択することができる。
該情報提供装置は、選択された経路に対応する地図上の複数の中間地点を利用し、曲率情報を決定することができる（５３０）。
段階（５１０）において、車両走行中である道路が複数の経路を含まないと判断されれば、該情報提供装置は、車両の現在位置を決定し（５４０）、車両の現在位置に対応する地図上の複数の中間地点を利用し、曲率情報を決定することができる（５５０）。
図６は、一実施形態による、車両の横方向オフセットを推定する方法を示したフローチャートである。図６の動作は、図示された順序と方式とによって遂行されてよいが、一部の動作の順序が変わってもよいし、あるいは説明された例示的実施形態の思想及び範囲を逸脱せずに、動作の一部が省略されてもよい。図６に図示された多くの動作は、並列的又は同時に遂行されてよい。図６の１以上のブロック、及びブロックの組み合わせは、特定機能を遂行する特殊目的ハードウェア基盤コンピュータ、または特殊目的ハードウェアとコンピュータ命令との組み合わせによって具現されてもよい。また、図６は、図１Ａ及び図１Ｂのうちいずれか１つの情報提供装置に対応するように、情報提供装置に関連して以下で説明する。
図６を参照すれば、一実施形態による情報提供装置は、車線領域の映像を平面視点映像に変換することができる（６１０）。該情報提供装置は、例えば、車線領域の映像にホモグラフィ行列を乗じ、平面視点映像に変換することができる。該平面視点映像は、「鳥瞰図（ＢＥＶ：bird’s eye view）映像」とも呼ぶ。または、該情報提供装置は、逆遠近変換方法（ＩＰＭ：inverse perspective mapping）を利用し、車線領域の映像を平面視点映像に変換することができる。該情報提供装置が逆遠近変換方法を利用し、車線領域の映像を平面視点映像に変換する方法は、図１３Ａ及び図１３Ｂを参照して具体的に説明する。
該情報提供装置は、平面視点映像に含まれた車線と基準線とのフィッティングスコア（fitting scores）を算出することができる（６２０）。例えば、該平面視点映像に含まれた車線が、第１車線、第２車線及び第３車線の合計３個であるとする。該情報提供装置は、該平面視点映像に含まれた第１車線と基準線とのフィッティングスコアを算出し、第２車線と基準線とのフィッティングスコアを算出することができる。同様に、該情報提供装置は、第３車線と基準線とのフィッティングスコアを算出することができる。該情報提供装置がフィッティングスコアを算出する方法は、以下の図７を参照して具体的に説明する。
該情報提供装置は、フィッティングスコアに基づいて、車両の横方向オフセットを推定することができる（６３０）。該情報提供装置が車両の横方向オフセットを推定する方法は、以下の図８を参照して具体的に説明する。
図７は、一実施形態による、フィッティングスコアを算出する方法を示したフローチャートである。図７の動作は、図示された順序と方式とによって遂行されてよいが、一部の動作の順序が変わってもよいし、あるいは説明された例示的実施形態の思想及び範囲を逸脱せずに、動作の一部が省略されてもよい。図７に図示された多くの動作は、並列的又は同時に遂行されてよい。図７の１以上のブロック、及びブロックの組み合わせは、特定機能を遂行する特殊目的ハードウェア基盤コンピュータ、または特殊目的ハードウェアとコンピュータ命令との組み合わせによって具現されてもよい。また、図７は、図１Ａ及び図１Ｂのうちいずれか１つの情報提供装置に対応するように、情報提供装置に関連して以下で説明する。
図７を参照すれば、一実施形態による情報提供装置は、基準線を既定数のピクセル単位に移動させることができる（７１０）。該情報提供装置は、例えば、該基準線を平面視点映像の一端から反対側端に向けて移動させることができる。このとき、該基準線は、平面視点映像において、横方向に既定数のピクセル単位でも移動される。該情報提供装置は、例えば、基準線を１ピクセル単位で移動させることもでき、２ピクセル単位または３ピクセル単位で移動させることもできる。
該情報提供装置は、ピクセル単位で移動された基準線と、平面視点映像に含まれた車線（例えば、第１車線、第２車線及び第３車線）との間でマッチングされるピクセル個数を計数することができる（７２０）。該平面視点映像に含まれた各車線は、複数のピクセルに該当する厚みを有することができる。一実施形態により、基準線を移動させる既定のピクセル単位は、各車線の厚みに該当するピクセル数よりも小さい。その場合、各車線ごとに、複数のマッチング動作が遂行される。
該情報提供装置は、マッチングされるピクセル個数に基づいて、既決定数のピクセル単位で移動された基準線の候補フィッティングスコアを算出することができる（７３０）。該候補フィッティングスコアは、複数の車線を互いに区分する前、既決定数のピクセル単位で移動された基準線の横方向位置（lateral position）に対応してフィッティングされた結果でもある。
該情報提供装置は、図７に図示された過程を反復し、候補フィッティングスコアを算出することができる。該情報提供装置は、候補フィッティングスコアを利用し、複数の車線を互いに区分することができる。例えば、特定横方向位置に対応する候補フィッティングスコアが、既定の臨界値を超える場合、当該横方向位置の線は、車線にも分類される。一方、特定横方向位置に対応する候補フィッティングスコアが、既定の臨界値未満である場合、当該横方向位置の線は、車線ではないとも認識される。一実施形態によれば、車線ではないと認識される線が、既定数（例えば、１または２）以上連続して検出される場合、当該線の左右に互いに異なる車線が存在するとも認識される。
以下で詳細に説明するが、該情報提供装置は、複数の車線が互いに区分されれば、車線に対応する候補フィッティングスコア（以下、フィッティングスコア）を利用し、車線を検出することができる。
図８は、一実施形態による、フィッティングスコアに基づいて、車両の横方向オフセットを推定する方法を示したフローチャートである。図８の動作は、図示された順序と方式とによって遂行されてよい、一部の動作の順序が変わりもし、あるいは説明された例示的実施形態の思想及び範囲を逸脱せずに、動作の一部が省略されてもよい。図８に図示された多くの動作は、並列的又は同時にも遂行されてよい。図８の１以上のブロック、及びブロックの組み合わせは、特定機能を遂行する特殊目的ハードウェア基盤コンピュータ、または特殊目的ハードウェアとコンピュータ命令との組み合わせによって具現されてもよい。また、図８は、図１Ａ及び図１Ｂのうちいずれか１つの情報提供装置に対応するように、情報提供装置に関連して以下で説明する。
図８を参照すれば、一実施形態による情報提供装置は、フィッティングスコアに基づいて、車線を検出することができる（８１０）。該情報提供装置が車線を検出する方法は、以下の図９を参照して具体的に説明する。
該情報提供装置は、車両の横方向位置に隣接した左右車線の中心線を決定することができる（８２０）。該情報提供装置は、平面視点映像において、車両の横方向位置を基準に、左側に隣接した車線と、右側に隣接した車線とを検出することができる。
平面視点映像において車両の横方向位置は、走行映像を撮影するために、車両に取り付けられたカメラの横方向位置に基づいても決定される。一実施形態によれば、カメラの視野角（field of view）は、左右方向に均一であると仮定することができる。その場合、平面視点映像の横方向に真ん中にカメラが位置すると判断されてもよい。もしカメラが車両の真ん中に取り付けられているならば、平面視点映像の横方向に真ん中に車両中心が位置するとも判断される。カメラが車両の真ん中に取り付けられた場合の動作は、図１５を介して、後述する。
また、カメラが車両の真ん中から離隔された位置に取り付けられた場合、カメラの位置に基づいて、平面視点映像内車両中心位置を推定することができる。カメラが車両の真ん中から離隔された位置に取り付けられた場合の動作は、図１６Ａ及び図１６Ｂを介して、後述する。
該平面視点映像において、車両の横方向位置が決定されれば、該情報提供装置は、車両の横方向位置において、左右に隣接した車線を検出することができる。該検出された車線は、車両走行中である車路の両側車線でもある。該情報提供装置は、検出された車線の中心線（言い換えれば、走行中である車路の中心線）を決定することができる。
該情報提供装置は、走行中である車路の中心線と、車両の横方向位置との距離を算出することにより、横方向オフセットを推定する（８３０）。
図９は、一実施形態による、車線を検出する方法を示したフローチャートである。図９の動作は、図示された順序と方式とによって遂行されてよいが、一部の動作の順序が変わってもよいし、あるいは説明された例示的実施形態の思想及び範囲を逸脱せずに、動作の一部が省略されてもよい。図９に図示された多くの動作は、並列的又は同時に遂行されてよい。図９の１以上のブロック、及びブロックの組み合わせは、特定機能を遂行する特殊目的ハードウェア基盤コンピュータ、または特殊目的ハードウェアとコンピュータ命令との組み合わせによって具現されてもよい。また、図９は、図１Ａ及び図１Ｂのうちいずれか１つの情報提供装置に対応するように、情報提供装置に関連して以下で説明する。
図９を参照すれば、一実施形態による情報提供装置は、既定の臨界値に基づいて、候補フィッティングスコアのうち、各車線に対応する少なくとも１つのフィッティングスコアを決定することができる（９１０）。１本の車線は、いくつかのラインによっても構成されるので、１本の車線を構成するいくつかのラインそれぞれに係わるフィッティングスコアが存在する。該情報提供装置は、候補フィッティングスコアのうち、車線ではない部分の候補フィッティングスコアは排除し、各車線に対応するフィッティングスコアのみを利用し、車線が検出されるように、臨界値を超えるフィッティングスコアのみを選択することができる。
該情報提供装置は、各車線に対応する少なくとも１つのフィッティングスコアに基づいて、当該車線を検出することができる（９２０）。
例えば、第２車線を構成するライン、及び第２車線の隣接ラインの候補フィッティングスコアに対応するオフセット情報が、下記［表１］のようであるとする。また、候補フィッティングスコアについて、既定臨界値が０．４とする。
Figure 0007349792000001
 該情報提供装置は、［表１］に示された候補フィッティングスコアのうち、臨界値（０．４）以下の値を有する候補フィッティングスコアを除去し、０．４を超える候補フィッティングスコアを第２車線に対応するフィッティングスコアと決定することができる。
該情報提供装置は、当該車線の少なくとも１つのフィッティングスコアのうち、最高値を有するフィッティングスコアを検出し、検出されたフィッティングスコアに対応するオフセット情報を利用し、当該車線を決定することができる。該情報提供装置は、例えば、第２車線の少なくとも１つのフィッティングスコア（０．７、０．８、０．９、０．７５）のうち代表値（例えば、最高値）を有するフィッティングスコア（０．９）を検出し、検出されたフィッティングスコアに対応するオフセット情報（７）を利用し、当該車線を決定することができる。
一実施形態により、該情報提供装置は、当該車線の少なくとも１つのフィッティングスコアを加重値にし、少なくとも１つのフィッティングスコアに対応する少なくとも１つのオフセット情報を重み付け加算（weighted sum）することができる。該情報提供装置は、加重合算結果を利用し、当該車線を決定することができる。該情報提供装置は、例えば、第２車線の少なくとも１つのフィッティングスコア
（０．７、０．８、０．９、０．７５）に対応する少なくとも１つのオフセット情報
（５、６、７、８）について、
（０．７ｘ５）＋（０．８ｘ６）＋（０．９ｘ７）＋（０．７５ｘ８）＝３．５＋４．８＋６．３＋６＝２０．６
のように加重合算することができる。該情報提供装置は、該重み付け加算結果の平均（即ち、重み付け平均）（２０．６／４＝５．１５）を利用し、当該車線を決定することができる。
図９を介して説明した車線を検出する方法は、以下の図１７の段階（１７３０）において、車線を検出するところにも同一に適用される。
図１０は、他の実施形態による、車両走行のための情報を提供する方法を示したフローチャートである。図１０の動作は、図示された順序と方式とによって遂行てよいが、一部の動作の順序が変わってもよいし、あるいは説明された例示的実施形態の思想及び範囲を逸脱せずに、動作の一部が省略されてもよい。図１０に図示された多くの動作は、並列的又は同時に遂行されてよい。図１０の１以上のブロック、及びブロックの組み合わせは、特定機能を遂行する特殊目的ハードウェア基盤コンピュータ、または特殊目的ハードウェアとコンピュータ命令との組み合わせによって具現されてもよい。また、図１０は、図１Ａ及び図１Ｂのうちいずれか１つの情報提供装置に対応するように、情報提供装置に関連して以下で説明する。
図１０を参照すれば、一実施形態による情報提供装置は、走行映像を獲得することができる（１００５）。該情報提供装置は、走行映像から、車線を含む車線領域を検出することができる（１０１０）。
該情報提供装置は、地図情報を獲得し（１０１５）、ＧＰＳ情報を獲得することができる（１０２０）。
該情報提供装置は、ＧＰＳ情報及び地図情報に基づいて、車両の現在位置を決定し（１０２５）、現在位置から予見距離以内に位置する中間地点を選択することができる（１０３０）。
該情報提供装置は、中間地点に係わる線形回帰分析を介して、地図上の道路形態を表現する回帰関数を算出することができる（１０３５）。
該情報提供装置は、該回帰関数を利用し、地図上の道路形態（例えば、蛇行した形状、Ｓ字形、一部曲線状、円形状、直線状など）を認識することができる（１０４０）。該情報提供装置は、地図上の道路形態に基づいて、曲率情報を決定することができる（１０４５）。
該情報提供装置は、車線領域の映像を平面視点映像に変換し（１０５０）、平面視点映像に含まれた車線と基準線とのフィッティングスコアを算出することができる（１０５５）。
該情報提供装置は、フィッティングスコアに基づいて、車線を検出することができる（１０６０）。該情報提供装置は、平面視点映像において、車両の横方向位置に隣接した左右車線の中心線を決定することができる（１０６５）。該情報提供装置は、車両の横方向オフセットを推定するために、中心線と車両の横方向位置との距離を算出することができる（１０７０）。
該情報提供装置は、曲率情報及び横方向オフセットに基づいて、車のローカル経路を決定し（１０７５）、ローカル経路に基づいて、車両走行を制御するための信号を生成することができる（１０８０）。
図１１は、他の実施形態による、車両走行のための情報を提供する方法について説明するための図面である。図１１を参照すれば、一実施形態による情報提供装置は、走行映像を獲得し（１１１０）、ピクセルレベルの分類を介して、走行映像に含まれた客体（または、車線領域）を区分したセグメンテーション映像を生成することができる（１１２０）。該情報提供装置は、車線を区分したセグメンテーション映像を、平面視点映像に変換することができる（１１３０）。
また、該情報提供装置は、ＧＰＳ情報（１１４０）と地図情報（１１５０）とを獲得することができる。該情報提供装置は、ＧＰＳ情報及び地図情報を利用し、車両の現在位置を求め、車両の現在位置に隣接した地図上の複数の中間地点を集め、多項式フィッティング（polynomial fitting）を行うことができる（１１６０）。例えば、多項式が
c2x2+c1x+c0
であるとすれば、該情報提供装置は、多項式フィッティングを介して、道路の曲率情報に該当するＣ１及びＣ２を把握することができる。そのとき、フィッティングの結果として導出されるＣ０は、利用されないか、あるいは多項式において、Ｃ０＝０と設定されて多項式フィッティングが行われる。
該情報提供装置は、例えば、図１１に図示されているように、Ｃ１及びＣ２の曲率情報を有する基準線を既決定数のピクセル単位（例えば、一ピクセル）に移動させて行きながら、該平面視点映像に含まれた車線と基準線とのフィッティングスコアを算出することができる（１１７０）。
該情報提供装置は、段階（１１７０）で算出されたフィッティングスコアに基づいて車線を検出し、車両の横方向位置に隣接した２本の車線を決定し、車両が走行中である車路の中心線、及び車両の横方向位置の差を、車両の横方向オフセットに決定することができる（１１８０）。そのとき、該オフセット情報は、多項式
c2x2+c1x+c0
におけるＣ０に対応させることが可能である。
該情報提供装置は、段階（１１６０）を介して把握された道路の曲率情報（Ｃ１及びＣ２）と、段階（１１８０）で決定された車両の横方向オフセット（Ｃ０）とにより、最終的な多項式（polynomial equation）を決定することができる（１１９０）。そのとき、最終的に決定された多項式は、車両走行経路による道路形態、及び走行車路内の車両位置を示す車線回帰関数にも該当する。また、該情報提供装置は、車線回帰関数を利用し、例えば、車両のハンドル操向を制御すること、車両の加減速のためのアクセラレータ及びブレーキなどを制御するように、車両走行を制御するための多様な制御パラメータを生成して出力することができる。該情報提供装置は、車線回帰関数を利用し、車両の経路を決定することができる。
一実施形態による、車両走行のための情報を提供する方法は、自律走行システムだけではなく、地図情報が与えられた室内ロボットアプリケーション、スマートファクトリ（smart factory）のような多様な産業環境において、精密な制御を要求するロボットシステムにおいて、ロボット経路制御のための制御線検出及び制御情報提供にも利用される。
図１２は、一実施形態による車線回帰関数について説明するための図面である。図１２を参照すれば、Ｃ１及びＣ２の曲率情報を有する基準線に基づいて、車両の横方向オフセットＣ０を決定することにより、車線回帰関数
c2x2+c1x+c0
が決定される。
一実施形態による情報提供装置は、例えば、多項式基盤またはクロソイド基盤の車線回帰関数を利用し、車両走行のための情報を提供することができる。
例えば、該車線回帰関数が
c2x2+c1x+c0
のような多項式であるとする。ｘは、車両の現在位置から走行方向に離れた距離に該当するので、一実施形態によれば、近距離車線は、横方向オフセット情報であるＣ０に基づいて制御され、遠距離車線は、道路曲率情報に該当するＣ１及びＣ２に基づいて制御されることができる。そのとき、該情報提供装置は、道路曲率及び横方向オフセットを考慮した車線回帰関数に基づいて、走行方向または走行角によってハンドルを制御することができる。
該情報提供装置は、遠距離上の車線検出の困難さを、地図情報を介して補正することにより、自車の横方向オフセットを検出し、それを介して、走行状況と独立して安定した制御を誘導することができる。
図１３Ａ及び図１３Ｂは、一実施形態による、走行映像、及び該走行映像に対応するセグメンテーション映像を図示した図面である。図１３Ａは、一実施形態による走行映像１３１０を図示し、図１３Ｂは、走行映像１３１０に対応するセグメンテーション映像１３３０を図示する。
走行映像１３１０は、例えば、他の車輌１１０、車線１３１５、沿石１３２０、人道１３２５、周辺環境１３０５などを含む道路映像及び道路路面映像などを含んでもよい。例えば、走行映像１３１０は、車両１１０及び車線１３１５を含む車線領域、及び周辺建物、木、空など周辺環境領域１３０５を含んでもよい。
図１３Ｂを参照すれば、セグメンテーション映像１３３０は、例えば、セマンティックセグメンテーション映像でもある。該セマンティックセグメンテーションは、客体をピクセル単位まで密度あるように予測し、映像にいかなる客体が含まれているかということを把握し、客体クラス（object class）が含まれたピクセル単位の領域を出力することができる。
さらに具体的には、一実施形態による情報提供装置は、例えば、多段階のコンボリューションレイヤ（convolution layer）及びフリコネックティッドレイヤ（fully connected layer）で構成された分類ネットワークを経て、セグメンテーション映像を生成することができる。該分類ネットワークを経ながら走行映像は、原映像の１／３２サイズに縮小されるが、ピクセル単位で稠密な予測を行うためには、さらに原映像サイズに復元する過程を経なければならない。該情報提供装置は、トレーニングイメージからトレーニング出力を出力するようにトレーニングされた、分類器モデル（classifier model）を利用し、走行映像を複数の領域に分割することができる。該分類器モデルは、例えば、コンボリューショナルニューラルネットワークでもあるが、それに制限されるものではない。該トレーニングイメージは、例えば、カラーイメージでもあり、該トレーニング出力は、トレーニング入力が分割された領域イメージを示すことができる。例えば、該トレーニング出力は、該トレーニングイメージの各ピクセルに対応する属性（または、クラス）（例えば、車線、道路、車、人、客体及び背景など）が手動で指定され、指定された属性に基づいて、あらかじめ分割された領域イメージでもある。
該情報提供装置は、例えば、AlexＮｅｔ、ＶＧＧＮｅｔ、GoogleＮＥＴのような周知の分類ネットワークを利用し、走行映像から意味単位で物体を分割し、分割された領域がいかなる意味を有するかということをピクセル単位で把握し、各クラスごとにレベリングすることにより、セグメンテーション映像を生成することができる。
一実施形態によれば、該情報提供装置は、全ピクセルのクラスを分類する代わりに、車線クラスのピクセルと、車線クラスではないピクセルとを区分するように動作することもできる。
図１４Ａ及び図１４Ｂは、一実施形態による、セグメンテーション映像から検出された車線領域の映像、及び該車線領域の映像から変換された平面視点映像を図示した図面である。図１４Ａ及び図１４Ｂは、セグメンテーション映像から検出された車線領域の映像１４１０、及び車線領域の映像から変換された平面視点映像１４３０が図示される。
一実施形態による情報提供装置は、例えば、あらかじめ学習されたコンボリューション神経網を利用し、走行映像から複数の車線を含む車線領域を検出することができる。それ以外にも、該情報提供装置は、多様な機械学習（machine learning）方法を利用し、車線領域の映像１４１０と共に、複数の車線を含む車線領域を検出することができる。
該情報提供装置は、例えば、複数の車線を含む車線領域に対して、逆遠近変換（ＩＰＭ）を適用し、平面視点に変換された車線１４３５を含む平面視点映像１４３０に変換することができる。平面視点に変換された車線１４３５は、左側の第１車線から第４車線まで総４本でもある。
該情報提供装置は、消失点に集まる道路映像に逆遠近変換を適用し、空から見下ろした形態の平面視点映像に変換することにより、車線がさらに均一であって明瞭に把握されるようにする。該平面視点映像においては、車線間の弁別力が高い。
該逆遠近変換は、遠近効果を有した走行映像から遠近効果を除去し、映像平面の位置情報を、世界座標系の位置情報に変換させる。該情報提供装置は、該逆遠近変換を介して、世界座標系で示された車線の位置情報から、道路の中心線から車両の原点までの法線距離と、車両方向として定義された道路に対する車両相対位置を容易に表現することができる。
該情報提供装置は、例えば、バウンディングボックスの中心を基準に、周辺映像を除き、検出された車線について逆遠近変換を適用することにより、全体映像のピクセルを変換することに比べ、計算量を大きく低減させることができる。
図１５は、一実施形態による、道路上の車線を検出し、車両の横方向オフセットを検出する方法について説明するための図面である。図１５においては、カメラが車両の中央位置に取り付けられた場合を仮定して説明する。
図１５を参照すれば、平面視点に変換された車線１４３５及び基準線１５１０が図示される。車両（自車）の位置１５３０は、平面視点映像の横方向への中央位置にも該当する。説明の便宜のために、基準線１５１０を直線で図示したが、基準線１５１０は、前述のＣ１及びＣ２のような道路の曲率情報に基づいたものでもある。
一実施形態による情報提供装置は、平面視点映像に含まれた車線１４３５と基準線１５１０とのフィッティングスコアを算出することができる。該情報提供装置は、基準線１５１０を、平面視点映像の左側あるいは右側のコーナー(又は隅又は端)から反対側コーナー(又は隅又は端)に向け、ピクセル単位（例えば、１ピクセル）で移動させて行きながら、基準線１５１０と、平面視点映像に含まれた変換された車線１４３５との間でマッチングされるピクセル個数を計数することができる。該情報提供装置は、マッチングされるピクセル個数を利用し、基準線の横方向位置に対応する候補フィッティングスコアを決定することができる。該情報提供装置は、候補フィッティングスコアのうち、既定の臨界値より大きい値を有する候補フィッティングスコアを、各車線に対応するフィッティングスコアに決定することができる。その過程を介して、該情報提供装置は、平面視点映像に含まれた変換された車線１４３５それぞれ（第１車線ないし第４車線）を検出することができる。
該情報提供装置は、車両の横方向位置１５３０に隣接した左右車線（例えば、第２車線と第３車線）の中心線を決定することができる。該情報提供装置は、左右車線の中心線１５４０と車両の横方向位置１５３０との距離を算出することができる。
図１６Ａ及び図１６Ｂは、一実施形態による、カメラが車両中心位置から離隔された位置に取り付けられた場合、車両の横方向オフセットを推定する方法について説明するための図面である。
図１６Ａを参照すれば、走行映像を撮影するためのカメラ１６０５が車両の中央位置１６１０に取り付けられた場合、平面視点映像において車両の横方向位置は、平面視点映像１６３０の横方向への中央位置１６４０でもある。一方、カメラ１６０５が、車の中央位置１６１０から右側に１０ｃｍ離れた位置１６２０に取り付けられた場合、車両の横方向位置は、平面視点映像１６３０の横方向の中央位置１６４０から左に偏った位置１６５０でもある。該情報提供装置は、カメラの解像度などを考慮し、カメラが離隔された程度（例えば、１０ｃｍ）に対応する平面視点映像上の位置を決定することができる。
図１６Ｂを参照すれば、一実施形態において、平面視点映像１６６０に含まれた車線の本数が、第１車線１６６１、第２車線１６６３、第３車線１６６５及び第４車線１６６７の４本、言い換えれば、当該道路が３車路であり、車両の横方向位置は、平面視点映像１６６０の横方向の真ん中１６７０から左に５ｃｍに該当する位置１６７５でもある。該情報提供装置は、車両の横方向位置１６７５に隣接した左右車線（例えば、第２車線１６６３及び第３車線１６６５）の中心線１６８０を決定することができる。例えば、中心線１６８０は、車が走行中である車路（例えば、２車路）幅の真ん中にも該当する。
該情報提供装置は、中心線１６８０と、車両の横方向位置１６７５との距離を算出することができる（８３０）。該情報提供装置は、中心線（２車路幅の真ん中）１６８０と、車両の横方向位置１６７５との距離を算出することができる。そのとき、中心線１６８０と、車両の横方向位置１６７５との距離が横方向オフセットにも該当する。
図１７は、一実施形態による、車線を検出する方法を示したフローチャートである。図１７の動作は、図示された順序と方式とによっても遂行されるが、一部動作の順序が変わりもし、あるいは説明された例示的実施形態の思想及び範囲を外れずに、動作の一部が省略されもする。図１７に図示された多くの動作は、並列的にも遂行され、同時にも遂行される。図１７の１以上のブロック、及びブロックの組み合わせは、特定機能を遂行する特殊目的ハードウェア基盤コンピュータ、または特殊目的ハードウェアとコンピュータ命令との組み合わせによって具現されてもよい。また、図１７は、図１Ａ及び図１Ｂのうちいずれか１つの情報提供装置に対応するように、情報提供装置に関連して以下で説明する。
図１７を参照すれば、一実施形態による、車線を検出する装置（以下、検出装置）は、走行映像から、車線を含む車線領域を検出する（１７１０）。一実施形態による検出装置は、前述の提供装置自体でもあり、情報提供装置と別個の装置でもある。該検出装置が車線領域を検出する方法は、前述の図３と同一であるので、当該部分の説明を参照する。
該検出装置は、地図情報を利用し、車両走行中である道路の曲率情報を決定する（１７２０）。該検出装置が道路の曲率情報を決定する方法は、前述の図４及び図５と同一であるので、当該部分の説明を参照する。
該検出装置は、曲率情報に基づいた基準線と車線領域とを利用し、車線を検出する（１７３０）。該検出装置が車線を検出する方法は、以下の図１８を参照して具体的に説明する。
図１８は、一実施形態による、曲率情報に基づいた基準線と車線領域とを利用して車線を検出する方法を示したフローチャートである。図１８の動作は、図示された順序と方式とによって遂行されてよいが、一部の動作の順序が変わってもよいし、あるいは説明された例示的実施形態の思想及び範囲を逸脱せずに、動作の一部が省略されてもよい。図１８に図示された多くの動作は、並列的又は同時に遂行されてよい。図１８の１以上のブロック、及びブロックの組み合わせは、特定機能を遂行する特殊目的ハードウェア基盤コンピュータ、または特殊目的ハードウェアとコンピュータ命令との組み合わせによって具現されてもよい。また、図１８は、図１Ａ及び図１Ｂのうちいずれか１つの情報提供装置に対応するように、情報提供装置に関連して以下で説明する。
図１８を参照すれば、一実施形態による検出装置は、車線領域の映像を平面視点映像に変換することができる（１８１０）。該検出装置が車線領域の映像を平面視点映像に変換する方法は、前述の図６の段階（６１０）、及び図１４Ａ及び図１４Ｂについての説明と同一であるので、当該部分の説明を参照する。
該検出装置は、平面視点映像に含まれた車線と基準線とのフィッティングスコアを算出することができる（１８２０）。該検出装置がフィッティングスコアを算出する方法は、前述の図７と同一であるので、当該部分の説明を参照する。
該検出装置は、フィッティングスコアに基づいて、車線を検出することができる（１８３０）。該検出装置が車線を検出する方法は、前述の図９と同一であるので、当該部分の説明を参照する。
図１９は、一実施形態による、車両走行のための情報を提供したり、車線を検出したりする装置のブロック図である。図１９を参照すれば、一実施形態による装置１９００は、プロセッサ１９３０を含む。装置１９００は、センサ１９１０、通信インターフェース１９２０、メモリ１９４０及びディスプレイ装置１９５０をさらに含んでもよい。
センサ１９１０、通信インターフェース１９２０、プロセッサ１９３０、メモリ１９４０及びディスプレイ装置１９５０は、通信バス１９０５を介して、互いに通信することができる。センサ１９１０は、例えば、イメージセンサ、加速道界センサ、羅針盤センサ、ＧＰＳセンサ、ジャイロセンサ、オドメータ、地磁気センサなどを含んでもよい。
装置１９００は、通信インターフェース１９２０を介して、センシング情報を受信することができる。一実施形態により、通信インターフェース１９２０は、装置１９００の外部に存在する他のセンサからセンシング情報を受信することができる。一実施形態により、通信インターフェース１９２０は、装置１９００の外部から、走行映像、地図情報及びＧＰＳ情報を受信することができる。
また、プロセッサ１９３０は、通信インターフェース１９２０を介して、車両走行のための情報を含む信号を出力することができる。
プロセッサ１９３０は、走行映像から、車線を含む車線領域を検出する。プロセッサ１９３０は、地図情報を利用し、車両走行中である道路の曲率情報を決定する。プロセッサ１９３０は、曲率情報を基に、決定された基準線と車線領域とを利用して車線を検出したり、車両の横方向オフセットを推定したりする。プロセッサ１９３０は、曲率情報及び横方向オフセットに基づいて、車両走行のための情報を含む信号を出力する。
また、プロセッサ１９３０は、図１ないし図１８を介して述べた少なくとも１つの方法、または少なくとも１つの方法に対応するアルゴリズムを遂行することができる。
プロセッサ１９３０は、目的とする動作（desired operations）を実行させるための物理的な構造を有する回路を有するハードウェアによって具現されたデータ処理装置でもある。例えば、目的とする動作は、プログラムに含まれたコード（code）またはインストラクション（instructions）を含んでもよい。例えば、ハードウェアによって具現されたデータ処理装置は、マイクロプロセッサ（microprocessor）、中央処理装置（central processing unit）、プロセッサコア（processor core）、マルチコアプロセッサ（multi-core processor）、マルチプロセッサ（multiprocessor）、ＡＳＩＣ（application specific integrated circuit）、ＦＰＧＡ（field-programmable gate array）を含んでもよい。
プロセッサ１９３０は、プログラムを実行し、提供装置１９００を制御することができる。プロセッサ１９３０によって実行されるプログラムコードは、メモリ１９４０にも保存される。
メモリ１９４０は、走行映像及び地図情報を保存することができる。メモリ１９４０は、前述のプロセッサ１９３０での処理過程で生成される多様な情報を保存することができる。それ以外にも、メモリ１９４０は、各種データやプログラムなどを保存することができる。メモリ１９４０は、揮発性メモリまたは不揮発性メモリを含んでもよい。メモリ１９４０は、ハードディスクのような大容量記録媒体を具備し、各種データを保存することができる。
ディスプレイ装置１９５０は、プロセッサ１９３０によって検出された車線を地図情報と共に、または別途に表示することができる。
一実施形態による方法は、多様なコンピュータ手段を介しても遂行されるプログラム命令形態に具現され、コンピュータ可読媒体にも記録される。前記コンピュータ可読媒体は、プログラム命令、データファイル、データ構造などを、単独でまたは組み合わせて含んでもよい。前記媒体に記録されるプログラム命令は、一実施形態のために特別に設計されて構成されたものであってもよく、コンピュータソフトウェア当業者に公知されて使用可能なものであってもよい。コンピュータ可読記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体（magnetic media）；ＣＤ－ＲＯＭ（compact disc read only memory）、ＤＶＤ（digital versatile disc）のような光記録媒体（optical media）、フロプティカルディスク（floptical disk）のような磁気・光媒体（magneto-optical media）、及びＲＯＭ（read-only memory）、ＲＡＭ（random access memory）、フラッシュメモリのようなプログラム命令を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作われるような機械語コードだけではなく、インタープリタなどを使用してコンピュータによって実行される高級言語コードを含む。前述のハードウェア装置は、一実施形態の動作を遂行するために、１以上のソフトウェアモジュールとして作動するように構成され、その逆も同一である。
以上のように、一実施形態が、たとえ限定された図面によって説明されたにしても、当該技術分野で当業者であるならば、前述のところを基に、多様な技術的修正及び変形を適用することができるであろう。例えば、説明された技術が説明された方法と異なる順序に遂行され、かつ／または説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合または組み合わされたり、他の構成要素または均等物によって代置されるか、あるいは置換されたりしても、適切な結果が達成される。
従って、他の具現、他の実施形態、及び特許請求範囲と均等なものなども、特許請求の範囲に属する。
本発明の、車両走行のための情報を提供する方法及びその装置は、例えば、自立走行関連の技術分野に効果的に適用可能である。
１１０ 車両
１１５ 車両の中心線
１３０，１４０ 中間地点
１５０ 地図上の道路
１５５ 道路の中心線

Claims (22)

  1. 走行映像から、車線を含む車線領域を検出する段階と、
    地図情報を利用し、車両走行中である道路の曲率情報を決定する段階と、
    前記曲率情報を有する基準線と、前記検出された車線領域とを基に、前記車両の横方向オフセットを推定する段階であって、前記車線領域の映像を平面視点映像に変換する段階と、前記平面視点映像に含まれた車線と前記基準線との多項式フィッティングスコアを算出する段階と、前記多項式フィッティングスコアに基づいて、前記車両の横方向オフセットを推定する段階とを含む、段階と、
    前記曲率情報及び前記横方向オフセットに基づいて、前記車両走行のための情報を含む信号を出力する段階
    を含み、前記多項式フィッティングスコアに基づいて、前記車両の横方向オフセットを推定する段階は、
    前記多項式フィッティングスコアに基づいて、車線を検出する段階と、
    前記検出された車線、及び前記平面視点映像における前記車両の横方向位置に基づいて、前記横方向オフセットを算出する段階と、
    を含み、前記車線を検出する段階で検出される車線は、既定の臨界値に基づいて決定された各車線に対応する多項式フィッティングスコアのうち、最高値の多項式フィッティングスコアに対応するオフセット情報を利用して決定される、方法。
  2. 前記車線領域を検出する段階は、
    前記走行映像に含まれた客体を区分する段階と、
    前記走行映像に含まれた前記客体が区分されたセグメンテーション映像を生成する段階と、
    前記生成されたセグメンテーション映像から、前記車線領域を検出する段階と、を含むことを特徴とする請求項１に記載の方法。
  3. 前記曲率情報を決定する段階は、
    前記車両の現在位置を決定する段階と、
    前記車両の現在位置に対応する、地図上の複数の中間地点を基に、前記曲率情報を決定する段階と、を含むことを特徴とする請求項１又は２に記載の方法。
  4. 前記中間地点を基に、前記曲率情報を決定する段階は、
    前記現在位置から予見距離以内に位置する前記中間地点を選択する段階を含むことを特徴とする請求項３に記載の方法。
  5. 前記中間地点を基に、前記曲率情報を決定する段階は、
    前記中間地点に基づいて、前記地図上の道路形態を認識する段階と、
    前記地図上の前記道路形態に基づいて、前記曲率情報を決定する段階と、を含むことを特徴とする請求項３に記載の方法。
  6. 前記地図上の前記道路形態を認識する段階は、
    前記中間地点に係わる線形回帰分析を介して、前記地図上の前記道路形態を表現する回帰関数を算出する段階を含むことを特徴とする請求項５に記載の方法。
  7. 前記予見距離は、
    前記車両速度、可視距離、天候条件、走行条件、及び前記道路の状態のうちいずれか一つ、またはそれらの組み合わせに基づいて決定されることを特徴とする請求項４に記載の方法。
  8. 前記曲率情報を決定する段階は、
    前記車両走行中である道路が複数の経路を含む場合、前記車両の目的地情報を利用していずれか１つの経路を選択する段階と、
    前記選択された経路に対応する道路の曲率情報を決定する段階と、を含むことを特徴とする請求項１又は２に記載の方法。
  9. 前記多項式フィッティングスコアを算出する段階は、
    前記基準線を既定数のピクセル単位で移動させて行きながら、前記基準線と、前記平面視点映像に含まれた車線との間でマッチングされるピクセル個数を計数することにより、前記基準線移動による候補フィッティングスコアを算出する段階を含むことを特徴とする請求項１に記載の方法。
  10. 前記候補フィッティングスコアを算出する段階は、
    前記基準線を既定数のピクセル単位で移動させる段階と、
    前記既定数のピクセル単位で移動された基準線と、前記平面視点映像に含まれた車線との間でマッチングされるピクセル個数を計数する段階と、
    前記マッチングされるピクセル個数に基づいて、前記既定数のピクセル単位で移動された基準線の候補フィッティングスコアを算出する段階と、を含むことを特徴とする請求項９に記載の方法。
  11. 前記車線を検出する段階は、
    既定の臨界値に基づいて、前記多項式フィッティングスコアのうち、各車線に対応する少なくとも１つの多項式フィッティングスコアを決定する段階と、
    前記各車線に対応する少なくとも１つの多項式フィッティングスコアに基づいて、当該車線を検出する段階と、を含むことを特徴とする請求項１に記載の方法。
  12. 前記当該車線を検出する段階は、
    前記当該車線の少なくとも１つの多項式フィッティングスコアのうち、最高値を有する多項式フィッティングスコアを検出する段階と、
    前記検出された多項式フィッティングスコアに対応するオフセット情報を利用し、前記当該車線を決定する段階と、を含むことを特徴とする請求項１１に記載の方法。
  13. 前記当該車線を検出する段階は、
    前記当該車線の少なくとも１つの多項式フィッティングスコアを加重値とし、前記少なくとも１つの多項式フィッティングスコアに対応する少なくとも１つのオフセット情報を加重合算する段階と、
    前記加重合算の結果を利用し、前記当該車線を決定する段階と、を含むことを特徴とする請求項１１に記載の方法。
  14. 前記横方向オフセットを算出する段階は、
    前記車両の横方向位置に隣接した左右車線の中心線を決定する段階と、
    前記中心線と、前記車両の横方向位置との距離を算出する段階と、を含むことを特徴とする請求項１に記載の方法。
  15. 前記平面視点映像における前記車両の横方向位置は、
    前記平面視点映像の横方向の中央位置を含むことを特徴とする請求項１に記載の方法。
  16. 前記平面視点映像における前記車両の横方向位置は、
    前記走行映像を撮影するために、前記車両に取り付けられたカメラの横方向位置に基づいて決定されることを特徴とする請求項１に記載の方法。
  17. 前記車両走行のための情報を含む信号を出力する段階は、
    前記曲率情報及び前記横方向オフセットに基づいて、前記車両のローカル経路を決定する段階と、
    前記ローカル経路に基づいて、前記車両走行を制御するための信号を生成する段階と、を含むことを特徴とする請求項１－１６のうち何れか一項に記載の方法。
  18. 前記車両走行のための情報を含む信号を出力する段階は、
    前記曲率情報及び前記横方向オフセットに基づいて、前記車両のローカル経路を決定する段階と、
    前記ローカル経路に基づいて、前記車両走行の経路を含む走行情報を提供する段階と、を含むことを特徴とする請求項１－１６のうち何れか一項に記載の方法。
  19. 前記走行映像を獲得する段階と、
    前記地図情報を獲得する段階と、をさらに含む請求項１－１８のうち何れか一項に記載の方法。
  20. 前記道路の曲率情報は、車両の現在位置、及び前記車両から既定の距離内の位置内の複数の単一車線中間地点を基に決定される、請求項１に記載の方法。
  21. 請求項１－２０のうち何れか一項に記載の方法を装置のコンピュータに実行させるコンピュータプログラム。
  22. 走行映像から、車線を含む車線領域を検出する段階と、
    地図情報を利用し、車両走行中である道路の曲率情報を決定する段階と、
    前記曲率情報を有する基準線と、前記検出された車線領域とを基に、前記車両の横方向オフセットを推定する段階であって、前記車線領域の映像を平面視点映像に変換する段階と、前記平面視点映像に含まれた車線と前記基準線との多項式フィッティングスコアを算出する段階と、前記多項式フィッティングスコアに基づいて、前記車両の横方向オフセットを推定する段階とを含む、段階と、
    前記曲率情報及び前記横方向オフセットに基づいて、前記車両走行のための情報を含む信号を出力する段階
    を含み、前記多項式フィッティングスコアに基づいて、前記車両の横方向オフセットを推定する段階は、
    前記多項式フィッティングスコアに基づいて、車線を検出する段階と、
    前記検出された車線、及び前記平面視点映像における前記車両の横方向位置に基づいて、前記横方向オフセットを算出する段階と、
    を含み、前記車線を検出する段階で検出される車線は、既定の臨界値に基づいて決定された各車線に対応する多項式フィッティングスコアに対応するオフセット情報を、加重合算したものを利用して決定される、方法。
JP2019016926A 2018-02-12 2019-02-01 車両走行のための情報を提供する方法 Active JP7349792B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180016904A KR102541561B1 (ko) 2018-02-12 2018-02-12 차량의 주행을 위한 정보를 제공하는 방법 및 그 장치들
KR10-2018-0016904 2018-02-12

Publications (2)

Publication Number Publication Date
JP2019139762A JP2019139762A (ja) 2019-08-22
JP7349792B2 true JP7349792B2 (ja) 2023-09-25

Family

ID=64048971

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019016926A Active JP7349792B2 (ja) 2018-02-12 2019-02-01 車両走行のための情報を提供する方法

Country Status (5)

Country Link
US (1) US11113544B2 (ja)
EP (1) EP3524936A1 (ja)
JP (1) JP7349792B2 (ja)
KR (1) KR102541561B1 (ja)
CN (1) CN110155053B (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7022624B2 (ja) * 2018-03-13 2022-02-18 株式会社ディスコ 位置付け方法
US11859983B2 (en) * 2018-03-15 2024-01-02 Pioneer Corporation Lane information generating method
KR20200106102A (ko) * 2019-02-21 2020-09-11 현대자동차주식회사 저비용 자율 주행 셔틀 운행 방법 및 장치
JP7164030B2 (ja) * 2019-05-15 2022-11-01 日産自動車株式会社 車両の走行制御方法及び走行制御装置
CN110525342A (zh) * 2019-08-30 2019-12-03 的卢技术有限公司 一种基于深度学习的ar-hud车载辅助驾驶方法及其***
CN112441012B (zh) * 2019-09-05 2023-05-12 北京地平线机器人技术研发有限公司 车辆行驶轨迹预测方法和装置
CN111361638B (zh) * 2019-10-12 2020-12-08 北汽福田汽车股份有限公司 车辆感知装置的控制方法、装置、可读存储介质及车辆
CN112785595B (zh) * 2019-11-07 2023-02-28 北京市商汤科技开发有限公司 目标属性检测、神经网络训练及智能行驶方法、装置
CN111123740B (zh) * 2019-12-19 2024-04-16 北京经纬恒润科技股份有限公司 硬件在环测试方法以及装置
CN113104037B (zh) * 2019-12-24 2022-08-30 浙江吉利汽车研究院有限公司 一种车辆方向盘转向角度确定方法及***
CN111152721B (zh) * 2019-12-31 2022-09-02 合肥疆程技术有限公司 一种绘制车道的引导线的方法、装置及抬头显示***
WO2021141448A1 (ko) * 2020-01-09 2021-07-15 엘지전자 주식회사 사이드링크를 지원하는 무선통신시스템에서 장치가 cpm을 전송하는 방법 및 이를 위한 장치
CN113155143A (zh) * 2020-01-23 2021-07-23 宝马股份公司 用于评估自动驾驶用的地图的方法、设备和车辆
JP7359715B2 (ja) * 2020-02-14 2023-10-11 株式会社Soken 道路形状推定装置
FR3107763B1 (fr) * 2020-02-28 2022-01-28 Continental Automotive Procédé de cartographie tri-dimensionnelle et calculateur associé
KR20210112672A (ko) * 2020-03-05 2021-09-15 삼성전자주식회사 객체를 검출하기 위한 프로세서 및 객체 검출 방법
US11391596B2 (en) * 2020-04-28 2022-07-19 Vgis Inc. System and method for converging mediated reality positioning data and geographic positioning data
CN112639814B (zh) * 2020-05-29 2022-02-11 华为技术有限公司 一种路况检测方法和装置
CN111824143A (zh) * 2020-07-22 2020-10-27 中国第一汽车股份有限公司 一种车辆横向控制方法、装置、计算机设备和存储介质
JPWO2022091478A1 (ja) * 2020-10-29 2022-05-05
CN112415552B (zh) * 2020-11-17 2022-04-15 北京百度网讯科技有限公司 车辆位置的确定方法、装置及电子设备
US12031829B2 (en) 2020-12-03 2024-07-09 Motional Ad Llc Localization based on surrounding vehicles
CN112710301B (zh) * 2020-12-09 2023-01-06 上汽大众汽车有限公司 一种自动驾驶车辆高精度定位方法和***
CN113052904B (zh) * 2021-03-19 2022-12-13 上海商汤临港智能科技有限公司 一种定位方法、装置、电子设备及存储介质
CN113022570B (zh) * 2021-03-19 2022-06-10 武汉理工大学 一种车辆换道行为识别方法及设备
JP2022149451A (ja) * 2021-03-25 2022-10-06 本田技研工業株式会社 車両用表示制御装置、車両用表示制御装置の制御方法、およびプログラム
KR102572336B1 (ko) * 2021-04-23 2023-08-30 한국전자기술연구원 주행 계획 장치 및 방법, 이를 적용한 이동 로봇
CN113232658B (zh) * 2021-06-28 2022-06-28 驭势（上海）汽车科技有限公司 一种车辆定位方法、装置、电子设备和存储介质
US20230063809A1 (en) * 2021-08-25 2023-03-02 GM Global Technology Operations LLC Method for improving road topology through sequence estimation and anchor point detetection
CN113830174B (zh) * 2021-09-28 2022-12-09 广州文远知行科技有限公司 一种转向角度修正方法、装置、设备及可读存储介质
KR102433544B1 (ko) * 2022-01-14 2022-08-18 주식회사 카비 순차 영상 분석을 통한 차량경로 복원 시스템 및 이를 이용한 차량경로 복원 방법
CN114518123B (zh) * 2022-02-24 2024-06-11 高德软件有限公司 信息处理方法
CN114565904A (zh) * 2022-03-02 2022-05-31 北京百度网讯科技有限公司 确定可行驶区域的方法、装置、设备、介质和车辆
KR102523146B1 (ko) * 2022-03-28 2023-04-18 주식회사 라이드플럭스 차량의 자율주행을 위한 주행 경로 모델링 방법, 장치 및 컴퓨터프로그램
DE102022109576B4 (de) 2022-04-20 2024-06-27 Bayerische Motoren Werke Aktiengesellschaft System, verfahren und software zum anzeigen einer abstandsmarkierung
CN115123218B (zh) * 2022-09-02 2022-11-22 小米汽车科技有限公司 车辆的检测方法、装置及其电子设备
US12014555B2 (en) * 2022-11-07 2024-06-18 Plusai, Inc. Vehicle localization based on lane templates
CN116935349B (zh) * 2023-09-15 2023-11-28 华中科技大学 一种基于Zigzag变换的车道线检测方法、***、设备及介质
CN117132863B (zh) * 2023-10-25 2023-12-22 罗普特科技集团股份有限公司 一种能够进行数据反馈的车辆***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005265494A (ja) 2004-03-17 2005-09-29 Hitachi Ltd 車両位置推定装置およびこれを用いた運転支援装置
JP2017124667A (ja) 2016-01-12 2017-07-20 トヨタ自動車株式会社 運転支援装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4716703B2 (ja) 2004-10-05 2011-07-06 アルパイン株式会社 ナビゲーション装置及びマップマッチング方法
DE102006011481A1 (de) 2006-03-13 2007-09-20 Robert Bosch Gmbh Verfahren und Vorrichtung zum Unterstützen eines Führens eines Fahrzeugs
EP2383679A1 (en) 2006-12-06 2011-11-02 Mobileye Technologies Limited Detecting and recognizing traffic signs
DE102008003666A1 (de) 2008-01-09 2009-07-16 Robert Bosch Gmbh Verfahren für die Steuerung eines Fahrerassistenzsystems und Fahrerassistenzsystem
US8605947B2 (en) 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
JP5187171B2 (ja) 2008-12-05 2013-04-24 トヨタ自動車株式会社 車線逸脱警報システム
US8912978B2 (en) 2009-04-02 2014-12-16 GM Global Technology Operations LLC Dynamic vehicle system information on full windshield head-up display
US8977489B2 (en) 2009-05-18 2015-03-10 GM Global Technology Operations LLC Turn by turn graphical navigation on full windshield head-up display
EP2602154B1 (en) 2010-08-06 2016-03-30 Toyota Jidosha Kabushiki Kaisha Vehicle light distribution control device and method
US8447519B2 (en) 2010-11-10 2013-05-21 GM Global Technology Operations LLC Method of augmenting GPS or GPS/sensor vehicle positioning using additional in-vehicle vision sensors
KR20120072020A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 자율주행 시스템의 주행정보 인식 방법 및 장치
US8457827B1 (en) 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
US9482536B2 (en) 2012-05-31 2016-11-01 International Electronic Machines Corp. Pose estimation
US9327765B2 (en) 2012-10-04 2016-05-03 Nissan Motor Co., Ltd. Steering control device
TWI523778B (zh) 2013-11-04 2016-03-01 Lane offset warning system and method
EP3812962A1 (en) 2013-12-04 2021-04-28 Mobileye Vision Technologies Ltd. Navigating a vehicle to pass another vehicle
JP6390095B2 (ja) * 2013-12-18 2018-09-19 株式会社ジェイテクト 車両制御装置
US9365214B2 (en) 2014-01-30 2016-06-14 Mobileye Vision Technologies Ltd. Systems and methods for determining the status of a turn lane traffic light
KR101573764B1 (ko) 2014-07-28 2015-12-02 현대모비스 주식회사 차량의 주행 차로 인식 시스템 및 방법
KR102157810B1 (ko) * 2014-09-29 2020-09-18 현대모비스 주식회사 내비게이션 시스템의 지도 매칭 장치 및 방법
KR101635831B1 (ko) * 2014-11-27 2016-07-05 연세대학교 산학협력단 차량 위치 인식 장치 및 방법
JP6506625B2 (ja) * 2015-05-29 2019-04-24 株式会社デンソー 運転支援装置及び運転支援方法
US11125566B2 (en) 2015-07-16 2021-09-21 Ford Global Technologies, Llc Method and apparatus for determining a vehicle ego-position
US10013610B2 (en) 2015-10-23 2018-07-03 Nokia Technologies Oy Integration of positional data and overhead images for lane identification
US10102434B2 (en) 2015-12-22 2018-10-16 Omnivision Technologies, Inc. Lane detection system and method
US20170248958A1 (en) 2016-02-25 2017-08-31 Delphi Technologies, Inc. Adjacent lane verification for an automated vehicle
JP6460349B2 (ja) * 2016-04-13 2019-01-30 トヨタ自動車株式会社 車両走行制御装置
CN111587407B (zh) * 2017-11-10 2024-01-23 辉达公司 用于安全且可靠的自主车辆的***和方法
JP6525413B1 (ja) * 2017-12-28 2019-06-05 マツダ株式会社 車両制御装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005265494A (ja) 2004-03-17 2005-09-29 Hitachi Ltd 車両位置推定装置およびこれを用いた運転支援装置
JP2017124667A (ja) 2016-01-12 2017-07-20 トヨタ自動車株式会社 運転支援装置

Also Published As

Publication number Publication date
US11113544B2 (en) 2021-09-07
CN110155053A (zh) 2019-08-23
US20190251373A1 (en) 2019-08-15
KR102541561B1 (ko) 2023-06-08
KR20190097453A (ko) 2019-08-21
CN110155053B (zh) 2024-04-05
EP3524936A1 (en) 2019-08-14
JP2019139762A (ja) 2019-08-22

Similar Documents

Publication Publication Date Title
JP7349792B2 (ja) 車両走行のための情報を提供する方法
KR102595897B1 (ko) 차선 결정 방법 및 장치
US20220067209A1 (en) Systems and methods for anonymizing navigation information
US10331957B2 (en) Method, apparatus, and system for vanishing point/horizon estimation using lane models
KR102503388B1 (ko) 자율 주행 내비게이션 동안의 객체 회피 방법
EP3673407B1 (en) Automatic occlusion detection in road network data
US11003945B2 (en) Localization using semantically segmented images
US11295161B2 (en) Localization using semantically segmented images
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
US10431094B2 (en) Object detection method and object detection apparatus
JP5714940B2 (ja) 移動***置測定装置
WO2021053393A1 (en) Systems and methods for monitoring traffic lane congestion
WO2022041706A1 (zh) 一种定位方法、定位***和车辆
EP3904831A1 (en) Visual localization using a three-dimensional model and image segmentation
KR102633140B1 (ko) 주행 정보를 결정하는 방법 및 장치
JP2018081545A (ja) 画像データ抽出装置及び画像データ抽出方法
US20240199006A1 (en) Systems and Methods for Selectively Decelerating a Vehicle
KR20190081664A (ko) 차선을 검출하는 방법 및 장치
CN113195322A (zh) 用于确定预定区域内的运动轨迹的方法和装置
WO2022149049A2 (en) Systems and methods for common speed mapping and navigation
KR102316818B1 (ko) 도로 네트워크를 갱신하는 방법 및 장치
JP6718025B2 (ja) 車両周辺の小物体領域を識別する装置及び方法
CN116524454A (zh) 物体追踪装置、物体追踪方法及存储介质
WO2022133986A1 (en) Accuracy estimation method and system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230912

R150 Certificate of patent or registration of utility model

Ref document number: 7349792

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150