JP6822427B2 - 地図変化点検出装置 - Google Patents

地図変化点検出装置 Download PDF

Info

Publication number
JP6822427B2
JP6822427B2 JP2018021191A JP2018021191A JP6822427B2 JP 6822427 B2 JP6822427 B2 JP 6822427B2 JP 2018021191 A JP2018021191 A JP 2018021191A JP 2018021191 A JP2018021191 A JP 2018021191A JP 6822427 B2 JP6822427 B2 JP 6822427B2
Authority
JP
Japan
Prior art keywords
image
map
collation
bird
eye view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018021191A
Other languages
English (en)
Other versions
JP2019003606A (ja
JP2019003606A5 (ja
Inventor
舞子 杉江
舞子 杉江
伊藤 靖之
靖之 伊藤
弘之 北川
弘之 北川
悟 野村
悟 野村
知晴 村手
知晴 村手
美代 浜田
美代 浜田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to PCT/JP2018/018296 priority Critical patent/WO2018225446A1/ja
Publication of JP2019003606A publication Critical patent/JP2019003606A/ja
Publication of JP2019003606A5 publication Critical patent/JP2019003606A5/ja
Priority to US16/682,538 priority patent/US11270131B2/en
Application granted granted Critical
Publication of JP6822427B2 publication Critical patent/JP6822427B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • G01C21/32Structuring or formatting of map data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Instructional Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

道路地図の変化点を検出する地図変化点検出装置に関する。
計測台車を走行させて、高精度に白線位置を計測する技術が知られている。特許文献1に記載の計測台車は、オドメトリ装置、3台のGPS(Global Positioning System)、3台のジャイロセンサ、レーザレーダ、カメラ、計算機を備えている。計測台車により計測された白線位置は、高精度地図に用いられる。高精度地図には、白線などの道路標示が正確に描かれる。特許文献2は、トップビュー変換処理を開示した文献である。
特開2007−218705号公報 特開2009−212734号公報
新規道路が開通することがある。新規道路が開通すれば、高精度地図も更新する必要がある。また、既存の道路でも、高精度地図を更新する必要が生じる変更が行われることがある。たとえば、一番右の車線が右折専用レーンに変更になるなどが、その例である。
高精度地図は、実際の道路の変化に対応して速やかに更新されることが好ましい。以下では、高精度地図に示されている道路に対して、実際の道路に変化が生じた位置を変化点とする。
計測台車を頻繁に走行させて、作成済みの高精度地図と、計測台車が計測して得た地図とを比較すれば、変化点を検出できる。しかし、計測台車は、上述した種々の装置を備えているので高価であり、多くの台数を用意して、頻繁に種々の道路を走行させることは困難である。つまり、計測台車により変化点を迅速に検出することは困難である。
一般の車両には、ドライブレコーダーなど、カメラを備えた機器が搭載されることが増えてきている。そこで、一般の車両に搭載されているカメラにより撮像された画像を用いて変化点を検出することが考えられる。しかし、一般の車両に搭載されているカメラで撮像した画像を用いて変化点を検出することは容易ではない。この理由は次の通りである。
カメラが撮像した画像に写る道路は、実際には同じ道路幅であっても、遠方ほど狭幅に写る。そのため、カメラが撮像した画像を、単純に、高精度地図に描かれている道路部分の画像と照合することができない。
また、一般の車両に搭載されているカメラは、他車両など、カメラが搭載された車両の周辺に存在する障害物を撮像するために設けられており、当然、カメラにより撮像された画像には、路面上にない種々の障害物が写っている。変化点を精度よく検出するためには、カメラにより撮像された画像から、変化点の検出に不要な障害物を除去することが好ましい。
しかし、一般の車両に搭載されているカメラは計測車両に搭載されているものよりも解像度が高くない。そのため、画像から精度よく障害物を検出して除去できない恐れもある。
これらの理由により、一般の車両に搭載されている解像度が低いカメラで撮像した画像を用いて、変化点を精度よく検出することは容易ではなかったのである。
本開示は、この事情に基づいて成されたものであり、その目的とするところは、解像度が低いカメラを用いても精度よく変化点を検出することができる地図変化点検出装置を提供することにある。
上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、技術的範囲を限定するものではない。
上記目的を達成するための開示の一つは、
車両に備えられ、車両の周辺を撮像するカメラ(110)と、
カメラが撮像した画像を俯瞰画像に変換する俯瞰変換部(S6)と、
路面地図を含んだ道路地図(151)を記憶する地図記憶部(150)と、
俯瞰画像と路面地図とを照合して、路面地図に対して、実際の路面に変化が生じた位置である変化点が存在するか否かを決定する照合処理部(164)と、
俯瞰画像から検出できる道路区画線の本数に基づいて、俯瞰画像から照合に用いる車両幅方向の領域を決定する照合領域特定部(163)とを備える地図変化点検出装置である。
上記目的を達成するための開示の他の一つは、
車両に備えられ、車両の周辺を撮像するカメラ(110)と、
カメラが撮像した画像を俯瞰画像に変換する俯瞰変換部(S6)と、
路面地図を含んだ道路地図(151)を記憶する地図記憶部(150)と、
俯瞰画像と路面地図とを照合して、路面地図に対して、実際の路面に変化が生じた位置である変化点が存在するか否かを決定する照合処理部(164)と、
俯瞰画像に対して、路面地図に含まれている物体の色を指定し、指定した色以外は黒に変換することで、俯瞰画像に含まれている障害物を除去する障害物除去処理部(S7)とを備え、
照合処理部は、障害物が除去された後の俯瞰画像と路面地図とを照合する地図変化点検出装置である
この地図変化点検出装置は、カメラが撮像した車両周辺の画像を俯瞰画像に変換する。俯瞰画像に変換することで、車両からの距離によらず、道路幅が、実際の道路と同様に一定幅の画像になる。また、俯瞰画像に変換することで、建物、樹木など、路面ではない場所に存在している種々の物体を除去することができる。この俯瞰画像を路面地図と照合する画像として用いるので、解像度が低くても、精度よく変化点を検出することができる。
第1実施形態の道路地図情報更新システム100の構成を示すブロック図である。 図1の画像処理部162が実行する処理を示すフローチャートである。 カメラ110が撮像する前方画像180を示す図である。 図2のS2で生成する補正後前方画像181を示す図である。 実像高Y、理想像高Y0、入射角θ、焦点距離fの関係を示す図である。 補正前画像の各点(u、v)と、理想像の直交座標(u0、v0)の関係を示す図である。 前方画像180を示す図である。 ディストーション補正画像185を示す図である。 ディストーション補正前の画像を説明する図である。 ボリューム歪補正後の画像を説明する図である。 区画線182と消失点183の関係を示す図である。 障害物を除去する前の俯瞰画像を示す図である。 障害物を除去した後の俯瞰画像を示す図である。 照合領域特定部163が実行する処理を示すフローチャートである。 白線強度Gを算出する方法を説明する図である。 白線強度Gから白線中心を検出する方法を説明する図である。 検出した線分のパターンと走行レーンとの関係を示す図である。 照合処理部164が実行する処理を示すフローチャートである。 距離変換する前の高精度地図を示す図である。 距離変換した後の高精度地図を示す図である。 図18のS22において実行する拡大縮小処理を示す図である。 図18のS22において実行する射影変換を示す図である。 図15のS23で実行するスコアリングを説明する図である。 第2実施形態の道路地図情報更新システム200の構成を示すブロック図である。 図20の地図生成部265が実行する処理を示すフローチャートである。 画像処理部162で生成した照合処理用の俯瞰画像を示す図である。 図25から、図21のS31で抽出する画像を説明する図である。 第3実施形態で画像処理部162が実行する処理を示すフローチャートである。 図28のS4Aの詳細処理を示すフローチャートである。 1フレーム前の消失点領域画像386である。 最新のフレームで得た消失点領域画像386である。 ピッチ変動量δyを説明する図である。 ピッチ補正をしていない俯瞰画像である。 ピッチ補正をした俯瞰画像である。 第4実施形態で照合処理部164が実行する処理を示すフローチャートである。 最初の照合領域401と1回目の部分領域402との関係を示す図である。 1回目の部分領域402aと2回目の部分領域403との関係を示す図である。
以下、実施形態を図面に基づいて説明する。図1は、地図変化点検出装置としての機能を備えた道路地図情報更新システム100の構成を示すブロック図である。
[全体構成]
道路地図情報更新システム100は、カメラ110、パラメータ記憶部120、GPS受信機130、挙動検出センサ140、地図記憶部150、演算部160、蓄積データ記憶部170を備えている。この道路地図情報更新システム100は車両1に搭載される。
カメラ110は、車両1の前方を撮像できる向きに取り付けられており、車両1の周辺のうち車両1の前方を撮像する。以下では、カメラ110が撮像した画像を前方画像180とする。図3に前方画像180の一例を示している。
本実施形態では、このカメラ110は、ドライブレコーダーが備えるカメラである。車両1にドライブレコーダーが搭載されていれば、道路地図情報更新システム100が別途、カメラ110を備える必要はない。ドライブレコーダーが備えるカメラ110であるので、カメラ110は広角レンズを備え、画角が広角になっている。
パラメータ記憶部120は、画像処理に必要なカメラ110のパラメータを記憶している。このパラメータは具体的には、カメラ110の焦点距離f、カメラ光軸のヨー角rxおよびチルト角ryである。カメラ110の焦点距離fは、製品により定まる値であり、パラメータ記憶部120に予め記憶されている。
一方、カメラ光軸のヨー角rxおよびチルト角ryは、カメラ110の取り付け姿勢により変化する。そこで本実施形態では、前方画像180を解析して、これらヨー角rxおよびチルト角ryを計算する。そして、計算結果をパラメータ記憶部120に記憶する。パラメータ記憶部120には、計算結果を記憶できるようにするために、書込み可能な記憶部が用いられる。
GPS受信機130は、衛星航法システムの一つであるGPS(Global Positioning System)が備える航法衛星が送信する航法信号を受信し、受信した航法信号に基づいて現在位置を逐次算出する。
挙動検出センサ140は、車両1の挙動を検出するセンサである。加速度センサ、車速センサ、ジャイロセンサが、挙動検出センサ140の具体例である。
地図記憶部150には高精度地図151が記憶されている。高精度地図151は、計測台車を走行させて計測した地図であり、道路区画線などの路面標示が画像のような詳細な状態で表されている。また、高精度地図151には、路面よりも上方の立体物、たとえば電柱、ガードレール、道路標識も詳細に表されている。以降の説明の便宜上、この高精度地図151のうち路面部分を路面地図とする。また、路面地図を含んでいる高精度地図151は道路地図に相当する。
演算部160は、CPU、ROM、RAM等を備えたコンピュータであり、CPUが、RAMの一時記憶機能を利用しつつ、ROMなどの非遷移的実体的記録媒体(non-transitory tangible storage medium)に記憶されているプログラムを実行する。これにより、演算部160は、車両位置検出部161、画像処理部162、照合領域特定部163、照合処理部164として機能する。これらの機能を実行すると、プログラムに対応する方法が実行される。
なお、演算部160が備える機能ブロックの一部または全部は、一つあるいは複数のIC等を用いて(換言すればハードウェアとして)実現してもよい。また、演算部160が備える機能ブロックの一部又は全部は、CPUによるソフトウェアの実行とハードウェア部材の組み合わせによって実現されてもよい。
蓄積データ記憶部170は、照合処理部164の処理により検出した変化点および変化点に関する道路情報を蓄積しておく記憶部である。変化点は、高精度地図151に示されている道路に対して、実際の道路に変化が生じた位置である。変化点に関する道路情報は、変化点において、具体的に、道路にどのような変化が生じたのかを示す情報である。たとえば、道路に新たに追加された道路標示の文字などが、変化点に関する道路情報である。
次に、演算部160が備える各部の処理を説明する。
[車両位置検出部161の処理]
車両位置検出部161は、衛星航法と自立航法とを組み合わせたハイブリッド航法により、車両1の現在位置を逐次検出する。衛星航法は、GPS受信機130から供給される信号に基づいて現在位置を推定する方法であり、自立航法は、挙動検出センサ140が検出する車両挙動に基づいて車両位置の相対軌跡を検出する方法である。なお、これに限られず、衛星航法のみで車両1の現在位置を逐次検出してもよい。車両位置検出部161は、検出した現在位置を画像処理部162に出力する。
[画像処理部162の処理]
画像処理部162は、カメラ110が逐次撮像した前方画像180を処理して俯瞰画像を生成する。この画像処理部162が実行する処理を、図2に示すフローチャートを用いて説明する。画像処理部162は、図2に示す処理を、道路地図情報更新システム100の起動状態において周期的に実行する。
ステップ(以下、ステップを省略する)S1ではカメラ110が撮像した前方画像180が入力される。S2では、S1で入力された前方画像180の歪みを補正する処理を行って、図4に例示する補正後前方画像181を生成する。S2は歪補正処理部に相当する。
前方画像180は、広角レンズで撮像されているため大きく歪みが生じる。歪みが大きい場合、変化点の検出精度が低下する。そのため、前方画像180の歪みを補正する。ここでの歪みはカメラ110への入射角に応じて画像の中心に引き寄せられて撮像される現象であり、ディストーションと呼ばれる。広角レンズの場合、ディストーションにより画像隅部ほど画像の上下中心あるいは左右中心に引き寄せられた樽型画像となる。
画像の射影方式には正射影、等距離射影などがあり、射影方式に対応した歪み補正処理を行う。本実施形態では、等距離射影に対応する歪み補正処理を行う。等距離射影関係式は、式1で表される。式1において、Yは実像高、Y0は理想像、fは焦点距離、θは入射角である。図5に、これら実像高Y、理想像高Y0、入射角θ、焦点距離fの関係を図示する。
補正前画像の各点の直交座標(u、v)を、実像高Yと極座標系における角度φとを用いて表現すると式2になる。
また、理想像の直交座標(u0、v0)は式3で示される。
図6に、補正前画像の各点(u、v)と、理想像の直交座標(u0、v0)と、極座標との関係を示す。歪み補正処理では、まず、(u、v)を式2により極座標(Y、φ)に変換する。次いで、極座標のYを、式1から得た理想像高Y0に置き換える。その後、式3から、直交座標(u0、v0)を得る。
ここまでの処理で得た画像をディストーション補正画像185とする。図7には、図3とは別の前方画像180を示しており、図8には、図7の前方画像180を補正して得られたディストーション補正画像185を示している。
図6におけるYとY0の関係からも分かるように、図8に示すディストーション補正画像185は、画像の端部に写し出された立体物が画像の端方向に引っ張られたような像になる。これをボリューム歪像という。
歪み補正処理では、ボリューム歪像を補正する処理も行う。ボリューム歪像を補正するため、図10に示すように、画像の周縁部ほど画像の中心に向かって近づける非線形の変換を行う。この変換をボリューム歪像補正という。ボリューム歪像補正は、図9に示す直線を、図10の式48に示す曲線に変換する補正である。また、この補正により、画像左右方向の大きさは、図10に示す破線まで縮められることになり、縮み率は画像の左右端ほど高くなっている。
ボリューム歪像補正を行った後の画像が、図4に示した補正後前方画像181である。補正後前方画像181では、道路や橋梁はほぼ直線となり、また、画像の周縁部に写し出されたビルもまっすぐに立っている。
S3では、補正後前方画像181から直線を検出する。直線を検出するために、画像の濃淡を検出するエッジ検出処理を行う。検出したエッジは、点の集合で示される。このエッジの点の集合をハフ変換することで道路の区画線等の直線を検出する。
S4では補正後前方画像181の消失点183を検出する。S4は消失点検出部に相当する。消失点183を検出するために、まず、S3で検出した直線から、補正後前方画像181内の中心付近に延びている平行線を抽出する。図4に示すように、直線として4本の区画線182が検出できた場合、たとえば、車両1が走行する車線を区画する2本の区画線182を用いる。これら2本の区画線182が交差する点を消失点183とする。図11には、区画線182と消失点183の関係を図示している。
S5ではカメラ110の向きを検出する。S5はカメラ向き検出部に相当する。カメラ110の向きとは、カメラ110の光軸の向きを意味する。カメラ110は、ドライブレコーダーが備えるカメラであるので、車両購入後に取り付ける場合が多く、かつ、取り付け後も、カメラ110の向きを変えることができる場合が多い。したがって、カメラ110の向きは、車両1ごとに異なる。そこで、このS5で、カメラ110の向きを検出する。
カメラ110の向きは、具体的には、ヨー角rxとチルト角ryである。ヨー角rxとチルト角ryは、それぞれ、式4、式5で表すことができる。式4において、Δxは、図11に示すように、補正後前方画像181における画像中心184と消失点183とのx方向の距離である。式5において、Δyは、図11に示すように、補正後前方画像181における画像中心184と消失点183とのy方向の距離である。
S5においてカメラ110の向きが検出できたら、次に、S6において、補正後前方画像181に対してトップビュー変換処理(すなわち俯瞰変換)を行い、車両1の上方に視点がある俯瞰画像を生成する。S6は俯瞰変換部に相当する。
トップビュー変換処理は、カメラ110の光軸を、上方から下方へ向かう方向に変換する処理である。トップビュー変換処理は、特許文献2などに記載されている。
補正後前方画像181を俯瞰画像に変換する際には、補正後前方画像181のうち、車両1の上方から見たときにも見える部分を俯瞰画像に変換することになる。つまり、補正後前方画像181のうち路面およびその周囲を俯瞰画像に変換する。俯瞰画像に変換する範囲は、消失点183およびカメラ110の画角に基づいて定める。
S7では、S6で生成した俯瞰画像から、障害物を除去する。S7は障害物除去処理部に相当する。俯瞰画像にすることで、補正後前方画像181に写っていた障害物のうち、俯瞰画像に変換する範囲の外に写っていた障害物は除去される。これによって、変化点の検出精度の低下原因となる障害物の多くは除去できる。しかし、俯瞰画像にも、先行車両や落下物など、道路設置物以外のものが写っている場合がある。そこで、俯瞰画像から障害物を除去する処理を行う。
障害物を除去する方法は、指定した色を抽出し、その他の色は黒にする方法である。指定する色は、除去したくない路面標示や、道路区画線に対応する色である白やオレンジ色である。
図12に、障害物である先行車両が写っている俯瞰画像を示し、図13に、S7を実行して障害物を除去した後の画像を示す。先行車両の部分が黒に変換されることで、図13の画像では、先行車両が除去されている。なお、一定の大きさよりも小さい障害物は、その後の処理に支障がないとみなして、元の色に復元してよい。
S8では、俯瞰画像内で最も輝度の高い部分が白の輝度となるように、俯瞰画像の全体の輝度を調整する。輝度調整をする理由は、俯瞰画像の輝度は、天候や時間帯、トンネル内など、カメラ撮像時の周辺環境の影響を受けるため、輝度調整をしないと、変化点を誤検出する恐れが高くなるからである。このS8における輝度調整を行った後の俯瞰画像が、照合処理用の俯瞰画像である。
S9では、車両位置検出部161から供給された現在位置と、S8の処理により得られた照合処理用の俯瞰画像を、照合領域特定部163に出力する。
[照合領域特定部163の処理]
照合領域特定部163は、画像処理部162が生成した照合処理用の俯瞰画像から、照合領域を特定する。照合領域特定部163は、照合処理用の俯瞰画像から道路区画線を検出し、その道路区画線の本数に基づいて、照合領域の車両幅方向の範囲を決定する。
照合領域特定部163が実行する処理を図14に示す。照合領域特定部163の詳しい処理は図14を用いて説明する。照合領域特定部163は、照合処理用の俯瞰画像が生成された場合に、図14に示す処理を実行する。
図14において、S11では白線検出処理を実行する。白線検出処理は、俯瞰画像の各画素に対して、次に示すフィルタ処理を行って白線らしさを数値化する。この値を白線強度Gとする。
白線強度Gは、注目画素(m、n)を中心として、想定白線幅Sの範囲内の画素値を合計したものを、その面積で割った値である。注目画素(m、n)は、白線強度Gを算出する画素であり、全画素について白線強度Gを順番に算出する。
白線強度Gは、式6、式7、式8により表される。式6は左側白線強度Gを示している。式6の右辺第1項の分子は、想定白線幅Sの範囲内の画素値の合計であり、式6の右辺第2項の分子は、想定白線幅Sの左側の範囲外画素値の合計である。
式7は右側白線強度Gを示している。式7の右辺第1項の分子は、式6の右辺第1項と同じく想定白線幅Sの範囲内の画素値の合計である。式7の右辺第2項の分子は、想定白線幅Sの右側の範囲外画素値の合計である。式6、式7の右辺第1項、第2項の分子がそれぞれ算出している画素値合計の範囲を図15に示している。
画像上の白線が明確であるほど、式6および式7において、右辺第1項の値は大きくなり、かつ、右辺第2項の値は小さくなる。したがって、式6、式7は、白線強度Gを示しているのである。
式8は、左側白線強度Gと右側白線強度Gとを一つの値にまとめるために二乗和平方根を算出している。画像処理においてエッジ強度の算出方法として二乗和平方根を用いる手法は一般的である。
なお、図15は、画面横方向の白線強度Gである。S11では、画面横方向の白線強度Gに加えて画面縦方向の白線強度Gも算出する。
白線強度Gを算出したら、次いで、白線中心を検出する。白線中心を検出するために、横方向の白線強度Gは縦方向に1ラインずつ強度の強い部分を探し、横方向の白線強度Gは縦方向に1ラインずつ強度の強い部分を探し、白線中心とする。図16には、横方向の白線強度Gの大きさを1ラインずつ示している。図16に示すピークを白線中心とする。
S12では、走行レーンを認識する。走行レーンの認識処理においては、S11で検出した白線中心が縦、横、斜め方向に連続している部分をグルーピングして(すなわちマージして)1つの線分とする。グルーピング後の画像を白線強度画像とする。また、マージした線分に含まれる白線強度Gの累積値をマージした線分の白線強度Gとし、マージした白線強度Gが最も強い線分を基準線とする。
この基準線から左右それぞれの想定レーン幅位置付近に線分を探索する。線分は、自車位置を基準として左右2本目まで探索をする。また、線分の長さから、実線と破線を区別する。
そして、検出した線分のパターンから、図17に示す関係に従い、走行レーンを認識する。認識する情報は、走行している道路が、何車線の道路であるか、および、車両1がどの走行レーンを走行しているかである。
S13では、S12で生成した白線強度画像から照合領域を抽出する。抽出する領域は、縦方向すなわち自車の前後方向の領域は固定し、横方向を可変とする。照合領域の縦方向の範囲は、白線強度画像の自車両側の端から一定範囲である。
照合領域の横方向の範囲は、S12で認識した走行レーンに対応している。たとえば、S12で認識した走行レーンの数が3車線の場合には、白線強度画像の全体を照合領域の横幅とする。S12で認識した走行レーンの数が2車線の場合には、両端の線分の中心を抽出領域の中心として、2車線分の想定車線幅+αを抽出領域の横方向の範囲とする。このS13で抽出される画像は矩形の画像になる。これにより、俯瞰画像から検出できる道路区画線の本数に応じた適切な大きさの俯瞰画像を照合領域とすることができる。なお、前方車両、並走車両が写っている部分など、S7の障害物除去により除去された部分は照合領域として使わないようにしてもよい。
S14では、高精度地図151の路面地図から、マッチング対象領域を特定する。マッチング対象領域は、現在位置を基準として定まる一定領域である。マッチング対象領域の縦横の大きさは、白線強度画像の照合領域をマッチング対象領域に対してずらしつつ、照合判定が行えるようにするために、白線強度画像の照合領域よりも大きい大きさに設定されている。
[照合処理部164の処理]
照合処理部164は、S13で抽出した照合領域の白線強度画像と、S14で特定したマッチング対象領域の高精度地図151の路面地図とを照合することで、変化点を検出する。照合処理部164の詳しい処理は図18を用いて説明する。照合処理部164は、照合領域とマッチング対象領域が決定された場合に、図18に示す処理を実行する。
図18において、S21では、S14で特定したマッチング対象領域の高精度地図151に対して距離変換を行う。ここでの距離変換は、画像処理において広く用いられている距離変換と同じであり、0画素から、最も近い非0画素までの距離を、全ての0画素に対して計算し、0画素の画素値をその距離に置き換える変換である。
高精度地図151と白線強度画像をそのままマッチングすると、レーンの幅が少し相違しているだけでも相関値が低くなってしまう。そこで、マッチング対象領域の高精度地図151に対して距離変換を行う。
式9に距離変換の式を示す。式9において、左辺が置き換える距離、xは非0ピクセルまでの水平距離、yは非ゼロピクセルまでの垂直距離、Nは予め設定した係数である。
図19、図20に距離変換前後の地図を示す。図19が距離変換前の地図、すなわち、高精度地図151である。距離変換を行うと、図20に示すように、白線がぼやけた状態になる。
S22では、白線強度画像の照合領域の位置を所定値ずつ変化させつつ、S21で距離変換を行った後の高精度地図151のマッチング対象領域と白線強度画像の照合領域との相関値を算出する。白線強度画像の照合領域の位置を所定値ずつ変化させつつ相関値を算出することで、相関値マップが作成できる。相関値マップは、マッチング対象領域に対する照合領域の相対位置と相関値との関係を表している。
相関値の算出においては、白線強度画像に描かれている道路区画線の間隔と、距離変換後の高精度地図151に描かれている道路区画線の間隔とが合わない場合には、白線強度画像を拡大縮小したり、白線強度画像を射影変換したりする。図21に、白線強度画像を拡大縮小する図を示し、図22に、白線強度画像を射影変換する図を示している。これら拡大縮小や射影変換などにより、高精度地図151の区画線と、白線強度画像の区画線とが一致するように、白線強度画像の全体の大きさを調整する。S22は相関値マップ作成部に相当する。
S23では、スコアリングを行う。スコアリングは、白線強度画像の照合領域の位置の確からしさを数値化することである。具体的には、S23では、まず、スコアリングマップを作成する。スコアリングマップは、車両位置検出部161が検出した車両1の現在位置が最も確からしさが高いとして係数を1とし、そこから離れるほど係数が低くなるマップである。
図23に示すように、このスコアリングマップと、S22で作成した相関値マップを掛け合わせることでスコアリングを行う。そして、スコアが最も高い位置を、マッチング位置とする。S23はマッチング位置決定部に相当する。
S24では、白線強度画像をグレースケールに変換し、S23で決定した白線強度画像の位置に対応する高精度地図151と、白線強度画像との差分の絶対値を求める。この絶対値が所定値以上であれば、変化点に決定する。
また、高精度地図151と白線強度画像との差分の絶対値をHSV色空間に置き換えて出力する。具体的には、HSV空間に置き換える際、S(彩度)、V(明度)は固定にし、H(色相)の値を変換する。また、上記差分の絶対値を0〜255に正規化する。この正規化した値をHの値とする。そして、Hの赤と青を入れ替えて、青が0、赤が255になるように割り当てる。これにより、道路情報としてペイントの増減等の変化点が色の違いで表される。
このようにして検出された変化点は、蓄積データ記憶部170に蓄積される。また、変化点の位置は、外部のシステムである更新情報活用システム2に提供される。更新情報活用システム2では、変化点を地図上にプロットしたり、リストを生成し、変化点すなわち道路が更新されたことを意味する道路更新情報を管理したりする。また、道路更新情報を期間別に比較できるようにして、どの期間に新しい道路が開通したかを確認できるようにしてもよい。
[実施形態の効果]
以上、説明したように、道路地図情報更新システム100は、カメラ110が撮像した前方画像180を俯瞰画像に変換する。俯瞰画像に変換することで、車両1からの距離によらず、道路幅が、実際の道路と同様に一定幅の画像になる。また、俯瞰画像に変換することで、建物、樹木など、路面ではない場所に存在している種々の物体を除去することができる。
この俯瞰画像から生成した白線強度画像を、高精度地図151の一部である路面地図と照合する画像として用いるので、カメラ110の解像度が低くても、精度よく変化点を検出することができる。
また、本実施形態では、S7の処理を実行することで俯瞰画像から障害物を除去している。これにより、より精度よく変化点を検出することができる。
また、本実施形態では、マッチング処理での相関値が最も高くなる白線強度画像の位置を、そのままマッチング位置とはせずに、車両位置検出部161が計測した現在位置に基づいて定まるスコアリングマップで相関値を補正している。これにより、より変化点の検出精度が向上する。
<第2実施形態>
次に、第2実施形態を説明する。この第2実施形態以下の説明において、それまでに使用した符号と同一番号の符号を有する要素は、特に言及する場合を除き、それ以前の実施形態における同一符号の要素と同一である。また、構成の一部のみを説明している場合、構成の他の部分については先に説明した実施形態を適用できる。
図24に、第2実施形態の道路地図情報更新システム200の構成を示す。第2実施形態の道路地図情報更新システム200は、演算部260が地図生成部265を備えている点が、第1実施形態の道路地図情報更新システム100と相違する。また、蓄積データ記憶部170には、生成地図画像171が記憶されている。生成地図画像171は、俯瞰画像を合成した地図である。
地図生成部265は、照合処理部164が変化点を検出した場合に、変化点の情報を反映した地図を生成する。地図生成部265の詳しい処理は図25を用いて説明する。
図25において、S31では、重ね合わせ用の俯瞰画像を抽出する。具体的には、画像処理部162で生成した照合処理用の俯瞰画像から、S13で抽出した白線強度画像の照合領域に対応した領域を抽出する。図26に、画像処理部162で生成した照合処理用の俯瞰画像を示し、図27に、S31で抽出する重ね合わせ用の俯瞰画像を示す。なお、抽出した俯瞰画像に路面情報以外の物体が写っている箇所は使用領域から除く。S31で抽出する画像が地図画像である。
S32では、生成地図画像171に対して、S31で抽出した俯瞰画像を追加する位置を決定する。この位置は、S23で決定したマッチング位置である。
S33では、S32で決定した追加位置のうち、すでに生成地図画像171に画像が存在している部分について平均化画像を生成する。平均化画像は、すでにある画像と、今回追加する画像とを平均化した画像である。平均化することで、車両1の影等の路面以外の物体により生じる一時的な変化の影響を低減することができる。
また、平均化の際、図27にも示すように、カメラ110に近い側ほどウェイトを高くして、すでに存在している画像と平均化処理を行う。俯瞰画像の特性上、カメラ110に近いほど画像の解像度が高いからである。
S34では、画像の重ね合わせを行い、生成地図画像171を更新する。重ね合わせの際、すでに生成地図画像171に画像が存在している部分については、S33で生成した平均化画像を、生成地図画像171に重ね合わせる。まだ生成地図画像171に画像が存在していない部分については、S31で抽出した俯瞰画像をそのまま生成地図画像171に重ね合わせる。
このようにして逐次更新する生成地図画像171は、変化点の画像を含むので、変化点における変化を画像により認識できる。そのため、計測台車を走行させることなく変化点を認識できるので、高精度地図151の更新コストを低減できる。また、更新内容を、一時的な情報として自動運転など車両制御に利用することもできる。
<第3実施形態>
第3実施形態では、画像処理部162は図28に示す処理を実行する。図28に示す処理は、図2に示す処理に対して、S4とS5の間にS4Aが追加されている。また、S5に代えてS5Aを実行する。
S4Aでは、補正後前方画像181のピッチ変動量を算出する。S4Aの詳細処理は図29に示す。図29において、S41では、消失点領域画像386を決定する。図30、図31に例示しているように、消失点領域画像386は、補正後前方画像181において消失点を基準として定まる領域の画像である。図30および図31に示している消失点領域画像386は、消失点183(図11参照)を中心とし、1対の短辺が垂直、1対の長辺が水平な横長の矩形領域である。
S42では、前回のフレームで得た消失点領域画像386、すなわち前回の図28の実行において決定した消失点領域画像386と、このS42の直前に実行したS41で得た消失点領域画像386とをマッチングさせるマッチング処理を行う。図30は前回のフレームで得た消失点領域画像386であり、図31は今回のフレームで得た消失点領域画像386である。マッチング処理では、前回のフレームで得た消失点領域画像386を基準として、今回のフレームで得た消失点領域画像386を移動させて、2つの消失点領域画像386が最も一致するように今回のフレームで得た消失点領域画像386を移動させる。
S43では、今回のフレームで得た消失点領域画像386のS42における移動量を算出する。この移動量は、1フレームの間に車両1に生じたピッチ変動を意味する値として利用する。ここまでのS41〜S43が移動量算出部に相当する。
S44では、前方画像180が入力される毎に繰り返し実行する図28、図29の処理において逐次S43で算出した移動量を積分する。以下、積分した値を位置ずれ積分値とする。この位置ずれ積分値は、ピッチ変動による消失点領域画像386の位置ずれと、ピッチ変動以外の静的な理由による消失点領域画像386の位置の変化を含む。ピッチ変動以外の静的な理由は、たとえば、車両1が上り坂を走行していることによるカメラ光軸の変化である。このS44が積分値算出部に相当する。
S45では、S44で算出した位置ずれ積分値の移動平均値を算出する。移動平均する区間は予め設定されている。移動平均値は、車両の静止状態での消失点領域画像386の位置を示すものとして用いる。位置ずれ積分値には、ピッチ変動以外の静的な理由に起因した値の変化も含まれている。移動平均値は、この静的な理由に起因する値を算出するものであり、移動平均区間は、この静的な理由に起因する値を算出できる区間に設定される。
S46では、S44で算出した位置ずれ積分値と、S45で算出した移動平均値との差を算出する。この差をピッチ変動量δyとする。ピッチ変動量δyを、位置ずれ積分値−移動平均値とするか、移動平均値−位置ずれ積分値とするかは、予め定められていれば、いずれでもよい。S45、S46がピッチ変動量算出部に相当する。図32には、位置ずれ積分値、移動平均値、ピッチ変動量δyを示している。
S46を実行後は、図28のS5Aに進む。S5Aではカメラ110の向きを検出する。カメラ110の向きは、第1実施形態で説明したように、具体的には、ヨー角rxとチルト角ryである。ヨー角rxは、第1実施形態で説明した式4から求める。チルト角ryは、式10から求める。式10に示すように、ヨー角rxは、画像中心184と消失点183とのy方向の距離Δyと、ピッチ変動量δyから算出する。
S5Aを実行した後の処理は第1実施形態と同じである。S6〜S9までを実行して、照合処理用の俯瞰画像と現在位置とを照合領域特定部163に出力する。
[ピッチ補正の効果]
図33にピッチ補正をしていない俯瞰画像を示し、図34にピッチ補正をした俯瞰画像を示している。ピッチ補正をした俯瞰画像が図28を実行して得られた俯瞰画像である。ピッチ補正をしていない俯瞰画像では下側から上側に向かうに従い、白線の間隔が広がっている。一方、ピッチ補正をした俯瞰画像では、白線の間隔は、ほぼ平行になっている。
このようにピッチ補正をすることで、俯瞰画像内での白線の間隔を平行に近づけることができる。したがって、この俯瞰画像に基づいて行うその後の処理の精度が向上する。
<第4実施形態>
次に第4実施形態を説明する。第1実施形態では、照合処理部164は、1フレームごとにマッチング位置を別々に決定していた。これに対して、第4実施形態では、最終的には1フレームごとにマッチング位置を決定するが、その前処理として、複数フレームを結合させた画像に対してマッチング位置を決定する。その後、順次、マッチング位置を決定する画像を小さくする。以下、詳しく説明する。
第4実施形態では、上述したように、複数フレームを結合させた画像に対してマッチング位置を決定する。したがって、画像処理部162は、複数フレーム分の前方画像180が入力された場合に処理を実行する。第4実施形態において画像処理部162が実行する処理の内容は、処理対象とする前方画像180が複数フレーム分である以外は、これまでの実施形態と同じである。
複数フレームの数は、適宜設定することができる。たとえば、ドライブレコーダーにおいて1イベントで録画された総フレームとすることができる。
照合領域特定部163は、画像処理部162が生成した照合処理用の俯瞰画像の全部に対して照合処理領域を特定する。第4実施形態において照合処理部164が実行する処理の内容は、処理対象とする俯瞰画像が複数フレームである以外は、これまでの実施形態と同じである。
第4実施形態では、照合処理部164は図35に示す処理を実行する。照合処理部164は、照合領域特定部163が照合領域を特定した場合に、図35に示す処理を実行する。
S51では、最初の照合領域401(図36参照)を決定する。最初の照合領域401は、複数フレーム分の白線強度画像の照合領域を結合させて得られる領域である。図36に示した最初の照合領域401は、ドライブレコーダーの1イベント分の画像データに含まれる全部のフレームからそれぞれ決定した白線強度画像の照合領域を結合させて得られる領域である。
S52では、S51で決定した最初の照合領域401に基づいて定まる、高精度地図のマッチング対象領域に対して、図18のS21と同じ処理を行う。照合領域特定部163は、図14のS14で説明したように、照合領域をもとにして高精度地図151の路面地図からマッチング対象領域を決定している。つまり、照合領域特定部163が1フレーム分の照合領域に対する路面地図のマッチング対象領域を決定している。したがって、このS52では、照合領域特定部163が決定した1フレーム分の照合領域に対する路面地図のマッチング対象領域を、S51で決定した最初の照合領域401に含まれる全フレーム分、足し合わせた領域に対して距離変換を行う。
S53では、S51で決定した最初の照合領域401に含まれる全部の白線強度画像の照合領域を重ね合わせる。重ね合わせる処理は、第2実施形態で説明した地図生成部265と同じ処理である。
S54では、照合領域に対してマッチング処理を行い、相関値マップを作成する。照合領域は、S51〜S53を実行した後の初回のS54の実行であれば、S51で決定した最初の照合領域401である。その後の照合領域は、後述するS59が実行されて決定される。S54の処理は、領域が異なる以外は、図18のS22の処理と同じである。したがって、S54は相関値マップ作成部に相当する。
S55では、スコアリングおよびマッチング位置の決定を行う。このS55の処理は、図18のS23と同じである。したがって、S55はマッチング位置決定部に相当する。
S56では、全部の照合領域のマッチング位置の決定が終了したか否かを判断する。最初の照合領域401は1つであるが、後述するS59を実行することで、1つの照合領域から複数の部分領域が決定される。そして、各部分領域が次の照合領域になる。したがって、照合領域が複数存在することがある。照合領域が複数存在している場合、順次、マッチング位置を決定することになる。そこで、このS56では、全部の照合領域に対するマッチング位置の決定が終了したか否かを判断する。
S56の判断がNOである場合には、S57において、マッチング位置を決定する照合領域を、まだマッチング位置を決定していない照合領域に変更する。その後、S54、S55を実行して、マッチング位置を決定する。
S56の判断がYESであればS58に進む。S58では、マッチング位置を決定した照合領域が1フレーム分であるか否かを判断する。1フレームは最終フレーム数に相当している。本実施形態では、最終フレーム数を1フレームとしているが、それよりも多いフレーム数(たとえば2フレーム)を最終フレーム数とすることもできる。S58の判断がNOであればS59に進む。
S59では、各照合領域を分割して部分領域を作成する。図36には、最初の照合領域401と、部分領域402a、402b、402c、402d、402eが示されている。また、図36には、高精度地図151の路面地図も示されている。部分領域402a、402b、402c、402d、402eを区別しないときは、部分領域402と記載する。部分領域402は、2回目の照合領域になる部分である。
部分領域402は、最初の照合領域401に含まれる領域であって、最初の照合領域401の一部の領域である。また、部分領域402は、最初の照合領域401から区画線である可能性がある部分を含む範囲である。区画線である可能性は、たとえば、エッジ強度の変化から決定する。
最初の照合領域401に対する部分領域402の大きさは、たとえば、半分あるいはそれ以上である。最初の照合領域401に対して部分領域402が小さすぎると、少しずつ位置合わせをすることで誤ったマッチング位置を決定してしまうことを抑制する効果が得られにくくなるからである。部分領域402の数は、1または複数であり、任意に設定できる。ただし、複数に設定することが好ましい。図36の例では、部分領域402の数は5である。
また、部分領域402の数を複数に設定している場合、それぞれの部分領域402は、互いに一部が重なるようにすることが好ましい。ある部分領域402の一部が他の部分領域402の一部にもなっていると、部分領域402に対するマッチング位置が誤った位置になってしまうことを抑制できるからである。
作成した部分領域は次の照合領域となる。次の照合領域を決定した後、S54以下を実行する。2回目以降のS55の実行においては、マッチング対象領域は、直前のS59で部分領域を作成する対象とした照合領域である。S54〜S59を実行することで、照合領域が1フレームになるまで、照合領域を順次小さくしつつ、照合領域のマッチング位置を決定する。
図37には、1回目の部分領域402aから作成した2回目の部分領域403a、403b、403c、403d、403eを例示している。部分領域403a、403b、403c、403d、403eを区別しないときは、部分領域403と記載する。部分領域403は、3回目の照合領域になる部分である。
部分領域403a、403b、403c、403d、403eは、部分領域402aの一部の領域である。また、各部分領域403a、403b、403c、403d、403eは区画線である可能性がある部分を含む範囲である。なお、区画線である可能性がある部分が、部分領域403を決定しようとしている照合領域の縁部付近にある場合、部分領域403の一部が照合領域の外に位置するように、部分領域403を決定してもよい。つまり、照合領域から決定する部分領域は、その一部が照合領域の外に位置していてもよい。区画線が縁部よりも中央寄りに位置するようにすることで、部分領域403の縁部に区画線が位置している場合と比較して、マッチング位置の精度が向上するからである。なお、図37を例にして、部分領域403a、403b、403c、403d、403eに対するマッチング対象領域は、部分領域402aになる。
2回目の部分領域403は、1回目の部分領域402と同様、5つ作成されており、互いに一部が重複するように作成されている。3回目以降の部分領域(すなわち4回目以降の照合領域)の作成も、1回目、2回目の部分領域402、403と同様にして作成する。
S59で複数の照合領域が作成され、かつ、照合領域の一部が互いに重複している場合、重複領域については、その重複領域を持つ複数の照合領域から、それぞれマッチング位置が得られる。つまり、重複領域については、複数のマッチング位置が得られる。重複領域の位置は、複数のマッチング位置を平均するなど、複数のマッチング位置を両方とも考慮して決定する。照合領域のうち重複領域以外の領域も、重複領域の位置に合わせて、位置を決定する。このように重複領域の位置を、複数の照合領域のマッチング位置を考慮して決定することで、重複領域がないように照合領域を決定する場合に比較して、照合領域のマッチング位置を誤った位置に決定してしまうことを抑制できる。
照合領域が1フレーム分になると、S58の判断がYESになりS60に進む。S60では、変化点を抽出する。S60の処理は図18のS24と同じである。
第4実施形態の照合処理部164は、上述したように、大きな照合領域でマッチング位置を決定し、順次、その照合領域を小さくしつつマッチング位置を決定する。これにより、小さい領域では、ある照合領域の画像に類似する画像がその照合領域の本来の位置とは異なる位置にも存在していたとしても、マッチング位置を誤った位置に決定してしまうことが抑制できる。
以上、本実施形態を説明したが、本開示は上述の実施形態に限定されるものではなく、次の変形例も開示範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施できる。
<変形例1>
第2実施形態の地図生成部265が行う処理の一部を、車両1の外部にあるセンタが行ってもよい。この場合には、S31で抽出した画像をセンタへ送信する。そして、センタで、S32以降の処理を行う。
<変形例2>
第2実施形態の生成地図画像171は、照合処理用の俯瞰画像を、生成地図画像171を生成する画像としていた。しかし、生成地図画像171を生成する画像として白線強度画像を用いてもよい。
<変形例3>
画像処理部162、照合領域特定部163、照合処理部164の機能をセンタが備え、車両1は、前方画像180と、車両位置検出部161が検出した車両1の現在位置を、逐次センタに送信するようにしてもよい。また、画像処理部162の処理までを車両1で行い、照合領域特定部163および照合処理部164の処理をセンタで行ってもよい。また、照合領域特定部163の処理までを車両1で行い、照合処理部164の処理をセンタで行ってもよい。これらの場合には、車両1は、センタと通信するための通信部を備える。
なお、照合領域特定部163の処理を車両1で行う場合、センタは車両1へ、処理を行うエリアを指定することもできる。そして、指定したエリアについての高精度地図151のみを車両1へ送信してもよい。これにより、車両1は、高精度地図151を記憶するための容量および通信量を削減でき、また、センタも処理負荷を軽減できる。
<変形例4>
カメラ110として、車両の後方を撮像するカメラを用いてもよい。
1:車両 2:更新情報活用システム 100:道路地図情報更新システム 110:カメラ 120:パラメータ記憶部 130:GPS受信機 140:挙動検出センサ 150:地図記憶部 151:高精度地図 160:演算部 161:車両位置検出部 162:画像処理部 163:照合領域特定部 164:照合処理部 170:蓄積データ記憶部 171:生成地図画像 180:前方画像 181:補正後前方画像 182:区画線 183:消失点 184:画像中心 185:ディストーション補正画像 200:道路地図情報更新システム 260:演算部 265:地図生成部 386:消失点領域画像 401:最初の照合領域 402:部分領域 S2:歪補正処理部 S4:消失点検出部 S5:カメラ向き検出部 S6 俯瞰変換部、 S7 障害物除去処理部 S22、S54:相関値マップ作成部 S23、S55:マッチング位置決定部 S41、S42、S43:移動量算出部 S44:積分値算出部 S45、S46:ピッチ変動量算出部 δy:ピッチ変動量

Claims (8)

  1. 車両に備えられ、前記車両の周辺を撮像するカメラ(110)と、
    前記カメラが撮像した画像を俯瞰画像に変換する俯瞰変換部(S6)と、
    路面地図を含んだ道路地図(151)を記憶する地図記憶部(150)と、
    前記俯瞰画像と前記路面地図とを照合して、前記路面地図に対して、実際の路面に変化が生じた位置である変化点が存在するか否かを決定する照合処理部(164)と、
    前記俯瞰画像から検出できる道路区画線の本数に基づいて、前記俯瞰画像から照合に用いる車両幅方向の領域を決定する照合領域特定部(163)とを備える地図変化点検出装置。
  2. 前記俯瞰画像に対して、前記路面地図に含まれている物体の色を指定し、指定した色以外は黒に変換することで、前記俯瞰画像に含まれている障害物を除去する障害物除去処理部(S7)を備え、
    前記照合処理部は、前記障害物が除去された後の前記俯瞰画像と前記路面地図とを照合する請求項1に記載の地図変化点検出装置。
  3. 車両に備えられ、前記車両の周辺を撮像するカメラ(110)と、
    前記カメラが撮像した画像を俯瞰画像に変換する俯瞰変換部(S6)と、
    路面地図を含んだ道路地図(151)を記憶する地図記憶部(150)と、
    前記俯瞰画像と前記路面地図とを照合して、前記路面地図に対して、実際の路面に変化が生じた位置である変化点が存在するか否かを決定する照合処理部(164)と、
    前記俯瞰画像に対して、前記路面地図に含まれている物体の色を指定し、指定した色以外は黒に変換することで、前記俯瞰画像に含まれている障害物を除去する障害物除去処理部(S7)とを備え、
    前記照合処理部は、前記障害物が除去された後の前記俯瞰画像と前記路面地図とを照合する地図変化点検出装置。
  4. 前記照合処理部は、前記路面地図を距離変換し、距離変換した後の前記路面地図を前記俯瞰画像と照合する請求項1または2に記載の地図変化点検出装置。
  5. 請求項1において、
    前記照合領域特定部は、前記俯瞰画像から検出できる道路区画線の本数に基づいて、照合に用いる前記俯瞰画像から、照合に用いる領域である照合領域を抽出するとともに、前記路面地図から、現在位置を基準として定まる一定領域をマッチング対象領域に特定し、
    前記照合処理部は、
    前記路面地図の前記マッチング対象領域に対する、照合に用いる前記俯瞰画像の前記照合領域の相関値を、前記照合領域の位置を変化させつつ算出することで、前記マッチング対象領域に対する前記照合領域の相対位置と前記相関値との関係である相関値マップを作成する相関値マップ作成部(S22、S54)と、
    現在位置が最も確からしさが高く前記現在位置から離れるほど係数が低くなるスコアリングマップと前記相関値マップとを掛け合わせて得られるスコアを、前記マッチング対象領域に対する前記照合領域の位置別に算出し、前記スコアが最も高い前記照合領域の位置をマッチング位置に決定するマッチング位置決定部(S23、S55)を備え、
    前記照合領域の位置を前記マッチング位置として、照合用の前記俯瞰画像と前記路面地図の前記路面地図とを照合する地図変化点検出装置。
  6. 請求項において、
    前記照合処理部は、
    前記カメラにより撮像された複数のフレームを合成して最初の照合領域(401)を生成し、
    前記相関値マップ作成部(S54)による前記相関値マップの作成および前記マッチング位置決定部(S55)によるマッチング位置の決定を、前記最初の照合領域から開始し、
    前記マッチング位置決定部による前記マッチング位置の決定後、1つの前記照合領域に含まれるフレーム数が最終フレーム数よりも大きい場合には、前記照合領域から部分領域(402)を決定し、
    決定した前記部分領域を前記照合領域として、前記相関値マップ作成部による前記相関値マップの作成および前記マッチング位置決定部による前記マッチング位置の決定を、前記照合領域に含まれるフレーム数が前記最終フレーム数になるまで繰り返す地図変化点検出装置。
  7. 前記カメラが撮像した画像に対して、ディストーション補正およびボリューム歪補正を行う歪補正処理部(S2)と、
    前記歪補正処理部により補正された後の画像から消失点を検出する消失点検出部(S4)と、
    前記消失点検出部が検出した前記消失点と画像中心との位置の差に基づいて前記カメラの光軸の向きを検出するカメラ向き検出部(S5、S5A)とを備え、
    前記俯瞰変換部は、前記カメラ向き検出部が検出した前記カメラの光軸の向きを、上方から下方に向かう変換をすることで、前記カメラが撮像した画像を前記俯瞰画像に変換する請求項1〜のいずれか1項に記載の地図変化点検出装置。
  8. 請求項において、
    前記歪補正処理部により補正された後の画像の一部であって、前記消失点検出部により検出された前記消失点に基づいて定まる領域の画像である消失点領域画像を逐次決定し、時間的に連続する2つの前記消失点領域画像をマッチングさせる際、2つの前記消失点領域画像のうち前の時間の前記消失点領域画像を基準として、後の時間の前記消失点領域画像を画像上下方向へ移動させる移動量を算出する移動量算出部(S41、S42、S43)と、
    前記移動量算出部が算出した画像上下方向への移動量の積分値である位置ずれ積分値を算出する積分値算出部(S44)と、
    前記積分値算出部が算出した前記位置ずれ積分値の移動平均値を逐次算出し、前記移動平均値と、前記移動量算出部が算出した前記移動量との差であるピッチ変動量(δy)を算出するピッチ変動量算出部(S45、S46)とを備え、
    前記カメラ向き検出部(S5A)は、前記消失点検出部が検出した前記消失点と画像中心との位置の差と、前記ピッチ変動量とに基づいて、前記カメラの光軸の向きを検出する地図変化点検出装置
JP2018021191A 2017-06-09 2018-02-08 地図変化点検出装置 Active JP6822427B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2018/018296 WO2018225446A1 (ja) 2017-06-09 2018-05-11 地図変化点検出装置
US16/682,538 US11270131B2 (en) 2017-06-09 2019-11-13 Map points-of-change detection device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017114572 2017-06-09
JP2017114572 2017-06-09

Publications (3)

Publication Number Publication Date
JP2019003606A JP2019003606A (ja) 2019-01-10
JP2019003606A5 JP2019003606A5 (ja) 2019-05-30
JP6822427B2 true JP6822427B2 (ja) 2021-01-27

Family

ID=65004889

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018021191A Active JP6822427B2 (ja) 2017-06-09 2018-02-08 地図変化点検出装置

Country Status (1)

Country Link
JP (1) JP6822427B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7153889B2 (ja) * 2019-03-01 2022-10-17 パナソニックIpマネジメント株式会社 画像補正装置、画像生成装置、カメラシステム及び車両
KR20210076440A (ko) * 2019-12-16 2021-06-24 삼성전자주식회사 나무 맵의 재성성 및 예측을 위한 방법 및 장치
KR102327185B1 (ko) * 2019-12-24 2021-11-17 한국도로공사 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템 및 그 방법
JP7173062B2 (ja) * 2020-01-23 2022-11-16 トヨタ自動車株式会社 変化点検出装置及び地図情報配信システム
CN111597987B (zh) * 2020-05-15 2023-09-01 阿波罗智能技术(北京)有限公司 用于生成信息的方法、装置、设备和存储介质
JP7380443B2 (ja) 2020-06-22 2023-11-15 トヨタ自動車株式会社 部分画像生成装置及び部分画像生成用コンピュータプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000230834A (ja) * 1999-02-10 2000-08-22 Daihatsu Motor Co Ltd 道路地図情報の更新装置及びその制御方法
JP3496567B2 (ja) * 1999-03-30 2004-02-16 トヨタ自動車株式会社 撮影画像マッチング装置、地図更新装置および地図作成装置
JP2009069900A (ja) * 2007-09-10 2009-04-02 Denso Corp 車両用ナビゲーション装置
JP5193148B2 (ja) * 2009-09-03 2013-05-08 本田技研工業株式会社 車両用撮像装置
EP2712969A4 (en) * 2011-05-13 2015-04-29 Hitachi Construction Machinery DEVICE FOR MONITORING THE AREA OF A WORKING MACHINE
JP6528515B2 (ja) * 2015-04-02 2019-06-12 アイシン精機株式会社 周辺監視装置

Also Published As

Publication number Publication date
JP2019003606A (ja) 2019-01-10

Similar Documents

Publication Publication Date Title
WO2018225446A1 (ja) 地図変化点検出装置
JP6822427B2 (ja) 地図変化点検出装置
KR102483649B1 (ko) 차량 위치 결정 방법 및 차량 위치 결정 장치
CN109086650B (zh) 校准方法和校准设备
JP5962771B2 (ja) 移動物***置姿勢角推定装置及び移動物***置姿勢角推定方法
KR101241651B1 (ko) 영상 인식 장치 및 그 방법, 영상 기록 장치 또는 그방법을 이용한 위치 판단 장치, 차량 제어 장치 및네비게이션 장치
JP4433887B2 (ja) 車両用外界認識装置
JP5966747B2 (ja) 車両走行制御装置及びその方法
JP6560355B2 (ja) ランドマーク認識装置及び認識方法
JP4832321B2 (ja) カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法
JP4930046B2 (ja) 路面判別方法および路面判別装置
EP3032818B1 (en) Image processing device
EP3842751B1 (en) System and method of generating high-definition map based on camera
WO2016178335A1 (ja) レーン検出装置およびレーン検出方法
JP4761156B2 (ja) 地物位置認識装置及び地物位置認識方法
JP6278791B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
JP5310027B2 (ja) 車線認識装置、及び車線認識方法
JP2018147393A (ja) 標識認識システム
JP5539250B2 (ja) 接近物体検知装置及び接近物体検知方法
KR102022402B1 (ko) 캘리브레이션 방법 및 장치
JP2017117105A (ja) 見通し判定装置
JP2012159470A (ja) 車両用画像認識装置
US11403770B2 (en) Road surface area detection device
JP7380443B2 (ja) 部分画像生成装置及び部分画像生成用コンピュータプログラム
JP6611334B2 (ja) 区画線認識装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190416

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201221

R151 Written notification of patent or utility model registration

Ref document number: 6822427

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250