JP2022072913A - 情報処理装置、制御方法、プログラム及び記憶媒体 - Google Patents
情報処理装置、制御方法、プログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP2022072913A JP2022072913A JP2020182613A JP2020182613A JP2022072913A JP 2022072913 A JP2022072913 A JP 2022072913A JP 2020182613 A JP2020182613 A JP 2020182613A JP 2020182613 A JP2020182613 A JP 2020182613A JP 2022072913 A JP2022072913 A JP 2022072913A
- Authority
- JP
- Japan
- Prior art keywords
- image
- slit
- road
- change point
- reference position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims description 43
- 238000005259 measurement Methods 0.000 claims abstract description 101
- 238000001514 detection method Methods 0.000 abstract description 89
- 230000015654 memory Effects 0.000 description 20
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】絶対的精度を有する変化前のリファレンスを用いることなく好適に変化点検出のためのデータの比較を行うことが可能な情報処理装置を提供する。【解決手段】道路を走行する計測車両が生成した計測データに基づき道路上の白線の時系列的な変化が生じた点を検出する変化点検出システムにおいて、情報処理装置としての変化点検出装置のコントローラ43は、第1の計測において計測したデータに基づき生成された道路の画像である第1画像と、第2の計測において計測したデータに基づき生成された道路の画像である第2画像を取得し、第1画像及び第2画像に対する基準位置を設定する基準位置設定部51と、基準位置に基づき、第1画像と第2画像とから切り取ったスリット画像を生成する第1スリット画像生成部54Aおよび第2スリット画像生成部54Bと、第1画像と第2画像とを、スリット画像毎に照合するスリット画像照合部55と、有する。【選択図】図4
Description
本発明は、区画線などの道路に関する変化点の検出に関する。
従来から、区画線などの道路に関する変化点を検出する技術が知られている。例えば、特許文献1には、変化前のリファレンスとなる絶対的精度を有する高精度地図を参照することで、区画線などの道路に関する地図の変化点を検出する地図変化点検出装置が開示されている。
一般に、変化前の状態を表すリファレンスとして使用する絶対的精度を有する高精度地図を用意するにはコストが多大となるため、このようなリファレンスを利用して広範囲エリアの地図を整備するのは困難であった。
本発明は、上記のような課題を解決するためになされたものであり、絶対的精度を有する変化前のリファレンスを用いることなく、変化点検出のためのデータの比較を好適に行うことが可能な情報処理装置を提供することを主な目的とする。
請求項に記載の発明は、
第1の計測において計測したデータに基づき生成された道路の画像である第1画像を取得する第1画像取得手段と、
第2の計測において計測したデータに基づき生成された前記道路の画像である第2画像を取得する第2画像取得手段と、
前記第1画像及び前記第2画像に対する基準位置を設定する基準位置設定手段と、
前記基準位置に基づき、前記第1画像と前記第2画像とから切り取ったスリット画像を生成するスリット画像生成手段と、
前記第1画像と前記第2画像とを、前記スリット画像毎に照合するスリット画像照合手段と、
を有する、情報処理装置である。
第1の計測において計測したデータに基づき生成された道路の画像である第1画像を取得する第1画像取得手段と、
第2の計測において計測したデータに基づき生成された前記道路の画像である第2画像を取得する第2画像取得手段と、
前記第1画像及び前記第2画像に対する基準位置を設定する基準位置設定手段と、
前記基準位置に基づき、前記第1画像と前記第2画像とから切り取ったスリット画像を生成するスリット画像生成手段と、
前記第1画像と前記第2画像とを、前記スリット画像毎に照合するスリット画像照合手段と、
を有する、情報処理装置である。
また、請求項に記載の発明は、
コンピュータが実行する制御方法であって、
第1の計測において計測したデータに基づき生成された道路の画像である第1画像を取得し、
第2の計測において計測したデータに基づき生成された前記道路の画像である第2画像を取得し、
前記第1画像及び前記第2画像に対する基準位置を設定し、
前記基準位置に基づき、前記第1画像と前記第2画像とから切り取ったスリット画像を生成し、
前記第1画像と前記第2画像とを、前記スリット画像毎に照合する、
制御方法である。
コンピュータが実行する制御方法であって、
第1の計測において計測したデータに基づき生成された道路の画像である第1画像を取得し、
第2の計測において計測したデータに基づき生成された前記道路の画像である第2画像を取得し、
前記第1画像及び前記第2画像に対する基準位置を設定し、
前記基準位置に基づき、前記第1画像と前記第2画像とから切り取ったスリット画像を生成し、
前記第1画像と前記第2画像とを、前記スリット画像毎に照合する、
制御方法である。
また、請求項に記載の発明は、
第1の計測において計測したデータに基づき生成された道路の画像である第1画像を取得し、
第2の計測において計測したデータに基づき生成された前記道路の画像である第2画像を取得し、
前記第1画像及び前記第2画像に対する基準位置を設定し、
前記基準位置に基づき、前記第1画像と前記第2画像とから切り取ったスリット画像を生成し、
前記第1画像と前記第2画像とを、前記スリット画像毎に照合する処理をコンピュータに実行させるプログラムである。
第1の計測において計測したデータに基づき生成された道路の画像である第1画像を取得し、
第2の計測において計測したデータに基づき生成された前記道路の画像である第2画像を取得し、
前記第1画像及び前記第2画像に対する基準位置を設定し、
前記基準位置に基づき、前記第1画像と前記第2画像とから切り取ったスリット画像を生成し、
前記第1画像と前記第2画像とを、前記スリット画像毎に照合する処理をコンピュータに実行させるプログラムである。
本発明の好適な実施形態によれば、情報処理装置は、第1の計測において計測したデータに基づき生成された道路の画像である第1画像を取得する第1画像取得手段と、第2の計測において計測したデータに基づき生成された前記道路の画像である第2画像を取得する第2画像取得手段と、前記第1画像及び前記第2画像に対する基準位置を設定する基準位置設定手段と、前記基準位置に基づき、前記第1画像と前記第2画像とから切り取ったスリット画像を生成するスリット画像生成手段と、前記第1画像と前記第2画像とを、前記スリット画像毎に照合するスリット画像照合手段と、を有する。この態様によれば、情報処理装置は、第1画像と第2画像とをスリット画像毎に照合し、第1の計測と第2の計測との間に生じた変化の有無を好適に検出することができる。なお、「第1の計測」及び「第2の計測」は夫々1回の計測に限らず、複数回の計測に相当してもよい。
上記情報処理装置の一態様では、情報処理装置は、前記第1画像及び前記第2画像は、絶対座標と紐付かれた画像であり、前記基準位置設定手段は、絶対座標により表された前記基準位置を設定する。この態様により、情報処理装置は、第1画像と第2画像とを基準位置を基準として好適に位置合わせを行うことができる。
上記情報処理装置の他の一態様では、前記スリット画像生成手段は、前記基準位置を起点として前記道路に沿って前記第1画像と前記第2画像とから所定幅毎に切り取った前記スリット画像を順次生成し、前記スリット画像照合手段は、前記スリット画像生成手段が前記第1画像と前記第2画像とから切り取った前記スリット画像を順次照合する。この態様により、情報処理装置は、道路及び道路周辺の変化の有無をスリット画像毎に好適に検出することができる。
上記情報処理装置の他の一態様では、前記スリット画像生成手段は、前記スリット画像照合手段による前記スリット画像の照合結果に基づき、前記第2画像から次に切り出す前記スリット画像の切り出しに関する位置と角度の少なくとも一方を変更する。この態様により、情報処理装置は、第1画像と第2画像とで同一の場所を表すスリット画像を好適に生成して高精度に照合を行うことができる。
上記情報処理装置の他の一態様では、前記スリット画像照合手段は、前記スリット画像生成手段が前記第1画像と前記第2画像とから切り取った前記スリット画像の照合を順次実行する場合、直前の前記スリット画像の照合結果に基づき、次の前記スリット画像の照合を実行する。この態様によっても、情報処理装置は、スリット画像の照合結果を次のスリット画像の照合に用いて照合精度を好適に高めることができる。
上記情報処理装置の他の一態様では、情報処理装置は、前記スリット画像毎の照合結果に基づき、前記道路に関する変化点の候補の有無を判定する変化点候補判定手段をさらに有する。この態様により、情報処理装置は、照合したスリット画像毎に変化点の候補の有無を好適に判定することができる。
上記情報処理装置の他の一態様では、前記変化点候補判定手段は、前記道路の区画線に関する変化点の候補の有無を判定する。好適な例では、前記変化点候補判定手段は、前記道路の実線または破線の区画線に関する変化点の候補の有無を判定し、前記スリット画像は、前記道路の車線毎の範囲もしくは左右の路肩を含む範囲に設定される。左右の路肩を含む範囲に設定する場合は、情報処理装置は、特徴が少ない実線の区画線を変化点の検出対象とする場合であっても、道路左右の路肩を含むスリット画像を生成することで、スリット画像同士の照合を好適に実行することができる。他の好適な例では、前記第1画像と前記第2画像は、計測された反射強度に基づき画素値が決定された画像である。これにより、情報処理装置は、反射強度が高い区画線の位置を的確に反映した第1画像及び第2画像を用い、区画線の変化の有無を検出するための照合を好適に実行することができる。
上記情報処理装置の他の一態様では、情報処理装置は、前記基準位置を含む画像を前記第1画像と前記第2画像とから切り出した基準画像を生成する基準画像生成手段をさらに有し、前記スリット画像生成手段は、前記第1画像と前記第2画像とから切り出した基準画像の照合結果に基づき、前記スリット画像の切り出しに関する位置及び角度を決定する。この態様により、情報処理装置は、照合するスリット画像同士が一致した場所を表す画像となるように、スリット画像の切り出しに関する位置と角度を好適に決定することができる。
上記情報処理装置の他の一態様では、前記第1画像と前記第2画像の少なくとも一方は、前記道路に対する複数回の走行により計測したデータを結合した画像である。このような情報処理装置は、計測時の道路の混雑状況等によるオクルージョンの影響を受けない第1画像及び第2画像を用いて、第1の計測と第2の計測との間に生じた変化の有無を高精度に検出することができる。
上記情報処理装置の他の一態様では、前記第1画像と前記第2画像は、前記道路を少なくとも含むオルソ画像である。この場合、第1画像と第2画像は、対象となる道路を俯瞰視した画像となる。これにより、情報処理装置は、第1の計測と第2の計測との間に生じた道路の変化の有無を好適に検出することができる。
本発明の他の好適な実施形態によれば、コンピュータが実行する制御方法であって、第1の計測において計測したデータに基づき生成された道路の画像である第1画像を取得し、第2の計測において計測したデータに基づき生成された前記道路の画像である第2画像を取得し、前記第1画像及び前記第2画像に対する基準位置を設定し、前記基準位置に基づき、前記第1画像と前記第2画像とから切り取ったスリット画像を生成し、前記第1画像と前記第2画像とを、前記スリット画像毎に照合する。コンピュータは、この制御方法を実行することで、第1の計測と第2の計測との間に生じた変化の有無を好適に検出することができる。
本発明の他の好適な実施形態によれば、プログラムは、第1の計測において計測したデータに基づき生成された道路の画像である第1画像を取得し、第2の計測において計測したデータに基づき生成された前記道路の画像である第2画像を取得し、前記第1画像及び前記第2画像に対する基準位置を設定し、前記基準位置に基づき、前記第1画像と前記第2画像とから切り取ったスリット画像を生成し、前記第1画像と前記第2画像とを、前記スリット画像毎に照合する処理をコンピュータに実行させる。コンピュータは、このプログラムを実行することで、第1の計測と第2の計測との間に生じた変化の有無を好適に検出することができる。好適には、上記プログラムは、記憶媒体に記憶される。
以下、図面を参照して本発明の好適な実施例について説明する。
<第1実施例>
(1)システム概要
図1は、第1実施例に係る変化点検出システムの概略構成図である。図1に示す変化点検出システムは、道路を走行する計測車両が生成した計測データに基づき道路上の白線(区画線)の時系列的な変化が生じた点(変化点)を検出するシステムであり、主に、計測車両と、変化点検出装置4とを有する。
(1)システム概要
図1は、第1実施例に係る変化点検出システムの概略構成図である。図1に示す変化点検出システムは、道路を走行する計測車両が生成した計測データに基づき道路上の白線(区画線)の時系列的な変化が生じた点(変化点)を検出するシステムであり、主に、計測車両と、変化点検出装置4とを有する。
計測車両は、道路を走行することで、走行した道路及びその周辺の環境を計測した計測データを生成する。計測車両は、複数台存在してもよい。計測車両は、主に、車載機1と、外界センサ2と、測位用センサユニット3とを有する。
外界センサ2は、計測車両周辺の環境の計測(センシング)を行う1または複数のセンサである。外界センサ2は、例えば、ライダ(Lidar:Light Detection and Ranging、または、Laser Illuminated Detection And Ranging)、カメラ又はその両方である。外界センサ2がライダを含む場合、水平方向および垂直方向の所定の角度範囲に対してパルスレーザを出射することで、外界に存在する物体までの距離を離散的に測定し、当該物体の3次元位置及び照射強度を表す各計測点から構成される点群データを生成する。また、外界センサ2がカメラを含む場合、車両からの風景を撮影した画像を生成する。外界センサ2の出力データには、計測日時(生成日時)を示す日時データが付加される。外界センサ2は、計測車両の任意の位置に設けられてもよく、計測車両に複数設けられてもよい。
測位用センサユニット3は、外界センサ2の時系列の位置及び向き(進行方向)を表す移動情報を生成するセンサ群である。測位用センサユニット3は、例えば、GPS受信機、加速度センサ、ジャイロセンサ、IMU(Inertial Measurement Unit)などのセンサを含んでいる。上記のGPS受信機は、RTK測位方式(即ち干渉測位方式)に基づき計測車両の絶対的な位置(例えば緯度、経度、及び高度の3次元位置)を示す高精度な位置情報を生成するものであってもよい。なお、測位用センサユニット3は、外界センサ2の位置及び向きを直接検出するように外界センサ2に設けられたセンサであってもよい。
車載機1は、外界センサ2及び測位用センサユニット3と有線又は無線により電気的に接続し、外界センサ2及び測位用センサユニット3が生成したデータを記憶する。また、車載機1は、変化点検出装置4とデータ通信可能であって、外界センサ2及び測位用センサユニット3の出力データに基づく計測データ「D1」を、変化点検出装置4に送信する。具体的には、車載機1は、外界センサ2が複数の位置において計測したデータと、測位用センサユニット3の出力に基づく外界センサ2の移動情報とを含む計測データD1を、変化点検出装置4に送信する。車載機1は、測位用センサユニット3と共にドライブレコーダーとして構成されてもよい。
なお、車載機1は、外界センサ2及び測位用センサユニット3の出力するデータを適宜補正する処理を行ってもよい。例えば、車載機1は、外界センサ2と測位用センサユニット3の各装置内で基準とする時刻の差を検出し、外界センサ2の出力データと移動情報に夫々含まれる日時データが同期するようにこれら日時データの少なくとも一方を上記の時刻差に基づき補正してもよい。
変化点検出装置4は、外界センサ2の出力データと外界センサ2の移動情報とを含む計測データD1を車載機1から受信し、受信した計測データD1に基づき、変化点を検出する処理を行う。変化点検出装置4は、「情報処理装置」の一例である。
なお、図1に示す変化点検出システムの構成は一例であり、図1に示す構成に対して種々の変形を行ってもよい。例えば、変化点検出装置4は、車載機1とのデータ通信により計測データD1を取得する代わりに、車載機1が記憶媒体に記憶した計測データD1を当該記憶媒体から読み出すことで計測データD1を取得してもよい。この場合、上記の記憶媒体は、計測車両の計測時には車載機1に電気的に接続されることにより、車載機1による計測データD1の書込みが行われる。また、計測車両での計測後、上記の記憶媒体は、変化点検出装置4と電気的に接続されることにより、変化点検出装置4による計測データD1の読み出しが行われる。また、外界センサ2及び測位用センサユニット3が夫々単独で記憶媒体に生成したログデータを保持し、その記憶媒体を変化点検出装置4に読み込ませることで、変化点検出装置4への計測データD1の供給を行ってもよい。この場合、変化点検出システムは、車載機1を有しなくともよい。また、変化点検出装置4は、複数の装置から構成されてもよい。この場合、変化点検出装置4は、複数の装置は、予め割り当てられた処理を実行し、かつ、互いに必要なデータの授受を装置間において行う。
(2)変化点検出装置の構成
図2は、変化点検出装置4の機能的構成を示すブロック図である。変化点検出装置4は、インターフェース41と、メモリ42と、コントローラ43と、を有する。これらの各要素は、バスラインを介して相互に接続されている。
図2は、変化点検出装置4の機能的構成を示すブロック図である。変化点検出装置4は、インターフェース41と、メモリ42と、コントローラ43と、を有する。これらの各要素は、バスラインを介して相互に接続されている。
インターフェース41は、変化点検出装置4と外部装置とのデータの授受に関するインターフェース動作を行う。本実施例では、インターフェース41は、車載機1が生成した計測データD1を受信する。インターフェース41は、車載機1と無線通信を行うためのネットワークアダプタなどのワイヤレスインターフェースであってもよく、計測データD1を記憶した記憶媒体等から計測データD1を読み出すためのハードウェアインターフェースであってもよい。また、インターフェース41は、入力装置、表示装置、音出力装置等の種々の周辺装置とのインターフェース動作を行ってもよい。
メモリ42は、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスクドライブ、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。メモリ42は、コントローラ43が所定の処理を実行するためのプログラムが記憶される。なお、コントローラ43が実行するプログラムは、メモリ42以外の記憶媒体に記憶されてもよい。
また、メモリ42は、計測データD1と、第1オルソ画像D21と、第2オルソ画像D22と、変化点候補情報D3とを記憶している。
計測データD1は、車載機1から変化点検出装置4が受信した計測データD1である。第1オルソ画像D21は、変化点を検出する対象となる道路(「対象道路」とも呼ぶ。)に対する第1の計測により生成された計測データD1に基づく対象道路のオルソ画像である。「第1の計測」は、変化前の基準となるリファレンス用の対象道路のデータを生成するための計測であり、例えば、計測車両の1回目の対象道路の走行での計測に相当する。第1オルソ画像D21には、絶対位置に関する情報(「絶対位置情報」とも呼ぶ。)が紐付けられている。この絶対位置情報は、例えば、オルソ画像の生成に使用した外界センサ2の出力データに対応する外界センサ2の移動情報に基づき生成される。
第2オルソ画像D22は、対象道路に対する第2の計測において生成された対象道路及びその周辺のオルソ画像である。「第2の計測」は、第1の計測からの対象道路の変化の有無を判定するための計測であり、例えば、計測車両の2回目の対象道路の走行での計測に相当する。第2オルソ画像D22には、絶対位置情報が紐付けられている。
なお、第1オルソ画像D21の生成に使用する計測データD1と、第2オルソ画像D22の生成に使用する計測データD1とは、異なる計測車両により生成されたデータであってもよい。また、第1オルソ画像D21及び第2オルソ画像D22は、道路毎に生成された画像であってもよく、1つの道路に対して複数生成される画像であってもよく、複数の道路を表す画像であってもよい。第1オルソ画像D21及び第2オルソ画像D22は、「第1画像」及び「第2画像」の一例である。
変化点候補情報D3は、第1オルソ画像D21と第2オルソ画像D22とに基づき検出した変化点の候補を表す情報である。
ここで、オルソ画像の生成について補足説明する。変化点検出装置4は、計測データD1に含まれる外界センサ2の出力データと、外界センサ2の移動情報が示す外界センサ2の計測時の位置及び向き(計測方向)とに基づき、対象の道路区間周辺の3次元モデルを生成する。そして、変化点検出装置4は、生成した3次元モデルに対して正射変換を行うことで、オルソ画像を生成する。そして、変化点検出装置4は、生成したオルソ画像を、外界センサ2の移動情報に基づく絶対位置情報と関連付ける。この場合、第1の計測において得られた計測データD1に基づき第1オルソ画像D21が生成され、第2の計測において得られた計測データD1に基づき第2オルソ画像D22が生成される。
ここで、外界センサ2がライダである場合には、ライダが出力する3次元計測点群を2次元画像にしたオルソ画像を生成する。この場合、生成されるオルソ画像の画素は、反射強度の値を有してもよく、Z座標値(即ち画素に対応する計測点が示す高度の情報)を有してもよく、これらの両方の値を有してもよい。また、オルソ画像は、カメラとライダの出力データの組み合わせにより生成されてもよい。例えば、この場合、ライダとカメラを同期させて、ライダの照射範囲外の部分をカメラの出力データにより補間したオルソ画像、又は、カメラの撮影範囲外の部分をライダの出力データにより補間したオルソ画像を生成してもよい。
なお、計測データD1、第1オルソ画像D21、第2オルソ画像D22、変化点候補情報D3の少なくとも1つは、インターフェース41を介して変化点検出装置4と接続されたハードディスクなどの変化点検出装置4の外部の記憶装置に記憶されてもよい。上記の記憶装置は、変化点検出装置4と通信を行うサーバ装置であってもよい。また、上記の記憶装置は、複数の装置から構成されてもよい。また、第1オルソ画像D21及び第2オルソ画像D22は、変化点検出装置4以外の装置により生成された後、メモリ42に記憶されてもよい。
コントローラ43は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、TPU(Tensor Processing Unit)などの1又は複数のプロセッサを含み、変化点検出装置4の全体を制御する。この場合、コントローラ43は、メモリ42等に記憶されたプログラムを実行することで、区画線の変化点検出に関する処理を行う。例えば、コントローラ43は、車載機1からインターフェース41を介して受信した計測データD1に基づき、第1オルソ画像D21及び第2オルソ画像D22を生成し、これらをメモリ42に記憶する。また、コントローラ43は、第1オルソ画像D21及び第2オルソ画像D22に基づき、変化点候補情報D3の生成及びメモリ42への記憶を行う。コントローラ43は、「第1画像取得手段」、「第2画像取得手段」、「基準位置設定手段」、「基準画像生成手段」、「スリット画像生成手段」、「スリット画像照合手段」及びプログラムを実行するコンピュータ等として機能する。
なお、コントローラ43が実行する処理は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、コントローラ43が実行する処理は、例えばFPGA(Field-Programmable Gate Array)又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、コントローラ43が本実施例において実行するプログラムを実現してもよい。このように、コントローラ43は、種々のハードウェアにより実現されてもよい。さらに、コントローラ43が有する機能は,例えば,クラウドコンピューティング技術などを用いて、複数のコンピュータの協働によって実現されてもよい。
(3)変化点検出
次に、変化点検出装置4が実行する区画線の変化点検出について説明する。概略的には、変化点検出装置4は、第1オルソ画像D21と第2オルソ画像D22とを所定の特徴物等を基準として位置合わせを行った後、これらの画像のスリット画像同士を比較することで、変化点の候補を検出する。これにより、変化点検出装置4は、絶対的な精度を有するリファレンス画像を必要とすることなく、低コストにより変化点の候補を検出し、かつ、比較範囲を狭めて高精度に変化点の候補を検出する。
次に、変化点検出装置4が実行する区画線の変化点検出について説明する。概略的には、変化点検出装置4は、第1オルソ画像D21と第2オルソ画像D22とを所定の特徴物等を基準として位置合わせを行った後、これらの画像のスリット画像同士を比較することで、変化点の候補を検出する。これにより、変化点検出装置4は、絶対的な精度を有するリファレンス画像を必要とすることなく、低コストにより変化点の候補を検出し、かつ、比較範囲を狭めて高精度に変化点の候補を検出する。
(3-1)処理フロー
図3は、変化点検出装置4が実行する変化点検出に関する処理の手順を示すフローチャートの一例である。
図3は、変化点検出装置4が実行する変化点検出に関する処理の手順を示すフローチャートの一例である。
まず、変化点検出装置4は、比較対象となる第1オルソ画像D21及び第2オルソ画像D22を取得する(ステップS10)。この場合、変化点検出装置4は、区画線の変化点を検出する対象道路を表す第1オルソ画像D21及び第2オルソ画像D22を、第1オルソ画像D21及び第2オルソ画像D22に夫々紐付けられた絶対位置情報に基づき取得する。
次に、変化点検出装置4は、ステップS10で取得した第1オルソ画像D21を対象とし、ステップS10で取得した第1オルソ画像D21と第2オルソ画像D22の位置合わせの基準となる位置(「基準位置Ps」とも呼ぶ。)の探索を行う(ステップS11)。基準位置Psは、例えば、対象道路周辺に存在する標識、看板、郵便ポストなどの特徴物の位置であって、絶対座標(ワールド座標)により表される。
次に、変化点検出装置4は、ステップS10で取得した第1オルソ画像D21及び第2オルソ画像D22から、基準位置Psを含む画像(「基準画像」とも呼ぶ。)を切り出す。基準画像を切り出す範囲は、例えば、基準位置Psと対象道路の幅方向の両端とを含み、かつ、対象道路に沿って所定幅分の矩形領域となるように定められる。以後では、第1オルソ画像D21から切り出した基準画像を「第1基準画像」と呼び、第2オルソ画像D22から切り出した基準画像を「第2基準画像」とも呼ぶ。
次に、変化点検出装置4は、第1基準画像と第2基準画像とのマッチング(照合)を行う(ステップS13)。この場合、任意のマッチング手法を用いて、少なくとも基準位置Psが一致するように第1基準画像と第2基準画像とのマッチングを行い、第1基準画像と第2基準画像との差分位置(必要な並進移動)及び差分角度(必要な回転角度)を算出する。この場合、例えば、変化点検出装置4は、第1基準画像と第2基準画像の少なくとも一方を移動させて基準位置Psが一致するような差分位置を算出する。また、変化点検出装置4は、第1基準画像と第2基準画像とを相対的に回転させながら相関度などのマッチングの度合いを表す指標値(マッチ度)を算出した場合に、マッチ度が最も高くなる回転角度を、差分角度として算出する。この場合、変化点検出装置4は、ニュートン法などの任意の求根アルゴリズムを用いて上述の回転角度(差分角度)を算出してもよい。
次に、変化点検出装置4は、基準画像を基準とし、第1オルソ画像D21及び第2オルソ画像D22に対してスリット状(短冊状)に切り出した画像(「スリット画像」とも呼ぶ。)を生成する(ステップS14)。この場合、変化点検出装置4は、直前に切り出された基準画像又はスリット画像を基準として、対象道路に沿って所定幅分の矩形領域を第1オルソ画像D21及び第2オルソ画像D22から切り出したスリット画像を生成する。このように、変化点検出装置4は、基準画像を基準として、道路が延びる方向に沿って所定幅毎に第1オルソ画像D21及び第2オルソ画像D22に順次スリットを入れてスリット画像を生成する。
以後では、第1オルソ画像D21から切り出したスリット画像を「第1スリット画像」と呼び、第2オルソ画像D22から切り出したスリット画像を「第2スリット画像」と呼ぶ。
次に、変化点検出装置4は、ステップS14で生成した第1スリット画像と第2スリット画像のマッチング(照合)を行う(ステップS15)。この場合、任意のマッチング手法を用いて、第1スリット画像と第2スリット画像とのマッチングを行い、マッチングの度合いを示すマッチ度を算出する。この場合、例えば、変化点検出装置4は、第1スリット画像と第2スリット画像の少なくとも一方の位置の移動及び回転を行いながらマッチ度を算出した場合に、マッチ度が最も高くなる差分位置及び差分角度の組み合わせを、任意の球根アルゴリズムを用いて算出する。
そして、変化点検出装置4は、第1スリット画像と第2スリット画像とがマッチしたか否か判定する(ステップS16)。例えば、変化点検出装置4は、ステップS15のマッチング処理で得られた最も高いマッチ度が所定の閾値より大きい場合、第1スリット画像と第2スリット画像とがマッチしたと判定する。一方、変化点検出装置4は、上述のマッチ度が上述の閾値以下である場合、第1スリット画像と第2スリット画像とがマッチしなかったと判定する。上述の閾値は、例えばメモリ42等に予め記憶されている。
そして、変化点検出装置4は、第1スリット画像と第2スリット画像とがマッチしたと判定した場合(ステップS16;Yes)、マッチ度が最も高くなる差分位置及び差分角度を記憶する(ステップS17)。ステップS17で記憶した差分位置及び差分角度は、後述するように、ステップS14で行われる次のスリット画像の切り出し位置の決定に用いられてもよく、次に切り出されたスリット画像に対するステップS15のマッチング処理において用いられてもよい。
ステップS17の実行後、変化点検出装置4は、ステップS14へ処理を戻し、次のスリット画像の生成をステップS14において行う。なお、変化点検出装置4は、ステップS14のスリット画像の生成において、生成したスリット画像が次の基準位置を含む場合、又は、スリット画像を切り出す範囲が第1オルソ画像D21及び第2オルソ画像D22に存在しない(第1オルソ画像D21及び第2オルソ画像D22において見切れている)場合、フローチャートの処理を終了する。この場合、変化点検出装置4は、新たな基準位置又は新たな第1オルソ画像D21及び第2オルソ画像D22を対象としてフローチャートを実行する。
一方、変化点検出装置4は、第1スリット画像と第2スリット画像とがマッチしないと判定した場合(ステップS16;No)、変化点候補情報D3を生成する(ステップS18)。この場合、変化点検出装置4は、第1スリット画像とマッチしなかった第2スリット画像が表す道路部分に変化点が発生した可能性があると判定し、対象の第1スリット画像及び第2スリット画像を、変化点候補情報D3としてメモリ42に記憶する。
(3-2)機能ブロック
図4は、変化点検出装置4のコントローラ43の機能ブロックの一例を示す。コントローラ43は、機能的には、基準位置設定部51と、第1基準画像生成部52A及び第2基準画像生成部52Bと、基準画像照合部53と、第1スリット画像生成部54A及び第2スリット画像生成部54Bと、スリット画像照合部55と、変化点候補判定部56とを有する。以後では、第1基準画像生成部52A及び第2基準画像生成部52Bを区別しない場合にはこれらを単に「基準画像生成部52」とも呼ぶ。同様に、第1スリット画像生成部54A及び第2スリット画像生成部54Bを区別しない場合にはこれらを単に「スリット画像生成部54」と呼ぶ。
図4は、変化点検出装置4のコントローラ43の機能ブロックの一例を示す。コントローラ43は、機能的には、基準位置設定部51と、第1基準画像生成部52A及び第2基準画像生成部52Bと、基準画像照合部53と、第1スリット画像生成部54A及び第2スリット画像生成部54Bと、スリット画像照合部55と、変化点候補判定部56とを有する。以後では、第1基準画像生成部52A及び第2基準画像生成部52Bを区別しない場合にはこれらを単に「基準画像生成部52」とも呼ぶ。同様に、第1スリット画像生成部54A及び第2スリット画像生成部54Bを区別しない場合にはこれらを単に「スリット画像生成部54」と呼ぶ。
基準位置設定部51は、第1オルソ画像D21を対象とした基準位置Psの設定を行う。この処理は、図3のステップS11の処理に相当する。これにより、基準位置設定部51は、点、線、地物などの場所を、基準位置Psとして絶対座標(ワールド座標)上において設定する。例えば、第1オルソ画像D21がカメラ画像により生成された画像である場合には、基準位置設定部51は、特徴点検出技術により検出した特徴的な位置を、基準位置Psとして決定する。他の例では、第1オルソ画像D21がライダの点群データにより生成された画像である場合には、基準位置設定部51は、画素ごとに含まれるZ座標値に基づき検出した特徴的な位置(例えば相対的に高い位置)を、基準位置Psとして決定する。さらに別の例では、第1オルソ画像D21がライダの点群データにより生成された画像である場合には、基準位置設定部51は、反射強度の高い画素が密集した位置(例えば所定画素数以上の塊)を、基準位置Psとして決定する。その他、基準位置設定部51は、地図情報に基づき基準位置Psを決定してもよく、手動入力(ユーザ入力)に基づき選別した位置を基準位置Psとして決定してもよい。そして、基準位置設定部51は、設定した基準位置Psを、第1基準画像生成部52A及び第2基準画像生成部52Bに夫々通知する。
基準画像生成部52は、基準画像の生成を行う。この処理は、図3のステップS12の処理に相当する。具体的には、第1基準画像生成部52Aは、第1オルソ画像D21と、基準位置設定部51が設定した基準位置Psとに基づき、第1基準画像を生成する。例えば、第1基準画像生成部52Aは、基準位置Psと対象道路の幅方向の両端とを含み、かつ、対象道路に沿って所定幅分の矩形領域となるように、第1オルソ画像D21から第1基準画像を切り出す。同様に、第2基準画像生成部52Bは、第2オルソ画像D22と、基準位置設定部51が探索した基準位置Psとに基づき、第2基準画像を生成する。この場合、例えば、第2基準画像生成部52Bは、基準位置Psと対象道路の幅方向の両端とを含み、かつ、対象道路に沿って所定幅分の矩形領域となるように、第2オルソ画像D22から第2基準画像を切り出す。なお、道路の幅方向の基準画像の幅は、オルソ画像と同一幅に設定されてもよい。ここで、基準位置Psは絶対座標系の位置であるため、第1基準画像と第2基準画像とは、少なくとも基準位置Psを含む共通の道路部分を表す画像となる。
基準画像照合部53は、第1基準画像と第2基準画像との照合(マッチング)を行う。この処理は、図3のステップS13に相当する。これにより、基準画像照合部53は、基準位置Psが一致するように第1基準画像と第2基準画像をマッチングさせ、マッチング結果である差分位置及び差分角度を、第1スリット画像生成部54A及び第2スリット画像生成部54Bに供給する。
スリット画像生成部54は、図3のステップS14に相当する処理である、スリット画像の生成を行う。具体的には、第1スリット画像生成部54Aは、第1オルソ画像D21から基準位置Psを含む第1基準画像を起点として、道路が延びる方向に沿って対象道路を短冊状に切り取った画像である第1スリット画像を順次生成する。この場合、第1スリット画像生成部54Aは、例えば、計測データD1に含まれる移動情報に基づき、計測時の外界センサ2の進行方向を道路が延びる方向として認識し、当該方向と垂直方向に所定幅の間隔によりスリットを入れて切り出した画像を、第1スリット画像として抽出する。同様に、第2スリット画像生成部54Bは、第2オルソ画像D22から基準位置Psを含む第2基準画像を起点として、道路が延びる方向に沿って対象道路を短冊状に切り取った画像である第2スリット画像を順次生成する。
なお、道路の幅方向のスリット画像の幅は、対象道路の幅方向の両端を含む(縁石等の対象道路の淵を含む)幅としてもよく、対象道路の車線の両端を少なくとも含む幅としてもよい。また、複数車線の道路では、車線毎にスリット画像を作成し、車線毎の両端幅がスリット画像の幅となるようにしてもよく、複数車線単位によりスリット画像を作成し、複数車線毎の両端幅がスリット画像の幅となるように定めてもよい。また、中央分離帯等がある場合は、対象道路又は対象の車線に加えて中央分離帯が含まれる範囲となるようにスリット画像の幅を設定してもよい。さらに別の例では、スリット画像の幅は、オルソ画像と同一幅に設定されてもよい。スリット画像の幅は、具体的には、マッチングにおける特徴点の多さ(変化点検出の対象となる区画線が実線であるか又は破線であるか)等を勘案して定められる。
ここで、スリット画像生成部54は、スリット画像照合部55から供給される差分位置及び差分角度に基づき、第1スリット画像又は第2スリット画像の少なくとも一方を切り出す位置及び角度を変更してもよい。これにより、直前のスリット画像同士のマッチング結果を考慮し、次に切り出す第1スリット画像と第2スリット画像との間でずれが生じないように好適にスリット画像の切り出しを行うことができる。
スリット画像照合部55は、第1スリット画像と第2スリット画像との照合(マッチング)を行うことで、マッチ度が最も高くなる差分位置及び差分角度の組み合わせを算出する。この処理は、図3のステップS15に相当する。例えば、スリット画像照合部55は、マッチング結果である差分位置及び差分角度を、第1スリット画像生成部54A及び第2スリット画像生成部54Bに供給する。この場合、上述したように、上述した差分位置及び差分角度は、スリット画像の切り出しに用いられる。他の例では、スリット画像照合部55は、マッチングにより生成した差分位置及び差分角度を、次のスリット画像のマッチングにおける差分位置及び差分角度の最適解の探索の初期値として、メモリ42に記憶してもよい。この場合においても、次のスリット画像のマッチングの精度を好適に向上させることができる。
変化点候補判定部56は、スリット画像照合部55から供給される、第1スリット画像、第2スリット画像、及びこれらの(最もマッチした時の)マッチ度に基づき、変化点候補の有無の判定を行う。この処理は、図3のステップS16及びステップS17に相当する。例えば、変化点候補判定部56は、上述のマッチ度が所定の閾値以下の場合、第1スリット画像と第2スリット画像が示す道路部分に変化が生じた可能性があると判定する。よって、この場合、変化点候補判定部56は、第1スリット画像及び第2スリット画像を変化点の候補を表す画像とみなし、これらの画像を変化点候補情報D3としてメモリ42に記憶する。
また、変化点候補判定部56は、変化点候補情報D3に基づき、変化点を決定する処理をさらに行ってもよい。例えば、変化点候補判定部56は、複数の期間において計測された計測データD1に基づき、対象道路の第2オルソ画像D22を複数生成し、第1オルソ画像D21との比較により変化点候補情報D3を生成する。そして、変化点候補判定部56は、変化点候補情報D3に基づき、複数の期間に対応する第2オルソ画像D22において同一地点が変化点の候補として抽出されていると判定した場合、当該地点を変化点として決定する。このように、変化点候補判定部56は、複数の期間において変化が検出された地点を変化点として決定してもよい。他の例では、変化点候補判定部56は、変化点候補情報D3が示す変化点の候補をそのまま変化点として確定してもよい。
(3-3)基準画像及びスリット画像の具体例
次に、基準画像及びスリット画像の生成方法の具体例について図5及び図6を参照して説明する。
次に、基準画像及びスリット画像の生成方法の具体例について図5及び図6を参照して説明する。
図5は、第1基準画像及び第1スリット画像を明示した第1オルソ画像D21の1車線道路(片側1車線道路)の一例を示す。複数車線の道路の場合は、車線毎にスリット画像を作成してもよく、複数車線をまとめてスリット画像を作成してもよい。また、中央分離帯がある道路の場合は、複数車線の道路のスリット画像作成方法に加えて、対象道路又は対象の車線に加えて中央分離帯が含まれる範囲となるように幅が設定されたスリット画像を作成してもよい。また、図6は、図5に示す第1オルソ画像D21に対応し、第2基準画像及び第2スリット画像を明示した第2オルソ画像D22の一例を示す。図5及び図6における破線枠は、個々の基準画像又はスリット画像の切り出し範囲の一例を表している。なお、基準画像又はスリット画像の横幅はオルソ画像の横幅と同一であってもよい。
図5に示す第1オルソ画像D21及び図6に示す第2オルソ画像D22は、ライダの出力データに基づき生成され、各画素は反射強度に応じた画素値を有しているものとする。そして、第1オルソ画像D21では、区画線に対応する画素領域60A~62Aと、標識に対応する画素領域63A、64Aとが、画素値が高い画素により形成されている。同様に、第2オルソ画像D22では、区画線に対応する画素領域60B~62Bと、標識に対応する画素領域63B、64Bとが、画素値が高い画素により形成されている。また、第1オルソ画像D21及び第2オルソ画像D22は、絶対座標系が紐付けられており、図5に示す第1オルソ画像D21の左上隅位置は絶対座標(X1,Y1)に対応し、図6に示す第2オルソ画像D22の左上隅位置は絶対座標(X2,Y2)に対応している。
この場合、まず、基準位置設定部51は、標識の画素領域63A、64Bを基準位置Psとして探索し、そのうち画素領域63Aを最初の基準位置Psとして定める。そして、第1基準画像生成部52Aは、画素領域63Aを含む第1基準画像「A1」の切り出し範囲を決定し、第2基準画像生成部52Bは、画素領域63Bを含む第2基準画像「B1」の切り出し範囲を決定する。この場合、例えば、これらの基準画像生成部52は、計測時の外界センサ2の移動情報が示す外界センサ2の進行方向と垂直方向に所定幅分だけ切り出した矩形画像を、基準画像として定める。他の例では、基準画像生成部52は、画像認識処理により道路の延在方向を認識し、認識した道路の延在方向に基づき基準画像を定めてもよい。また、基準画像の横幅は、スリット画像の横幅と同様、道路の左右の縁、又は、中央分離帯や複数車線等を含む場合は少なくとも中央分離帯又は対象の車線が含まれる長さとなるように設定される。なお、第1基準画像A1の切り出し範囲及び第2基準画像A2の切り出し範囲は、手動入力に基づき決定されてもよい。その後、基準画像照合部53は、第1基準画像A1と第2基準画像A2とのマッチングを行い、差分位置及び差分角度を算出する。
そして、第1スリット画像生成部54Aは、道路に沿って第1基準画像A1に隣接する所定幅の矩形領域を、第1スリット画像「a1」の切り出し範囲として決定する。また、第2スリット画像生成部54Bは、道路に沿って第2基準画像A2に隣接する範囲であって、第1基準画像A1と第2基準画像A2とのマッチングにより算出された差分位置及び差分角度だけ移動させた範囲を、第2スリット画像「a2」の切り出し範囲として決定する。その後、第1スリット画像生成部54Aは、道路に沿って第1スリット画像a1に隣接する所定幅の矩形領域を、第1スリット画像「b1」の切り出し範囲として決定する。また、第2スリット画像生成部54Bは、道路に沿って第2スリット画像a2に隣接する範囲であって、第1スリット画像a1と第2スリット画像a2とのマッチングにより算出された差分位置及び差分角度だけ移動させた範囲を、第2スリット画像「b2」の切り出し範囲として決定する。同様の手順により、第1スリット画像「c1」~「e1」及び第2スリット画像「c2」~「e2」の切り出し範囲の決定及びマッチングが行われる。
また、第1スリット画像e1及び第2スリット画像e2のマッチングの実行後、第1スリット画像e1の次に第1オルソ画像D21から決定したスリット画像は基準位置となる標識の画素領域64Aを含むことから、第1基準画像生成部52Aは、当該画素領域64Aを含む第1基準画像B1を設定する。同様に、第2基準画像生成部52Bは、新たに設定された基準位置Psに相当する画素領域64Aを含む第2基準画像B2を設定する。その後、第1基準画像B1と第2基準画像B2とのマッチング、スリット画像の生成、生成されたスリット画像のマッチングが順次行われる。
このように、変化点検出装置4は、第1オルソ画像D21及び第2オルソ画像D22を部分画像(スリット画像及び基準画像)毎に順次比較し、部分画像の比較結果を次の部分画像の比較に用いる。これにより、変化点検出装置4は、高精度に第1オルソ画像D21及び第2オルソ画像D22の比較を行い、変化点の候補となる領域の検出を行うことができる。なお、スリット画像照合部55のマッチング結果である差分位置及び差分角度は、スリット画像の切り出し範囲の決定に用いられる代わりに、次のスリット画像のマッチングにおける差分位置及び差分角度の初期値として用いられてもよい。なお、図5及び図6では、基準位置が道路縁に存在するが、必ずしも道路縁上にある必要はない。
ここで、本実施例の効果について補足説明する。大きな画像同士の画像マッチングでは画像の歪や揺れなどによりマッチングの精度が低くなる傾向がある。そこで、本実施例では、一部の狭い範囲を切り取ったスリット画像同士でマッチングを行う。これにより、比較範囲を狭めることができ、不要なマッチングを防止する効果がある。加えて、本実施例では、隙間なく連続的にマッチング処理を行っていることにより、前の画像のマッチング結果(位置ずれや回転角度)を次の画像の作成の補正に好適に利用することができる。結果、異なる走行画像同士であっても同じ場所同士を比較することができる。また、従来のように絶対的な精度を有するリファレンス画像を用意する代わりに、計測車両の走行毎に得られたオルソ画像の相対比較により、変化点の検出を行うことができる。従って、絶対的な精度を有するリファレンス画像の作成コストを好適に削減することができる。
以上説明したように、本実施例における変化点検出装置4のコントローラ43は、第1の計測において計測したデータに基づき生成された道路の画像である第1オルソ画像D21を取得する。また、コントローラ43は、第2の計測において計測したデータに基づき生成された前記道路の画像である第2オルソ画像D22を取得する。また、コントローラ43は、第1オルソ画像及び第2オルソ画像D22に対する基準位置Psを設定する。そして、コントローラ43は、基準位置Psに基づき、第1オルソ画像D21と第2オルソ画像D22とから切り取ったスリット画像を生成する。そして、コントローラ43は、第1オルソ画像D21と第2オルソ画像D22とを、スリット画像毎に照合する。これにより、コントローラ43は、絶対的精度を有する変化前のリファレンスを用意することなく、変化点検出のための画像同士の比較を好適に実行することができる。
(4)変形例
次に、上述した実施例に適用可能な変形例について説明する。以下の変形例は任意に組み合わせて上述の実施例に適用してもよい。
次に、上述した実施例に適用可能な変形例について説明する。以下の変形例は任意に組み合わせて上述の実施例に適用してもよい。
(第1変形例)
変化点検出装置4は、第1オルソ画像D21として、複数の走行(例えば一週間分の走行、又は昼夜での走行)により得られた計測データD1に基づく複数のオルソ画像を用いてもよい。同様に、変化点検出装置4は、第2オルソ画像D22として、複数の走行により得られた計測データD1に基づく複数のオルソ画像を用いてもよい。
変化点検出装置4は、第1オルソ画像D21として、複数の走行(例えば一週間分の走行、又は昼夜での走行)により得られた計測データD1に基づく複数のオルソ画像を用いてもよい。同様に、変化点検出装置4は、第2オルソ画像D22として、複数の走行により得られた計測データD1に基づく複数のオルソ画像を用いてもよい。
図7は、第1変形例において変化点検出装置4が実行するフローチャートの一例である。図7のフローチャートは、複数のオルソ画像を積算した画像に基づいて基準画像等を生成する処理を含んでいる。
まず、変化点検出装置4は、処理対象となるオルソ画像を取得する(ステップS20)。この場合、第1オルソ画像D21又は第2オルソ画像D22の少なくとも一方は、複数の計測車両の走行により得られた複数のオルソ画像であってもよい。変化点検出装置4は、これらのオルソ画像をメモリ42から抽出する。
次に、変化点検出装置4は、ステップS20で取得した第1オルソ画像D21を対象として基準位置Psの探索を行う(ステップS21)。そして、変化点検出装置4は、探索した基準位置Psを基準としてオルソ画像の積算を行う(ステップS22)。ここで、第2オルソ画像D22に対応するオルソ画像を複数個用意した場合について説明する。この場合、変化点検出装置4は、第2オルソ画像D22としてステップS20で取得した複数のオルソ画像を、基準位置Psを基準として位置合わせを行い、位置合わせ後のこれらのオルソ画像を積算した画像(「積算画像」とも呼ぶ。)を生成する。この場合、変化点検出装置4は、基準位置Psを含む部分領域に限り複数のオルソ画像を積算した画像を、第2オルソ画像D22の積算画像として生成してもよい。なお、第1オルソ画像D21に対応するオルソ画像を複数個用意した場合についても同様に、変化点検出装置4は、基準位置Psを基準として位置合わせを行ったオルソ画像を積算した積算画像を生成する。
そして、変化点検出装置4は、第1オルソ画像D21と第2オルソ画像D22ととから夫々基準画像を切り出して生成する(ステップS23)。ここで、変化点検出装置4は、ステップS22において第1オルソ画像D21又は第2オルソ画像D22の積算画像を生成した場合には、当該積算画像から基準画像を切り出す。そして、変化点検出装置4は、ステップS23で生成した第1基準画像と第2基準画像とのマッチングを行う(ステップS24)。その後、変化点検出装置4は、図3のステップS14~ステップS18と同様の処理を、ステップS25~ステップS29として実行する。
本変形例によれば、所定期間分の走行をまとめた積算画像を生成し、当該所定期間における変化点の検出を行うことができる。また、混雑する時間帯が存在する道路についても、混雑していない時間帯のオルソ画像を含む積算画像を生成することで、混雑によるオクルージョンの影響を受けない道路のオルソ画像を好適に生成することができる。
(第2変形例)
変化点検出装置4は、変化点の検出対象となる区画線の種類に応じてスリット画像の作成方法を変えてもよい。
変化点検出装置4は、変化点の検出対象となる区画線の種類に応じてスリット画像の作成方法を変えてもよい。
例えば、変化点検出装置4は、実線の区画線を変化点の検出対象にする場合、実線本体だけでは特徴がなく比較が難しいという事情を勘案し、道路(通行可能領域)の左右の路肩が画像に含まれるように、第1オルソ画像D21、第2オルソ画像D22、基準画像及びスリット画像を生成する。これにより、変化点検出装置4は、スリット画像同士のマッチングにおいて基準となる特徴点を好適に増やし、マッチング精度を好適に向上させることができる。
一方、変化点検出装置4は、破線の区画線を変化点の検出対象にする場合、スリット画像の進行方向側の長さを破線長より長くかつ、破線2つ分よりは短くする。これにより、変化点検出装置4は、スリット画像同士のマッチング精度を好適に向上させることができる。
(第3変形例)
変化点の検出対象は区画線に限定されない。これに代えて、又はこれに加えて、道路に沿って延在する任意の地物(ガードレール等)を変化点の検出対象としてもよい。この場合においても、変化点検出装置4は、スリット画像毎の比較により高精度に変化点を検出することができる。
変化点の検出対象は区画線に限定されない。これに代えて、又はこれに加えて、道路に沿って延在する任意の地物(ガードレール等)を変化点の検出対象としてもよい。この場合においても、変化点検出装置4は、スリット画像毎の比較により高精度に変化点を検出することができる。
なお、上述した実施例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータであるコントローラ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記憶媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。
以上、実施例を参照して本願発明を説明したが、本願発明は上記実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。
1 車載機
2 外界センサ
3 測位用センサユニット
4 変化点検出装置
41 インターフェース
42 メモリ
43 コントローラ
2 外界センサ
3 測位用センサユニット
4 変化点検出装置
41 インターフェース
42 メモリ
43 コントローラ
Claims (15)
- 第1の計測において計測したデータに基づき生成された道路の画像である第1画像を取得する第1画像取得手段と、
第2の計測において計測したデータに基づき生成された前記道路の画像である第2画像を取得する第2画像取得手段と、
前記第1画像及び前記第2画像に対する基準位置を設定する基準位置設定手段と、
前記基準位置に基づき、前記第1画像と前記第2画像とから切り取ったスリット画像を生成するスリット画像生成手段と、
前記第1画像と前記第2画像とを、前記スリット画像毎に照合するスリット画像照合手段と、
を有する、情報処理装置。 - 前記第1画像及び前記第2画像は、絶対座標と紐付かれた画像であり、
前記基準位置設定手段は、絶対座標により表された前記基準位置を設定する、請求項1に記載の情報処理装置。 - 前記スリット画像生成手段は、前記基準位置を起点として前記道路に沿って前記第1画像と前記第2画像とから所定幅毎に切り取った前記スリット画像を順次生成し、
前記スリット画像照合手段は、前記スリット画像生成手段が前記第1画像と前記第2画像とから切り取った前記スリット画像を順次照合する、請求項1または2に記載の情報処理装置。 - 前記スリット画像生成手段は、前記スリット画像照合手段による前記スリット画像の照合結果に基づき、前記第2画像から次に切り出す前記スリット画像の切り出しに関する位置と角度の少なくとも一方を変更する、請求項3に記載の情報処理装置。
- 前記スリット画像照合手段は、前記スリット画像生成手段が前記第1画像と前記第2画像とから切り取った前記スリット画像の照合を順次実行する場合、直前の前記スリット画像の照合結果に基づき、次の前記スリット画像の照合を実行する、請求項3に記載の情報処理装置。
- 前記スリット画像毎の照合結果に基づき、前記道路に関する変化点の候補の有無を判定する変化点候補判定手段をさらに有する、請求項1~5のいずれか一項に記載の情報処理装置。
- 前記変化点候補判定手段は、前記道路の区画線に関する変化点の候補の有無を判定する、請求項6に記載の情報処理装置。
- 前記変化点候補判定手段は、前記道路の実線または破線の区画線に関する変化点の候補の有無を判定し、
前記スリット画像は、前記道路の車線毎の範囲もしくは左右の路肩を含む範囲に設定される、請求項7に記載の情報処理装置。 - 前記第1画像と前記第2画像は、計測された反射強度に基づき画素値が決定された画像である、請求項7または8に記載の情報処理装置。
- 前記基準位置を含む画像を前記第1画像と前記第2画像とから切り出した基準画像を生成する基準画像生成手段をさらに有し、
前記スリット画像生成手段は、前記第1画像と前記第2画像とから切り出した基準画像の照合結果に基づき、前記スリット画像の切り出しに関する位置及び角度を決定する、請求項1~9のいずれか一項に記載の情報処理装置。 - 前記第1画像と前記第2画像の少なくとも一方は、前記道路に対する複数回の走行により計測したデータを結合した画像である、請求項1~10のいずれか一項に記載の情報処理装置。
- 前記第1画像と前記第2画像は、前記道路を少なくとも含むオルソ画像である、請求項1~11のいずれか一項に記載の情報処理装置。
- コンピュータが実行する制御方法であって、
第1の計測において計測したデータに基づき生成された道路の画像である第1画像を取得し、
第2の計測において計測したデータに基づき生成された前記道路の画像である第2画像を取得し、
前記第1画像及び前記第2画像に対する基準位置を設定し、
前記基準位置に基づき、前記第1画像と前記第2画像とから切り取ったスリット画像を生成し、
前記第1画像と前記第2画像とを、前記スリット画像毎に照合する、
制御方法。 - 第1の計測において計測したデータに基づき生成された道路の画像である第1画像を取得し、
第2の計測において計測したデータに基づき生成された前記道路の画像である第2画像を取得し、
前記第1画像及び前記第2画像に対する基準位置を設定し、
前記基準位置に基づき、前記第1画像と前記第2画像とから切り取ったスリット画像を生成し、
前記第1画像と前記第2画像とを、前記スリット画像毎に照合する処理をコンピュータに実行させるプログラム。 - 請求項14に記載のプログラムを記憶した記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020182613A JP2022072913A (ja) | 2020-10-30 | 2020-10-30 | 情報処理装置、制御方法、プログラム及び記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020182613A JP2022072913A (ja) | 2020-10-30 | 2020-10-30 | 情報処理装置、制御方法、プログラム及び記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022072913A true JP2022072913A (ja) | 2022-05-17 |
Family
ID=81604112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020182613A Pending JP2022072913A (ja) | 2020-10-30 | 2020-10-30 | 情報処理装置、制御方法、プログラム及び記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022072913A (ja) |
-
2020
- 2020-10-30 JP JP2020182613A patent/JP2022072913A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11085775B2 (en) | Methods and systems for generating and using localisation reference data | |
US20220214174A1 (en) | Methods and Systems for Generating and Using Localization Reference Data | |
KR102128851B1 (ko) | 제1 랜드마크의 글로벌 위치를 결정하는 방법 및 시스템 | |
JP6454726B2 (ja) | 自車位置推定装置 | |
JP6870475B2 (ja) | 車線情報出力方法および車線情報出力装置 | |
EP3137850A1 (en) | Method and system for determining a position relative to a digital map | |
KR102475039B1 (ko) | 지도 정보 갱신 장치, 방법 및 시스템 | |
JPWO2017038134A1 (ja) | ランドマーク認識装置及び認識方法 | |
JP4760274B2 (ja) | 地図更新装置 | |
JPWO2018212287A1 (ja) | 測定装置、測定方法およびプログラム | |
JP2023126399A (ja) | 測定装置、測定方法およびプログラム | |
JP2023099851A (ja) | 測定装置、測定方法およびプログラム | |
JP2022072913A (ja) | 情報処理装置、制御方法、プログラム及び記憶媒体 | |
WO2018180247A1 (ja) | 出力装置、制御方法、プログラム及び記憶媒体 | |
JP2018036075A (ja) | 自車位置特定装置、自車位置特定方法 | |
JPWO2018212284A1 (ja) | 測定装置、測定方法およびプログラム | |
JP2021170029A (ja) | 測定装置、測定方法およびプログラム | |
KR102676238B1 (ko) | 차량용 측위 장치 및 그의 측위 방법과 그를 포함하는 차량 | |
JP2021163154A (ja) | 変化点検出装置、制御方法、プログラム及び記憶媒体 | |
CN115691104A (zh) | 用于生成车道信息的装置和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230921 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240521 |