JP6486480B2

JP6486480B2 - 環境地図自動作成装置

Info

Publication number: JP6486480B2
Application number: JP2017537644A
Authority: JP
Inventors: 佑介日永田; 拓久哉中
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2015-08-31
Filing date: 2016-07-22
Publication date: 2019-03-20
Anticipated expiration: 2036-07-22
Also published as: WO2017038291A1; US10766616B2; JPWO2017038291A1; US20200079504A1

Description

本発明は、例えば無人航空機などを用いた環境自動地図作成装置に関するものである。

自動車や鉱山ダンプトラックにおける自律走行システムでは、それらの自律走行車両に装着したＧＰＳなどの測位装置による自車位置情報に基づいて自律的に走行できるように車両の走行制御を行っている。

車両に自律走行を行わせる場合、その環境の経路情報、走行可能な領域及び、障害物情報を有した環境地図を作成する必要がある。その方法としては、例えばＧＰＳ、慣性センサ、カメラ、ＬＩＤＡＲを取り付けた有人の計測車両を用い、事前に自律走行車両が走行するコースを走ることで、環境を計測し、自律走行車両用の環境地図を作成する方法がある。また、他の手法としてＧＰＳや慣性センサ、及びカメラやレーザー測距センサ（ＬｉｇｈｔＤｅｔｅｃｔｉｏｎａｎｄＲａｎｇｉｎｇＬＩＤＡＲ）などを搭載した無人航空機（ＵｎｍａｎｎｅｄＡｅｒｉａｌＶｅｈｉｃｌｅ：ＵＡＶ）などで環境を計測し、その情報に基づいて地図を作成する方法がある。

しかしながら、前者の方法の場合、計測車両の計測性能や、環境上における障害物などにより発生するオクルージョンのため、環境を十分に計測できない恐れがある。例えば、それを解決する手法として、特許文献１には「所定の領域における地形の一部について予め作成された三次元マップを参照して、前記所定の領域のうち、当該三次元マップが作成されている完成領域、及び、作成されていない未完成領域を特定する領域特定部と、前記三次元マップに基づいて、前記未完成領域における地形勾配を推定する地形勾配推定部と、前記未完成領域、及び、当該未完成領域において推定された地形勾配に基づいて地形データ取得条件を最適化しながら、前記未完成領域における地形データを取得する地形データ取得部と、を備えることを特徴とする地形情報取得装置」と記載されている。

特開２０１４−１３９５３８

しかしながら、特許文献１は取得データの十分な完成領域と、不十分な未完成領域を３次元計測データの高さ情報の有無で判断しており、この手法で検知される未計測領域は著しく限定される。例えば、特許文献１において、所定の領域における地形の一部について予め作成された三次元マップがＵＡＶを用いて撮影した航空写真により作成されたものだった場合、トンネルや木々に隠ぺいされた部分は計測できた情報は高さ情報を有すため、特許文献１では完成領域と判定されるが、実際は走行経路情報を計測できていないため、未計測となる。そのため、特許文献１における前記三次元マップは計測車両を用いて作成された場合には有効だが、ＵＡＶを用いて作成された場合は十分に動作することができない。

また、計測車両を用いて地図データを取得する作業は、ＵＡＶを用いてデータを取得する方法よりも時間や計測のためのコストがかかることが多く、できる限り、ＵＡＶで取得したデータを多く利用して、環境地図を作成することが望ましい。また、ＵＡＶを利用することにより、環境情報地形や経路情報に変更があった場合、迅速に対応することができる。

本発明は、以上の課題に鑑みてなされたものであり、ＵＡＶなどの飛行物体を利用した環境地図自動作成装置を提供することを目的とする。

上記課題を解決するための本発明の特徴は、例えば以下の通りである。

飛行物体中のセンサで取得された環境地図を作成するエリアの３次元形状情報に基づき、前記任意のエリア中で車両が走行可能な走行可能領域を抽出する走行可能領域抽出部と、前記走行可能領域のカテゴリを判定する領域カテゴリ判定部と、前記走行可能領域および前記走行可能領域のカテゴリに基づき、前記走行可能領域を補完する補完箇所を判定する補完箇所判定部と、前記補完箇所を提示する補完箇所提示部と、を備える環境地図自動作成装置。

本発明により、飛行物体を利用した環境地図自動作成装置を提供できる。上記した以外の課題、構成及び効果は以下の実施形態の説明により明らかにされる。

実施例１の構成を示す概略図である。３次元形状取得方法の構成を示す図である。走行可能領域を抽出する原理の一例を示した図である。走行可能領域を抽出する原理の一例を示した図である。走行可能領域を抽出する原理の一例を示した図である。走行可能領域を抽出する原理の一例を示した図である。走行可能領域を抽出する原理の一例を示した図である。領域カテゴリ判別の一例を示した図である。トンネルや木々の遮りによって経路情報が不足した箇所の一例である。車両の一時停止や、開閉するゲートによって、経路情報が不足した箇所の一例である。補完箇所提示部の一例を示した図である。実施例２の構成を示す概略図である。

以下、図面等を用いて、本発明の実施形態について説明する。以下の説明は本発明の内容の具体例を示すものであり、本発明がこれらの説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものは、同一の符号を付け、その繰り返しの説明は省略する場合がある。

本実施例では、自律走行車両等が利用可能な環境地図を作成するにあたって、ユーザに情報が不足している可能性のある箇所である補完箇所を提示する実施形態である。

図１は、本実施例の構成を示す概略図である。環境地図自動作成装置１０００は、飛行物体中のセンサで取得された環境地図を作成するエリアの３次元形状情報に基づき、任意のエリア中で車両が走行可能な走行可能領域を抽出する走行可能領域抽出部１０２、走行可能領域のカテゴリを判定する領域カテゴリ判定部１０３、走行可能領域を補完する補完箇所を判定する補完箇所判定部１０４、補完箇所を提示する補完箇所提示部１０５、を備える。

環境地図を作成するエリアの３次元形状情報１０１を取得し、３次元形状情報から任意の車両が走行可能であるか否かを判定する走行可能領域抽出部１０２に与える。このとき３次元形状情報は無人航空機、及び有人航空機、人工衛星などの飛行物体にカメラ、ＬＩＤＡＲ（レーザー測距センサ）、ミリ波レーダ、超音波センサ及びそれに類する環境の形状もしくは環境の輝度、色情報、温度情報を取得することが可能なセンサを取り付け、計測し、取得したものとする。

図２に、ＵＡＶに単眼カメラを取り付けたものによる３次元形状取得方法の構成を示す。なお、このとき単眼カメラ２は可視光を計測可能なカメラの他に赤外線カメラ、もしくは遠赤外線カメラでも可能である。

この構成ではまず、ＵＡＶ１に単眼カメラ２を取り付け、環境地図を作成したい箇所の上空を飛行させる。この際に、単眼カメラ２で連続撮影を行う。このとき、撮影した画像の前後が８０％前後、横が６０％前後他の撮影した画像と重なるよう撮影するのが望ましいとされている。

この撮影した画像群をセンサデータ蓄積部１１に蓄える。この画像群を用いて３次元点群生成部１２はＳｔｒｕｃｔｕｒｅｆｒｏｍＭｏｔｉｏｎ（ＳｆＭ）及びＭｕｌｔｉＶｉｅｗＳｔｅｒｅｏ（ＭＶＳ）を用いることで、環境の３次元点群情報を得ることができる。

この３次元点群情報を元に、サーフェイス生成部１３ではこれをメッシュ化し、テクスチャ情報とサーフェイスの法線ベクトル情報を有した３次元サーフェイス情報を生成する。この３次元点群情報、及び３次元サーフェイス情報のことをここでは３次元形状情報と呼ぶ。

この３次元形状情報を３次元形状情報格納部１４に保存する。なおこれらの技術に関しては、公知の技術のため、ここでは割愛する。続いて、走行可能領域抽出部１０２を用い３次元形状情報から走行可能領域を抽出する。

図３に、走行可能領域を抽出する原理の一例、任意の車両の走行可能領域を抽出する一例を示す。グリッドで表現されたものが路面領域３０１であり、障害物３０２及び障害物３０３は車両が走行できないため、走行可能路面ではない。

まず、３次元空間を俯瞰方向から見た二次元グリッドに分割する。このとき分割するグリッドのサイズは求めたい境界の精度よりも十分に小さい大きさを設定する。

続いて、走行可能領域を調べる対象の車両を俯瞰方向に見た時と同じ大きさを持った平面を仮定する。このとき、この平面を仮想車両３０４とする。

次に、分割したグリッドのうちあるグリッドを選択する。このグリッドをグリッドＡとする。仮想車両３０４がグリッドの二次元座標の中心位置にいると仮定し、グリッドＡ内に存在する点群に対し仮想車両３０４をフィッティングし、グリッド内における仮想車両３０４の位置姿勢を決定する。このとき、フィッティング方法としてＲＡＮＳＡＣやＰＲＯＳＡＣ、ＩｔｅｒａｔｉｖｅＣｌｏｓｅｓｔＰｏｉｎｔ、主成分分析などの手法が考えられる。続いてグリッドＡ中心に仮想車両３０４がいると仮定した場合、またがっている隣のグリッドに対しても同じように仮想車両３０４をフィッティングし、仮想車両３０４の位置姿勢を決定する。

このとき、またがっている各グリッドの位置姿勢と中心グリッドの位置姿勢の差が事前に設定した閾値よりも小さかった場合、グリッドＡとまたがっている各領域を走行可能領域と設定する（図４）。図４は、走行可能領域を抽出する原理の一例を示した図である。

一方、位置姿勢の差が事前に設定した閾値よりも大きかった場合、グリッドＡとまたがっている各領域を走行不可領域と設定する（図５）。図５は、走行可能領域を抽出する原理の一例を示した図である。

続いて、別のグリッドを探索するという作業を繰り返す。一度走行可能領域であると判定されたグリッドが、別のグリッドを中心にしたときの判定で走行不可領域であると判定された場合、その領域は境界領域と判定される。同じく、一度走行不可領域であると判定されたグリッドが別のグリッドを中心にしたときの探索で走行可能領域であると判定された場合も、境界領域であると判定される（図６）。図６は、走行可能領域を抽出する原理の一例を示した図である。

図７は、走行可能領域を抽出する原理の一例を示した図である。このように処理を繰り返すことで、最終的に図７に示すような走行可能領域と、走行不可領域と、境界領域の三種類に分類された領域情報を得ることができる。

続いて、図１の領域カテゴリ判定部１０３で領域のカテゴリを判定する。本実施例１では道路と広場を分類する例を述べる。領域カテゴリ判定部１０３の動作について述べる。領域カテゴリ判定部１０３は、走行可能領域と判定された領域が道路や広場など、どういったカテゴリに分類される領域であるか判定する。換言すれば、領域カテゴリ判定部は、走行可能領域が道路かそれ以外の領域かといったカテゴリ情報を判定する。

図８に、領域カテゴリ判定部１０３の動作の一例を示す。この例では、グリッドＡのカテゴリをグリッドＡの８方向における最近の境界領域を探索し、それぞれの長さを特徴量とすることで求めている。例えば、グリッドＡに対し、上、下、右、左、右斜め上、左斜め下、左斜め上、右斜め下方向に境界領域を探索している。そして、見つかったそれぞれの長さを上方向と下方向、右方向と左方向、右斜め上方向と左斜め下方向、左斜め上方向と左斜め下方向をそれぞれ加算し、これらの長さをカテゴリ判別する特徴として利用する。

一例として、この中でもっとも短かった長さがある閾値以下であれば、道路、長ければ広場、というように広さに基づいて分類することができる。これを走行可能領域の全グリッドに対して探索し、カテゴリを判別する。この例では８方向の最近の境界領域を探索したが、探索するパターン数は状況に合わせて変更しても問題ない。また、各方向における最近の境界領域までの距離以外にも、領域カテゴリ判定部１０３は、走行領域の形状や走行領域の色を特徴として機械学習で学習させ、走行可能領域のカテゴリを判別する手法もある。

続いて補完箇所判定部１０４の動作について述べる。補完箇所判定部１０４は、走行可能領域とカテゴリ情報から隠ぺいされている可能性を有する補完箇所を判定する。

図９に、トンネルや木々の遮りによって経路情報が不足した箇所の一例、トンネルの有る環境において領域カテゴリ判別１０３をした場合の結果を示す。経路情報を不足させる原因となる情報を広場とも称する。図９の道路９０１及び、道路９０１は、トンネル９０３を通じてつながっている。しかし、航空画像を利用した３次元計測の場合、トンネル９０３の内部は死角になっているため、その内部の道路は計測することができない。その結果、道路９０１及び道路９０２は別々の分離した道路という形で認識される。

しかし、道路がどの領域にもつながらず途中で切れるというのは一般的に不自然であるという事前知識を用い、補完箇所判定部１０４では道路領域の末端を検知した場合、その周辺に未計測の領域があると判定し、道路９０１及び道路９０２の末端の周囲を補完箇所と判定する。つまり、走行可能領域のカテゴリに道路および広場が含まれる場合、補完箇所判定部１０４は、道路の末端が広場につながっていない場合、道路の末端を補完箇所と判定する。

図１０は、車両の一時停止や、開閉するゲートによって、経路情報が不足した箇所の一例である。続いて、図１０のケースでは道路１００１と広場１００２が実際は道路１００３でつながっているが、車両１００３が道路１００１と広場１００２をつなぐ道路１００３をふさいでしまっているため、道路を検出できていない。

そこで、補完箇所判定部１０４では広場１００２が他の領域に接続されず孤立している状況はおかしいと判定し、広場１００２の周囲が補完箇所であると判定する。つまり、走行可能領域のカテゴリに道路および広場が含まれる場合、補完箇所判定部１０４は、領域カテゴリ判定部１０３が広場と判定した領域が一か所とも道路と接続していない場合、広場と判定した領域が有する走行可能領域の境界部分を補完箇所と判定する。

補完箇所が判定された場合、補完箇所提示部１０５は、その補完箇所をユーザに提示する。図１１は、補完箇所提示部の一例を示した図である。図１１では一例として、ディスプレイ１１０１を利用して補完箇所を表示している例を示している。

図１１の例では、補完箇所判定部１０５が判定した補完箇所を円と矢印と文字で示している。この場合、表示する手段はディスプレイ１１０１以外にも、タブレット端末、スマートフォン、プロジェクタなど画像が表示できる手段であればなんでもよい。また補完箇所の表示方法としても、補完箇所を円で示す方法以外にも、ハイライトする、色を変更する、座標位置を表示するといったなどの手段が考えられる。

本実施例により、ＵＡＶなどで環境を計測している際にトンネルや木々の遮りによるオクルージョンが環境に生じている場合や、車両の一時停止やゲートにより計測時に一時的に道が遮られている場合にも、その可能性のある箇所を特定し、ユーザに提示することができる。また、ＵＡＶなどを用いて取得した情報を用い作成した３次元形状情報から、自律走行車両などが走るにあたって十分な環境情報を得られていない可能性のある箇所（補完箇所）をユーザに提示することができる。この情報に基づき、ユーザがＵＡＶなどに取り付けたセンサや及び車両に取り付けたセンサで再び計測することにより、自律走行車両が自律走行するにあたって必要な環境地図を作成できる。

本実施例では、自律走行車両等が利用可能な環境地図を作成するにあたって、ユーザに情報が不足している可能性のある箇所である補完箇所を提示し、提示した箇所の計測データを計測車両で計測し、事前に作成した環境地図と統合し、地図を更新する例である。

図１２は、本実施例の構成を示す概略図である。実施例１において補完箇所提示部１０５が提示しした補完箇所に対し、計測車で計測するよう補完箇所計測部１２０１に補完箇所の位置情報を与える。環境地図自動作成装置１０００は、補完箇所計測部１２０１、補完３次元形状情報格納部１２０２、計測情報統合部１２０３、地図更新部１２０４を備える。

補完箇所計測部１２０１はその指令に従い、補完箇所提示部１０５が提示した補完箇所を計測する。このとき、補完箇所計測部１２０１が使用する計測手段はカメラ、ＬＩＤＡＲ、ミリ波レーダ、超音波センサ及びそれに類する環境の形状もしくは環境の輝度、色情報、温度情報を取得することが可能な外界センサを搭載した計測車両、もしくは人手で持ち運び可能な外界センサとする。計測車両の場合は有人車両でも無人車両でも良い。

補完箇所計測部１２０１が計測した補完箇所の３次元形状情報を補完３次元形状情報格納部１２０２に保存する。

続いて、計測情報統合部１２０３が補完３次元形状情報格納部１２０２に保存された３次元形状情報と、３次元形状情報格納部に保存された地図の３次元形状情報を統合（マッチング）する。このとき、両者の３次元形状情報を統合する方法としてはＩｔｅｒａｔｉｖｅＣｌｏｓｅｓｔＰｏｉｎｔ法を使ったマッチングや、ＲＡＮＳＡＣ及びＰＲＯＳＡＣなどロバスト推定法を用いたマッチング方法が考えられる。

計測情報統合部１２０３でマッチングし、統合した３次元形状情報を、地図更新部１２０４で新しい地図データとして採用する。換言すれば、地図更新部１２０４は、計測情報統合部１２０３でマッチングした３次元形状情報に基づき、環境地図を更新する。このとき、補完箇所計測部１２０１で新しく計測した３次元形状情報と３次元形状情報格納部に保存されていたデータの間で齟齬があった場合、補完箇所計測部の情報を優先して反映させる。このときの地図情報の統合方法としては、占有格子地図を用いた手法が考えられる。

１ＵＡＶ、２単眼カメラ、１１センサデータ蓄積部、１２３次元点群生成部、１３サーフェイス生成部、１４３次元形状情報格納部、１０２走行可能領域抽出部、１０３領域カテゴリ判定部、１０４補完箇所判定部、１０５補完箇所提示部、３０１路面領域、３０２障害物、３０３障害物、３０４仮想車両、９０１道路、９０２道路、９０３トンネル、１０００環境地図自動作成装置、１００１道路、１００２広場、１００３道路、１００４車両、１１０１ディスプレイ、１１０２道路、１１０３道路、１１０４トンネル、１２０１補完箇所計測部、１２０２補完３次元形状情報格納部、１２０３計測情報統合部、１２０４地図更新部

Claims

飛行物体中のセンサで取得された環境地図を作成するエリアの３次元形状情報に基づき、前記任意のエリア中で車両が走行可能な走行可能領域を抽出する走行可能領域抽出部と、
前記走行可能領域のカテゴリを判定する領域カテゴリ判定部と、
前記走行可能領域および前記走行可能領域のカテゴリに基づき、前記走行可能領域を補完する補完箇所を判定する補完箇所判定部と、
前記補完箇所を提示する補完箇所提示部と、を備える環境地図自動作成装置。
請求項１に記載の環境地図自動作成装置において、
前記領域カテゴリ判定部は、走行領域の形状に基づき、前記走行可能領域のカテゴリを判定する環境地図自動作成装置。
請求項１に記載の環境地図自動作成装置において、
前記領域カテゴリ判定部は、走行領域の色に基づき、前記走行可能領域のカテゴリを判定する環境地図自動作成装置。
請求項１に記載の環境地図自動作成装置において、
前記走行可能領域のカテゴリに道路および広場が含まれ、
前記補完箇所判定部は、前記道路の末端が前記広場につながっていない場合、前記道路の末端を前記補完箇所と判定する環境地図自動作成装置。
請求項１に記載の環境地図自動作成装置において、
前記走行可能領域のカテゴリに道路および広場が含まれ、
前記補完箇所判定部は、前記領域カテゴリ判定部が前記広場と判定した領域が一か所とも前記道路と接続していない場合、前記広場と判定した領域が有する前記走行可能領域の境界部分を前記補完箇所と判定する環境地図自動作成装置。
請求項１に記載の環境地図自動作成装置において、
無人車両によって前記補完箇所が計測される環境地図自動作成装置。
請求項１に記載の環境地図自動作成装置において、
前記補完箇所の３次元形状情報である補完３次元形状情報を保存する補完３次元形状情報格納部と、
前記補完３次元形状情報および前記３次元形状情報をマッチングする計測情報統合部と、
前記計測情報統合部でマッチングした３次元形状情報に基づき、前記環境地図を更新する地図更新部と、を備える環境地図自動作成装置。