JP2019133318A

JP2019133318A - 位置推定システム

Info

Publication number: JP2019133318A
Application number: JP2018013738A
Authority: JP
Inventors: 貴雅今津; Takamasa Imazu
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2018-01-30
Filing date: 2018-01-30
Publication date: 2019-08-08

Abstract

【課題】撮像環境を考慮しつつ、位置推定を適切に行う。【解決手段】位置推定システム（１００）は、目標駐車位置の周辺の画像に基づいて構成され、夫々、目標駐車位置の周辺に存在する複数の特徴点に夫々対応する複数の特徴量と環境情報とが関連付けられた複数のデータセットを格納するデータベース（２５）と、複数のデータセットから、現在の環境情報と同一又は類似する環境情報のデータセットを選択する選択手段（３２）と、現在撮像された画像の少なくとも一部に基づき取得された移動体の周辺に存在する一又は複数の特徴点に対応する一又は複数の特徴量と、選択されたデータセットの複数の特徴量とを照合して、移動体の位置推定を行う推定手段（３１）と、を備える。推定手段は、選択されたデータセットの特徴量の数量が所定値以下である場合位置推定を行わない。【選択図】図１

Description

本発明は、例えば車両等の移動体の位置を推定する位置推定システムの技術分野に関する。

この種のシステムとして、例えば（ｉ）環境を撮像した画像から抽出した画像特徴とその絶対値とを対応づけた画像特徴マップと、（ｉｉ）自己の周囲の撮像画像から抽出した実画像特徴と自己の周囲の距離画像から該実画像特徴の位置情報とを対応づけた実画像特徴の分布マップと、を照合して、自己の絶対位置を推定する装置が提案されている（特許文献１参照）。

尚、撮像装置により撮像された入力画像から決定される特徴量を、画像の特徴量と、該画像に映る物体の識別情報と該物体が撮像された際の照明条件とが関連付けられているデータベースとを、照合することにより、入力画像に映る物体を認識する技術が提案されている（特許文献２参照）。また、学習対象物体を撮像した画像から抽出された特徴量群に含まれる特徴量のうち、撮像装置により撮像された入力画像の特徴量群に含まれる特徴量と類似した特徴量が３つ以上存在する場合に、上記学習対象物体の位置及び姿勢を推定する技術が提案されている（特許文献３参照）。

特開２０１７−０２７２１３号公報特開２０１２−２０３６６８号公報特開２００５−１４８８５１号公報

位置推定に撮像画像を用いる場合、例えば天候や時間帯等の撮像環境が変化すると、同一の物体が撮像されたとしても撮像画像から抽出される特徴が変化してしまい、結果として、位置推定が適切に行われない可能性がある。特許文献１に記載の技術では、この点について考慮されていない。また、撮像環境を考慮してデータベース（特許文献１に記載の技術の“画像特徴マップ”に相当）が構築されていたとしても、データベースに含まれるデータ（例えば、上記特徴）が十分ではない場合に位置が推定されてしまうと、十分な推定精度が得られず、適切な位置推定を行うことができない。

本発明は、上記問題点に鑑みてなされたものであり、撮像環境を考慮しつつ、位置推定を適切に行うことができる位置推定システムを提供することを課題とする。

本発明の一態様に係る位置推定システムは、目標駐車位置の周辺の画像に基づいて構成され、夫々、前記目標駐車位置の周辺に存在する複数の特徴点に夫々対応する複数の特徴量と前記複数の特徴量に影響を及ぼす環境情報とが関連付けられた複数のデータセットを格納するデータベースと、移動体の周辺を夫々撮像する複数の撮像手段と、前記環境情報を取得する取得手段と、前記複数のデータセットから、前記取得された環境情報と同一又は類似する環境情報のデータセットを選択する選択手段と、前記複数の撮像手段各々により撮像された画像の少なくとも一部に基づき取得された前記移動体の周辺に存在する一又は複数の特徴点に対応する一又は複数の特徴量と、前記選択されたデータセットの複数の特徴量とを照合して、前記移動体の位置推定を行う推定手段と、を備え、前記推定手段は、前記選択されたデータセットの特徴量の数量が所定値以下である場合、前記位置推定を行わないというものである。

実施形態に係る位置推定システムの構成を示すブロック図である。カメラの撮像範囲の一例を示す図である。実施形態に係る特徴量データベースに格納される地図の一例を示す図である。実施形態に係る学習処理を示すフローチャートである。実施形態に係る位置推定処理を示すフローチャートである。

位置推定システムに係る実施形態を図１乃至図５に基づいて説明する。

（構成）
実施形態に係る位置推定システムの構成について図１を参照して説明する。図１は、実施形態に係る位置推定システムの構成を示すブロック図である。

図１において、位置推定システム１００は、例えば自動駐車機能等を有する車両１に搭載されている。位置推定システム１００は、車両１の周辺を撮像した画像等から、車両１の位置を推定する。本実施形態では、目標駐車位置（例えば車両１のユーザの自宅駐車場等）に、自動駐車機能を用いて車両１が駐車する際に、位置推定システム１００が車両１の位置を推定する場合を一例として挙げる。

位置推定システム１００は、前方カメラ１１、右側方カメラ１２、左側方カメラ１３、後方カメラ１４、特徴量検出装置２１、特徴量距離情報取得装置２２、輝度演算部２３、雨量センサ２４、特徴量データベース２５（以降、適宜“特徴量ＤＢ２５”と称する）、位置推定部３１及び選択部３２を備えて構成されている。

前方カメラ１１、右側方カメラ１２、左側方カメラ１３及び後方カメラ１４各々は、例えば図２に示す撮像範囲を撮像可能なように車両１に取り付けられている。尚、前方カメラ１１、右側方カメラ１２、左側方カメラ１３及び後方カメラ１４各々には、既存の各種態様を適用可能であるので、その詳細な説明は省略する。

特徴量検出装置２１は、前方カメラ１１、右側方カメラ１２、左側方カメラ１３及び後方カメラ１４各々により撮像された画像（以降、適宜“入力画像”と称する）から特徴量を検出する。具体的には、特徴量検出装置２１は、先ず、入力画像各々に写っている物体に係る特徴点を検出する。特徴量検出装置２１は、一の入力画像から検出された特徴点と、他の入力画像から検出された特徴点とが同一である場合、該２つの特徴点を紐付けるための情報（例えば、検出された特徴点の周辺情報等）を特徴量として検出する。

特徴量距離情報取得装置２２は、特徴量検出装置２１により検出された特徴点に係る３次元座標を特徴量距離として取得する。具体的には、特徴量距離情報取得装置２２は、特徴量検出装置２１が特徴点の検出に用いた入力画像を撮像したカメラ（即ち、前方カメラ１１、右側方カメラ１２、左側方カメラ１３及び後方カメラ１４のいずれか）の取り付け位置から、特徴点までの距離情報を演算し、その演算結果に基づいて該特徴点に係る３次元座標を求める。

輝度演算部２３は、入力画像から輝度値を演算するとともに、例えば入力画像に付与されているタイムスタンプ等に基づいて、入力画像が取得された時間帯を検出する。ここで、輝度演算部２３により演算される輝度値は、例えば、入力画像を構成する複数の画素の少なくとも一部の輝度値の平均値であってもよいし、該複数の画素の少なくとも一部の輝度値の分布において最も頻度の高い輝度値であってもよい。

雨量センサ２４は、車両１の周辺の雨量を検出する。尚、雨量センサ２４には、既存の各種態様を適用可能であるので、その詳細な説明は省略する。

特徴量ＤＢ２５は、例えば目標駐車位置への車両１の駐車動作が開始されてから、該目標駐車位置への車両１の駐車が完了するまでの期間に、特徴量検出装置２１により検出された全ての特徴点に係る３次元座標（即ち、特徴量距離情報取得装置２２により取得された特徴量距離）と、該全ての特徴点に係る特徴量とを、輝度演算部２３により演算された輝度値及び雨量センサ２４により検出された雨量と関連付けて登録する。

「全ての特徴点に係る３次元座標」を、以降、適宜「特徴点群」と称する。また、「全ての特徴点に係る特徴量」を、以降、適宜「特徴量群」と称する。

特徴量ＤＢ２５に登録される輝度値及び雨量と関連付けられた特徴点群及び特徴量群
は、当該位置推定システム１００により車両１の位置推定が行われる前に登録される。当該位置推定システム１００により車両１の位置推定が行われる場合には、位置推定が行われる際の入力画像から検出された特徴量等と、特徴量ＤＢ２５に登録されている特徴量群等とが照合されることにより、車両１の位置が推定される（詳細については後述する）。

ところで、特徴量検出装置２１により検出される特徴点の数は、天候や照度等の撮像環境に応じて変化する。具体的には例えば、図３（ａ）に示すように、車両１の周辺に障害物が存在する場合、晴天時であれば、例えば図３（ｂ）に示すように、比較的多くの特徴点が検出されるが、雨天時では（晴天時と同一時間帯であっても）、例えば図３（ｃ）に示すように、検出される特徴点は比較的少なくなる。

特徴点群及び特徴量群に関連付けられる輝度値及び雨量は、天候や照度等の撮像環境を表すパラメータである。このため、輝度値及び雨量と関連付けて特徴点群及び特徴量群を特徴量ＤＢ２５に登録することによって、例えば、晴天の昼間に対応する特徴点群及び特徴量群、晴天の夜間に対応する特徴点群及び特徴量群、雨天の昼間に対応する特徴点群及び特徴量群、等が特徴量ＤＢ２５に登録されることとなる。尚、特徴量ＤＢ２５に登録された特徴点群及び特徴量群を、以降、適宜「地図」と称する。

位置推定部３１は、特徴量検出装置２１により検出された特徴量と、特徴量ＤＢ２５に登録された地図とに基づいて、車両１の位置を推定する。選択部３２は、輝度演算部２３により演算された輝度値及び雨量センサ２４により検出された雨量に基づいて、特徴量ＤＢ２５に登録された地図から、位置推定部３１による車両１の位置の推定に用いられる地図を選択する。

（学習処理）
次に、位置推定システム１００が実施する学習処理について図４のフローチャートを参照して説明する。ここでは、車両１のユーザの自宅駐車場が目標駐車位置であるものとする。

図４において、位置推定システム１００は、車両１の現在位置が、車両１のユーザの自宅周辺であるか否かを判定する（ステップＳ１０１）。ここで、車両１の現在位置は、例えば車両１に搭載されているＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）等の位置検出装置からの出力に基づいて検出すればよい。また、ユーザの自宅の位置は、例えばナビゲーション装置に登録されている自宅情報を参照すればよい。

ステップＳ１０１の判定において、自宅周辺ではないと判定された場合（ステップＳ１０１：Ｎｏ）、図４に示す処理は終了される。その後、第１所定時間（例えば数十ミリ秒から数百ミリ秒等）が経過した後に、ステップＳ１０１の処理が再度行われる。つまり、図４に示す処理は、第１所定時間に応じた周期で繰り返し行われる。

他方、ステップＳ１０１の判定において、自宅周辺であると判定された場合（ステップＳ１０１：Ｙｅｓ）、位置推定システム１００は、車両１の車速が、例えば時速１５キロメートル以下であるか否かを判定する（ステップＳ１０２）。尚、時速１５キロメートルは一例であり、駐車動作時に車両１が採り得る車速であればよい。つまり、ステップＳ１０２の判定は、車両１が自宅周辺において駐車動作を行っているか否かを判定するための処理である。

ステップＳ１０２の判定において、車速が時速１５キロメートル以下ではないと判定された場合（ステップＳ１０２：Ｎｏ）、図４に示す処理は終了される。その後、第１所定時間が経過した後に、ステップＳ１０１の処理が再度行われる。他方、ステップＳ１０２の判定において、車速が時速１５キロメートル以下であると判定された場合（ステップＳ１０２：Ｙｅｓ）、位置推定システム１００は、地図（即ち、特徴量ＤＢ２５に登録すべき特徴点群及び特徴量群）の作成を開始する（ステップＳ１０３）。ここで、「地図作成」とは、ステップＳ１０４乃至Ｓ１１０の処理を意味する。

位置推定システム１００は、雨量センサ２４により検出された雨量を取得する（ステップＳ１０４）。ステップＳ１０４の処理と並行して、輝度演算部２３は、入力画像から輝度値を演算する（ステップＳ１０５）。

ステップＳ１０４及びＳ１０５の処理と並行して、特徴量検出装置２１は、例えば時刻ｔ_ｉに取得された入力画像から特徴量を検出（抽出）する（ステップＳ１０６）。続いて、特徴量距離情報取得部２２は、特徴量検出装置２１により検出された特徴量に係る特徴点について特徴量距離を演算する（ステップＳ１０７）。

次に、位置推定システム１００は、車両１のシフトポジションが“Ｐ”にシフトチェンジされたか否かを判定する（ステップＳ１０８）。この判定において、シフトポジションが“Ｐ”にシフトチェンジされていないと判定された場合（ステップＳ１０８：Ｎｏ）、上述したステップＳ１０６及びＳ１０７の処理が再度行われる。このとき、特徴量検出装置２１は、時刻ｔ_ｉ＋１に取得された入力画像から特徴量を検出する。

ステップＳ１０８の判定において、シフトポジションが“Ｐ”にシフトチェンジされたと判定された場合（ステップＳ１０８：Ｙｅｓ）、位置推定システム１００は、車両１の現在位置（即ち、駐車位置）を取得して登録する（ステップＳ１０９）。次に、位置推定システム１００は、ステップＳ１０６及びＳ１０７の処理の結果生成された特徴量群及び特徴点群を、ステップＳ１０４の処理において取得された雨量及びステップＳ１０５の処理において演算された輝度値と関連付けて、特徴量ＤＢ２５に登録する（ステップＳ１１０）。

（位置推定処理）
次に、位置推定システム１００が実施する位置推定処理について図５のフローチャートを参照して説明する。ここでは、車両１の自動駐車機能により、目標駐車位置としての車両１のユーザの自宅駐車場に車両１が駐車される場合を一例として挙げる。

図５において、位置推定システム１００は、自動駐車機能に係るスイッチが押下されたか否か（即ち、自動駐車機能が有効であるか否か）を判定する（ステップＳ２０１）。この判定において、スイッチが押下されていないと判定された場合（ステップＳ２０１：Ｎｏ）、図５に示す処理は終了される。その後、第２所定時間（例えば数十ミリ秒から数百ミリ秒等）が経過した後に、ステップＳ２０１の処理が再度行われる。つまり、図５に示す処理は、第２所定時間に応じた周期で繰り返し行われる。

ステップＳ２０１の判定において、スイッチが押下されたと判定された場合（ステップＳ２０１：Ｙｅｓ）、選択部３２は、雨量センサ２４により検出された雨量を取得する（ステップＳ２０２）。ステップＳ２０２の処理と並行して、輝度演算部２３は、入力画像から輝度値を演算する（ステップＳ２０３）。選択部３２は、該演算された輝度値を取得する。

次に、選択部３２は、ステップＳ２０２の処理において取得された雨量及びステップＳ２０３の処理において演算された輝度値から、最も近い雨量及び輝度値に関連付けられた地図（即ち、特徴点群及び特徴量群）を特徴量ＤＢ２５から検索する（ステップＳ２０４）。ここで、「最も近い雨量及び輝度値」は、例えば類似度（距離）を求める各種手法のいずれかを用いて検索すればよい。

次に、選択部３２は、ステップＳ２０４の処理において検索された地図の特徴量群に含まれる特徴量の数量が閾値より多いか否かを判定する（ステップＳ２０５）。当該位置推定システム１００は、後述するが、自動駐車機能により車両１が駐車する際に取得された入力画像から検出された特徴量と、特徴量ＤＢ２５に登録されている地図の特徴量群に含まれる特徴量とを照合することによって、車両１の位置推定を行う。

上記「閾値」は、検索された地図を、位置推定に使用するか否かを決定する値であり、予め固定値として、又は、何らかの物理量若しくはパラメータに応じた可変値として設定されている。このような閾値は、例えば特徴量群に含まれる特徴量の数量と、推定された位置の推定精度との関係を求め、該求められた関係に基づいて、推定精度が許容範囲の境界値（例えば当該位置推定システムの目標精度）となる特徴量の数量等として設定すればよい。

ステップＳ２０５の判定において、特徴量の数量が閾値以下であると判定された場合（ステップＳ２０５：Ｎｏ）、図５に示す処理は終了される（即ち、位置推定は行われない）。このとき、位置推定システム１００は、車両１のユーザに、例えば自動駐車を開始できない旨を報知してもよい。

他方、ステップＳ２０５の判定において、特徴量の数量が閾値より多いと判定された場合（ステップＳ２０５：Ｙｅｓ）、選択部３２は、検索された地図を位置推定に使用することを決定する（ステップＳ２０６）。

次に、特徴量検出装置２１は、例えば時刻ｔ_ｉに取得された入力画像から特徴量を検出（抽出）する（ステップＳ２０７）。次に、位置推定部３１は、ステップＳ２０７の処理において検出された特徴量と、地図の特徴量群に含まれる特徴量とを照合する（ステップＳ２０８）。続いて、位置推定部３１は、ステップＳ２０７の処理において検出された特徴量に対応する、特徴量群に含まれる特徴量に係る特徴点の特徴量距離（即ち、３次元座標）に基づいて、車両１の位置を推定する（ステップＳ２０９）。

次に、位置推定システム１００は、車両１のシフトポジションが“Ｐ”にシフトチェンジされたか否かを判定する（ステップＳ２１０）。この判定において、シフトポジションが“Ｐ”にシフトチェンジされていないと判定された場合（ステップＳ２１０：Ｎｏ）、上述したステップＳ２０７乃至Ｓ２０９の処理が再度行われる。このとき、特徴量検出装置２１は、時刻ｔ_ｉ＋１に取得された入力画像から特徴量を検出する。

ステップＳ２１０の判定において、シフトポジションが“Ｐ”にシフトチェンジされたと判定された場合（ステップＳ２１０：Ｙｅｓ）、図５に示す処理は終了される。

（技術的効果）
当該位置推定システム１００では、特徴点群及び特徴量群（即ち、地図）が、輝度値及び雨量と関連付けられて特徴量ＤＢ２５に登録される。当該位置推定システム１００により車両１の位置が推定される場合には、車両１の位置が推定される際の輝度値及び雨量に基づいて、特徴量ＤＢ２５から特徴点群及び特徴量群が選択される。そして、入力画像から検出された特徴量と、選択された特徴量群の特徴量とが照合され、車両１の位置が推定される。つまり、当該位置推定システム１００によれば、輝度値及び雨量により表される撮像環境毎に地図が登録されているので、撮像環境が変化したとしても、車両１の位置を適切に推定することができる。

当該位置推定システム１００では、位置推定処理において、地図の特徴量群に含まれる特徴量の数量が閾値以下である場合位置推定が行われない。このように構成することにより、推定精度が比較的悪い位置に基づいて、自動駐車機能により車両１が駐車されることを防止することができる。加えて、入力画像から特徴量が検出されないので（図５のステップＳ２０７参照）、不要なデータ（即ち、特徴量）が生成されることを防止することができる。

以上に説明した実施形態から導き出される発明の各種態様を以下に説明する。

発明の一態様に係る位置推定システムは、目標駐車位置の周辺の画像に基づいて構成され、夫々、前記目標駐車位置の周辺に存在する複数の特徴点に夫々対応する複数の特徴量と前記複数の特徴量に影響を及ぼす環境情報とが関連付けられた複数のデータセットを格納するデータベースと、移動体の周辺を夫々撮像する複数の撮像手段と、前記環境情報を取得する取得手段と、前記複数のデータセットから、前記取得された環境情報と同一又は類似する環境情報のデータセットを選択する選択手段と、前記複数の撮像手段各々により撮像された画像の少なくとも一部に基づき取得された前記移動体の周辺に存在する一又は複数の特徴点に対応する一又は複数の特徴量と、前記選択されたデータセットの複数の特徴量とを照合して、前記移動体の位置推定を行う推定手段と、を備え、前記推定手段は、前記選択されたデータセットの特徴量の数量が所定値以下である場合、前記位置推定を行わないというものである。

上述の実施形態においては、特徴量ＤＢ２５がデータベースの一例に相当し、前方カメラ１１、右側方カメラ１２、左側方カメラ１３及び後方カメラ１４が複数の撮像手段の一例に相当し、輝度演算部２３及び雨量センサ２４が取得手段の一例に相当し、選択部３２が選択手段の一例に相当し、位置推定部３１が推定手段の一例に相当し、車両１が移動体の一例に相当する。上述の実施形態に係る地図が、データセットの一例に相当する。上述の実施形態に係る閾値が、所定値の一例に相当する。

当該位置推定システムによれば、環境情報に応じて位置推定に用いられるデータセットが選択されるので、撮像環境を考慮して移動体の位置推定を行うことができる。当該位置推定システムでは特に、データセットの特徴量の数量が所定値以下である場合、位置推定が行われない。ここで、データセットの特徴量の数量が比較的少ない場合、位置推定時に照合可能な特徴量が比較的少なくなり、結果として位置の推定精度が低下してしまう。上述の如く、データセットの特徴量の数量が所定値以下である場合に位置推定が行われない構成とすることによって、推定精度の比較的悪い位置が出力されることを防止することができる。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う位置推定システムもまた本発明の技術的範囲に含まれるものである。

１…車両、１１…前方カメラ、１２…右側方カメラ、１３…左側方カメラ、１４…後方カメラ、２１…特徴量検出装置、２２…特徴量距離情報取得装置、２３…輝度演算部、２４…雨量センサ、２５…特徴量データベース、３１…位置推定部、３２…選択部、１００…位置推定システム

Claims

目標駐車位置の周辺の画像に基づいて構成され、夫々、前記目標駐車位置の周辺に存在する複数の特徴点に夫々対応する複数の特徴量と前記複数の特徴量に影響を及ぼす環境情報とが関連付けられた複数のデータセットを格納するデータベースと、
移動体の周辺を夫々撮像する複数の撮像手段と、
前記環境情報を取得する取得手段と、
前記複数のデータセットから、前記取得された環境情報と同一又は類似する環境情報のデータセットを選択する選択手段と、
前記複数の撮像手段各々により撮像された画像の少なくとも一部に基づき取得された前記移動体の周辺に存在する一又は複数の特徴点に対応する一又は複数の特徴量と、前記選択されたデータセットの複数の特徴量とを照合して、前記移動体の位置推定を行う推定手段と、
を備え、
前記推定手段は、前記選択されたデータセットの特徴量の数量が所定値以下である場合、前記位置推定を行わない
ことを特徴とする位置推定システム。