JP2008175717A - 現在位置算出装置、現在位置算出方法 - Google Patents

Abstract

【課題】車両の低速かつ微妙な移動においても精度よく移動量を求める。
【課題手段】車両の現在位置算出装置であって、車両に搭載された複数のカメラにより撮像された車両近傍の画像を取得する撮像画像取得手段と、複数のカメラが撮像した画像ごとに、画像の変化に基づいて、車両の移動量を求める第１の移動量算出手段と、第１の移動量算出手段で求められた、複数のカメラで撮像した画像から求められた車両の移動量ごとに、重み係数を設定する重み係数設定手段と、第１の移動量算出手段で求められた、複数のカメラで撮像した画像から求められた車両の移動量に対して、重み係数設定手段で設定された重み係数を用いて重み付けして合算し、車両について１つの移動量を求める第２の移動量算出手段とを備える。
【選択図】図４

Description

本発明は、車両などの移動体の現在位置を算出するための技術に関する。

車速センサやジャイロにより車両の移動量（移動方向、移動距離）を求めて、求めた移動量を初期位置に加算することで現在位置を算出しようとする技術がある（特許文献１等参照）。

特開２００５−２２７０９２号公報

しかし、車速センサやジャイロセンサを用いた方法では、車両の低速かつ微妙な移動における移動量を正確に求めるのは難しい。

本発明は、上記課題を解決すべくなされたものであり、車両の低速かつ微妙な移動においても精度よく移動量を求める技術を提供することを目的とする。

上記課題を解決すべく、本発明は、車両に搭載された複数のカメラが撮像した画像に基づいて、車両の移動量を求める。

例えば、本発明は、車両の現在位置算出装置であって、
車両に搭載された複数のカメラにより撮像された前記車両の近傍の画像を取得する撮像画像取得手段と、
前記複数のカメラが撮像した画像ごとに、画像の変化に基づいて、前記車両の移動量を求める第１の移動量算出手段と、
前記第１の移動量算出手段で求められた、前記複数のカメラで撮像した画像から求められた車両の移動量ごとに、重み係数を設定する重み係数設定手段と、
前記第１の移動量算出手段で求められた、前記複数のカメラで撮像した画像から求められた車両の移動量に対して、前記重み係数設定手段で設定された重み係数を用いて重み付けして合算し、前記車両について１つの移動量を求める第２の移動量算出手段とを備える。

以下に、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態が適用された現在位置算出装置１の概略構成図である。なお、現在位置算出装置１は、ナビゲーション機能を備え、ナビゲーション装置と呼ばれるものであってもよい。図示するように、車両に搭載される現在位置算出装置１は、制御装置１０と、カメラ２０と、入力装置３０と、表示装置４０と、音声出力装置５０と、車両状態検出装置６０とを備えて構成される。

カメラ２０は、車両周辺（近傍）の画像を取得するための撮像装置である。

図２（ａ）、（ｂ）、（ｃ）、（ｄ）、及び(ｅ)は、車両を、前面、右側面、上面、左側面、背面からみた様子を示す。図示すように、カメラ２０は、車両５００の前後左右に搭載された４台の小型カメラ２０Ｆ、２０Ｂ、２０Ｌ、２０Ｒからなる。それぞれのカメラ２０Ｆ、２０Ｂ、２０Ｌ、２０Ｒは、やや下を向いており、車両の前方、後方、左側方向、右側方向の地上面を撮像する。カメラ２０は、台座の回転により撮像範囲の変更が可能である。台座の回転は、モータにより行われ、後述するカメラ制御部１２で制御される。

図１に戻って説明する。入力装置３０は、ユーザからの指示を受け付けるための装置であり、タッチパネルやハードスイッチなどで構成される。

表示装置４０は、液晶表示装置などからなり、制御装置１０で生成されたグラフィックス情報を表示するユニットである。

音声出力装置５０は、スピーカなどからなり、制御装置１０で生成された音声情報を出力するユニットである。

車両状態検出装置６０は、車両の状態を検出するための装置であり、車速センサ、ジャイロセンサ、ＧＰＳ(Global Positioning System)受信装置などからなる。

制御装置１０は、他の装置（カメラ２０、入力装置３０、表示装置４０、音声出力装置５０、車両状態検出装置６０など）を制御するための装置である。制御装置１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、他の装置（カメラ２０、入力装置３０、表示装置４０、音声出力装置５０、車両状態検出装置６０）とのインターフェース、これらを接続するバス、などからなる汎用的なコンピュータシステムにより構成される。

制御装置１０は、その機能部として、主制御部１１と、カメラ制御部１２と、カメラ画像処理部１３と、入力内容解析部１４と、表示処理部１５と、音声処理部１６と、車両状態取得部１７と、移動量算出部１８とを備える。これらの機能部は、ＣＰＵがメモリにロードした所定のプログラムを実行することにより達成される。そのため、ＲＯＭには、各処理を行うためのプログラムが記憶されている。

主制御部１１は、様々な処理を行う中心的ユニットである。例えば、カメラ制御部１２に、カメラ２０の制御を指示する。また、カメラ画像処理部１３に、カメラ２０で撮像した画像を取得するように指示したり、取得した画像を、地上面に投影した画像（「地上投影画像」という）に変換するように指示したりする。また、入力内容解析部１４を介してユーザからの要求を受け付け、受け付けた要求に対応する処理が実行されるように、各機能部を制御する。また、表示処理部１５を介して、表示装置４０に、画像の表示を行う。また、音声処理部１６を介して、音声出力装置５０から、音声の出力を行う。

カメラ制御部１２は、各カメラ２０の動作を制御する。例えは、各カメラ２０の撮像の開始・終了や、撮像範囲を設定する。また、各カメラ２０が撮像した画像のカメラ画像処理部１３への送信を制御する。また、各カメラ２０の撮像範囲を特定するための情報として、各カメラ２０の視点位置及び撮像方向を、カメラ画像処理部１３に送る。なお、カメラ制御部１２は、車両を基準とした各カメラ２０の設置位置を予め記憶している。カメラ２０の向きを変更した場合は、変更した角度に基づいて、視点位置及び撮像方向を算出し直す。

カメラ画像処理部１３は、各カメラ２０で撮像した画像を、画像データとして取得する。また、各カメラ２０の撮像範囲を特定する情報（視点位置、撮像方向）に基づいて、取得した画像を、公知の方法により、地上投影画像に変換する。

図３は、地上投影画像の生成の方法を説明するための図である。カメラ画像処理部１３は、カメラ制御部１２から、各カメラ２０の視点Ｐの位置（車両内の所定位置を原点とする三次元空間における座標位置）と撮影方向（視線方向）Ｋを取得している。そこで、カメラ画像処理部１３は、撮像画像５１０を、カメラ２０の視点Ｐの位置から撮像方向Ｋに向けて、地上面５２０に投影し、地上投影画像５３０を生成する。なお、撮像方向Ｋは、撮像画像５１０の中心と垂直に交わる。また、カメラの視点Ｐから撮像画像５１０までの距離は、予め定められている。こうして生成される地上投影画像５３０は、車両の上空から車両周辺を鳥瞰したような画像となる。

図１に戻って説明する。入力内容解析部１４は、入力装置３０を介して入力されたユーザからの要求を解析し、その結果を主制御部１１に送る。

表示処理部１５は、表示装置４０に、ユーザからの指示を受け付けるためのメニューや、カメラ画像処理部１３で生成された車両周辺の地上投影画像を表示する。

音声処理部１６は、主制御部１１からの指示に従って、音声出力装置５０を介して、警告音や、ユーザに対するメッセージを音声出力する。

車両状態取得部１７は、車速センサを介して車速を取得したり、ジャイロセンサを介して車両の旋回状態（直進、右旋回、左旋回）を取得する。また、ＧＰＳ受信装置などの出力から、車両の現在位置を取得しても良い。

［動作の説明］次に、本実施形態の現在位置算出装置１の特徴的な動作について説明する。

図４は、車両の移動量を算出する処理の流れを示すフロー図である。

このフローは、現在位置を算出するモードにおいて、定期的に行われる。

まず、カメラ画像処理部１３は、各カメラ２０Ｆ、２０Ｂ、２０Ｌ、２０Ｒから、撮像して得られた画像（「カメラ画像」という）を取得する（Ｓ１１）。このとき、各カメラ２０から、所定時間（例えば０．５秒）を置いて撮像された２枚の画像を取得する。

次に、カメラ画像処理部１３は、取得した各カメラ画像に基づいて、上述したように、地上投影画像を生成する（Ｓ１２）。

図５は、生成された地上投影画像を示す図である。地上投影画像２１０は、４台のカメラ２０Ｆ、２０Ｂ、２０Ｌ、２０Ｒの画像から生成される。したがって、車両５０１の周辺の地上投影画像２１０は、車両５０１の周辺を４つに分割したエリアに対応した４つの画像（前方エリア画像２１０Ｆ、後方エリア画像２１０Ｂ、左側エリア画像２１０Ｌ、右側エリア画像２１０Ｒ）からなる。

また、各地上投影画像２１０Ｆ，２１０Ｂ，２１０Ｒ，２１０Ｌには、時間を置いて撮像された２枚の画像がある。

次に、主制御部１１は、地上投影画像２１０に基づいて、車両の移動量を算出するように、移動量算出部１８に指示する。

これを受けて、移動量算出部１８は、各撮像範囲の地上投影画像２１０Ｆ、２０１Ｂ、２１０Ｒ、２１０Ｌから、２枚の画像の変化に基づいて、車両の移動量を求める（Ｓ１３〜Ｓ１５）。

具体的には、移動量算出部１８は、まず、最初に撮像された１枚目の画像の中に特徴点を求める。特徴点は、例えば、所定の色の領域の中心点（重心）などである。さらに、２枚目の画像中における、その特徴点に対応する点の位置を求める。そして、特徴点の移動量（移動方向及び移動距離）を求める。なお、複数の特徴点を設定して、それぞれの特徴点の移動方向及び移動距離について平均を求めてもよい。移動量算出部１８は、特徴点の移動方向を逆にして、車両の移動方向を求める。

こうして、移動量算出部１８は、４つ撮像範囲に対応する４つの地上投影画像２１０Ｆ、２０１Ｂ、２１０Ｒ、２１０Ｌから、４種の車両の移動量ｎｆ、ｎｂ、ｎｌ、ｎｒを求める（Ｓ１３）。移動量ｎは、車両内の所定位置を原点とするｘｙ座標に対応させて、座標（ｘ、ｙ）により表され、下記の通りとなる。

前方カメラ２０Ｆの画像から求められた車両移動量ｎｆ＝（ｘｆ，ｙｆ）
後方カメラ２０Ｂにの画像から求められた車両移動量ｎｂ＝（ｘｂ，ｙｂ）
左側カメラ２０Ｌの画像から求められた車両移動量ｎｌ＝（ｘｌ，ｙｌ）
右側カメラ２０Ｒの画像から求められた車両移動量ｎｒ＝（ｘｒ，ｙｒ）
次に、移動量算出部１８は、かかる４つの車両移動量ｎｆ，ｎｂ，ｎｌ，ｎｒに施す、重み係数を設定する（Ｓ１４）。かかる重み係数は、後述のＳ１５において、１つの代表値を求める際に用いられるものである。

具体的には、移動量算出部１８は、図６に示すように、重み係数データ３００を保持している。重み係数データ３００には、カメラ位置３１１、車速３１２、旋回方向３１３、平均輝度３１４、撮像対象物量３１５に対応した、重み係数３１６が格納されている。

移動量算出部１８は、車両状態取得部１７を介して、車速及び旋回方向を取得する。また、地上投影画像（または、カメラ画像）を構成する画素の輝度を平均し、平均輝度を求める。また、地上投影画像（またはカメラ画像）のエッジ成分を抽出して、エッジの数が所定値を超えるか否かにより、撮像対象物の量の多少を判定する。

そして、Ｓ１３で求めた各車両移動量ｎｆ，ｎｂ，ｎｌ，ｎｒについて、かかる重み係数データ３００の中から、その移動量を求めるに至った画像のカメラ位置３１１、現在の車速３１２、旋回方向３１３、画像の平均輝度３１５、撮像対象物量３１５に対応する、重み係数３１６を選択する。そして、選択した重み係数３１６を、その車両移動量ｎｆ，ｎｂ，ｎｌ，ｎｒの重み係数と設定する。

こうして、Ｓ１３で求めた４つの車両移動量ｎｆ，ｎｂ，ｎｌ，ｎｒについて、それぞれ重み係数を設定する。

次に、移動量算出部１８は、各車両移動量ｎｆ，ｎｂ，ｎｌ，ｎｒに、それぞれの重み係数を乗じたの後、合算することにより、１つの代表的な車両移動量Ｎ（Ｘ，Ｙ）を求める（図４のＳ１５）。

Ｘ＝ｘｆ・Ｑｆ＋ｘｂ・Ｑｂ＋ｘｌ・Ｑｌ＋ｘｒ・Ｑｒ
Ｙ＝ｙｆ・Ｑｆ＋ｙｂ・Ｑｂ＋ｙｌ・Ｑｌ＋ｙｒ・Ｑｒ
最後に、移動量算出部１８は、主制御部１１に、求めた車両移動量Ｎ（Ｘ，Ｙ）を出力し、かかる移動量算出処理を終了する。

なお、主制御部１１は、移動量算出部１８により算出された移動量を、前回の現在位置（または、初期値）に加算することにより、最新の現在位置を求める。そして、表示処理部１５を介して、表示装置４０の地図上に現在位置を示すカーマークを表示したり、移動量（移動方向、移動距離）を表示したりする。なお、移動距離を時間で割って、移動速度を算出し、表示してもよい。

また、主制御部１１は、図５に示すように、車両５０１を中心して、各撮像範囲の地上投影画像２１０Ｆ，２１０Ｂ，２１０Ｌ、２１０Ｒを表示してもよい。そして、各撮像範囲に対応する車両移動量ｎｆ，ｎｂ，ｎｌ，ｎｒを、矢印の向き及び長さにより表示し、さらに、代表的な車両移動量Ｎを表示してもよい。また、重み係数Ｑｆ，Ｑｂ，Ｑｌ、Ｑｒを表示して、どのカメラの画像に重きを置いて車両移動量Ｎを算出したかをユーザに示すようにしてもよい。

以上、図４のフローについて説明した。

本実施形態によれば、車両周辺を撮像した画像の変化から車両の移動量を求める。したがって、ゆっくりとした移動においても、精度良く車両の移動量を求めることができる。

また、複数のカメラで撮像した画像から得られる車両の移動量を、カメラの設置位置、車両の状態、画像の質によって重み付けして代表的な値を得る。それぞれのカメラが撮像する画像には、カメラの設置位置、車速、旋回方向によって、画質に差異が生じる。また、特徴点を抽出して車両の移動距離を求める際にも、画質（輝度、撮像対象の量など）により、精度が変化する。本実施形態によれば、移動量の算出に影響するこれらの要因に配慮して、それぞれの撮像範囲に対して、重み係数を設定するので、より精度よく代表的な移動量を求めることができる。

なお、移動量算出部１８は、入力装置３０を介して、重み係数の設定、変更を、ユーザから受け付けてもよい。また、重み係数に影響を与える要素を選択させてもよい。

本発明は、経路探索や経路誘導を行う車載用ナビゲーション装置に適用することができる。

また、通信ネットワークにより撮像画像を外部の機器に送信して、外部の機器において、上記した方法で撮像画像に基づいて車両の移動量を算出するようにしてもよい。

図１は、本発明の一実施形態が適用された現在位置算出装置の概略構成図である。 図２は、カメラの搭載位置を示す図である。 図３は、撮像画像を地上面に投影する様子を示す図である。 図４は、移動量算出処理のフロー図である。 図５は、車両移動量を算出する方法を示す図である。 図６は、重み係数データの構成を示す図である。

符号の説明

１…現在位置算出装置、
１０…制御装置、１１…主制御部、１２…カメラ制御部、１３…カメラ画像処理部、１４…入力内容解析部、１５…表示処理部、１６…音声処理部、１７…車両状態取得部、１８…移動量算出部
２０…カメラ、
３０…入力装置、
４０…表示装置、
５０…音声出力装置
６０…現在位置算出装置

Claims (7)

1. 車両の現在位置算出装置であって、
   車両に搭載された複数のカメラにより撮像された前記車両の近傍の画像を取得する撮像画像取得手段と、
   前記複数のカメラが撮像した画像ごとに、画像の変化に基づいて、前記車両の移動量を求める第１の移動量算出手段と、
   前記第１の移動量算出手段で求められた、前記複数のカメラで撮像した画像から求められた車両の移動量ごとに、重み係数を設定する重み係数設定手段と、
   前記第１の移動量算出手段で求められた、前記複数のカメラで撮像した画像から求められた車両の移動量に対して、前記重み係数設定手段で設定された重み係数を用いて重み付けして合算し、前記車両について１つの移動量を求める第２の移動量算出手段と
   を備えることを特徴とする現在位置算出装置。
2. 請求項１に記載の現在位置算出装置であって、
   前記車両の状態を取得する車両状態取得手段を備え、
   前記重み係数設定手段は、
   前記車両状態取得手段で取得した車両の状態に応じて、前記重み係数を設定する
   ことを特徴とする現在位置算出装置。
3. 請求項１に記載の現在位置算出装置であって、
   前記重み係数設定手段は、
   前記カメラの設置位置に応じて、前記重み係数を設定する
   ことを特徴とする現在位置算出装置。
4. 請求項１に記載の現在位置算出装置であって、
   前記重み係数設定手段は、
   前記撮像した画像に応じて、前記重み係数を設定する
   ことを特徴とする現在位置算出装置。
5. 請求項１に記載の現在位置算出装置であって、
   前記重み係数設定手段は、
   前記車両の車速、旋回方向、撮像した画像の画質、撮像した画像に含まれる物体の量に応じて、
   前記重み係数を設定する
   ことを特徴とする現在位置算出装置。
6. 請求項１に記載の現在位置算出装置であって、
   前記第２の移動量算出手段で算出した前記車両の移動量を用いて、前記車両の現在位置を算出する
   ことを特徴とする現在位置算出装置。
7. 車両の現在位置算出方法であって、
   車両に搭載された複数のカメラにより撮像された前記車両の近傍の画像を取得する撮像画像取得ステップと、
   前記複数のカメラが撮像した画像ごとに、画像の変化に基づいて、前記車両の移動量を求める第１の移動量算出ステップと、
   前記第１の移動量算出ステップで求められた、前記複数のカメラで撮像した画像から求められた車両の移動量ごとに、重み係数を設定する重み係数設定ステップと、
   前記第１の移動量算出ステップで求められた、前記複数のカメラで撮像した画像から求められた車両の移動量に対して、前記重み係数設定手段で設定された重み係数を用いて重み付けして合算し、前記車両について１つの移動量を求める第２の移動量算出ステップと
   を備えることを特徴とする現在位置算出方法。

Images