JP2006330908A - 位置記録装置及び位置記録方法 - Google Patents

Abstract

【課題】認識対象物の検出誤差を考慮して記録処理を行うことにより、認識対象物の正確な位置記録が行える位置記録装置及び位置記録方法を提供すること。
【解決手段】カメラ２で撮像された画像情報に基づいて標識の画像認識を行い（Ｓ１２）、画像認識された標識の位置を検出し（Ｓ２０）、検出された標識の位置情報の誤差を演算し（Ｓ２２）、標識の位置情報及びその位置検出誤差情報を記録し（Ｓ２４）、地図情報の標識位置と今回検出された標識の位置情報の計測誤差を比較し（Ｓ３４）、その誤差の小さい方の位置情報を地図データとして記録する（Ｓ３６）。
【選択図】図２

Description

本発明は、認識対象物を画像認識しその認識対象物の位置情報を記録する位置記録装置及び位置記録方法に関するものである。

従来、認識対象物を画像認識しその認識対象物の位置情報を記録する装置として、特開２００２−２４３４６９号公報に記載されるように、地図情報及び認識対象候補となる複数の登録図形を格納しており、車両走行時にカメラによって撮影された画像について登録図形の有無及びその内容を認識し、その認識結果に基づいて地図情報の更新を行う装置が知られている。この装置は、道路標識などの改変に対し速やかに地図情報を更新しようとするものである。
特開２００２−２４３４６９号公報

このような装置にあっては、新しい情報データに基づいて地図情報を更新するものであるため、新しい情報を取得する際にその情報に検出誤差が大きく含まれている場合、地図情報を更新することにより更新した情報が不正確なものとなるおそれがある。例えば、道路標識を画像認識し、その道路標識の位置をセンサなどによって検出する場合、その検出誤差が大きいときには道路標識の位置情報にずれを生ずることになる。

そこで本発明は、認識対象物の検出誤差を考慮して記録処理を行うことにより、認識対象物の正確な位置記録が行える位置記録装置及び位置記録方法を提供することを目的とする。

すなわち、本発明に係る位置記録装置は、認識対象物を撮像するための撮像手段と、前記撮像手段により撮像された画像情報に基づいて前記認識対象物の画像認識を行う画像認識手段と、前記画像認識手段により画像認識された認識対象物の位置を検出する位置検出手段と、前記位置検出手段により検出された位置情報の誤差を演算する誤差演算手段と、前記認識対象物の位置情報及びその位置検出誤差情報を記録する記録手段とを備えて構成されている。

また本発明に係る位置記録装置において、前記記録手段は、同一の認識対象物について複数の位置情報を取得した場合に、それらの位置情報のうち位置検出誤差の最小のものをその認識対象物の位置情報として記録することが好ましい。

これらの発明によれば、認識対象物を撮影して画像認識し、その認識対象物の位置情報をその位置検出誤差情報と共に記憶する。このため、再度その認識対象物の位置情報を取得した際に、すでに記録されている位置情報と検出誤差を比べてその誤差の最小のものを認識対象物の位置情報として記録しておくことにより、正確な位置記録が行える。

また本発明に係る位置記録装置において、前記記録手段は、同一の認識対象物について複数の位置情報を取得した場合に、それらの位置情報のうち位置検出誤差の最小のものをその認識対象物の位置情報として地図データに記録することが好ましい。

この発明によれば、同一の認識対象物について複数の位置情報を取得した場合に、それらの位置情報のうち位置検出誤差の最小のものをその認識対象物の位置情報として地図データに記録することにより、検出誤差の小さい位置情報を選択して地図データを更新できる。このため、適切な地図データの更新が行え、正確な地図データを構築できる。

また本発明に係る位置記録装置において、前記認識対象物が道路標識であることが好ましい。

また本発明に係る位置記録方法は、撮像手段により撮像された画像情報に基づいて前記認識対象物の画像認識を行う画像認識工程と、前記画像認識工程にて画像認識された認識対象物の位置を検出する位置検出工程と、前記位置検出工程にて検出された位置情報の誤差を演算する誤差演算工程と、前記認識対象物の位置情報及びその位置検出誤差情報を記録する記録工程とを備えて構成されている。

また本発明に係る位置記録方法において、前記記録工程は、同一の認識対象物について複数の位置情報を取得した場合に、それらの位置情報のうち位置検出誤差の最小のものをその認識対象物の位置情報として記録することが好ましい。

これらの発明によれば、認識対象物を撮影して画像認識し、その認識対象物の位置情報をその位置検出誤差情報と共に記憶する。このため、再度その認識対象物の位置情報を取得した際に、すでに記録されている位置情報と検出誤差を比べてその誤差の最小のものを認識対象物の位置情報として記録しておくことにより、正確な位置記録が行える。

また本発明に係る位置記録方法において、前記記録工程は、同一の認識対象物について複数の位置情報を取得した場合に、それらの位置情報のうち位置検出誤差の最小のものをその認識対象物の位置情報として地図データに記録することが好ましい。

この発明によれば、同一の認識対象物について複数の位置情報を取得した場合に、それらの位置情報のうち位置検出誤差の最小のものをその認識対象物の位置情報として地図データに記録することにより、検出誤差の小さい位置情報を選択して地図データを更新できる。このため、適切な地図データの更新が行え、正確な地図データを構築できる。

また本発明に係る位置記録方法において、前記認識対象物が道路標識であることが好ましい。

本発明によれば、認識対象物の配置位置を示す地図情報を用いることにより、画像認識の処理を迅速に行え、認識精度の向上を図ることができる。

以下、添付図面を参照して本発明の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

図１は本発明の実施形態に係る位置記録装置の構成概要図である。

図１に示すように、本実施形態に係る位置記録装置１は、撮像した画像に対し認識対象物を認識し、その認識対象物の位置情報を記録する装置であり、例えば車両に搭載される。
本実施形態では認識対象物として道路標識を認識する場合について説明する。位置記録装置１は、カメラ２、制御処理部３及びデータベース４を備えて構成されている。

カメラ２は、認識対象物を撮像するための撮像手段であり、例えばＣＣＤ、Ｃ−ＭＯＳなどの撮像素子を備えたものが用いられる。このカメラ２は、例えば車両の前方を撮像するように設置される。このカメラ２としては、ステレオ視が可能なステレオカメラを用いることが好ましい。この場合、二台のカメラで撮像した画像に基づいて画像内の物体の三次元位置を検出することができる。また、カメラ２から撮像した認識対象物までの相対距離を検出する相対位置検出手段として用いることができる。

なお、カメラ２として、一台のカメラにより構成されるものを用いる場合もある。この場合、カメラ２から認識対象物の相対位置を検出する計測器、例えばレーダ装置などを設けることが好ましい。

制御処理部３は、カメラ２と接続されており、カメラ２で撮像した画像を入力し、その撮像画像を画像処理し、撮像画像内の認識対象物を認識処理し、その認識対象物の位置情報を記録するものである。この制御処理部３は、例えば画像取込部３１、標識認識部３２、位置導出部３３、車両位置方位姿勢検出部３４、誤差導出部３５、計測点情報記録部３６、計測点情報保持部３７、計測点カテゴライズ部３８、計測点決定部３９、情報比較部４０及び地図情報記録更新部４１を機能的に備えている。

画像取込部３１は、カメラ２で撮影した画像を取り込むものである。標識認識部３２は、パターンマッチングなどにより撮像画像内の標識を認識するものである。位置導出部３３は、車両の位置、方位、姿勢と車両と標識までの距離に基づいて画像認識した標識の位置を導出するものである。車両位置方位姿勢検出部３４は、車両の位置、方位及び姿勢を検出するものである。車両の位置を検出する手段としては、例えばＧＰＳ（Global Positioning System）が用いられる。車両の方位は、例えば、車両の位置の変化に基づいて検出することができる。車両の姿勢は、例えばロール角センサ、ヨーレイトセンサなどを用いて検出することができる。

誤差導出部３５は、標識の絶対位置の誤差を導出するものである。例えば、カメラ２による標識までの計測距離の誤差及びＧＳＰによる車両の計測位置の誤差が演算され、これらの誤差から標識の絶対位置の最大誤差が算出される。計測点情報記録部３６は、標識（計測点）の位置などの情報を記録するものである。一連の画像認識により標識情報が複数取得された場合には、各情報が記録される。計測点情報保持部３７は、標識情報を保持するものである。

計測点カテゴライズ部３８は、計測点として記録された複数の標識情報をその計測位置に基づいて同一標識の情報をカテゴライズするものである。計測点決定部３９は、カテゴライズされた複数の標識情報の中からその代表点を選定するものである。情報比較部４０は、代表点の標識情報と地図データ上に既に記録されている標識情報を比較するものである。地図情報記録更新部４１は、比較した代表点の標識情報と地図データ上に既に記録されている標識情報のいずれかを地図情報として更新処理するものである。

次に、本実施形態に係る位置記録装置の動作及び位置記録方法について説明する。

図２は本実施形態に係る位置記録装置の基本的動作及び位置記録方法を示すフローチャートである。この図２の制御処理は、例えば制御処理部３によって実行される。

まず、図２のＳ１０に示すように、カメラ画像の取得処理が行われる。この処理は、カメラ２から出力される画像信号を制御処理部３に取り込んで撮像画像を読み込む処理である。撮像画像は、車両の前方を撮像した画像であり、デジタル画像として記憶される。カメラ２から出力される画像信号がデジタル化されていない場合には、制御処理部３においてアナログ−デジタル変換（Ａ／Ｄ変換）を行えばよい。

そして、Ｓ１２に移行し、標識認識処理が行われる。標識認識処理は、カメラ２が撮像した画像内にある標識を画像認識する処理である。例えば、この標識認識処理は、パターンマッチングの手法を用いて行われる。パターンマッチングに用いる各種の標識のテンプレートが予め設定され、撮像した画像内にテンプレートと所定以上の相関値を示すものが認識対象物であると判断される。このパターンマッチングとしては、例えば差分総和、正規化相関、ニューラルネットなどが用いられる。

そして、Ｓ１４に移行し、車両姿勢情報取得処理が行われる。この処理は、カメラ２を搭載した車両の姿勢情報を取得する処理である。例えば、車両に搭載したセンサなどにより車両のロール角、ピッチ角、ヨー角及び車高などの姿勢情報を取得する。

そして、Ｓ１６に移行し、標識の相対位置導出処理が行われる。標識の相対位置導出処理は、画像認識された標識と車両との相対位置を導出する処理である。例えば、まずカメラ２と標識との相対位置が導出され、次いで車両に対する相対位置が導出される。具体的に説明すると、図３に示すように、カメラ２としてステレオカメラを用いる場合、右カメラと左カメラの撮像位置間の基線長をｂとし、右カメラ及び左カメラにおける焦点距離をｆとし、左カメラにおける標識の撮像位置座標値をＰｌ（ｘｌ、ｙｌ）とし、右カメラにおける標識の撮像位置座標値をＰｒ（ｘｒ、ｙｒ）とすると、カメラ２のカメラ座標系における標識の位置座標値Ｐ（Ｘｐｓ、Ｙｐｓ、Ｚｐｓ）は次の式（１）〜（３）で表される。

Ｘｐｓ＝ｂ・（ｘｌ＋ｘｒ）／２・（ｘｌ−ｘｒ） …（１）
Ｙｐｓ＝ｂ・ｆ／（ｘｌ−ｘｒ） …（２）
Ｚｐｓ＝ｂ・ｙｌ／（ｘｌ−ｘｒ） …（３）
また、図４に示すように、カメラ２のセンサ原点が車両原点に対し車両座標系のＸｃ軸、Ｙｃ軸、Ｚｃ軸においてａｘ、ａｙ、ａｚだけ平行移動しているとすると、標識の車両座標系における位置座標値Ｐ（Ｘｐｃ、Ｙｐｃ、Ｚｐｃ）は次の式（４）〜（６）で表される。

Ｘｐｃ＝Ｘｐｓ＋ａｘ …（４）
Ｙｐｃ＝Ｙｐｓ＋ａｙ …（５）
Ｚｐｃ＝Ｚｐｓ＋ａｚ …（６）
また、図４に示すように、車両座標系のＸｃ軸が水平面に対しロール角φだけ傾いており、車両座標系のＹｃ軸が水平面に対しピッチ角ρだけ傾いているとすると、標識の姿勢修正車両座標系における位置座標値Ｐ（Ｘｐｆ、Ｙｐｆ、Ｚｐｆ）は次の式（７）〜（９）で表される。

Ｘｐｆ＝Ｘｐｃ・cosφ＋Ｙｐｃ・sinφ・cosρ＋Ｚｐｃ・sinφ・sinρ …（７）
Ｙｐｆ＝−Ｙｐｃ・sinρ＋Ｚｐｃ・cosρ …（８）
Ｚｐｆ＝Ｘｐｃ・sinφ＋Ｙｐｃ・cosφ・cosρ＋Ｚｐｃ・cosφ・sinρ …（９）
この姿勢修正された車両座標系の位置座標値Ｐ（Ｘｐｆ、Ｙｐｆ、Ｚｐｆ）により、車両に対する標識の相対位置を特定することができる。

そして、図２のＳ１８に移行し、車両位置方位情報取得処理が行われる。この処理は、カメラ２を搭載した車両の位置及び方位の情報を取得する処理である。例えば、ＧＰＳの検出情報に基づいて車両座標系及び修正車両座標系における車両原点の緯度、経度、標高及び車両の進行方向（方位角）を取得する。

そして、Ｓ２０に移行し、標識の絶対位置導出処理が行われる。この処理は、標識の絶対位置を導出する処理である。例えば、Ｓ１６で導出された標識の修正車両座標系の位置座標値Ｐ及びＳ１８で取得された車両原点の緯度、経度、標高、車両の方位角に基づいて、標識の絶対位置が導出される。

具体的には、図５に示すように、車両の位置（ψｏｍ、λｏｍ）に基づいて、緯度経度座標系における標識の位置（ψｐ、λｐ）が導出される。また、車両の位置（ψｏｍ、λｏｍ）に基づいて、図６に示すように、世界平面直角座標系における車両位置（Ｘｃｇ、Ｙｃｇ、Ｚｃｇ）及び標識位置（Ｘｐｇ、Ｙｐｇ、Ｚｐｇ）が導出される。世界平面直角座標系は、ある地点を基準点として北方向をＸ軸、東方向をＹ軸とした平面座標系である。

そして、Ｓ２２に移行し、計測誤差の導出処理が行われる。この処理は、標識の絶対位置の誤差を演算する処理である。例えば、カメラ２による標識までの計測距離の誤差及びＧＳＰによる車両の計測位置の誤差を演算し、これらの誤差から標識の絶対位置の最大誤差が算出される。

例えば、カメラ２による標識までの計測距離の最大誤差は、カメラ２の画角、画素数、カメラ間の基線長などに基づき標識までの距離に応じて演算される。また、ＧＳＰによる車両の計測位置の最大誤差は、ＧＰＳ電波受信状態により推定される。そして、図７に示すように、カメラ２による標識までの計測距離の最大誤差ＥｃとＧＳＰによる車両の計測位置の最大誤差Ｅｇに基づいて標識の絶対位置の最大誤差（Ｅｃ＋Ｅｇ）が演算される。

なお、標識の絶対位置の最大誤差は、カメラ２による標識までの計測距離の誤差及びＧＳＰによる車両の計測位置の誤差だけでなく、車両のロール角、ヨー角などの姿勢を検出するセンサの計測誤差も考慮して演算してもよい。この場合、より正確な標識の絶対位置の最大誤差を得ることができる。

そして、Ｓ２４に移行し、標識の絶対位置（計測結果）及びその位置情報の最大誤差が記録保持される。その際、標識の位置情報と共に、標識の種類情報も同時に記録される。次いで、Ｓ２６に移行し、同一標識のカテゴライズ処理が行われる。この処理は、同一の標識について複数の位置情報が記録されている場合にそれらの位置情報を同一標識の情報としてカテゴライズする処理である。

例えば、図８に示すように、走行する車両が同一の標識を連続的に位置計測した場合、計測誤差により、同一標識について異なる位置データｐ１〜ｐｎが複数記録される。この場合、これら一群の位置データｐ１〜ｐｎは、所定の条件下で同一標識の位置データとしてカテゴライズされる。例えば、各位置データの誤差円が互いに重なり合うこと、認識対象物の種類が同一であること、位置計測時の車両進行方向が設定値以内であること及び相互に同一画像内に同時に存在しないことがカテゴライズの条件とされる。

ここで誤差円とは、標識のデータの位置を中心とし誤差の大きさを半径又は直径とした円である。図９に示すように、位置データｐ１〜ｐ３が記録されている場合、位置データｐ１の誤差円ｃ１、位置データｐ２の誤差円ｃ２、位置データｐ３の誤差円ｃ３が互いに重なり合っていることが、位置データｐ１〜ｐ３のカテゴライズの一条件とされる。

そして、図２のＳ２８に移行し、カテゴライズされた位置データ群（計測点群）の中から代表点が選定される。例えば、計測位置の最大誤差が最小のものが代表点と選定される。この場合、位置データ群の中で最もデータ内容の信頼性が高いものを代表点として選定することができる。また、選定の仕方としては、標識までの計測距離が所定の距離に最も近い位置データを代表点として選定する場合もある。その際、所定の距離としては、１０〜２０ｍのいずれかの距離が設定される。また、選定の仕方として、位置データの平均位置を代表点として選定する場合もある。

そして、Ｓ３０に移行し、地図データベースの検索処理が行われる。この処理は、データベース４にすでに記録されるデータの中に画像認識した標識と同一の標識のデータが存在するか否かを検索する処理である。例えば、誤差円がＳ２８で選定した代表点の標識の誤差円と重なり、対象物種類が代表点の標識と同種類であり、かつ、計測時車両進行方向が代表点の計測時車両進行方向と所定の角度以内である記録済みデータが存在するか否かが検索される。

そして、Ｓ３２に移行し、Ｓ３０において代表点と対応する標識が地図情報（地図データベース）に存在したか否かが判断される。Ｓ３０にて代表点と対応する標識が地図情報に存在しないと判断されたときには、代表点の情報がその標識のデータとして地図データに記録される（Ｓ３８）。この記録処理は、例えば、標識の種類、標識の中心位置（緯度経度位置）、標識の標高、標識の道路や地面からの高さ、標識の表示向きの方位角度、標識の大きさ及び位置計測時の最大誤差をそれぞれ記録して行われる。

一方、Ｓ３０にて代表点と対応する標識が地図情報に存在すると判断されたときには、地図情報の標識における計測誤差と代表点の標識の計測誤差との比較処理が行われる。例えば、地図情報の標識における計測位置の最大誤差と今回認識された標識（代表点）の計測位置の最大誤差とが対比される。

そして、Ｓ３６に移行し、地図情報の標識の計測位置と今回認識された標識の計測位置のうち最大誤差の小さい方がその標識の位置データとして地図データに記憶される。そして、Ｓ４０に移行し、制御処理の終了条件が成立したか否かが判断される。終了条件が成立してないと判断されたときには、Ｓ１０に戻る。一方、終了条件が成立したと判断されたときには、制御処理を終了する。

以上のように、本実施形態に係る位置記録装置及び位置記録方法によれば、認識対象物である標識を撮影して画像認識し、その標識の位置情報をその位置検出誤差情報と共に記憶する。このため、再度その標識の位置情報を取得した際に、すでに記録されている位置情報と検出誤差を比べてその誤差の最小のものを標識の位置情報として記録しておくことにより、正確な位置記録が行える。

例えば、最新の情報をその標識の位置情報として記録する場合には、最新に計測された位置情報が大きな誤差を含んでいる場合、不正確な位置情報が更新されることとなる。これに対し、本実施形態に係る位置記録装置及び位置記録方法では、このような場合、誤差の小さい古い情報が標識の位置情報として記録され、記録更新がされないため、不正確な位置情報が記録されることが防止でき、正確な位置情報の記録が可能となる。

また、本実施形態に係る位置記録装置及び位置記録方法によれば、同一の標識について複数の位置情報を取得した場合に、それらの位置情報のうち位置検出誤差の最小のものをその標識の位置情報として地図データに記録することにより、検出誤差の小さい位置情報を選択して地図データを更新できる。このため、適切な地図データの更新が行え、正確な地図データを構築できる。

なお、本実施形態では、道路上の道路標識を認識する場合について説明したが、本発明に係る位置記録装置及び位置記録方法はこのようなものに限られるものではなく、信号機、建築物、公共施設など標識以外のものを画像認識する場合に適用してもよい。

本発明の実施形態に係る位置記録装置の構成概要図である。 本発明の実施形態に係る位置記録装置の動作及び位置記録方法を示すフローチャートである。 本発明の実施形態に係る位置記録装置及び位置記録方法における標識相対距離演算の説明図である。 本発明の実施形態に係る位置記録装置及び位置記録方法における車両姿勢演算の説明図である。 本発明の実施形態に係る位置記録装置及び位置記録方法における標識絶対位置演算の説明図である。 本発明の実施形態に係る位置記録装置及び位置記録方法における標識絶対位置演算の説明図である。 本発明の実施形態に係る位置記録装置及び位置記録方法における誤差演算の説明図である。 本発明の実施形態に係る位置記録装置及び位置記録方法における標識カテゴライズの説明図である。 本発明の実施形態に係る位置記録装置及び位置記録方法における標識カテゴライズの説明図である。

符号の説明

１…位置記録装置、２…カメラ（撮像手段）、３…制御処理部、４…データベース（記録手段）。

Claims (8)

1. 認識対象物を撮像するための撮像手段と、
   前記撮像手段により撮像された画像情報に基づいて前記認識対象物の画像認識を行う画像認識手段と、
   前記画像認識手段により画像認識された認識対象物の位置を検出する位置検出手段と、
   前記位置検出手段により検出された位置情報の誤差を演算する誤差演算手段と、
   前記認識対象物の位置情報及びその位置検出誤差情報を記録する記録手段と、
   を備えた位置記録装置。
2. 前記記録手段は、同一の認識対象物について複数の位置情報を取得した場合に、それらの位置情報のうち位置検出誤差の最小のものをその認識対象物の位置情報として記録することを特徴とする請求項１に記載の位置記録装置。
3. 前記記録手段は、同一の認識対象物について複数の位置情報を取得した場合に、それらの位置情報のうち位置検出誤差の最小のものをその認識対象物の位置情報として地図データに記録することを特徴とする請求項１に記載の位置記録装置。
4. 前記認識対象物が道路標識であることを特徴とする請求項１〜３のいずれかに記載の位置記録装置。
5. 撮像手段により撮像された画像情報に基づいて前記認識対象物の画像認識を行う画像認識工程と、
   前記画像認識工程にて画像認識された認識対象物の位置を検出する位置検出工程と、
   前記位置検出工程にて検出された位置情報の誤差を演算する誤差演算工程と、
   前記認識対象物の位置情報及びその位置検出誤差情報を記録する記録工程と、
   を備えた位置記録方法。
6. 前記記録工程は、同一の認識対象物について複数の位置情報を取得した場合に、それらの位置情報のうち位置検出誤差の最小のものをその認識対象物の位置情報として記録することを特徴とする請求項５に記載の位置記録方法。
7. 前記記録工程は、同一の認識対象物について複数の位置情報を取得した場合に、それらの位置情報のうち位置検出誤差の最小のものをその認識対象物の位置情報として地図データに記録することを特徴とする請求項５に記載の位置記録方法。
8. 前記認識対象物が道路標識であることを特徴とする請求項５〜７のいずれかに記載の位置記録方法。

Images