JP2010160567A - 消失点特定装置、消失点特定方法及び消失点特定プログラム - Google Patents

Abstract

【課題】撮影画像から消失点を適切に特定し得る消失点特定装置を提供する。
【解決手段】消失点特定装置は、道路を撮影した画像データを複数取得し、画像データから、当該画像データに含まれる道路の画像要素となる複数の直線を抽出し、抽出した直線同士の交点を特定する。そして、消失点特定装置は、複数の画像データにおける交点の位置を集計し、集計した結果に基づいて、消失点を特定する。一般的に、消失点から放射状に直線が形成されるという特性に基づき、消失点特定装置は、画像データから直線抽出し、抽出した直線同士の交点を算出し、複数の画像データから算出した交点の集計結果に基づいて消失点を特定しているので、適切に消失点を特定することができる。
【選択図】図３

Description

本発明は、画像データから消失点を特定する方法に関する。

カーナビゲーション装置やＰＣ上で動作して地図を表示するアプリケーションなどにおいて使用される地図データには、道路の車線数等、道路に関連するデータが含まれている。このような道路に関するデータは、実際の道路について撮影した画像データに対して画像認識処理を行うことにより取得される。車載カメラにより道路上の走行画像を撮影し、画像認識処理により道路に関するデータを取得する例が特許文献１に記載されている。

特許文献１の車両用地図データ作成装置は、道路の撮影画像に対して、ハフ変換処理を施すことにより撮影画像内の直線検出を行い、撮影画像から車線数などの情報を得る。

特開２００７−２４０３１９号公報

しかし、上記の車両用地図データ作成装置は、撮影画像全体に対してハフ変換処理を行っているため、撮影画像内から抽出される全ての直線を抽出することになる。従って、電線等、道路の車線と関係ない直線まで抽出するため、道路の車線を抽出する精度の信頼性に問題がある。ところで、撮影画像から消失点を特定することができれば、当該消失点周辺の直線を中心に道路の車線を特定することにより、道路の車線を抽出する精度を向上させることができる。ここで消失点とは、実際に平行な直線が、画像上で距離に比例して収束する点をいう。

本発明が解決しようとする課題としては、上記のものが例として挙げられる。本発明は、撮影画像から消失点を適切に特定し得る消失点特定装置を提供することを目的とする。

請求項１に記載の発明は、消失点特定装置であって、移動体に搭載された撮影カメラが撮影した画像データを複数取得する画像データ取得手段と、前記画像データから、当該画像データに含まれる道路の画像要素となる複数の直線抽出を行う直線抽出手段と、前記抽出された複数の直線の交点を特定する交点特定手段と、各画像データについて前記交点特定手段が特定した交点の集計処理を行う交点集計手段と、前記交点集計結果に基づいて前記画像データに含まれる道路の消失点を特定する消失点特定手段と、を備えることを特徴とする。

請求項８に記載の発明は、消失点特定方法であって、移動体に搭載された撮影カメラが撮影した画像データを複数取得する画像データ取得工程と、前記画像データから、当該画像データに含まれる道路の画像要素となる複数の直線抽出を行う直線抽出工程と、前記抽出された複数の直線の交点を特定する交点特定工程と、各画像データについて前記交点特定手段が特定した交点の集計処理を行う交点集計工程と、前記交点集計結果に基づいて前記画像データに含まれる道路の消失点を特定する消失点特定工程と、を備えることを特徴とする。

請求項９に記載の発明は、コンピュータ上で実行される消失点特定プログラムであって、移動体に搭載された撮影カメラが撮影した画像データを複数取得する画像データ取得手段、前記画像データから、当該画像データに含まれる道路の画像要素となる複数の直線抽出を行う直線抽出手段、前記抽出された複数の直線の交点を特定する交点特定手段、各画像データについて前記交点特定手段が特定した交点の集計処理を行う交点集計手段、前記交点集計結果に基づいて前記画像データに含まれる道路の消失点を特定する消失点特定手段、として前記コンピュータを機能させることを特徴とする。

ナビゲーション装置の概略構成を示すブロック図である。 サーバ装置の構成図である。 消失点特定ユニットの機能構成を示すブロック図である。 消失点を特定する方法を説明する図である。 投票結果のグラフの例である。 消失点特定処理のフローチャートである。 第２実施例にかかる消失点特定ユニットのブロック図である。

本発明の好適な実施形態では、消失点特定装置であって、移動体に搭載された撮影カメラが撮影した画像データを複数取得する画像データ取得手段と、前記画像データから、当該画像データに含まれる道路の画像要素となる複数の直線抽出を行う直線抽出手段と、前記抽出された複数の直線の交点を特定する交点特定手段と、各画像データについて前記交点特定手段が特定した交点の集計処理を行う交点集計手段と、前記交点集計結果に基づいて前記画像データに含まれる道路の消失点を特定する消失点特定手段と、を備える。

上記の消失点特定装置は、具体的にナビゲーション装置やサーバ装置に適用することができる。画像データ取得手段が、道路上の走行画像等を取得し、直線抽出手段が上記画像データから直線を抽出する。画像データから直線を抽出する方法として、ハフ変換を用いる方法等がある。交点特定手段は、直線抽出手段が抽出した直線同士の交点を特定する。交点集計手段は、各画像データに対して交点特定手段が特定した交点について、集計処理を行う。具体的に、交点集計手段は、各画像データについて、交点特定手段が特定した交点の位置（所定の範囲のエリアでも良い）について投票処理を行い、最も多い投票数を算出したり、投票数の標準偏差を算出したりする。消失点特定手段は、上記の集計結果に基づいて消失点を特定する。具体的に、消失点特定手段は、投票処理を行った結果最も多い投票数を得た位置を消失点とする。

このように、消失点特定装置は、画像データから直線を抽出し、当該直線同士の交点を算出し、当該交点の位置の集計処理を行い、集計結果に基づいて消失点を特定する。一般的に、消失点から放射状に直線が形成されるという特性に基づき、消失点特定装置は、画像データから直線抽出し、抽出した直線同士の交点を算出し、複数の画像データから算出した交点の集計結果に基づいて消失点を特定しているので、適切に消失点を特定することができる。

上記消失点特定装置の一態様では、前記直線抽出手段は、前記画像データにおける上部を直線抽出対象から除外した後に、前記直線抽出を行う。この場合、消失点特定装置は、電線等、不要な直線を抽出してしまうことを防ぐことができる。

上記消失点特定装置の他の一態様では、前記消失点特定手段は、交点集計結果によるピーク値が所定数以上となった場合に前記消失点を特定する。ここでいうピーク値とは、特定した交点の位置（所定の範囲のエリアでも良い）について投票処理を行った結果、最も多い投票数をいう。この場合、消失点特定装置は、ピーク値が所定値以上になった後で消失点を特定するので、消失点の算出結果の信頼性を向上させることができる。

上記消失点特定装置のさらに他の一態様では、前記消失点特定手段は、複数の画像データから集計した交点の標準偏差が所定値以上になった場合に前記消失点を抽出する。この場合、消失点特定装置は、画像データの直線の交点が、各画像データで分散している状態であるにも関わらず、消失点を特定してしまい、信頼性に欠ける算出結果を提示してしまうことを回避することができる。

上記消失点特定装置のさらに他の一態様では、前記消失点特定手段が特定した前記消失点を用いて、前記画像データから車線抽出を行う車線抽出手段をさらに備える。この場合、消失点特定装置は、予め消失点を用いて、画像データから車線抽出を行なうので、画像の上部に位置する電線等、いわゆるノイズ情報を車線として誤認識してしまうことを回避することができる。

上記消失点特定装置のさらに他の一態様では、前記消失点特定手段が特定した前記消失点を所定の記憶部へ登録する消失点登録手段と、移動体に搭載された撮影カメラが撮影した画像データを生成する画像データ生成手段と、前記画像データ生成手段が生成した画像データを用いて、最新の前記消失点を特定する最新消失点特定手段と、前記消失点登録手段が登録した前記消失点と、前記最新の消失点とを比較して前記撮影カメラの姿勢状態を判断する撮影カメラ状態判断手段とをさらに備える。この場合、消失点特定装置は、登録した消失点と、最新の消失点とを比較することにより、撮影カメラの姿勢について変化したか否かを判断することができる。

上記消失点特定装置のさらに他の一態様では、前記画像データは、撮影位置情報を含み、地図情報を保持する地図情報保持手段と、前記画像データ内の交点の集計結果における分散状況に基づいて、前記地図情報及び撮影位置情報を用いて、経路を探索する経路探索手段をさらに備える。

各画像データ内の直線の交点について投票数が分散していないと、直線を抽出しやすい人工物の多い箇所（都市部の道路）である傾向が有り、共通位置の投票数が分散していると直線を抽出しにくい山道である傾向が有る。このことを考慮し、消失点特定装置が、上記画像データ内の直線の交点に基づいて経路を検索すれば、比較的舗装されている道路を優先的に経路選択することができる。

本発明の他の実施形態では、消失点特定方法は、移動体に搭載された撮影カメラが撮影した画像データを複数取得する画像データ取得工程と、前記画像データから、当該画像データに含まれる道路の画像要素となる複数の直線抽出を行う直線抽出工程と、前記抽出された複数の直線の交点を特定する交点特定工程と、各画像データについて前記交点特定手段が特定した交点の集計処理を行う交点集計工程と、前記交点集計結果に基づいて前記画像データに含まれる道路の消失点を特定する消失点特定工程と、を備える。このような消失点特定方法によっても、消失点から放射状に直線が形成されるという特性に基づき、画像データから直線抽出し、抽出した直線同士の交点を算出し、複数の画像データから算出した交点の集計結果に基づいて消失点を特定しているので、適切に消失点を特定することができる。

本発明のさらに他の観点では、コンピュータ上で実行される消失点特定プログラムであって、移動体に搭載された撮影カメラが撮影した画像データを複数取得する画像データ取得手段、前記画像データから、当該画像データに含まれる道路の画像要素となる複数の直線抽出を行う直線抽出手段、前記抽出された複数の直線の交点を特定する交点特定手段、各画像データについて前記交点特定手段が特定した交点の集計処理を行う交点集計手段、前記交点集計結果に基づいて前記画像データに含まれる道路の消失点を特定する消失点特定手段、として前記コンピュータを機能させる。このような消失点特定プログラムを、各種装置上で実行することにより、本発明の消失点特定装置を実現することができる。なお、この消失点特定プログラムは記録媒体に記録した状態で好適に取り扱うことができる。

以下、図面を参照して本発明の好適な実施例について説明する。

［発明概要］
本願発明による消失点特定装置は、道路を撮影した画像データを複数取得し、画像データから直線を抽出し、抽出した直線同士の交点を特定する。そして、消失点特定装置は、複数の画像データにおける交点の位置を集計し、集計した結果に基づいて、消失点を特定する。

ここで、道路を撮影した画像データとは、撮影カメラと接続されたナビゲーション装置を搭載した車両（例えば、現地調査用車両）等から撮影した画像データをいう。以下に、撮影カメラと接続しているナビゲーション装置について説明する。

［ナビゲーション装置］
図１に、本発明の実施例に係るナビゲーション装置３００の構成を示す。図１に示すように、ナビゲーション装置３００は、自立測位装置１０、ＧＰＳ受信機１８、システムコントローラ２０、ディスクドライブ３１、データ記憶ユニット３６、通信用インタフェース３７、通信装置３８、表示ユニット４０、音声出力ユニット５０、入力装置６０、及び撮影カメラ７０を備える。

自立測位装置１０は、加速度センサ１１、角速度センサ１２及び距離センサ１３を備える。加速度センサ１１は、例えば圧電素子からなり、車両の加速度を検出し、加速度データを出力する。角速度センサ１２は、例えば振動ジャイロからなり、車両の方向変換時における車両の角速度を検出し、角速度データ及び相対方位データを出力する。距離センサ１３は、車両の車輪の回転に伴って発生されているパルス信号からなる車速パルスを計測する。

ＧＰＳ受信機１８は、複数のＧＰＳ衛星から、測位用データを含む下り回線データを搬送する電波１９を受信する。測位用データは、緯度及び経度情報等から車両の絶対的な位置を検出するために用いられる。

システムコントローラ２０は、インタフェース２１、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２３及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２４を含んでおり、ナビゲーション装置３００全体の制御を行う。

インタフェース２１は、加速度センサ１１、角速度センサ１２及び距離センサ１３並びにＧＰＳ受信機１８とのインタフェース動作を行う。そして、これらから、車速パルス、加速度データ、相対方位データ、角速度データ、ＧＰＳ測位データ、絶対方位データ等をシステムコントローラ２０に入力する。ＣＰＵ２２は、システムコントローラ２０全体を制御する。ＲＯＭ２３は、システムコントローラ２０を制御する制御プログラム等が格納された図示しない不揮発性メモリ等を有する。ＲＡＭ２４は、入力装置６０を介して利用者により予め設定された経路データ等の各種データを読み出し可能に格納したり、ＣＰＵ２２に対してワーキングエリアを提供したりする。

システムコントローラ２０、ＣＤ−ＲＯＭドライブ又はＤＶＤ−ＲＯＭドライブなどのディスクドライブ３１、データ記憶ユニット３６、通信用インタフェース３７、表示ユニット４０、音声出力ユニット５０及び入力装置６０は、バスライン３０を介して相互に接続されている。

ディスクドライブ３１は、システムコントローラ２０の制御の下、ＣＤ又はＤＶＤといったディスク３３から、音楽データ、映像データなどのコンテンツデータを読み出し、出力する。なお、ディスクドライブ３１は、ＣＤ−ＲＯＭドライブ又はＤＶＤ−ＲＯＭドライブのうち、いずれか一方としても良いし、ＣＤ及びＤＶＤコンパチブルのドライブとしても良く、また、テレビチューナを内蔵したハードディスクレコーダでも良い。

データ記憶ユニット３６は、例えば、ＨＤＤなどにより構成され、地図データや施設データなどのナビゲーション処理に用いられる各種データを記憶する。

通信装置３８は、例えば、ＦＭチューナやビーコンレシーバ、携帯電話や専用の通信カードなどにより構成され、通信用インタフェース３７を介して、ＶＩＣＳ（Ｖｅｈｉｃｌｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）センタから配信される渋滞や交通情報などの道路交通情報を受信したり、所定のサーバからの種々の情報（例えば、天気情報等）を受信したりする。

表示ユニット４０は、システムコントローラ２０の制御の下、各種表示データをディスプレイなどの表示装置に表示する。具体的には、システムコントローラ２０は、データ記憶ユニット３６から地図データを読み出す。表示ユニット４０は、システムコントローラ２０によってデータ記憶ユニット３６から読み出された地図データを、ディスプレイなどの表示画面上に表示する。表示ユニット４０は、バスライン３０を介してＣＰＵ２２から送られる制御データに基づいて表示ユニット４０全体の制御を行うグラフィックコントローラ４１と、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）等のメモリからなり即時表示可能な画像情報を一時的に記憶するバッファメモリ４２と、グラフィックコントローラ４１から出力される画像データに基づいて、液晶、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等のディスプレイ４４を表示制御する表示制御部４３と、ディスプレイ４４とを備える。ディスプレイ４４は、例えば対角５〜１０インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。

音声出力ユニット５０は、システムコントローラ２０の制御の下、ディスクドライブ３１、又はＲＡＭ２４等からバスライン３０を介して送られる音声デジタルデータのＤ／Ａ（Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ）変換を行うＤ／Ａコンバータ５１と、Ｄ／Ａコンバータ５１から出力される音声アナログ信号を増幅する増幅器（ＡＭＰ）５２と、増幅された音声アナログ信号を音声に変換して車内に出力するスピーカ５３とを備えて構成されている。

入力装置６０は、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、リモコン、音声入力装置等から構成されている。入力装置６０は、車内に搭載された当該車載用電子システムの本体のフロントパネルやディスプレイ４４の周囲に配置される。また、ディスプレイ４４がタッチパネル方式である場合には、ディスプレイ４４の表示画面上に設けられたタッチパネルも入力装置６０として機能する。

さらに、入力装置６０は、音声ユニットも含める。音声ユニットは、音声認識部及びマイクを備える。利用者が発生した音声には、マイクにより集音され、音声認識部へ入力される。音声認識部は、利用者による音声指示を認識処理し、認識結果をシステムコントローラ２０へ供給する。これにより、利用者は、リモコンやタッチパネルの代わりに、音声により指示等を入力することができる。

撮影カメラ７０は、車両に取り付けられ、システムコントローラ２０の制御に応じて、撮影を行う。システムコントローラ２０は、撮影カメラ７０を介して得られた画像データと、ＧＰＳ受信機１８を介して得られた撮影時の位置情報とを対応付ける。

ナビゲーション装置３００は、生成した画像データをデータ記憶ユニット３６へ保存したり、通信装置３８を介して消失点を特定するサーバ装置へ送信したりする。

＜第１実施例＞
［第１実施例に係る消失点特定装置］
図２は、本発明の実施例に係る消失点特定方法を適用した消失点特定装置１００の概略構成を示す図である。

本実施例において、消失点特定装置１００は、上述の通り、道路上の撮影画像データを取得し、撮影画像データから直線を抽出し、抽出した直線同士の交点を求め、複数の撮影画像データ中の上記交点の位置についての集計結果に基づいて消失点を特定する。

消失点特定装置１００は、本実施例では、サーバ装置により構成され、システムバス１１１と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１２と、メモリ１１３と、キーボード１１４と、マウスなどの座標指示デバイス１１５と、ディスプレイ１１６と、通信装置１１７と、データベース１１８とを備える。ここで、キーボード１１４及び座標指示デバイス１１５は、入力装置である。また、ディスプレイ１１６は、出力装置である。通信装置１１７は、他の装置とデータを授受する所定の通信装置である。ＣＰＵ１１２は、標示体認識装置１００全体を制御し、入出力装置の制御を行う。

ＣＰＵ１１２、メモリ１１３、データベース１１８は、システムバス１１１に接続される。キーボード１１４、座標指示デバイス１１５、ディスプレイ１１６、通信装置１１７も図示しないインタフェースを介してシステムバス１１１に接続される。メモリ１１３は、作業メモリとしても使用される。

[消失点特定ユニット]
図３は、第１実施例にかかる消失点特定ユニット２００Ａの機能ブロック図である。消失点特定ユニット２００Ａは、実体的には、消失点特定装置１００の構成要素により構成される。図３に示すように、消失点特定ユニット２００は、画像データ取得部２０１、画像内直線抽出部２０２、交点特定部２０３、交点集計部２０４、消失点特定部２０５、及び車線特定部２０６を備える。

画像データ取得部２０１は、通信装置１１７を介して、ナビゲーション装置３００から画像データを取得する。ここで、画像データ取得部２０１は、複数の画像データを取得する。

画像内直線抽出部２０２は、画像データ取得部２０１が取得した画像データから抽出対象の領域を定めた後に、抽出対象としている範囲についてハフ変換処理を施し、画像データ内から直線を抽出する。

交点特定部２０３は、画像内直線抽出部２０２が抽出した直線同士の交点を特定する。交点集計部２０４は、複数の画像データで特定した交点について、所定の集計処理を行う。

消失点特定部２０５は、交点集計部２０４が集計した結果に基づいて消失点を特定する。

車線特定部２０６は、消失点特定部２０５が特定した消失点の位置に基づいて、画像データから車線を特定する。

［消失点特定方法］
次に、消失点特定ユニット２００Ａにより、複数の画像データに対して直線検出及び直線同士の交点を特定して、各画像データから特定した交点について集計処理を行い、集計結果に基づいて消失点を特定する方法について図４（Ａ）〜図４（Ｄ）を用いて説明する。

まず、画像データ取得部２０１は、ナビゲーション装置３００等から連続撮影された画像データを取得する。ここで、画像データ取得部２０１が取得する画像データの例を図４（Ａ）に示す。

画像内直線抽出部２０２は、図４（Ｂ）に示す直線抽出対象外領域４００を定めた後に、画像データから直線抽出対象外領域４００以外の領域についてハフ変換により画像データに含まれる道路の画像要素となる複数の直線抽出を行う。画像内直線抽出部２０２は、図４（Ｂ）に示すように画像データの上部６０％の範囲を直線抽出対象外領域とする。なお、上述の例では、画像内直線抽出部２０２が、画像データの上部６０％を直線抽出対象外領域４００としているが、本発明は、これに限られず、画像データの上部の所定範囲を直線抽出対象外領域４００としても良い。
画像内直線抽出部２０２が抽出した直線である、抽出直線４１０Ａ〜抽出直線４１０Ｄを図４（Ｃ）に示す。このように、画像内直線抽出部２０２は、画像データにおける上部部分については、直線抽出対象から除外している。これにより消失点特定ユニット２００Ａは、電線等、不要な直線を抽出してしまうことを防ぐことができ、適切に道路の直線抽出することができる。

そして、交点特定部２０３は、画像内直線抽出部２０２が抽出した、抽出直線４１０同士の交点を算出する。交点特定部２０３は、図４（Ｃ）の画像データから交点を算出する場合、図４（Ｄ）に示すように交点４２０Ａ〜交点４２０Ｄを算出する。

そして、交点集計部２０４は、各画像データについて交点特定部２０３が算出した交点の位置について集計処理を行う。具体的に、交点集計部２０４は、各画像データについて、交点特定部２０３が特定した交点の位置（所定の範囲のエリアでも良い）について投票処理を行い、最も多い投票数（以下、ピーク値とも呼ぶ）を算出したり、各位置における投票数の標準偏差を算出したりする。

そして、消失点特定部２０５は、上記ピーク値が所定の閾値以上になった場合に、当該ピーク値の位置を画像データに含まれる道路の消失点とする。このように、消失点特定ユニット２００Ａは、ピーク値が閾値以上になった場合に消失点を特定するので、消失点の算出結果の信頼性を向上させることができる。

車線特定部２０６は、画像内直線抽出部２０２が抽出した直線の内、上記消失点特定部２０５が特定した消失点周辺の直線から車線の抽出を行う。

このように、消失点特定ユニット２００Ａは、画像データから直線を抽出し、当該直線同士の交点を算出し、当該交点の位置の集計処理を行い、集計結果に基づいて画像データ内における走行道路の消失点を特定する。

一般的に、消失点から放射状に直線が形成されるという特性に基づき、消失点特定ユニット２００Ａは、画像データから直線抽出し、抽出した直線同士の交点を算出し、複数の画像データから算出した交点の集計結果に基づいて消失点を特定しているので、適切に消失点を特定することができる。

また、道路上から撮影した画像データの場合、当該画像データから特定した消失点の高さ周辺が地平線となることから、当該消失点周辺の直線が道路の車線となる可能性が高い。よって、消失点特性ユニット２００Ａは、画像データから抽出した直線の内、当該消失点周辺を通過する直線を優先して車線特定を行うことにより、効率良く車線検出を行うことができる。

なお、上述の実施例では、消失点特定ユニット２００Ａは、ピーク値が閾値以上であった場合に、消失点の特定を行っているが、投票数の標準偏差が所定値以上になった場合に、消失点の特定を行うようにしても良い。この場合、消失点特定ユニット２００Ａは、消失点を用いて画像データから車線抽出を行なう際に、画像の上部に位置する電線等、いわゆるノイズ情報を車線として誤認識してしまうことを回避することができる。

図５に「都市部」、「細街路」、及び「山道」の３パターンの走行画像８００枚について、画像内の直線抽出、直線同士の交点算出を行った結果について集計処理をした統計グラフを示す。

図５に示すグラフの通り、人工物の多い都市部の走行画像については、交点が多く、各画像データで所定位置について共通して交点があるケースが多い。また、人工物の少ない山道の走行画像については、算出する交点の数が少なく、各画像データで共通した交点を有するケースが少ない。

従って、上述の消失点特定方法は、都市部等、人工物の多い箇所で撮影された画像データを用いて行うことが望ましいこととなる。なお、画像データから抽出した直線同士の交点の数が少ない場合、人工物が少ない道路の走行画像であると判断することも可能となる。

［消失点特定処理］
次に、本実施例による消失点特定処理について、図６を参照して説明する。図６は、本実施例による消失点特定処理のフローチャートである。消失点特定処理は、図２に示す消失点特定装置１００のＣＰＵ１２がメモリ１３に記憶されたプログラムを実行することにより実現される。

まず、画像データ取得部２０１が、連続した画像データを取得する（ステップＳ１）。そして画像内直線抽出部２０２は、画像データ内における上部を直線抽出対象から除外し（ステップＳ２）、画像データに対してハフ変換処理を施し、直線を抽出する（ステップＳ３）。

そして、交点特定部２０３は、抽出した直線同士の交点を算出し（ステップＳ４）、交点集計部２０４が、各画像データの交点の情報について、集計処理を行う（ステップＳ５）。集計結果が所定の閾値を超えていない場合（ステップＳ６；Ｎｏ）、ステップＳ１へ移動する。なお、未だ交点を特定していない画像データがある場合は、別途画像データを取得する必要がないのでステップＳ２へ移動する。

集計結果が所定の閾値を超えた場合（ステップＳ６；Ｙｅｓ）、消失点特定部２０５は、集計結果に基づいて消失点を特定し（ステップＳ７）、処理を終了する。

＜第２実施例＞
［第２実施例に係る消失点特定ユニット］
図７に、第２実施例にかかる消失点特定ユニット２００Ｂの機能ブロック図を示す。消失点特定ユニット２００Ｂは、実体的には、ナビゲーション装置３００の構成要素により構成される。この場合、ナビゲーション装置３００が消失点特定装置として機能する。図７に示すように、消失点特定ユニット２００Ｂは、画像データ取得部２０１Ｂ、画像内直線抽出部２０２、交点特定部２０３、交点集計部２０４、消失点特定部２０５、消失点登録部２０７、画像データ生成部２０８、撮影カメラ姿勢判断部２０９、及び経路探索部２１０を備える。

ここで、ナビゲーション装置３００は、撮影カメラ７０によって撮影された画像データをデータ記憶ユニット３６に保存しているものとする。

画像データ取得部２０１Ｂは、データ記憶ユニット３６に保存されている画像データを取得したり、撮影カメラ７０を介して生成された画像データを取得したりする。

画像内直線抽出部２０２、交点特定部２０３、交点集計部２０４、及び消失点特定部２０５は、第１実施例の消失点特定ユニット２００Ａにおける画像内直線抽出部２０２、交点特定部２０３、交点集計部２０４、及び消失点特定部２０５と同じため、説明を省略する。消失点登録部２０７は、消失点特定部２０５が特定した消失点の情報をデータ記憶ユニット３６へ登録する。画像データ生成部２０８は、撮影カメラ７０が撮影した内容の画像データを生成する。

撮影カメラ姿勢判断部２０９は、消失点登録部２０７が登録した消失点と、画像データ生成部２０８が生成した画像データから抽出した直線の交点から算出した消失点とを比較し、撮影カメラ姿勢が変更したか否かを判断する。

経路探索部２１０は、各画像データから抽出した直線同士の交点の分散度合い等に基づいて、走行経路を決定する。当該画像データには、撮影位置の情報が紐付けられていることから、経路探索部２１０は、画像データ内の直線同士の交点位置の分散度合いに基づいて、人工物の多い経路を優先した経路検索を行なうことができる。本実施例では、消失点特定部２０５が、最新消失点特定手段としても機能する。

［撮影カメラの姿勢判断方法］
第２実施例にかかる消失点特定ユニット２００Ｂが行なう撮影カメラの姿勢判断方法について説明する。ここで、撮影姿勢判断方法とは、上述の「消失点特定方法」により特定した消失点の情報を登録しておき、登録した消失点と、登録後に撮影した画像データから抽出した直線同士の交点から算出した消失点とを比較することにより、撮影姿勢を判断する方法をいう。

まず、消失点特定ユニット２００Ｂは、第１実施例にかかる消失点特定ユニット２００Ａが行なう「消失点特定方法」と同様に、複数の画像データから抽出した直線同士の交点を算出し、交点について集計処理を行った結果に基づいて消失点を特定する。そして、消失点登録部２０７は、特定した消失点を登録する。

消失点の登録後、画像データ生成部２０１は、撮影カメラ７０が撮影した内容の画像データを１又は複数生成する。そして、生成された画像データに対して、画像内直線抽出部２０２が直線を抽出し、交点特定部２０３が画像内直線抽出部２０２によって抽出された直線同士の交点を算出し、交点集計部２０４が、交点特定部２０３によって算出された交点について集計する。

そして、消失点特定部２０５は、上記交点集計部２０４が行なった集計結果に基づいて消失点（以下、当該消失点を最新消失点とも呼ぶ）を特定する。

そして、撮影カメラ姿勢判断部２０９は、登録されている消失点の位置と、最新消失点の位置とを比較し、著しく異なる場合は、撮影カメラ７０がずれていると判断し、所定のメッセージをナビゲーション装置３００の表示部４０へ表示する。

このように、消失点特定ユニット２００Ｂは、特定した消失点について登録した後に、撮影した画像データを用いて最新消失点を特定し、登録した消失点と最新消失点とを比較している。これによれば、消失点特定ユニット２００Ｂは、登録した消失点と最新消失点との位置の違いに基づいて、撮影カメラ７０の姿勢に変化が生じているか否かを通知することができる。

以上、述べたように、消失点特定ユニット２００は、移動体に搭載された撮影カメラが撮影した画像データを複数取得する画像データ取得手段と、画像データから、当該画像データに含まれる道路の画像要素となる複数の直線抽出を行う直線抽出手段と、抽出された複数の直線の交点を特定する交点特定手段と、各画像データについて交点特定手段が特定した交点の集計処理を行う交点集計手段と、交点集計結果に基づいて画像データに含まれる道路の消失点を特定する消失点特定手段と、を備える。

このように、消失点特定ユニット２００は、画像データから直線を抽出し、当該直線同士の交点を算出し、当該交点の位置の集計処理を行い、集計結果に基づいて消失点を特定する。一般的に、消失点から放射状に直線が形成されるという特性に基づき、消失点特定ユニット２００は、画像データから直線抽出し、抽出した直線同士の交点を算出し、複数の画像データから算出した交点の集計結果に基づいて消失点を特定しているので、適切に消失点を特定することができる。

[変形例]
上述の実施例では、画像内直線抽出部２０２は、ハフ変換処理により画像データ内から直線を抽出する場合について述べたが、本発明は、これに限られず、他の種々の方法で画像データ内から直線を抽出するようにしても良い。例えば、画像からエッジを抽出して、それを直線にするという方法等がある。

上述の実施例では、消失点特定ユニット２００をナビゲーション装置やサーバ装置へ適用する場合について述べたが、本発明は、これに限られず、他の種々のコンピュータ装置へ適用するようにしても良い。

１１１ システムバス
１１２ ＣＰＵ
１１３ メモリ
１１４ キーボード
１１５ 座標指示デバイス
１１６ ディスプレイ
１１７ 通信装置
１１８ データベース
１００ 消失点特定装置

Claims (10)

1. 移動体に搭載された撮影カメラが撮影した画像データを複数取得する画像データ取得手段と、
   前記画像データから、当該画像データに含まれる道路の画像要素となる複数の直線抽出を行う直線抽出手段と、
   前記抽出された複数の直線の交点を特定する交点特定手段と、
   各画像データについて前記交点特定手段が特定した交点の集計処理を行う交点集計手段と、
   前記交点集計結果に基づいて前記画像データに含まれる道路の消失点を特定する消失点特定手段と、
   を備えることを特徴とする消失点特定装置。
2. 前記直線抽出手段は、前記画像データにおける上部を直線抽出対象から除外した後に、前記直線抽出を行うことを特徴とする請求項１に記載の消失点特定装置。
3. 前記消失点特定手段は、交点集計結果によるピーク値が所定数以上となった場合に前記消失点を特定することを特徴とする請求項１又は２に記載の消失点特定装置。
4. 前記消失点特定手段は、複数の画像データから集計した交点の標準偏差が所定値以上になった場合に前記消失点を抽出することを特徴とする請求項１又は２に記載の消失点特定装置。
5. 前記消失点特定手段が特定した前記消失点を用いて、前記画像データから車線抽出を行う車線抽出手段をさらに備えることを特徴とする請求項１乃至４のいずれか一項に記載の消失点特定装置。
6. 前記消失点特定手段が特定した前記消失点を所定の記憶部へ登録する消失点登録手段と、
   移動体に搭載された撮影カメラが撮影した画像データを生成する画像データ生成手段と、
   前記画像データ生成手段が生成した画像データを用いて、最新の前記消失点を特定する最新消失点特定手段と、
   前記消失点登録手段が登録した前記消失点と、前記最新の消失点とを比較して前記撮影カメラの姿勢状態を判断する撮影カメラ状態判断手段とをさらに備えることを特徴とする請求項１乃至４のいずれか一項に記載の消失点抽出装置。
7. 前記画像データは、撮影位置情報を含み、
   地図情報を保持する地図情報保持手段と、
   前記画像データ内の交点の集計結果における分散状況に基づいて、前記地図情報及び撮影位置情報を用いて、経路を探索する経路探索手段をさらに備えることを特徴とする請求項１乃至４のいずれか一項に記載の消失点特定装置。
8. 移動体に搭載された撮影カメラが撮影した画像データを複数取得する画像データ取得工程と、
   前記画像データから、当該画像データに含まれる道路の画像要素となる複数の直線抽出を行う直線抽出工程と、
   前記抽出された複数の直線の交点を特定する交点特定工程と、
   各画像データについて前記交点特定手段が特定した交点の集計処理を行う交点集計工程と、
   前記交点集計結果に基づいて前記画像データに含まれる道路の消失点を特定する消失点特定工程と、
   を備えることを特徴とする消失点特定方法。
9. コンピュータ上で実行される消失点特定プログラムであって、
   移動体に搭載された撮影カメラが撮影した画像データを複数取得する画像データ取得手段、
   前記画像データから、当該画像データに含まれる道路の画像要素となる複数の直線抽出を行う直線抽出手段、
   前記抽出された複数の直線の交点を特定する交点特定手段、
   各画像データについて前記交点特定手段が特定した交点の集計処理を行う交点集計手段、
   前記交点集計結果に基づいて前記画像データに含まれる道路の消失点を特定する消失点特定手段、として前記コンピュータを機能させることを特徴とする消失点特定プログラム。
10. 請求項９に記載の消失点特定プログラムを記憶したことを特徴とする記憶媒体。

Images