JP2010160567A - 消失点特定装置、消失点特定方法及び消失点特定プログラム - Google Patents
消失点特定装置、消失点特定方法及び消失点特定プログラム Download PDFInfo
- Publication number
- JP2010160567A JP2010160567A JP2009001013A JP2009001013A JP2010160567A JP 2010160567 A JP2010160567 A JP 2010160567A JP 2009001013 A JP2009001013 A JP 2009001013A JP 2009001013 A JP2009001013 A JP 2009001013A JP 2010160567 A JP2010160567 A JP 2010160567A
- Authority
- JP
- Japan
- Prior art keywords
- vanishing point
- image data
- specifying
- intersection
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
【課題】撮影画像から消失点を適切に特定し得る消失点特定装置を提供する。
【解決手段】消失点特定装置は、道路を撮影した画像データを複数取得し、画像データから、当該画像データに含まれる道路の画像要素となる複数の直線を抽出し、抽出した直線同士の交点を特定する。そして、消失点特定装置は、複数の画像データにおける交点の位置を集計し、集計した結果に基づいて、消失点を特定する。一般的に、消失点から放射状に直線が形成されるという特性に基づき、消失点特定装置は、画像データから直線抽出し、抽出した直線同士の交点を算出し、複数の画像データから算出した交点の集計結果に基づいて消失点を特定しているので、適切に消失点を特定することができる。
【選択図】図3
【解決手段】消失点特定装置は、道路を撮影した画像データを複数取得し、画像データから、当該画像データに含まれる道路の画像要素となる複数の直線を抽出し、抽出した直線同士の交点を特定する。そして、消失点特定装置は、複数の画像データにおける交点の位置を集計し、集計した結果に基づいて、消失点を特定する。一般的に、消失点から放射状に直線が形成されるという特性に基づき、消失点特定装置は、画像データから直線抽出し、抽出した直線同士の交点を算出し、複数の画像データから算出した交点の集計結果に基づいて消失点を特定しているので、適切に消失点を特定することができる。
【選択図】図3
Description
本発明は、画像データから消失点を特定する方法に関する。
カーナビゲーション装置やPC上で動作して地図を表示するアプリケーションなどにおいて使用される地図データには、道路の車線数等、道路に関連するデータが含まれている。このような道路に関するデータは、実際の道路について撮影した画像データに対して画像認識処理を行うことにより取得される。車載カメラにより道路上の走行画像を撮影し、画像認識処理により道路に関するデータを取得する例が特許文献1に記載されている。
特許文献1の車両用地図データ作成装置は、道路の撮影画像に対して、ハフ変換処理を施すことにより撮影画像内の直線検出を行い、撮影画像から車線数などの情報を得る。
しかし、上記の車両用地図データ作成装置は、撮影画像全体に対してハフ変換処理を行っているため、撮影画像内から抽出される全ての直線を抽出することになる。従って、電線等、道路の車線と関係ない直線まで抽出するため、道路の車線を抽出する精度の信頼性に問題がある。ところで、撮影画像から消失点を特定することができれば、当該消失点周辺の直線を中心に道路の車線を特定することにより、道路の車線を抽出する精度を向上させることができる。ここで消失点とは、実際に平行な直線が、画像上で距離に比例して収束する点をいう。
本発明が解決しようとする課題としては、上記のものが例として挙げられる。本発明は、撮影画像から消失点を適切に特定し得る消失点特定装置を提供することを目的とする。
請求項1に記載の発明は、消失点特定装置であって、移動体に搭載された撮影カメラが撮影した画像データを複数取得する画像データ取得手段と、前記画像データから、当該画像データに含まれる道路の画像要素となる複数の直線抽出を行う直線抽出手段と、前記抽出された複数の直線の交点を特定する交点特定手段と、各画像データについて前記交点特定手段が特定した交点の集計処理を行う交点集計手段と、前記交点集計結果に基づいて前記画像データに含まれる道路の消失点を特定する消失点特定手段と、を備えることを特徴とする。
請求項8に記載の発明は、消失点特定方法であって、移動体に搭載された撮影カメラが撮影した画像データを複数取得する画像データ取得工程と、前記画像データから、当該画像データに含まれる道路の画像要素となる複数の直線抽出を行う直線抽出工程と、前記抽出された複数の直線の交点を特定する交点特定工程と、各画像データについて前記交点特定手段が特定した交点の集計処理を行う交点集計工程と、前記交点集計結果に基づいて前記画像データに含まれる道路の消失点を特定する消失点特定工程と、を備えることを特徴とする。
請求項9に記載の発明は、コンピュータ上で実行される消失点特定プログラムであって、移動体に搭載された撮影カメラが撮影した画像データを複数取得する画像データ取得手段、前記画像データから、当該画像データに含まれる道路の画像要素となる複数の直線抽出を行う直線抽出手段、前記抽出された複数の直線の交点を特定する交点特定手段、各画像データについて前記交点特定手段が特定した交点の集計処理を行う交点集計手段、前記交点集計結果に基づいて前記画像データに含まれる道路の消失点を特定する消失点特定手段、として前記コンピュータを機能させることを特徴とする。
本発明の好適な実施形態では、消失点特定装置であって、移動体に搭載された撮影カメラが撮影した画像データを複数取得する画像データ取得手段と、前記画像データから、当該画像データに含まれる道路の画像要素となる複数の直線抽出を行う直線抽出手段と、前記抽出された複数の直線の交点を特定する交点特定手段と、各画像データについて前記交点特定手段が特定した交点の集計処理を行う交点集計手段と、前記交点集計結果に基づいて前記画像データに含まれる道路の消失点を特定する消失点特定手段と、を備える。
上記の消失点特定装置は、具体的にナビゲーション装置やサーバ装置に適用することができる。画像データ取得手段が、道路上の走行画像等を取得し、直線抽出手段が上記画像データから直線を抽出する。画像データから直線を抽出する方法として、ハフ変換を用いる方法等がある。交点特定手段は、直線抽出手段が抽出した直線同士の交点を特定する。交点集計手段は、各画像データに対して交点特定手段が特定した交点について、集計処理を行う。具体的に、交点集計手段は、各画像データについて、交点特定手段が特定した交点の位置(所定の範囲のエリアでも良い)について投票処理を行い、最も多い投票数を算出したり、投票数の標準偏差を算出したりする。消失点特定手段は、上記の集計結果に基づいて消失点を特定する。具体的に、消失点特定手段は、投票処理を行った結果最も多い投票数を得た位置を消失点とする。
このように、消失点特定装置は、画像データから直線を抽出し、当該直線同士の交点を算出し、当該交点の位置の集計処理を行い、集計結果に基づいて消失点を特定する。一般的に、消失点から放射状に直線が形成されるという特性に基づき、消失点特定装置は、画像データから直線抽出し、抽出した直線同士の交点を算出し、複数の画像データから算出した交点の集計結果に基づいて消失点を特定しているので、適切に消失点を特定することができる。
上記消失点特定装置の一態様では、前記直線抽出手段は、前記画像データにおける上部を直線抽出対象から除外した後に、前記直線抽出を行う。この場合、消失点特定装置は、電線等、不要な直線を抽出してしまうことを防ぐことができる。
上記消失点特定装置の他の一態様では、前記消失点特定手段は、交点集計結果によるピーク値が所定数以上となった場合に前記消失点を特定する。ここでいうピーク値とは、特定した交点の位置(所定の範囲のエリアでも良い)について投票処理を行った結果、最も多い投票数をいう。この場合、消失点特定装置は、ピーク値が所定値以上になった後で消失点を特定するので、消失点の算出結果の信頼性を向上させることができる。
上記消失点特定装置のさらに他の一態様では、前記消失点特定手段は、複数の画像データから集計した交点の標準偏差が所定値以上になった場合に前記消失点を抽出する。この場合、消失点特定装置は、画像データの直線の交点が、各画像データで分散している状態であるにも関わらず、消失点を特定してしまい、信頼性に欠ける算出結果を提示してしまうことを回避することができる。
上記消失点特定装置のさらに他の一態様では、前記消失点特定手段が特定した前記消失点を用いて、前記画像データから車線抽出を行う車線抽出手段をさらに備える。この場合、消失点特定装置は、予め消失点を用いて、画像データから車線抽出を行なうので、画像の上部に位置する電線等、いわゆるノイズ情報を車線として誤認識してしまうことを回避することができる。
上記消失点特定装置のさらに他の一態様では、前記消失点特定手段が特定した前記消失点を所定の記憶部へ登録する消失点登録手段と、移動体に搭載された撮影カメラが撮影した画像データを生成する画像データ生成手段と、前記画像データ生成手段が生成した画像データを用いて、最新の前記消失点を特定する最新消失点特定手段と、前記消失点登録手段が登録した前記消失点と、前記最新の消失点とを比較して前記撮影カメラの姿勢状態を判断する撮影カメラ状態判断手段とをさらに備える。この場合、消失点特定装置は、登録した消失点と、最新の消失点とを比較することにより、撮影カメラの姿勢について変化したか否かを判断することができる。
上記消失点特定装置のさらに他の一態様では、前記画像データは、撮影位置情報を含み、地図情報を保持する地図情報保持手段と、前記画像データ内の交点の集計結果における分散状況に基づいて、前記地図情報及び撮影位置情報を用いて、経路を探索する経路探索手段をさらに備える。
各画像データ内の直線の交点について投票数が分散していないと、直線を抽出しやすい人工物の多い箇所(都市部の道路)である傾向が有り、共通位置の投票数が分散していると直線を抽出しにくい山道である傾向が有る。このことを考慮し、消失点特定装置が、上記画像データ内の直線の交点に基づいて経路を検索すれば、比較的舗装されている道路を優先的に経路選択することができる。
本発明の他の実施形態では、消失点特定方法は、移動体に搭載された撮影カメラが撮影した画像データを複数取得する画像データ取得工程と、前記画像データから、当該画像データに含まれる道路の画像要素となる複数の直線抽出を行う直線抽出工程と、前記抽出された複数の直線の交点を特定する交点特定工程と、各画像データについて前記交点特定手段が特定した交点の集計処理を行う交点集計工程と、前記交点集計結果に基づいて前記画像データに含まれる道路の消失点を特定する消失点特定工程と、を備える。このような消失点特定方法によっても、消失点から放射状に直線が形成されるという特性に基づき、画像データから直線抽出し、抽出した直線同士の交点を算出し、複数の画像データから算出した交点の集計結果に基づいて消失点を特定しているので、適切に消失点を特定することができる。
本発明のさらに他の観点では、コンピュータ上で実行される消失点特定プログラムであって、移動体に搭載された撮影カメラが撮影した画像データを複数取得する画像データ取得手段、前記画像データから、当該画像データに含まれる道路の画像要素となる複数の直線抽出を行う直線抽出手段、前記抽出された複数の直線の交点を特定する交点特定手段、各画像データについて前記交点特定手段が特定した交点の集計処理を行う交点集計手段、前記交点集計結果に基づいて前記画像データに含まれる道路の消失点を特定する消失点特定手段、として前記コンピュータを機能させる。このような消失点特定プログラムを、各種装置上で実行することにより、本発明の消失点特定装置を実現することができる。なお、この消失点特定プログラムは記録媒体に記録した状態で好適に取り扱うことができる。
以下、図面を参照して本発明の好適な実施例について説明する。
[発明概要]
本願発明による消失点特定装置は、道路を撮影した画像データを複数取得し、画像データから直線を抽出し、抽出した直線同士の交点を特定する。そして、消失点特定装置は、複数の画像データにおける交点の位置を集計し、集計した結果に基づいて、消失点を特定する。
本願発明による消失点特定装置は、道路を撮影した画像データを複数取得し、画像データから直線を抽出し、抽出した直線同士の交点を特定する。そして、消失点特定装置は、複数の画像データにおける交点の位置を集計し、集計した結果に基づいて、消失点を特定する。
ここで、道路を撮影した画像データとは、撮影カメラと接続されたナビゲーション装置を搭載した車両(例えば、現地調査用車両)等から撮影した画像データをいう。以下に、撮影カメラと接続しているナビゲーション装置について説明する。
[ナビゲーション装置]
図1に、本発明の実施例に係るナビゲーション装置300の構成を示す。図1に示すように、ナビゲーション装置300は、自立測位装置10、GPS受信機18、システムコントローラ20、ディスクドライブ31、データ記憶ユニット36、通信用インタフェース37、通信装置38、表示ユニット40、音声出力ユニット50、入力装置60、及び撮影カメラ70を備える。
図1に、本発明の実施例に係るナビゲーション装置300の構成を示す。図1に示すように、ナビゲーション装置300は、自立測位装置10、GPS受信機18、システムコントローラ20、ディスクドライブ31、データ記憶ユニット36、通信用インタフェース37、通信装置38、表示ユニット40、音声出力ユニット50、入力装置60、及び撮影カメラ70を備える。
自立測位装置10は、加速度センサ11、角速度センサ12及び距離センサ13を備える。加速度センサ11は、例えば圧電素子からなり、車両の加速度を検出し、加速度データを出力する。角速度センサ12は、例えば振動ジャイロからなり、車両の方向変換時における車両の角速度を検出し、角速度データ及び相対方位データを出力する。距離センサ13は、車両の車輪の回転に伴って発生されているパルス信号からなる車速パルスを計測する。
GPS受信機18は、複数のGPS衛星から、測位用データを含む下り回線データを搬送する電波19を受信する。測位用データは、緯度及び経度情報等から車両の絶対的な位置を検出するために用いられる。
システムコントローラ20は、インタフェース21、CPU(Central Processing Unit)22、ROM(Read Only Memory)23及びRAM(Random Access Memory)24を含んでおり、ナビゲーション装置300全体の制御を行う。
インタフェース21は、加速度センサ11、角速度センサ12及び距離センサ13並びにGPS受信機18とのインタフェース動作を行う。そして、これらから、車速パルス、加速度データ、相対方位データ、角速度データ、GPS測位データ、絶対方位データ等をシステムコントローラ20に入力する。CPU22は、システムコントローラ20全体を制御する。ROM23は、システムコントローラ20を制御する制御プログラム等が格納された図示しない不揮発性メモリ等を有する。RAM24は、入力装置60を介して利用者により予め設定された経路データ等の各種データを読み出し可能に格納したり、CPU22に対してワーキングエリアを提供したりする。
システムコントローラ20、CD−ROMドライブ又はDVD−ROMドライブなどのディスクドライブ31、データ記憶ユニット36、通信用インタフェース37、表示ユニット40、音声出力ユニット50及び入力装置60は、バスライン30を介して相互に接続されている。
ディスクドライブ31は、システムコントローラ20の制御の下、CD又はDVDといったディスク33から、音楽データ、映像データなどのコンテンツデータを読み出し、出力する。なお、ディスクドライブ31は、CD−ROMドライブ又はDVD−ROMドライブのうち、いずれか一方としても良いし、CD及びDVDコンパチブルのドライブとしても良く、また、テレビチューナを内蔵したハードディスクレコーダでも良い。
データ記憶ユニット36は、例えば、HDDなどにより構成され、地図データや施設データなどのナビゲーション処理に用いられる各種データを記憶する。
通信装置38は、例えば、FMチューナやビーコンレシーバ、携帯電話や専用の通信カードなどにより構成され、通信用インタフェース37を介して、VICS(Vehicle Information Communication System)センタから配信される渋滞や交通情報などの道路交通情報を受信したり、所定のサーバからの種々の情報(例えば、天気情報等)を受信したりする。
表示ユニット40は、システムコントローラ20の制御の下、各種表示データをディスプレイなどの表示装置に表示する。具体的には、システムコントローラ20は、データ記憶ユニット36から地図データを読み出す。表示ユニット40は、システムコントローラ20によってデータ記憶ユニット36から読み出された地図データを、ディスプレイなどの表示画面上に表示する。表示ユニット40は、バスライン30を介してCPU22から送られる制御データに基づいて表示ユニット40全体の制御を行うグラフィックコントローラ41と、VRAM(Video RAM)等のメモリからなり即時表示可能な画像情報を一時的に記憶するバッファメモリ42と、グラフィックコントローラ41から出力される画像データに基づいて、液晶、CRT(Cathode Ray Tube)等のディスプレイ44を表示制御する表示制御部43と、ディスプレイ44とを備える。ディスプレイ44は、例えば対角5〜10インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。
音声出力ユニット50は、システムコントローラ20の制御の下、ディスクドライブ31、又はRAM24等からバスライン30を介して送られる音声デジタルデータのD/A(Digital to Analog)変換を行うD/Aコンバータ51と、D/Aコンバータ51から出力される音声アナログ信号を増幅する増幅器(AMP)52と、増幅された音声アナログ信号を音声に変換して車内に出力するスピーカ53とを備えて構成されている。
入力装置60は、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、リモコン、音声入力装置等から構成されている。入力装置60は、車内に搭載された当該車載用電子システムの本体のフロントパネルやディスプレイ44の周囲に配置される。また、ディスプレイ44がタッチパネル方式である場合には、ディスプレイ44の表示画面上に設けられたタッチパネルも入力装置60として機能する。
さらに、入力装置60は、音声ユニットも含める。音声ユニットは、音声認識部及びマイクを備える。利用者が発生した音声には、マイクにより集音され、音声認識部へ入力される。音声認識部は、利用者による音声指示を認識処理し、認識結果をシステムコントローラ20へ供給する。これにより、利用者は、リモコンやタッチパネルの代わりに、音声により指示等を入力することができる。
撮影カメラ70は、車両に取り付けられ、システムコントローラ20の制御に応じて、撮影を行う。システムコントローラ20は、撮影カメラ70を介して得られた画像データと、GPS受信機18を介して得られた撮影時の位置情報とを対応付ける。
ナビゲーション装置300は、生成した画像データをデータ記憶ユニット36へ保存したり、通信装置38を介して消失点を特定するサーバ装置へ送信したりする。
<第1実施例>
[第1実施例に係る消失点特定装置]
図2は、本発明の実施例に係る消失点特定方法を適用した消失点特定装置100の概略構成を示す図である。
[第1実施例に係る消失点特定装置]
図2は、本発明の実施例に係る消失点特定方法を適用した消失点特定装置100の概略構成を示す図である。
本実施例において、消失点特定装置100は、上述の通り、道路上の撮影画像データを取得し、撮影画像データから直線を抽出し、抽出した直線同士の交点を求め、複数の撮影画像データ中の上記交点の位置についての集計結果に基づいて消失点を特定する。
消失点特定装置100は、本実施例では、サーバ装置により構成され、システムバス111と、CPU(Central Processing Unit)112と、メモリ113と、キーボード114と、マウスなどの座標指示デバイス115と、ディスプレイ116と、通信装置117と、データベース118とを備える。ここで、キーボード114及び座標指示デバイス115は、入力装置である。また、ディスプレイ116は、出力装置である。通信装置117は、他の装置とデータを授受する所定の通信装置である。CPU112は、標示体認識装置100全体を制御し、入出力装置の制御を行う。
CPU112、メモリ113、データベース118は、システムバス111に接続される。キーボード114、座標指示デバイス115、ディスプレイ116、通信装置117も図示しないインタフェースを介してシステムバス111に接続される。メモリ113は、作業メモリとしても使用される。
[消失点特定ユニット]
図3は、第1実施例にかかる消失点特定ユニット200Aの機能ブロック図である。消失点特定ユニット200Aは、実体的には、消失点特定装置100の構成要素により構成される。図3に示すように、消失点特定ユニット200は、画像データ取得部201、画像内直線抽出部202、交点特定部203、交点集計部204、消失点特定部205、及び車線特定部206を備える。
図3は、第1実施例にかかる消失点特定ユニット200Aの機能ブロック図である。消失点特定ユニット200Aは、実体的には、消失点特定装置100の構成要素により構成される。図3に示すように、消失点特定ユニット200は、画像データ取得部201、画像内直線抽出部202、交点特定部203、交点集計部204、消失点特定部205、及び車線特定部206を備える。
画像データ取得部201は、通信装置117を介して、ナビゲーション装置300から画像データを取得する。ここで、画像データ取得部201は、複数の画像データを取得する。
画像内直線抽出部202は、画像データ取得部201が取得した画像データから抽出対象の領域を定めた後に、抽出対象としている範囲についてハフ変換処理を施し、画像データ内から直線を抽出する。
交点特定部203は、画像内直線抽出部202が抽出した直線同士の交点を特定する。交点集計部204は、複数の画像データで特定した交点について、所定の集計処理を行う。
消失点特定部205は、交点集計部204が集計した結果に基づいて消失点を特定する。
車線特定部206は、消失点特定部205が特定した消失点の位置に基づいて、画像データから車線を特定する。
[消失点特定方法]
次に、消失点特定ユニット200Aにより、複数の画像データに対して直線検出及び直線同士の交点を特定して、各画像データから特定した交点について集計処理を行い、集計結果に基づいて消失点を特定する方法について図4(A)〜図4(D)を用いて説明する。
次に、消失点特定ユニット200Aにより、複数の画像データに対して直線検出及び直線同士の交点を特定して、各画像データから特定した交点について集計処理を行い、集計結果に基づいて消失点を特定する方法について図4(A)〜図4(D)を用いて説明する。
まず、画像データ取得部201は、ナビゲーション装置300等から連続撮影された画像データを取得する。ここで、画像データ取得部201が取得する画像データの例を図4(A)に示す。
画像内直線抽出部202は、図4(B)に示す直線抽出対象外領域400を定めた後に、画像データから直線抽出対象外領域400以外の領域についてハフ変換により画像データに含まれる道路の画像要素となる複数の直線抽出を行う。画像内直線抽出部202は、図4(B)に示すように画像データの上部60%の範囲を直線抽出対象外領域とする。なお、上述の例では、画像内直線抽出部202が、画像データの上部60%を直線抽出対象外領域400としているが、本発明は、これに限られず、画像データの上部の所定範囲を直線抽出対象外領域400としても良い。
画像内直線抽出部202が抽出した直線である、抽出直線410A〜抽出直線410Dを図4(C)に示す。このように、画像内直線抽出部202は、画像データにおける上部部分については、直線抽出対象から除外している。これにより消失点特定ユニット200Aは、電線等、不要な直線を抽出してしまうことを防ぐことができ、適切に道路の直線抽出することができる。
画像内直線抽出部202が抽出した直線である、抽出直線410A〜抽出直線410Dを図4(C)に示す。このように、画像内直線抽出部202は、画像データにおける上部部分については、直線抽出対象から除外している。これにより消失点特定ユニット200Aは、電線等、不要な直線を抽出してしまうことを防ぐことができ、適切に道路の直線抽出することができる。
そして、交点特定部203は、画像内直線抽出部202が抽出した、抽出直線410同士の交点を算出する。交点特定部203は、図4(C)の画像データから交点を算出する場合、図4(D)に示すように交点420A〜交点420Dを算出する。
そして、交点集計部204は、各画像データについて交点特定部203が算出した交点の位置について集計処理を行う。具体的に、交点集計部204は、各画像データについて、交点特定部203が特定した交点の位置(所定の範囲のエリアでも良い)について投票処理を行い、最も多い投票数(以下、ピーク値とも呼ぶ)を算出したり、各位置における投票数の標準偏差を算出したりする。
そして、消失点特定部205は、上記ピーク値が所定の閾値以上になった場合に、当該ピーク値の位置を画像データに含まれる道路の消失点とする。このように、消失点特定ユニット200Aは、ピーク値が閾値以上になった場合に消失点を特定するので、消失点の算出結果の信頼性を向上させることができる。
車線特定部206は、画像内直線抽出部202が抽出した直線の内、上記消失点特定部205が特定した消失点周辺の直線から車線の抽出を行う。
このように、消失点特定ユニット200Aは、画像データから直線を抽出し、当該直線同士の交点を算出し、当該交点の位置の集計処理を行い、集計結果に基づいて画像データ内における走行道路の消失点を特定する。
一般的に、消失点から放射状に直線が形成されるという特性に基づき、消失点特定ユニット200Aは、画像データから直線抽出し、抽出した直線同士の交点を算出し、複数の画像データから算出した交点の集計結果に基づいて消失点を特定しているので、適切に消失点を特定することができる。
また、道路上から撮影した画像データの場合、当該画像データから特定した消失点の高さ周辺が地平線となることから、当該消失点周辺の直線が道路の車線となる可能性が高い。よって、消失点特性ユニット200Aは、画像データから抽出した直線の内、当該消失点周辺を通過する直線を優先して車線特定を行うことにより、効率良く車線検出を行うことができる。
なお、上述の実施例では、消失点特定ユニット200Aは、ピーク値が閾値以上であった場合に、消失点の特定を行っているが、投票数の標準偏差が所定値以上になった場合に、消失点の特定を行うようにしても良い。この場合、消失点特定ユニット200Aは、消失点を用いて画像データから車線抽出を行なう際に、画像の上部に位置する電線等、いわゆるノイズ情報を車線として誤認識してしまうことを回避することができる。
図5に「都市部」、「細街路」、及び「山道」の3パターンの走行画像800枚について、画像内の直線抽出、直線同士の交点算出を行った結果について集計処理をした統計グラフを示す。
図5に示すグラフの通り、人工物の多い都市部の走行画像については、交点が多く、各画像データで所定位置について共通して交点があるケースが多い。また、人工物の少ない山道の走行画像については、算出する交点の数が少なく、各画像データで共通した交点を有するケースが少ない。
従って、上述の消失点特定方法は、都市部等、人工物の多い箇所で撮影された画像データを用いて行うことが望ましいこととなる。なお、画像データから抽出した直線同士の交点の数が少ない場合、人工物が少ない道路の走行画像であると判断することも可能となる。
[消失点特定処理]
次に、本実施例による消失点特定処理について、図6を参照して説明する。図6は、本実施例による消失点特定処理のフローチャートである。消失点特定処理は、図2に示す消失点特定装置100のCPU12がメモリ13に記憶されたプログラムを実行することにより実現される。
次に、本実施例による消失点特定処理について、図6を参照して説明する。図6は、本実施例による消失点特定処理のフローチャートである。消失点特定処理は、図2に示す消失点特定装置100のCPU12がメモリ13に記憶されたプログラムを実行することにより実現される。
まず、画像データ取得部201が、連続した画像データを取得する(ステップS1)。そして画像内直線抽出部202は、画像データ内における上部を直線抽出対象から除外し(ステップS2)、画像データに対してハフ変換処理を施し、直線を抽出する(ステップS3)。
そして、交点特定部203は、抽出した直線同士の交点を算出し(ステップS4)、交点集計部204が、各画像データの交点の情報について、集計処理を行う(ステップS5)。集計結果が所定の閾値を超えていない場合(ステップS6;No)、ステップS1へ移動する。なお、未だ交点を特定していない画像データがある場合は、別途画像データを取得する必要がないのでステップS2へ移動する。
集計結果が所定の閾値を超えた場合(ステップS6;Yes)、消失点特定部205は、集計結果に基づいて消失点を特定し(ステップS7)、処理を終了する。
<第2実施例>
[第2実施例に係る消失点特定ユニット]
図7に、第2実施例にかかる消失点特定ユニット200Bの機能ブロック図を示す。消失点特定ユニット200Bは、実体的には、ナビゲーション装置300の構成要素により構成される。この場合、ナビゲーション装置300が消失点特定装置として機能する。図7に示すように、消失点特定ユニット200Bは、画像データ取得部201B、画像内直線抽出部202、交点特定部203、交点集計部204、消失点特定部205、消失点登録部207、画像データ生成部208、撮影カメラ姿勢判断部209、及び経路探索部210を備える。
[第2実施例に係る消失点特定ユニット]
図7に、第2実施例にかかる消失点特定ユニット200Bの機能ブロック図を示す。消失点特定ユニット200Bは、実体的には、ナビゲーション装置300の構成要素により構成される。この場合、ナビゲーション装置300が消失点特定装置として機能する。図7に示すように、消失点特定ユニット200Bは、画像データ取得部201B、画像内直線抽出部202、交点特定部203、交点集計部204、消失点特定部205、消失点登録部207、画像データ生成部208、撮影カメラ姿勢判断部209、及び経路探索部210を備える。
ここで、ナビゲーション装置300は、撮影カメラ70によって撮影された画像データをデータ記憶ユニット36に保存しているものとする。
画像データ取得部201Bは、データ記憶ユニット36に保存されている画像データを取得したり、撮影カメラ70を介して生成された画像データを取得したりする。
画像内直線抽出部202、交点特定部203、交点集計部204、及び消失点特定部205は、第1実施例の消失点特定ユニット200Aにおける画像内直線抽出部202、交点特定部203、交点集計部204、及び消失点特定部205と同じため、説明を省略する。消失点登録部207は、消失点特定部205が特定した消失点の情報をデータ記憶ユニット36へ登録する。画像データ生成部208は、撮影カメラ70が撮影した内容の画像データを生成する。
撮影カメラ姿勢判断部209は、消失点登録部207が登録した消失点と、画像データ生成部208が生成した画像データから抽出した直線の交点から算出した消失点とを比較し、撮影カメラ姿勢が変更したか否かを判断する。
経路探索部210は、各画像データから抽出した直線同士の交点の分散度合い等に基づいて、走行経路を決定する。当該画像データには、撮影位置の情報が紐付けられていることから、経路探索部210は、画像データ内の直線同士の交点位置の分散度合いに基づいて、人工物の多い経路を優先した経路検索を行なうことができる。本実施例では、消失点特定部205が、最新消失点特定手段としても機能する。
[撮影カメラの姿勢判断方法]
第2実施例にかかる消失点特定ユニット200Bが行なう撮影カメラの姿勢判断方法について説明する。ここで、撮影姿勢判断方法とは、上述の「消失点特定方法」により特定した消失点の情報を登録しておき、登録した消失点と、登録後に撮影した画像データから抽出した直線同士の交点から算出した消失点とを比較することにより、撮影姿勢を判断する方法をいう。
第2実施例にかかる消失点特定ユニット200Bが行なう撮影カメラの姿勢判断方法について説明する。ここで、撮影姿勢判断方法とは、上述の「消失点特定方法」により特定した消失点の情報を登録しておき、登録した消失点と、登録後に撮影した画像データから抽出した直線同士の交点から算出した消失点とを比較することにより、撮影姿勢を判断する方法をいう。
まず、消失点特定ユニット200Bは、第1実施例にかかる消失点特定ユニット200Aが行なう「消失点特定方法」と同様に、複数の画像データから抽出した直線同士の交点を算出し、交点について集計処理を行った結果に基づいて消失点を特定する。そして、消失点登録部207は、特定した消失点を登録する。
消失点の登録後、画像データ生成部201は、撮影カメラ70が撮影した内容の画像データを1又は複数生成する。そして、生成された画像データに対して、画像内直線抽出部202が直線を抽出し、交点特定部203が画像内直線抽出部202によって抽出された直線同士の交点を算出し、交点集計部204が、交点特定部203によって算出された交点について集計する。
そして、消失点特定部205は、上記交点集計部204が行なった集計結果に基づいて消失点(以下、当該消失点を最新消失点とも呼ぶ)を特定する。
そして、撮影カメラ姿勢判断部209は、登録されている消失点の位置と、最新消失点の位置とを比較し、著しく異なる場合は、撮影カメラ70がずれていると判断し、所定のメッセージをナビゲーション装置300の表示部40へ表示する。
このように、消失点特定ユニット200Bは、特定した消失点について登録した後に、撮影した画像データを用いて最新消失点を特定し、登録した消失点と最新消失点とを比較している。これによれば、消失点特定ユニット200Bは、登録した消失点と最新消失点との位置の違いに基づいて、撮影カメラ70の姿勢に変化が生じているか否かを通知することができる。
以上、述べたように、消失点特定ユニット200は、移動体に搭載された撮影カメラが撮影した画像データを複数取得する画像データ取得手段と、画像データから、当該画像データに含まれる道路の画像要素となる複数の直線抽出を行う直線抽出手段と、抽出された複数の直線の交点を特定する交点特定手段と、各画像データについて交点特定手段が特定した交点の集計処理を行う交点集計手段と、交点集計結果に基づいて画像データに含まれる道路の消失点を特定する消失点特定手段と、を備える。
このように、消失点特定ユニット200は、画像データから直線を抽出し、当該直線同士の交点を算出し、当該交点の位置の集計処理を行い、集計結果に基づいて消失点を特定する。一般的に、消失点から放射状に直線が形成されるという特性に基づき、消失点特定ユニット200は、画像データから直線抽出し、抽出した直線同士の交点を算出し、複数の画像データから算出した交点の集計結果に基づいて消失点を特定しているので、適切に消失点を特定することができる。
[変形例]
上述の実施例では、画像内直線抽出部202は、ハフ変換処理により画像データ内から直線を抽出する場合について述べたが、本発明は、これに限られず、他の種々の方法で画像データ内から直線を抽出するようにしても良い。例えば、画像からエッジを抽出して、それを直線にするという方法等がある。
上述の実施例では、画像内直線抽出部202は、ハフ変換処理により画像データ内から直線を抽出する場合について述べたが、本発明は、これに限られず、他の種々の方法で画像データ内から直線を抽出するようにしても良い。例えば、画像からエッジを抽出して、それを直線にするという方法等がある。
上述の実施例では、消失点特定ユニット200をナビゲーション装置やサーバ装置へ適用する場合について述べたが、本発明は、これに限られず、他の種々のコンピュータ装置へ適用するようにしても良い。
111 システムバス
112 CPU
113 メモリ
114 キーボード
115 座標指示デバイス
116 ディスプレイ
117 通信装置
118 データベース
100 消失点特定装置
112 CPU
113 メモリ
114 キーボード
115 座標指示デバイス
116 ディスプレイ
117 通信装置
118 データベース
100 消失点特定装置
Claims (10)
- 移動体に搭載された撮影カメラが撮影した画像データを複数取得する画像データ取得手段と、
前記画像データから、当該画像データに含まれる道路の画像要素となる複数の直線抽出を行う直線抽出手段と、
前記抽出された複数の直線の交点を特定する交点特定手段と、
各画像データについて前記交点特定手段が特定した交点の集計処理を行う交点集計手段と、
前記交点集計結果に基づいて前記画像データに含まれる道路の消失点を特定する消失点特定手段と、
を備えることを特徴とする消失点特定装置。 - 前記直線抽出手段は、前記画像データにおける上部を直線抽出対象から除外した後に、前記直線抽出を行うことを特徴とする請求項1に記載の消失点特定装置。
- 前記消失点特定手段は、交点集計結果によるピーク値が所定数以上となった場合に前記消失点を特定することを特徴とする請求項1又は2に記載の消失点特定装置。
- 前記消失点特定手段は、複数の画像データから集計した交点の標準偏差が所定値以上になった場合に前記消失点を抽出することを特徴とする請求項1又は2に記載の消失点特定装置。
- 前記消失点特定手段が特定した前記消失点を用いて、前記画像データから車線抽出を行う車線抽出手段をさらに備えることを特徴とする請求項1乃至4のいずれか一項に記載の消失点特定装置。
- 前記消失点特定手段が特定した前記消失点を所定の記憶部へ登録する消失点登録手段と、
移動体に搭載された撮影カメラが撮影した画像データを生成する画像データ生成手段と、
前記画像データ生成手段が生成した画像データを用いて、最新の前記消失点を特定する最新消失点特定手段と、
前記消失点登録手段が登録した前記消失点と、前記最新の消失点とを比較して前記撮影カメラの姿勢状態を判断する撮影カメラ状態判断手段とをさらに備えることを特徴とする請求項1乃至4のいずれか一項に記載の消失点抽出装置。 - 前記画像データは、撮影位置情報を含み、
地図情報を保持する地図情報保持手段と、
前記画像データ内の交点の集計結果における分散状況に基づいて、前記地図情報及び撮影位置情報を用いて、経路を探索する経路探索手段をさらに備えることを特徴とする請求項1乃至4のいずれか一項に記載の消失点特定装置。 - 移動体に搭載された撮影カメラが撮影した画像データを複数取得する画像データ取得工程と、
前記画像データから、当該画像データに含まれる道路の画像要素となる複数の直線抽出を行う直線抽出工程と、
前記抽出された複数の直線の交点を特定する交点特定工程と、
各画像データについて前記交点特定手段が特定した交点の集計処理を行う交点集計工程と、
前記交点集計結果に基づいて前記画像データに含まれる道路の消失点を特定する消失点特定工程と、
を備えることを特徴とする消失点特定方法。 - コンピュータ上で実行される消失点特定プログラムであって、
移動体に搭載された撮影カメラが撮影した画像データを複数取得する画像データ取得手段、
前記画像データから、当該画像データに含まれる道路の画像要素となる複数の直線抽出を行う直線抽出手段、
前記抽出された複数の直線の交点を特定する交点特定手段、
各画像データについて前記交点特定手段が特定した交点の集計処理を行う交点集計手段、
前記交点集計結果に基づいて前記画像データに含まれる道路の消失点を特定する消失点特定手段、として前記コンピュータを機能させることを特徴とする消失点特定プログラム。 - 請求項9に記載の消失点特定プログラムを記憶したことを特徴とする記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009001013A JP2010160567A (ja) | 2009-01-06 | 2009-01-06 | 消失点特定装置、消失点特定方法及び消失点特定プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009001013A JP2010160567A (ja) | 2009-01-06 | 2009-01-06 | 消失点特定装置、消失点特定方法及び消失点特定プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010160567A true JP2010160567A (ja) | 2010-07-22 |
Family
ID=42577703
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009001013A Pending JP2010160567A (ja) | 2009-01-06 | 2009-01-06 | 消失点特定装置、消失点特定方法及び消失点特定プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010160567A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103440649A (zh) * | 2013-08-23 | 2013-12-11 | 安科智慧城市技术(中国)有限公司 | 一种车道边界线检测方法及装置 |
CN103440649B (zh) * | 2013-08-23 | 2016-11-30 | 安科智慧城市技术(中国)有限公司 | 一种车道边界线检测方法及装置 |
JP2021189531A (ja) * | 2020-05-26 | 2021-12-13 | セイコーソリューションズ株式会社 | 画像解析装置、プログラム及び画像解析方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000132677A (ja) * | 1998-10-21 | 2000-05-12 | Nec Corp | 画像処理方法 |
JP2000242899A (ja) * | 1999-02-24 | 2000-09-08 | Mitsubishi Electric Corp | 白線認識装置 |
JP2000261644A (ja) * | 1999-03-05 | 2000-09-22 | Fuji Photo Film Co Ltd | 画像変換方法および装置並びに記録媒体 |
JP2007240422A (ja) * | 2006-03-10 | 2007-09-20 | Fujitsu Ten Ltd | 俯角算出装置、俯角算出方法、俯角算出プログラムおよび画像処理装置 |
-
2009
- 2009-01-06 JP JP2009001013A patent/JP2010160567A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000132677A (ja) * | 1998-10-21 | 2000-05-12 | Nec Corp | 画像処理方法 |
JP2000242899A (ja) * | 1999-02-24 | 2000-09-08 | Mitsubishi Electric Corp | 白線認識装置 |
JP2000261644A (ja) * | 1999-03-05 | 2000-09-22 | Fuji Photo Film Co Ltd | 画像変換方法および装置並びに記録媒体 |
JP2007240422A (ja) * | 2006-03-10 | 2007-09-20 | Fujitsu Ten Ltd | 俯角算出装置、俯角算出方法、俯角算出プログラムおよび画像処理装置 |
Non-Patent Citations (2)
Title |
---|
CSNG200400154001; '動画像処理による車両前方監視システム' 電子情報通信学会技術研究報告 Vol.101 No.627 , 20020123 * |
JPN6012051122; '動画像処理による車両前方監視システム' 電子情報通信学会技術研究報告 Vol.101 No.627 , 20020123 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103440649A (zh) * | 2013-08-23 | 2013-12-11 | 安科智慧城市技术(中国)有限公司 | 一种车道边界线检测方法及装置 |
CN103440649B (zh) * | 2013-08-23 | 2016-11-30 | 安科智慧城市技术(中国)有限公司 | 一种车道边界线检测方法及装置 |
JP2021189531A (ja) * | 2020-05-26 | 2021-12-13 | セイコーソリューションズ株式会社 | 画像解析装置、プログラム及び画像解析方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200394920A1 (en) | Information processing apparatus, information processing method, and information processing system | |
JP4886597B2 (ja) | レーン判定装置及びレーン判定方法、並びにそれを用いたナビゲーション装置 | |
JP4881493B1 (ja) | ナビゲーション装置、制御方法、プログラム、及び記憶媒体 | |
JP3958133B2 (ja) | 車両位置測定装置および方法 | |
JP6335814B2 (ja) | 不審車両認識装置及び不審車両認識方法 | |
JP6106495B2 (ja) | 検出装置、制御方法、プログラム及び記憶媒体 | |
US20130170706A1 (en) | Guidance device, guidance method, and guidance program | |
JP6759175B2 (ja) | 情報処理装置および情報処理システム | |
JP6838522B2 (ja) | 画像収集システム、画像収集方法、画像収集装置、および記録媒体 | |
JPWO2008107944A1 (ja) | 車線逸脱防止装置、車線逸脱防止方法、車線逸脱防止プログラム及び記憶媒体 | |
JP2009162722A (ja) | 案内装置、案内方法、及び案内プログラム | |
WO2013145146A1 (ja) | ナビゲーション装置、ナビゲーション方法及びナビゲーションプログラム | |
JP2010182189A (ja) | 情報出力装置、情報出力方法、情報出力プログラムおよび記録媒体 | |
JP2014153192A (ja) | 走行案内システム、走行案内方法及びコンピュータプログラム | |
JP2011022004A (ja) | 地図データ更新装置、地図データ更新方法、地図データ更新プログラムおよび記録媒体 | |
US20110242324A1 (en) | Image display device, image display method, image display program, and recording medium | |
JP2008262481A (ja) | 車両制御装置 | |
JPWO2013111302A1 (ja) | 表示装置、制御方法、プログラム、記憶媒体 | |
JP2010160567A (ja) | 消失点特定装置、消失点特定方法及び消失点特定プログラム | |
JP2011174723A (ja) | 案内誘導装置及び案内誘導方法 | |
JP6686076B2 (ja) | 情報処理装置、情報処理方法、プログラム、およびアプリケーションプログラム | |
JP2010156815A (ja) | 地図情報管理装置、地図情報管理方法及び地図情報管理プログラム | |
JP2015185018A (ja) | 判別装置、制御方法、プログラム及び記憶媒体 | |
JP2011179920A (ja) | 表示制御装置、表示制御方法、プログラム、および記録媒体 | |
JP5640794B2 (ja) | ナビゲーション装置、ナビゲーション方法、及び、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121002 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130305 |