JP3853542B2

JP3853542B2 - 画像処理装置、画像処理方法及びナビゲーション装置

Info

Publication number: JP3853542B2
Application number: JP21127299A
Authority: JP
Inventors: 隆柏崎
Original assignee: Pioneer Corp
Current assignee: Pioneer Corp
Priority date: 1999-07-26
Filing date: 1999-07-26
Publication date: 2006-12-06
Anticipated expiration: 2019-07-26
Also published as: JP2001034769A; EP1072863B1; EP1072863A2; DE60030640T2; DE60030640D1; EP1072863A3; US6249214B1

Description

【０００１】
【発明の属する技術分野】
本発明は、走行中の車両において、撮像手段からの画像信号に基づいて道路端までの距離及び道幅を求める画像処理装置、画像処理方法及びナビゲーション装置の技術分野に属する。
【０００２】
【従来の技術】
従来から、移動体としての車両の現在位置を検出し、周辺の道路地図と共に検出された現在位置を表示画面に表示して経路案内を行うナビゲーション装置が広く用いられている。この種のナビゲーション装置においては、地図データが記憶された大容量の記録媒体を備えており、表示画面上の表示データを生成するために用いられる。記録媒体上の地図データには、道路形状に関するデータや表示用の各種データなどに加え、これに付随する道幅情報が含まれる。よって、走行中の道路に対応する道幅情報を読み出して、現在走行している道路の道幅を把握することができる。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来のナビゲーション装置では、地図データに含まれる道幅情報は正確な道幅を示すものではなく、例えば５．５ｍ〜８ｍのように、その道路の概略の道幅を示すに過ぎなかった。よって、道路のポイントに対応したきめ細かく正確な道幅情報は取得することができなかった。更に、単に道路の道幅を知るだけではなく、道路までの距離をリアルタイムに求め、これを車両の安全走行に役立てることへのニーズも強くなっている。
【０００４】
そこで、本発明はこのような問題に鑑みなされたものであり、走行中の車両から撮像した画像に基づいて、壁面や溝、あるいは道路面に隣接する道路面以外の構造物を画像中から検出することにより、道路端までの距離及び道幅を求めることができる車載用画像処理装置、及び、画像処理の結果に応じて、ドライバーに対し安全走行を確保するための警告や案内を行うことが可能なナビゲーション装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、請求項１に記載の画像処理装置は、移動体の側方を撮像して画像信号を出力する撮像手段と、移動体が移動中の前記画像信号に基づいて、撮像された画像のそれぞれの領域ごとに、移動ベクトルを検出する移動ベクトル検出手段と、前記検出された移動ベクトルの大きさが一定の空間的変化率で変化する領域と前記移動ベクトルの大きさが空間的に一定である領域とを区別することにより前記画像中の道路端を判別し、前記判別した画像中の道路端に基づいて該道路端までの距離を算出する距離算出手段とを備えることを特徴とする。
【０００６】
この発明によれば、画像処理装置により、走行中の車両等の移動体において側方に向けて撮像手段による撮像が行われて画像信号が出力される。この画像信号を２つの時点で比較して、それぞれの領域ごとの移動ベクトルが検出される。画像中の道路面等の水平部分では移動ベクトルの変化率が略一定となるが、道路端では変化率の不連続点が生じる。よって、これら領域ごとに区別して道路端を判別でき、更に移動ベクトルの大きさに基づき道路端までの距離が算出できる。従って、算出された距離は、走行中の安全確保やナビゲーションの支援等の用途に利用可能であり、車両の安全性と利便性を高めることができる。
【０００７】
請求項２に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記撮像手段は、移動体の左側側方を撮像する第１の撮像手段と、移動体の右側側方を撮像する第２の撮像手段とを含み、前記距離算出手段は、左側道路端までの第１の距離と、右側道路端までの第２の距離とを算出することを特徴とする。
【０００８】
この発明によれば、走行中の車両等の移動体では、左側に向けて第１の撮像手段が、右側に向けて第２の撮像手段がそれぞれ撮像を行って画像信号を出力する。その後の処理は請求項１に記載の発明と同様に、右側の画像と左側の画像について行われ、移動体の両側道路端までの距離が算出できる。従って、算出された２つの距離を取得して走行道路における車両位置の把握が容易となり、車両の安全性と利便性を一層高めることができる。
【０００９】
請求項３に記載の画像処理装置は、請求項２に記載の画像処理装置において、前記第１の距離及び前記第２の距離に基づいて、移動体の走行道路の道幅を算出する道幅算出手段を更に備えることを特徴とする。
【００１０】
この発明によれば、車両等の移動体における左右の画像に対応して算出された２つの距離に基づいて、走行道路の道幅を算出できる。例えば、撮像手段が車両両側の側部に設置されている場合、２つの距離を加え、更に撮像手段の間の距離を加えれば道幅が得られる。従って、この道幅を用いて走行中の安全を確保したり、道幅データを取得するなど、車両の安全確保とナビゲーションの機能向上に有用となる。
【００１１】
請求項４に記載の画像処理装置は、請求項１から請求項３のいずれかに記載の画像処理装置において、前記画像信号は、所定のフレーム周期を持つフレーム画像データを単位として構成され、前記移動ベクトル検出手段は、連続する２つのフレーム画像データに基づいて前記移動ベクトルを検出することを特徴とする。
【００１２】
この発明によれば、画像処理の対象は、フレーム周期ごとに出力されるフレーム画像データであり、連続する２つのフレーム画像データを用いて上述の画像処理が行われる。従って、車両の走行中に常にリアルタイムに画像処理が行われ、車両の状況に迅速に対応可能な画像処理装置を実現できる。
【００１３】
請求項５に記載の画像処理装置は、請求項１から請求項４のいずれかに記載の画像処理装置において、前記撮像手段は、移動体の前側に設置されていることを特徴とする。
【００１４】
この発明によれば、移動体の前側に設置された撮像手段からの画像信号を例えば表示画面に表示することにより、上記の作用に加えて、通常は視認が困難である移動体前側の横方向を容易に視認することでき、車両の安全確保に一層有用となる。
【００１５】
請求項６に記載の画像処理装置は、請求項１から請求項５のいずれかに記載の画像処理装置において、前記撮像手段は、移動体の斜め前寄りの側方を撮像することを特徴とする。
【００１６】
この発明によれば、移動体の斜め前寄りを撮像する撮像手段からの画像信号に基づいて上述の処理を行うようにしたので、車両の進行方向前方における道路端までの距離を時間的に先行して算出でき、迅速に車両の走行状態を把握することができる。
【００１７】
請求項７に記載の画像処理装置は、請求項１から請求項６のいずれかに記載の画像処理装置において、前記撮像手段は、移動体の斜め下寄りの側方を撮像することを特徴とする。
【００１８】
この発明によれば、移動体の斜め下寄りを撮像する撮像手段からの画像信号に基づいて上述の処理を行うようにしたので、道路端に近接した場合であっても画角内に道路端を捉えやすくなり、走行車両の安全性を更に高めることができる。
【００１９】
請求項８に記載の画像処理方法は、移動体の側方を撮像する撮像手段から出力された画像信号に基づいて画像処理を行う画像処理方法であって、移動体が移動中の前記画像信号に基づいて、撮像された画像のそれぞれの領域ごとに、移動ベクトルを検出する移動ベクトル検出工程と、前記検出された移動ベクトルの大きさが一定の空間的変化率で変化する領域と前記移動ベクトルの大きさが空間的に一定である領域とを区別することにより前記画像中の道路端を判別し、前記判別した画像中の道路端に基づいて該道路端までの距離を算出する距離算出工程とを備えることを特徴とする。
【００２０】
この発明によれば、走行中の車両等の移動体に設置された撮像手段からの画像信号を入力し、請求項１に記載の発明と同様の作用により、道路端を判別でき、更に移動ベクトルの大きさに基づき道路端までの距離が算出できる。従って、算出された距離は、走行中の安全確保やナビゲーションの支援等の用途に利用可能であり、車両の安全性と利便性を高めることができる。
【００２１】
請求項９に記載の画像処理方法は、請求項８に記載の画像処理方法において、前記画像信号は、移動体の左側側方を撮像する第１の撮像手段、及び、移動体の右側側方を撮像する第２の撮像手段からそれぞれ出力され、前記距離算出工程は、左側道路端までの第１の距離と、右側道路端までの第２の距離とを算出することを特徴とする。
【００２２】
この発明によれば、走行中の車両等の移動体に設置された第１の撮像手段からの左側側方に対応する画像信号と、第２の撮像手段からの右側側方に対応する画像信号をそれぞれ入力し、請求項２に記載の発明と同様の作用により、移動体の両側道路端までの距離が算出できる。従って、算出された２つの距離を取得して走行道路における車両位置の把握が容易となり、車両の安全性と利便性を一層高めることができる。
【００２３】
請求項１０に記載の画像処理方法は、請求項９に記載の画像処理方法において、前記第１の距離及び前記第２の距離に基づいて、移動体の走行道路の道幅を算出する道幅算出工程を更に備えることを特徴とする。
【００２４】
この発明によれば、請求項３に記載の発明と同様の作用により、走行道路の道幅を算出でき、この道幅を用いて走行中の安全を確保したり、道幅データを取得するなど、車両の安全確保とナビゲーションの機能向上に有用となる。
【００２５】
請求項１１に記載の画像処理方法は、請求項８から請求項１０のいずれかに記載の画像処理方法において、前記画像信号は、所定のフレーム周期を持つフレーム画像データを単位として構成され、前記移動ベクトル検出工程は、連続する２つのフレーム画像データに基づいて前記移動ベクトルを検出することを特徴とする。
【００２６】
この発明によれば、請求項４に記載の発明と同様の作用により、連続する２つのフレーム画像データを用いて上述の画像処理が行われるので、車両の走行中に常にリアルタイムに画像処理が行われ、車両の状況に迅速に対応可能な画像処理方法を提供できる。
【００２７】
請求項１２に記載のナビゲーション装置は、地図データに基づいて車両の現在位置から目的地までの経路案内を行うナビゲーション装置であって、車両の移動速度を検出する車速センサを含むセンサ部と、車両の側方を撮像して画像信号を出力する撮像手段と、車両走行中の前記画像信号に基づいて、撮像された画像のそれぞれの領域ごとに、移動ベクトルを検出する移動ベクトル検出手段と、前記検出された移動ベクトルの大きさが一定の空間的変化率で変化する領域と前記移動ベクトルの大きさが空間的に一定である領域とを区別することにより前記画像中の道路端を判別し、前記判別した画像中の道路端と前記移動速度に基づいて該道路端までの距離を算出する距離算出手段とを備えることを特徴とする。
【００２８】
この発明によれば、ナビゲーション装置のセンサ部によって車両の移動速度が検出されると共に、車両側方に向けて撮像手段による撮像が行われて画像信号が出力される。そして、請求項１に記載の発明と同様の作用による画像処理が行われる。従って、算出された距離は、安全性の確保やその他の各種機能に有効に活用でき、車両の安全性と利便性を高めることができる。
【００２９】
請求項１３に記載のナビゲーション装置は、請求項１２に記載のナビゲーション装置において、前記算出された距離が予め設定された値より小さい場合、車両が道路端に近接したことを告知する告知手段を更に備えることを特徴とする。
【００３０】
この発明によれば、ナビゲーション装置では、道路端までの距離に基づいて、車両が道路端に近接し過ぎたことを判定し、その旨をドライバーに告知するようにしたので、車両の安全性と利便性を一層高めることができる。
【００３１】
請求項１４に記載のナビゲーション装置は、請求項１２又は請求項１３に記載のナビゲーション装置において、車両の走行道路の道幅を算出する道幅算出手段を更に備えることを特徴とする。
【００３２】
この発明によれば、走行する車両では、走行道路の道幅を算出でき、例えば、撮像手段が車両両側の側部に設置されている場合、２つの距離を加え、更に車両の幅を加えれば道幅が得られる。従って、この道幅を用いて走行中の安全を確保したり、道幅データを取得して地図データと関連づけて保持するなど、車両の安全確保とナビゲーションの機能向上に有用となる。
【００３３】
請求項１５に記載のナビゲーション装置は、請求項１４に記載のナビゲーション装置において、前記算出された道幅に対応する道幅データを前記地図データと関連づけて更新可能に記憶する道幅データ記憶手段を更に備えることを特徴とする。
【００３４】
この発明によれば、車載用ナビゲーション装置では、道幅データ記憶手段に上述のように求めた道幅に対応する道幅データを更新可能に記憶する。従って、車両が走行した道路の道幅データを保持し、その後、再び同じ道路を通ったときに活用できるので、ナビゲーション装置の機能を支援することができる。
【００３５】
請求項１６に記載のナビゲーション装置は、請求項１４又は請求項１５に記載のナビゲーション装置において、前記距離算出手段と前記道幅算出手段の算出結果に基づいて車両の走行車線を判定する走行車線判定手段と、前記判定された走行車線を前記目的地までの最適経路と照合して、該照合結果に基づいて走行すべき適正な車線を告知する車線告知手段とを更に備えることを特徴とする。
【００３６】
この発明によれば、ナビゲーション装置では、車両が複数車線の道路を走行中に、道路端までの距離及び道幅に基づき走行車線を判定する。そして、判定された車線が最適経路と照合されて、その結果に基づき走行すべき適正な車線をドライバーに告知する。従って、最適経路に対応する車線を走行させるためドライバーの注意を喚起することができ、快適なナビゲーション機能を実現できる。
【００３７】
請求項１７に記載のナビゲーション装置は、請求項１６に記載のナビゲーション装置において、前記車線告知手段は、前記判定された走行車線が前記適正な車線に合致しない場合、該適正な車線を告知することを特徴とする。
【００３８】
この発明によれば、請求項１６に記載の発明と同様の作用により、判定された車線が最適経路と照合され、車両が適正な車線を走行していないと判断されたとき、適正な車線をドライバーに告知する。よって、適正な車線を走行している際の不要な告知を回避しつつ、必要最小限の告知を行って、快適なナビゲーション機能を実現できる。
【００３９】
請求項１８に記載のナビゲーション装置は、請求項１６に記載のナビゲーション装置において、前記車線告知手段は、前記判定された走行車線が前記適正な車線に合致する場合、該適正な車線に合致することを告知することを特徴とする。
【００４０】
この発明によれば、請求項１６に記載の発明と同様の作用により、判定された車線が最適経路と照合され、車両が適正な車線を走行している判断されたとき、その旨をドライバーに告知する。よって、適正な車線を走行していることをドライバーに知らしめて、ドライバーに安心感を与える快適なナビゲーション機能を実現できる。
【００４１】
【発明の実施の形態】
以下、本発明の好適な実施の形態を図面に基づいて説明する。以下の実施の形態においては、本発明を車両に搭載されるナビゲーション装置に適用した場合について説明する。
【００４２】
図１は、本実施形態に係るナビゲーション装置の概略構成を示す図である。図１に示すナビゲーション装置は、制御部１１と、地図データ記憶部１２と、道幅データ記憶部１３と、センサ部１４と、現在位置検出部１５と、ディスプレイ１６と、スピーカ１７と、画像処理部１８と、ＣＣＤカメラ１９ａ、１９ｂとを含んで構成されている。
【００４３】
以上の構成において、制御部１１は、ナビゲーション装置全体の動作を制御する。制御部１１はＣＰＵ等からなり、図示しないＲＯＭに格納される制御プログラムを読み出して実行し、ナビゲーション装置の各構成要素に制御信号を送出すると共に、データを入出力する。
【００４４】
地図データ記憶部１２は、地図データを格納する記憶容量の大きなメモリであり、例えばＣＤ−ＲＯＭやＤＶＤ−ＲＯＭが用いられる。地図データ記憶部１２に格納される地図データは、道路形状データ、名称データ、背景データなどを含んで構成される。
【００４５】
道幅データ記憶部１３は、本発明に係る画像処理に伴って得られた車両走行中の道幅データを更新可能に記録するメモリである。上述の地図データ記憶部１２の地図データにも簡易な道幅情報が含まれるが、道幅データ記憶部１３に記憶される道幅データは更に詳細なデータであり、道路の位置に応じて変化する道幅を正確に求めたデータである。なお、道幅データの生成方法については後述する。
【００４６】
センサ部１４は、車両の現在位置を検出するために必要な各種センサを含んでいる。具体的には、車両の速度を検出する車速センサや、車両の方位変化量を検出する方位センサや、ＧＰＳ（Global Positioning System）衛星からの電波を受信するＧＰＳ受信部などを含んで構成される。
【００４７】
現在位置検出部１５は、センサ部１４からの出力信号に基づいて、車両の現在位置を算出し、現在位置データを出力する。なお、現在位置データは、制御部１１によって前述の地図データと照合されて、マップマッチング処理等により補正される。
【００４８】
ディスプレイ１６には、制御部１１の指示の下、地図データが種々の態様で表示されると共に、これに重畳して車両の現在位置がカーマークとして表示される。このディスプレイ１６は、例えばＣＲＴ、液晶表示素子などから構成される。また、スピーカ１７からは、車両の経路に沿った誘導情報が音声により出力されると共に、本発明に係る画像処理に関連して後述の案内音声が出力される。
【００４９】
画像処理部１８は、車両に設置される２台のＣＣＤカメラ１９ａ、１９ｂからの画像信号を解析して、本実施形態に係る画像処理を行う手段である。ここで、図２を用いて、画像処理部１８の構成及び動作について説明する。
【００５０】
図２に示すように、画像処理部１８は、Ａ／Ｄコンバータ２１と、第１画像メモリ２２と、第２画像メモリ２３と、移動ベクトル検出部２４と、移動ベクトル処理部２５を含んで構成されている。また、画像制御部１８は、制御部１１からの制御信号に従って動作する。なお、画像処理部１８は、実際には後述のように２台のＣＣＤカメラ１９ａ、１９ｂからの画像信号を処理するが、簡単のため、一方のＣＣＤカメラ１９ａからの画像信号を処理する場合を説明する。
【００５１】
図２において、Ａ／Ｄコンバータ２１は、ＣＣＤカメラ１９ａによって撮像された画像に基づくアナログ画像信号をディジタル画像信号に変換する。通常、Ａ／Ｄコンバータ２１から出力されるディジタル画像信号は、所定のフレーム周期ごとに１つのフレーム画像データを構成し、連続する複数のフレーム画像データからなる。
【００５２】
第１画像メモリ２２及び第２画像メモリ２３は、それぞれＡ／Ｄコンバータ２１から出力されるフレーム画像データを格納する。第１画像メモリ２２は最新のフレーム画像データを格納し、第２画像メモリ２３は１つ前のフレーム画像データを格納する。よって、画像処理部１８では、常に最新の２フレーム分の画像データが保持されており、これらを用いて後述の処理が行われる。
【００５３】
移動ベクトル検出部２４は、第１画像メモリ２２及び第２画像メモリ２３に格納されるフレーム画像データに基づいて、画像中の各領域ごとの移動ベクトルを検出する。この際、センサ部１４から出力された車速データを用いる。
【００５４】
また、移動ベクトル処理部２５は、移動ベクトル検出部２４により検出された移動ベクトルに基づいて、走行道路における道路端までの距離及びこれに基づく道幅を求め、道幅データ等として出力する。
【００５５】
なお、移動ベクトル検出部２４と移動ベクトル処理部２５における処理の詳細については後述する。
【００５６】
図１に戻って、ＣＣＤカメラ１９ａ、１９ｂは、それぞれ車両前方の両端部付近に設置され、車両の左右側方を撮像し、画像信号を出力する。ここで図３に、ＣＣＤカメラ１９ａ、１９ｂの車両への設置状態を示す。
【００５７】
図３（ａ）は、車両上方から見たＣＣＤカメラ１９ａ、１９ｂの設置状態を示す図である。図３（ａ）に示すように、ＣＣＤカメラ１９ａ、１９ｂは車両前方側において左右両側の車体上部に取付けられている。ＣＣＤカメラ１９ａが車両左側に、ＣＣＤカメラ１９ｂが車両右側にそれぞれ取付けられている。ＣＣＤカメラ１９ａは、車両左側の側方を向いて撮像可能に取付けられ、ＣＣＤカメラ１９ｂは、車両右側の側方を向いて撮像可能に取付けられ、それぞれ対称的な配置で設置されている。
【００５８】
また、図３（ｂ）は、ＣＣＤカメラ１９ａに関し、車両前方から見た設置状態を撮像範囲と共に示す図である。なお、簡単のため、車両左側の場合の撮像状態のみ示している。図３（ｂ）に示すように、ＣＣＤカメラ１９ａは壁面に向かって画角θの範囲を撮像する。通常、撮像された画像には、上部の壁面が映ると共に下部に道路面が映る角度に取付けられる。本発明においては、ＣＣＤカメラ１９ａにより撮像された画像に基づいて、左側道路端までの距離ＤＬを算出する。
【００５９】
なお、ＣＣＤカメラ１９ａは、車両の高さ約１ｍの位置に取付けられる。また、右側のＣＣＤカメラ１９ｂの場合は、図３（ｂ）と対称的な撮像状態となり、右側道路端までの距離ＤＲを算出する。
【００６０】
次に、本実施形態に係る画像処理の原理について、図４〜図８を参照して説明する。
【００６１】
図４は、前述のＣＣＤカメラ１９ａ、１９ｂにより撮像された画像をピンホールカメラのモデルで表した図である。図４においては、ＣＣＤカメラ１９ａの受光素子部に対応する画像平面Ｐ０と、レンズ部に対応する焦点面Ｆとが焦点距離ｆを隔てて平行に配置されている。焦点面Ｆのレンズ中心Ｃがピンホールに対応し、このレンズ中心Ｃを中心に空間座標系（Ｘ，Ｙ，Ｚ）を考える。一方、画像平面Ｐ０では、空間座標（０，０，−ｆ）を画像中心ｃとして、カメラ座標系（ｘ，ｙ）を考える。
【００６２】
ここで、空間座標系の点Ｍ（Ｘｍ，Ｙｍ，Ｚｍ）を考える。この点Ｍは、例えば図３（ｂ）における壁面上の所定の位置に対応させることができる。この点Ｍに対する中心射影を考えると、点Ｍから焦点面Ｆのレンズ中心Ｃを通って画像平面Ｐ０までが直線で結ばれ、カメラ座標系の点ｍ（ｘｍ，ｙｍ）に射影される。このとき、点Ｍ（Ｘｍ，Ｙｍ，Ｚｍ）と射影された点ｍ（ｘｍ，ｙｍ）の関係は次式で表される。
【００６３】
【数１】
ｘｍ＝ｆ・Ｘｍ／Ｚｍ
ｙｍ＝ｆ・Ｙｍ／Ｚｍ
次に図５は、図４に対応して、空間座標系（Ｘ，Ｙ，Ｚ）と画像データのピクセル座標系（ｕ，ｖ）の関係を表した図である。図５においては簡単のため、図４の画像平面Ｐ０を焦点面Ｆの前方側に配置させると共に、カメラ座標系（ｘ，ｙ）のｘ軸、ｙ軸をそれぞれ反転させてｕ軸、ｖ軸とすることにより、ピクセル画像系（ｕ，ｖ）としたものである。図４の配置を図５の配置に置き換えても、互いに等価であるため、同様の関係が成り立つ。
【００６４】
図５において、ピクセル画像系の画像平面Ｐ１は、水平方向の画素数Ｎｗと垂直方向の画素数Ｎｈの表示画像に対応しており、画像平面Ｐ１には全部でＮｗ×Ｎｈの画素が含まれる。一方、この画像平面Ｐ１は、サイズが横幅ｗ、高さｈとなるＣＣＤカメラ１９ａ、１９ｂの受光領域に一致する。そして、図４と同様に空間座標系の点Ｍ（Ｘ，Ｙ，Ｚ）を考えると、図５に示すように、画像平面Ｐ１の点ｍ（ｕ，ｖ）を通って焦点面Ｆのレンズ中心Ｃまで直線で結ばれる。
【００６５】
ここで、図４と同様に、点ｍに対する中心射影を考えると、数１に対応して、点Ｍ（Ｘ，Ｙ，Ｚ）と射影された点ｍ（ｕ，ｖ）の関係は次式で表される。
【００６６】
【数２】
ｕ＝（ｆ・Ｘ／Ｚ）・Ｎｗ／ｗ
ｖ＝（ｆ・Ｙ／Ｚ）・Ｎｈ／ｈ
すなわち、数２は、点ｍ（ｕ，ｖ）の画像平面Ｐ１における画素位置を表している。数２において、ｕが水平方向の画素位置に対応し、ｖが垂直方向の画素位置に対応している。
【００６７】
本実施形態では、走行中の車両から撮像された画像を処理するので、画像平面Ｐ１内の物体の動きを想定する必要がある。そのため、画像平面Ｐ１におけるオプティカルフロー、すなわち移動ベクトルＶ（ｕ，ｖ）を求める必要がある。３次元空間の同一点の明るさＩが一定に保たれる場合、次の時空間微分方程式が成り立つ。
【００６８】
【数３】
ｄＩ／ｄｔ＝Ｉｘ・ｕ＋Ｉｙ・ｖ＋Ｉｔ＝０
ただし、それぞれ画像平面Ｐ１内において、Ｉｘが水平方向の偏微分、Ｉｙが垂直方向の偏微分、Ｉｔが時間軸方向の偏微分、ｕ、ｖは上述の移動ベクトルＶの水平方向、垂直方向の成分である。
【００６９】
次に、図６及び図７を用いて移動ベクトルＶを求める方法について説明する。図６に示すように、時刻ｔにおける画像平面Ｐ１内に参照ブロックＲを定義する。この参照ブロックＲは、左上の画素ｐｒを起点として、ｕ軸にｍ画素、ｖ軸にｎ画素の範囲の矩形領域であり、全部でｍ×ｎ個の画素を含んでいる。そして、画像平面Ｐ１を複数の参照ブロックＲに分割し、各々の参照ブロックＲごとに移動ベクトルＶを求める。図６の例では、ｍ＝８、ｎ＝８となる参照ブロックＲを示している。
【００７０】
図７は、画像平面Ｐ１内の所定の参照ブロックＲに対する移動ベクトルＶの求め方を説明する図である。図７は、図６の時刻ｔからΔｔが経過した時刻ｔ＋Δｔにおける画像平面Ｐ１に対応する。そして、センサ部１４からの車速データ等に基づいて、画像平面Ｐ１内の所定の領域を予めサーチ範囲Ｓとして定めておく。サーチ範囲Ｓは、ｕ軸にＭ画素、ｖ軸にＮ画素となる矩形領域であって、通常は、Ｍ、Ｎがｍ、ｎに比べると十分大きくなる。
【００７１】
そして、サーチ範囲Ｓに対し、参照ブロックＲと同サイズの比較ブロックＣを所定の位置に定義する。サーチ範囲Ｓは参照ブロックＲに比べサイズが十分大きいため、比較ブロックＣの位置をサーチ範囲Ｓ内で少しづつ動かす必要がある。図７では、比較ブロックＣは参照ブロックＲと同様にｍ×ｎのサイズであり、参照ブロックの左上の画素ｐｒに対応する比較ブロックＣの左上の画素ｐｃを示している。最初はサーチ範囲Ｓの左上の画素を比較ブロックＣの画素ｐｃに設定し、その後はサーチ範囲Ｓの中で、ｕ軸方向又はｖ軸方向に画素ｐｃの位置を１画素づつ動かして、サーチ範囲Ｓ内に定義可能な全ての比較ブロックＣについて後述の演算を行う。
【００７２】
次いで、図６の時刻ｔにおける参照ブロックＲと、図７の時刻ｔ＋Δｔにおける比較ブロックＣの間で相関値を求める。ここで、画素の集合である画像データでは、ｍ×ｎ個の全ての画素に濃度値を対応させているので、参照ブロックＲと比較ブロックＣの対応する画素ごとの濃度値の差分を求める。この濃度値の各画素ごとの差分に対し、ｍ×ｎ個の画素についての和をとれば、相関値を計算することができる。
【００７３】
そして、参照ブロックＲに対し、サーチ範囲Ｓの中の全ての比較ブロックＣとの間の相関値を求め、最小の相関値を与える比較ブロックＣを探索する。例えば、図７に示す比較ブロックＣが最小の相関値を与えるとする。
【００７４】
この場合は、図７に示すように、画像平面Ｐ１において、点線で示した時刻ｔにおける参照ブロックＲから時刻ｔ＋Δｔにおける比較ブロックＣに向かうベクトルを移動ベクトルＶとして決定することができる。
【００７５】
図７では１つの移動ベクトルＶのみ示したが、実際には移動ベクトルＶを、画像平面Ｐ１に定義可能な全ての参照ブロックＲについて求める。これにより移動ベクトルＶの空間的な分布を求める。そして、この移動ベクトルＶの空間的な分布に基づいて後述の処理が行われる。
【００７６】
次に、図８を用いて、上記の距離ＤＲ、ＤＬ及び道幅の算出方法を説明する。図８は、ＣＣＤカメラ１９ａから撮像した画像における移動ベクトルＶの分布の一例を示す図である。図８では簡単のため、図３（ｂ）と同様に、車両の横方向において、道路面と壁面が境界部３０にて接している場合を想定する。また、時刻ｔにおけるラインＬ１上の移動ベクトルＶの分布を考える。
【００７７】
図８に示すように、ＣＣＤカメラ１９ａにて撮像された画像において、境界部３０の上部にある壁面では移動ベクトルＶの大きさが一定値となっているのに対し、境界部３０の下部にある道路面では移動ベクトルＶの大きさが略一定の変化率で変化している。このように、移動ベクトルＶの大きさは、撮影対象物までの距離ｚに依存した値となる。
【００７８】
すなわち、速度ｖ０（ｍ／秒）で走行している車両において、フレーム周期ＴでＣＣＤカメラ１９ａによる撮像を行うとすると、１フレーム間の車両の移動距離ｄは、
【００７９】
【数４】
ｄ＝ｖ０・Ｔ（ｍ）
と表すことができる。ここで、撮影対象物は車両と相対的にｕ方向にのみ動き、ｖ方向及びｚ方向に動かない状況を考えると、上述の数２にｘ＝ｄを代入すればよく、以下の式が成り立つ。
【００８０】
【数５】
ｕ＝（ｆ・ｄ／ｚ）・Ｎｗ／ｗ＝（ｆ・ｖ０・Ｔ／ｚ）・Ｎｗ／ｗ
と表すことができる。数５に示すｕにより移動ベクトルＶ（ｕ、０）が定まり、このｕは移動ベクトルＶの大きさに一致する。このように、移動ベクトルＶの大きさは、撮影対象物との距離ｚと反比例する。
【００８１】
図９は、ラインＬ１の移動ベクトルＶの大きさが、数５に対応して変化する様子を示す図である。図９においては、図８の画像中のｖ軸に対し、撮影対象物の移動ベクトルの大きさを実線で示すと共に、距離ｚを点線で示している。図８から判るように、壁面では距離ｚが一定となるため、移動ベクトルＶの大きさも一定となる。これに対し、道路面では距離ｚが下方にいくほど略一定の割合で小さくなるので、数５のｕは直線的に大きくなっていく。
【００８２】
従って、図９において、移動ベクトルＶが略一定の変化率で変化せず、概ね一定となるか否かに基づいて、壁面と道路面を区別することができ、境界部３０の位置も判断することができる。そして、壁面の移動ベクトルＶの平均値をＭＶ（ピクセル）とすれば、上記の壁面までの距離ＤＬは、数５に基づいて、
【００８３】
【数６】
ＤＬ＝（ｆ・ｖ０・Ｔ／ＭＶ）・Ｎｗ／ｗ
を算出して求めることができる。
【００８４】
なお、道路端に溝部が存在する場合は、道路面では画像の上方に行くにつれ略一定の変化率で移動ベクトルＶが小さくなるが、道路面と溝部の境界では部分的に変化率が一定ではなく急激に変化する。よって、この不連続点を判別することで溝部を検出し、その前後の移動ベクトルＶの大きさに基づき道路端までの距離ＤＬを求めることができる。
【００８５】
また、単一の壁面ではなく、例えばガードレールのように部分的な壁面となる場合は、移動ベクトルＶが概ね一定となる複数の領域が生じる可能性があるが、上述のように不連続点を検出すると共に、複数の領域についての距離ＤＬを求め、そのうち最短となる距離ＤＬを用いればよい。道路端にガードレールが隣接する場合も、ガードレールに対応する領域までの距離に基づいて、道路端の距離ＤＬを求めることができる。
【００８６】
なお、数５における各数値の具体例としては、焦点距離ｆ＝４（ｍｍ）、水平方向の画素数Ｎｗ＝３２０（ピクセル）、受光領域の横幅ｗ＝４（ｍｍ）、フレーム周期Ｔ＝１／３０（秒）程度になる。
【００８７】
以上の画像処理を、２つのＣＣＤカメラ１９ａ、１９ｂによる画像に対し同様に行えば、車両の左右における道路端までの距離ＤＬ、ＤＲが求められる。よって、これらを加えると共に、更に車両の横幅を考慮して、走行中の道路における道幅を算出することができる。例えば、図２（ｂ）の設置状態において車両が横幅Ｗを有するとき、道幅ＲＷは、
【００８８】
【数７】
ＲＷ ≒ ＤＬ＋ＤＲ＋Ｗ
と近似的に求めることができる。
【００８９】
なお、算出された道幅ＲＷに対応する道幅データを地図データと関連づけて道幅データ記憶部１３に更新可能に記憶すれば、後述の各種の処理に利用することができる。
【００９０】
次に、本実施形態に係るナビゲーション装置における具体的な画像処理に関し、図１０及び図１１を参照して説明する。図１０は、走行中の車両が道路端に近接するのを防止するための処理を示すフローチャートであり、図１１は、複数車線の道路を走行中の車両が設定経路に対し適正な車線を走行させるための処理を示すフローチャートである。なお、図１０及び図１１は、主に制御部１１の制御に従って行われる処理である。
【００９１】
図１０に示す処理が開始されると、上述のような画像処理部１８の処理により、両側の道路端までの距離ＤＬ、ＤＲが求められ、これに基づき数７に従って道幅ＲＷが算出される（ステップＳ１）。そして、ステップＳ１にて算出された道幅ＲＷに対応する道幅データは、地図データと関連づけられて道幅データ記憶部１３に書き込まれる（ステップＳ２）。このとき、予め設定された道路上の所定のポイントにおいて、道幅データの書き込みを行うようにしてもよい。
【００９２】
次いで、ステップＳ１において得られた距離ＤＬ、ＤＲに基づいて、走行中の車両が道路端に寄り過ぎているか否かが判断される（ステップＳ３）。すなわち、基準となる所定の距離を設定しておき、距離ＤＬ又はＤＲがこの所定の距離より小さい値となる場合は、車両が道路端に寄り過ぎであると判断すればよい。
【００９３】
ステップＳ３の判断結果が「ＹＥＳ」である場合、車両が道路端に寄り過ぎであることをドライバーに警告する（ステップＳ４）。例えば、道路端に寄り過ぎである旨を示す所定のメッセージを、スピーカ１７から音声として出力すればよい。あるいは、同様のメッセージ又は表示記号等をディスプレイ１６に表示してもよい。
【００９４】
ステップＳ３の判断結果が「ＮＯ」である場合、あるいはステップＳ４を終えると、車両が走行中であるか否かを判断する（ステップＳ５）。車両が走行中でない場合（ステップＳ５；ＮＯ）、画像処理を行う必要がないので処理を終える。一方、車両がまだ走行中である場合（ステップＳ５；ＹＥＳ）、ステップＳ１〜ステップＳ５の処理を繰り返す。
【００９５】
ナビゲーション装置において、以上のステップＳ１〜ステップＳ５の処理を行うことにより、常に正確な道幅ＲＷをリアルタイムに求めることができる。そして、道路端までの距離ＤＬ、ＤＲを監視し、走行中の車両が道路端に寄り過ぎた時に、ドライバーに警告を行うようにしたので、ドライバーの運転を補助して走行中の安全を確保することができる。また、道幅データを道幅データ記憶部１３に適宜に書き込むようにしたので、後に同じ道路を走行する場合、有効に道幅データを活用することが可能となる。
【００９６】
次に、図１１に示す処理は、ナビゲーション装置に所望の目的地が設定され、経路が判断される状況下にて行われる。まず、ステップＳ１と同様にして、両側の道路端までの距離ＤＬ、ＤＲが求められ、更に道幅ＲＷが算出される（ステップＳ１１）。
【００９７】
そして、地図データ記憶部１２の地図データに含まれる走行中の車線に対する車線情報を読み出す（ステップＳ１２）。この車線情報は、走行中の道路が何車線であるを示す情報であるため、車線情報に基づき走行中の道路が複数車線であるか否かを判断する（ステップＳ１３）。
【００９８】
ステップＳ１３の判断結果が「ＹＥＳ」である場合、ステップＳ１１の判断結果に基づいて、複数車線のうち現在どの車線を走行中であるかを判定する（ステップＳ１４）。この判定は、ステップＳ１にて求めた車両の両側の道路端までの距離ＤＬとＤＲとの比に基づいて行うことができる。
【００９９】
続いて、ステップＳ１４で判定された車線が、目的地に達する経路に対応して適正な車線であるか否かを判断する（ステップＳ１５）。すなわち、例えば３車線の道路を走行している場合を例にとると、一般的には前方で右折するときは右側の車線が適正となり、前方で左折するときは左側の車線が適性となり、そのまま直進するときは何れの車線であってもよいことになる。あるいは予め左折、右折時の適正車線の情報を設定しておいてもよい。
【０１００】
ステップＳ１５の判定の結果、車両が適正な車線を走行している場合は（ステップＳ１５；ＹＥＳ）処理を終える。一方、車両が適正ではない車線を走行している場合は（ステップＳ１５；ＮＯ）、ドライバーに車線変更の案内を指示する（ステップＳ１６）。例えば、右折ポイントの手前で左側の車線を走行している場合、もう２車線右に移動することをドライバーに促す旨のメッセージを、スピーカ１７から音声として出力し、あるいはディスプレイ１６に表示すればよい。
【０１０１】
ナビゲーション装置において、以上のステップＳ１１〜ステップＳ１６の処理を行うことにより、複数車線の道路において車両が位置する車線をリアルタイムに判定することができる。そして、右折や左折等を行うために適正な車線に位置しない場合のみ、ドライバーに車線変更の案内を行うようにしたので、必要な場合のみ案内が行われ、既に適正な車線を走行している場合は、不要な案内が行われずに済む。そのため、利便性が高く、ドライバーにとって一層快適なナビゲーションが実現可能となる。
【０１０２】
なお、図１１の例では、車両が適正ではない車線を走行しているときにのみ車線変更の案内を指示する場合、すなわち、適正な車線を走行しているときに車線変更の案内を指示しない場合を説明したが、これに限られず、車両が適正な走行しているとき、何らかの案内を行うようにしてもよい。例えば、適正な車線を走行中に、「このままの車線を維持して下さい」などの案内を音声等により出力してもよい。これにより、運転中のドライバーに適正な車線を走行していることを把握させて安心感を与えることができる。
【０１０３】
以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変形が可能であることは容易に推察できるものである。
【０１０４】
例えば、撮像手段としてのＣＣＤカメラ１９ａ、１９ｂにより撮像した画像をディスプレイ１６に表示するようにしてもよい。本実施形態では、ＣＣＤカメラ１９ａ、１９ｂが車両前方において真横方向を撮像するように設置されているため、ドライバーが側方を直接見ることができる位置に達する前に、ディスプレイ１６にて側方画像を視認することできる。特に、車両が狭い路地から交差点に進入する場合などは、車両先端を僅かに交差点に出すだけで側方画像を視認でき、車両の安全走行に有用となる。
【０１０５】
また、上記実施形態では、撮像手段としてのＣＣＤカメラ１９ａ、１９ｂが車両の側方における真横方向を撮像するように設置されている場合を説明したが、これに限られず、車両の側方における斜め前寄り方向を撮像するように設置してもよい。これにより、側方画像を時間的に先行して処理することができ、タイムリーに道路端までの距離を求めることができる。
【０１０６】
あるいは、ＣＣＤカメラ１９ａ、１９ｂを車両の側方における斜め下寄り方向を撮像するように設置してもよい。一般に、垂直方向の画角が狭いＣＣＤカメラ１９ａ、１９ｂを用いると、車両が道路端に近接したときに道路端が画像内に入らなくなる場合が生じる。このような場合であっても、ＣＣＤカメラ１９ａ、１９ｂの撮像方向が下寄りであれば、道路端が画像内に入るので、道路端までの距離を求めることが可能となる。
【０１０７】
また、より広い画角を有するＣＣＤカメラ１９ａ、１９ｂを用いてもよい。例えば、水平方向の画角が１８０度近くあるＣＣＤカメラ１９ａ、１９ｂを用い、それぞれの撮像画像における左側の領域と右側の領域に対し別個に上述の処理を行うことにより、道路端までの距離を求めてもよい。これにより、一層きめ細かく道路端までの距離を求めることができる。
【０１０８】
【発明の効果】
以上説明したように、本発明によれば、撮像手段により走行中の車両の側方を撮像し、画像処理を行って道路端までの距離を求めるようにしたので、走行車両の安全確保や道幅データの取得など、車両の安全性と利便性を高めることが可能となる。
【０１０９】
また、本発明をナビゲーション装置に適用すれば、車両の道路端近接時のドライバーへの告知、車線判定に基づく車線変更の告知、道幅データの記憶などにより、ナビゲーション装置を支援して機能向上を図ることが可能となる。
【図面の簡単な説明】
【図１】本実施形態に係るナビゲーション装置の概略構成を示す図である。
【図２】ナビゲーション装置の画像処理部の構成を示す図である。
【図３】ＣＣＤカメラの車両への設置状態を示す図であり、（ａ）は車両上方から見た設置状態、（ｂ）は車両前方から右側の設置状態をそれぞれ示す図である。
【図４】ＣＣＤカメラにより撮像された画像をピンホールカメラのモデルで表した図である。
【図５】空間座標系と画像データのピクセル座標系の関係を表した図である。
【図６】移動ベクトルを求める際に画像平面内に定義する参照ブロックについて説明する図である。
【図７】画像平面内の所定の参照ブロックに対し、サーチ範囲内に比較ブロックを定義して、移動ベクトルを求める方法を説明する図である。
【図８】本実施形態に係る画像処理において、道路端までの距離及び道幅の算出方法を説明する図である。
【図９】画像内の移動ベクトルの大きさ及び壁面との距離が変化する様子を説明する図である。
【図１０】本実施形態に係るナビゲーション装置において、道幅検出に対応して、走行中の車両が道路端に近接するのを防止するための処理を示すフローチャートである。
【図１１】本実施形態に係るナビゲーション装置において、道幅検出に対応して、複数車線の道路を走行中の車両が設定経路に対し適正な車線を走行させるための処理を示すフローチャートである。
【符号の説明】
１１…制御部
１２…地図データ記憶部
１３…道幅データ記憶部
１４…センサ部
１５…現在位置検出部
１６…ディスプレイ
１７…スピーカ
１８…画像処理部
１９ａ、１９ｂ…ＣＣＤカメラ
２１…Ａ／Ｄコンバータ
２２…第１画像メモリ
２３…第２画像メモリ
２４…移動ベクトル検出部
２５…移動ベクトル処理部

Claims

移動体の側方を撮像して画像信号を出力する撮像手段と、
移動体が移動中の前記画像信号に基づいて、撮像された画像のそれぞれの領域ごとに、移動ベクトルを検出する移動ベクトル検出手段と、
前記検出された移動ベクトルの大きさが一定の空間的変化率で変化する領域と前記移動ベクトルの大きさが空間的に一定である領域とを区別することにより前記画像中の道路端を判別し、前記判別した画像中の道路端に基づいて該道路端までの距離を算出する距離算出手段と、
を備えることを特徴とする画像処理装置。
前記撮像手段は、移動体の左側側方を撮像する第１の撮像手段と、移動体の右側側方を撮像する第２の撮像手段とを含み、前記距離算出手段は、左側道路端までの第１の距離と、右側道路端までの第２の距離とを算出することを特徴とする請求項１に記載の画像処理装置。
前記第１の距離及び前記第２の距離に基づいて、移動体の走行道路の道幅を算出する道幅算出手段を更に備えることを特徴とする請求項２に記載の画像処理装置。
前記画像信号は、所定のフレーム周期を持つフレーム画像データを単位として構成され、前記移動ベクトル検出手段は、連続する２つのフレーム画像データに基づいて前記移動ベクトルを検出することを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
前記撮像手段は、移動体の前側に設置されていることを特徴とする請求項１から請求項４のいずれかに記載の画像処理装置。
前記撮像手段は、移動体の斜め前寄りの側方を撮像することを特徴とする請求項１から請求項５のいずれかに記載の画像処理装置。
前記撮像手段は、移動体の斜め下寄りの側方を撮像することを特徴とする請求項１から請求項６のいずれかに記載の画像処理装置。
移動体の側方を撮像する撮像手段から出力された画像信号に基づいて画像処理を行う画像処理方法であって、
移動体が移動中の前記画像信号に基づいて、撮像された画像のそれぞれの領域ごとに、移動ベクトルを検出する移動ベクトル検出工程と、
前記検出された移動ベクトルの大きさが一定の空間的変化率で変化する領域と前記移動ベクトルの大きさが空間的に一定である領域とを区別することにより前記画像中の道路端を判別し、前記判別した画像中の道路端に基づいて該道路端までの距離を算出する距離算出工程と、
を備えることを特徴とする画像処理方法。
前記画像信号は、移動体の左側側方を撮像する第１の撮像手段、及び、移動体の右側側方を撮像する第２の撮像手段からそれぞれ出力され、前記距離算出工程は、左側道路端までの第１の距離と、右側道路端までの第２の距離とを算出することを特徴とする請求項８に記載の画像処理方法。
前記第１の距離及び前記第２の距離に基づいて、移動体の走行道路の道幅を算出する道幅算出工程を更に備えることを特徴とする請求項９に記載の画像処理方法。
前記画像信号は、所定のフレーム周期を持つフレーム画像データを単位として構成され、前記移動ベクトル検出工程は、連続する２つのフレーム画像データに基づいて前記移動ベクトルを検出することを特徴とする請求項８から請求項１０のいずれかに記載の画像処理方法。
地図データに基づいて車両の現在位置から目的地までの経路案内を行うナビゲーション装置であって、
車両の移動速度を検出する車速センサを含むセンサ部と、
車両の側方を撮像して画像信号を出力する撮像手段と、
車両走行中の前記画像信号に基づいて、撮像された画像のそれぞれの領域ごとに、移動ベクトルを検出する移動ベクトル検出手段と、
前記検出された移動ベクトルの大きさが一定の空間的変化率で変化する領域と前記移動ベクトルの大きさが空間的に一定である領域とを区別することにより前記画像中の道路端を判別し、前記判別した画像中の道路端と前記移動速度に基づいて該道路端までの距離を算出する距離算出手段と、
を備えることを特徴とするナビゲーション装置。
前記算出された距離が予め設定された値より小さい場合、車両が道路端に近接したことを告知する告知手段を更に備えることを特徴とする請求項１２に記載のナビゲーション装置。
前記算出された距離に基づいて、車両の走行道路の道幅を算出する道幅算出手段を更に備えることを特徴とする請求項１２又は請求項１３に記載のナビゲーション装置。
前記算出された道幅に対応する道幅データを前記地図データと関連づけて更新可能に記憶する道幅データ記憶手段を更に備えることを特徴とする請求項１４に記載のナビゲーション装置。
前記距離算出手段と前記道幅算出手段の算出結果に基づいて車両の走行車線を判定する走行車線判定手段と、
前記判定された走行車線を前記目的地までの最適経路と照合して、該照合結果に基づいて走行すべき適正な車線を告知する車線告知手段と、
を更に備えることを特徴とする請求項１４又は請求項１５に記載のナビゲーション装置。
前記車線告知手段は、前記判定された走行車線が前記適正な車線に合致しない場合、該適正な車線を告知することを特徴とする請求項１６に記載のナビゲーション装置。
前記車線告知手段は、前記判定された走行車線が前記適正な車線に合致する場合、該適正な車線に合致することを告知することを特徴とする請求項１６に記載のナビゲーション装置。