JPH10339646A - 車両用案内表示装置 - Google Patents

Abstract

(57)【要約】 【課題】 風景画像中に分岐点を示す案内を合成表示す
るとき、自車位置の検出誤差等に起因して表示がずれ、
案内が分かりにくい。 【解決手段】 カメラ２０ａ、２０ｂが撮影した画像か
ら、認識部２２ａ、２２ｂが特徴物（例えば信号機）を
抽出する。測距部２４は、ステレオ測距にて、画像から
抽出された特徴物と自車の位置関係を求める。一方、制
御部１０では、自車位置と案内対象の分岐点の位置関係
が求められる。両者を比較して、特徴物が案内対象の分
岐点に位置すると判断されたときは、この特徴物を強調
する表示が行われる。画像中から特徴物を抽出し、その
特徴物を強調するので、強調表示位置のずれは発生しな
い。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両前方の風景画
像を表示するとともに、この風景画像上に案内情報を表
示する車両用案内表示装置に関し、特に分岐点での案内
を分かりやすく表示する装置に関する。表示される風景
画像は、車載カメラを用いて撮影したもの、撮影結果に
適当な画像処理を施したもの、撮影結果を基に作成した
コンピュータグラフィックス画像などを含む。

【０００２】

【従来の技術】従来より、車両に搭載される装置の一つ
としてナビゲーション装置が知られており、広く普及し
ている。一般のナビゲーション装置はディスプレイを有
し、ディスプレイ上には現在地を含む地図が表示され
る。また、走行目的地が設定されたときは、地図データ
ベースを用いて目的地までの適切な経路が探索および設
定される。そして、設定された経路に従って車両を導く
ための案内がディスプレイ上に表示される。案内表示の
例としては、設定された経路が他の道路と色分け表示さ
れる。

【０００３】特に、経路案内には、右左折すべき交差点
等において設定経路に従った方向へ車両を適切に導くこ
とが求められる。このような要求に応えるため、右左折
すべき交差点に近づいたときに周囲の拡大地図を表示す
ることが知られている。以下、交差点やジャンクション
など、道路が複数方向に分かれるような場所を分岐点と
いう。

【０００４】さらに、特開平７−６３５７２号公報に
は、風景画像を用いたナビゲーション装置が記載されて
いる。同装置では、ビデオカメラで撮影した前方の画像
がディスプレイに表示される。一方で、現在位置と地図
データに基いて分岐点の位置が特定され、分岐点の位置
に対応してディスプレイ上での矢印表示位置が決定され
る。そして、風景画像と矢印図形が重畳して表示され
る。

【０００５】風景画像を用いることにより、案内がユー
ザに分かりやすくなるという利点がある。従来のように
拡大地図が表示されたとき、ユーザは、地図と実際に見
える風景を見比べて、両者を互いに当てはめる判断をし
なければならない。これに対し、風景画像を用いれば、
実際に見える風景がディスプレイ上に表示されるので、
上記のような当てはめ作業が不要となる。

【０００６】また、風景画像を表示すれば、ディスプレ
イを見ているときにも前方の状況がユーザに分かるとい
う利点がある。ユーザは、車両前方とディスプレイの両
方を見る必要があり、ディスプレイを見るとき、車両前
方から視線を逸らさなければならない。このときでも、
ディスプレイ上で、前方車両の挙動などが分かる。

【０００７】

【発明が解決しようとする課題】上記公報の装置では、
現在位置と地図データから得られる分岐点までの距離に
基づいて、矢印図形のディスプレイ上での表示位置を決
定している。ビデオカメラが撮影した実際の画像は単な
る背景として用いられる。すなわち、カメラ画像とは無
関係に、上記の決定位置に矢印図形が表示される。

【０００８】しかし、現在位置には検出誤差があり、こ
の検出誤差に起因して案内用の図形が分岐点からずれた
位置に表示され、表示が分かりにくいものになる可能性
がある。図１０の例では、現在位置として、実際よりも
分岐点から遠い地点が検出されている。従って、現在位
置と分岐点の距離が大きく見積もられ、案内用の矢印の
表示位置が高すぎる。結果として、矢印が分岐点の向こ
う側の塀に突き刺さっている。ユーザは、図中の分岐点
で曲がるべきか、さらにその向こう側の分岐点で曲がる
べきかの判断に迷うことになる。

【０００９】また、地図データの精度にも限界があり、
これも、上記の検出誤差と同様に案内表示のずれの原因
となる。また、案内表示のずれは、カメラ側の誤差に起
因しても発生する。例えば、矢印図形の表示位置が適正
であったとしても、カメラの設置方向がずれたときは、
風景画像が矢印からずれてしまう。

【００１０】このように、従来装置では、自車位置の検
出誤差などに起因して、案内用の図形と風景画像がずれ
てしまい、案内が分かりづらくなるという問題がある。
位置精度の向上等による改善には技術面やコスト面で限
界があり、簡単で確実な手法によって案内表示のずれを
解消することが望まれる。なお、ここでは矢印図形を重
畳することにより案内用の表示が行われる場合を取り上
げたが、他の種類の案内表示においても同様である。

【００１１】本発明は上記課題に鑑みてなされたもので
あり、その目的は、風景画像中の適切な位置に案内用の
表示を確実に行える車両用案内表示装置を提供すること
にある。

【００１２】

【課題を解決するための手段】

（１）本発明の車両用案内表示装置は、自車前方の風景
を表す風景画像を用いて案内情報を提供する装置であっ
て、自車前方を撮影する車載カメラと、撮影した画像情
報から、案内対象となる分岐点を特定する特徴物を抽出
する特徴物抽出手段と、抽出された特徴物を強調して撮
影結果を表示する表示手段とを含む。

【００１３】本発明によれば、画像情報から特徴物が抽
出され、この特徴物を用いて案内表示が行われる。画像
中の特徴物の位置から案内表示の位置を決定できる。従
って、自車位置の検出誤差などに起因する案内表示の位
置ずれが生じない。案内表示が画像中の的確な位置に確
実に行われるので、案内が分かりやすくなる。

【００１４】（２）本発明の一態様において、上記の車
両用案内装置は、画像中の特徴物と自車との位置関係を
測定する位置関係測定手段と、分岐点の位置情報を記憶
した地図データベースと、自車の位置を検出する位置検
出手段とを含む。そして、判定手段が、特徴物と自車の
位置関係、および、案内対象分岐点と自車の位置関係か
ら、画像中の特徴物が案内対象分岐点を特定することを
判定する。位置関係測定手段は、例えば、複数の車載カ
メラを用いたステレオ測距にて自車と特徴物との距離を
測定するものである。

【００１５】この態様では、位置関係測定手段によって
特徴物と自車の位置関係が求められる。また、地図デー
タと自車位置検出結果を用いて分岐点と自車の位置関係
が求められる。２つの位置関係を比較することにより、
特徴物が分岐点付近に位置することを判定したり、特徴
物が分岐点の手前の所定位置にあることを判定できる。
従って、分岐点を特定する特徴物を確実に強調でき、誤
った特徴物の強調が効果的に防止される。

【００１６】ここでは、分岐点と自車との位置関係が、
特徴物と自車の位置関係との比較用に用いられる。例え
ば、分岐点と自車の距離と、特徴物と自車の距離が近い
か否かの判断に使用される。この種の判断であれば、自
車位置検出結果や地図データに高い精度を要求せずと
も、十分に確実な判断が行われる。このように、本発明
では、自車位置検出結果等は、その誤差が案内表示の位
置ずれの要因とならないかたちで使われている。従来の
ように自車位置検出結果から直接に案内表示位置を決め
てはおらず、検出誤差を案内表示位置の誤差に反映させ
ていない。従って、案内表示位置のずれの発生が防止で
きる。

【００１７】なお、特徴物が案内対象の分岐点を特定す
ることの判断手法は、上記の手法に限定されない。例え
ば、分岐点と特徴物の画像内での位置関係（近くに映っ
ているか否か）に基づいて行うことも考えられる。ま
た、より簡単には、分岐点とともに捉えられた特徴物は
分岐点を特定するものと推定してしまう手もある。どの
判断手法を適用するかは、特徴物の性質や走行路の種
類、場所等に応じて選択してもよい。

【００１８】（３）本発明において、案内に使用する特
徴物としては信号機が好適である。信号機は、決まった
色の光を自ら発しており、また形状も決まっているの
で、画像から抽出しやすい。また、信号機は分岐点の近
くに設置されていることが多く、分岐点の特定に利用し
やすい。

【００１９】（４）本発明において、前記表示手段で
は、特徴物を強調するために、例えば、特徴物と半透明
の強調マークが重ねて表示される。風景画像の全体をそ
のまま表示しつつ、特徴物の強調もできる。その他、強
調表示としては、特徴物を円などで囲ったり、特徴物の
近くに矢印を表示したり、特徴物を拡大したりといった
各種の処理が可能である。

【００２０】

【発明の実施の形態】以下、本発明の好適な実施の形態
（以下、実施形態という）について、図面を参照し説明
する。図１は、本実施形態の装置の全体構成を示すブロ
ック図である。制御部１０は経路案内のための各種のデ
ータ処理を行う。この制御部１０には、自車位置検出部
１２が接続されており、制御部１０はここからの情報に
より、常時、自車位置（現在位置）を認識する。自車位
置検出部１２は、例えばＧＰＳ（グローバル・ポジショ
ニング・システム）を利用しものであり、ＦＭ多重放送
により提供される誤差情報を加味したＤ−ＧＰＳ装置な
ども利用できる。さらに、光ビーコンや電波ビーコンか
ら供給される位置情報や、マップマッチングによる補正
や、進行方向および走行距離から位置を検出する自立航
法などを組み合わせることも好適である。

【００２１】また、制御部１０には、全国の二次元地図
情報を記憶した地図データベース１４が接続されてい
る。地図データベース１４には、案内交差点などにおい
て現在位置周辺を拡大表示するための拡大地図情報も記
憶されている。

【００２２】また、制御部１０には、操作入力部１６が
接続されている。ユーザは、操作入力部１６を操作し
て、目的地を入力することができる。目的地が入力され
ると、制御部１０は、地図データベース１４の地図情報
を用いて、目的地までの最適経路を探索、設定する。そ
の他、ユーザは、操作入力部１６を用いて本装置に関す
る各種の指示を入力できる。特に、本実施形態では、操
作入力部１６を用いて、２次元の地図画面を表示する
「地図表示モード」と、車載カメラで撮影した前方風景
を表示する「前方風景表示モード」の選択、切替ができ
る。

【００２３】また、制御部１０には、ディスプレイ１７
および音声合成部１８が接続されている。ディスプレイ
１７は、制御部１０から送られた画像を表示する。ディ
スプレイ１７には、現在位置周辺の地図が表示されると
ともに、地図上に現在位置マークが表示される。また、
右左折すべき交差点など、案内対象の分岐点に進入する
ときには、交差点の拡大地図が表示され（地図表示モー
ド）、あるいは、車載カメラで撮影した画像が表示され
る（前方風景表示モード）。なお、本実施形態では、下
記のように、車載カメラが２つ設けられている。ディス
プレイ上には、２つのカメラのうちで、運転者に近い方
のカメラによって撮影された画像が表示される。その
他、ディスプレイ上には、画面を区切って地図と前方風
景の両方の同時表示も行われる。音声合成部１８は、制
御部１０からの信号に基づいて案内文の音声を合成し、
スピーカ（図示せず）から発する。例えば、上記の案内
対象の分岐点の手前で、「○○ｍ先を左方向です。」と
いった音声案内が行われる。

【００２４】さらに、本装置では、車載カメラとして、
２つのカメラ２０ａ、２０ｂが設けられている。カメラ
２０ａ、２０ｂは、車両の前方を撮影するＣＣＤカメラ
であり、車幅方向に所定距離だけ離して配置されてい
る。カメラの設置位置は、例えば、車室内でフロントガ
ラスの左上隅、右上隅に近接した場所である。カメラ２
０ａ、２０ｂは、撮像結果である画像信号を基にデジタ
ルの画像データを生成し、出力する。

【００２５】カメラ２０ａ、２０ｂには、それぞれ、認
識部２２ａ、２２ｂが接続されている。認識部２２ａ、
２２ｂは、画像データに基づき、特徴物を抽出、認識す
る。以降、特徴物の例として、信号機を認識する場合を
中心に説明する。信号機の場合、青、赤、黄色を色フィ
ルタにより別々に取り出し、輝度の高い部分のエッジを
検出する。そして、エッジの形状が○型であることか
ら、そのエッジの部分が信号機であると判定する。どの
フィルタで○型のエッジが検出されたかにより、どの信
号が点灯しているかも判定できる。また、信号機の位置
は、輝度が高い○形状の部分の重心位置とする。認識部
２２ａでは、カメラ２０ａの撮影画像中での、ある信号
機の位置が認識される。認識部２２ｂでは、同じ信号機
の、カメラ２０ｂの撮影画像中での位置が認識される。

【００２６】認識部２２ａ、２２ｂには、測距部２４が
接続されている。測距部２４には、画像データとともに
特徴物の認識結果が入力される。また、測距部２４は、
制御部１０と接続されている。案内対象の分岐点が近づ
いたとき、制御部１０から測距部２４へ、案内対象の交
差点までの距離と、交差点の存在する方向が送られる。
測距部２４は、入力情報を基に、下記の如く、認識部２
２ａ、２２ｂで認識した信号機が案内対象の分岐点に位
置するものかどうかを判定する。

【００２７】上記のように、両認識部２２ａ、２２ｂで
は、同じ信号機を対象として、異なるカメラ位置で撮影
した別個の画像中での信号機の位置がそれぞれ認識され
ている。測距部２４は、２つの画像中での信号機の位置
と、カメラ２０ａ、２０ｂの設置位置から、信号機まで
の距離をステレオ測距する。このとき、信号機の存在す
る方向も測定される。そして、信号機までの距離と、制
御部１０から入力された分岐点までの距離が比較され
る。また、信号機の方向と分岐点の方向が比較される。
分岐点までの距離と信号機までの距離の差が小さく（例
えば２０ｍ以下）、かつ、方角についても分岐点と信号
機が近ければ、着目している信号機が案内対象の分岐点
に位置すると判断する。判断結果は、撮影画像、特徴物
の認識結果とともに、制御部１０へ送られる。制御部１
０は、撮影画像をディスプレイ上に表示させるととも
に、案内対象の分岐点に位置する信号機を強調するため
の画像処理を行う。この処理では、後述するように、風
景画像中の信号機の位置に半透明の強調マークを合成す
る処理などが行われる。

【００２８】次に、図１の装置の動作について、図２お
よび図３のフローチャートを参照して説明する。まず、
通常のナビゲーション装置と同様に、ユーザによって操
作入力部１６より目的地が入力され、また、自車位置が
検出される（Ｓ１０）。自車位置は、自車位置検出部１
２の出力を取り込むことによって得られる。制御部１０
は、地図データベースに記憶されている地図データを基
に、現在地から目的地までの最適経路を探索する（Ｓ１
２）。この経路探索は、ダイクストラ法などを用いた通
常の方法で行う。このとき、目的地までの経路上で右左
折等の案内が必要な分岐点も決定される。

【００２９】走行が開始されると、自車位置が検出され
（Ｓ１４）、自車位置と次に案内対象になる分岐点との
距離Ｋが計算される（Ｓ１６）。距離Ｋが所定値（例え
ば７００ｍ）以下になったか否かが判定され（Ｓ１
８）、ＮＯであればＳ１４に戻り、自車位置を更新して
同様の判断が繰り返される。距離Ｋが所定値以下になっ
たら、分岐点に近づいていることを、分岐方向とともに
音声案内する（Ｓ２０）。案内文は、例えば、「７００
ｍ先、左方向です。」である。

【００３０】案内を出力した後、自車位置と分岐点との
距離Ｋが２００ｍ以下になったか否かが判定され（Ｓ２
２）、２００ｍまで近づいたら、制御部１０は、カメラ
２０ａ、２０ｂに指示を出して、前方風景画像の取り込
み（撮像）を開始させる（Ｓ２４）。カメラと撮影対象
の距離があまり離れていると、撮影対象の認識ができな
い。画像取込開始位置は、撮影対象を認識できる最大限
の撮影距離よりも小さく設定する必要がある。本実施形
態では、現状のＣＣＤカメラ等の分解能を考慮して、画
像取込開始位置を分岐点の２００ｍ手前としている。

【００３１】そして、図３に示すように、現在の表示モ
ードが前方風景表示モードであるか地図表示モードであ
るかが判断される（Ｓ２６）。地図表示モードの場合、
表示モードの切替操作が有りか否かが判断され（Ｓ２
８）、有りの場合には、前方風景表示モードへのモード
切替が行われる（Ｓ３０）。切替操作が無い場合は、別
途、制御部１０にて、通常のナビゲーション装置と同様
に、交差点の拡大地図を表示する処理が行われる。拡大
地図には、車両が進むべき方向を示す矢印図形が重畳さ
れる。

【００３２】Ｓ２６で前方風景表示モードが設定されて
いるとき、あるいは、Ｓ３０でモード切替が行われたと
き、案内に使用できる静止特徴物（ここでは信号機）が
案内対象の分岐点上に存在するか否かが判断される（Ｓ
３２）。ここでは、前述のように、認識部２２ａ、２２
ｂにおいて、画像データから信号機が抽出される。そし
て、測距部２４にて、信号機までの距離と方角が求めら
れる。さらに、制御部１０から測距部２４へ、案内対象
の分岐点までの距離と方角が送られる。測距部２４で
は、これらの情報を比較し、抽出した信号機が案内対象
の分岐点に位置するものであるか否かを判定する。複数
の信号機が抽出されたときは、各信号機について判定す
る。

【００３３】認識部での特徴物の抽出処理の際、以下の
ようにして、データ処理量の削減ができる。自車位置検
出結果と分岐点の位置情報から、分岐点までの距離や方
向が分かる。従って、案内すべき分岐点の周辺領域が、
画像中のどの部分に映っているかが推定できる。そこ
で、この部分に限定して画像処理を行うことにより、処
理量を減らし、処理速度を向上させることができる。ま
た、カメラ２０ａ、２０ｂにステア機構を持たせること
により、対象となる分岐点周辺を画像の中心付近で捉え
ることができる。そこで、ズームアップした状態で対象
を捉え、画像の分解能を向上し、特徴物の検出をより容
易にすることもできる。

【００３４】また、分岐点と自車の位置関係が分かるの
で、この位置関係を利用して、特徴物の見え方（大きさ
や形状など）が予測できる。そこで、予測される特徴物
の見え方に対応したテンプレートを用いてパターンマッ
チングを行うことにより、効率的な画像処理ができる。
このとき、分岐点と自車の位置関係に応じてテンプレー
トを基本形状から変形させてもよい。また、分岐点の方
向や距離に応じて複数のテンプレートを用意しておいて
もよい。

【００３５】さらに、認識部２２ａ、２２ｂは、走行と
ともに変化する風景画像中で特徴物を追跡することが好
ましい。ここでは、車両の移動とともに特徴物が移動す
るものの、特徴物の見え方や位置はそれほど急に変化し
ないことを利用する。ある時点のフレームの画像におい
て特徴物の近傍にサーチエリアを設定する。次に得られ
るフレームの画像を対象として、サーチエリア内でテン
プレートマッチング等を行って特徴物を探す。発見した
特徴物の位置を基にサーチエリアを更新し、同様の処理
を繰り返す。追跡処理（テンプレートマッチング等）
は、所定数のフレームおきに、また、所定時間おきに実
行してもよい。このようにして特徴物の動きが求められ
る。これにより、一度認識した信号機については、その
信号機を見失わない限り、以降、Ｓ３２での処理を簡略
化できる。

【００３６】Ｓ３２で案内対象の分岐点に信号機が存在
すると判断されたときは、その信号機を強調するマーク
が、風景画像に合成して表示される（Ｓ３４）。図４は
強調マークの好適な表示例を示している。ディスプレイ
１７の画面上には、カメラによって撮影された風景画像
が表示されている。信号機１０１は、案内対象の交差点
に位置している。信号機を目立たせるため、強調マーク
として、半透明の楕円形のマーク１０３が信号機１０１
に重ねて表示されている。また、車両が進行すべき分岐
方向を示す矢印図形１０５も同時に合成されている。

【００３７】図４に示したマークは、制御部１０によっ
て合成される。制御部１０には、画像内での信号機位置
の情報が入力されている。この位置を基に、信号機に重
なるように、楕円型マークの表示位置が決定される。ま
た、ステレオ測距での測定結果に基づき、楕円形マーク
のサイズが決定される。信号機１０１までの距離が大き
いほど、マークのサイズが小さく決められる。楕円形マ
ークは、その都度計算で求めてもよいが、複数の大きさ
のマークを予め用意しておいてもよい。制御部１０は、
撮影画像上の決定した位置に、決定した大きさの楕円形
マークを合成する。

【００３８】矢印マークについても同様である。信号機
の画像内での位置と信号機までの距離に応じて表示位置
とサイズが決定され、撮影画像への合成処理が行われ
る。矢印図形は、分岐点と分岐方向を目立たせる機能を
もつ。この機能を果たす範囲であれば、矢印図形の位置
やサイズ、形状は、図４に限られず、任意でよい。

【００３９】図５は、特徴物の強調表示の第２の例であ
る。ディスプレイ１７の画面が２つに分割され、一方に
風景画像が、他方に案内対象の分岐点の拡大地図が表示
されている。風景画像では、信号機１０１に半透明の楕
円形マーク１０３が重ねて表示されている。地図画像で
は、分岐方向が矢印２０１で示される。また、地図画像
では、左折すべき交差点に信号のマーク２０３が表示さ
れ、さらにその上に半透明のマーク２０５が重ねられて
いる。図５の表示を使うのであれば、風景画像と地図が
同時に表示されるので、表示モードの切換は不要とな
る。従って、図２、図３のフローチャートにおいて、モ
ード切替に関連する処理を省略できる。

【００４０】図６の表示例では、上記の図５と同様に、
風景画像と地図画像の両者が表示されている。案内対象
の分岐点に２つの信号機１０１ａ、１０１ｂがあり、両
者とも認識部２２ａ、２２ｂによって認識されている。
そして、それぞれの信号機に、違う透明度の半透明マー
ク１０３ａ、１０３ｂが重ねられている。マークの透明
度は、信号機までの距離に応じて変えるとよい。例え
ば、分岐点の手前にある信号機の透明度を、分岐点の向
う側にある信号機の透明度よりも高くする。拡大地図で
は、信号機１０１ａ、１０１ｂの位置にそれぞれ対応し
て、信号機のマーク２０３ａ、２０３ｂが表示される。
さらに、風景画像での表示に対応し、各マーク２０３
ａ、２０３ｂにも同様の透明度の半透明マーク２０５
ａ、２０５ｂが重ねられている。すなわち、図６におい
て、地図上の半透明マーク２０５ａ、２０５ｂの透明度
は、それぞれ、風景画像の半透明マーク１０３ａ、１０
３ｂと同じになっている。上記の透明度の代わりに、マ
ークの色や明度を変化させてもよい。

【００４１】Ｓ３２にて、案内に使用できる信号機が案
内対象の分岐点に存在しないと判断した場合、表示モー
ドを地図表示モードに切り換える（Ｓ３８）。また、Ｓ
３４での風景画像の表示の後、表示モードの切替操作が
有りか否かが判断され（Ｓ３６）、有りの場合には、や
はりＳ３８で地図表示モードへのモード切替が行われ
る。そして、制御部１０にて、通常のナビゲーション装
置と同様に、交差点の拡大地図とともに進行方向を示す
矢印を表示する処理が行われる。

【００４２】次に、分岐点の直ぐ近く（例えば５０ｍ）
に接近したか否かを判断し（Ｓ４０）、接近したときは
もう一度音声案内を行う（Ｓ４２）。このときの案内文
は、例えば「まもなく左方向です。」である。この際、
認識している特徴物を用いた音声案内を行ってもよい。
例えば、「まもなく左方向です、信号機が目印です。」
である。

【００４３】案内対象の分岐点を通過する前に、表示に
利用中の信号機がカメラの視野からはずれたり、トラッ
クなどの遮蔽物によって隠されてしまうことがある。そ
こで、利用中の信号機を見失ったか否かが判断され（Ｓ
４４）、見失った場合には、直ちに、風景画像への強調
マーク（半透明マークや矢印マーク）の合成を停止する
（Ｓ４６）。

【００４４】次に、自車位置に基づいて、案内対象の分
岐点を通過したか否かが判定され（Ｓ４８）、分岐点の
通過前であれば、設定された最適経路から自車が逸脱し
ているか否かを判定する（Ｓ５０）。逸脱していなけれ
ば、Ｓ２６に戻り、同様の処理を繰り返す。従って、案
内に利用している信号機を見失った場合でも、再びこの
信号機が認識されれば、強調マークの表示が再開され
る。Ｓ５０で最適経路を逸脱したときは、強調マークの
合成を停止し（Ｓ５２）、Ｓ１２に戻って最適経路を再
探索する。

【００４５】また、Ｓ４８で分岐点を通過したときは、
信号機を利用した強調マークの合成が停止される（Ｓ５
４）。そして、Ｓ５０と同様に、最適経路を逸脱したか
否かが判定され（Ｓ５６）、逸脱していなければ、Ｓ１
４に戻る。そして、設定経路上で次の案内対象の分岐点
を対象として、上記と同様の処理が行われる。また、Ｓ
５６で最適経路を逸脱したときは、Ｓ１２に戻って最適
経路の再探索が行われる。以上が本実施形態の装置の動
作である。

【００４６】「その他の構成」 （１）信号機以外の特徴物を利用し、この特徴物を強調
表示してもよい。信号機以外の特徴物としては、例え
ば、標識、電柱、分岐そのもの、横断歩道、歩道橋等が
考えられる。基本的に、特徴物の認識はパターンマッチ
ングにより行う。まず、画像処理にて画像内の物体の形
状を求める。例えば、画像から青色部分を取り出し、エ
ッジ検出することにより、行先案内標識の候補となる物
体の形状が求められる。得られた物体形状と、予めテン
プレートとして持っている形状とを比較して、特徴物か
否かの判定を行う。画像処理の能力を考慮して、特徴物
は、予め形状が分かっているいくつかのものに限定して
おくことが好ましい。また、静止特徴物以外に、車両な
ど、動いている特徴物も利用できる。例えば、案内対象
の交差点を曲がる車を抽出し、この車を強調表示しても
よい。

【００４７】（２）図７を参照し、特徴物を捉えるため
の構成の変形例を説明する。ここでは、特徴物の性質を
利用することにより、ステレオ法を用いないで、特徴物
までの距離測定が行われる。図７の装置には、一つのカ
メラ２０ｃが設けられ、このカメラ２０ｃに、認識部と
測距部を一体化した認識・測距部２４ｃが接続されてい
る。その他の構成は、図１と同様である。国内では、信
号機の直径は、３００ｍｍか２５０ｍｍのいずれかに規
格化されている。地図データベース１４には、どの分岐
点にどちらのサイズの信号機が設置されているかの情報
を記憶しておく。認識・測距部２４ｃでは、画像データ
のエッジ検出を行って、信号機を抽出する。そして、画
像中の信号機の大きさ（画素数）を求め、この大きさと
信号機の実際の直径から、信号機までの距離を求める。
以下の処理は、図１の装置と同様である。

【００４８】図７の構成を、ステレオ法を用いた図１の
構成と比較する。図１の構成では、明るさの急激に変化
する点（エッジ）などを使って左右の画像が対応づけら
れ、特徴物までの距離がステレオ測距される。従って、
対象物を選ばず、いろいろな物体を特徴物として利用で
きる。一方、図７の構成では、測定対象物の性質を利用
しているため、特徴物として使える対象物が限られる。
しかし、カメラの構成が簡単になるという利点がある。

【００４９】（３）図７の装置では、抽出した信号機ま
での距離を、下記のようにして求めてもよい。信号機
は、通常、車両より高いところに位置する。このことを
利用して、２つの異なる地点で得られる撮影画像から、
信号機までの距離を求める。図８は、ここでの距離測定
の原理を示している。認識・測距部２４ｃは、信号機の
手前のある地点Ａで撮影された画像から、信号機を抽出
する。そして、信号機が存在する方向の仰角θAを求め
る。さらに、地点Ａから信号機へ距離Ｚだけ近づいた地
点Ｂで撮影された画像から、同様に信号機が存在する方
向の仰角θBを求める。この間、パターンマッチング処
理を行って、画像中で移動する信号機を追跡する。仰角
θA、θB、走行距離Ｚから、地点Ｂと信号機の距離Ｄが
下式のように求められる。

【００５０】

【数１】Ｄ＝Ｚ・tanθA ／ (tanθB−tanθA) （４）本実施形態では、特徴物の位置についての情報
は、特に予め記憶されている必要はない。しかし、特徴
物の位置を、分岐点と関連づけるなどして地図データベ
ース１４に記憶しておいてもよい。また、走行時に特徴
物の位置を検出したときに検出結果を記憶しておき、後
に同じ場所を走行するときに記憶情報を利用してもよ
い。特徴物の位置の記憶情報は、下記（ａ）〜（ｅ）の
ようにして利点できる。以下では、特徴物が信号機であ
るものとして説明する。

【００５１】（ａ）画像上での信号機の位置の推定がで
きるので、信号機を探索すべき範囲を限定できる。そこ
で、カメラのステアとズームアップを行い、遠距離から
信号機を認識できる。

【００５２】（ｂ）信号機が分岐点から離れた場所（カ
ーブ手前等）に存在するにも拘わらず、無理矢理にその
信号機が分岐点上に存在すると判断することがない。

【００５３】（ｃ）市街地等で、複数の分岐点が一度に
カメラに捉えられるときがある。そして、信号機を認識
できるが、その信号機がどの分岐点に位置するのかの判
断に迷うことがあり得る。このようなとき、地図データ
ベース１４に記憶された信号機の位置情報を用いること
により、信号機がどの分岐点に位置するかの判定、特に
案内対象の交差点に位置するか否かの判定ができる。

【００５４】図９を用いて具体例を説明する。図９は、
実際の道路における自車前方の分岐状況と信号機の配置
状況が示されている。地図データベース１４には、図９
の信号機配置パターンが記憶されている。分岐Ｂ、Ｆに
は各１個の信号機が存在し、分岐Ｅには２個の信号機が
存在する。案内対象の分岐点はＦであるとする。カメラ
画像からは、４つの信号機が認識できる。これらの信号
機までの距離が求められ、比較される。一番遠くにある
信号機が案内対象の分岐点Ｆにあると判定される。この
判断では、４つの信号機の前後関係が分かればよく、高
い測距精度は必要とされない。従って、図９のような状
況でも、案内対象の分岐点に位置する信号機を正確に検
出できる。

【００５５】（ｄ）自車位置の補正ができる。信号機の
位置、信号機までの距離、方角を基に、ＧＰＳ等で求め
た自車位置を補正できる。

【００５６】（ｅ）図５、図６のように、交差点拡大図
中で、正確な位置に信号機マークを表示することができ
る。運転者は、風景画像と交差点拡大図を見比べて、自
車位置を正確に判断できる。また、巨大な交差点でも信
号機マークを適切な位置に表示できる。

【００５７】「効果」以上、本発明に好適な実施形態に
ついて説明した。従来技術と異なり、本実施形態では、
自車位置がある程度の精度で検出されていれば、風景画
像中の適正な位置に案内表示が確実に行われるという利
点がある。

【００５８】従来技術では、自車位置の検出誤差がその
まま矢印図形の表示位置の誤差に反映されてしまう。そ
の結果、図１０に示すように、矢印図形が分岐点からず
れた位置に表示される可能性がある。一方、本実施形態
では、特徴物が案内対象の交差点に位置するか否かの判
断のために自車位置検出結果が使われる。この判断のた
めであれば、Ｄ−ＧＰＳ等で得られる検出精度で十分で
ある。自車位置自体は、強調マークの表示位置の決定に
直接は用いられない。画像処理によって風景画像から特
徴物が抽出され、その位置を基準に強調マークの表示位
置が決定される。従って、特徴物と強調表示の位置ずれ
が発生しない。

【００５９】実際のところ、例えば信号機は、一般に分
岐点近辺にしか存在しない。また、分岐点の存在する間
隔は、通常、少なくとも数十ｍ以上はあると考えられ
る。この条件において、信号機がどの分岐点に対応する
かが判断できればよい。自車位置の検出誤差や画像処理
による測距誤差の累計が、上記判断を妨げない範囲であ
ればよい。従って、自車位置の１０ｍ程度の検出誤差は
許容できると考えられる。自車位置検出手段としてＤ−
ＧＰＳ等を用いれば、十分に本発明の効果が得られる。

【００６０】また、従来技術では、地図データの精度
も、自車位置の検出精度と同様に、案内表示のずれの要
因となる。しかし、本実施形態では、上記と同様の理由
により、地図データもある程度の精度を持っていれば足
りる。

【００６１】また、従来技術では、カメラの設置方向の
ずれも、案内表示と分岐点の位置ずれの要因となる。風
景画像側が動いてしまうからである。この場合でも本実
施形態では、表示位置のずれが生じにくい。風景画像か
ら特徴物を抽出し、その位置に強調マークを表示してい
るからである。

【００６２】その他、本実施形態では、案内対象の分岐
点に位置する特徴物が検出されたとき、この特徴物が画
像上で強調される。これに対し、検出した特徴物を音声
案内に利用するという考え方もあり得る。音声案内と比
べ、画像表示で特徴物を強調する場合、下記の（ａ）〜
（ｄ）の利点がある。

【００６３】（ａ）音声案内では、案内のタイミングを
シビアに考慮する必要がある。例えば、分岐点の手前２
０ｍでは、案内に利用できる特徴物を認識できても、も
はや音声案内をするには時間的余裕がなく、結果として
特徴物を使った音声案内はできない。これに対し、本実
施形態では、案内タイミングを考慮する必要はなく、分
岐点を通過する前であればいつでも、適当な特徴物が見
つかった時点で、強調マークを表示すればよい。例え
ば、上記のように分岐点の手前２０ｍで案内用の特徴物
を認識したときには、この時点で強調マークを表示すれ
ばよい。

【００６４】（ｂ）図５、図６に示す如く、風景と地図
の２画面表示をする場合において、交差点拡大図上でも
特徴物がマーキングされる。これにより、前方風景上で
の特徴物が把握しやすくなる。例えば、信号機は分岐点
の向こう側にあるべきか、手前側にあるべきかの判断が
容易になる。このような効果は、音声案内では得られな
い。

【００６５】（ｃ）同一種類で複数の特徴物がある場合
でも、ディスプレイ上では、案内に用いられている特徴
物を一瞬に見分けられる。例えば、複数の信号機が見え
るとき、どの信号機が分岐点に位置するのかの判断が、
音声案内を聞いただけでは運転者にとって難しいときが
ある。このようなときに画像表示は有利である。

【００６６】（ｄ）車載カメラの視野は、運転者の視野
とは一致しない。そのため、車載カメラから見えている
特徴物が運転者からは見えない場合がある。音声案内で
は、このような特徴物を使わないように配慮することが
好ましい。一方、画像表示では、カメラで得られた画像
が、ディスプレイに表示され、その上に特徴物の強調マ
ークが表示される。運転者は、カメラの視野内の状況を
把握できる。従って、画像内の特徴物が運転者に見える
か否かの配慮は不要となる。さらには、ステレオ法を採
用している場合、２つのカメラで得られた画像を基に、
運転者の位置から見た風景画像を生成したり、３Ｄ立体
画像を生成して表示したりといったこともできる。

【図面の簡単な説明】

【図１】 本発明の実施形態の全体構成を示すブロック
図である。

【図２】 図１の装置の動作を示すフローチャートであ
る。

【図３】 図１の装置の動作を示すフローチャートであ
る。

【図４】 ディスプレイに表示された風景画像と、信号
機を強調するために風景画像に合成された強調マークを
示す説明図である。

【図５】 ディスプレイに表示された風景画像および分
岐点拡大地図と、信号機を強調するために合成された強
調マークを示す説明図である。

【図６】 ディスプレイに表示された風景画像および分
岐点拡大地図と、信号機を強調するために合成された強
調マークを示す説明図である。

【図７】 図１の装置の変形例であって、車載カメラが
一つの場合を示すブロック図である。

【図８】 図７の装置で画像データを基に特徴物までの
距離を測定する方法を示す説明図である。

【図９】 地図データベースに記憶された信号機の配置
情報を用いて案内対象の分岐点に位置する信号機を特定
する手法を示す説明図である。

【図１０】 従来技術において、自車位置の検出誤差に
起因して、分岐点を示す矢印がずれて表示された場合の
例を示す図である。

【符号の説明】

１０ 制御部、１２ 自車位置検出部、１４ 地図デー
タベース、１６ 操作入力部、１７ ディスプレイ、１
８ 音声合成部、２０ａ，２０ｂ，２０ｃ カメラ、２
２ａ，２２ｂ 認識部、２４ 測距部、２４ｃ 認識・
測距部。

フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｇ０８Ｇ 1/0969 Ｇ０６Ｆ 15/62 ４１５ Ｇ０９Ｂ 29/10 15/68 ３１０Ｚ

Claims (5)

【特許請求の範囲】
1. 【請求項１】 自車前方の風景を表す風景画像を用いて
   案内情報を提供する車両用案内表示装置であって、 自車前方を撮影する車載カメラと、 撮影した画像情報から、案内対象となる分岐点を特定す
   る特徴物を抽出する特徴物抽出手段と、 抽出された特徴物を強調して撮影結果を表示する表示手
   段と、 を含むことを特徴とする車両用案内表示装置。
2. 【請求項２】 請求項１に記載の装置において、 画像中の特徴物と自車との位置関係を測定する位置関係
   測定手段と、 分岐点の位置情報を記憶した地図データベースと、 自車の位置を検出する位置検出手段と、 特徴物と自車の位置関係、および、案内対象分岐点と自
   車の位置関係から、画像中の特徴物が案内対象分岐点を
   特定することを判定する判定手段と、 を含むことを特徴とする車両用案内表示装置。
3. 【請求項３】 請求項２に記載の装置において、 前記位置関係測定手段は、複数の車載カメラを用いたス
   テレオ測距にて自車と特徴物との距離を測定するもので
   あることを特徴とする車両用案内表示装置。
4. 【請求項４】 請求項１〜３のいずれかに記載の装置に
   おいて、 前記特徴物は信号機であることを特徴とする車両用案内
   表示装置。
5. 【請求項５】 請求項１〜４のいずれかに記載の装置に
   おいて、 前記表示手段では、特徴物を強調するために、特徴物と
   半透明の強調マークが重ねて表示されることを特徴とす
   る車両用案内表示装置。