JP2003121167A - 案内画像生成装置、案内画像表示装置、ナビゲーション装置、及びプログラム - Google Patents

Abstract

(57)【要約】 【課題】 実際に見える景色との対応付けが容易であっ
て、しかも、適切な案内を実現する案内画像を生成す
る。 【解決手段】 案内寄与情報に対応する３次元モデルを
用意しておき、モデル情報読出ブロック５１は、地図デ
ータ及び位置データに基づいて、モデル情報として格納
された３次元モデルを読み出す。読み出すべき３次元モ
デルがなければ、幾何学情報抽出ブロック５２が、地図
データ及び位置データに基づいて、案内寄与情報に対応
する幾何学情報を実写映像から抽出する。３次元モデル
又は幾何学情報は、照合・補正ブロック５３及び視点変
更ブロック５４を経て、ＣＧ化ブロック５５で実写映像
に対応するＣＧ画像とされる。一方、実写映像は、視点
変更ブロック５４及び画像処理ブロック５６を経て出力
される。そして、画像合成ブロック５７が、ＣＧ画像と
実写映像とを合成して、案内画像を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両などの適切な
誘導に寄与する技術に関する。

【０００２】

【従来の技術及び発明が解決しようとする課題】従来よ
り、カーナビゲーション装置は、液晶やＣＲＴなどで構
成された表示画面を備えており、この表示画面に車両周
辺の平面地図を表示し、この平面地図上に車両位置を重
ねて表示する。これによって、目的地までの経路に従っ
たルート案内だけでなく、ルート案内を行っていない場
合にも、ユーザは、自分の現在位置を確認することがで
きて便利である。

【０００３】しかし、平面地図上での位置が確認できて
も、実際の走行では右左折すべき交差点を通り過ぎてし
まったり、間違った交差点で右左折してしまったりする
ことは往々にしてある。これは、ナビ画面に表示される
地図上の位置と、実際にフロントガラスなどを通して見
える景色（道路や建造物）との対応付けが容易でないこ
とに起因する。

【０００４】そのため、最近では、建造物などを立体的
に表示できるナビゲーション装置が開発され、実際に見
える景色との対応付けが盛んに行われている。例えば、
建造物の面積や高さを地図情報として用意しておきＣＧ
化して表示したり、建造物に対応する３次元モデル情報
を予め作成しておき、この３次元モデル情報をＣＧ化し
て表示したりするという具合である。なお、本明細書中
では、いわゆるコンピュータ・グラフィックスを「Ｃ
Ｇ」と表現することにする。

【０００５】ところが、このようにして表示される建造
物は、例えばビルであれば単なる直方体として表示され
るのが一般的であり、実際に見える建造物とはやはり異
なる。そのため、平面地図に比べて対応付けが容易には
なっているものの、依然として、景色との短時間での対
応付けは困難であると言える。もちろん、詳細なＣＧ画
像を生成できれば、このような問題は解決できるのであ
るが、全国各地の建造物を詳細に表示しようとすれば、
そのデータ量は膨大なものとなり、また、ＣＧ画像の表
示処理にも相当の時間を要することになるため、現実的
でない。

【０００６】このような問題を解決するものとして、特
開平１１−１０８６８４号公報には、自動車の進行方向
の景色を撮像し、撮像された実写映像を用いる技術が開
示されている。この技術は、実写映像に対し、自車位置
を示すマークや進行方向を示す矢印を重ねて表示すると
いうものである。

【０００７】この技術は、実際に見える景色との対応付
けという面で優れたものであるが、案内を行うという面
では、次に示すような問題を残す。それは、実写映像に
は、余分な情報が多すぎることである。例えば、案内に
必要のない街路樹なども道路や建造物と共に映ってしま
う。また、建造物などの陰影や微妙な色の変化なども映
ってしまう。したがって、実写映像に対して進行方向を
示す矢印を表示しても、曲がるべき交差点などが確認し
難いという事態を招く可能性が高い。つまり、実写映像
を直接的に用いると、対応付けが容易であったとして
も、案内に必要のない情報によって、適切な案内が阻害
されてしまうという事態を招くのである。

【０００８】本発明は、このような問題を解決するため
になされたものであり、実際に見える景色との対応付け
が容易であって、しかも、適切な案内を実現する案内画
像の生成を目的とする。

【０００９】

【課題を解決するための手段及び発明の効果】上述した
目的を達成するためになされた本発明の案内画像生成装
置では、実写映像中の情報の中で案内に寄与する案内寄
与情報をＣＧ画像として生成し、これを実写映像に合成
して案内画像を生成する。つまり、実写映像中には案内
に寄与する情報とそうでない情報とが混在しているとい
う点に着目し、案内に寄与する情報のみをＣＧ画像とし
て合成することにより、案内に寄与しない情報から区別
して認識できるようにしたのである。

【００１０】このような案内画像を用いれば、ベースが
実写映像であるため、実際に見える景色との対応付けが
容易になると共に、案内寄与情報が他の情報から区別し
て認識されるため、適切な案内を実現できる。なお、本
発明は、例えば車両に搭載して用いることが考えられ
る。この場合、ナビゲーション装置が搭載されることを
前提に、ナビゲーション装置の備える表示手段に案内画
像を表示させればよい。また、携帯電話機やハンドトッ
プ・ラップトップといったモバイル機器に適用すること
もできる。

【００１１】ＣＧ画像を生成するＣＧ画像生成手段は、
幾何学情報抽出手段とＣＧ化手段とを備える構成とする
ことが考えられる。このとき、幾何学情報抽出手段が、
撮像手段にて撮像された実写映像から案内寄与情報に対
応する幾何学情報を抽出し、ＣＧ化手段が幾何学情報を
ＣＧ化してＣＧ画像を生成する（請求項２）。

【００１２】例えば幾何学情報抽出手段は、地図情報及
び位置関連情報に基づいて幾何学情報を抽出することが
考えられる（請求項３）。地図情報は、道路や建造物の
情報を含むものであり、ＤＶＤ−ＲＯＭなどの地図情報
格納手段から取得することが考えられる。一方、位置関
連情報は、本装置の位置や移動方向を特定するための情
報を含むものであり、例えばＧＰＳ受信機を用いて構成
される検出手段から取得することが考えられる。以下の
説明にいう地図情報、位置関連情報も同様である。な
お、地図情報や位置関連情報を外部から取得する構成と
すれば、特にこれらの手段を本装置が備える必要はな
い。

【００１３】案内寄与情報をＣＧ画像として生成する場
合、ＣＧ化手段は、地図情報及び位置関連情報に基づ
き、幾何学情報を色分けしてＣＧ化するとよい（請求項
４）。ＣＧ画像として表示される複数の情報を区別し易
くなるからである。ところで、案内寄与情報に対応する
幾何学情報は、一例として、道路のエッジ、センターラ
イン、レーン、横断歩道のいずれかを少なくとも含む走
行路情報とすることが考えられる（請求項５）。このよ
うな走行路情報の抽出は、例えば、実写映像中で画素値
などの変化が大きくなる部分をまず検索し、この部分が
道路のエッジなのか、センターラインなのか、レーンな
のか、横断歩道なのかを、走行路情報を含む地図情報及
び、位置関連情報に基づく地図上の位置を用いて特定す
ることにより実現できる。このとき、ＣＧ化手段は、走
行路情報としての各種情報を色分けしてＣＧ化するとよ
い（請求項６）。このようにすれば、走行路情報として
の各種情報の区別がユーザにとって容易になり、より適
切な案内が実現できる。

【００１４】また、案内寄与情報に対応する幾何学情報
は、建造物の輪郭を示す建物情報とすることが考えられ
る（請求項７）。この場合も、走行路情報と同様に、地
図情報及び位置関連情報を用いて抽出する。そして、Ｃ
Ｇ化手段は、建物情報を建造物の種類に応じて色分けし
てＣＧ化するとよい（請求項８）。建造物の種類とは、
ビル、歩道橋、信号機といった機能別の種類とすること
が考えられる。このような観点での色分けは、建造物を
案内のための目印として利用することを容易にする。た
だし、案内面の充実という観点からは、建造物の種類
に、ホテル、レストラン、スポーツセンターといった施
設種類まで含め、この施設種類に応じた色分けをするの
が有効である。

【００１５】なお、実写映像から幾何学情報を抽出する
ことを考えると、場合によっては適切に幾何学情報が抽
出されないことも考えられる。例えば、道路のエッジの
一部が、道路脇の植え込みなどに遮られて抽出されない
ことも想定される。そこで、上述したＣＧ画像生成手段
が、さらに、幾何学情報抽出手段にて抽出された幾何学
情報を補正する幾何学情報補正手段を備えるようにする
とよい。このとき、ＣＧ化手段は、幾何学情報補正手段
にて補正された幾何学情報をＣＧ化する（請求項９）。
具体的に、幾何学情報補正手段は、地図情報及び位置関
連情報に基づいて幾何学情報を補正するようにすること
が考えられる（請求項１０）。また、撮像条件に基づい
て幾何学情報を補正してもよい（請求項１１）。撮像条
件とは、例えばビデオカメラとして具体化される撮像手
段の取り付け位置や角度、あるいは露出などをいう。

【００１６】このような補正を行えば、実写映像から繰
り返し抽出される幾何学情報が安定したものとなり、適
切なＣＧ画像の生成及び、適切な案内画像の合成が可能
になる。以上は実写映像から幾何学情報を抽出すること
によるＣＧ画像の生成について説明したが、次に示すよ
うにＣＧ画像生成手段を構成することも考えられる。

【００１７】すなわち、ＣＧ画像生成手段が、モデル格
納手段、モデル情報読出手段、ＣＧ化手段を備える構成
である。モデル格納手段は、上述の案内寄与情報を３次
元モデルとしてモデル化したモデル情報を格納してお
り、モデル情報読出手段が、モデル格納手段からモデル
情報を読み出す。そして、ＣＧ化手段によって、読み出
されたモデル情報がＣＧ化されてＣＧ画像が生成される
（請求項１２）。これは、例えば建造物などに対応する
モデル情報を予め格納しておき、このモデル情報からＣ
Ｇ画像を生成して案内画像を生成しようとする技術思想
である。

【００１８】もちろん、上述した幾何学情報の抽出構成
とともに、このようなモデル情報からのＣＧ画像生成を
行う構成を採用してもよい（請求項１３）。その場合、
ＣＧ化手段は、幾何学情報及びモデル情報をＣＧ化して
ＣＧ画像を生成する。この構成においては、幾何学情報
抽出手段は、モデル格納手段へのモデル情報の格納状態
に基づき、必要に応じて幾何学情報を抽出することが考
えられる。例えば、地図情報に対応するモデル情報がな
い場合に、幾何学情報を抽出するという具合である。ま
た例えば、簡単なモデル情報しかない場合にも、幾何学
情報を抽出するようにしてもよい。詳細なモデル情報が
あれば、詳細なＣＧ画像が生成できるため、わざわざ幾
何学情報を抽出する必要はないが、例えば単なる直方体
といった簡単なモデル情報しかない場合、幾何学情報を
も取り出してＣＧ化することにより、ＣＧ画像をより詳
細なものにできる可能性が高くなるからである。

【００１９】なお、モデル情報読出手段は、地図情報及
び位置関連情報に基づいて、モデル情報を読み出すこと
が考えられる（請求項１５）。このとき、ＣＧ化手段
は、地図情報及び位置関連情報に基づいてモデル情報を
色分けしてＣＧ化するとよい（請求項１６）。ＣＧ画像
として表示される複数の情報を区別し易くなるからであ
る。

【００２０】ところで、案内寄与情報に対応するモデル
情報は、一例として、建造物をモデル化した建物モデル
情報とすることが考えられる（請求項１７）。この建物
モデル情報は、建造物を詳細にモデル化した情報とする
ことが考えられる。あるいは、建造物を直方体を用いて
表現したものとしてもよい（請求項１８）。後者のよう
な建物モデル情報を用いれば、モデル情報のデータ量を
抑えることができるという点で有利である。このとき、
ＣＧ化手段は、建物モデル情報を建造物の種類に応じて
色分けしてＣＧ化するとよい（請求項１９）。このよう
な建造物の種類による色分けについては既に述べた通
り、建造物を案内のための目印として利用するためのビ
ル、歩道橋、信号機といった機能別の種類による色分け
や、ホテル、レストラン、スポーツセンターといった施
設種類による色分けが考えられる。また、建造物を案内
のための目印として利用するという観点では、建造物の
外形を認識し易くすることも重要である。そこで、ＣＧ
化手段が、建物モデル情報に基づき、建造物の輪郭を強
調してＣＧ化するようにしてもよい（請求項２０）。

【００２１】ここでは建物モデル情報について言及した
が、例えば道路などについても、３次元平面モデルとし
てモデル化して格納しておき、上述の建物モデル情報と
同様に、ＣＧ画像として生成することも、もちろん可能
である。なお、ＣＧ画像生成手段が、ＣＧ化のための視
点を補正するモデル位置照合手段を備える構成にすると
よい（請求項２１）。このとき、ＣＧ化手段は、モデル
位置照合手段にて補正された視点でモデル情報をＣＧ化
する。例えば、撮像条件に基づいて、ＣＧ化のための視
点を補正するという具合である（請求項２２）。ここで
いう撮像条件は、主として撮像手段の取り付け位置や角
度を意味する。

【００２２】これによって、案内寄与情報を示すＣＧ画
像をドライバーズビューに合わせて実写映像に合成する
ことができる。その結果、実際に見える景色との対応付
けがさらに容易になり、適切な案内に寄与する。ところ
で、案内画像は、例えば車体に取り付けられる撮像手段
からの実写映像に基づくものであり、ドライバーズビュ
ーに対応するものとなっている。実際に見える景色と対
応付けを主眼としているからである。ただし、必要に応
じて視点変更できる構成であれば、さらに便利であるこ
とは言うまでもない。

【００２３】そこで、さらに、視点を変更して案内画像
を生成するための視点変更手段を備える構成とすること
が考えられる（請求項２３）。視点変更手段は、例え
ば、複数台のビデオカメラで構成された撮像手段からの
複数の実写映像を用い、あるいは、時間的に前後して撮
像手段から出力される複数の実写映像を用い、視点変更
を行う。つまり、２次元情報としての実写映像が複数枚
あれば、３次元情報を構成することができ、視点の変更
が可能になるのである。

【００２４】なお、案内画像を生成するにあたり、画像
合成手段が、実写映像とＣＧ画像との合成割合を変更で
きる構成（請求項２４）としたり、実写映像に対し画像
処理を施した後、ＣＧ画像と合成する構成（請求項２
５）としたりすることも有用である。

【００２５】合成割合の変更は、いわゆる画素値のブレ
ンディングの割合を変更することで実現される。また、
画像処理としては、階調処理、減色処理、実写映像にお
ける領域の統合・分割処理が挙げられる（請求項２６，
２７，２８）。画像処理の目的は、微妙な色変化など、
実写映像に含まれる不要情報の除去にある。すなわち、
案内寄与情報という必要情報を強調して不要情報を目立
たなくすることに加え、ここでは、不要情報を積極的に
排除しようとするのである。

【００２６】これらの構成を採用することにより、ユー
ザにとって見やすい案内画像の提供が可能になる。ここ
までは、実写映像中に存在する案内寄与情報をＣＧ画像
として合成することによってなされる案内について説明
した。つまり、実写映像中に存在する案内寄与情報をユ
ーザに認識させることが一種の案内になるのである。

【００２７】そして、さらに有用な案内を実現するため
に、積極的に作成される案内情報を提示する構成を採用
することが考えられる。すなわち、さらに、スーパーイ
ンポーズ手段を備える構成とし、このスーパーインポー
ズ手段が、案内画像中に案内情報をスーパーインポーズ
するようにしてもよい（請求項２９）。ここでいう案内
情報は、本装置において生成してもよいし、あるいは、
外部から取得されるものとしてもよい。

【００２８】案内情報は、道路上に存在する標識や行き
先案内の情報を含むものとすることが考えられる（請求
項３０）。このような情報は、地図情報として取得する
ことが考えられる。そして、地図情報及び位置関連情報
に基づく適切なタイミングでスーパーインポーズするこ
とが考えられる（請求項３１）。適切なタイミングと
は、例えば標識に近づいた時や、その行き先案内に対応
する交差点に近づいた時とすることが考えられる。ま
た、標識や行き先案内の情報を、案内画像中の道路に対
応付けてスーパーインポーズするとよい（請求項３
２）。例えば標識を道路の側方にスーパーインポーズし
たり、行き先案内の矢印を道路上にスーパーインポーズ
したりするという具合である。このようにすれば、情報
提示の実効性が確保できる。

【００２９】また、案内情報は、ユーザに対する操作案
内の情報を含むものとすることが考えられる（請求項３
３）。ここでいう操作案内の情報には、表示画面をタッ
チパネルとして利用する場合のスイッチやメニューなど
が含まれる。このような情報は、画面下方にスーパーイ
ンポーズするとよい（請求項３４）。ドライバーズビュ
ーに対応して表示される案内画面では、進行方向前方に
対応する画面上方画像の重要性が高いからである。

【００３０】さらにまた、案内情報は、案内手段による
ルート案内の情報を含むものとすることが考えられる
（請求項３５）。本装置自身が案内手段を備える構成と
してルート案内の情報を生成してもよいが、例えば外部
のナビゲーション装置から取得するようにしてもよい。
このようなルート案内の情報は、案内手段による案内タ
イミングでスーパーインポーズすることが考えられる
（請求項３６）。

【００３１】具体的に、ルート案内の情報には、案内経
路の方向を示す矢印画像を含むものとすることが考えら
れる。このときは、当該矢印画像を案内画像中の道路上
にスーパーインポーズするとよい（請求項３７）。例え
ば、矢印画像を、交差点における直進、右折、左折をユ
ーザが認識できるよう道路に対応付けてスーパーインポ
ーズするという具合である（請求項３８）。このように
すれば、ルート案内の実効性が確保される。

【００３２】ところで、地図情報が古いものである場合
には、実写映像に地図情報にない建造物や道路が映し出
されることも考えられる。そこで、ＣＧ画像生成手段
は、撮像手段にて撮像された実写映像が地図情報と異な
る場合、当該実写映像に基づいてＣＧ画像を生成するよ
うにすることが望ましい（請求項３９）。実際に見える
景色に対応する案内画像となり、景色との対応付けが容
易になるためである。そしてこのときは、さらに、更新
手段を備える構成とし、この更新手段が、地図情報を更
新するようにしてもよい（請求項４０）。もちろん、こ
の場合、地図情報格納手段には、書き換え可能な記録媒
体を用いることが必要になる。

【００３３】また、位置関連情報を用いてＣＧ画像が生
成されることは既に述べた。しかし、例えば車両に搭載
した場合、トンネルなどを走行するときにＧＰＳからの
電波が届かず、位置関連情報が入力されない事態となる
ことがある。そこで、推定手段を備える構成とし、推定
手段が、位置関連情報が入力されない場合、撮像手段に
て撮像された実写映像に基づいて、位置関連情報を推定
するようにしてもよい（請求項４１）。例えば自車位置
や進行方向を推定するという具合である。また、車両に
搭載することを前提として、車速やステアリング角度を
含む走行関連情報に基づき、位置関連情報を推定しても
よい（請求項４２）。これらの構成は、ナビゲーション
装置との併用時に、ナビ情報を補完可能とするものであ
る。

【００３４】なお、ルート案内の情報をスーパーインポ
ーズする構成について既に述べたが、このようなルート
案内を前提とし、画像合成手段は、案内手段によるルー
ト案内が行われているときに、必要に応じて実写映像と
ＣＧ画像とを合成して前記案内画像を生成するようにし
てもよい（請求項４３）。実際に見える景色との対応付
けを容易にする本発明は、特にルート案内中の自車位置
の確認に極めて優れた効果を発揮するからである。例え
ば通常はＣＧ画像（２次元画像やバードビュー）を表示
しておき、ルート案内中の必要なときにだけ実写を合成
するのである。必要なときとは、利用者にとって案内経
路の認識が困難だと想定される場合などが挙げられる。
例えば、交差点や立体交差道路、特に入り組んだ交差
点、高速道路のインターチェンジやジャンクションなど
である。また、目的地周辺への到着時に実写映像を合成
してもよい。目的とする建物などとの対応付けが容易に
なるからである。

【００３５】以上は案内画像生成装置の発明として説明
してきたが、上述した案内画像生成装置と、案内画像を
表示する表示手段とを備える案内画像表示装置として実
現することもできる（請求項４４）。また、このような
案内画像表示装置と、地図格納手段、検出手段、案内手
段とを備えたナビゲーション装置の発明として実現する
こともできる（請求項４５）。そしてこの場合、さら
に、データ通信を行うための通信手段を備える構成と
し、通信手段を介したデータ通信によって、地図格納手
段に格納される地図情報を更新可能な構成とするとよい
（請求項４６）。また、この通信手段を介したデータ通
信によって、モデル格納手段を備える構成においては、
モデル格納手段に格納されるモデル情報を更新可能にす
ることも考えられる。これによって、古くなった地図情
報やモデル情報を簡単に最新のものとすることができ、
適切な案内画像の生成が期待できる。

【００３６】なお、上述した案内画像生成装置の少なく
ともＣＧ画像生成手段及び画像合成手段としてコンピュ
ータを機能させるプログラムの発明として実現すること
もできる（請求項４７）。少なくともとしたのは、視点
変更手段、スーパーインポーズ手段、更新手段、推定手
段などもコンピュータの機能として実現できるからであ
る。

【００３７】このようなプログラムの場合、例えば、Ｆ
Ｄ、ＭＯ、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディ
スク等のコンピュータ読み取り可能な記録媒体に記録
し、必要に応じてコンピュータにロードして起動するこ
とにより用いることができる。この他、ＲＯＭやバック
アップＲＡＭをコンピュータ読み取り可能な記録媒体と
してこのようなプログラムを記録しておき、このＲＯＭ
あるいはバックアップＲＡＭをコンピュータに組み込ん
で用いてもよい。

【００３８】

【発明の実施の形態】以下、本発明を具体化した一実施
例を図面を参照して説明する。図１は、実施例のナビゲ
ーション装置１の全体構成を示すブロック図である。ナ
ビゲーション装置１は、位置検出器２２、地図データ入
力器２４、操作スイッチ群２６、表示装置２８、スピー
カ３０、メモリ３２、通信装置３４、ビデオカメラ３
６、及び、電子制御装置（ＥＣＵ）３８を備えている位
置検出器２２は、周知のジャイロスコープ４０、車速セ
ンサ４２、および衛星からの電波に基づいて車両の位置
を検出するＧＰＳ（GlobalPositioning System）のため
のＧＰＳ受信機４４を有している。これらのセンサ等４
０，４２，４４は各々が性質の異なる誤差を持っている
ため、複数のセンサにより補間しながら使用するように
構成されている。なお、精度によっては上述した内の一
部で構成してもよく、さらに、地磁気センサ、ステアリ
ングの回転センサや各転動輪の車輪センサ等を用いても
よい。位置検出器２２によって、車両の現在位置及び移
動方向を含む位置関連情報としての位置データが検出さ
れる。したがって、この位置検出器２２が「検出手段」
に相当する。

【００３９】地図データ入力器２４は、記録媒体で構成
され、この記録媒体に格納された地図データを入力す
る。なお、地図データには、ナビゲート機能のためのマ
ップ情報に加え、道路幅、車線数、交差点、横断歩道の
有無、建造物情報、標識、行き先案内などの情報が含ま
れる。ところで、地図データが格納される記録媒体とし
ては、そのデータ量から近年ＤＶＤ−ＲＯＭを用いるの
が一般的であるが、本実施例では、後述するような地図
データの更新のため、書き換え可能な記録媒体としてハ
ードディスク装置を用いている。この地図データ入力器
２４が「地図情報格納手段」に相当する。

【００４０】操作スイッチ群２６は、ナビゲーション装
置１を操作するための各種スイッチから構成され、各種
情報をユーザが入力するための構成である。本実施例で
は、操作スイッチ群２６を構成する各種スイッチとして
は、表示装置２８と一体に構成されたタッチスイッチ
と、表示装置２８とは別のメカニカルなスイッチとを併
用している。なお、車両後部座席からの操作を可能にす
るため、リモートコントロール端末からの受信部を備え
るようにしてもよい。また、音声認識機能を設け、音声
による操作を可能にしてもよい。

【００４１】表示装置２８は、カラー表示装置であり、
その表示画面には、位置検出器２２から入力された車両
現在位置マークと、地図データ入力器２４より入力され
た平面地図データとを重ねて表示することができる。ま
た、本実施例では特に、後述するような案内画像を表示
することができる。したがって、この表示装置２８が
「表示手段」に相当する。

【００４２】スピーカ３０は、情報を音声にて利用者に
報知することができるよう構成されている。これによっ
て、表示装置２８による表示とスピーカ３０からの音声
出力との両方で、利用者にルート案内を行う。メモリ３
２は、計算された経路や地図上のメモリ地点を記憶す
る。また、案内寄与情報を３次元モデルとしてモデル化
したモデル情報を格納している。案内寄与情報は実写映
像に映る案内に寄与する情報であり、具体的には、ビ
ル、歩道橋、信号機といった建造物の３次元モデルや、
さらに、道路、横断歩道などの３次元平面モデルも格納
している。建造物の３次元モデルは、データ量を削減す
るため、直方体などでモデル化してある。したがって、
このメモリ３２が「モデル格納手段」に相当する。ま
た、ビデオカメラ３６の取り付け位置や角度などを含む
カメラパラメータを記憶している。なお、メモリ３２
は、例えばハードディスク装置や半導体メモリ装置とし
て実現することが考えられる。

【００４３】通信装置３４は、移動体通信機器である自
動車電話機や携帯電話機を用いて構成されており、この
通信装置３４を介して外部のセンタ５０との間でデータ
通信可能となっている。これによって、地図データ入力
器２４に格納された地図データやメモリ３２に格納され
たモデル情報は、例えばユーザからのリクエストによっ
て更新できるようになっている。したがって、ユーザは
地図データやモデル情報を簡単に最新のものに置き換え
ることができる。この通信装置３４が「通信手段」に相
当する。

【００４４】ビデオカメラ３６としては、計３台のカメ
ラが車体に取り付けられており、車両進行方向を撮像す
る。具体的には、フロントバンパーの両端部分に２台が
取り付けられ、ルームミラーの取付部分に残りの１台が
取り付けられている。ビデオカメラ３６からの実写映像
は、案内画像生成時には連続して電子制御装置３８に入
力される。したがって、このビデオカメラ３６が「撮像
手段」に相当する。

【００４５】電子制御装置３８は通常のコンピュータと
して構成されており、内部には、周知のＣＰＵ、ＲＯ
Ｍ、ＲＡＭ、Ｉ／Ｏおよびこれらの構成を接続するバス
ラインが備えられている。このように構成された本実施
例のナビゲーション装置１は、一般的なルート案内機能
に加え、実写映像を用いた案内画像表示を可能としたこ
とを特徴としている。

【００４６】そこで次に、この案内画像を生成する電子
制御装置３８の動作について、図２の機能ブロック図を
用いて説明する。図２に示すように、電子制御装置３８
の機能は、モデル情報読出ブロック５１、幾何学情報抽
出ブロック５２、照合・補正ブロック５３、視点変更ブ
ロック５４、ＣＧ化ブロック５５、画像処理ブロック５
６、画像合成ブロック５７、及び、スーパーインポーズ
ブロック５８として示すことができる。各ブロック５１
〜５７は、プログラムに基づくコンピュータシステムの
機能を便宜的に示すものである。以下各ブロック５１〜
５８の機能を分説する。

【００４７】モデル情報読出ブロック５１は、メモリ３
２に格納されたモデル情報としての３次元モデルを、地
図データ及び位置データに基づいて読み出す。メモリ３
２には、上述したような３次元モデルが格納されてい
る。したがって、地図データ及び位置データに基づき、
地図上の自車位置を特定し、自車の移動方向の所定範囲
に存在する３次元モデルを読み出す。ここで読み出され
た３次元モデルは、照合・補正ブロック５３へ出力され
る。

【００４８】幾何学情報抽出ブロック５２には、ビデオ
カメラ３６からの実写映像が入力される。幾何学情報抽
出ブロック５２は、地図データに対応する３次元モデル
がメモリ３２に格納されておらず、モデル情報読出ブロ
ック５１にて３次元モデルが読み出せなかった場合に機
能する。この幾何学情報抽出ブロック５２では、実写映
像中で画素値の変化が大きくなる部分をまず検索し、さ
らに、地図データ及び位置データに基づき、道路のエッ
ジ、センターライン、レーン、横断歩道、建造物の輪郭
を幾何学情報として抽出する。そして、抽出した幾何学
情報を、照合・補正ブロック５３へ出力する。

【００４９】照合・補正ブロック５３は、モデル情報読
出ブロック５１から３次元モデルが出力されると、メモ
リ３２からカメラパラメータを読み出し、地図データ及
び位置データに基づき、ドライバーズビューに合わせた
視点補正を３次元モデルに対して行う。つまり、カメラ
パラメータによってビデオカメラ３６の取り付け位置や
角度が分かるため、３次元モデルをＣＧ画像とした場合
に、ユーザがフロントガラス越しに見る実際の建造物な
どと対応させるよう、ＣＧ化のための視点を補正するの
である。これは実写映像に対してＣＧ画像を精度よく照
合させるための前処理として位置付けられる。

【００５０】また、照合・補正ブロック５３は、幾何学
情報抽出ブロック５２から幾何学情報が出力されると、
メモリ３２からカメラパラメータを読み出し、地図デー
タ及び位置データに基づき、幾何学情報を補正する。幾
何学情報は実写映像に基づいて抽出されるため、場合に
よっては、適切な抽出ができなくなることが考えられ
る。例えば道路のエッジが植え込みなどに遮られて部分
的に抽出できない場合も考えられる。そこで、照合・補
正ブロック５３において、実写映像以外の情報を用いて
幾何学情報を補正する。

【００５１】このようにして補正された３次元モデルや
幾何学情報は、視点変更ブロック５４へ出力される。な
お、以下の説明では、３次元モデル及び幾何学情報をま
とめて３次元データと呼ぶことにする。視点変更ブロッ
ク５４には、実写映像及び、照合・補正ブロック５３か
らの３次元データが入力される。そして、視点変更ブロ
ック５４では、視点変更処理を行う。このような視点変
更が可能となるのは、車両のフロントバンパーの両端及
びルームミラー取付部に計３台のビデオカメラ３６が設
けられており、２次元の実写映像から３次元の空間情報
を得ることができるからである。なお、ビデオカメラ３
６を１台だけ備える構成であっても、車両走行中にビデ
オカメラ３６から連続して入力される時間的に前後する
実写映像に基づけば、やはり２次元の実写映像から３次
元の空間情報を得ることができ、視点を変更できる。

【００５２】視点変更ブロック５４は、２次元の実写映
像を、取得した３次元空間情報に基づき、再構成して視
点を変えた映像を生成する。なお、この視点を変えた映
像も便宜上実写映像と呼ぶことにする。この視点はユー
ザによる設定が可能となっている。例えば視点変更が可
能な範囲でユーザが任意に設定できる構成としてもよい
し、いくつかの視点を用意しておき、その中からユーザ
が選択的に設定できる構成としてもよい。また、視点変
更ブロック５４は、入力された３次元データについて
も、実写映像に合わせた視点変更を行う。視点変更後の
実写映像は画像処理ブロック５６へ出力され、３次元デ
ータはＣＧ化ブロック５５へ出力される。なお、ユーザ
による視点変更設定がなされていない場合、視点変更ブ
ロック５４は、実写映像及び３次元データをそのまま出
力することになる。

【００５３】ＣＧ化ブロック５５は、３次元データから
２次元のＣＧ画像を生成する。このとき、ＣＧ化ブロッ
ク５５は、地図データ及び位置データに基づいて、３次
元データの種類を特定することにより、色分けしてＣＧ
画像を生成する。３次元モデルとしての建造物や幾何学
情報としての建造物の輪郭は、その建造物の種類にした
がって色分けされる。例えば、ビル、歩道橋、信号機と
いった建造物の機能による色分けはもちろん、ホテル、
レストラン、スポーツセンターといった施設種類による
色分けもなされる。また、道路のエッジ、センターライ
ン、レーン、横断歩道なども、色分けされてＣＧ化され
る。

【００５４】また、ＣＧ化ブロック５５は、３次元モデ
ルの輪郭を強調してＣＧ画像を生成することもできる。
このような輪郭の強調を行うか否かは、ユーザ設定に基
づいて判断する。画像処理ブロック５６は、入力された
実写映像に画像処理を施すための構成である。画像処理
には、階調処理、減色処理、領域の分割・統合処理が含
まれる。ユーザは、メニューなどからこれらの処理の実
行を選択できるものとする。特に、画像処理の実行が指
示されない場合、画像処理ブロック５６は、そのままの
実写映像を出力する。ここで、階調処理は、例えばコン
トラストを低減させる処理とすることが考えられる。ま
た、減色処理は、例えば実写映像を２５６色や１６色に
する処理であり、これによって、微妙な色の変化が取り
除かれる。領域の分割・統合処理は、例えばカットアウ
トなどのフィルタ操作によって、実写映像中の細かな領
域を大きな領域にまとめる処理であることが考えられ
る。つまり、案内に寄与しない不要情報を積極的に目立
たなくするための処理を施すことが可能となっているの
である。

【００５５】画像合成ブロック５７は、ＣＧ化ブロック
５５からのＣＧ画像と、画像処理ブロック５６からの実
写映像とを合成して案内画像を生成する。画像合成ブロ
ック５７は、ユーザによる設定に基づき、ＣＧ画像と実
写映像との合成割合を決定して画像合成を行う。

【００５６】ここで画面表示例を参照して画像合成ブロ
ック５７による画像合成について説明する。図３（ａ）
は、メモリ３２から読み出された３次元モデルに基づ
き、ＣＧ化ブロック５５にて生成されたＣＧ画像の一例
である。一方、図３（ｂ）は、画像処理ブロック５６か
ら出力される実写映像の一例である。この実写映像に
は、上述したような画像処理は施されていない。このと
き、画像合成ブロック５７は、図３（ａ）及び（ｂ）に
示されるような２つの画像を合成し、図４に示した案内
画像を生成する。

【００５７】また、画像合成ブロック５７が、ユーザに
よる設定に基づき、ＣＧ画像と実写映像との合成割合を
決定することは既に述べた。具体的には、画素値のブレ
ンディングの割合を変えることで合成割合を変更する。
例えば実写映像の合成割合が比較的高いと、図５（ａ）
に示す如くとなる。一方、ＣＧ画像の合成割合が比較的
高いと、図５（ｂ）に示す如くとなる。

【００５８】さらにまた、ＣＧ化ブロック５５では３次
元モデルの輪郭を強調してＣＧ画像を生成できるが、こ
のように輪郭が強調されたＣＧ画像と合成された案内画
像を示すのが図６である。ところで、本実施例では、メ
モリ３２に、地図データに対応する３次元モデルが格納
されていない場合に、幾何学情報抽出ブロック５２が、
幾何学情報として、道路のエッジ、センターライン、レ
ーン、横断歩道、及び、建造物の輪郭を抽出する。

【００５９】このような幾何学情報から生成されたＣＧ
画像と実写映像との合成画像を、図７に示した。この場
合に、画像処理ブロック５６にて、階調処理を施しコン
トラストを低減させた実写映像を出力すれば、合成画像
は、図８に示す如くとなる。ここで再び図２に示す機能
ブロック図の説明に戻る。

【００６０】スーパーインポーズブロック５８は、画像
合成ブロック５７から出力される案内画像に対し、案内
情報をスーパーインポーズする。案内情報には、地図デ
ータに基づく標識や行き先案内、ユーザに対する操作案
内、及び、ルート案内のための情報が含まれる。このス
ーパーインポーズブロック５８から出力される画像が、
表示装置２８を介して出力されることになる。

【００６１】例えば、上述の図４に示した案内画像に対
し、案内情報がスーパーインポーズされた様子を図９に
示した。図９では、画面の上方に行き先案内が表示され
ている。そして、本実施例では、行き先案内に対応する
交差点に近づいたときに、このような行き先案内がスー
パーインポーズされる。

【００６２】また図９では、画面のほぼ中央に、ルート
案内のための矢印が表示されている。このような矢印
は、ナビゲーション装置１のルート案内機能による案内
タイミングでスーパーインポーズされる。本実施例で
は、このような矢印を案内画像の道路上に表示するよう
にしている。

【００６３】さらに図９では、画面の下端部に、ユーザ
に対する操作案内としての操作パネルが表示されてい
る。操作パネルには「自宅」、「特別メモリ」、
「１」、「２」と示されるボタン表示がなされており、
上述したタッチパネルとしての操作スイッチ群２６に対
応する。具体的には、画面上をユーザが指で触れること
により、該当するボタンが押下されたものと判断され
て、所定の機能が実現される。このような操作パネル表
示は、案内画像の下方に常にスーパーインポーズされる
ようにしてもよいし、あるいは、ユーザ操作があったと
きにはじめてスーパーインポーズされるようにしてもよ
い。

【００６４】なお、モデル情報読出ブロック５１が「モ
デル情報読出手段」に相当し、幾何学情報抽出ブロック
５２が「幾何学情報抽出手段」に相当し、照合・補正ブ
ロック５３が「幾何学情報補正手段」及び「モデル位置
照合手段」に相当し、視点変更ブロック５４が「視点変
更手段」に相当し、ＣＧ化ブロック５５が「ＣＧ化手
段」に相当し、及び画像処理ブロック５６及び画像合成
ブロック５７が「画像合成手段」に相当し、スーパーイ
ンポーズブロック５８が「スーパーインポーズ手段」に
相当する。そして、上記ブロック５１、５２、５３、５
５、５６、５７が「ＣＧ画像生成手段」に相当する。

【００６５】次に、本実施例のナビゲーション装置１が
発揮する効果について説明する。本実施例のナビゲーシ
ョン装置１では、図２に示すように、モデル情報読出ブ
ロック５１によって地図データに対応するモデル情報が
読み出され、あるいは、地図データに対応するモデル情
報がなければ、幾何学情報抽出ブロック５２によって幾
何学情報が実写映像から抽出される。そしてこれら３次
元モデル又は幾何学情報がＣＧ化ブロック５５にてＣＧ
画像として生成され、画像合成ブロック５７で合成され
て案内画像が生成される。

【００６６】図３（ａ）に示すようなＣＧ画像をそのま
ま案内画像として用いた場合、建造物などが簡略化して
示されているため、図３（ｂ）に示す実写映像のような
実際に見える景色との対応付けが困難となる。一方、図
３（ｂ）に示すような実写映像を直接的に用いると、こ
んどは逆に、案内に必要でない情報が多くなってしま
い、適切な案内を阻害する可能性が高くなる。例えば記
号Ａで示した中央分離帯（センターライン）の植え込み
や、記号Ｂで示す街路樹などは、実際の景色との対応付
けという意味では必要な情報であるが、案内を行うとい
う意味では不要な情報といえる。

【００６７】そこで、本実施例では、画像を合成して図
４に示すような案内画像を生成する。この案内画像は、
実写映像をベースとしているため、実際の景色との対応
付けが容易になる。一方で、ＣＧ画像の合成により、案
内寄与情報である建造物や道路が認識し易くなり、案内
に寄与しない不要情報と区別できる。特に図４に示す案
内画像では、ＣＧ画像の合成により、不要情報が目立た
なくなっている。例えば、記号Ｃで示した植え込みや記
号Ｄで示した街路樹が目立たなくなっていることが分か
る。これによって、適切な案内が実現できる。

【００６８】また、本実施例では、画像合成ブロック５
７による、ＣＧ画像と実写映像との合成割合の変更が可
能となっている。これによって、図５（ａ）に示すよう
な実写映像に近い案内画像を生成することも、あるい
は、図５（ｂ）に示すような３次元モデルに基づくＣＧ
画像に近い案内画像を生成することもできる。前者にお
いては、実際の景色との対応付けが容易になるという効
果が比較的大きくなり、後者においては、適切な案内を
阻害する不要情報が目立たなくなるという効果が比較的
大きくなる。

【００６９】ところで、本実施例では、地図データに対
応する３次元モデルがメモリ３２に格納されていない場
合、実写映像から幾何学情報を抽出してＣＧ画像を生成
する。この幾何学情報に基づくＣＧ画像を合成した案内
画像は、図７に示す如くである。この場合も、建物の輪
郭、道路のエッジ、レーン、センターライン、横断歩道
がＣＧ画像として合成されるため、実写映像の中の案内
寄与情報の認識が容易になり、実際に見える景色との対
応付けが容易になると共に、適切な案内が実現される。

【００７０】このように幾何学情報を抽出することによ
ってもＣＧ画像が作成できるため、３次元モデルが用意
されていない地域を走行する場合にも適切な案内がなさ
れることになる。逆に言えば、全国各地の３次元モデル
をメモリ３２に格納しておく必要はない。したがって、
データ量の削減が図られる。さらに、本実施例では、建
造物に関して直方体などを用いた簡易なモデルで構成し
ているため、この点でもデータ量の削減が図られる。

【００７１】また、本実施例では、画像処理ブロック５
６が、ユーザ設定に応じて、実写映像に対し画像処理を
施す。この画像処理は、案内に寄与しない不要情報を目
立たないようにするための処理であり、実写映像に映る
不要情報を積極的に排除することが可能となる。例えば
図７を例に挙げて説明すると、合成する実写映像のコン
トラストを低減させることによって、図８に示すよう
に、不要情報が目立たなくなり、抽出した幾何学情報に
基づくＣＧ画像がはっきりする。したがって、適切な案
内が可能になる。

【００７２】さらにまた、本実施例では、ＣＧ化ブロッ
ク５５が、案内寄与情報を色分けしてＣＧ化する。これ
によって実写映像中の案内寄与情報が容易に認識でき、
また、複数の案内寄与情報を簡単に区別して認識するこ
とができる。具体的には、ビル、歩道橋、信号機といっ
た建造物の機能による色分けがなされるため、走行中に
目印となる建造物をはっきり認識できる。また、ホテ
ル、レストラン、スポーツセンターといった施設種類に
よる色分けもなされるため、ユーザが目的とする施設を
案内画面で探し、実際にどの建物が目的の建物かを瞬時
に把握できる。さらに、道路のエッジ、センターライ
ン、レーン、横断歩道なども色分けされるため、走行中
にセンターラインやレーン、横断歩道などを瞬時に認識
できるため、安全運転にも寄与できる。また、３次元モ
デルに基づくＣＧ化を行う際、ＣＧ化ブロック５５は、
３次元モデルの輪郭を強調してＣＧ画像を生成すること
もできる。この場合、例えば目印となる建造物の輪郭が
強調されることになり（図６参照）、さらに適切な案内
を実現できる。

【００７３】また、本実施例では、照合・補正ブロック
５３が、ＣＧ画像作成のため３次元モデルに対する視点
補正を行う。これによって３次元モデルに基づくＣＧ画
像がドライバーズビューに対応するものとでき、ＣＧ画
像の実際の景色との対応、すなわち、実写映像との照合
が正確なものとなるため、実際の景色との対応付けを瞬
時に行える可能性が高くなる。また、照合・補正ブロッ
ク５３は、幾何学情報の一部が例えば植え込みなどに隠
れて抽出されなかった場合など、抽出された幾何学情報
を適切に補正する。これによって、実写映像からであっ
ても建造物の輪郭などが確実に抽出でき、適切な案内が
実現できる。

【００７４】さらにまた、本実施例では、視点変更ブロ
ック５４により、ドライバーズビューに対応する案内画
像だけでなく、別の視点からの案内画像を生成すること
ができる。したがって、例えば交差点の多い市街地など
において右左折道路を把握する場合など、鳥瞰図に相当
するような案内画像を表示することもでき、ユーザにと
って便利である。

【００７５】また、本実施例では、スーパーインポーズ
ブロック５８が案内画像に対して案内情報をスーパーイ
ンポーズする。具体的には、図９に示すように、行き先
案内やルート案内のための矢印、操作パネルがスーパー
インポーズされる。標識や行き先案内については、その
標識に近づいた時や、その行き先案内に対応する交差点
に近づいた時にスーパーインポーズされるため、実際の
道路との対応を容易に把握できる。

【００７６】また、ルート案内のための矢印は、ルート
案内機能による案内タイミングで、案内画像の道路上に
スーパーインポーズされる。したがって、ルート案内の
実効性が確保される。さらに、操作パネルは画面の下端
部にスーパーインポーズされるため、案内を阻害するこ
とがない。車両に一番近い部分を示す案内画面の下端部
には重要な情報がないからである。

【００７７】以上、本発明はこのような実施例に何等限
定されるものではなく、本発明の主旨を逸脱しない範囲
において種々なる形態で実施し得る。 （イ）上記実施例では、地図データに対応する３次元モ
デルがない場合に、幾何学情報抽出ブロック５２が実写
映像から幾何学情報を抽出する構成であったが、３次元
モデルが存在する場合にも幾何学情報を抽出し、３次元
モデルと幾何学情報との両方から、ＣＧ化ブロック５５
がＣＧ画像を生成するようにしてもよい。特に３次元モ
デルが本実施例のような簡易モデルで構成されている場
合には、幾何学情報をも取り出してＣＧ化することによ
り、ＣＧ画像の輪郭が強調されて適切な案内画像となる
からである。

【００７８】もちろん、幾何学情報抽出ブロック５２を
備えない構成として、３次元モデルのみからＣＧ画像を
生成する構成にすることもできる。反対に、モデル情報
読出ブロック５１を備えない構成として、幾何学情報の
みからＣＧ画像を生成する構成にすることもできる。

【００７９】（ロ）上記実施例では、ルート案内のため
の矢印を案内画像の道路上に表示する。このとき、交差
点における直進、右折、左折をユーザが認識できるよう
に道路に対応付けてスーパーインポーズするとよい。例
えば図１０（ａ）に示すように、直進を示す場合には、
交差点を跨ぐような矢印（記号Ｙ１で示した）を表示す
ることが考えられる。また例えば図１０（ｂ）に示すよ
うに、左折を示す場合には、交差点で折れ曲がる矢印
（記号Ｙ２で示した）を表示することが考えられる。こ
のようにすれば、より適切なルート案内が可能になる。

【００８０】また、上記実施例では、行き先案内をスー
パーインポーズしている（図９参照）。このような行き
先案内の表示も、上述したルート案内のための矢印表示
と同様に、交差点に対応させて行うことが考えられる。
例えば図１０（ｃ）に示す如くである。このようにすれ
ば、確実な行き先案内がなされることになる。

【００８１】（ハ）ところで、ユーザのリクエストによ
って、地図データ入力器２４の地図データを、通信装置
３４を介したセンタ５０とのデータ通信により更新でき
ることは既に述べた。しかしながら、このような更新を
行われず、地図データが古いものになると、実写映像
に、地図データにない建造物や道路が映ったり、地図デ
ータにある建造物や道路が映らなかったりすることが考
えられる。このときは、実写映像を優先的に用い、ＣＧ
画像を生成するようにするればよい。実際に見える景色
に対応する案内画像となり、景色との対応付けが容易に
なるためである。さらに、このような場合は、実写映像
に基づいて、地図データ入力器２４の地図データを自動
的に更新するようにしてもよい。この場合、電子制御装
置３８が「更新手段」に相当する。

【００８２】（ニ）また、車両がトンネルを走行する場
合など、位置検出器２２のＧＰＳ受信機４４が衛星から
の信号を受信できない場合も考えられる。そこで、実写
映像に基づいて、上述した位置データを推定するような
構成とすることも考えられる。あるいは、車速センサ４
２からの車速や、さらに、ステアリングセンサを備える
構成とし、このステアリングセンサからのステアリング
角度を用いて、位置データを推定するようにしてもよ
い。これによって、ナビ情報が補間され、結果として、
適切な案内を行うことができる。この場合、電子制御装
置３８が「推定手段」に相当する。

【００８３】（ホ）上記実施例では、一般的なルート案
内機能に加え、実写映像を用いた案内画像表示を可能と
した。この実写映像を用いた案内画像表示は、ナビゲー
ション装置１によってルート案内が行われているとき
に、必要に応じてなされるようにしてもよい。実際に見
える景色との対応付けを容易にする、実写映像を用いた
案内画像表示は、特にルート案内中の自車位置の確認に
極めて優れた効果を発揮するからである。例えば通常走
行時はＣＧ画像（２次元画像やバードビュー）を表示し
ておき、ルート案内中の必要なときにだけ実写を合成す
る構成を採用することが考えられる。必要なときとは、
利用者にとって案内経路の認識が困難だと想定される場
合が挙げられる。例えば、交差点や立体交差道路、特に
入り組んだ交差点、高速道路のインターチェンジやジャ
ンクションなどである。また、目的地周辺への到着時に
実写映像を合成してもよい。目的とする建物などとの対
応付けが容易になるからである。

【図面の簡単な説明】

【図１】実施例のナビゲーション装置の全体構成を示す
ブロック図である。

【図２】電子制御装置の機能ブロック図である。

【図３】（ａ）は３次元モデルに基づくＣＧ画像を示す
説明図であり、（ｂ）は実写映像を示す説明図である。

【図４】３次元モデルに基づくＣＧ画像を用いて生成し
た案内画像を示す説明図である。

【図５】合成割合を変えた場合の案内画像を示す説明図
である。

【図６】３次元モデルに基づくＣＧ画像の輪郭を強調し
た場合の案内画像を示す説明図である。

【図７】幾何学情報に基づくＣＧ画像を用いて生成した
案内画像を示す説明図である。

【図８】実写映像に階調処理を施し生成した案内画像を
示す説明図である。

【図９】案内情報をスーパーインポーズした案内画像を
示す説明図である。

【図10】交差点に対応させた案内情報表示を示す説明図
である。

【符号の説明】

１…ナビゲーション装置 ２２…位置検出器 ２４…地図データ入力器 ２６…操作スイッチ群 ２８…表示装置 ３０…スピーカ ３２…メモリ ３４…通信装置 ３６…ビデオカメラ ３８…電子制御装置 ４０…ジャイロスコープ ４２…車速センサ ４４…ＧＰＳ受信機 ５０…センタ ５１…モデル情報読出ブロック ５２…幾何学情報抽出ブロック ５３…照合・補正ブロック ５４…視点変更ブロック ５５…ＣＧ化ブロック ５６…画像処理ブロック ５７…画像合成ブロック ５８…スーパーインポーズブロック

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０９Ｂ 29/10 Ｇ０９Ｂ 29/10 Ａ ５Ｈ１８０ Ｇ０９Ｇ 5/00 ５３０ Ｇ０９Ｇ 5/00 ５３０Ｍ 5/36 5/36 ５１０Ｂ ５１０ ５２０Ｌ 5/377 ５２０Ｐ (72)発明者 岡田 稔 愛知県春日井市松本町1200 中部大学工学 部内 Ｆターム(参考） 2C032 HB22 HC08 HC13 HC22 HC26 HC27 HC30 HC31 HD03 HD07 2F029 AA02 AB01 AB07 AB09 AC01 AC02 AC04 AC13 AC18 5B050 AA00 BA06 BA09 DA01 EA19 EA27 FA02 FA13 FA17 5B057 AA16 BA11 CA08 CA16 CB01 CB17 CE08 CH01 CH11 DA08 DA11 DA16 DA17 DB06 DC16 5C082 AA00 BA12 BA46 BB42 CA55 CA76 CB03 CB05 DA22 DA86 MM09 MM10 5H180 AA01 BB13 CC04 FF04 FF05 FF22 FF27 FF33 FF38

Claims (47)

【特許請求の範囲】
1. 【請求項１】実写映像を撮像する撮像手段と、 実写映像中の情報の中の案内に寄与する案内寄与情報を
   ＣＧ画像として生成するＣＧ画像生成手段と、 前記撮像手段にて撮像された実写映像と前記ＣＧ画像生
   成手段にて生成されたＣＧ画像とを合成して案内画像を
   生成する画像合成手段とを備えていることを特徴とする
   案内画像生成装置。
2. 【請求項２】請求項１に記載の案内画像生成装置におい
   て、 前記ＣＧ画像生成手段は、 前記撮像手段にて撮像された実写映像から前記案内寄与
   情報に対応する幾何学情報を抽出する幾何学情報抽出手
   段と、 前記幾何学情報をＣＧ化して前記ＣＧ画像を生成するＣ
   Ｇ化手段とを備えていることを特徴とする案内画像生成
   装置。
3. 【請求項３】請求項２に記載の案内画像生成装置におい
   て、 前記幾何学情報抽出手段は、地図情報及び位置関連情報
   に基づいて前記幾何学情報を抽出することを特徴とする
   案内画像生成装置。
4. 【請求項４】請求項２又は３に記載の案内画像生成装置
   において、 前記ＣＧ化手段は、地図情報及び位置関連情報に基づ
   き、前記幾何学情報を色分けしてＣＧ化することを特徴
   とする案内画像生成装置。
5. 【請求項５】請求項２〜４のいずれかに記載の案内画像
   生成装置において、 前記幾何学情報は、道路のエッジ、センターライン、レ
   ーン、横断歩道のいずれかを少なくとも含む走行路情報
   であることを特徴とする案内画像生成装置。
6. 【請求項６】請求項５に記載の案内画像生成装置におい
   て、 前記ＣＧ化手段は、前記走行路情報に含まれる各種情報
   を色分けしてＣＧ化することを特徴とする案内画像生成
   装置。
7. 【請求項７】請求項２〜６のいずれかに記載の案内画像
   生成装置において、 前記幾何学情報は、建造物の輪郭を示す建物情報である
   ことを特徴とする案内画像生成装置。
8. 【請求項８】請求項７に記載の案内画像生成装置におい
   て、 前記ＣＧ化手段は、前記建物情報を建造物の種類に応じ
   て色分けしてＣＧ化することを特徴とする案内画像生成
   装置。
9. 【請求項９】請求項２〜８のいずれかに記載の案内画像
   生成装置において、 前記ＣＧ画像生成手段は、 さらに、前記幾何学情報抽出手段にて抽出された幾何学
   情報を補正する幾何学情報補正手段を備え、 前記ＣＧ化手段は、前記幾何学情報補正手段にて補正さ
   れた幾何学情報をＣＧ化することを特徴とする案内画像
   生成装置。
10. 【請求項１０】請求項９に記載の案内画像生成装置にお
    いて、 前記幾何学情報補正手段は、地図情報及び位置関連情報
    に基づいて幾何学情報を補正することを特徴とする案内
    画像生成装置。
11. 【請求項１１】請求項９又は１０に記載の案内画像生成
    装置において、 前記幾何学情報補正手段は、撮像条件に基づいて幾何学
    情報を補正することを特徴とする案内画像生成装置。
12. 【請求項１２】請求項１に記載の案内画像生成装置にお
    いて、 前記ＣＧ画像生成手段は、 前記案内寄与情報を３次元モデルとしてモデル化したモ
    デル情報を格納するモデル格納手段と、 前記モデル格納手段から前記モデル情報を読み出すモデ
    ル情報読出手段と、 前記モデル情報をＣＧ化して前記ＣＧ画像を生成するＣ
    Ｇ化手段とを備えていることを特徴とする案内画像生成
    装置。
13. 【請求項１３】請求項１に記載の案内画像生成装置にお
    いて、 前記ＣＧ画像生成手段は、 前記撮像手段にて撮像された実写映像から前記案内寄与
    情報に対応する幾何学情報を抽出する幾何学情報抽出手
    段と、 前記案内寄与情報を３次元モデルとしてモデル化したモ
    デル情報を格納するモデル格納手段と、 前記モデル格納手段から前記モデル情報を読み出すモデ
    ル情報読出手段と、 前記幾何学情報及びモデル情報をＣＧ化して前記ＣＧ画
    像を生成するＣＧ化手段とを備えていることを特徴とす
    る案内画像生成装置。
14. 【請求項１４】請求項１３に記載の案内画像生成装置に
    おいて、 前記幾何学情報抽出手段は、前記モデル格納手段に格納
    された前記モデル情報の格納状態に基づき、前記幾何学
    情報を抽出することを特徴とする案内画像生成装置。
15. 【請求項１５】請求項１２〜１４のいずれかに記載の案
    内画像生成装置において、 前記モデル情報読出手段は、地図情報及び位置関連情報
    に基づいて前記モデル情報を読み出すことを特徴とする
    案内画像生成装置。
16. 【請求項１６】請求項１２〜１５のいずれかに記載の案
    内画像生成装置において、 前記ＣＧ化手段は、地図情報及び位置関連情報に基づい
    て前記モデル情報を色分けしてＣＧ化することを特徴と
    する案内画像生成装置。
17. 【請求項１７】請求項１２〜１６のいずれかに記載の案
    内画像生成装置において、 前記モデル情報は、建造物をモデル化した建物モデル情
    報であることを特徴とする案内画像生成装置。
18. 【請求項１８】請求項１７に記載の案内画像生成装置に
    おいて、 前記建物モデル情報とは、前記建造物を直方体を用いて
    表現したものであることを特徴とする案内画像生成装
    置。
19. 【請求項１９】請求項１７又は１８に記載の案内画像生
    成装置において、 前記ＣＧ化手段は、前記建物モデル情報を建造物の種類
    に応じて色分けしてＣＧ化することを特徴とする案内画
    像生成装置。
20. 【請求項２０】請求項１７〜１９のいずれかに記載の案
    内画像生成装置において、 前記ＣＧ化手段は、前記建物モデル情報に基づき、建造
    物の輪郭を強調してＣＧ化することを特徴とする案内画
    像生成装置。
21. 【請求項２１】請求項１２〜２０のいずれかに記載の案
    内画像生成装置において、 前記ＣＧ画像生成手段は、 前記モデル情報をＣＧ化するための視点の補正を行うモ
    デル位置照合手段を備え、 前記ＣＧ化手段は、前記モデル位置照合手段にて補正さ
    れた視点でモデル情報をＣＧ化することを特徴とする案
    内画像生成装置。
22. 【請求項２２】請求項２１に記載の案内画像生成装置に
    おいて、 前記モデル位置照合手段は、撮像条件に基づいて、前記
    ＣＧ化のための視点を補正することを特徴とする案内画
    像生成装置。
23. 【請求項２３】請求項１〜２２のいずれかに記載の案内
    画像生成装置において、 さらに、視点を変更して前記案内画像を生成するための
    視点変更手段を備えていることを特徴とする案内画像生
    成装置。
24. 【請求項２４】請求項１〜２３のいずれかに記載の案内
    画像生成装置において、 前記画像合成手段は、前記実写映像と前記ＣＧ画像との
    合成割合を変更可能であることを特徴とする案内画像生
    成装置。
25. 【請求項２５】請求項１〜２４のいずれかに記載の案内
    画像生成装置において、 前記画像合成手段は、前記実写映像に対し画像処理を施
    した後、前記ＣＧ画像と合成することを特徴とする案内
    画像生成装置。
26. 【請求項２６】請求項２５に記載の案内画像生成装置に
    おいて、 前記画像処理は、階調処理であることを特徴とする案内
    画像生成装置。
27. 【請求項２７】請求項２５又は２６に記載の案内画像生
    成装置において、 前記画像処理は、減色処理であることを特徴とする案内
    画像生成装置。
28. 【請求項２８】請求項２５〜２７のいずれかに記載の案
    内画像生成装置において、 前記画像処理は、実写映像における領域の統合・分割処
    理であることを特徴とする案内画像生成装置。
29. 【請求項２９】請求項１〜２８のいずれかに記載の案内
    画像生成装置において、 さらに、前記案内画像中に案内情報をスーパーインポー
    ズするスーパーインポーズ手段を備えていることを特徴
    とする案内画像生成装置。
30. 【請求項３０】請求項２９に記載の案内画像生成装置に
    おいて、 前記案内情報は、道路上に存在する標識や行き先案内の
    情報を含むことを特徴とする案内画像生成装置。
31. 【請求項３１】請求項３０に記載の案内画像生成装置に
    おいて、 前記標識や行き先案内の情報を、地図情報及び位置関連
    情報に基づく適切なタイミングでスーパーインポーズす
    ることを特徴とする案内画像生成装置。
32. 【請求項３２】請求項３０又は３１に記載の案内画像生
    成装置において、 前記標識や行き先案内の情報を、前記案内画像中の道路
    に対応付けてスーパーインポーズすることを特徴とする
    案内画像生成装置。
33. 【請求項３３】請求項２９〜３２のいずれかに記載の案
    内画像生成装置において、 前記案内情報は、ユーザに対する操作案内の情報を含む
    ことを特徴とする案内画像生成装置。
34. 【請求項３４】請求項３３に記載の案内画像生成装置に
    おいて、 前記操作案内の情報を、画面下方にスーパーインポーズ
    することを特徴とする案内画像生成装置。
35. 【請求項３５】請求項２９〜３４のいずれかに記載の案
    内画像生成装置において、 前記案内情報は、案内手段によるルート案内の情報を含
    むことを特徴とする案内画像生成装置。
36. 【請求項３６】請求項３５に記載の案内画像生成装置に
    おいて、 前記ルート案内の情報を、案内手段による案内タイミン
    グでスーパーインポーズすることを特徴とする案内画像
    生成装置。
37. 【請求項３７】請求項３５又は３６に記載の案内画像生
    成装置において、 前記ルート案内の情報には、案内経路の方向を示す矢印
    画像が含まれており、当該矢印画像を前記案内画像中の
    道路上にスーパーインポーズすることを特徴とする案内
    画像生成装置。
38. 【請求項３８】請求項３７に記載の案内画像生成装置に
    おいて、 前記矢印画像を、交差点における直進、右折、左折をユ
    ーザが認識できるよう道路に対応付けてスーパーインポ
    ーズすることを特徴とする案内画像生成装置。
39. 【請求項３９】請求項１〜３８のいずれかに記載の案内
    画像生成装置において、 前記ＣＧ画像生成手段は、前記撮像手段にて撮像された
    実写映像が地図情報と異なる場合、当該実写映像に基づ
    いて前記ＣＧ画像を生成することを特徴とする案内画像
    生成装置。
40. 【請求項４０】請求項３９に記載の案内画像生成装置に
    おいて、 さらに、地図情報を更新する更新手段を備えていること
    を特徴とする案内画像生成装置。
41. 【請求項４１】請求項１〜４０のいずれかに記載の案内
    画像生成装置において、 さらに、位置関連情報が入力されない場合、前記撮像手
    段にて撮像された実写映像に基づいて、位置関連情報を
    推定する推定手段を備えていることを特徴とする案内画
    像生成装置。
42. 【請求項４２】請求項４１に記載の案内画像生成装置に
    おいて、 本装置が車両に搭載されることを前提として、 前記推定手段は、車速又はステアリング角度を少なくと
    も含む走行関連情報に基づき、前記位置関連情報を推定
    することを特徴とする案内画像生成装置。
43. 【請求項４３】請求項１〜４２のいずれかに記載の案内
    画像生成装置において、 前記画像合成手段は、案内手段によるルート案内が行わ
    れているときに、必要に応じて前記実写映像と前記ＣＧ
    画像とを合成して前記案内画像を生成することを特徴と
    する案内画像生成装置。
44. 【請求項４４】請求項１〜４３のいずれかに記載の案内
    画像生成装置と、 前記案内画像を表示する表示手段とを備えることを特徴
    とする案内画像表示装置。
45. 【請求項４５】請求項４４に記載の案内画像表示装置
    と、 地図情報を格納する地図格納手段と、 現在位置を特定するための情報を少なくとも含む位置関
    連情報を検出する検出手段と、 設定された目的地までの経路を生成してルート案内を行
    う案内手段とを備えていることを特徴とするナビゲーシ
    ョン装置。
46. 【請求項４６】請求項４５に記載のナビゲーション装置
    において、 さらに、データ通信を行うための通信手段を備え、 前記通信手段を介したデータ通信によって、前記地図格
    納手段に格納される地図情報を更新可能であることを特
    徴とするナビゲーション装置。
47. 【請求項４７】請求項１〜４３のいずれかに記載の案内
    画像生成装置の少なくともＣＧ画像生成手段及び画像合
    成手段として、コンピュータを機能させるプログラム。