JP2011529569A - ナビゲーションデータを三次元で表示するコンピュータ装置および方法 - Google Patents

Abstract

本発明は、プロセッサ（１１）および当該プロセッサ（１１）へアクセス可能なメモリ（１２、１３、１４、１５）を備えるコンピュータ装置に関する。メモリは、前記プロセッサ（１１）に、（ａ）ナビゲーション情報を取得させる、（ｂ）そのナビゲーション情報に対応する画像を取得させる、（ｃ）その画像およびそのナビゲーション情報の少なくとも一部を表示させるように構成されたデータおよび命令を備えるコンピュータプログラムを備え、そのナビゲーション情報の少なくとも一部はその画像に重ね合わせられる。プロセッサ（１１）は、（ｂ１）その画像に対応する深さ情報を取得し、その深さ情報を使用してアクション（ｃ）を実行することをさらに許可される。

Description

本発明は、ナビゲーション情報を表示するコンピュータ装置、方法、コンピュータプログラム、およびそのようなコンピュータプログラムを有するデータ記憶媒体に関する。

ナビゲーションシステムは過去２０年でより大衆的となっている。長年に渡って、これらのシステムは、道路のセンターラインの単純な幾何学的表示から、ユーザをナビゲートするのを補助するために現実世界の現実的な画像／写真の提供へと進化してきた。

米国のフィリップス・コーポレーション（Ｕ.Ｓ. Ｐｈｉｌｉｐｓ Ｃｏｒｐ）による米国特許第５１１５３９８号明細書は、画像ピックアップ部、例えば車載のビデオカメラ、により生成されるローカル車両環境の前方画像を生成する工程を備えるナビゲーションデータを表示する方法およびシステムを記述している。撮像された画像は表示部に表示される。移動方向を示すナビゲーションデータから形成される指示信号がその表示された画像に重ね合わされる。組み合わせモジュールが、表示部に表示される組み合わせ信号を形成するようにその指示信号およびその環境の画像を組み合わせるために提供される。

トムトム・インターナショナル・べステーロン・フエンノートシャップ（ＴｏｍＴｏｍ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｂ. Ｖ.）による国際公開第２００６１３２５２２号もナビゲーション命令をカメラ画像に重ね合わせることを記述している。重ね合わされたナビゲーション命令の所在地とカメラ画像とを合致させるために、パターン認識技術が使用される。ナビゲーション情報を重ね合わせる代替方法が欧州特許出願公開第１７５１４９９号明細書に記述されている。

米国特許第６２８５３１７号明細書は、ローカル・シーン（ｌｏｃａｌ ｓｃｅｎｅ）の上にオーバーレイとして表示される方向情報を生成するように構成される移動車両のためのナビゲーションシステムを記述している。ローカル・シーンの情報プロバイダ、例えば移動車両に車載した使用に適応したビデオカメラによって、ローカル・シーンが提供されてもよい。ビデオカメラを調整することによって、すなわち、カメラの視覚を決定し、ある倍率によって所望の表示画面を有する投影スクリーン上に投影される全てのポイントを縮尺することによって、ローカル・シーンに方向情報がマッピングされる。また、自動車に取り付けられたカメラの地面に対する高さが測定され、それに応じて三次元ナビゲーションソフトウェアにおける視点の高さが変更される。この手順はかなり煩わしいことが理解されるだろう。また、このナビゲーションシステムは、カメラによって撮像されたローカル・シーン中に含まれる、他の車両等の、オブジェクトを処理することはできない。ナビゲーション命令を画像に重ね合わせるための先行技術の解決策はしばしばかなり正確ではない。ナビゲーション命令は、しばしばマルチに解釈可能であり、ユーザにとって分かりにくい。また、先行技術の解決策は、比較的多くのコンピュータ処理能力を必要とする。

本発明の目的は、上で認識された問題のうち少なくとも１つを取り除く方法およびコンピュータ装置を提供することである。

ある側面によれば、プロセッサおよび前記プロセッサへアクセス可能なメモリを備えるコンピュータ装置が提供され、前記メモリは、前記プロセッサに、（ａ）ナビゲーション情報を取得させる、（ｂ）前記ナビゲーション情報に対応する画像を取得させる、（ｃ）前記画像、および前記ナビゲーション情報の少なくとも一部、を表示させる、ように構成されたデータおよび命令を備えるコンピュータプログラムを備え、前記ナビゲーション情報の少なくとも一部は前記画像に重ね合わせられ、前記プロセッサは、（ｂ１）前記画像に対応する深さ情報を取得し、前記深さ情報を使用してアクション（ｃ）を実行することをさらに許可されることを特徴とする。

ある側面によれば、ナビゲーション情報を表示する方法が提供され、前記方法は、（ａ）ナビゲーション情報を取得する工程と、（ｂ）前記ナビゲーション情報に対応する画像を取得する工程と、（ｃ）前記画像、および前記ナビゲーション情報の少なくとも一部を表示する工程と、を備え、前記ナビゲーション情報の少なくとも一部は、前記画像に重ね合わされ、前記方法は、（ｂ１）前記画像に対応する深さ情報を取得して、前記深さ情報を使用してアクション（ｃ）を実行する工程をさらに備えることを特徴とする。

これらの側面は、ナビゲーション上尾法および画像を、総合的且つユーザフレンドリーな方法で提供する簡便且つ正確な方法を提供する。

ある側面によれば、前記コンピュータ装置に上記に従った方法を実行させるのを許可する、コンピュータ装置によってロードされ得るデータおよび命令を備えるコンピュータプログラムが提供される。

ある側面によれば、そのようなプログラムを備えるデータ記憶媒体が提供される。

実施形態は、高性能且つコンピュータの時間を消費するパターン認識技術を使用する必要なしに、ナビゲーション情報を画像に重ね合わせるための簡便に適用可能な解決策を提供する。より良く解釈可能な組み合わせ画像を提供するために、他の車両、歩行者、および同様のもの等の、画像中に含まれる一時的なオブジェクトを考慮に入れることを提供する。

本発明は、本発明の実施形態を示すことのみが意図されるが、その範囲を限定するものではない、いくつかの図面を参照して詳細に説明されるだろう。本発明の範囲は、付属の請求項およびその技術的均等物によって定義される。

図１は、コンピュータ装置を概略的に描写する。 図２は、実施形態に従ったフロー図を概略的に描写する。 、 図３ａおよび３ｂは、実施形態に従った画像および深さ情報を概略的に描写する。 図４は、実施形態に従ったフロー図を概略的に描写する。 、 、 、 、 、 、 、 、 図５ａ、５ｂ、６ａ、６ｂ、７ａ、７ｂ、８ａ、８ｂおよび９は組み合わせ画像を概略的に描写する。

以下で提供される実施形態は、ユーザフレンドリーなビューを与えるためにナビゲーション装置において例えば画像およびナビゲーションデータを組み合わせる方法を記述する。システムは、ナビゲーション命令をユーザに提供する、より直観的な方法を提供する。実施形態は、例えばナビゲーション装置の周囲、および、左折を示す矢印等の重ね合わされたナビゲーション命令を示す、より良い画像統合を提供するために三次元情報（深さ情報）を使用する。深さ情報は、ナビゲーション情報を画像に重ね合わせる時に、車両または建物等の画像におけるオブジェクトを決定し、これらのオブジェクトを考慮するために使用され得る。深さ情報を使用することによって、二次元情報を使用するのみである、複雑なパターン認識技術を適用する必要がなくなる。この方法は、よりユーザフレンドリーな結果を取得する一方で、比較的重い計算が抑えられる。このことを達成するために、ある実施形態によれば、ナビゲーション情報は、ナビゲーション情報の外観を変更することが可能な方法で画像上に描かれ、その結果、視認可能なオブジェクトの後ろにあるべき部分は、視認可能なオブジェクトの前にある部分とは異なる方法で描かれる。

さらにその上、道路回廊（例えば障害物、信号、交通標識等）に配置されるオブジェクトの視認性を向上させることを許可する方法で、画像は予め処理されてもよい。深さ情報は、ナビゲーション装置に取り付けられた、または、（例えば車両に取り付けられた）ナビゲーション装置によってアクセス可能な、三次元カメラを使用して提供されてもよく、または、深さ情報は、ナビゲーション装置または車両の現在の位置および方向についての情報を使用して、外部ソース（例えば画像データベース）からダウンロードされてもよい。ここで記述される実施形態は、ナビゲーション装置として機能するように構成されたコンピュータ装置によって全て実行されてもよい。

コンピュータ装置
図１では、実施形態を実行するために適した、可能性があるコンピュータ装置１０の外観が与えられる。コンピュータ装置１０は算術演算を実行するためのプロセッサ１１を備える。

プロセッサ１１は、ハードディスク１２、読み出し専用メモリ（ＲＯＭ）１３、電気的消去可能ＲＯＭ（ＥＥＰＲＭ）１４、およびランダム・アクセス・メモリ（ＲＡＭ）１５を含む、複数のメモリ構成要素と接続されてもよい。これらのメモリの種類の全ては必ずしも備える必要はない。さらにその上、これらのメモリ構成要素は、物理的にプロセッサ１１の近くに位置している必要はなく、プロセッサ１１から離れて配置されてもよい。

プロセッサ１１は、キーボード１６、およびマウス１７のように、ユーザにより命令、データ等を入力する手段と接続されてもよい。当業者にとって既知である、タッチスクリーン、トラックボール、および／または音声変換器等の、他の入力手段も備えてもよい。

プロセッサ１１と接続された読み出し部１９が提供される。読み出し部１９は、フロッピーディスク２０またはＣＤＲＯＭ２１のようなデータ記憶媒体からデータを読み出し、場合によってはそのデータ記憶媒体にデータを書き込むように、構成される。他のデータ記憶媒体は、当業者にとって既知であるように、テープ、ＤＶＤ、ＣＤ−Ｒ，ＤＶＤ−Ｒ、メモリースティック等であってもよい。

プロセッサ１１は、ディスプレイ１８、例えばモニターまたはＬＣＤ（液晶ディスプレイ）スクリーン、または当業者にとって既知である他の種類のディスプレイと接続されてもよいだけではなく、出力データを紙にプリントするプリンタ２３と接続されてもよい。プロセッサ１１は、スピーカ２９と接続されてもよい。

コンピュータ装置１０は、以下でより詳細に説明されるように、ビデオカメラ、三次元カメラ、ステレオカメラまたはあらゆる他の適した既知のカメラシステム等の、カメラＣＡをさらに備えてもよく、または、カメラＣＡと通信するように構成されてもよい。コンピュータ装置１０は、プロセッサ１１による使用のための現在位置等についての位置情報を決定する測位システムＰＳをさらに備えてもよい。位置システムは、以下のうち１つ以上を備えてもよい。

・ＧＰＳ（グローバル・ポジショニング・システム）部等の全地球的航法衛星システム（ＧＮＳＳ）。

・１つ以上のホイール２の回転数を感知することによって自動車が移動した距離を測定するオドメータ（走行距離計）等のＤＭＩ（距離測定機器）。

・回転加速度を測定するように構成された３つのジャイロ部、および、３つの直交方向に沿った３つの並進加速装置等の、ＩＭＵ（慣性計測装置）。

プロセッサ１１は、入力／出力手段２５によって、ネットワーク２７、例えば公衆交換電話網（ＰＳＴＮ）、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット等と接続されてもよい。プロセッサ１１は、ネットワーク２７を介して他の通信装置と通信するように構成されてもよい。これらの接続は、車両はストリートを縦断する間にデータを収集するので、リアルタイムに全てが接続されていないかもしれない。

データ記憶媒体２０、２１は、実施形態に従った方法を実行する機能をプロセッサに提供するように構成されたデータおよび命令の形式でコンピュータプログラムを備えてもよい。しかしながら、そのようなコンピュータプログラムは、あるいは、通信ネットワーク２７を介してダウンロードされてもよい。

プロセッサ１１は、スタンドアロン（独立型）システムとして、または、大型コンピュータのサブタスクを実行するようにそれぞれが構成された複数の並行動作プロセッサとして、実施されてもよい。本発明の機能の一部は、ネットワーク２７を介してプロセッサ１１と通信する遠隔プロセッサによって実行されてもよい。

自動車の中で適用される場合、コンピュータ装置１０は図１に示される全ての構成要素を有する必要がないことが観察される。例えば、その場合コンピュータ装置１０はスピーカおよびプリンタを有する必要はない。自動車の中での実施に関する限り、コンピュータ装置１０は少なくとも、プロセッサ１１、適当なプログラムを格納するいくつかのメモリ、および操作者から命令およびデータを受信し、操作者に出力データを示すいくつかの種類のインタフェースを備えてもよい。このコンピュータ装置１０はナビゲーション装置として機能するように構成されてもよいことが理解されるだろう。

カメラ／深さセンサ
この文脈で使用される画像という用語は、交通状況の、写真等の、画像に言及している。これらの画像は、フォトカメラまたはビデオカメラ等の、カメラＣＡを使用することによって取得されてもよい。カメラＣＡはナビゲーション装置の一部であってもよい。

しかしながら、カメラＣＡはナビゲーション装置から離れて提供されてもよく、ナビゲーション装置と通信するように構成されてもよい。ナビゲーション装置は、画像を撮像するためにカメラＣＡに命令を送信するように構成されてもよく、カメラＣＡからそのような画像を受信するように構成されてもよい。同時に、カメラＣＡはナビゲーション装置から命令を受信するとすぐに画像を撮像し、この画像をナビゲーション装置に送信するように構成されてもよい。カメラＣＡおよびナビゲーション装置は、通信するために、例えばブルートゥースを使用して、通信リンクをセットアップするように構成されてもよい。カメラＣＡは、画像および深さ情報を撮像するように構成されている三次元カメラ３ＣＡであってもよい。三次元カメラ３ＣＡは、例えば、２つのレンズシステム、および、処理部を備えるステレオカメラ（立体視）であってもよい。そのようなステレオカメラは、異なる透視地点から撮られたおおよそ同じ画像を提供して、同時に２つの画像を撮像してもよい。この差異は、深さ情報を計算する処理部によって使用され得る。三次元カメラ３ＣＡの使用は、画像および深さ情報を同時に提供し、深さ情報は実質的に画像の全ての画素に対して適用可能である。

さらなる実施形態によれば、カメラＣＡは単一のレンズシステムを備えるが、一連の画像を解析することによって深さ情報を読み出す。カメラＣＡは、連続した時間に少なくとも２つの画像を撮像するように構成され、各画像は、異なる透視地点から撮られたおおよそ同じ画像を提供する。この場合も先と同様に、視点の差異は、深さ情報を計算するために使用され得る。これを行うために、ナビゲーション装置は、異なる画像間の視点の差異を計算するために測位システムからの位置情報を使用する。この実施形態は、この場合も先と同様に、画像および深さ情報を同時に提供し、深さ情報は、実質的に画像の全ての画素に対して利用可能である。

さらなる実施形態によれば、深さ情報は、ナビゲーション装置を備える、または、深さ情報をナビゲーション装置に提供するように構成された、１つ以上の（レーザの）スキャナ（不図示）等の深さセンサを使用することによって取得される。レーザスキャナ３（ｊ）は、周囲に関する深さ情報を備える、レーザサンプルを得、建築用ブロック、木、標識、停車中の自動車、人々等に関する深さ情報を含んでもよい。レーザスキャナ３（ｊ）は、マイクロプロセッサμＰとも接続されてもよく、これらのレーザサンプルをマイクロプロセッサμＰへ送信してもよい。

さらなる実施形態によれば、深さ情報は、ナビゲーション装置を備える、または、深さ情報をナビゲーション装置に提供するように構成された、１つ以上の（レーザの）スキャナ（不図示）等の深さセンサを使用することによって取得される。レーザスキャナ３（ｊ）は、周囲に関する深さ情報を備える、レーザサンプルを得、建築用ブロック、木、標識、停車中の自動車、人々等に関する深さ情報を含んでもよい。レーザスキャナ３（ｊ）は、マイクロプロセッサμＰとも接続されてもよく、これらのレーザサンプルをマイクロプロセッサμＰへ送信してもよい。

ある実施形態によれば、プロセッサ１１およびプロセッサ１１へアクセス可能なメモリ１２、１３、１４、１５を備えるコンピュータ装置１０が提供され、メモリは、プロセッサ１１に、（ａ）ナビゲーション情報を取得させる、（ｂ）そのナビゲーション情報に対応する画像を取得させる、（ｃ）その画像、およびそのナビゲーション情報の少なくとも一部、を表示させる、ように構成されたデータおよび命令を備えるコンピュータプログラムを備え、そのナビゲーション情報の少なくとも一部は画像に重ね合わせられ、プロセッサ１１は、（ｂ１）その画像に対応する深さ情報を取得し、その深さ情報を使用してアクション（ｃ）を実行することをさらに許可される。

コンピュータ装置１０は、図１を参照して上述のように説明したコンピュータ装置と一致してもよい。コンピュータ装置１０は、手持ちサイズのナビゲーション装置または内蔵型のナビゲーション装置等のナビゲーション装置であってもよい。メモリは、ナビゲーション装置の一部であってもよく、遠隔に配置されてもよく、またはこの２つの可能性の組み合わせであってもよい。

従って、ナビゲーション情報を表示する方法が提供され、その方法は、（ａ）ナビゲーション情報を取得する工程と、（ｂ）そのナビゲーション情報に対応する画像を取得する工程と、（ｂ１）その深さ情報を使用してアクション（ｃ）を実行するために、その画像に対応する深さ情報を取得する工程と、（ｃ）その画像、およびそのナビゲーション情報の少なくとも一部を表示する工程と、を備え、そのナビゲーション情報の少なくとも一部は、その画像に重ね合わせられる。その方法は、必ずしもこの特定の順序で実行される必要はないことが理解されるだろう。

ここで記述されるアクションは、ループで実行されてもよく、すなわち、予め定められた時間間隔で、または、ある動きが検出された後またはある距離が移動した後に、等の予め定められた時間で繰り返されてもよいことが理解されるだろう。ループは、拡張された画像が十分に更新されることを確実にするかもしれない。

実際、画像はビデオ供給の一部であってもよい。その場合、アクションは、滑らかで一貫したビューをユーザに提供するために少なくとも十分な頻度で、そのビデオ供給のそれぞれの新しい画像に対して実行されてもよい。

ある実施形態によれば、アクション（ａ）はナビゲーション機能を実行する工程を備え、そのナビゲーション機能は、ナビゲーション情報を出力として生成し、そのナビゲーション情報は、
ナビゲーション命令、
デジタルマップデータベースの選択、
名称、
標識、
道路配置、
建物、
建物の外観、
駐車場、
関心地点、
インジケータ、
のうちの少なくとも１つを備える。

ナビゲーション情報は、実行されるべきあるターンまたは操作を示す矢印等の、あらゆる種類のナビゲーション命令を備えてもよい。ナビゲーション情報は、デジタルマップデータベースの選択、すなわち、移動方向に見られる現在位置の近くを示すデータベースにおけるレンダリングされる画像またはオブジェクトの選択等の、デジタルマップデータベースの選択をさらに備えてもよい。デジタルマップデータベースはストリートの名称、都市の名称等の名称を備えてもよい。ナビゲーション情報は、交通標識（一時停止の道路標識、道路標識）または広告パネルの表現を示す、例えば絵文字等の標識も備えてもよい。さらにその上、ナビゲーション情報は、場合により、車線、道路の配置の表現である、線状配列（ｌｉｎｅａｔｉｏｎ）（車線分割線、車線区分線）、例えば道路におけるオイルまたは砂などの道路無効化、道路における穴、スピードランプ等の道路上のオブジェクト、および、店、博物館、レストラン、ホテル等の関心地点を備える、道路配置を備えてもよい。ナビゲーション情報は、表示された場合に、ユーザ指向を補助するために表示されてもよい建物または建物の外観を示す画像等の、彼／彼女をナビゲートするのを補助する情報をユーザに提供するあらゆる他の種類のナビゲーション情報を備えてもよいことが理解されるだろう。また、ナビゲーション情報は、駐車場を示す指標を備えてもよい。ナビゲーション情報は、ユーザの注意を画像中のあるオブジェクトに引き付けるために重ね合わされたインジケータであってもよい。インジケータは、ユーザの注意をその交通標識に引き付けるために、例えば交通標識の周囲において重ね合わされた円形または正方形であってもよい。

コンピュータ装置は、ユーザ指向およびナビゲートを補助するために全ての種類のナビゲーション情報を計算するかもしれないナビゲーション機能を実行するように構成されてもよい。ナビゲーション機能は、測位システムを使用して現在位置を決定してもよく、その現在位置に対応するデジタルマップデータベースの一部を表示する。ナビゲーション機能は、ストリートの名称、関心地点についての情報等の、表示されるべき現在位置と関連付けられたナビゲーション情報を読み出す工程をさらに備えてもよい。

ナビゲーション機能は、スタート住所または現在位置から、特定の目的地までのルートを計算する工程と、表示されるべきナビゲーション命令を計算する工程とをさらに備えてもよい。ある実施形態によれば、画像は、ナビゲーション情報が関連している位置の画像である。よって、特定のジャンクションで取られるべき右折を示す矢印である場合、画像はそのジャンクションのビューを提供してもよい。実際、画像は、ユーザがそのジャンクションに近づいている視野方向に見られるようなジャンクションのビューを提供してもよい。

コンピュータ装置がメモリまたは遠隔メモリからそのような画像を取得するように構成される場合、コンピュータ装置は、正確な画像を選択するために位置情報を使用してもよい。各画像は、対応する位置情報と関連して格納されてもよい。位置情報に加えて、方向情報が、ユーザの視野方向または移動方向に対応する画像を選択するために使用されてもよい。

ある実施形態によれば、アクション（ｂ）はカメラから画像を取得する工程を備える。方法は、内蔵型カメラが生成する画像を備えるナビゲーション装置によって実行されてもよい。方法は、遠隔カメラから画像を受信するように構成されたナビゲーション装置によって実行されてもよい。遠隔カメラは例えば車両に取り付けられたカメラであってもよい。

それ故、コンピュータ装置は、カメラを備えてもよく、またはカメラにアクセスしてもよく、アクション（ｂ）はカメラから画像を取得する工程を備えてもよい。さらなる実施形態によれば、アクション（ｂ）は、メモリから画像を取得する工程を備える。メモリは画像のデータベースを備えてもよい。画像は、正確な画像すなわちナビゲーション情報に対応する画像の選択を許可するために、ナビゲーション装置の位置情報および方向情報と関連して格納されてもよい。メモリは、方法を実行するコンピュータ装置（例えばナビゲーション装置）により備えられてもよく、またはそのコンピュータ装置（例えばナビゲーション装置）によってアクセス可能であってもよい。

コンピュータ装置は、従って、メモリから画像を取得するように構成されてもよい。

ある実施形態によれば、アクション（ｂ）で取得される画像は、アクション（ｂ１）での使用のための、その画像に対応する深さ情報を備える。これは、図３ａおよび３ｂを参照して以下でより詳細に説明されるだろう。

ある実施形態によれば、アクション（ｂ）は、三次元カメラから画像を取得する工程を備える。三次元カメラは画像および深さ情報を同時に撮像するように構成されてもよい。上述のように、深さ情報を提供するために２つのレンズを有するカメラを使用して、立体視として既知の技術がこのために使用されてもよい。代替によれば、深さセンサ（例えば、レーザスキャナ）を備えるカメラがこのために使用されてもよい。それ故、コンピュータ装置１０は三次元カメラ（ステレオカメラ）を備えてもよく、アクション（ｂ）はその三次元カメラから画像を取得する工程を備えてもよい。

ある実施形態によれば、アクション（ｂ１）は、一連の画像を解析することによって深さ情報を読み出す工程を備える。これを実行するために、アクション（ｂ）は、（通常のカメラ、すなわち非三次元カメラを使用して）異なる位置と関連付けられた少なくとも２つの画像を取得する工程を備えてもよい。よって、アクション（ｂ）は、１以上の画像を撮像するために、または、メモリから１以上の画像を読み出すために、カメラまたは同様のものを使用する工程を備えてもよい。アクション（ｂ１）は、前のアクション（ｂ）で取得された画像を取得する工程を備えてもよい。一連の画像は解析され、画像の範囲内の異なる領域および／または画素に対する深さ情報を取得するために使用されてもよい。

従って、コンピュータ装置（例えばナビゲーション装置）は、一連の画像を解析することによって深さ情報を読み出す工程を備えるアクション（ｂ１）を実行するように構成されてもよい。ある実施形態によれば、アクション（ｂ１）は、三次元マップデータベース等のデジタルマップデータベースから深さ情報を読み出す工程を備える。三次元マップデータベースは、ナビゲーション装置のメモリに格納されてもよく、または、（例えばインターネットまたは携帯電話ネットワークを使用して）ナビゲーション装置によってアクセス可能な遠隔メモリに格納されてもよい。三次元マップデータベースは、道路ネットワークについての情報、ストリートの名称、一方通行道路、関心地点（ＰＯＦ）等を備えてもよいが、所在地についての情報や、建物、建物の入口／出口、木等のオブジェクトの三次元形状も含む。カメラの現在の位置および方向を組み合わせて、ナビゲーション装置は特定の画像と関連付けられた深さ情報を計算し得る。車両またはナビゲーション装置に取り付けられたカメラから画像が取得される場合、カメラまたは車両からの位置情報および方向情報が必要とされる。これは、適当な慣性計測装置（ＩＭＵ）および／またはＧＰＳを使用することによって、および／またはこれのために適したあらゆる他の装置を使用することによって、提供されてもよい。

従って、コンピュータ装置（例えばナビゲーション装置）は、デジタルマップデータベースから深さ情報を読み出す工程を備えるアクション（ｂ１）を実行するように構成されてもよい。デジタルマップデータベースは、メモリに格納された三次元マップデータベースであってもよい。

深さ情報を読み出すためにデジタルマップデータベースを使用する場合、深さ情報を計算し、これを画像に十分な精度でマッピングすることができるために、正確な位置情報および方向情報が要求されることが理解されるだろう。

ある実施形態によれば、アクション（ｂ１）は深さセンサから深さ情報を取得する工程を備える。これは、コンピュータ装置と通信するように構成された内蔵型深さセンサまたは遠隔深さセンサであってもよい。何れにしても、深さ情報は画像にマッピングされなければならない。

一般に、画像への深さ情報のマッピングは、図４を参照して以下で詳細に説明されるアクション（ｃ１）および／またはアクション（ｃ３）で行われる。

図３ａは、アクション（ｂ）で取得されてもよい画像を示し、図３ｂは、アクション（ｂ１）で取得されてもよい深さ情報を示す。深さ情報は図３ａに示される画像に対応する。図３ａおよび図３ｂに示される画像および深さ情報は、三次元カメラを使用して取得されるが、通常のカメラを使用して、または、適切に統合された、カメラおよび、レーザスキャナまたはレーダの組み合わせを使用して取得された一連の画像を解析することによって構成されてもよい。図３ａおよび３ｂに見られるように、これは必要条件ではないことが理解されるが、実質的に各画像の画素の深さ情報が利用可能である。

画像およびナビゲーション情報の直観的統合を達成するために、ジオ変換モジュールが提供されてもよく、それは画像の透視と合致させるための透視変換を使用して、ナビゲーション情報を変換するために、現在の位置および方向についての情報、画像の位置および深さ情報を使用してもよい。

画像および深さ情報は、（三次元カメラ、外部データベースまたは一連の画像等の）ソースから得られ、深さ情報解析モジュールによって使用される。深さ情報解析モジュールは、深さ情報を使用して画像における領域を識別する。そのような領域は、例えば建物、道路表面、交通信号等に関してもよい。

深さ情報解析モジュールおよびジオ変換モジュールの結果は、画像および重ね合わされたナビゲーション情報の組み合わせである、組み合わせ画像を構成する構成モジュールによって使用される。構成モジュールは、異なる領域に対する異なるフィルタおよび／または異なる透明性を使用して、ジオ変換されたナビゲーション情報を用いて深さ情報解析モジュールから領域を１つにまとめる。組み合わせ画像はナビゲーション装置のディスプレイ１８に出力されてもよい。

図４は、実施形態に従ったフロー図である。図４は、図２に関して上述したようにアクション（ｃ）のより詳細な実施形態を提供する。

図４に示されるモジュールは、ソフトウェアモジュールだけでなくハードウェアモジュールであってもよいことが理解されるだろう。

図４は、図２を参照して上述したようなアクション（ａ）、（ｂ）および（ｂ１）を示し、より詳細に示されるアクション（ｃ）が後に続かず、アクション（ｃ１）、（ｃ２）および（ｃ３）を備える、
ある実施形態によれば、アクション（ｃ）は、ナビゲーション情報に関してジオ変換アクションを実行する（ｃ１）を備える。

このジオ変換アクションは、ナビゲーション情報が正確な方法で画像に重ね合わされることを確実にするために、ナビゲーション情報（例えば矢印）に関して実行される。これを達成するために、ジオ変換アクションは、例えば、画像を取得するために使用される現実世界位置、方向およびカメラの較正係数を有する、二次元画像座標への三次元ナビゲーション情報からの透視投影を実行して、画像と関連付けられた局所座標にナビゲーション情報を変換する。言い換えると、画像は、あらゆる三次元ポイントが投影され得る、三次元リアリティに配置され、方向づけられた面である。ナビゲーション情報を局所座標に変換することによって、ナビゲーション情報の形状が、画像の透視ビューと合致するように適合される。当業者は、三次元リアリティの二次元画像への（例えばｘ、ｙ、ｚからｘ、ｙへの）透視投影のように、どのようにしてそのようなローカル座標への変換が実行され得るか、を理解するだろう。

また、ナビゲーション情報を局所座標へ変換することによって、ナビゲーション情報が正確な位置で画像に重ね合わされることが保証される。

このジオ変換アクションを実行するために、以下の入力が使用されてもよい。

−深さ情報、
−ナビゲーション情報、
−位置および方向情報。

場合により、カメラ較正情報は入力としても使用されてもよい。よって、ある実施形態によれば、（ｃ）は、（ｃ１）ナビゲーション情報に関してジオ変換アクションを実行する工程を備え、ジオ変換アクションは、ナビゲーション情報を局所座標に変換する工程を備える。これを実行することによって、ナビゲーション情報の方向だけでなく位置も、画像の透視に適合される。深さ情報を使用することによって、丘、傾斜、ナビゲーション装置／カメラの方向等を考慮して、局所座標へのこの変換が正確に実行される。

アクション（ｃ１）は、慣性計測装置（ＩＭＵ）等の、さらなる位置／方向システムからの入力を使用することによる、さらにより正確な方法で実行されてもよい。そのようなＩＭＵからの情報は、ジオ変換アクションの結果を確認するおよび／または改良するための追加の情報源として使用されてもよい。

従って、コンピュータ装置は、（ｃ１）ナビゲーション情報に関してジオ変換アクションを実行する工程、を備えるアクション（ｃ）を実行するように構成されてもよい。

アクション（ｃ１）は「標準」座標から局所座標へナビゲーション情報を変換する工程を備えてもよい。

さらなる実施形態によれば、アクション（ｃ）は、（ｃ２）深さ情報解析アクションを実行する工程、を備える。この深さ情報解析アクションを実行するために、深さ情報が入力として使用される。

ある実施形態によれば、アクション（ｃ２）は、画像における領域を識別する工程と、画像におけるそれぞれ識別された領域に対して、ナビゲーション情報を表示する方法を適合させる工程と、を備える。

深さ情報を使用することによって、異なる領域を識別することが比較的容易になる。深さ情報において、三次元ポイント群が識別され得、比較的単純なパターン認識技術が、そのような点群がどのような種類の（車両、通行人、建物等の）オブジェクトを表すのかを識別するために使用されてもよい。

例として、深さ情報の使用無しに画像において交通標識を識別しようと試みる場合、ある形状を有し、ある色を有する、画像の範囲内における領域を認識するために、パターン認識技術が使用されるだろう。深さ情報が使用される場合、交通標識は、深さ情報において、実質的に同じ深さ情報（例えば８,５６ｍ）を有する画素の集合を検索することによってはるかに容易に識別され得、一方、深さ情報におけるその画素集合の周囲は実質的により高い深さ情報（例えば３４,６２ｍ）を有する。

深さ情報の範囲で交通標識がひとたび識別されると、画像における対応する領域も容易に識別され得る。

深さ情報を使用して異なる領域を識別する工程は多くの方法で行われ得、そのうちの１つは、深さ情報が可能性のある交通標識を識別するために使用される、以下の例を通じて説明されるだろう。

例えば、第１のアクションにおいて、ナビゲーション装置または道路からあまりにも遠い全ての深さ情報画素が除外される。

第２のアクションにおいて、平面オブジェクト、すなわち、実質的に同じ距離（深さ値、例えば２８ｍ）を有し、従って表面を与える、深さ情報画素の集合を検索するために、残りのポイントにおいて検索が行われてもよい。

第３のアクションにおいて、識別された平面オブジェクトの形状が決定されてもよい。形状が（円形の、長方形の、三角形の、等の）予め定められた形状に対応する場合、平面オブジェクトは交通標識として識別される。もしそうでないなら、識別された平面オブジェクトは標識であるとは見なされない。同様のアプローチが他のオブジェクトを識別する工程に使用され得る。

例えば、車両を認識するために、ある次元（高さ／幅）を有する点群に対して検索が行われてもよい。大型建物（図１０ａ、１０ｂ参照）の一部である店を認識するために、道路と垂直であり、建物の外形の範囲内のある所在地にある平面オブジェクトに対して検索が行われてもよい。建物の範囲内のある所在地は、前もってメモリに格納されてもよく、デジタルマップデータベースの一部であってもよい。

上述したように、画像に適用される画像認識技術は、深さ情報を使用した領域の識別に加えて、またはその領域の識別と共同して実施されてもよい。画像に適用されるこれらの画像認識技術は、
−画像分割、
−パターン認識、
−動的輪郭（ａｃｔｉｖｅ ｃｏｎｔｏｕｒ）、
−形状の検出、形状係数、
等のあらゆる既知の適切なアルゴリズムを使用してもよい。

ある領域に対して、深さ情報解析アクションは、ナビゲーション情報が、その特定の領域における画像によって表示されたオブジェクトの背後にあることを提案するために、ナビゲーション情報を透明な方法で表示すること、または、画像におけるその領域に対して少しもナビゲーション情報を表示しないことを決定してもよい。ある領域は、例えば交通信号または車両または建物であってもよい。ナビゲーション情報を透明な方法で表示することによって、または、ナビゲーション情報を全く表示しないことによって、よりユーザフレンドリー且つ直観的なビューがユーザに対して創出される。

それ故、コンピュータ装置は、深さ情報解析アクションを実行する工程（ｃ２）を備える、アクション（ｃ２）を実行するように構成されてもよい。

アクション（ｃ２）は、画像における領域を識別する工程と、画像におけるそれぞれ識別された領域に対してナビゲーション情報を表示する方法を適合させる工程と、を備えてもよい。

アクション（ｃ１）および（ｃ２）はお互い同時にまたは相互作用して実行されてもよいことが理解されるだろう。言い換えると、深さ情報解析モジュールおよびジオ変換もモジュールは、相互作用して動作してもよい。そのような相互作用の例は、深さ情報解析モジュールおよびジオ変換モジュールの両方が、深さ情報に基づいてピッチ情報およびスロープ情報を計算してもよいことである。そこで、同一のピッチ値およびスロープ値を両方計算する代わりに、モジュールのうちの１つはスロープおよび／またはピッチを計算してこれを使用してもよく、両方の結果が一貫しているかどうかを確認するための追加の情報源である。

最後に、アクション（ｃ３）において、組み合わせ画像が計算され、例えばナビゲーション装置のディスプレイ１８に出力される。これは、構成モジュールによって行われてもよい。

図５ａは、深さ情報を使用せずにナビゲーション装置によって提供されてもよい結果ビューを描写しており、すなわちナビゲーション情報を二次元画像上に描画している。図５ａによれば、ナビゲーション情報は、すなわち右折矢印は、右の建物を通って移動することを提案しているように見える。

図５ｂは、上述のような方法を実行する場合にナビゲーション装置によって提供されてもよい結果ビューを描写している。深さ情報を使用することによって、車両および標識だけでなく、右の建物等のオブジェクトも認識することが可能となる。従って、ナビゲーション情報は、オブジェクトの背後に隠され得、または高度の透明性で描画され得る。

実施形態は、あいまいな操作決定等の、可能性のあるあいまいなナビゲーション命令を提供する可能性を低下させる。実施形態に従った深さ情報を使用せずにナビゲーション装置によって提供されてもよい組み合わせ画像を描写する図６ａを参照されたい。実施形態に従った深さ情報を使用することによって、ユーザが第１番目の右折ではなく、第２番目の右折をすべきことを明確に示す、図６ｂに示されるような組み合わせ画像が示されてもよい。

実施形態の別の利点は、ジオ変換アクションが（矢印等の）ナビゲーション情報を再形成することを許可するという事実である。これが行われない場合、図７ａに示されるような組み合わせ画像が生じるが、一方で、ジオ変換アクション／モジュールの使用は、図７ｂに示されるような矢印がより良く実際の道路表面をたどっている組み合わせ画像に帰結するかもしれない。ジオ変換アクション／モジュールは、画像を撮像するカメラの方向によって引き起こされてもよい、スロープの影響およびピッチの影響を除去する。図７ｂの例では、可能ではあるけれども、矢印は建物の背後に隠されていないことが留意される。

上述したように、ナビゲーション情報は道路配置を備える。図８ａは、実施形態に従った深さ情報を使用せずにナビゲーション装置によって提供されてもよい組み合わせ画像を示す。図に示すように、車両または歩行者のようなオブジェクトと重なって道路配置が表示される。実施形態を使用する場合、そのようなオブジェクトを備える画像における領域を識別すること、および、その領域の範囲内における道路配置を表示しないこと（または高度の透明性で表示すること）が可能である。この結果は図８ｂに示される。

図９は、別の例を示す。この例によれば、ナビゲーション情報は画像における標識に対応する標識であり、アクション（ｃ）においてナビゲーション情報である標識は、ナビゲーション情報である標識が画像における標識よりも大きい方法で、画像に重ね合わされる。図９に示されるように、ナビゲーション情報である標識は、画像における標識から逸脱した位置に重ね合わされてもよい。ナビゲーション情報である標識が、画像における標識と関連している（ユーザにとって視認可能でなくてもよい）ことをさらに示すために、標識が重ね合わされていることを強調するために線４０が重ね合わされてもよい。線４０は、ナビゲーション情報である標識と、画像における実際の標識と接続している、接続線を備えてもよい。線４０は、画像における標識に実際の位置を示す線をさらに備えてもよい。

そこで、この実施形態によれば、アクション（ｃ）は、重ね合わされたナビゲーション情報と、画像内のオブジェクトとの関係を示すための線４０を表示する工程をさらに備える。

もちろん、代替によれば、ナビゲーション情報である標識は、画像における標識と重なるように、重ね合わされてもよい。

重ね合わせ線または画像における標識を覆うような重ね合わせは、深さ情報を使用することによって、比較的簡便で正確な方法で行われ得ることが理解されるだろう。

コンピュータプログラムおよびデータ記憶媒体
ある実施形態によれば、前記コンピュータ装置に記述された方法の何れかを実行させることを許可する、コンピュータ装置によってロードされ得るデータおよび命令を備えるコンピュータプログラムが提供される。コンピュータ装置は、図１を参照して上述したようなコンピュータ装置であってもよい。

さらなる実施形態によれば、そのようなコンピュータプログラムを備えるデータ記憶媒体が提供されてもよい。

所見
上述した実施形態は、パターン認識技術を画像に使用する１のような先行技術、および画像上のナビゲーション情報の位置を較正する較正技術２と組み合わされ得ることが理解されるだろう。

重ね合わせという用語は、ある項目が他の項目上に表示されることを示すためだけには使用されず、画像の内容と関連して画像の範囲内の予め定められた位置にナビゲーション情報が配置され得ることを示すために使用されることが理解されるだろう。このように、画像の内容との空間的な関係であるように、ナビゲーション情報を重ね合わせることが可能である。

従って、画像およびナビゲーション情報を１つにまとめる代わりに、ナビゲーション情報は、ナビゲーション情報が画像の内容と論理的な関係を有するように画像の範囲内に正確に配置され得る。

上の記述は、例示的であり、限定的ではないことが意図される。従って、以下に並べられた請求の範囲を逸脱せずに記述されるような修正が発明についてなされてもよいことが当業者にとって明らかであろう。

Claims (18)

1. プロセッサ（１１）および前記プロセッサ（１１）へアクセス可能なメモリ（１２、１３、１４、１５）を備えるコンピュータ装置（１０）であって、前記メモリは、前記プロセッサ（１１）に、
   （ａ）ナビゲーション情報を取得させる、
   （ｂ）前記ナビゲーション情報に対応する画像を取得させる、
   （ｃ）前記画像、および前記ナビゲーション情報の少なくとも一部、を表示させる、ように構成されたデータおよび命令を備えるコンピュータプログラムを備え、
   前記ナビゲーション情報の少なくとも一部は前記画像に重ね合わせられ、前記プロセッサ（１１）は、（ｂ１）前記画像に対応する深さ情報を取得し、前記深さ情報を使用してアクション（ｃ）を実行することをさらに許可されることを特徴とするコンピュータ装置（１０）。
2. （ａ）は、ナビゲーション機能を実行する工程を備え、前記ナビゲーション機能は、出力としてナビゲーション情報を生成し、前記ナビゲーション情報は、
   −ナビゲーション命令、
   −デジタルマップデータベースの選択、
   −名称、
   −標識、
   −道路配置
   −建物、
   −建物の外観、
   −駐車場、
   −関心地点、
   −インジケータ
   のうちの少なくとも１つを備えることを特徴とする請求項１に記載のコンピュータ装置。
3. 前記画像が、ナビゲーション情報が関係する位置の画像であることを特徴とする請求項１または２に記載のコンピュータ装置。
4. （ｂ）が、カメラから画像を取得する工程を備えることを特徴とする請求項１乃至３の何れか１項に記載のコンピュータ装置。
5. （ｂ）が、メモリから画像を取得する工程を備えることを特徴とする請求項１乃至３の何れか１項に記載のコンピュータ装置。
6. （ｂ）で取得された前記画像は、アクション（ｂ１）での使用のための、前記画像に対応する深さ情報を備えることを特徴とする請求項１乃至５の何れか１項に記載のコンピュータ装置。
7. （ｂ）は、三次元カメラから画像を取得する工程を備えることを特徴とする請求項６に記載のコンピュータ装置。
8. （ｂ１）は、一連の画像を解析することによって深さ情報を読み出す工程を備えることを特徴とする請求項１乃至５の何れか１項に記載のコンピュータ装置。
9. （ｂ１）は、デジタルマップデータベースから深さ情報を読み出す工程を備えることを特徴とする請求項１乃至８の何れか１項に記載のコンピュータ装置。
10. （ｂ１）は、深さセンサから深さ情報を取得する工程を備えることを特徴とする請求項１乃至９の何れか１項に記載のコンピュータ装置。
11. （ｃ）は、前記ナビゲーション情報に関してジオ変換アクションを実行する工程（ｃ１）を備え、前記ジオ変換アクションは、前記ナビゲーション情報を局所座標に変換する工程を備えることを特徴とする請求項１乃至１０の何れか１項に記載のコンピュータ装置。
12. アクション（ｃ）は、深さ情報解析アクションを実行する工程（ｃ２）を備えることを特徴とする請求項１乃至１１の何れか１項に記載のコンピュータ装置。
13. アクション（ｃ２）は、前記画像における領域を識別する工程と、前記画像におけるそれぞれ識別された領域に対して、ナビゲーション情報を表示する方法を適合させる工程と、を備えることを特徴とする請求項１２に記載のコンピュータ装置。
14. 前記ナビゲーション情報は、前記画像における標識と対応する標識であり、アクション（ｃ）において、ナビゲーション情報である前記標識は、ナビゲーション情報である前記標識が前記画像における前記標識よりも大きくして前記画像に重ね合わされることを特徴とする請求項１乃至１３の何れか１項に記載のコンピュータ装置。
15. アクション（ｃ）は、前記重ね合わされたナビゲーション情報と、前記画像内のオブジェクトとの関係を示す線（４０）を表示する工程をさらに備えることを特徴とする請求項１乃至１４の何れか１項に記載のコンピュータ装置。
16. ナビゲーション情報を表示する方法であって、前記方法は、
    （ａ）ナビゲーション情報を取得する工程と、
    （ｂ）前記ナビゲーション情報に対応する画像を取得する工程と、
    （ｃ）前記画像、および前記ナビゲーション情報の少なくとも一部を表示する工程と、を備え、前記ナビゲーション情報の少なくとも一部は、前記画像に重ね合わされ、前記方法は、（ｂ１）前記画像に対応する深さ情報を取得して、前記深さ情報を使用してアクション（ｃ）を実行する工程をさらに備えることを特徴とする方法。
17. コンピュータ装置に請求項１６に記載の方法を実行させ、前記コンピュータ装置によってロードされ得るデータおよび命令を備えることを特徴とするコンピュータプログラム。
18. 請求項１７に記載のコンピュータプログラムを備えることを特徴とするデータ記憶媒体。