JP2008059593A - 画像における対象物を認識する方法および画像認識デバイス - Google Patents

Abstract

【課題】画像における対象物を認識する方法を提供すること。
【解決手段】画像における対象物を認識する方法であって、該方法は、該画像に対応する画像データを抽出するステップと、デジタルマップ情報を抽出するステップであって、該デジタルマップ情報は、該画像によって表されたエリアの少なくとも一部についてのマップ情報を含み、該デジタルマップ情報は、該対象物についての情報を含む、ステップと、該画像データおよびデジタルマップ情報を評価することによって該対象物を認識するステップであって、該画像データおよび該デジタルマップ情報の両方は、該対象物を認識するために評価される、ステップとを包含する、方法。
【選択図】図９

Description

本発明は、画像における対象物を認識する方法および対応する画像認識デバイス、特に画像における道路または関連する構造物などの、ナビゲーション目的に関連する要素を識別するために用いられ得る方法およびデバイスに関連する。

画像の認識は、自動車関係の環境を含み、幅広く実施されている。特に、自動車関係のシステムにおける画像の認識は、様々な目的のために有利に用いられ得、それら目的には、ナビゲーション、すなわちはドライバーの車両の制御の際の援助を含む。これらの目的のために、車両の近辺の画像は、車両に搭載されたカメラによって頻繁に記録および／または分析されるが、それは、ナビゲーションの目的または車両の制御のために関連性があり得る道路または道路端部などの対象物を識別するためである。この出願においては、「対象物の識別」という用語は、対象物のタイプおよび対象物の位置を識別することを含むが、さらなる対象物のパラメータ、例えば対象物の大きさまたは対象物の方位をも含み得る。対象物が画像において識別または認識されると、特定のプロセスが、認識された対象物のタイプおよび位置に基づいて実行され得る。例えば、画像においてジャンクションまたは交差点が識別されると、車両のドライバーは、近づきつつあるジャンクションまたは交差点についての注意を喚起される。

画像における対象物を識別または認識するために現在用いられている方法およびデバイスは、しばしば遅く、不正確であるという欠点に苦しむ。この欠点は、単一の画像のみが分析されるのではなく、ビデオカメラが継続的に短い時間間隔に一連の画像を記録し、各画像がナビゲーションの目的のために分析されなくてはならないときに、特に関連がある。これは、例えばビデオカメラが車両に搭載される場合であって、リアルタイムに画像のストリームを評価することが望ましい場合に、あり得る。

従って、当該分野において、画像における対象物の認識のための向上した方法および画像認識デバイスの必要性がある。特に、当該分野において、向上した認識の精度および／または高められた認識速度を有する方法およびデバイスの必要性がある。

画像における対象物を認識する方法を提供すること。

一実施形態に従った、画像における対象物を認識する方法は、画像に対応する画像データを抽出するステップと、画像によって表されるエリアの少なくとも一部についてのマップ情報を包含し、対象物についての情報を包含するデジタルマップ情報を抽出するステップと、画像データおよびデジタルマップ情報を分析することによって対象物を認識するステップとを包含する。画像データは、カメラまたはビデオカメラから直接的に抽出され得、または画像データが格納されている格納ユニットまたはメモリユニットから読み出され得る。同様に、デジタルマップ情報は、あらゆる適切な格納ユニットまたはメモリユニットから抽出され得る。画像データおよびデジタルマップ情報の両方が、対象物を認識するために分析されるので、画像データを分析することによって対象物を認識し、続いて、デジタルマップ情報に基づいて、該対象物が正しく識別されたことを検証することが、特に可能であり、これによって認識の精度を向上させる。さらに、デジタルマップ情報に基づいて、画像上のどこに特定の形状または大きさなどを有する対象物が発見され得るかという予測を立てることも可能である。これによって、画像における対象物を識別する速度および精度が向上され得る。

画像データおよびデジタルマップ情報を評価するステップは、画像データを評価することによって対象物を最初に予備的に認識するステップと、続いて、デジタルマップ情報に基づいて、対象物が正しく認識されたことを検証するステップとを包含し得る。特に、デジタルマップ情報によって包含される対象物についての情報は、少なくとも１つの対象物の特性についての情報を包含し得、画像データおよびデジタルマップ情報を評価するステップは、対象物を認識するために画像データを評価するステップと、次いで画像データにおいて認識された対象物の特性を決定するステップと、後に、画像データにおいて認識された対象物の特性とデジタルマップ情報とを比較するステップとを包含し得る。対象物の特性は、例えば対象物の位置、形状または方位のうちの１つまたはいくつかであり得る。画像データから得られた対象物の特性とデジタルマップ情報によって包含された対応する情報との比較の結果に基づいて、対象物の識別は、検証され得る。これらの実施形態によれば、デジタルマップ情報は、画像データにおいて予め予備的に認識された対象物を検証するために用いられるので、画像データが、当該分野における公知のあらゆる標準的なアルゴリズムによって評価されることが可能である。本明細書中において用いられる「画像データの評価」という用語は、画像データを分析するために用いられるあらゆる標準的なアルゴリズムを含み、例えば、様々な方法、例えば画像データおよび適切なフィルターの畳み込みを計算することによる画像データのフィルタリングを含み得ることを理解されたい。

画像データおよびデジタルマップ情報を評価するステップはまた、デジタルマップ情報を用いることによって画像データの評価を容易にし、対象物を認識することを含み得る。特に、デジタルマップ情報は、画像における少なくとも１つの対象物の特性を予測するために用いられ得、画像データの評価は、結果として、デジタルマップ情報に基づいて予測された特性に従って集束または集中され得る。特に、予測された対象物の特性は、画像における構造物が、認識されるべき対象物であるという可能性を割り当てるために用いられ得る。対象物の特性は、例えば画像における対象物の位置、形状、または方位のうちの１つ、またはいくつかであり得る。対象物の特定の特性は、デジタルマップ情報に基づいて予測されるので、画像データの評価は速度を速められ得、これによって、画像における対象物を認識する速度および精度が向上する。

デジタルマップ情報によって包含された対象物についての情報は、対象物の位置についての情報を包含し得、その結果として、画像データの評価は、該対象物の位置についての情報に基づいて選択された小区分または画像データの特定の区域に制限され得る。言い換えると、デジタルマップ情報は、対象物の特定のタイプ、例えば道路、レーンマーカー、道路のジャンクションまたは交差点が、画像の特定の部分に発見され得る可能性を予測するために利用され得、その結果として、高い可能性でそれぞれの対象物が発見される画像の部分のみを分析することで十分となる。さらに、デジタルマップ情報によって包含された対象物についての情報はまた、対象物の形状および／または方位についての情報を包含し得、画像データの評価は、デジタルマップ情報によって提供された対象物の形状および／または方位についての情報に基づいて選択された形状および／または方位を有する対象物を識別するように制限され得る。デジタルマップ情報を用い、ある程度まで画像における対象物の形状および／または方位をも予測することによって、完全に異なる形状および／または方位を有する構造物は、画像を分析するときに容易に廃棄され得、これによって認識の速度および精度をさらに向上させる。

対象物を認識するための画像データおよびデジタルマップ情報の評価はまた、対象物のモデルと画像データとの比較を包含し得る。対象物のモデルは、少なくとも１つの変数パラメータを有し得、これは、画像における形状、位置、方位、または他のあらゆる対象物の特性が変化し得るということに基づいており、この場合において、画像データの評価は、少なくとも１つの変数パラメータに対する最適値または最適値に近接したものを発見することを包含する。様々な対象物のタイプに対する少なくとも１つの変数パラメータを有する包括的なモデルを提供することによって、画像における様々な構造物が、高い信頼度で認識され得る。例えば、平面図において、道路の直線部分が、一対の実質的に平行な直線によってモデル化され得、画像の斜視図において、一対の集束する線に変換される。道路の直線部分に対する通常のパラメータは、道路の幅および道路の中央に対する、画像を写すカメラのオフセット位置を含む。少なくとも１つの変数パラメータに対する最適値は、あらゆる適切なアルゴリズムを用いて発見され得る。特に、単一の画像が分析されるだけではなく、むしろビデオカメラによって記録された画像の準継続的なストリームが分析され、一度認識された構造物を追跡することが望ましい場合には、ベイズフィルタリングまたは粒子フィルタリングが、少なくとも１つの変数パラメータに対する最適値を決定するように用いられ得る。

本発明の実施形態の適用の一分野は、ナビゲーションシステムであることが予想されるので、デジタルマップ情報は、デジタルマップを普通に包含するナビゲーションシステムから検索され得、該デジタルマップは、例えばＣＤ−ＲＯＭ、ＤＶＤ、ナビゲーションシステムの内蔵ハードディスク、またはあらゆる他の適切なストレージユニットに格納される。ナビゲーションシステムに格納されたデジタルマップ情報は、例えば個別の道路セグメントの方位についてなど、特定の対象物の形状および／または方位についての情報を含み得るが、道路標識のようなデジタルマップに含まれる他の多くの対象物に対しては、デジタルマップ情報は、例えば、停止のサインなどの対象物のタイプを特定する限定されたもののみを包含することに留意されるべきである。後者の場合においても、デジタルマップ情報は、少なくとも内在的に対象物の形状についての情報を含み、その理由は、デジタルマップ情報に格納された対象物のタイプについての情報は、追加の情報と組み合わされ得、それによって画像における対象物の形状を予測するためであるということを理解されたい。

方法は、現在の車両位置および現在の車両方位を決定するステップをさらに包含し、デジタルマップ情報の検索が、そのとき、現在の車両位置および現在の車両方位に基づいて行われる。車両位置および車両方位の情報は、カメラの視界が含まれるマップの部分を予測するのに十分なので、少なくとも、車両の縦軸および横軸に関連するカメラの位置および方位が既知である場合には、それによって画像における対象物を認識するためにだけに必要なデジタルマップの一部分を検索することが可能である。

方法は、分析されるべき画像、つまりは車両の近辺を示す画像を記録するステップをさらに包含し得る。これは、例えば車両の中にインストールされたカメラによって便利に達成され得る。これによって、画像は記録後に直ちに分析され得るので、該方法は、ナビゲーションの目的で利用され得る。

方法は、対象物の認識の結果をナビゲーションシステムに提供するステップをさらに包含する。これによって、画像の認識の結果をナビゲーションの目的、例えばドライバーへの運転指示の提供、ドライバーへの注意の喚起、またはイメージデータおよびデジタルマップ情報の評価の結果に基づく車両の制御に利用することが可能である。例えば、画像の認識は、マップデータよりもさらに正確な近接する対象物についての結果を提供し得るので、車両のドライバーへの運転指示の提供は、画像認識の結果に基づいて向上され得ることが予想される。しかし、画像における対象物の認識の結果は、幅広い様々な他のアプリケーションに対しても用いられ得ることが予想される。

画像において認識されるべき対象物は、幅広い様々な異なる対象物から選択され得る。一実施形態において、対象物は、道路と、道路のレーンと、レーンマーカーと、道路端部と、道路の交差点と、道路のわき道と、道路標識とを含む群から選択される。これらの対象物のタイプのうちの１つを有する対象物を認識することによって、多くのナビゲーションのアプリケーションが考えられる。

本発明の別の実施形態によれば、画像における対象物を認識する画像認識デバイスが提供され、該デバイスは、分析されるべき画像に対応する画像データを格納し、デジタルマップ情報を格納するメモリ手段であって、該デジタルマップ情報は、該画像によって表されたエリアの少なくとも一部についてのマップ情報を包含し、対象物についての情報をさらに包含する、メモリ手段と、プロセッシング手段であって、該メモリ手段から画像データおよびデジタルマップ情報を検索し、該画像データおよび該デジタルマップ情報を評価することによって対象物を認識する、プロセッシング手段と、を備えている。該画像データおよび該デジタルマップ情報を格納するメモリ手段は、単一の物理的な格納デバイスであり得るか、２つまたはいくつかの異なる格納エンティティであり得る。例えば、画像データは、第１の格納ユニットに格納され得、デジタルマップ情報は、第２の格納ユニットに格納され得る。この場合において、第１および第２の格納ユニットのうちの１つまたは両方は、車両の中に提供された別のシステムまたはデバイスなど、例えばナビゲーションシステムと一体化され得る。例えば、プロセッシング手段から検索されたデジタルマップ情報は、ナビゲーションシステムの格納ユニットに格納され得、その一方で、画像データは、画像認識デバイスに対する専用のユニットである別個に提供される格納ユニットに格納され得ることが予想される。この場合において、メモリ手段は、ナビゲーションシステムの格納ユニットと、画像認識デバイスの専用の格納ユニットとの両方を含み、該画像認識デバイスの専用の格納ユニットは、画像データを格納する。重要なのは、プロセッシング手段は、対象物を認識するために、画像データとデジタルマップ情報との両方を評価するということである。

プロセッシング手段は、画像データを評価することによって予備的に対象物を認識し、次いで、デジタルマップ情報に基づいて該対象物が正しく認識されたことを検証するように適合され得る。すなわち、画像データの評価の結果は、デジタルマップ情報に基づいてクロスチェックされる。対照的に、デジタルマップ情報が、予備的に識別された対象物と一致しない場合には、予備的に識別された対象物は廃棄される。さらに具体的には、デジタルマップ情報によって包含された対象物についての情報は、対象物の少なくとも１つの特性を包含し得、プロセッシング手段は、画像データを分析することによって予備的に対象物を認識し得、次いで、画像データからの予備的に認識された対象物の対応する特性を決定し得、次いで、画像データの予備的に識別された対象物の対応する特性と、デジタルマップ情報に格納された対応する特性とを比較し得る。このプロセスにおいて、該比較の結果に基づいて、予備的に認識された対象物は、実際に認識されるべき対象物であるという可能性が、割り当てられ得る。特に、対象物の特性は、対象物の位置、形状または方位のうちの１つまたはいくつかであり得る。これによって、画像認識デバイスが、画像データのみに基づいている予備的な対象物の認識の結果を、デジタルマップ情報とクロスチェックすることが可能である。

プロセッシング手段はまた、デジタルマップ情報を用いることによって画像データの評価を容易にし、対象物を認識し得る。特に、プロセッシング手段は、デジタルマップ情報を用いることによって、画像における対象物の特性を予側し得、次いで、対象物の予測された特性に基づいて画像データを分析し得る。この分析は、予測された特性に基づいて、特定の特性を有する、画像における構造物が、実際に認識されるべき対象物と対応するという可能性を割り当てることを包含し得る。加えて、対象物の特性は、例えば、対象物の位置、形状、または方位のうちの１つまたはいくつかであり得る。特に、デジタルマップ情報によって包含された対象物の情報は、対象物の位置についての情報を包含し得、プロセッシング手段は、次いで、デジタルマップ情報によって包含された対象物の位置についての情報に基づいて選択された画像データの小区分を分析し得る。すなわち、特定のタイプの対象物が画像において認識された場合には、プロセッシング手段は、最初に、デジタルマップ情報から、この特定の対象物のタイプを有する対象物を検索する可能性のある画像の部分を決定し得、次いで、特定の対象物のタイプを有する対象物を発見する可能性が所定の閾値を超える画像データの小区分のみを分析し得る。分析されるべきデータの量は、これによって低減されるので、対象物を識別するタスクが実行され得る速度は、高められる。さらに、画像データの評価は、特定のタイプの対象物が発見され得る可能性の低い画像の全ての区域を廃棄するので、対象物の誤った識別の可能性もまた、減少し、これによって、認識の精度が向上する。さらに、デジタルマップ情報によって包含された対象物についての情報はまた、対象物の形状および／または方位の情報を包含し得、プロセッシング手段は、従って対象物の形状および／または方位についての情報に基づいて選択された特定の形状および／または方位を有する対象物を識別するという観点から画像データを分析し得る。特に、デジタルマップ情報に基づいて対象物に対して予測された構造物から大いに異なる形状および／または方位を有する全ての構造物は、廃棄され得るので、画像認識の速度および精度は、さらに向上され得る。

プロセッシング手段は、対象物のモデルと画像データとを比較し、対象物を認識し得る。モデルを特徴付けるために要求されるデータはまた、メモリ手段に格納され得、またはさらに別の格納ユニットが、この目的のために提供され得る。対象物のモデルは、少なくとも１つの変数パラメータを有し得、この場合には、プロセッシング手段は、モデルと画像データとを比較することによって、該少なくとも１つの変数パラメータに対する最適値または最適値に近いものを見つける。特に、ベイズフィルタまたは粒子フィルターが用いられることによって、該少なくとも１つの変数パラメータに対するこの最適値を決定する。

デバイスはまた、現在の車両位置を決定する位置決定手段および現在の車両方位を決定する方位決定手段を備え得、位置および方位決定手段は、プロセッシング手段と結合され、プロセッシング手段は、現在の車両の位置および方位に基づいてデジタルマップ情報の一部分を選択するように適合される。上に説明されたように、現在の車両の位置および方位は、画像によって示される視界に対応するデジタルマップの部分を識別するのに十分である。専用の位置および方位決定手段が、画像認識デバイスに提供され得るが、該画像認識デバイスはまた、車両に乗せられた別のシステムまたはデバイスにおいて提供される位置および方位決定手段と結合され得ることが予想される。例えば、画像認識デバイスが、ナビゲーションシステムと組み合わさって用いられる場合には、画像認識デバイスのプロセッシング手段は、ナビゲーションシステムの位置および方位決定手段と結合され、その結果として、画像認識デバイスには別個の方位および位置決定手段が提供される必要はなくなることが予想される。しかし、別個の位置および方位決定手段は、画像認識デバイスに提供され得、この場合には画像認識デバイスは、自律的なユニットを形成し得ることが強調されるべきである。

画像認識デバイスはまた、対象物が認識されるべき画像を記録するカメラユニットを備え得、該カメラユニットは、画像を提供するために、メモリ手段と、可能であればプロセッシングユニットと結合される。これによって、変わり行く周囲の状況を示している新たな画像の準継続的なストリームが分析され得ることが可能である。本明細書に用いられる場合には、「カメラ」という用語は、個々の写真を撮影するために相応しいカメラのみではなく、ビデオカメラをも含むように理解されることに留意されるべきである。

本発明のさらに別の実施形態によれば、ナビゲーションシステムが提供され、該ナビゲーションシステムは、上述のいずれか１つの実施形態に従った画像認識デバイスを備えている。画像認識デバイスをナビゲーションシステムと一体化させることによって、様々な利点が達成される。一方では、画像認識デバイスは、ほとんどのナビゲーションシステムに格納されたデジタルマップ情報に容易にアクセスし得る。さらに、画像認識デバイスはまた、ナビゲーションシステムの他の構成要素である、例えばＧＰＳ受信器またはジャイロスコープデバイスを含み得る位置決定手段などによって提供される情報に容易にアクセスし得る。さらに、上に示されたように、ナビゲーションシステムのいくつかの機構および機能性もまた、画像認識デバイスによって提供される情報から利益を受け得、その結果として、画像認識デバイスをナビゲーションシステムと一体化させることによって、ナビゲーションシステムの機能性は、向上され得る。

ナビゲーションシステムは、デジタルマップを格納する格納ユニットを備え得、画像認識デバイスは、ナビゲーションシステムの格納ユニットと結合されることによって、そこからデジタルマップの少なくとも一部分を検索し得る。この場合において、ナビゲーションシステムの格納ユニットは、上に定義されたように、画像認識デバイスのメモリ手段の一部分を形成し得る。ナビゲーションシステムはさらに、光学的または音響的な出力ユニットを備え得ることによって、ドライバーに運転指示または警告信号を出力し、該運転指示または警告信号は、画像認識デバイスによって認識された対象物に依存して出力され得る。例えば、車両が現在移動している道路が、車両に搭載されたカメラによって記録された画像において認識されるときに、例えば該車両のドライバーが寝入ったために車両が道路の端部に接近しているかどうかを識別することが可能であり得る。この場合において、それぞれの警告信号が、ドライバーに出力され得る。

ナビゲーションシステムはさらに、現在の車両の位置を決定する位置決定手段を備え得、画像認識デバイスが認識された対象物についての情報を位置決定手段に提供し、位置決定手段が、認識された対象物についての情報に基づいて位置決定に対する精度を向上させる。この構成の基礎をなす理論的根拠は、位置決定手段によって決定された車両の位置が、関連性のあるマップ部分を識別するために既に用いられ、つまり、画像における対象物を識別するために利用された後に、画像認識デバイスによって得られた情報が、位置決定手段にフィードバックされ得ということである。より明確には、画像認識デバイスは、車両に近接する対象物からの車両の距離を高い精度で決定するために、十分に適していることが予想される。位置決定手段、例えばＧＰＳ受信器を、画像認識デバイスによって提供された認識された対象物についての情報に基づいて、再び調整することが可能である。

本発明の実施形態の適用の一分野は、ナビゲーションシステム、特に車両に搭載されたナビゲーションシステムであることが予想されるが、本発明は、それだけに限定されない。むしろ、本明細書中に記述された本発明の様々な原理は、異なる技術分野にも有利に用いられ得る。特に、本発明は、分析のために、画像のみならず画像に対応するマップをも利用可能であるあらゆる画像認識方法またはデバイスに対して、均等な機能を有して適用され得る。

本発明は、さらに、以下の手段を提供する。
（項目１）
画像における対象物を認識する方法であって、該方法は、
該画像に対応する画像データを抽出するステップと、
デジタルマップ情報を抽出するステップであって、該デジタルマップ情報は、該画像によって表されたエリアの少なくとも一部についてのマップ情報を含み、該デジタルマップ情報は、該対象物についての情報を含む、ステップと、
該画像データおよびデジタルマップ情報を評価することによって該対象物を認識するステップであって、該画像データおよび該デジタルマップ情報の両方は、該対象物を認識するために評価される、ステップと
を包含する、方法。
（項目２）
上記画像データおよび上記デジタルマップ情報の上記評価は、該画像データを評価することによって上記対象物を認識し、続いて、該デジタルマップ情報に基づいて、該対象物が正しく認識されたことを検証することを包含する、項目１に記載の方法。
（項目３）
上記デジタルマップ情報によって包含される上記対象物についての上記情報は、該対象物の位置、形状または方位のうちの少なくとも１つについての情報を包含し、
上記画像データおよび該デジタルマップ情報の上記評価は、該画像データを評価することによって該対象物を認識することと、該画像データから該対象物の位置、形状、または方位のうちの少なくとも１つを決定し、該画像データから決定された該対象物の位置、形状、または方位のうちの該少なくとも１つと該デジタルマップ情報とを比較すること、とを包含する、項目１に記載の方法。
（項目４）
上記画像データおよび上記デジタルマップ情報の上記評価は、該デジタルマップ情報を用いることによって該画像データの評価を容易にし、上記対象物を認識することを包含する、項目１に記載の方法。
（項目５）
上記画像データおよび上記デジタルマップ情報の上記評価は、該デジタルマップ情報を用いることによって上記画像における上記対象物の位置、形状、または方位のうちの少なくとも１つを予測することを包含し、
該画像データの評価は、該対象物の位置、形状、または方位のうちの該予測された少なくとも１つに基づいて、該画像における特定の位置、形状または方位を有する構造物が、認識されるべき該対象物であるという可能性を割り当てることを包含する、項目１に記載の方法。
（項目６）
上記デジタルマップ情報によって包含される上記対象物についての上記情報は、該対象物の上記位置についての情報を包含し、
上記画像データの評価は、該対象物の該位置についての情報に基づいて選択された該画像データの小区分に制限される、項目１に記載の方法。
（項目７）
上記デジタルマップ情報によって包含される上記対象物についての上記情報は、該対象物の形状および／または方位についての情報を包含し、
上記画像データの評価は、該対象物の形状および／または方位についての該情報に基づいて選択された形状および／または方位を有する対象物の識別に制限される、項目６に記載の方法。
（項目８）
上記画像データおよび上記デジタルマップ情報の上記評価は、上記対象物のモデルと該画像データとの比較を包含する、項目１に記載の方法。
（項目９）
上記対象物の上記モデルは、少なくとも１つの変数パラメータを有し、上記画像データおよび上記デジタルマップ情報の上記評価は、該少なくとも１つの変数パラメータに対する最適値の発見を包含する、項目８に記載の方法。
（項目１０）
上記少なくとも１つの変数パラメータに対する上記最適値の上記発見は、ベイズフィルタリングまたは粒子フィルタリングを包含する、項目９に記載の方法。
（項目１１）
上記デジタルマップ情報は、ナビゲーションシステムから抽出される、項目１に記載の方法。
（項目１２）
上記方法は、現在の車両の位置を決定することを包含し、上記デジタルマップ情報の抽出は、該現在の車両の位置に基づいている、項目１に記載の方法。
（項目１３）
上記方法は、現在の車両の方位を決定することを包含し、上記デジタルマップ情報の抽出は、該現在の車両の方位に基づいている、項目１２に記載の方法。
（項目１４）
上記方法は、上記画像を記録することを包含し、該画像は、車両の近辺を表示する、項目１に記載の方法。
（項目１５）
上記方法は、上記画像データおよび上記デジタルマップ情報の上記評価の結果をナビゲーションシステムに提供することを包含する、項目１に記載の方法。
（項目１６）
上記方法は、上記画像データおよび上記デジタルマップ情報の上記評価の結果に基づいて、ドライバーに運転指示を提供すること、またはドライバーに注意を喚起すること、または車両を制御することを包含する、項目１５に記載の方法。
（項目１７）
上記対象物は、道路と、道路のレーンと、レーンマーカーと、道路端部と、道路の交差点と、道路のわき道と、道路標識とを含む群から選択される、項目１に記載の方法。
（項目１８）
画像における対象物を認識する画像認識デバイスであって、該デバイスは、
該画像に対応する画像データを格納し、デジタルマップ情報を格納するメモリ手段であって、該デジタルマップ情報は、該画像によって表されるエリアの少なくとも一部についてのマップ情報を包含し、該デジタルマップ情報は、該対象物についての情報を包含する、メモリ手段と、
該メモリ手段と結合したプロセッシング手段であって、該画像データおよび該デジタルマップ情報を評価することによって該対象物を認識し、該画像データおよび該デジタルマップ情報の両方は、該対象物を認識するために評価される、プロセッシング手段と
を備えている、デバイス。
（項目１９）
上記プロセッシング手段は、上記画像データを評価することによって上記対象物を認識し、続いて、上記デジタルマップ情報に基づいて、該対象物が正しく認識されたことを検証する、項目１８に記載の画像認識デバイス。
（項目２０）
上記デジタルマップ情報によって包含される上記対象物についての上記情報は、該対象物の位置、形状、または方位のうちの少なくとも１つについての情報を包含し、
上記プロセッシング手段は、上記画像データを評価することによって該対象物を認識し、該画像データから該対象物の位置、形状、または方位のうちの該少なくとも１つを決定し、該画像データから決定された該対象物の位置、形状、または方位のうちの少なくとも１つと該デジタルマップ情報とを比較する、項目１８に記載の画像認識デバイス。
（項目２１）
上記プロセッシング手段は、上記デジタルマップ情報を用いることによって上記画像データの評価を容易にし、上記対象物を認識する、項目１８に記載の画像認識デバイス。
（項目２２）
上記プロセッシング手段は、上記デジタルマップ情報を用いることによって上記画像における上記対象物の位置、形状、または方位のうちの少なくとも１つを予測し、該対象物の位置、形状、または方位のうちの該予測された少なくとも１つに基づいて上記画像データを評価し、
該プロセッシング手段は、該対象物の位置、形状、または方位のうちの該予測された少なくとも１つに基づいて、該画像において特定の位置、形状または方位を有する構造物が、認識されるべき該対象物であるという可能性を割り当てる、項目１８に記載の画像認識デバイス。
（項目２３）
上記デジタルマップ情報によって包含される上記対象物についての上記情報は、該対象物の上記位置についての情報を包含し、
上記プロセッシング手段は、該対象物の該位置についての情報に基づいて選択された上記画像データの小区分を評価する、項目１８に記載の画像認識デバイス。
（項目２４）
上記デジタルマップ情報によって包含される上記対象物についての上記情報は、上記対象物の形状および／または方位についての情報を包含し、
上記プロセッシング手段は、上記画像データを評価することによって、該対象物の形状および／または方位についての情報に基づいて選択された形状および／または方位を有する対象物を識別する、項目２２に記載の画像認識デバイス。
（項目２５）
上記プロセッシング手段は、上記対象物のモデルと上記画像データとを比較することによって該対象物を認識する、項目１８に記載の画像認識デバイス。
（項目２６）
上記対象物の上記モデルは、少なくとも１つの変数パラメータを有し、上記プロセッシング手段は、該少なくとも１つの変数パラメータに対する最適値を発見する、項目２５に記載の画像認識デバイス。
（項目２７）
上記プロセッシング手段は、ベイズフィルタまたは粒子フィルターを用いることによって、上記少なくとも１つの変数パラメータに対する上記最適値を発見する、項目２６に記載の画像認識デバイス。
（項目２８）
上記デバイスは、現在の車両位置を決定する位置決定手段を備えており、
該位置決定手段は、上記プロセッシング手段と結合され、該プロセッシング手段は、該現在の車両位置に基づいて上記デジタルマップ情報の一部分を選択するように適合されている、項目１８に記載の画像認識デバイス。
（項目２９）
上記デバイスは、現在の車両の方位を決定する方位決定手段を備えており、
該方位決定手段は、上記プロセッシング手段と結合され、該プロセッシング手段は、該現在の車両の方位に基づいて上記デジタルマップ情報の一部分を選択するように適合されている、項目２８に記載の画像認識デバイス。
（項目３０）
上記デバイスは、上記画像を記録するカメラユニットを備えており、該カメラユニットは、上記メモリ手段と結合され、該画像を上記メモリ手段に提供する、項目１８に記載の画像認識デバイス。
（項目３１）
ナビゲーションシステムであって、該ナビゲーションシステムは、
画像認識デバイスであって、該画像認識デバイスは、
該画像に対応する画像データを格納し、デジタルマップ情報を格納するメモリ手段を備えており、該デジタルマップ情報は、該画像によって表されるエリアの少なくとも一部分についてのマップ情報を包含し、該デジタルマップ情報は、該対象物についての情報を包含する、画像認識デバイスと、
該メモリ手段と結合したプロセッシング手段であって、該画像データおよび該デジタルマップ情報を評価することによって該対象物を認識し、該画像データおよび該デジタルマップ情報の両方が評価されることによって該対象物を認識する、プロセッシング手段と
を備えている、ナビゲーションシステム。
（項目３２）
デジタルマップを格納するストレージユニットを備えており、上記画像認識デバイスは、該ストレージユニットと結合されることによって、そこから該デジタルマップの少なくとも一部を抽出する、項目３１に記載のナビゲーションシステム。
（項目３３）
ドライバーに運転指示または警告信号を出力する光学的または音響的な出力ユニットを備えており、
該運転指示または警告信号は、上記画像認識デバイスによって認識された上記対象物に依存して出力される、項目３１に記載のナビゲーションシステム。
（項目３４）
現在の車両の位置を決定する位置決定手段を備えており、
上記画像認識デバイスは、上記認識された対象物についての位置情報を該位置決定手段に提供し、該位置決定手段は、該認識された対象物についての該位置情報に基づいて位置決定の精度を向上させる、項目３１に記載のナビゲーションシステム。
（項目３５）
ナビゲーションシステムおよび画像認識デバイスのアセンブリであって、該アセンブリは、
位置決定デバイスと、
画像認識デバイスであって、該画像認識デバイスは、画像データおよびデジタルマップ情報の両方を評価することによって該画像データによって表される画像における対象物を認識するように構成され、該画像認識デバイスは、該位置決定デバイスと結合されることによってそれに対する該対象物の相対的な位置についての情報を提供する、画像認識デバイスと
を備えている、ナビゲーションシステムおよび画像認識デバイスのアセンブリ。
（項目３６）
上記位置決定デバイスは、現在の車両の位置についての情報を上記画像認識デバイスに出力する、項目３５に記載のナビゲーションシステムおよび画像認識デバイスのアセンブリ。
（項目３７）
上記位置決定デバイスは、上記相対的な位置についての上記情報に基づいて上記位置決定デバイスを再び調整するように構成される制御回路を備えている、項目３６に記載のナビゲーションシステムおよび画像認識デバイスのアセンブリ。

（摘要）
画像における対象物を認識する方法および画像認識デバイスが提供され、対象物は、画像データおよび画像によって表されるエリアに対応するデジタルマップ情報の両方に基づいて認識される。一実施形態によれば、デジタルマップ情報は、選択される画像データの小区分に基づいて、画像上の対象物の位置を予測するために評価される。後に、画像データのこの小区分のみが、対象物を認識するために分析される。

以下において、本発明の好ましく有利な実施形態は、添付の図面を参照しながら記述される。

以下に、本発明の好ましい、または有利な実施形態が、非限定的な実施例を用いて開示される。明確に記載されない限り、様々な実施形態の特徴は、互いに組み合わされ得るということが理解されるべきである。

図１は、ナビゲーションシステム２と結合し本発明の実施形態に従った、画像認識デバイス１の概略ブロック図を示す。画像認識デバイス１は、プロセッシング手段３、例えば任意の標準的プロセッサを含む。プロセッシング手段３は、カメラユニット４およびメモリ手段５と結合される。好ましい実施形態において、カメラユニット４は、画像を規則的な時間の間隔で提供する、例えば１秒間に２５画像を提供するビデオカメラを含む。メモリ手段５は、任意の適切なメモリユニットまたは格納ユニットであり得、読取りおよび書き込みの両方のアクセスを可能とする、例えばＤＲＡＭまたはＳＲＡＭタイプのＲＡＭタイプメモリまたはハードディスクであり得る。メモリ手段５は、好ましくは十分な格納容量を有し、カメラユニット４によって提供される少なくとも１つの画像と該画像によって表される区域に相当するデジタルマップの一部との両方を格納する。

図１において、画像認識デバイス１は、ナビゲーションシステム２と結合されるように示される。ナビゲーションシステム２は、ナビゲーションシステムの全ての標準的な構成要素、例えばプロセッシングユニットまたはＣＰＵ６と、デジタルマップを格納するＣＤ−ＲＯＭ、ＤＶＤ、ハードディスクまたは他の適切な格納媒体の形状の格納ユニット７と、キーボード、タッチスクリーンまたはマイクなどの入力ユニット（不図示）と、現在の車両の位置および方位を決定する、例えばＧＰＳ受信器およびジャイロスコープデバイスなどを含み得る位置および方位決定手段８と、ドライバーに光学的および音響的な情報を提供し得、ディスプレイおよび／またはラウドスピーカを含み得る出力ユニット９と、を含む。

車内における図１に概略的に示される構成要素の配置は、図２によって例示される。分かり得るように、自動車１０にインストールされた状態において、カメラユニット４のビデオカメラは、車内の高い位置で、フロントガラスの上部位置の付近、例えばルームミラーまたはサンバイザーの付近にインストールされ得る。図１に概略的に示される他の全ての構成要素は、車内の任意の位置にインストールされ得るが、好ましくは計器パネルの付近または計器パネルの位置にインストールされ得る。カメラユニット４のビデオカメラの位置および方位は、特徴的な道路幅に対して、車両が運転される道路の実質的な部分がカメラによって画像化されるように選ばれる。

カメラユニット４によって撮影された例示的な画像は、動作される画像認識デバイス１に基づき説明される基本的な動作の原理に基づいて、図３ａ、図４ａおよび図５ａによってそれぞれ示される。画像認識デバイス１の動作の基礎になる基本的な原理は、デジタルマップ情報が、画像の中の対象物の認識を容易にするために用いられるということである。

図３ａに移ると、車両が直線道路の部分を移動するときにカメラユニット４によって記録される、例示的な画像２０が示される。道路部分２１は、道路端部２４によって横方向に境界をつけられ、道路端部２４に近接した道路マーキング２３および中央道路マーキング２２が提供される。画像２０に対する画像認識における典型的なタスクは、道路セグメント２１自体または画像に含まれる特定の構造、例えば道路端部２４または道路マーキング２２、２３を識別することである。従来型の方法において、このタスクは、直線などの特定の幾何学的配置を有する構造を考慮し、全体的な画像２０を分析することによって解決され得た。該タスクは、しばしば様々なやり方を用いて画像２０を巧みに処理すること、例えば画像データをフィルタリングすることによって容易にされる。例えば、（図面の方位に対して）垂直な構造をより明確に視覚できるように描写するために、画像のグレースケール表示が、特定のフィルタリング機能、例えば水平方向のガウス曲線の２次導関数とともに導入され得る。このフィルタリングの後に、道路マーキング２２、２３などの垂直の構造および道路端部２４は、より鮮明に視覚でき、より容易に識別され得る。しかし、従来型の方法においては、全体画像が、概して評価されなくてはならない。

図３ｂにおいて、デジタルマップの部分２５が概略的に示される。部分２５は、図３ａの画像２０に示される視界に相当し、すなわち、ここでは１つの直線の道路セグメント２６があるだけである。ナビゲーションシステム２の位置決定手段８の出力に基づいて、道路セグメント２６上の車両の位置を識別することが可能であり、これは、図３ｂの２７において概略的に示される。図３ｂは、デジタルマップから入手可能であり得る情報を示す単なる概略的な表示であり、それは、デジタルマップは通常は、直線の道路セグメントが所与の開始地点、方位および長さ、ならびに追加の属性を有するベクトルによって表される形式において格納されるからであることに留意されるべきである。地籍図などに基づく正確なマップの場合において、道路セグメントの幅ｗは、デジタルマップ情報に明確に格納され得る。位置決定手段８によって決定された現在の車両の位置の不確実性は、道路セグメント２６の幅ｗと比較すると小さいと、さらに仮定すると、位置決定手段８の出力およびデジタルマップ情報は、道路セグメントの中心に関する車両のオフセットｘ_０を見積もって結合され得る。道路セグメント２６の幅ｗに対する定量値およびオフセットｘ_０に基づいて、画像の認識が容易にされる。

さらに具体的には、図３ｃにおいて概略的に例示されるように、道路セグメントの幅ｗおよびオフセットｘ_０に基づいて、画像認識デバイス１のプロセッシング手段３は、画像２０における区域２９を識別するように適合され、画像２０においては、道路端部２４のような道路端部および道路マーキング２３を示す特定の要素が見つけられると期待される。オフセットｘ_０および道路幅ｗの両方が正確に知られている場合には、画像２０における道路端部２４の位置を単純な幾何光学関係に基づき正確に予測することが可能であり得、幾何光学関係はとりわけ、車両に関連するカメラユニット４の位置およびカメラユニット４の光学的な特性、例えばその焦点距離を含む。道路セグメント２６の幅ｗまたはオフセットｘ_０のいずれも正確に知られていないときにも、プロセッシング手段３は、道路端部が見つかりそうな、カメラユニット４に関する特定の区域を決定することが、それでも可能である。これらの区域は、オフセットｘ_０を決定する際および道路セグメント２６の幅ｗの不確実性を考慮するが、再び単純な幾何光学の関係を用いて、画像２０における区域２９に変換され得る。

プロセッシング手段３は、特定の対象物が見つかりやすいように画像２０における区域２９を決定するように適合されるので、画像においてこれらの対象物を認識することは容易である。例示のために、画像認識デバイス１に対する動作の２つの例示的なモードが説明される。

１つの動作方法において、以下の図６および図７を参照してさらに詳細に説明されるが、プロセッシング手段３は、従来型の方法を用いて全体的な画像データ２０を分析し、それは道路端部２４および道路マーキング２３などの対象物を予備的に識別するためである。本明細書中に用いられる場合に、用語の「対象物を識別する」とは、少なくとも画像における対象物のタイプを識別することと、対象物の位置を識別することである。従って、従来型の画像認識に基づく場合には、道路マーキングおよび道路端部は、予備的に識別される、すなわち、画像におけるそれらの位置が決定され、この予備的な識別は、デジタルマップ情報に対して検証される。この目的のために、予備的に識別された道路端部および道路マーキングの位置は、区域２９と比較され、該区域において、そのような対象物は、デジタルマップ情報に基づいて位置付けられると期待される。区域２９の外側に位置することが知られた対象物は、廃棄される。従って、動作の第１のモードにおいて、デジタルマップ情報は、予備的な画像認識の結果をクロスチェックまたは検証するために用いられ、検証は、画像データのみに基づく。

動作の第２のモードにおいて、プロセッシング手段３は、第１に、道路端部２４および道路マーキング２３が位置すると期待される区域２９を決定する。後続の画像認識においては、区域２９の外側に位置する画像の部分は廃棄され、これは図３ｃの修正された画像２８において概略的に示されており、これらの廃棄された区域は、斜線のパターンによって示される。標準的な画像認識アルゴリズムが、なおも区域２９における道路端部２４および道路マーキング２３を識別するために用いられるが、区域２９に対する制限は、分析されるべきデータの量を減らし、それによって画像認識のスピードを高める。さらには、道路端部２４または道路マーキング２３に類似した地理的な特徴を有する他の構造が発見され、そのような対象物として誤って識別され得る可能性は、全体的な画像２０と比較すると区域２９に対してはより少なく、道路端部および道路マーキングを識別する精度もまた、向上される。言い換えると、以下の図８および図９を参照してさらに詳細に説明されるが、動作の第２のモードにおいて、デジタルマップ情報が、有利に用いられ得、画像２０において特定の対象物のタイプを有する対象物が発見され得る位置または区域が予測される。

「確かな境界」を有する区域２９が、上の例示的な記述に用いられたが、すなわちこれらの区域の外側の全ての構造が、廃棄されたが、明確な区別を有さない、より概略的な可能性分布もまた用いられ得、それは、特定の位置、形状または方位を有する画像における構造が、実際に識別されるべき対象物であるという可能性を定量化するためであることに留意されるべきである。この目的のために、例えば道路端部または道路マーキングの位置がデジタルマップに基づいて予測され、画像において識別された構造の位置が、この位置と比較される。構造は、該比較に依存して可能性が割り当てられ、すなわち画像における構造の位置が、デジタルマップから決定された位置に近づけば近づくほど、構造が実際に認識されるべき対象物であるという割り当てられた可能性がより高くなる。可能性の割当ては、動作の第１のモード（図６および図７）および動作の第２のモード（図８および図９）の両方において用いられ得る。

対象物の識別が、上記の道路端部２４および道路マーキング２３を参照して説明されたが、この制限は、説明を明瞭にするためのみにある。特に、道路マーキング２２、全体的な道路セグメント２６または道路セグメント２１の個別のレーンなどの他の構造もまた、上に概略を述べた原理を用いて認識され得る。

図３に対する参照を継続すると、道路セグメントの幅についての情報をも含む十分に正確なデジタルマップが入手可能ではない場合においても、当節ではデジタルマップでさえ、上に概略を述べた目的のために有利に利用され得る道路セグメントの属性を含む。例えば、道路セグメントは、一般的に、例えば幹線道路などの道路セグメントのタイプを特定する属性、または各方向におけるレーンの数を特定する属性を有する。一般的に、道路セグメントの正確な幅を確立することは可能ではないが、これらの道路セグメントの属性は、幅ｗ見積もりを得るために評価され得る。

次に図４を参照すると、カメラユニット４によって提供される別の例示的な画像３０が示され、ここでは、道路３１は、直線部分３２および湾曲部分３３を含む。対応するデジタルマップ情報は、図４ｂの平面図３４において概略的に示され、参照番号３５は概して道路セグメントを意味し、３６および３７は、直線部分および湾曲部分をそれぞれ意味する。車両位置３８もまた、概略的に示される。位置決定手段３８および道路３６の地理的な形状についての情報を含むデジタルマップ情報によって決定された車両の位置から、湾曲部からの車両の距離ｄを決定することが可能である。デジタルマップは、通常は、長手方向に沿った道路の方向に関連するかなり正確な情報を含むので、ｄにおける不確実性は、主に位置決定手段８による車両の位置の決定における不確実性によるものである。距離ｄおよび車両に関したカメラユニットの位置から、道路セグメント３１の道路端部が期待される画像３０の区域が確立されることも、可能である。さらに具体的には、道路セグメント３１の直線部分３２に関する道路端部が位置付けされそうな区域が確立されるだけではなく、カーブした部分３０の道路端部が期待される画像の区域をも確立することが可能である。さらには、デジタルマップ情報から既知の湾曲部分３７の湾曲を用いて、カーブ部分３３の道路端部の形状を予測することさえも可能である。従って、直線ではない道路セグメントに対しても、画像認識デバイス１のプロセッシング手段３が、上に概略を述べた動作の両方のモードを用いて、例えば画像３０における道路セグメント３１の端部を認識することが可能である。さらに具体的には、デジタルマップ情報３４は、画像データ３０のみに基づいて決定された予備的に識別された道路端部が、特定の可能性を有して正しく認識されることを検証するために用いられ得る。代替的または付加的に、３４において概略的に示されたデジタルマップ情報もまた、分析されるべき必要がある画像データ３０の区域を識別するために用いられ得、これは、道路端部がこれらの区域において発見される可能性が高いからであり、それによって、画像３０における道路端部の位置および形状を予測し、画像認識のタスクを容易にする。

画像２０または画像３０のような画像データの分析または評価は、通常はこれらの画像において発見された構造の特定のモデルに対する比較を含む。例えば、道路セグメントの直線部分に関する道路端部のモデルは、平面図において、道路セグメントの幅に相当する距離を有する、一対の本質的に平行な線である。論理に基づいて、道路端部の距離は、画像データを分析することによって確立されなくてはならない未知のパラメータである。直線的な道路セグメントの道路端部をモデル化する他のモデルパラメータは、例えばカメラユニット４の視界の方向に関する道路セグメントの方向、およびカメラユニット４に関する道路端部のオフセット位置を含み得る。

実際的な実装において、画像データ２０および３０において道路セグメントの道路端部を認識することは、モデルが、最適に画像データを記述するか、または少なくとも画像データに対する十分な近似を提供する一式のパラメータを決定することを含む。この目的のために、性能指数が、特定のパラメータのセットに対して決定され、該性能指数は、画像データとのモデルの類似性を記述し、最大の性能指数を有する対応するモデルのパラメータのセットが確立される。原理的には、これは、多数の異なるパラメータのセットをサンプリングすることによって達成され得るが、該タスクは、ベイズフィルタリングまたは粒子フィルタリングを用いることによって、しばしば容易になる。そのような場合において、デジタルマップ情報は、しばしば、調査されなくてはならないパラメータの範囲を自然と拘束し得ることに留意されたい。例えば、図３における道路セグメントの幅ｗまたは図４における湾曲部からの車両の距離ｄは、対応するモデルパラメータを、デジタルマップから確立されたパラメータ周辺のごく近傍に実質的に限定することを可能にする。

直線道路または直線的な道路セグメントは、一対の実質的に平行な線によって近似されるが、平面図において、図４に示されるようなカーブした道路に対しては、より複雑なモデルが要求される。一実施例において、カーブした道路は、一連の実質的に直線の道路セグメント部分、つまりは互いに傾斜し得る長手方向の軸によって近似され得る。あるいは、カーブした道路に対するより複雑化したモデルが、例えば、道路を部分的にクロソイド曲線として近似されることによって用いられ得る。デジタルマップ情報は、画像データを評価することを容易にするために用いられるので、デジタルマップによって提供されるデータフォーマットに基づいて用いられるモデルのタイプを選択するのに適切であり得る。例えば、カーブした道路が、一連の直線的なベクトルの形状として格納されている場合には、一連の直線的な道路セグメント部分として道路をモデル化することが適切であり得、一方、デジタルマップが、クロソイドパラメータのフォーマットを用いる場合には、クロソイド曲線に関するモデル化が、好ましくあり得る。

図５に移ると、画像データ４０のさらに別の実施例が示され、該図は、車両が現在移動している道路４１から逸れる道路４２で、道路のわき道を示している。対応するデジタルマップ情報４３は、図５ｂにおいて平面図で概略的に示され、ここでは、現在の車両の位置４６と組み合わさってデジタルマップから確立され得る様々なパラメータが、概略的に示される。道路は、４４および４５によって表される。画像データ４０において両方の道路を識別するために関連するパラメータは、道路４４の幅であるｗと、道路４５の幅であるｗ_ｔと、わき道から概略的に４６において示される車両までの距離であるｄと、道路４４および４５の長手の軸がわき道の位置において交差する角度のａを含む。上記から明白であるべきように、デジタルマップ情報４３において概略的に示される全てのパラメータは、有利に用いられ、画像データ４０において道路端部を認識するタスクを容易にし得、それは、上述された画像認識デバイス３の例示的な動作のモード、すなわちクロスチェッキングおよび予測のうちのいずれか１つに基づく。

図６および図７を参照すると、画像認識デバイス１の動作の第１のモードは、次いでさらに詳細に説明される。方法は、概して図６における５０において示される。最初に、ステップ５１において、画像データ、すなわち画像データのみが従来式の方法で分析され、ステップ５２における予備的な対象物の認識に至る。ここでの作業の焦点ではないが、ステップ５１における画像データの分析は、従来型の画像認識デバイスにおいて用いられる全ての方法が含まれ得るということが、留意されるべきである。例えば、分析は、通常は様々なやり方における画像のフィルタリングを含み、例えば、ガウスフィルタカーネルのラプラスまたはガウスフィルタカーネルを用いた画像の複雑な細部計算、色の確率分布の計算、または画像へのカニーオペレータ（Ｃａｎｎｙ−ｏｐｅｒａｔｏｒ）の適用を含む。続いて、識別されるべき対象物に対するモデルのパラメータは、画像データに最も一致するモデルを確立するように決定される。後者のステップは、特定のパラメータのセットを有するモデルが、画像データと一致しているかどうかを定量化する性能指数の計算を含む。性能指数は、いくつかのキューのうちの１つ、または通常はその組み合わせに基づいて計算され得、該キューは、道路マーキングを示すレーンマーカーキュー、道路端部の構造を示す道路端部キュー、通常の道路の色を示す道路色キュー、道路の色とは異なる色を有する画像区域を示す非道路色キュー、道路幅を示す道路幅キュー、および複数のレーンを有する道路において正しいレーンへ車両を強制する際に有用であるエラスティックレーンキューから選択され得る。さらに、キューのうちの１つは、デジタルマップから確立された予測される対象物の位置、形状または方位と、現在調査されている画像における構造の位置、形状または方位との比較から導かれ得、それによってこの構造に可能性を割り当てる。優良なパラメータのセットが確立されると、すなわち、識別されるべき対象物に対して対応するモデルのセットが画像データと明瞭に一致すると、予備的な対象物の認識が、達成される。従来式の画像認識方法は、ステップ５２において終了する。

対照的に、図６の方法に従って、予備的に認識された対象物は、ステップ５３においてデジタルマップ情報との比較によって検証される。ステップ５３における検証は、次に説明されるように、様々な方法において実装され得る。

図７を参照すると、通常は６０において示される例示的な方法が示され、ここでは、図６の方法５０の検証ステップは、予備的に認識された対象物の位置が、デジタルマップ情報と一致するかどうかをクロスチェックすることによって実装される。画像データの分析および予備的な対象物の認識の分析のステップ６１および６２は、それぞれステップ５１およびステップ５２と同一である。次に、ステップ６３において、予備的に認識された対象物の対象位置が決定される。広がりのある対象物に対しては、このステップは、予備的に認識された対象物によってカバーされるエリアの決定を含み得る。ステップ６４において、画像認識デバイス１のプロセッシング手段３は、予備的な対象物の位置が、デジタルマップと一致するかどうかを検証する。この目的のために、プロセッシング手段３は、画像のどの区域に、対象物が位置すると期待されるかを決定し、それは、上記の図３を参照して説明され、同図においては、道路端部および道路マーキングが期待される区域は、２９で概略的に示される。予備的に認識された対象物の位置が、デジタルマップ情報と一致する場合には、対象物は、ステップ６５において検証および認識され、画像認識の結果は、例えばナビゲーションシステム２に出力され得る。対照的に、予備的に認識された対象物がデジタルマップと一致しない場合には、予備的に認識された対象物は、ステップ６６において廃棄される。この場合において、画像は、再び分析され得、すなわち、プロセス６０が再び開始され得る。

デジタルマップ情報のみを有する画像データに基づいた予備的な対象物の認識の結果をクロスチェックすることによって、画像における対象物の誤った識別の可能性は、減少し得、これによって画像認識の精度は高まる。

上記の対象物の位置を参照してクロスチェッキングが説明されたが、他のパラメータもまた、デジタルマップ情報を用いて予備的に認識された対象物をクロスチェックするために用いられることに留意されるべきである。例えば、画像データから決定された道路の幅は、デジタルマップ情報において格納された対応する情報、例えば道路の幅または道路のタイプと比較され得、後者は、概して道路幅の境界を確立させる。

図８に移ると、画像認識デバイス１に対する動作の別の例示的なモードが、次に説明される。方法は、包括的に７０で示される。

最初に、ステップ７１において、デジタルマップ情報が、ステップ７２において識別されるべき対象物の特性を予測するために評価される。この対象物の特性は、様々な特性のうちの１つまたは組み合わせであり得、画像における対象物の位置、画像における対象物の形状、または画像における対象物の方位を含む。画像データの分析が、画像データへの対象物のモデルのフィッティングに基づく場合には、対象物の特性もまた、モデルのパラメータのうちの１つに対する予測であり得る。次に、ステップ７３において、画像データは、予測された対象物の特性に基づいて分析される。ステップ７３の特定の実装は、ステップ７２において予測された対象物の特性と、画像データの分析に対して一般的に用いられる方法とに依存する。

図９を参照すると、図８に示される一般的な方法の特定の実装である方法８０が、さらに詳細に記述される。最初に、ステップ８１において、画像において認識されるべき対象物は、デジタルマップにおいて識別され、対象物に対応する情報は、デジタルマップ情報から抽出される。この情報に基づきステップ８２において、画像上の対象物の位置が予測される。レーンマーカーおよび道路端部のような広がりのある対象物に対しては、対象物の位置の予測は通常、対象物が発見されそうな、画像における広がりのある区域またはエリアを識別することを含む。予測された対象物の位置に基づいて、ステップ８３において画像データの小区分は、その次の分析のために選択され、該画像データの小区分が、対象物が位置しそうな画像の部分と対応する。図３を再び参照すると、これらの区域は、２９において概略的に示される。ステップ８４において、ステップ８３において選択された画像データの小区分は、ステップ８５において対象物を認識するために分析される。画像認識の結果、すなわち認識された対象物の正確な位置およびタイプは、他のデバイス、例えばナビゲーションシステム２に後に出力され得る。

図８および図９において概略的に示された方法において、デジタルマップ情報は、画像データの後の分析を容易にするために用いられる。このようにして、精度のみならず、画像認識タスクの速度もまた、向上され得る。

図９の方法の例示的な実装において、画像上の対象物の位置は、画像データ分析を容易にするために予測されるが、画像認識デバイス１の動作は、それに対して制限はされない。上に示されたように、他の対象物の特性、例えば対象物の形状および／または方位、または対象物の境界もまた、画像認識を容易にするために用いられ得る。図５の実施例に戻ると、道路のわき道からの車両の距離であるｄが正確には知られていないときであっても、デジタルマップによって含まれる情報および車両の位置は、プロセッシング手段３が、道路４２の道路マーキングの方向が位置しそうな角度の範囲を確立することを可能にする。画像データは、次いで、そのような方位を有する構造に対する特別な関心をもって分析され得る。画像データの分析が、再び、画像データへのモデルのフィッティングに基づく場合において、デジタルマップ情報から抽出された対象物についての情報は、可能性のあるモデルパラメータの範囲を制限するために用いられ得る。例えば、図５において概略的に示される状況に対して、道路のわき道からの距離ｄ、道路のわき道の角度ａ、および道路４２の幅ｗ_ｔについての情報は、画像４０における道路４２の道路端部をモデル化するために用いられる、対応するパラメータを制限するために全てが用いられ得る。

図９の方法は、対象物の位置の予測のみを利用して画像データの分析を容易にするが、対象物のパラメータの組み合わせが、この目的のために用いられ得ることが強調されるべきである。例えば、デジタルマップ情報は、画像認識デバイス１のプロセッシング手段３が画像上の対象物の位置および対象物の可能性のある形状の両方を予測することを可能にし得る。この場合において、画像データの分析は、画像データの小区分のみに制限され得るのではなく、さらには、この小区分の中に位置し、特定の形状を有する対象物に対しても制限され得る。

図３〜図９を参照した上の説明は、画像に示されるエリアに対応するエリアまたは区域は、既知であるという仮定に基づいている。デジタルマップのそのような関連性のある部分を識別することは、ナビゲーションシステムにおける標準的な機能のうちの１つである。さらに具体的には、位置決定手段８の出力に基づいて、ナビゲーションシステム２のプロセッシングユニット６は、車両の近辺に対応するデジタルマップの関連性のある部分を決定するように適合される。さらに、マップに関する車両の方位もまた、しばしば自動的に確立され、これは、ナビゲーションシステムが、車両の動きを確認するからである。あるいは、別個のコンパスデバイスが、この目的のために提供され得る。車両の方位に基づいて、カメラユニット４の視界に対応する関連性のあるマップ部分は、選択され得、例えば画像認識デバイス１のメモリ手段５に格納され得る。

画像認識の結果は、画像認識デバイス１からナビゲーションシステム２に出力され、それは、様々なナビゲーションの機能性を容易にするためである。

方法９０を示す図１０を参照して説明されるように、動作するナビゲーションシステム２によって、画像認識デバイス１によって提供される結果は、特に決定される車両の位置の精度の向上のために用いられ得る。車両の位置を決定する目的のために、従来型のナビゲーションシステムは、例えばＧＰＳ受信器および／またはジャイロスコープデバイスを含み得る位置決定手段を用いる。しかし、これらのデバイスによって達成可能な位置決定の精度は、一部の場合において不十分であり得る。特に、近接した対象物に対して、現在の車両の位置から対象物の距離の決定を導く画像データの分析は、ナビゲーションシステムの標準的な位置決定手段８のルーチンよりもさらに正確な車両の位置の決定方法であり得る。

図５の実施例を振り返ると、上記の図６〜図９を参照して説明された方法のうちの１つを用いて道路のわき道が認識されると、道路のわき道からの車両の距離の値は、認識されたわき道に基づいて確立され得る。相対的な位置は、ナビゲーションシステムにフィードバックされ得る。デジタルマップ情報および位置決定手段８の出力から確立された距離と画像データに基づいて確立された距離との比較によって、位置決定手段は、再び調整され得る。この方法は、包括的に９０で示されるが、図１０において概略的に示される。最初に、ステップ９１において、ナビゲーションシステム２の位置決定手段８は、現在の車両の位置を決定し、ナビゲーションシステム２は、ステップ９２において、画像認識デバイス９２に、現在の車両の位置に基づいて選択されたデジタルマップ情報を提供する。画像認識デバイスは、次いで上述された方法のうちの１つに基づいて、画像における対象物を識別し、ステップ９３において情報を受信するナビゲーションシステムに対象物の位置を提供する。最後に、ステップ９４においてナビゲーションシステム２によって決定された位置は、画像認識デバイスの入力に基づいて再び調整され得る。

勿論、本明細書中に記述された画像認識デバイスによって提供された結果の幅広い他の様々なアプリケーションもまた、自動車の環境において考えられる。

図１において示されるように、本発明の画像認識デバイス１は、モジュラーデバイスであり得、該モジュラーデバイスは、それ自体のプロセッシング手段、メモリ手段およびカメラユニットを含む。しかし、画像認識デバイスによって要求されるリソースのうちのいくつかもまた、自動車の環境において用いられる他のシステムまたはデバイスと共用され得る。例えば、プロセッシング手段３は、ナビゲーションシステムのメモリユニットにアクセスするように適合され得、この場合において、別個のメモリまたはストレージユニットを画像認識デバイスにおいて提供することは必要ない。さらには、メモリ手段はまた、カメラユニット４と部分的に一体化され得、すなわち、画像データを格納するメモリ手段の一部分は、カメラユニットの一部であり得る。さらにその上、画像認識デバイスは、必ずしも別個のデバイスでなくてはならないという訳ではなく、例えばナビゲーションシステム２とも完全に一体化され得る。この場合において、ナビゲーションシステムのプロセッシングユニット６は、標準的なナビゲーションのタスクおよび画像認識のタスクの両方を行うように適合される。

本発明の様々な例示的な実施形態が、画像における道路に関連した、道路または構造物といった対象物の認識を参照しながら記述されたが、本発明は、それに対して制限されるものではない。むしろ、本発明の原理は、建物のような、デジタルマップ情報において提供される情報上のあらゆる構造を認識または識別することに適用され得る。

さらには、車両に搭載されたナビゲーションシステムに対する画像認識は、本発明の適用の一分野であると予想されるが、本発明は、この分野に制限されるものでもない。むしろ、これは、対象物が画像の中で認識されなくてはならず、画像の少なくとも一部に対応するマップ情報が利用可能であるあらゆる状況に適用され得る。

図１は、ナビゲーションシステムと結合された、本発明の実施形態に従った画像認識デバイスを示す、概略的なブロック図である。 図２は、本発明の実施形態に従った画像認識デバイスがインストールされた車を示す概略図である。 図３は、本発明の実施形態に従った方法の原理を例示するために供し、図３ａは例示的な画像を表し、図３ｂは、対応する例示的なデジタルマップを表し、図３ｃは、デジタルマップ情報に基づいた画像データの評価を例示するために供する。 図４は、本発明の実施形態に従った方法をさらに例示するために役立ち、該方法は、図４ａに表される別の例示的な画像および図４ｂに表される対応するデジタルマップに対するものである。 図５は、本発明の実施形態に従った方法を例示するために役立ち、該方法は、図５ａに表されるさらに別の例示的な画像および図５ｂに表される対応するデジタルマップに対するものである。 図６は、本発明の第１の実施形態に従った、方法を概略的に表す流れ図である。 図７は、さらに詳細なる図６の方法の特定の実装を、概略的に表す流れ図である。 図８は、本発明の第２の実施形態に従った方法を概略的に表す流れ図である。 図９は、図８の方法の特定の実装を表す流れ図である。 図１０は、本発明の実施形態に従った、ナビゲーションシステムによって実行され得る、位置決定の精度を向上させるための方法を表す流れ図である。

符号の説明

１ 画像認識デバイス
２ ナビゲーションシステム
３ プロセッシング手段
４ カメラユニット
５ メモリ手段
１０ 自動車
２０ 画像
２１ 道路セグメント

Claims (37)

1. 画像における対象物を認識する方法であって、該方法は、
   該画像に対応する画像データを抽出するステップと、
   デジタルマップ情報を抽出するステップであって、該デジタルマップ情報は、該画像によって表されたエリアの少なくとも一部についてのマップ情報を含み、該デジタルマップ情報は、該対象物についての情報を含む、ステップと、
   該画像データおよびデジタルマップ情報を評価することによって該対象物を認識するステップであって、該画像データおよび該デジタルマップ情報の両方は、該対象物を認識するために評価される、ステップと
   を包含する、方法。
2. 前記画像データおよび前記デジタルマップ情報の前記評価は、該画像データを評価することによって前記対象物を認識し、続いて、該デジタルマップ情報に基づいて、該対象物が正しく認識されたことを検証することを包含する、請求項１に記載の方法。
3. 前記デジタルマップ情報によって包含される前記対象物についての前記情報は、該対象物の位置、形状または方位のうちの少なくとも１つについての情報を包含し、
   前記画像データおよび該デジタルマップ情報の前記評価は、該画像データを評価することによって該対象物を認識することと、該画像データから該対象物の位置、形状、または方位のうちの少なくとも１つを決定し、該画像データから決定された該対象物の位置、形状、または方位のうちの該少なくとも１つと該デジタルマップ情報とを比較すること、とを包含する、請求項１に記載の方法。
4. 前記画像データおよび前記デジタルマップ情報の前記評価は、該デジタルマップ情報を用いることによって該画像データの評価を容易にし、前記対象物を認識することを包含する、請求項１に記載の方法。
5. 前記画像データおよび前記デジタルマップ情報の前記評価は、該デジタルマップ情報を用いることによって前記画像における前記対象物の位置、形状、または方位のうちの少なくとも１つを予測することを包含し、
   該画像データの評価は、該対象物の位置、形状、または方位のうちの該予測された少なくとも１つに基づいて、該画像における特定の位置、形状または方位を有する構造物が、認識されるべき該対象物であるという可能性を割り当てることを包含する、請求項１に記載の方法。
6. 前記デジタルマップ情報によって包含される前記対象物についての前記情報は、該対象物の前記位置についての情報を包含し、
   前記画像データの評価は、該対象物の該位置についての情報に基づいて選択された該画像データの小区分に制限される、請求項１に記載の方法。
7. 前記デジタルマップ情報によって包含される前記対象物についての前記情報は、該対象物の形状および／または方位についての情報を包含し、
   前記画像データの評価は、該対象物の形状および／または方位についての該情報に基づいて選択された形状および／または方位を有する対象物の識別に制限される、請求項６に記載の方法。
8. 前記画像データおよび前記デジタルマップ情報の前記評価は、前記対象物のモデルと該画像データとの比較を包含する、請求項１に記載の方法。
9. 前記対象物の前記モデルは、少なくとも１つの変数パラメータを有し、前記画像データおよび前記デジタルマップ情報の前記評価は、該少なくとも１つの変数パラメータに対する最適値の発見を包含する、請求項８に記載の方法。
10. 前記少なくとも１つの変数パラメータに対する前記最適値の前記発見は、ベイズフィルタリングまたは粒子フィルタリングを包含する、請求項９に記載の方法。
11. 前記デジタルマップ情報は、ナビゲーションシステムから抽出される、請求項１に記載の方法。
12. 前記方法は、現在の車両の位置を決定することを包含し、前記デジタルマップ情報の抽出は、該現在の車両の位置に基づいている、請求項１に記載の方法。
13. 前記方法は、現在の車両の方位を決定することを包含し、前記デジタルマップ情報の抽出は、該現在の車両の方位に基づいている、請求項１２に記載の方法。
14. 前記方法は、前記画像を記録することを包含し、該画像は、車両の近辺を表示する、請求項１に記載の方法。
15. 前記方法は、前記画像データおよび前記デジタルマップ情報の前記評価の結果をナビゲーションシステムに提供することを包含する、請求項１に記載の方法。
16. 前記方法は、前記画像データおよび前記デジタルマップ情報の前記評価の結果に基づいて、ドライバーに運転指示を提供すること、またはドライバーに注意を喚起すること、または車両を制御することを包含する、請求項１５に記載の方法。
17. 前記対象物は、道路と、道路のレーンと、レーンマーカーと、道路端部と、道路の交差点と、道路のわき道と、道路標識とを含む群から選択される、請求項１に記載の方法。
18. 画像における対象物を認識する画像認識デバイスであって、該デバイスは、
    該画像に対応する画像データを格納し、デジタルマップ情報を格納するメモリ手段であって、該デジタルマップ情報は、該画像によって表されるエリアの少なくとも一部についてのマップ情報を包含し、該デジタルマップ情報は、該対象物についての情報を包含する、メモリ手段と、
    該メモリ手段と結合したプロセッシング手段であって、該画像データおよび該デジタルマップ情報を評価することによって該対象物を認識し、該画像データおよび該デジタルマップ情報の両方は、該対象物を認識するために評価される、プロセッシング手段と
    を備えている、デバイス。
19. 前記プロセッシング手段は、前記画像データを評価することによって前記対象物を認識し、続いて、前記デジタルマップ情報に基づいて、該対象物が正しく認識されたことを検証する、請求項１８に記載の画像認識デバイス。
20. 前記デジタルマップ情報によって包含される前記対象物についての前記情報は、該対象物の位置、形状、または方位のうちの少なくとも１つについての情報を包含し、
    前記プロセッシング手段は、前記画像データを評価することによって該対象物を認識し、該画像データから該対象物の位置、形状、または方位のうちの該少なくとも１つを決定し、該画像データから決定された該対象物の位置、形状、または方位のうちの少なくとも１つと該デジタルマップ情報とを比較する、請求項１８に記載の画像認識デバイス。
21. 前記プロセッシング手段は、前記デジタルマップ情報を用いることによって前記画像データの評価を容易にし、前記対象物を認識する、請求項１８に記載の画像認識デバイス。
22. 前記プロセッシング手段は、前記デジタルマップ情報を用いることによって前記画像における前記対象物の位置、形状、または方位のうちの少なくとも１つを予測し、該対象物の位置、形状、または方位のうちの該予測された少なくとも１つに基づいて前記画像データを評価し、
    該プロセッシング手段は、該対象物の位置、形状、または方位のうちの該予測された少なくとも１つに基づいて、該画像において特定の位置、形状または方位を有する構造物が、認識されるべき該対象物であるという可能性を割り当てる、請求項１８に記載の画像認識デバイス。
23. 前記デジタルマップ情報によって包含される前記対象物についての前記情報は、該対象物の前記位置についての情報を包含し、
    前記プロセッシング手段は、該対象物の該位置についての情報に基づいて選択された前記画像データの小区分を評価する、請求項１８に記載の画像認識デバイス。
24. 前記デジタルマップ情報によって包含される前記対象物についての前記情報は、前記対象物の形状および／または方位についての情報を包含し、
    前記プロセッシング手段は、前記画像データを評価することによって、該対象物の形状および／または方位についての情報に基づいて選択された形状および／または方位を有する対象物を識別する、請求項２２に記載の画像認識デバイス。
25. 前記プロセッシング手段は、前記対象物のモデルと前記画像データとを比較することによって該対象物を認識する、請求項１８に記載の画像認識デバイス。
26. 前記対象物の前記モデルは、少なくとも１つの変数パラメータを有し、前記プロセッシング手段は、該少なくとも１つの変数パラメータに対する最適値を発見する、請求項２５に記載の画像認識デバイス。
27. 前記プロセッシング手段は、ベイズフィルタまたは粒子フィルターを用いることによって、前記少なくとも１つの変数パラメータに対する前記最適値を発見する、請求項２６に記載の画像認識デバイス。
28. 前記デバイスは、現在の車両位置を決定する位置決定手段を備えており、
    該位置決定手段は、前記プロセッシング手段と結合され、該プロセッシング手段は、該現在の車両位置に基づいて前記デジタルマップ情報の一部分を選択するように適合されている、請求項１８に記載の画像認識デバイス。
29. 前記デバイスは、現在の車両の方位を決定する方位決定手段を備えており、
    該方位決定手段は、前記プロセッシング手段と結合され、該プロセッシング手段は、該現在の車両の方位に基づいて前記デジタルマップ情報の一部分を選択するように適合されている、請求項２８に記載の画像認識デバイス。
30. 前記デバイスは、前記画像を記録するカメラユニットを備えており、該カメラユニットは、前記メモリ手段と結合され、該画像を前記メモリ手段に提供する、請求項１８に記載の画像認識デバイス。
31. ナビゲーションシステムであって、該ナビゲーションシステムは、
    画像認識デバイスであって、該画像認識デバイスは、
    該画像に対応する画像データを格納し、デジタルマップ情報を格納するメモリ手段を備えており、該デジタルマップ情報は、該画像によって表されるエリアの少なくとも一部分についてのマップ情報を包含し、該デジタルマップ情報は、該対象物についての情報を包含する、画像認識デバイスと、
    該メモリ手段と結合したプロセッシング手段であって、該画像データおよび該デジタルマップ情報を評価することによって該対象物を認識し、該画像データおよび該デジタルマップ情報の両方が評価されることによって該対象物を認識する、プロセッシング手段と
    を備えている、ナビゲーションシステム。
32. デジタルマップを格納するストレージユニットを備えており、前記画像認識デバイスは、該ストレージユニットと結合されることによって、そこから該デジタルマップの少なくとも一部を抽出する、請求項３１に記載のナビゲーションシステム。
33. ドライバーに運転指示または警告信号を出力する光学的または音響的な出力ユニットを備えており、
    該運転指示または警告信号は、前記画像認識デバイスによって認識された前記対象物に依存して出力される、請求項３１に記載のナビゲーションシステム。
34. 現在の車両の位置を決定する位置決定手段を備えており、
    前記画像認識デバイスは、前記認識された対象物についての位置情報を該位置決定手段に提供し、該位置決定手段は、該認識された対象物についての該位置情報に基づいて位置決定の精度を向上させる、請求項３１に記載のナビゲーションシステム。
35. ナビゲーションシステムおよび画像認識デバイスのアセンブリであって、該アセンブリは、
    位置決定デバイスと、
    画像認識デバイスであって、該画像認識デバイスは、画像データおよびデジタルマップ情報の両方を評価することによって該画像データによって表される画像における対象物を認識するように構成され、該画像認識デバイスは、該位置決定デバイスと結合されることによってそれに対する該対象物の相対的な位置についての情報を提供する、画像認識デバイスと
    を備えている、ナビゲーションシステムおよび画像認識デバイスのアセンブリ。
36. 前記位置決定デバイスは、現在の車両の位置についての情報を前記画像認識デバイスに出力する、請求項３５に記載のナビゲーションシステムおよび画像認識デバイスのアセンブリ。
37. 前記位置決定デバイスは、前記相対的な位置についての前記情報に基づいて前記位置決定デバイスを再び調整するように構成される制御回路を備えている、請求項３６に記載のナビゲーションシステムおよび画像認識デバイスのアセンブリ。

Images