JP6006215B2 - 既存の静止画像内における映像の可視化 - Google Patents

Description

従来技術

[0001] 職業で電動車両を運転する者というような、少数の例外はあるが、運転に費やされる時間は、一般に、殆どの個人には非生産的時間と見なされる。このような非生産性は、大量交通状況において立ち往生している運転手が体験するいらいらやその他の感情的犠牲(toll)によって、一層悪化する可能性がある。したがって、運転の間大量交通状況を回避することが長い間望まれていた。このような望みは、個人に利用可能な多数の交通情報によって満たされ、大量交通状況を回避するとき、または回避したいその他の交通に基づく事件を回避するときに、彼らを補助する。例えば、多くの自動車ナビゲーション・システムは、今では、リアル・タイム交通情報の何らかの尺度を提供する。同様に、他の例として、多くのネットワーク系マッピング・アプリケーションも同様にリアル・タイムの交通情報を提供する。

[0002] 多くの場合、提供される交通情報は、消費し易くなるように一般化されている。例えば、交通情報は、至る所に存在する赤、黄色、および緑色のコード化を利用して提供されることが多く、緑色は、少量交通状況を示すために利用され、一方赤は、大量交通状況を示すために利用される。他の例として、交通情報は、平均速度、または２つの周知の交差点または他のそのような陸標間というような、予め定められた距離を走行するのに要する時間量に関して提供されることも多い。このような一般化された交通情報は、実際、ユーザーが電動車両を運転するのが心配な場合というようなときには、ユーザーにとって消費することが一層容易になる可能性があるが、ある種の状況では、単に十分な情報を提供できないに過ぎないという可能性もある。

[0003] もっと詳細な交通情報が望まれるかもしれない状況では、交通情報は、通例、至る所に存在するインターネット、または同様に至る所に存在するワールド・ワイド・ウェブというような、計算デバイスの大規模なネットワークに通信可能に結合されているビデオ・カメラを介して、特定の場所における自動車両交通量のリアル・タイム画像の形態で提供することもできる。従前より、このような交通カメラは、州または地方の運輸局というような、政府機関によって維持され、重要な道路または他の街路の特定の方向に見晴らしが利く場所を提供するようなやり方で取り付けられ、位置付けられる。通例、このような交通カメラによって提供される画像へのアクセスは、ウェブサイト、または他の同様のネットワーク系インターフェースを介して、生の交通カメラ画像フィードの形態で得ることができる。例えば、ウェブサイトは、しかるべきアイコン、または他のインディケーターによって示される交通カメラの位置を含む地図を表示することができる。このようなアイコン、または他のインディケーターを選択すると、生の交通カメラ画像フィードが提示され、多くの場合、サブ・ウィンドウまたは他の同様の独立したユーザー・インターフェース・エレメントの中に提示される。

[0004] コストおよび帯域幅の考慮により、通例、利用される交通カメラは高品質の画像を提供できない場合もある。更に、交通カメラは、電動車両の交通の画像を提供するように設計されており、コンテキスト(contextual)画像や周囲の画像を提供するのではない。その結果、ユーザーは、交通カメラの画像フィードにアクセスするとき、困惑を体験することが多い。例えば、交通カメラがどちらの方向を向いているのか判断することが、ユーザーにとって難しいことが多い。同様に、どの道路が撮影されているのか正確に特定することが、ユーザーにとって難しいことも多い。何故なら、ユーザーが選択した交通カメラからの表示マップが、交通カメラ位置のアイコン状視覚インディケーターを示していても、生のリアル・タイム動画提示のような交通カメラの画像フィードの提示は、コンテキスト的に大きく異なるからである。

[0005] 一実施形態では、交通カメラの画像フィードにおいて主に扱われている(featured)同じ道路を含む既存のパノラマのコンテキストの中で、交通カメラの画像フィードがユーザーに提示される。このような融合(amalgamation)によって、既存のパノラマにおけるもっと大きな視覚的コンテキストの中で、交通カメラによって提供される動的な交通動画を見ることを可能にすることができる。既存のパノラマは、通例、専用車両に取り付けられた専用のパノラマ・カメラによって取り込まれており、通例、既存のマップ・ベース・ウェブサイトまたは他の同様のネットワーク中心インターフェースを介して、選択された地図エリアのストリート・レベル・ビュー(street-level view)としてユーザーに提示される。ユーザーがこのようなストリート・レベル・ビューと、パノラマによって提供されるコンテキスト視覚情報との組み合わせに馴染むと、この動的な交通カメラ動画フィードがこのようなパノラマの中に提示されたとき、ユーザーが一層容易にこの画像フィードを理解し利用することを可能にすることができる。

[0006] 他の実施形態では、交通カメラ画像フィードを前処理して、交通カメラ画像フィードに適用可能な変換パラメーターを決定し、既存のパノラマとのその視覚的統合を改善することができる。このような前処理は、交通カメラ画像フィードを表示すべき１つ以上のしかるべきパノラマを特定するステップを含むことができ、更にときと共に変化する交通カメラ画像フィードの部分、およびときが経過しても変わらないままでいる部分を特定するステップも含むことができる。

[0007] 更に他の実施形態では、交通カメラ画像フィードを１つ以上の既存のパノラマに統合することができ、所定の変換パラメーターにしたがって交通カメラ画像フィード全体を変換し、次いでそれを既存のパノラマの中に表示することによって、交通カメラからの動的な動画映像を、１つ以上のパノラマのもっと大きな視覚的コンテキストの中で提示する。あるいは、交通カメラ画像フィードの内動画成分または可変成分のみをフィルタリングし、既存のパノラマの中に表示することもできる。更に他の代替案では、交通カメラ画像フィードの動画成分または可変成分は、道路、または他のしかるべき背景構造物と組み合わせて、フィルタリングし、既存のパノラマの中に表示することができる。

[0008] 更に他の実施形態では、線照合アルゴリズム(line matching algorithm)を利用して、変換パラメーターを計算することができる。このような線照合アルゴリズムは、交通カメラ画像フィードの静止部分のしかるべき態様の線を、１つ以上の既存のパラメーターの同様の態様と一致させようとすることができる。

[0009] この摘要は、詳細な説明の章において以下で更に説明する概念から選択したものを簡略化された形式で紹介するために、設けられている。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を限定するために使用されることを意図するのでもない。

[0010] その他の特徴および利点は、添付図面を参照しながら進められる以下の詳細な説明から明白になるであろう。

[0011] 以下の詳細な説明は、添付図面と関連付けて検討すると、最良に理解することができる。図面において、
図１は、交通カメラ画像フィードを既存のパノラマに統合するシステム例のブロック図である。 図２は、交通カメラ画像フィードを既存のパノラマに組み合わせるメカニズム例のブロック図である。 図３は、交通カメラ画像フィードを既存のパノラマに組み合わせるための前処理例の流れ図である。 図４は、交通カメラ画像フィードを既存のパノラマと照合するメカニズム例の流れ図である。 図５は、既存のパノラマの中に交通カメラ画像フィードを表示するメカニズム例のブロック図である。 図６は、計算デバイス例のブロック図である。

[0018] 以下の説明は、本明細書では「フィード」と呼ぶリアル・タイムのビデオ・カメラ・データーを、既存の画像に、通例、パノラマ画像の形態の中に統合し、ビデオ・カメラによって供給される動画映像を、既存画像のより広い画像コンテキストの中で表示することに関する。最初に、前処理を実行して変換パラメーターを得、この変換パラメーターを利用してビデオ・カメラの画像フィードを視覚的に変換し、１つ以上の既存のパノラマ画像の中に混ぜ合わせ(blend)、そしてこれらと共にはめ込むようにする。その後、所定の変換パラメーターを利用して、ユーザーがこのようなパノラマ画像にアクセスするために通例利用するユーザー・インターフェースを介してというようにして、ビデオ・カメラの画像フィードを、１つ以上の既存のパノラマ画像の中に表示することができる。車両交通(vehicular traffic)のコンテキストの中で、交通カメラ画像フィードを変換し、１つ以上の既存のパノラマに全体として統合することができ、あるいは、移動する車両のみというような、または代わりに、移動する車両および下を通る道路だけというような、交通カメラ画像フィードのある部分だけを、パノラマの中に表示することができる。変換パラメーターを得る１つのメカニズムには、ビデオ・カメラ画像フィードの静止部分からのしかるべき線を、１つ以上のパノラマ画像における対応する線と照合することができる線照合アルゴリズムを用いることができる。前述のしかるべき線を特定するには、動きの方向に基づくフィルタリング、または既存の重畳マップ・データーに基づくフィルタリングによるというように、フィルタリング技法を使用することができる。

[0019] 例示の目的に限って、本明細書において記載する技法は、交通カメラ画像フィードを対象とし、この交通カメラ画像フィードは、ネットワーク・マップ・インターフェースにおけるストリート・レベル・ビューのコンテキストに対して収集され、その中で提示される既存のパノラマ画像の中で提示される。このような引用は、しかしながら、厳格に例示であり、提供する特定の例に対して記載されるメカニズムに限定することを意図するのではない。実際、記載する技法は、動画部分および静止部分の双方を含む任意のビデオ・カメラ画像の、ビデオ・カメラ画像フィードによって組み立てられる１つ以上のエレメントを中心とするより広いコンテキストを規定する既存の静止画像との統合にも適用可能である。したがって、以下で「交通カメラ」に言及する場合、任意のビデオ・カメラを意味するように広く理解されることを意図しており、「パノラマ」に言及する場合、より大きな視覚的コンテキストを規定する任意の静止画像に適用されるように広く理解されることを意図している。何故なら、以下の説明は、このようなより広い概念にも等しく適用可能であり、交通カメラやパノラマ画像だけに一意には決して限定されないからである。

[0020] 必須ではないが、本発明の説明は、計算デバイスが実行するプログラム・モジュールのような、コンピューター実行可能命令という一般的なコンテキストで行う。更に具体的には、この説明は、特に示されない限り、１つ以上の計算デバイスまたは周辺機器によって実行される処理(operation)の動作(act)および象徴的表現に言及する。したがって、このような動作および処理は、ときとしてコンピューターによって実行されると言われることもあり、構造化された形態でデーターを表す電気信号の、演算装置による操作を含む。この操作は、データーを変換するか、またはそれをメモリー内の位置に維持し、当業者にはよく理解されているやり方で、計算デバイスまたは周辺機器の処理を構成し直すか、そうでなければこの処理を変更する。データーが維持されるデーター構造は、データーのフォーマットによって定められる特定のプロパティを有する物理的な位置である。

[0021] 一般に、プログラム・モジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、データー構造等を含み、特定のタスクを実行するか、または特定の抽象的データー・タイプを実現する。更に、計算デバイスは、従来のパーソナル・コンピューターに限定される必要はなく、ハンドヘルド・デバイス、マルチプロセッサー・システム、マイクロプロセッサー・ベースまたはプログラマブル消費者用デバイス、ネットワークＰＣ、ミニコンピューター、メインフレーム・コンピューター等が含まれる。同様に、計算デバイスは、スタンド・アロンの計算デバイスに限定される必要もない。何故なら、本メカニズムは、通信ネットワークによってリンクされているリモート処理デバイスによってタスクが実行される分散型計算環境においても実用化することができるからである。分散型計算環境では、プログラム・モジュールは、ローカルおよびリモート双方のメモリー記憶デバイスに配置することもできる。

[0022] 図１に移ると、システム例１００が示されており、クライアント計算デバイス１３０、マップ・サーバー計算デバイス１２０、および交通カメラ１１０を含む。これらは、各々、互いにネットワーク１８０を介して通信可能に結合されている。例示の目的に限って、交通カメラ１１０は、図１のシステム例１００において、道路１７０の上方にある立体交差１７１上に位置付けられて示されており、交通カメラ１１０が道路１７０上の車両交通の画像を提供できるようになっている。交通カメラ画像フィード１４０は、個々の画像１４１、１４２、１４３、１４４、および１４５によって図１のシステム１００において図式的に表されており、ネットワーク１８０を経由した通信によって、１つ以上の計算デバイスに入手可能にすることができる。図１のシステム１００によって示される例では、通信１４９によって例示されるように、マップ・サーバー計算デバイス１２０は交通カメラ画像フィード１４０を交通カメラ１１０から受け取ることができる。

[0023] クライアント計算デバイス１３０のユーザーのようなユーザーが、交通カメラ画像フィード１４０を一層有意に、そして一層容易に理解可能なコンテキストで受け取ることを可能にするために、マップ・サーバー計算デバイス１２０は、交通カメラ画像フィード１４０を１つ以上の既存のマップ・パノラマ１５０と組み合わせて、クライアント計算デバイス１３０に、融合画像１６０を供給することができる。融合画像１６０は、交通カメラ画像フィード１４０、またはその一部を含み、マップ・パノラマ１５０の内１つ以上の上に重ね合わされて、マップ・パノラマ１５０のコンテキストの中で提示される。当業者には認められようが、マップ・パノラマ１５０は、マップに基づくコンテキストの中でユーザーに提示することができるようなやり方で配列および編成されたパノラマ画像を含むことができる。例えば、マップ中心ウェブサイトのような、ネットワーク１８０を介して通例入手可能にされているマップ情報は、何らかの形態のストリート・レベル・ビューをユーザーに供給することができる１つ以上のインターフェースを含むことができる。このようなストリート・レベル・ビューは、通例、ユーザーが、選択した街路を歩行中または運転中に見て、以前からのマップ・ブラウジング技法によって選択した位置というような、特定の位置を可視化することを可能にする。当業者には認められようが、マップ・パノラマ１５０は、このようなストリート・レベル・ビューを提供するために利用することができる。

[0024] 更に具体的には、マップ・パノラマ１５０は、通例、専用パノラマ取り込み車両上に取り付けられた専用パノラマ・カメラによって得ることができる。専用パノラマ取り込み車両は、ストリート・レベル・ビューをユーザーに提示することが可能であることが望ましい特定の街路に沿って運転する。つまり、マップ・パノラマ１５０は、このような特定の街路に沿った連続地点において撮影した一連のパノラマ画像を含み、ユーザーに提示することができるストリート・レベル・ビューは、パノラマを連続的に表示することによって提示することができ、これによって、ユーザーが彼らの頭部を回すことを可能にしつつ、またはそれ以外で提示されているビューの方向を変更しつつ、 ユーザーがこの街路に沿った動きをシミュレートすることを可能にする。このような一連のパノラマ画像を例示する目的のために、図１のシステム１００において、マップ上に現れた場合の交差点(intersection)１５９が、交差点１５９の街路の１本に沿った地点で撮影された一連の連続パノラマ画像１５１、１５２、１５３、１５４、および１５５と共に、示されている。パノラマ１５１、１５２、１５３、１５４、および１５５、ならびに他のパノラマも、マップ・サーバー計算デバイス１２０に通信可能に結合することができるマップ・パノラマ１５０の一部とすることができる。

[0025] 例示および説明の目的に限って言えば、交差点１５９は、下に位置する道路１７０および上を通過する立体交差１７１の交点と等価にすることができる。立体交差１７１上には、交通カメラ１１０が取り付けられている。その結果、パノラマ１５１、１５２、１５３、１５４、および１５５の内１つ以上は、少なくとも近似的に、交通カメラ１１０によって取り込まれた場面を構成することができる。以下で更に詳しく説明するが、マップ・サーバー計算デバイス１２０は、マップ・パノラマ１５０の内1つ以上を特定することができ、交通カメラ画像フィード１４０をこのようなパノラマに統合して、通信１６９によって示されるように、クライアント計算デバイス１３０に融合画像１６０を供給する。クライアント計算デバイス１３０のユーザーには、マップ・パノラマ１５０によってストリート・レベル・ビューが提示されており、このストリート・レベル・ビューの中で、交通カメラ１１０が交通カメラ画像フィード１４０によって提示する、道路１７０上における現在の交通を含む状態も、このユーザーが見ることができる。図の静止的な本質のため、例示するのが難しいが、融合画像１６０は、交通カメラ画像フィード１４０の形態で交通カメラ１１０によって供給され、既存の画像の上に重ね合わせられるまたはそれ以外で統合されるような、動的な動画(moving and dynamic image)を構成し、既存の画像が動的な動画映像(moving and dynamic video)に対してより広い視覚的コンテキストを規定するようなやり方で、そして映像が既存の画像の中に、可動かつ動的な形態で表示されるように、融合画像を提示することを意図している。既存のパノラマのコンテキストの中に交通カメラ画像フィード１４０を提示することによって、ユーザーには、かなり大きくなった視覚的コンテキストを提供し、その中で交通カメラ画像フィード１４０を理解する(understand and comprehend)することができる。

[0026] 加えて、個々の画像１４１、１４２、１４３、１４４、および１４５から分かるように、交通カメラ１１０は、一実施形態では、カメラによって取り込まれる有効範囲がときと共に変化できるように、移動可能にすることができる。例えば、画像１４２は、画像１４１の取り込み以降下に向けてパンニングされた交通カメラ１１０を表すことができる。同様に、画像１４３は、画像１４２の取り込み以降に、実際には画像１４１の取り込み以降に、上に向けてパンニングされた交通カメラ１１０を表すことができる。同様に、画像１４４および１４５は、それぞれ、画像１４１の取り込み以降に、右および左にパンニングされた交通カメラ１１０を表すことができる。以下で更に詳しく説明するが、マップ・サーバー計算デバイス１２０によって実行される処理は、交通カメラ１１０の向きのこのような変更を考慮に入れることができる。

[0027] 図２に移ると、システム２００は、更に詳しく、ビデオ・カメラ・フィードを既存のパノラマと統合して、既存のパノラマの視覚的コンテキストの中で、可動かつ動的な形態でビデオ・カメラ・フィードを表示することができるようにする処理を示す。最初に、前処理段階の間等に、予め決めておくことができる時間量、または交通カメラ画像フィードから十分な量の視覚情報を得るために要する時間量というような、ある有限時間量の間交通カメラ画像フィード１４０をサンプリングすることができる。一実施形態では、このような所定の時間量は、自然照明の要因を考慮に入れることができ、例えば、日中および夜間双方の画像を含むことを回避するように、所定の時間量を選択することができ、または、他の例として、朝および夕方双方の画像を含むことを回避するように、所定の時間量を選択することができる。サンプリングされている交通カメラ画像フィード１４０が、交通カメラ画像フィードを供給している交通カメラを動かすことができ、このカメラによって取り込まれる有効範囲をときと共に変化させることができることを示す場合、一実施形態では、最初に、図２のシステム２００によって例示されるように、初期画像安定化を実行することができる。更に具体的には、図２に示すように、図１のシステム１００において個々に示した画像１４１、１４２、１４３、１４４、および１４５のような、各々変化する有効範囲を含む画像のシーケンスは、各画像の共通エレメントが重なるように位置合わせすることができる。次いで、その結果得られた複合体を利用することができ、ソース・ビデオ・カメラのその後の動きを、単にその複合体の異なる部分の後続の取り込みとして見なすことができる。

[0028] このような複合体から、動作２２５によって示される１つの分析によって、この複合体において、画像フィードがサンプリングされていた所定の時間量の間に動きを示したエリアを特定することができる。動きを示したエリアは、当業者には周知の既存の画像分析技法を利用して、動きマスク２２０の形態で特定することができる。同様に、複合体から、動作２３５によって示される他の分析によって、画像フィードがサンプリングされていた所定の時間量にわたって静止していたまたは一定のままであった、複合体のエリアを特定することができる。この場合も、当業者には周知の既存の画像分析技法を利用して、このようなエリアを特定することができる。例えば、このような技法の１つでは、画像フィードがサンプリングされていた所定の時間量の一部または全部にわたって交通カメラ画像フィード１４０からの画像の平均を取ることができる。このように平均を取ることによって、種々の画像フレームを跨いで動いていた要素を低減する、または実際には排除しつつ、静止したままの要素を強調することができる。結果的に得られた平均画像２３０は、ときの経過と共に変化しない、交通カメラ画像フィード１４０の一部である画像の部分を構成することができる。

[0029] 交通カメラ画像フィード１４０と共に、交通カメラ１１０の位置２１０に関する情報も得て、１つ以上の可能なパノラマ画像の選択を容易にすることができる。更に具体的には、図２のシステム２００において示すように、カメラの位置２１０を、動作２１５によって示すように、パノラマ１５１、１５２、１５３、１５４、および１５５のような、１つ以上のパノラマ上における位置と比較することができる。当業者には認められようが、このようなパノラマ画像を最初に収集するときに、その正確な位置も同様に記録することができるので、これらのパノラマをしかるべく表示し、既存のマップと、例えば、このようなマップの提供と共に供給されるストリート・レベル・ビューの一部としてというように、統合することができる。結果的に、交通カメラ１１０の位置２１０とパノラマの１つ以上を撮影した場所との間の比較を単純に行うことができる。

[0030] 動作２１５は、要因のなかでもとりわけ、先に引用した位置メタデーターによって知らせることができる既存の１組のパノラマの中からの、候補パノラマの選択を表すことができる。例えば、一実施形態では、交通カメラ１１０の位置２１０から所定の距離以内で撮影することができた全てのパノラマを、候補パノラマに選択することができる。代替実施形態では、しかるべき街路に沿って撮影することができたパノラマを候補パノラマに選択することができる。更に他の代替実施形態では、候補パノラマの選択は、地形、見通し線、または交通カメラ画像フィード１４０を供給する交通カメラ１１０によって取り込まれるのと同様の画像範囲を、少なくともパノラマの一部に含む可能性が大きくなる他の要因というような、複数の要因によって知らせることができる。図２に示すシステム例２００では、例示および説明の目的に限って言えば、少なくとも部分的に、動作２１５への入力として、パノラマの収集と共に供給される交通カメラ１１０の位置２１０に基づいて、パノラマ１５２、１５３、および１５４を動作２１５によって候補パノラマに選択することができる。

[0031] 一旦１組の候補パノラマが選択されたなら、これら候補パノラマの１つ以上のしかるべき部分を、交通カメラ画像フィード１４０によって供給された画像範囲と照合することができる。一実施形態では、これら候補パノラマの１つ以上のしかるべき部分の選択は、これらの候補パノラマと関連付けることができる既存のマップによって知らせることができる。例えば、当業者には認められようが、これらのパノラマ画像を利用したストリート・レベル・ビューの典型的な提示は、例えば、特定の道路または他のマップ指示要素というような、コンピューターが生成したマップ画像データーのオーバーレイも含む可能性がある。候補パノラマと関連したこのような既存のマップ・データーを利用して、これら候補パノラマの１つ以上のしかるべき部分の選択を知らせ、交通カメラ画像フィード１４０によって供給される画像と照合する。更に具体的には、カメラの位置２１０は、他の潜在的に入手可能な(potentially available)メタデーターと共に、１つ以上の街路を示すことができ、この街路に沿って交通カメラ１１０が向けられており、この街路の車両交通が、交通カメラ画像フィード１４０によって取り込まれている。次いで、候補パノラマと関連した既存のマップ・データーを参照して、同様の方向に、または同じ街路に沿って向けられる候補パノラマの部分を特定することができる。

[0032] 図２に示すシステム例２００では、候補パノラマ１５２、１５３、および１５４の部分２５２、２５３、および２５４を、それぞれ、候補パノラマと関連付けることができる交差点１５９の形態で示される、マップ・データーを参照することによって選択することができる。既に示したように、交差点１５９は、例えば、カメラの位置２１０によって示されるような、交通カメラ画像フィード１４０を供給する交通カメラ１１０を配置することができる交差点とすることができる。つまり、マップ・データーを参照することによって、交差点１５９の道路の内しかるべき１本に沿って向けられていたことが分かっている、候補パノラマの部分を選択することによって、候補パノラマ１５２、１５３、および１５４の部分２５２、２５３、および２５４を、それぞれ、選択することができる。

[0033] 候補パノラマ１５２、１５３、および１５４の部分２５２、２５３、および２５４の中からそれぞれ選択された部分２５３は、動作２５０によって示すように、候補パノラマのこれらの部分の態様を、先に説明したようにして交通カメラ画像フィード１４０から生成することができた平均画像２３０と照合することによって得ることができる。例えば、一実施形態では、この照合動作２５０は、部分２５２、２５３、および２５４における線を、平均画像２３０における等価の線と照合することによって実行することができる。照合する線を選択する１つのメカニズムは、動きの方向にある線、または等価に道路の方向にある線を選択することができる。つまり、平均画像２３０に関して、その画像から照合のために選択することができる線は、動きマスク２２０を参照して選択することができる。例えば、照合のために平均画像２３０から選択することができる線は、動きマスク２２０に対して実質的に平行な線、または動きマスク２２０の中に含まれる線とすることができる。同様に、候補パノラマ１５２、１５３、および１５４の部分２５２、２５３、および２５４に関して、それぞれ、各部分からの照合するための線は、候補パノラマの各々と関連したマップ・データーを参照して選択することができる。更に具体的には、選択される線は、候補パノラマの各々と関連した重ね合わせマップ・データーによって示されるような、交通カメラ１１０が向けられる道路であると考えられる道路の方向に対して実質的に平行な線とすることができる。

[0034] 候補パノラマ１５２、１５３、および１５４の部分２５２、２５３、および２５４の各々について、それぞれ、選択された線は、平均画像２３０から選択された線と照合することができ、どの線が最も精度高く一致したかという判定に基づいて、選択部分２５３を選択することができる。線照合アルゴリズムは当業者には周知であるので、これ以上説明しない。しかしながら、照合動作２５０は、線照合に限定されるのではない。他の実施形態では、点、画像セグメント、またはデーター・クラスターを利用して、候補パノラマ１５２、１５３、および１５４の部分２５２、２５３、および２５４をそれぞれ平均画像２３０と照合することができる。本明細書において利用される場合、「画像特徴照合」という用語は、このような実施形態を総合して指すことを意図している。加えて、図２のシステム２００は１つのパノラマ１５３のみからの選択部分２５３を示すが、他の実施形態では、以下で説明する変換パラメーター２６０の導出は、交通カメラ画像フィード１４０を複数の異なるパノラマと統合することができるように、複数のパノラマについて実行することができる。しかし、当業者には認められるように、異なる変換パラメーターを計算し、交通カメラ画像フィードを複数の異なるパノラマの内特定の１つにこのように統合する毎に利用することができる。

[0035] 一旦パノラマの選択部分２５３が選択されたなら、平均画像２３０を変換し、選択部分に位置合わせして、交通カメラ画像フィード１４０と、選択部分２５３が得られたパノラマ１５３との組み合わせを可能にすることができる。このような変換および位置合わせの結果は、動作２６５によって表されるように、変換パラメーター２６０となることができ、以下で更に説明するが、この変換パラメーター２６０は、続いて交通カメラ画像フィード１４０にリアル・タイムで適用することができ、パノラマ１５３のような既存のパノラマのコンテキストの中で、交通カメラ１１０からの現在の表示を可能にする。

[0036] 先に説明した照合２５０の場合におけるように、画像特徴照合は、同様に最適な変換パラメーター２６０を選択するための変換および位置合わせ２６５の一部として利用することができる。一実施形態では、変換および位置合わせ２６５を実行するために、射影変換 を利用することができる。更に具体的には、平均画像２３０からの線をランダムに選択することができ、これらのランダムに選択された線が選択部分２５３における等価の線と一致するように、射影変換 (homography)を利用して平均画像２３０を変換することができる。続いて、変換および位置合わせした平均画像２３０と選択部分２５３との間で他の選択されていない線が、どの位緊密に合致する(fit)かについてチェックを行うことができる。この合致の緊密さは、当業者には周知のやり方で採点することができ、この採点を、利用された変換パラメーターと共に格納することができる。続いて、変換されていない平均画像２３０を再度参照して、異なる1組の線を再度ランダムに選択し、他の射影変換 を実行して、新たにランダムに選択された線が、選択部分２５３における等価な線と一致するように、平均画像２３０を変換することができる。次いで、この変換の採点を再度前述と同様に判定することができ、利用された変換パラメーターと共に格納することができる。最後に、最終変換パラメーター２６０として選択することができる変換パラメーターは、変換および位置合わせした平均画像２３０と選択部分２５３との間における最良のはめ込みを証明する、最高の採点が得られた変換パラメーターとすることができる。他の実施形態では、アフィン・マッピング、または最大投射(full projection)というような、射影変換以外のはめ込みモデルを利用することもできる。

[0037] 一旦変換パラメーター２６０が決定されたなら、これらを利用して、本質的にリアル・タイムで、交通カメラ１１０から受け取られた交通カメラ画像フィード１４０を変換し、この変換した画像を既存のマップ・パノラマに統合することができる。更に具体的には、図２のシステム例２００において示すように、リアル・タイムで受け取られた交通カメラ画像フィード１４０を、動作２７５で示すように、動きマスク２２０における変換パラメーター２６０に基づいて、フィルタリングおよび変換することができる。動きマスク２２０は、交通カメラ画像フィード１４０の内、既存のマップ・パノラマに統合しようとする部分を特定するために利用することができる。続いて、一旦これらの部分が特定され、交通カメラ画像フィード１４０の残りの部分をフィルタリングによって除去したなら、変換パラメーター２６０を適用して、交通カメラ画像フィードの残っている部分を変換することができる。フィルタリングおよび変換の結果得られた交通カメラ画像フィード２７０は、次に、以下で更に詳しく説明するように、既存の画像と組み合わせることができる。この場合も、図の静止的な本質のため、フィルタリングおよび変換後の交通カメラ画像フィード２７０は、図２では１つのグラフィック複合体として図示されているが、以前と同様、参照番号２７０によって特定されるグラフィック複合体は、先に説明した変換にしたがって、フレーム毎、または当業者には周知である他の基準で、ここではグラフィック的に変換されていることを除いて、交通カメラ１１０からの動的な動画映像を表すことを意図している。これについては、以下で更に詳細に説明する。

[0038] 次いで、フィルタリングおよび変換後の交通カメラ画像フィード２７０を、動作２８５によって示すように、既にマップ・パノラマ１５３から選択されている部分２５３と組み合わせることができる。組み合わせ２８５は、交通カメラ画像フィード１４０の画像範囲が、それよりも大きなマップ・パノラマ１５３の画像範囲の中に正しく位置付けられるように、または、更に正確には、交通カメラ画像フィードの画像特徴が、マップ・パノラマ１５３の等価の画像特徴上に重ね合わせられるようにすることができる。このような組み合わせによって、融合画像２８０を得ることができる。融合画像２８０は、生の交通カメラ画像フィード、または本質的に生の交通カメラ画像フィードを、マップ・パノラマ２８０の一部の中に表示された、動的な動画映像として含み、次いで動作２９５によって示すように、ユーザーに提示することができる。このようにして、ユーザーには、交通カメラ１１０から受け取られる映像に対して、より広いコンテキストを提供することができる。例えば、マップ・ベース・ウェブサイトを介して提示することができるような、ストリート・レベル・ビューをブラウズしているユーザーが、交通カメラ１１０が配置されている交差点をブラウズして通過すると、彼らにはこのような交差点のストリート・レベル・ビューだけでなく、実際に移動する車両交通のリアル・タイム、またはほぼリアル・タイムの画像も、交差する道路の画像上に重畳されて提示することができる。同様に、他の例として、交通カメラ画像フィード１４０を見ようとしているユーザーに、既存のマップ・パノラマのコンテキストの中でこのような交通カメラ画像フィードを提示することができ、ユーザーがパノラマと対話処理することができ、更に、動的な動画交通カメラ・映像の表示に対して、交通カメラ１１０がどの道路に向けられているか、そしてどの方向にカメラが照準を合わせているのかというような、より良いコンテキストを受けるようにすることができる。

[0039] 図３に移ると、ここに示されている流れ図３００は、図２において先に示した、変換パラメーター２６０を得るために実行することができる一連の前処理ステップの一例を示す。最初に、図３に示すように、ステップ３１０において交通カメラ画像フィードをサンプリングすることができ、ステップ３５０において、交通カメラの位置を得ることができる。ステップ３１０における交通カメラ画像フィードのサンプリングの一部として、ステップ３１５において、交通カメラ画像フィードがサンプリングされている交通カメラが移動可能であるか否かについて、判定を行うことができる。ステップ３１５における判定は、例えば、画像範囲が交通カメラ画像フィードの個々の画像フレーム間で変化するか否か検出することによって行うことができる。ステップ３１５において、交通カメラが移動可能でないと判定された場合、本処理はステップ３３０および３３５に進むことができる。逆に、ステップ３１５において、交通カメラが移動可能であると判定された場合、本処理はステップ３２０に進むことができ、この時点で、先に説明したようなやり方で、交通カメラ画像フィードから受け取られている画像を安定させることができる。次いで、本処理はステップ３３０および３３５に進むことができる。

[0040] 図３の流れ図３００において示すように、ステップ３３０および３４０、ならびに３３５は、並列に実行することができ、またはステップ３３０および３４０、ならびに３３５の間というような、実行の順序が無関係であることができるように実行することができる。ステップ３３０において、交通カメラ画像フィードをサンプリングしている時間の全てではないにしても、少なくとも一部を含む時間期間にわたって、平均画像を得ることができる。続いて、ステップ３１０において、一実施形態では、既知の検出技法を利用して、ステップ３３０において得た平均画像において線を検出することができる。ステップ３３５において、ときの経過と共に動きを示すエリアのマスクを、サンプリングされた交通カメラ画像フィードから得ることができる。

[0041] ステップ３３０および３４０、ならびに３３５を完了すると、本処理はステップ３４５に進むことができ、この時点で、ステップ３３５において得られた動きマスクを利用して、ステップ３３０において得た平均画像において、ステップ３４０において検出された線をフィルタリングすることができ、その結果得られた線が、動きマスクによって特定される、動きの方向に沿った線、またはほぼ平行な線となるようにする。

[0042] 以上で説明したステップと並行して、そしてこれらとは独立して、ステップ３５５において、交通カメラの位置近くで撮影されたパノラマを、ステップ３５０において受け取られた、またはそれ以外で得られた交通カメラの位置に基づいて、特定することができる。ステップ３５５において特定したパノラマの中で、既知の線検出技法の利用によって、ステップ３６０において、これらのパノラマのある部分、または実際には全部において、線を検出することができる。続いて、ステップ３６５において、選択されたパノラマと統合され、そして関連付けられる既存のマップ・データーに基づいて、ステップ３６０において検出した線をフィルタリングすることができる。更に具体的には、ステップ３６５において実行した線フィルタリングは、交通カメラ画像フィードを供給している交通カメラが向けられている道路として特定された1本以上の道路に沿っている線、またはその方向を向いている線を選択することができる。

[0043] ステップ３４５における線のフィルタリングおよびステップ３６５における線のフィルタリングを完了すると、ステップ３７０において、フィルタリングした線の間で比較を行って、サンプリングされた交通カメラ画像フィードと、１つ以上の既存のマップ・パノラマの少なくとも一部の部分との間における最良の一致を特定することができる。一旦ステップ３７０において最良の一致が特定されたなら、図４に示すシステム４００によってというようにして、交通カメラ画像フィードを、特定されたパノラマ、またはその一部にはめ込んで位置合わせすることができる。システム４００については、以下で更に詳しく説明する。最終的に、交通カメラ画像フィードのフィルタリング、および特定したパノラマ、またはその一部への交通カメラ画像フィードのはめ込みおよび位置合わせを実行するために利用された正確なメカニズムには関係なく、このようなメカニズムの結果から、変換パラメーターを得ることができる。このパラメーターが得られたときに、図３の流れ図３００に示すように、この関連前処理はステップ３７５において終了することができる。

[0044] 図４に移り、ここに示す流れ図４００は、既存のマップ・パノラマに視覚的にうまく統合することを可能にするために交通カメラ画像フィードに適用することができる変換パラメーターを得ることができるメカニズム例を示す。先に示したように、図４の流れ図４００、そして実際に図３の流れ図３００の態様は、交通カメラ画像フィードと１つ以上の既存のマップ・パノラマとの間における照合を実行し、一致を評価するための線の利用を参照するが、このような参照は単なる例示であり、他の画像特徴も同様に、このような照合および評価を実行するために利用することができる。

[0045] 最初に、図４の流れ図４００に示すように、はめ込んで位置合わせしようとしている既存のパノラマにおける交通カメラ画像を、ステップ４１０において得ることができる。続いて、ステップ４２０において、交通カメラ画像における線をランダムに選択することができる。先に示したように、線の集合体は、その中からステップ４２０において一部の線をランダムに選択することができ、動きマスクによって特定された線とすることができ、あるいはそうでなければ、動きの方向に沿っている線、または実質的に平行な線とすることができる。続いて、ステップ４３０において、交通カメラ画像を変換し、既存のパノラマにおいて対応する線に、ランダムに選択した線が合致するように位置合わせすることができる。一実施形態では、このような変換を実行するために、射影変換を利用することができる。ステップ４４０において、他の線が、交通カメラ画像および既存のパノラマを位置合わせするための変換の間にどのくらい一致するか評価することによってというようにして、既存のパノラマにおいて変換および位置合わせした交通カメラ画像間の全体的なはめ込みを採点することができる。ステップ４５０において、ステップ４３０において得て利用した変換パラメーターを、ステップ４４０において決定した対応する採点と共に保存することができる。

[0046] ステップ４６０において、しきい値に達しているか否かについて判定を行うことができる。一実施形態では、このようなしきい値は単に特定の繰り返し回数とすることができるが、他の実施形態では、このようなしきい値は、変換および位置合わせした交通カメラ画像と既存のパノラマとの間のはめ込みを容認可能とするしきい値レベルと関連した最小得点、または他の同様のしきい値とすることができる。ステップ４６０において、しかるべきしきい値に未だ達していないと判定された場合、本処理はステップ４２０に戻ることができ、この時点で、異なる１組の線をランダムに選択し、ステップ４３０、４４０、および４５０の処理を、新たにランダムに選択した線で、繰り返すことができる。逆に、ステップ４６０において、しかるべきしきい値に達していると判定された場合、本処理はステップ４７０に進むことができ、この時点で、最高の得点が得られた変換パラメーターを選択することができる。ステップ４７０において選択された変換パラメーターは、ステップ３７５で示した、関連処理の目標とすることができる。この処理は、図３の流れ図３００においても以前に引用されている。

[0047] 図５に移ると、その中に示されているブロック図５００は、交通カメラ画像フィードを既存のパノラマと統合することができる３つのメカニズムを示す１組の複合画像の例を示す。以前と同様、図の静止的な本質のため、融合５１０、５３０、および５５０は、１つのグラフィック複合体として示されているが、これらは、静止画像と共に表示される、動的な動画映像の重畳、または他の組み合わせを表すことを意図している。したがって、この映像の中にある種々のグラフィック要素は、読み手が、動的な動画グラフィック要素であると理解し思い浮かべる(visualize)ことを意図している。加えて、当業者には認められようが、図示する３つのメカニズムは単なる例に過ぎず、本明細書において行われる説明から逸脱することなく、他の視覚的統合メカニズムも等しく交通カメラ画像フィードに適用することができる。融合画像５１０によって示される一実施形態では、マップ・パノラマから選択された部分２５３の上に、軽い陰影がついたエリア５２０によって表される交通カメラ動画映像を変換および位置合わせして、重畳することができる。しかしながら、当業者には認められるように、このような提示は、視覚的適性(visual fitness)に欠けている可能性があり、ある種のユーザーには否定的に捕らえられる可能性がある。

[0048] したがって、融合画像５３０によって示される他の実施形態では、マップ・パノラマから選択された部分２５３の上には、車両５３１、５３２、５３３、５３４、および５３５のような、車両交通であると考えられる、移動する交通カメラ映像のエレメントのみを重畳させることができる。このような実施形態の方が高い視覚的適合性を得ることができ、パノラマ画像の殆どの連続性を保持することができるが、多くの場合、パノラマ画像はそれ自体に車両交通の静止画像を含むことがある。これらの静止画像は、その画像がパノラマに取り込まれた時点に既に道路上に存在していた場合もある。つまり、複合画像５３０に示すように、既にパノラマの一部であった可能性がある車両５４１および５４２は、交通カメラ画像フィードからの車両５３１、５３２、５３３、５３４、および５３５と同じ空間、またはほぼ同じ空間を占めているように現れる可能性がある。加えて、車両５３１、５３２、５３３、５３４、および５３５は動的な動画映像の動画要素であるので、これらは、静止パノラマ部分２５３の静止要素である車両５４１および５４２を「抜いて」または「越えて」走るように現れる可能性がある。このような現れ方、およびこのような視覚的挙動は、あるユーザーにとっては紛らわしい可能性がある。

[0049] したがって、複合画像５５０によって示される更に他の実施形態では、マップ・パノラマから選択された部分２５３の上には、その上にある道路および車両交通と識別されたものを含む、交通カメラ動画映像の部分５６０を重畳させることができる。このような実施形態では、交通カメラ画像フィードからの道路が、その映像からの移動車両交通と共に、それらの上に重畳されるときに、パノラマの一部であったかもしれない任意の車両をマスクすることができる。このような実施形態は、ある種の状況では、交通カメラ・フィードによって提供される有意な視覚情報と、パノラマによって提供されるコンテキスト視覚情報との間に、ほぼシームレスな視覚統合を設けることができる。例えば、このような実施形態は、交通カメラ映像からの移動車両交通が、パノラマ２５３のその部分の中でシームレスに移動しているように現れさせることができる。しかしながら、先に示したように、以上の説明の範囲から逸脱することなく、２つの画像を統合する他の機構を利用することもできる。

[0050] 加えて、これも先に示したように、以上の説明は交通カメラおよびマップ・パノラマに特定して限定されるのではなく、このようなものに対する引用は、以上の説明を明確にするために限って行ったに過ぎない。実際、以上の説明は、映像の静止画像への任意の統合に適用可能である。例えば、種々の公衆エンティティおよび私有エンティティがそれら自体のビデオ・カメラを維持し、このようなビデオ・カメラからの画像フィードへのアクセスを提供する。このようなエンティティには、スキー・リゾートを含むことができ、そのビデオ・カメラが、種々のスキー・スロープにおける現在の状態を表示することができ、あるいは公の海岸または私有の海岸を含むことができ、そのビデオ・カメラが現在の海岸の状態を表示することができ、更に公立大学または私立大学を含むことができ、そのビデオ・カメラは単にそれらのキャンパスの種々の部分を表示することができる。このようなビデオ・カメラからの画像フィードは、先に引用した交通カメラからのフィードと同様に、既存の静止画像に統合することができる。例えば、多くの場合、スキー・スロープ、海岸、および大学のキャンパスは、道路の近くに位置しており、マッピング・コンテキストの中でストリート・レベル・ビューを提供することを目的に、これらの道路のパノラマが取り込まれている。つまり、このような他のビデオ・カメラがあれば、その動的動画映像を、先に引用した同じマップ・パノラマに統合させることもできる。更に他の代替物として、セキュリティ・カメラのような狭視野ビデオ・カメラ(narrow-field-of-vision video camera)があれば、その動的動画映像を、その狭視野セキュリティ・カメラの視覚的コンテキストを広げることを目的に撮影された静止画像に統合させることもできる。つまり、一例として、建物の広角静止画像を撮影することができ、その各々は、このような建物の少なくとも２つの側面を取り込む。続いて、この建物の周囲に位置する複数のセキュリティ・カメラの全てが、その映像を、このような広域画像のコンテキストの中に表示させることができる。以上から分かるであろうが、これまでの説明は、より広い視覚的コンテキストを提供する静止画像に統合される、広範囲の動的動画映像に適用可能である。

[0051] 図６に移ると、以上で説明したメカニズムを実現することができる計算デバイス例６００が示されている。計算デバイス例６００は、以前に参照した図に示され先により詳細に説明した、クライアント計算デバイス１３０、マップ・サーバー計算デバイス１２０、また更には交通カメラ１１０の内任意の１つ以上とすることができる。図６の計算デバイス例６００は、1つ以上の中央処理ユニット（ＣＰＵ）６２０、ＲＡＭ６３２を含むことができるシステム・メモリー６３０、およびシステム・メモリーから演算装置６２０までを含む種々のシステム・コンポーネントを結合するシステム・バス６２１を含むことができるが、これらに限定されるのではない。システム・バス６２１は、メモリー・バスまたはメモリー・コントローラー、周辺バス、および種々のバス・アーキテクチャーの内任意のものを用いるローカル・バスを含む、様々なタイプのバス構造の内任意のものとすることができる。計算デバイス６００は、オプションとして、グラフィクス・ハードウェア・インターフェース６９０およびディスプレイ・デバイス６９１を含むがこれらに限定されない、ビジュアル・ユーザー・インターフェースのディスプレイのためというような、グラフィクス・ハードウェアを含むことができる。加えて、計算デバイス６００は、ディジタル・ビデオ・カメラ６５１のような、グラフィクス入力ハードウェアも含むことができる。ディジタル・ビデオ・カメラ６５１は、交通カメラ１１０が交通カメラ画像フィード１４０を取り込む物理ハードウェアを現すことができる。ディジタル・ビデオ・カメラ６５１のようなグラフィクス入力ハードウェアは、周辺インターフェース６５０を介してシステム・バス６２１に通信可能に結合することができる。

[0052] また、計算デバイス６００は、通例、コンピューター読み取り可能媒体も含む。コンピューター読み取り可能媒体は、計算デバイス６００によってアクセス可能な任意の入手可能な媒体とすることができ、揮発性および不揮発性、リムーバブルおよび非リムーバブル双方の媒体を含む。一例として、そして限定ではなく、コンピューター読み取り可能媒体は、コンピューター記憶媒体および通信媒体を含むことができる。コンピューター記憶媒体は、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、またはその他のデーターというような情報の格納のために、任意の方法または技術で実現される媒体を含む。コンピューター記憶媒体は、限定ではなく、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリーまたは他のメモリー技術、ＣＤ−ＲＯＭ、ディジタル・バーサタイル・ディスク（ＤＶＤ）またはその他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージまたはその他の磁気記憶デバイス、あるいは所望の情報を格納するために用いることができしかも計算デバイス６００がアクセス可能なその他の任意の媒体を含む。通信媒体は、通例、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、またはその他のデーターを、搬送波またはその他の移送機構のような変調データー信号において具体化し、任意の情報配信媒体を含む。一例として、そして限定ではなく、通信媒体は、有線ネットワークまたは直接有線接続というような有線媒体、ならびに音響、ＲＦ、赤外線、およびその他のワイヤレス媒体というようなワイヤレス媒体を含む。前述の内任意のものの組み合わせも、コンピューター読み取り可能媒体の範囲に含まれてしかるべきである。

[0053] システム・メモリー６３０は、リード・オンリ・メモリー（ＲＯＭ）６３１および前述のＲＡＭ６３２のような揮発性および／または不揮発性メモリーの形態をなすコンピューター記憶媒体を含む。基本入出力システム６３３（ＢＩＯＳ）は、起動中のように、計算デバイス６００内のエレメント間における情報転送を補助する基本的なルーチンを含み、通例ＲＯＭ６３１内に格納されている。ＲＡＭ６３２は、通例、演算装置６２０が直ちにアクセス可能であるデーターおよび／またはプログラム・モジュール、あるいは現在演算装置６２０によって処理されているデーターおよび／またはプログラム・モジュールを含む。一例として、そして限定ではなく、図６は、オペレーティング・システム６３４を、他のプログラム・モジュール６３５、およびプログラム・データー６３６と共に示す。

[0054] また、計算デバイス６００は、他のリムーバブル／非リムーバブル揮発性／不揮発性コンピューター記憶媒体も含むことができる。一例として示すに過ぎないが、図６は、非リムーバブル不揮発性磁気媒体からの読み取りおよびこれへの書き込みを行なうハード・ディスク・ドライブ６４１を示す。この計算デバイス例において使用することができるその他のリムーバブル／非リムーバブル、揮発性／不揮発性コンピューター記憶媒体には、限定ではないが、磁気テープ・カセット、フラッシュ・メモリー・カード、ディジタル・バーサタイル・ディスク、ディジタル・ビデオ・テープ、ソリッド・ステートＲＡＭ、ソリッド・ステートＲＯＭ等が含まれる。ハード・ディスク・ドライブ６４１は、通例、インターフェース６４０のような非リムーバブル・メモリー・インターフェースを介してシステム・バス６２１に接続されている。

[0055] 以上で論じ図６に示したドライブおよびそれらと関連したコンピューター記憶媒体は、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、および計算デバイス６００のその他のデーターを格納する。例えば、図６では、ハード・ディスク・ドライブ６４１は、オペレーティング・システム６４４、他のプログラム・モジュール６４５、およびプログラム・データー６４６を格納するように示されている。尚、これらのコンポーネントは、オペレーティング・システム６３４、他のプログラム・モジュール６３５、およびプログラム・データー６３６と同じであっても、異なっていても可能であることを注記しておく。オペレーティング・システム６４４、他のプログラム・モジュール６４５、およびプログラム・データー６４６は、ここで、少なくともこれらが異なるコピーであることを示すために、異なる番号が与えられている。

[0056] 計算デバイス６００は、１つ以上のリモート・コンピューターへの論理接続を用いて、ネットワーク環境において動作することも可能である。計算デバイス６００は、ネットワーク・インターフェースまたはアダプタ６７０を介して一般的なネットワーク接続６７１に接続されているように示されており、一方アダプタ６７０はシステム・バス６２１に接続されている。ネットワーク接続環境では、計算デバイス６００に関して図示されているプログラム・モジュール、あるいはその一部またはペリフェラルは、一般的なネットワーク接続６７１を介して計算デバイス６００に通信可能に結合されている１つ以上の他の計算デバイスのメモリーに格納することもできる。尚、図示したネットワーク接続は一例であり、計算デバイス間に通信リンクを作る他の手段を使用してもよいことは認められよう。

[0057] 以上の説明から分かるように、生のビデオ・カメラ・フィードを既存の静止画像と統合するメカニズムを列挙した。本明細書に記載した主題には多くの変形が可能であることを考慮して、以下の特許請求の範囲およびその均等の範囲に該当し得るこのような実施形態の全てを、本願発明として特許請求する。

Claims (13)

1. 画像フィードを少なくとも１つの既存の静止画像の中に視覚的に統合するためのコンピューター実行可能命令を含む１つ以上のコンピューター読み取り可能記憶媒体であって、前記コンピューター実行可能命令が、コンピュータによって実行されるステップに向けられ、当該ステップが、コンピュータにより実行されたときに、以下のステップ、即ち、
   前記画像フィードのサンプルを得るステップと、
   画像範囲が前記画像フィードの、得られたサンプルの画像範囲の少なくとも一部を含む１つ以上の既存の静止画像を選択するステップであって、前記画像フィードおよび前記静止画像の双方と関連した位置情報によって、前記選択が決定される、ステップであって、前記画像フィードを得たカメラからの所定の距離内で得られ得る全ての画像フィード及び静止画像が、候補画像フィードとして選択され得るものと、
   前記画像フィードのサンプル全体において一定に維持される要素を含む平均画像を導出するステップと、
   前記画像フィードのサンプル全体において要素が移動する領域を特定する動きマスクを導出するステップと、
   前記選択された１つ以上の静止画像における対応する画像特徴を有する、前記動きマスクに沿った平均画像における複数の画像特徴を特定するステップであって、前記画像特徴が、前記平均画像と前記静止画像を位置合わせするために用いられる、前記画像フィードの特徴的な要素であるものと、
   前記画像フィードを変換し位置合わせするための変換パラメーターを得るステップであって、前記画像フィードの前記サンプルにおける特定した前記画像特徴が、変換および位置合わせ後において、前記選択された１つ以上の静止画像における前記対応する画像特徴のものに等価の可視サイズと可視外観を有するようにし、前記選択された１つ以上の静止画像における前記対応する画像フィード特徴に等価的に重なり合わされるようにできる、ステップと、
   を含むステップを実行する、コンピューター読み取り可能記憶媒体。
2. 請求項１記載のコンピューター読み取り可能記憶媒体において、前記画像フィードが、交通カメラからであり、更に、前記既存の静止画像が、ストリート・レベル・ビューを提供するパノラマである、コンピューター読み取り可能記憶媒体。
3. 請求項１記載のコンピューター読み取り可能記憶媒体において、前記画像フィードにおける前記画像特徴を特定するためのコンピューター実行可能命令が、
   コンピュータによって実行されるステップであって、コンピュータによって実行されると、
   前記選択された１つ以上の静止画像において、前記選択された１つ以上の静止画像と関連した道路に沿った画像特徴を特定するステップを含むステップを実行することに向けられ、前記道路に沿って、交通カメラが向けられており、前記画像フィードが前記交通カメラからであり、前記静止画像がパノラマである、コンピューター読み取り可能記憶媒体。
4. 請求項１記載のコンピューター読み取り可能記憶媒体において、前記変換パラメーターを得るためのコンピューター実行可能命令が、
   コンピュータによって実行されるステップに向けられ、当該ステップが、コンピュータにより実行されたときに、以下のステップ、即ち、
   前記画像フィードの前記サンプルにおける前記特定した画像特徴の中から第１組の画像特徴を選択するステップと、
   予備的な変換パラメーターを得るステップと、
   前記画像フィードの前記サンプルを、得られた予備的な変換パラメーターにより変換し、前記静止画像と位置合わせするステップと、
   前記画像フィードの変換および位置合わせされたサンプルと、前記選択された静止画像の前記少なくとも１つとの間における全体的なはめ込みを採点するステップであって、前記採点が、前記第１組の画像特徴の一部ではない、前記特定した画像特徴の内他のものの位置合わせの精度に基づくものと、
   前記画像フィードの前記サンプルにおける前記特定した画像特徴の中から選択した複数の後続組の画像特徴に対して、前記得ることと前記採点することを繰り返すステップと、
   前記変換パラメーターとして、前記全体的なはめ込みの最高得点を生み出した予備的な変換パラメーターを選択するステップと、
   を実行する、コンピューター読み取り可能記憶媒体。
5. 請求項１記載のコンピューター読み取り可能記憶媒体において、前記特定された画像特徴が交通車線マーキング線であり、更に、前記変換パラメーターを得るための前記コンピューター実行可能命が、前記交通車線マーキング線を使用して射影変換を実行するためのコンピューター実行可能命令を含む、コンピューター読み取り可能記憶媒体。
6. 請求項１記載のコンピューター読み取り可能記憶媒体であって、当該コンピューター読み取り可能記憶媒体が、コンピュータにより実行されるステップに向けられ、コンピュータによって実行されると、更に、前記画像フィードのサンプルを安定化させ、各フレームの共通画像要素が重なり合うように前記画像フィードのサンプルの個々のフレームを互いに位置合わせした複合体にするステップを実行するコンピューター実行可能命令を含む、コンピューター読み取り可能記憶媒体。
7. 既存の静止画像の中に視覚的に統合した画像フィードを含む融合画像を生成する方法であって、
   前記画像フィードのサンプルを得るステップと、
   前記画像フィードの得られたサンプルの画像範囲の少なくとも一部を含む画像範囲に基づいて前記既存の静止画像を選択するステップであって、前記画像フィードおよび前記静止画像の双方と関連した位置メタデーターによって、前記選択を伝える、ステップと、
   前記画像フィードのサンプル全体において一定に維持される要素を含む平均画像を導出するステップと、
   前記画像フィードのサンプル全体において要素が移動する領域を特定する動きマスクを導出するステップと、
   前記既存の静止画像における対応する画像特徴を有する、前記動きマスクに沿った前記平均画像における画像特徴を特定するステップであって、前記画像特徴が、前記平均画像と前記静止画像を位置合わせするために用いられる、前記画像フィードの特徴的な要素であるものと、
   前記画像フィードを変換し位置合わせするための変換パラメーターを得るステップであって、前記画像フィードの前記サンプルにおける前記特定した前記画像特徴が、変換および位置合わせ後において、前記既存の静止画像フィードにおける前記対応する画像特徴のものに等価の可視のサイズと外観を有するようにし、前記選択された静止画像における前記対応する画像フィード特徴に等価的に重なりあわされるようにできる、ステップと、
   を含む、方法。
8. 請求項７記載の方法において、前記画像フィードが、交通カメラからであり、更に、前記既存の静止画像が、ストリート・レベル・ビューを提供するために利用されるマップ・パノラマである、方法。
9. 請求項７記載の方法において、前記画像フィードにおける画像特徴を特定するステップが、
   前記画像フィードの前記サンプル全体において静止したままである要素を含む平均画像を得るステップと、前記画像フィードの前記サンプルにわたって要素が動くエリアを特定する動きマスクを得るステップと、前記平均画像において、前記動きマスクに沿った画像特徴を特定するステップとを含む、方法。
10. 請求項７記載の方法において、前記画像フィードにおける画像特徴を特定するステップが、
    前記既存の静止画像において、前記既存の静止画像と関連した道路に沿った画像特徴を特定するステップを含み、前記道路に沿って、交通カメラが向けられており、前記画像フィードが前記交通カメラからであり、前記既存の静止画像がパノラマである、方法。
11. 請求項７記載の方法において、前記変換パラメーターを得るステップが、
    前記画像フィードの前記サンプルにおける前記特定した画像特徴の中から第１組の画像特徴を選択するステップと、
    予備的な変換パラメーターを得るステップと、
    該得た予備的な変換パラメーターで前記画像フィードの前記サンプルを変換し位置合わせするステップと、
    前記画像フィードの変換および位置合わせされたサンプルと、前記選択された静止画像との間における全体的なはめ込みを採点するステップであって、前記採点が、前記第１組の画像特徴の一部ではない、前記特定した画像特徴の内他のものの位置合わせの精度に基づく、ステップと、
    前記画像フィードの前記サンプルにおける前記特定した画像特徴の中から選択した複数の後続組の画像特徴に対して、前記得るステップと前記採点するステップを繰り返すステップと、
    前記変換パラメーターとして、前記全体的なはめ込みの最高得点を生み出した予備的変換パラメーターを選択するステップと、
    を含む、方法。
12. 請求項７記載の方法において、前記特定された画像特徴が交通車線マーキング線であり、更に、前記変換パラメーターを得る前記ステップが、前記交通車線マーキング線を使用して射影変換を実行するステップを含む、方法。
13. 請求項７記載の方法であって、更に、前記画像フィードのサンプルを安定化させ、各フレームの共通画像要素が重なり合うように前記画像フィードのサンプルの個々のフレームを互いに位置合わせした複合体にするステップを含む、方法。