JP2016520882A - センサー検出不能場所及びセンサーの制限に基づく自律走行車両の動作の修正 - Google Patents

Abstract

本願開示の形態は、一般に、車両（１０１）の周辺の光景のモデル化に関する。この光景には、車両が実際にどんな物体又は形態を見ているのかを含める必要はなく、センサーに遮るものがない場合に車両がそのセンサー（３１０〜３１１、３２０〜３２３、３３０〜３３１）を用いて観測することができる区域を含める必要がある。例えば、物体検出要素（１４８）の複数のセンサーの各々に対して、コンピュータ（１１０）は、センサーの視野の個々の３Ｄモデルを採用することができる。天候情報を受け取り、１つ以上の前記モデル（図１３での１３０４、１３０６）を調整するために用いる。この調整が終わった後、このモデルを包括的な３Ｄモデルに統合することができる。この包括的なモデルを、別の場所（図１１での１１００、図１３での１３０１）で物体を検出する確率を示す詳細な地図情報と結合することができる。車両の周辺のモデルを、結合された包括的な３Ｄモデルと詳細な地図情報とに基づき計算することができ（図１３での１３１２）、車両の操作に用いることができる（図１３での１３１４）。【選択図】図１３

Description

（関連出願の相互参照）
この出願は、２０１３年１月２５日に出願された米国特許出願番号１３／７４９，７９３、表題、「センサー検出不能場所及びセンサーの制限に基づく自律走行車両の動作の修正」に基づく継続出願であり、この出願のすべてを参照することにより本出願に組み込むものとする。

自律走行車両は、乗客を１つの場所から他の場所へ移送することを目的として、種々の演算システムを用いる。自律走行車両によっては、パイロット、ドライバー、又は乗客のようなオペレーターからの初期入力又は連続入力を必要とすることもある。他のシステムでは、例えば自動操縦システムを、手動モード（このモードでは、オペレーターはその車両の動作の高度なコントロールを行う）から自律走行モード（このモードでは、車両は基本的に自分で動く）、或いは、その間の中間的なモードにオペレーターが切り替えるシステムが導入されているときのみに用いることができる。

そのような車両は、周囲の物体を検出するために種々の形式のセンサーを装備する。例えば、自律走行車両には、レーザー、ソナー、レーダー、カメラ、及び車両の周囲をスキャンし、データを記録する他の装置を含めることができる。これらの装置は、組み合わせて（場合によっては単独で）車両の周辺で検出された物体の３Ｄモデルを構築するために用いることができる。

車両の周辺にある物体のモデル化及び検出に加えて、自律走行車両は、安全に走行するために、（例えば、閉塞により）センサーが見えない部分を推論する必要がある。センサーにおけるこれらの制限を考慮しない場合、見通しのきかない曲がり角を通ったり、他の物体により部分的に閉塞されたところに入り込んだり、等の危険な運転となってしまうことがある。

本開示の１つの形態では、方法を提供する。前記方法には、車両の周辺にある物体を検出するための複数のセンサーの所定の各センサーについて、前記所定のセンサーの視野での３Ｄモデルを生成するステップと、前記車両の周辺の実際の又は予想される気象条件に関する、１つ以上の、レポート、レーダー情報、予想される計測値及びリアルタイム計測値を含む、天候情報を受け取るステップと、実際の又は予想される気象条件が複数のセンサーの１つ以上に与える影響を明確にするために、受け取った天候情報に基づき複数の３Ｄモデルの１以上の特性を調整するステップと、前記調整を行った後、包括的な３Ｄモデルを生成するために前記複数の３Ｄモデルを、プロセッサーにより統合するステップと、前記包括的な３Ｄモデルと詳細な地図情報とを結合するステップと、前記車両を操作するために前記結合した包括的な３Ｄモデルと詳細な地図情報とを用いるステップと、が含まれる。

１つの実施例では、各々の所定のセンサーの視野の３Ｄモデルは、所定のセンサーの遮るもののない視野のあらかじめ定められたモデルに基づく。別の例では、各々の所定のセンサーの視野についての３Ｄモデルは、所定のセンサーの車両に対する所定のセンサーの位置及び方向に基づく。別の例では、天候情報を、ネットワークを介して遠隔のコンピュータから受け取る。別の例では、天候情報を、複数のセンサーのうちの１つから受け取る。別の例では、複数の３Ｄモデルのうちの少なくとも１つのモデルには、前記少なくとも１つのモデルの所定の位置で物体を検出する確率を示す確率データが含まれ、この確率データは、包括的な３Ｄモデルを生成するための複数の３Ｄモデルを統合するときに用いられる。別の例では、前記詳細な地図情報には、前記地図の所定の位置で物体を検出する確率を示す確率データが含まれ、この確率データは、前記包括的な３Ｄモデルと詳細な地図情報とを結合するときに用いられる。別の例では、前記包括的な３Ｄモデルと詳細な地図情報とを結合することで、前記周辺のさまざまな部分が塞がっているか又は塞がっていないか又は遮られているかを記述する情報により注釈がつけられた車両の周辺のモデルが得られる。

本開示の他の形態では、システムを提供する。前記システムには、車両の周辺にある物体を検出するための複数のセンサーの所定の各センサーについて、前記所定のセンサーの視野での３Ｄモデルを生成し、前記車両の周辺の実際の又は予想される気象条件に関する、１つ以上の、レポート、レーダー情報、予想される計測値及びリアルタイム計測値を含む、天候情報を受け取り、実際の又は予想される気象条件が複数のセンサーの１つ以上に与える影響を明確にするために、受け取った天候情報に基づき複数の３Ｄモデルの１以上の特性を調整し、前記調整を行った後、包括的な３Ｄモデルを生成するために前記複数の３Ｄモデルを、プロセッサーにより統合し、前記包括的な３Ｄモデルと詳細な地図情報とを結合し、前記車両を操作するために前記結合した包括的な３Ｄモデルと詳細な地図情報とを用いるよう構成されたプロセッサーが含まれる。

１つの実施例では、各々の所定のセンサーの視野の３Ｄモデルは、所定のセンサーの遮るもののない視野のあらかじめ定められたモデルに基づく。別の例では、各々の所定のセンサーの視野についての３Ｄモデルは、所定のセンサーの車両に対する所定のセンサーの位置及び方向に基づく。別の例では、天候情報を、ネットワークを介して遠隔のコンピュータから受け取る。別の例では、天候情報を、複数のセンサーのうちの１つから受け取る。別の例では、複数の３Ｄモデルのうちの少なくとも１つのモデルには、前記少なくとも１つのモデルの所定の位置で物体を検出する確率を示す確率データが含まれ、この確率データは、包括的な３Ｄモデルを生成するための複数の３Ｄモデルを統合するときに用いられる。別の例では、前記詳細な地図情報には、前記地図の所定の位置で物体を検出する確率を示す確率データが含まれ、この確率データは、前記包括的な３Ｄモデルと詳細な地図情報とを結合するときに用いられる。別の例では、前記包括的な３Ｄモデルと詳細な地図情報とを結合することで、前記周辺のさまざまな部分が塞がっているか又は塞がっていないか又は遮られているかを記述する情報により注釈がつけられた車両の周辺のモデルが得られる。

本開示の更なる形態では、コンピュータ読み取り可能なプログラムの命令を記録するための、実体のある、非一時的なコンピュータ読み取り可能記憶媒体を提供する。前記命令は、プロセッサーにて実行されたとき、前記プロセッサーにある方法を遂行させる。前記方法には、車両の周辺にある物体を検出するための複数のセンサーの所定の各センサーについて、前記所定のセンサーの視野での３Ｄモデルを生成するステップと、前記車両の周辺の実際の又は予想される気象条件に関する、１つ以上の、レポート、レーダー情報、予想される計測値及びリアルタイム計測値を含む、天候情報を受け取るステップと、実際の又は予想される気象条件が複数のセンサーの１つ以上に与える影響を明確にするために、受け取った天候情報に基づき複数の３Ｄモデルの１以上の特性を調整するステップと、前記調整を行った後、包括的な３Ｄモデルを生成するために前記複数の３Ｄモデルを統合するステップと、前記包括的な３Ｄモデルと詳細な地図情報とを結合するステップと、前記車両を操作するために前記結合した包括的な３Ｄモデルと詳細な地図情報とを用いるステップと、が含まれる。

１つの実施例では、各々の所定のセンサーの視野の３Ｄモデルは、所定のセンサーの遮るもののない視野のあらかじめ定められたモデルに基づく。別の例では、複数の３Ｄモデルのうちの少なくとも１つのモデルには、前記少なくとも１つのモデルの所定の位置で物体を検出する確率を示す確率データが含まれ、この確率データは、包括的な３Ｄモデルを生成するための複数の３Ｄモデルを統合するときに用いられる。別の例では、前記詳細な地図情報には、前記地図の所定の位置で物体を検出する確率を示す確率データが含まれ、この確率データは、前記包括的な３Ｄモデルと詳細な地図情報とを結合するときに用いられる。

例示的実施の形態によるシステムの機能図である。 例示的実施の形態による自律走行車両の内装である。 本開示の形態による自律走行車両の外装である。 本開示の形態による自律走行車両の図解である。 本開示の形態による自律走行車両の図解である。 本開示の形態による自律走行車両の図解である。 本開示の形態による自律走行車両の図解である。 本開示の形態による詳細な地図情報の１つの例である。 本開示の形態による詳細な地図情報の別の例である。 本開示の形態によるシステムの絵図である。 本開示の形態によるシステムの機能図である。 本開示の形態によるセンサーの３Ｄモデルの構成要素の例である。 本開示の形態によるセンサーの３Ｄモデルの構成要素の例である。 本開示の形態によるセンサーの３Ｄモデルの構成要素の別の例である。 本開示の形態によるセンサーの３Ｄモデルの構成要素の別の例である。 本開示の形態による複数のセンサーの包括的な３Ｄモデルの１つの例である。 本開示の形態による複数のセンサーの包括的な３Ｄモデルの別の例である。 本開示の形態による詳細な地図情報と結び付けられた複数のセンサーの包括的な３Ｄモデルの１つの例である。 本開示の形態によるフロー線図の１つの例である。

本願開示の形態は、一般に、車両の周辺の現在の光景のモデル化に関する。この光景には、車両が実際にどんな物体又は形態を見ているのかを含める必要はなく、センサーに遮るものがない場合に車両がそのセンサーを用いて観測することができる区域を含める必要がある。例えば、物体検出要素の複数のセンサーの各々に対して、コンピュータは、センサーの視野の個々の３Ｄモデルを採用することができる。天候情報を受け取り、１つ以上の前記モデルを調整するために用いる。この調整が終わった後、このモデルを包括的な３Ｄモデルに統合することができる。この包括的なモデルを、別の場所で物体を検出する確率を示す詳細な地図情報と結合することができる。車両の周辺のモデルを、結合された包括的な３Ｄモデルと詳細な地図情報とに基づき計算することができ、車両の操作に用いることができる。

図１に示すように、ここに開示した１つの形態による自律走行運転システム１００には、種々の構成部品を有する車両１０１が含まれる。開示した特定の形態では、特定のタイプの車両について特に実益があり、これらの車両として、乗用車、トラック、オートバイ、バス、ボート、飛行機、ヘリコプター、芝刈り機、ＲＶ車、遊園地の乗り物、農機具、建設用機器、市街電車、ゴルフカート、列車、及び路面電車を含むあらゆるタイプの車両があげられるがこれらに限定されるものではない。車両は、プロセッサー１２０、メモリー１３０、及び汎用コンピュータに一般的に用いられる他の構成部品を有するコンピュータ１１０のような、１以上のコンピュータを有することができる。

メモリー１３０は、プロセッサー１２０により実行或いは用いることができる命令１３２及びデータ１３４を含む、プロセッサー１２０がアクセス可能な情報を保存する。メモリー１３０は、コンピュータ読み取り可能媒体、又は、ハードディスクドライブ、メモリーカード、ＲＯＭ、ＲＡＭ、ＤＶＤ又は他の光ディスクのみならず、他の書き込み可能なメモリー及び読み込み専用メモリーのような、電子装置により読み込むことのできるデータを保存するコンピュータ読み取り可能媒体、又は他の媒体を含むプロセッサーがアクセス可能な情報を保存することのできるあらゆるタイプとすることができる。システム及び方法には、前述の種々の組み合わせを含むことができ、命令及びデータの異なる部分は異なるタイプの媒体に保存される。

命令１３２は、プロセッサーにより（機械語のように）直接的に又は（スクリプトのように）間接的に実行できる命令のどのようなセットでもよい。例えば、コンピュータ読み取り可能媒体上のコンピュータコードとして命令を保存することができる。これに関連して、「命令」及び「プログラム」の語は、ここでは互いに置き換え可能に用いることができる。命令は、プロセッサーで直接処理ができるオブジェクトコードフォーマット、又は、要求によりインタープリトされ又はあらかじめコンパイルされる独立のソースコードのスクリプト又はコレクションを含む他のあらゆるコンピュータ言語で保存することができる。命令の機能、方法、及び業務については以下に詳述する。

命令１３２に従い、プロセッサー１２０によりデータ１３４を検索し、保存し、変更することができる。例えば、要求する対象が、特定のデータ構造により制限されていなくても、複数の異なるフィールド及びレコードを有するテーブル、ＸＭＬドキュメント、又はフラットファイルとして、リレーショナルデータベースとしてデータをコンピュータレジスターに保存することができる。データは、いろいろなコンピュータ読み取り可能フォーマットにフォーマットすることもできる。さらにほんの例示として、グラフィックを描画するためのコンピュータ命令のみならず、圧縮又は非圧縮、損失のない（例えば、ＢＭＰ）又は損失のある（例えば、ＪＰＥＧ）、及びビットマップ又はベクトルベース（例えば、ＳＶＧ）のフォーマットで保存されたピクセルのグリッドからなるビットマップとして、イメージデータを保存することができる。データは、数値、説明文、所有者コード、同じメモリー又は異なるメモリー（他のネットワーク中のものも含む）の他の領域に保存されたデータへの参照、又は、対応するデータを計算する機能により用いられる情報のような、対応する情報を特定するのに十分なあらゆる情報を具備することができる。

プロセッサー１２０は、商業的に入手可能なＣＰＵのような、従来のどのようなプロセッサーでもよい。代替的に、プロセッサーをＡＳＩＣ、その他のハードウェア・ベースのプロセッサーのような専用装置とすることもできる。図１には、同じブロック内にあるものとして、プロセッサー、コンピュータ、メモリー、及び他のコンピュータ１１０要素を機能的に図示しているが、当業者であれば、プロセッサー及びメモリーは、実際には、同じ物理的な筺体内に収納することも同じ筺体内に収納しないこともできる、複数のプロセッサー及びメモリーであってもよいことは理解できるであろう。例えば、メモリーは、コンピュータ１１０の筺体とは別の筺体内に収納したハードディスクドライブ又は他の記憶媒体とすることができる。従って、当然のことながら、プロセッサー又はコンピュータと言うときには、並列運転していることも並列に運転していないこともあるプロセッサー又はコンピュータ又はメモリーを言うことが含まれる。ここで記載するステップを実行させるために単一のプロセッサーを使わないで、ステアリング用部品及び減速用部品のような構成部品の各々が、その構成部品特有の機能に関する計算のみを実行するような特有のプロセッサーを持つようにすることもできる。

ここに記載した種々の形態において、プロセッサーを、車両から隔てて配置し、車両と無線で交信させることもできる。他の形態において、ここに記載した処理は車両中に配置したプロセッサーにより実行され、１つの操作を実行するために必要なステップを行う場合も含めて、他の処理は遠隔のプロセッサーにより実行される。

コンピュータ１１０は、中央演算処理装置（ＣＰＵ）、ウェブブラウザのようなデータ１３４や命令を保存するメモリー（例えば、ＲＡＭ及び内部ハードディスクドライブ）、電子表示１４２（例えば、スクリーン、小型ＬＣＤタッチスクリーン、又は、情報を表示することのできる他の電子装置）、ユーザー入力１４０（例えば、マウス、キーボード、タッチスクリーン、及び／又は、マイクロフォン）、及び、人の状態又は人が求める明確な（例えば、ジェスチャー）又は間接的な（例えば、「居眠りしている」）情報を収集するための種々のセンサー（例えば、ビデオカメラ）のような、コンピュータと共に通常用いられる構成要素を具備する。

１つの実施例では、コンピュータ１１０は、車両１０１に組み込まれた自律走行運転演算システムとすることができる。図２は、自律走行車両の内装の典型的なデザインを示す。自律走行車両は、例えば、ステアリングホイール２１０のようなステアリング装置やナビゲーション表示２１５のようなナビゲーション表示装置や変速装置２２０のようなギア比選択装置のような、自律走行車両でない車両のすべての機構が含まれる。自律走行車両はまた、１つ以上の自律走行運転モードを始動又は停止させるため、及び、ナビゲーション目的地のような情報をドライバー又は乗客２９０が自律走行運転コンピュータ１１０に提供することができるようにするために、変速装置２２０、タッチスクリーン２１７、又はボタン入力２１９のような種々のユーザー入力装置を有することができる。

自律走行運転演算システムは、車両の種々の構成部品と通信することができる。例えば、図１に戻って、コンピュータ１１０は車両の中央プロセッサー１６０と通信することができ、車両１０１の動き、速度等をコントロールするために、車両１０１の種々のシステム、例えばブレーキングシステム１８０、加速システム１８２、信号システム１８４、及びナビゲーションシステム１８６と情報を送受信することができる。加えて、スイッチをいれたとき、コンピュータ１１０は、車両１０１のこれらのすべての機能または一部の機能をコントロールし、完全な自律走行又は部分的な自律走行にすることができる。種々のシステム及びコンピュータ１１０は車両１０１内にあるように示されているが、これらの構成要素は、車両１０１の外部又は物理的に遠く離しておくことができる。

車両にはまた、装置の地理的位置を決定するためにコンピュータ１１０と通信を行う地理的位置検出要素１４４を含めることもできる。例えば、この位置検出要素には、装置の緯度、経度、及び／又は高度を判断するためにＧＰＳ受信機を含めることができる。レーザーベースの位置特定システム、慣性援用ＧＰＳ、又はカメラベースの位置検出のような他の位置検出システムも、車両の位置を特定するために用いることができる。車両の位置には、絶対的地理的位置より少ないノイズで判断することのできる、すぐ近くの他の乗用車等との相対位置のような、相対位置情報のみならず、緯度、経度、及び高度のような、絶対的地理的位置を含めることができる。

車両には、車両の方向と速度又はその変化を決定するための、加速度計、ジャイロスコープ、又は他の方向／速度検出装置１４６のような、コンピュータ１１０との通信を行う他の装置を含めることもできる。単なる例として、加速装置１４６は、重力の方向又は重力に垂直な平面の方向に対するピッチ、振れ、揺れ（又はそれらの変化）を決定することができる。この装置は、このような変化の速さ及び方向の増加又は減少を追跡することもできる。ここに述べたようなこの装置の位置及び方向データについての項目は、ユーザー、コンピュータ１１０、他のコンピュータ、及びこれらを組み合わせたものに自動的に提供される。

コンピュータ１１０は、種々の構成部品を制御することにより車両の方向及び速度をコントロールすることができる。例示として、車両を完全に自律走行モードで運転している場合、コンピュータ１１０は、（例えば、エンジンに供給される燃料又は他のエネルギーを増加させることにより）車両を加速させること、（例えば、エンジンに供給される燃料を減少させること、又はブレーキをかけることにより）車両を減速させること、及び（例えば、前方の２つの車輪の向きを変えることにより）車両の方向を変えることができる。

車両には、他の車両、道路上の障害物、交通信号、標識、樹木、等のような、車両の外にある物体を検出するための構成部品を含めることができる。検出システムには、コンピュータ１１０で処理することのできるデータを記録するレーザー、ソナー、レーダー、カメラ又はその他の検出装置を含めることができる。例えば、車両が小型の乗客車両である場合、この車には、屋根又は他の具合のいい場所に取り付けたレーザーを含めることができる。

図３に示すように、小型の乗客車両３０１には、それぞれ車両の前方及び屋根に取り付けたレーザー３１０及び３１１を含めることができる。レーザー３１０は、約１５０メートルの到達距離、１３度の垂直視野、約３０度の水平視野を有することができる。レーザー３１１は、約５０〜８０メートルの到達距離、１３度の垂直視野、３６０度の水平視野を有することができる。レーザーにより、車両は、種々の物体の位置と距離を特定するためにコンピュータが用いることのできる距離と強さの情報を得ることができる。１つの形態によれば、レーザーは、レーザー軸を回転し傾きを変更することにより車両と車両のほうを向く物体の面との距離を計測することができる。

車両には、適応巡航コントロールシステムに用いるような、種々のレーダー検出装置を含めることもできる。レーダー検出装置は、乗用車のフロントバンパーのどちらか一方の側のみならず、前方及び後方に配置することもできる。図３の例に示すように、車両３０１には、車両の側面（一方だけが示されている）、前方及び後方に、レーダー検出装置３２０〜３２３が含まれている。これらのレーダー検出装置は、約５６度の視野で６０メートルの到達距離を持つのみならず、約１８度の視野で約２００メートルの到達距離を持つことができる。

別の例では、種々のカメラを車両に取り付けることができる。カメラは、２つ以上のカメラからの視差を種々の物体までの距離を計算するために用いることができるよう、所定の距離を置いて取り付けることができる。図３に示すように、車両３００には、バックミラー（不図示）の近くのフロントガラス３４０の裏に取り付けたカメラ３３０〜３３１を含めることができる。カメラ３３０は、約２００メートルの到達距離及び約３０度の水平視野を持つことができる一方、カメラ３３１は、約１００の到達距離及び約６０度の水平視野を持つことができる。

各センサーは、センサーが物体を検出するために用いることのできる特定のセンサー場と関連付けることができる。図４Ａは、種々のセンサーの概略のセンサー場を上から見た図である。図４Ａ〜４Ｄでは、これらの視野は、２次元（２Ｄ）で示されているが、実際のセンサー場は、３次元となる。図４Ｂは、レーザー３１０及び３１１の概略の２Ｄセンサー場４１０及び４１１を示し、それぞれ、これらのセンサーの視野に基づく。例えば、２Ｄセンサー場４１０は、約１５０メートルで、約３０度の水平視野を有し、センサー場４１１は、約８０メートルで、３６０度の水平視野を有する。これらは２Ｄで例示されているので、垂直視野は示されていない。

図４Ｃは、レーダー検出装置３２０〜３２３の各々についてについての概略の２Ｄセンサー場４２０Ａ〜４２３Ｂを示し、それぞれ、これらのセンサーの視野に基づく。例えば、レーダー検出装置３２０は、センサー場４２０Ａ及び４２０Ｂを有する。センサー場４２０Ａは、約２００メートルで、約１８度の水平視野を有し、センサー場４２０Ｂは、約８０メートルで、約５６度の水平視野を有する。同様に、レーダー検出装置３２１〜３２３はセンサー場４２１Ａ〜４２３Ａ及び４２１Ｂ〜４２３Ｂを有する。センサー場４２１Ａ〜４２３Ａは、約２００メートルで、約１８度の水平視野を有し、センサー場４２１Ｂ〜４２３Ｂは、約８０メートルで、約５６度の水平視野を有する。センサー場４２１Ａ及び４２２Ａは、図４Ａ及び４Ｃの縁まで伸びる。この場合もやはり、２Ｄで例示されているので、垂直視野は示されていない。

図４Ｄは、カメラ３３０〜３３１の、これらのセンサーの視野に基づく、概略の２Ｄセンサー場４３０〜４３１を示す。例えば、カメラ３３０のセンサー場４３０は、約２００メートルで約３０度の視野を有し、カメラ４３０のセンサー場４３１は、約１００で約６０度の視野を有する。この場合もやはり、２Ｄで例示されているので、垂直視野は示されていない。この場合もやはり、２Ｄで例示されているので、垂直視野は示されていない。

前述のセンサーにより、車両は評価を行うことができ、周囲の物体や人々だけでなく乗客の安全を最大限にするために、周囲状況に応答する能力を有することができる。車両の形式、センサーの数量や形式、センサーの位置、センサーの視野、及びセンサー（２Ｄ又は３Ｄ）のセンサー場は、単なる例示であることは理解されよう。種々の他の構成を用いることもできる。

上述のセンサーに加え、コンピュータは、他のセンサーからの入力も使うことができる。例えば、これらの他のセンサーには、タイヤ空気圧センサー、エンジン温度センサー、ブレーキ熱センサー、ブレーキパッド状態センサー、タイヤトレッドセンサー、燃料センサー、オイルのレベル及び質センサー、（温度、湿度、又は空気中の微粒子を検出するための）空気特性センサー、等を含めることができる。

これらのセンサーの多くは、リアルタイムでコンピュータにより処理されるデータを提供する。すなわち、センサーは、ある時間範囲で測定中の周囲状況を反映する出力を連続的に更新し、コンピュータが、車両のその時の最新の方向又は速度を検出した周囲状況に応じて修正すべきかどうか判断することができるように、連続的に又は要求に応じて更新された出力をコンピュータに提供することができる。

種々のセンサーから提供されたデータの処理に加えて、コンピュータは、時間的に先に得られた、周囲に車両の存在の有無にかかわらず存続する周囲データに頼ることができる。例えば、図１に戻って、データ１３４には、詳細な地図情報１３６、例えば、道路の形や高さ、車線境界線、交差点、横断歩道、制限速度、交通信号、建物、リアルタイムの交通情報、植物、又はそのような物や情報を特定する非常に詳細な地図を含めることができる。例えば、地図情報には、道路の種々の区画での系統立てた速度制限情報を含めることができる。速度制限データは、人手により、又は、例えば、光学式文字認識を用いて速度制限標識のイメージをあらかじめ読み込むことにより入力することができる。

地図情報には、上述の１つ以上の対象物を組み込んだ３次元地形図を含めることができる。例えば、車両は、リアルタイムデータ（例えば、他の乗用車の現在のＧＰＳを特定するためのセンサーを用いて）及び他のデータに（例えば、この他の乗用車が右（左）折車線内にあるかどうかを判断するための、あらかじめ保存されている車線専用の地図データとＧＰＳとを比較することで）基づき他の乗用車が向きを変えようとしているかどうかを判断することができる。

図５は、交差点５１０を含む道路部分の地図情報５００の１つの例である。この実施例において、交差点５１０は、４方向の停止位置があるが、地図情報１３６には、任意の数の異なる道路構成、道路の組み合わせ、及び／又は道路の形態を含めることができる。地図情報には、車線境界線５３０〜５３３及び５４０〜５４７により定義される車線５２０〜５２７が含まれる。地図情報にはまた、横断歩道５５０〜５５３の形状及び位置に関する詳細を含めることができる。道路の範囲を越えて、地図情報５００にはまた、歩道５６０〜５６３、建造物５７０〜５７３、及び（樹木のような）植物５８０〜５８２を含めることができる。建造物５７０〜５７３には、種々の形式の建造物を含めることができる。例えば、建造物５７０及び５７１には、ガレージ、店舗、家、事務所、等のような建物を含めることができる。別の例では、建造物５７２には壁面構造を含めることができる。

この場合もやはり、詳細な地図情報１３６をここでは画像に基づく地図として示したが、地図情報は全部画像に基づいたもの（例えば、ラスター）である必要はない。例えば、詳細な地図情報には、道路、車線、交差点、及びこれらの形態の接続点のような、１以上の道路グラフ又は情報のグラフネットワークを含むことができる。各形態は、グラフデータとして保存することができ、地理的位置、及び、他の関連形態と関連付けられているかどうか、例えば停止信号が道路や交差点等と関連付けられているかどうかのような情報と関連付けることができる。例えば、停止標識は、道路及び交差点と関連付けることができる。いくつかの実施例では、関連するデータには、特定の道路グラフ形態を効率的にルックアップすることができるように、道路グラフのグリッドに基づくインデックスを含むことができる。

詳細な地図情報には、種々の区域において、物体を検出する確率に関する情報にコード化することができる。図６の地図情報６００は、このような地図情報の１つの例である。例えば、壁５７２を見る車両センサー及び車両のコンピュータがこの構造物を「壁」と認識する代わりに、地図は、壁５７２がレーザー又はレーダーの妨げとなっていることに注目することができ、従って、地図情報６００には、壁５７２の後ろの（又は、車両のセンサーの、壁の反対側にある）物を検出する確率がゼロであることを示す注釈と関連させた区域６１０を含めることができる。

別の例では、地図情報６００には、壁５７２が３フィート（９１．４ｃｍ）高さであることを示すことができる。このことについて、区域６１０についての注釈では、その区域について、３フィート（９１．４ｃｍ）より高い物体を見ることについて高い信頼性があるが、３フィート（９１．４ｃｍ）より低い物体を見ることについて信頼性が低くなることを注釈することができる。このことについて、植物、建物、壁、モニュメント、標識、タワー、その他の構造物又は物体のような、詳細な地図情報に明記された物体と、それぞれ、車両のセンサーに対してその構造物とは反対側にある、特定の大きさ又は形状の別の物体を、車両が検出することができる確率とを結び付けることができる。

コンピュータ１１０はまた、他のコンピュータから情報を受け取ったり、又は他のコンピュータに情報を送信することもできる。コンピュータ１１０に記録された地図情報を、（図５及び６に示した実施例のように）他のコンピュータから受け取ったり、又は他のコンピュータに送信することができ、及び／又は、車両１０１のセンサーから集められたセンサーデータを、ここで説明するように、処理するために他のコンピュータに送信することができる。図７Ａ及び７Ｂに示すように、コンピュータ１１０からのデータは、ネットワークを介して、さらなる処理のためにコンピュータ７２０に送信することができる。ネットワーク及び介在するノードは、インターネット、ワールド・ワイド・ウェブ、イントラネット、仮想私設ネットワーク、ワイド・エリア・ネットワーク、ローカル・ネットワーク、１以上の会社で独自の通信プロトコルを用いたプライベート・ネットワーク、イーサネット、ＷｉＦｉ及びＨＴＴＰ、及びこれらの様々な組み合わせを含む種々の構成及びプロトコルを具備する。このような通信は、モデム及び無線インターフェースのような、他のコンピュータへの送信及び他のコンピュータからの受信ができる任意の装置により行うことができる。別の例では、データは、コンピュータ１１０及び７２０にアクセス又は接続することができるメモリーに記録することで伝達することができる。

１つの実施例では、例えば、コンピュータ１１０からのデータを受け取り処理し伝送するため、ネットワークの別々のノードの情報を交換する、複数のコンピュータ、例えば、ロード・バランス・サーバー・ファームを有するサーバーを具備することができる。サーバーは、プロセッサー７３０、メモリー７４０、命令７５０、及びデータ７６０を有するコンピュータ１１０と同様の構成とすることができる。

１つの実施例では、サーバー７２０のデータ７６０には、天候に関係する情報を提供することを含めることができる。例えば、サーバー７２０は、天候に関係する様々な情報を受け取り、監視し、記録し、更新し、送信することができる。この情報には、レポート、レーダー情報、予報、等の形の、例えば、降水量、雲、及び／又は、温度の情報を含めることができる。

上述し図示した動作に加え、種々の動作について説明する。以下の動作は、正確に以下に記載の順序で行わなければならないわけではないことは理解されよう。むしろ、種々のステップは異なる順序又は同時に行うことができ、ステップを付け加えることも省略することもできる。

車両のセンサーの限界を判断し、車両の動きを調整するために、コンピュータ１１０は、車両の相異なるセンサーの各々が車両の周辺を観測するため現在どのように見ることができているかを示す３Ｄモデルを生成することができる。これには、例えば、センサーが現在見ている物体や形態ではなく、センサーの視野が物体により遮られることが全くなかったとした場合にセンサーが見ることのできる区域を含めることができる。これらのモデルは、車両に対して相対的なセンサーの位置や方向が与えられたときの各センサーの視野に基づくことができる。この情報は、個々のセンサーモデルを各々決定する前に、一般的な校正ステップを用いて、あらかじめ決めておくことができる。

例えば、図８Ａ及び８Ｂには、センサー３１１についての個々の３Ｄモデル８００の構成要素が含まれる。レーザー３１１についてのモデル８００には、図８Ａに示した２Ｄセンサー場４１１の寸法と、図８Ｂに示した第３の垂直の寸法とを含むことができる。従って、これらの要素（４１１及び８１１）の組み合わせをレーザー３１１についての３Ｄモデル８００を生成するために用いることができる。同様のモデルを、これにより、物体検出要素１４８のセンサーの各々について生成することができる。

加えて、この個々のセンサーモデルには、所定のセンサー場内の種々の地点又は区域で物体を検出する確実性を記述する確率的なデータを含めることができる。例えば、特定のモデルには、所定のセンサー場内で物体を検出する確実性を示す情報を含めることができる。例えば、１つのモデルは、センサー場の中央にある物体、又は、センサーからある距離以内にある物体を検出する確実性は高く、センサー場の外側では確実性が低くなることがある。

図９及び９Ｂには、確率的なデータを有する、レーザー３１１についての３Ｄモデル９００の構成要素の実施例である。３Ｄモデル９００の影をつけた構成要素は、物体を検出する確実性が高くなるような、レーザー３１１に近い場所ほど濃くなるよう示され、レーザー３１１から遠い区域は、物体を検出する確実性が低くなり、薄い色で示される。

別の例では、確率的なデータを有するモデルには、モデル内の特定の位置で検出されそうな物体の寸法及び形状についての非常に詳細な情報を含めることができる。例えば、確率的なデータは、センサーが６０％の確率で他の車両を目撃し、２０％の確率で金属でない物体を目撃する、等の、区域についての記述を含めることができる。

個々のセンサーの初期モデル化にはまた、天候の現在の状態についての情報を活用し、リアルタイムで各センサーモデルの形状及び／又は確率情報を調整することを含めることができる。例えば、天候は、この特定のモデルのセンサー又は別のセンサーから受け取ったデータ、及び／又は、サーバー５２０のような中央から受け取ったリアルタイム情報に基づき自動的に検出することができる。これに関し、センサー又は中央から天候情報を受け取ることができ、この情報を用いて、センサーの各々について、３Ｄモデルの形状又は他の特性を調整することができる。例えば、非常に太陽がまぶしい場合又は降雨量が大きい場合、レーザーは、センサーとしての信頼性が下がることがある。同様に、レーダーユニットは、濃霧状態で用いるとき信頼性が下がることがある。このように、この例によるアプローチにより、関連する気象条件（例えば、霧の深さ、雨の量、地面の濡れ具合及び反射の程度、太陽光の強さと方向、等）のパラメータ化したモデルを組み立てることになる。加えて、このような気象条件が異なるセンサーに影響を与える度合いのモデル（例えば、霧の深さの関数としての有効なレーザー到達距離の減少の程度、太陽光の強さと方向の関数としてのレーザー内での盲点の程度、等）を先験的に構築することができ、センサーのオンラインの視野を計算するのに適したモデルを適用することができる。

次に、すべてのセンサーの個々のモデルは、センサーが現在監視することのできる、統合された包括的な３次元（３Ｄ)モデルとなることができる。この包括的なモデルは、単に、車両が物体を検出することのできる区域と、車両のセンサーが物体を検出できない区域とを示す２値の地図とすることができる。この情報は、個々のモデルに組み込まれた天候情報に含めることができる。

例えば、図１０は、物体検出要素１４８の種々のセンサーの２Ｄセンサー場を統合した１つの例である。この場合もやはり、図１０は２Ｄで示されているが、実際の結合したモデルは３Ｄである。この実施例において、（車両３０１に対して）区域１０１０内の物体は、車両のセンサーにより検出することができる一方、区域１０１０の外側に位置する物体は検出することができない。

個々のモデルに確率データが含まれる場合は、包括的な３Ｄモデルにも確率データを含めることができる。この点について、結合したモデルは、個々のセンサーモデルからの検出確率を種々の方法で合成することができる。１つの実施例では、３Ｄモデルの各区域での確率は、個々のセンサーモデルの各々についての各確率を処理して得られた、検出する最大の確率とすることができる。従って、１つのセンサーモデルが、場所１で小型乗用車の大きさの物体を検出する確率が１０％であり、他のセンサーモデルが、場所１で小型乗用車の大きさの物体を検出する確率が２０％である場合、場所１で小型乗用車の大きさの物体を検出する確率は２０％とすることができる。

別の例では、前記確率は、確実性のある領域又は閾値を有するような、より複雑な方法で結合することができる。図１１は、個々のセンサーについての複数のモデルに基づく包括的な３Ｄモデル１１００の別の実施例である。この実施例において、各モデルの各々には、すでに天候情報を含めておくことができる。包括的な３Ｄモデル１１００には、３つの確実性のある領域、１１１０、１１２０、及び１１３０が含まれる。影で示したように、領域１１１０は、領域１１２０（４０％と６９％との間）より車両の周辺の物体及び外観を検出する確実性を高くすることができる（例えば、７０％以上）。同様に、領域１１２０は領域１１３０（０％と３９％との間）より物体及び外観を検出する確実性を高くすることができる。他の包括的な３Ｄモデルには、顕著に確実性が高くなったり低くなったりする領域、確実性の値の異なる形式、等を含めることができる。

複数のセンサーのこの結合モデルは、センサーから除外され見えない地点を計算するための詳細な地図情報１３６と結合することもできる。前述のように、詳細な地図情報１３６は、物体を検出する確率でコード化することができる。例えば、車両の現在の位置を用いて、車両の地理的位置検出要素から決定されたとき、コンピュータ１１０は、詳細な地図情報１３６の対応する部分を特定し、前記結合モデルにこの情報を結合することができる。これについて、詳細な地図情報１３６の形態は、物体を検出する確率を含めて、前記結合モデルを調整するために用いることができる。この結合又は調整の結果を、周辺のさまざまな場所が占有されているか、占有されていないか、又は観測できないか（センサーにより検出できない）を記述した情報について注釈をつけた、車両の周辺のモデルとすることができる。占有されたデータ／自由なデータは、リアルタイムのセンサーデータ（例えば、トラックからセンサーを除外しているモデル）及び事前のデータ（例えば、交差点の近くのビルはすべてのセンサーをブロックする、高い草木はレーザー及びカメラを遮蔽し、レーダーを部分的にブロックするかもしれない、金属製の梁でできた橋又はトンネルは、レーダーを遮蔽するかもしれない、ノイズレベルの高い区域に進む場合は、死角と等価になるであろう）の結合からもたらされるであろう。これらの注釈は、上述の確率データに含めることができる。

図１２は、地図情報６００と包括的な３Ｄモデル１１００との結合の１つの例である。この実施例では、壁５７２は、区域６１０と表示され、３Ｄモデル１１００の除外部分となっている。従って、包括的な３Ｄモデルは、確実性の高い領域１２１０、１２２０、及び、１２３０の確実性の値に応じて、新たな確実性の高い領域１２１０、１２２０、及び、１２３０にそれぞれ再構成される。

従って、コンピュータ１１０は、車両のコンピュータがすでにその周辺を見ることができるか見えないかが予想できるので、センサーデータに基づく周辺の地理を再構成する必要はない。事前に地図を用いることのもう１つの利点は、離れた距離で（該当する物体が検出可能な距離に到達する前に）システムが死角及び遮蔽区域を推定することができ、例えば、システムは、取り付けてあるセンサーが遮蔽の原因となる物体を見つけることができるかなり前に死角となる交差点に近づいていることを知ることができ、これにより、車両は、早い時期に操作を修正し（例えば、スピードを落とし始め）、円滑に安全に運転することができる。

結合モデル及び地図は、コンピュータ１１０により用いられ、それにより運転を定めるので安全性を向上させることができる。例えば、コンピュータは、コンピュータは、検出可能距離が減少した場合（例えば、霧の中を運転している場合）車両のスピードを落とし、車両を視界がよくなるような状態にし、コンピュータが、センサーは十分周辺を検出することができるとの確信を持てない場合は、危険な運転（例えば、対向車線を通り抜ける運転）を避けることができる。

図１３のフロー線図１３００は、コンピュータ１１０が実行する上述の形態の１つの例である。この実施例において、物体検出要素の複数のセンサーの各々に対し、コンピュータ１１０は、ブロック１３０２でセンサーの視野の個々の３Ｄモデルを生成する。天候情報は、ブロック１３０４で、例えばセンサーから又はコンピュータ５２０のような外部情報源から受け取る。天候情報には、例えば、降水量、雲、霧の濃さ、雨の強さ、道路の湿り及び反射度、日差しの強さ及び方向、及び／又は、温度情報を含めることができる。天候情報は、レポート、レーダー情報、予報、リアルタイム計測、等の形とすることができる。コンピュータは、続いて、ブロック１３０６で、受け取った天候情報に基づいて３Ｄモデルの１つ以上の特性を調整する。これにより１つ以上のセンサーによる実際の、又は予想される気象条件への影響を明らかにする。この調整の後、ブロック１３０８で、コンピュータは、３Ｄモデルを包括的な３Ｄモデルに統合する。包括的な３Ｄモデルは次に、ブロック１３１０で、詳細な地図情報に組み込まれる。上述の通り、これには、車両の現在の位置を決定するステップと、包括的な３Ｄモデルに組み込むべき詳細な地図情報の該当する部分を選択するためにこの情報を用いるステップとを含めることができる。コンピュータは、次いで、ブロック１３１２で、結合された包括的な３Ｄモデルと詳細な地図情報とに基づいて車両の周辺のモデルを計算する。車両の周辺のこのモデルは、次に、ブロック１３１４で、車両の操作に用いられる。

上述の形態のこれらの及び他の変形及び組み合わせは、特許請求の範囲で定義した対象から離れることなく利用することができるので、これまで説明した例示的実施の形態は、特許請求の範囲で定義した発明を限定するものではなく、概説するためにものであると理解すべきである。当然のことながら、ここに記載した実施の形態の条件（及び、「のような」、「例えば」、「含む」、のような語句）は、権利化を要求する対象を特定の実施例に限定するものと解釈すべきでなく、実施例は多くの形態の一部を概説するためのものである。

本発明は、これらに限定されるものではないが、自律走行車両の管理及びコントロールを含む、広い産業分野で適用可能である。

Claims (20)

1. 車両の周辺にある物体を検出するための複数のセンサーの所定の各センサーについて、前記所定のセンサーの視野での３Ｄモデルを生成するステップと、
   前記車両の周辺の実際の又は予想される気象条件に関する、１つ以上の、レポート、レーダー情報、予想される計測値及びリアルタイム計測値を含む、天候情報を受け取るステップと、
   実際の又は予想される気象条件が複数のセンサーの１つ以上に与える影響を明確にするために、受け取った天候情報に基づき複数の３Ｄモデルの１以上の特性を調整するステップと、
   前記調整を行った後、包括的な３Ｄモデルを生成するために前記複数の３Ｄモデルを、プロセッサーにより統合するステップと、
   前記包括的な３Ｄモデルと詳細な地図情報とを結合するステップと、
   前記車両を操作するために前記結合した包括的な３Ｄモデルと詳細な地図情報とを用いるステップと、
   を具備する方法。
2. 各々の所定のセンサーの視野の３Ｄモデルは、所定のセンサーの遮るもののない視野のあらかじめ定められたモデルに基づくことを特徴とする、請求項１に記載の方法。
3. 各々の所定のセンサーの視野についての３Ｄモデルは、所定のセンサーの車両に対する所定のセンサーの位置及び方向に基づくことを特徴とする、請求項１に記載の方法。
4. 前記天候情報を、ネットワークを介して遠隔のコンピュータから受け取ることを特徴とする、請求項１に記載の方法。
5. 前記天候情報を、複数のセンサーのうちの１つから受け取ることを特徴とする、請求項１に記載の方法。
6. 前記複数の３Ｄモデルのうちの少なくとも１つのモデルには、前記少なくとも１つのモデルの所定の位置で物体を検出する確率を示す確率データが含まれ、
   この確率データは、前記包括的な３Ｄモデルを生成するための複数の３Ｄモデルを統合するときに用いられることを特徴とする、請求項１に記載の方法。
7. 前記詳細な地図情報には、前記地図の所定の位置で物体を検出する確率を示す確率データが含まれ、
   この確率データは、前記包括的な３Ｄモデルと詳細な地図情報とを結合するときに用いられることを特徴とする、請求項１に記載の方法。
8. 前記包括的な３Ｄモデルと詳細な地図情報とを結合することで、前記周辺のさまざまな部分が塞がっているか又は塞がっていないか又は遮られているかを記述する情報により注釈がつけられた車両の周辺のモデルが得られることを特徴とする、請求項１に記載の方法。
9. 車両の周辺にある物体を検出するための複数のセンサーの所定の各センサーについて、前記所定のセンサーの視野での３Ｄモデルを生成し、
   前記車両の周辺の実際の又は予想される気象条件に関する、１つ以上の、レポート、レーダー情報、予想される計測値及びリアルタイム計測値を含む、天候情報を受け取り、
   実際の又は予想される気象条件が複数のセンサーの１つ以上に与える影響を明確にするために、受け取った天候情報に基づき複数の３Ｄモデルの１以上の特性を調整し、
   前記調整を行った後、包括的な３Ｄモデルを生成するために前記複数の３Ｄモデルを、プロセッサーにより統合し、
   前記包括的な３Ｄモデルと詳細な地図情報とを結合し、
   前記車両を操作するために前記結合した包括的な３Ｄモデルと詳細な地図情報とを用いるよう構成されたプロセッサーを具備するシステム。
10. 各々の所定のセンサーの視野の３Ｄモデルは、所定のセンサーの遮るもののない視野のあらかじめ定められたモデルに基づくことを特徴とする、請求項９に記載のシステム。
11. 各々の所定のセンサーの視野についての３Ｄモデルは、所定のセンサーの車両に対する所定のセンサーの位置及び方向に基づくことを特徴とする、請求項９に記載のシステム。
12. 前記天候情報を、ネットワークを介して遠隔のコンピュータから受け取ることを特徴とする、請求項９に記載のシステム。
13. 前記天候情報を、複数のセンサーのうちの１つから受け取ることを特徴とする、請求項９に記載のシステム。
14. 前記複数の３Ｄモデルのうちの少なくとも１つのモデルには、前記少なくとも１つのモデルの所定の位置で物体を検出する確率を示す確率データが含まれ、
    この確率データは、前記包括的な３Ｄモデルを生成するための前記複数の３Ｄモデルを統合するときに用いられることを特徴とする、請求項９に記載のシステム。
15. 前記詳細な地図情報には、前記地図の所定の位置で物体を検出する確率を示す確率データが含まれ、
    この確率データは、前記包括的な３Ｄモデルと詳細な地図情報とを結合するときに用いられることを特徴とする、請求項９に記載のシステム。
16. 前記包括的な３Ｄモデルと詳細な地図情報とを結合することで、前記周辺のさまざまな部分が塞がっているか又は塞がっていないか又は遮られているかを記述する情報により注釈がつけられた車両の周辺のモデルが得られることを特徴とする、請求項９に記載のシステム。
17. コンピュータ読み取り可能なプログラムの命令を記録するための、実体のある、非一時的なコンピュータ読み取り可能記憶媒体であって、前記命令は、プロセッサーにて実行されたとき、前記プロセッサーに、
    車両の周辺にある物体を検出するための複数のセンサーの所定の各センサーについて、前記所定のセンサーの視野での３Ｄモデルを生成するステップと、
    前記車両の周辺の実際の又は予想される気象条件に関する、１つ以上の、レポート、レーダー情報、予想される計測値及びリアルタイム計測値を含む、天候情報を受け取るステップと、
    実際の又は予想される気象条件が複数のセンサーの１つ以上に与える影響を明確にするために、受け取った天候情報に基づき複数の３Ｄモデルの１以上の特性を調整するステップと、
    前記調整を行った後、包括的な３Ｄモデルを生成するために前記複数の３Ｄモデルを統合するステップと、
    前記包括的な３Ｄモデルと詳細な地図情報とを結合するステップと、
    前記車両を操作するために前記結合した包括的な３Ｄモデルと詳細な地図情報とを用いるステップと、
    を具備する方法を実行させることを特徴とする、記憶媒体。
18. 各々の所定のセンサーの視野の３Ｄモデルは、前記所定のセンサーの遮るもののない視野のあらかじめ定められたモデルに基づくことを特徴とする、請求項１７に記載の記憶媒体。
19. 複数の３Ｄモデルのうちの少なくとも１つのモデルには、前記少なくとも１つのモデルの所定の位置で物体を検出する確率を示す確率データが含まれ、
    この確率データは、包括的な３Ｄモデルを生成するための前記複数の３Ｄモデルを統合するときに用いられることを特徴とする、請求項１７に記載の記憶媒体。
20. 前記詳細な地図情報には、前記地図の所定の位置で物体を検出する確率を示す確率データが含まれ、
    この確率データは、前記包括的な３Ｄモデルと詳細な地図情報とを結合するときに用いられることを特徴とする、請求項１７に記載の記憶媒体。

Images