JP6619778B2 - 自律走行車の車両交通行動を予測して運転決定をするための方法及びシステム - Google Patents

Description

本発明の実施形態は大体自律走行車の操作に関する。より具体的に、本発明の実施形態は自律走行車の車両交通行動を予測して運転決定をすることに関する。

自律モード（例えば、自律運転）で走行している車両は、乗員（特に運転者）を、特定の運転に関連する責任から解放できる。自律モードで走行している場合、車両は車載センサで様々な場所にナビゲートすることができ、それにより車両がヒューマンコンピュータインタラクションの最も少ない場合又はいくつかの乗客がない場合で運行することを可能にさせる。

人間が運転する際に様々な決定を行うように、自律走行車は常に実際の周囲環境に応じて即時に運転決定をしなければならず、前記周囲環境は駐車制御交差点又は交差口、道譲り（give way）制御交差口等を含むが、これらに制限されない。このような環境は、例えばどの車両が通行権を有するのかを決定しにくい可能性があるため、運転困難（例えば、デッドロック）を引き起こす場合が多い。しかしながら、人間はジェスチャー（例えば、手の動き）によって互いに通信することによって困難を容易に解決する。しかしながら、これは自律走行車については挑戦的である。

本発明の一態様によれば、自律走行車を操作するためのコンピュータ実施方法を提供し、この方法は、
自律走行車の１つ又は複数のセンサから受信されたセンサデータに基づいて１つ又は複数の予測軌跡を生成し、前記予測軌跡の中のそれぞれがいずれも確率に関連するステップと、
ジェスチャー検出プロトコルに基づいて１つ又は複数の車両からの１つ又は複数のジェスチャーを検出するステップと、
検出されたジェスチャーに基づいて、ジェスチャー送信プロトコルにより前記自律走行車から前記１つ又は複数の車両と通信するための１つ又は複数のジェスチャーを送信するステップと、
検出されたジェスチャー、送信されたジェスチャー及び前記予測軌跡の関連する確率に基づいて前記予測軌跡を修正するステップと、
修正された予測軌跡に基づいて前記自律走行車を制御するステップとを含む。

本発明の別の一態様によれば、命令が記憶された非一時的な機械可読媒体を提供し、前記命令が、プロセッサにより実行される場合、前記プロセッサに自律走行車を操作するための操作を実行させ、前記操作は、
自律走行車の１つ又は複数のセンサから受信されたセンサデータに基づいて１つ又は複数の予測軌跡を生成し、前記予測軌跡の中のそれぞれがいずれも確率に関連することと、
ジェスチャー検出プロトコルに基づいて１つ又は複数の車両からの１つ又は複数のジェスチャーを検出することと、
検出されたジェスチャーに基づいて、ジェスチャー送信プロトコルにより前記自律走行車から前記１つ又は複数の車両と通信するための１つ又は複数のジェスチャーを送信することと、
検出されたジェスチャー、送信されたジェスチャー及び前記予測軌跡の関連する確率に基づいて前記予測軌跡を修正することと、
修正された予測軌跡に基づいて前記自律走行車を制御することとを含む。

本発明の別の態様によれば、感知及び計画システムを提供し、このシステムは、プロセッサと、前記プロセッサに連結されて命令を記憶するメモリと、を備え、前記命令が、前記プロセッサにより実行される場合、前記プロセッサに自律走行車を操作するための操作を実行させ、前記操作は、
自律走行車の１つ又は複数のセンサから受信されたセンサデータに基づいて１つ又は複数の予測軌跡を生成し、前記予測軌跡の中のそれぞれがいずれも確率に関連することと、
ジェスチャー検出プロトコルに基づいて１つ又は複数の車両からの１つ又は複数のジェスチャーを検出することと、
検出されたジェスチャーに基づいて、ジェスチャー送信プロトコルにより前記自律走行車から前記１つ又は複数の車両と通信するための１つ又は複数のジェスチャーを送信することと、
検出されたジェスチャー、送信されたジェスチャー及び前記予測軌跡の関連する確率に基づいて前記予測軌跡を修正することと、
修正された予測軌跡に基づいて前記自律走行車を制御することとを含む。

本発明の実施形態は、例示的な形態によって示されるものの図面の各図に限定されるものではなく、図面における同じ図面符号が同じ要素を示す。
本発明の一実施形態に係るネットワーク化システムを示すブロック図である。 本発明の一実施形態に係る自律走行車の例を示すブロック図である。 本発明の一実施形態に係る自律走行車の感知及び計画システムの例を示すブロック図である。 本発明の一実施形態に係る自律走行車を操作する例を示すブロック図である。 本発明の一実施形態に係る自律走行車を操作する過程を示す流れ図である。 本発明の一実施形態に係る運転シーンを示す例である。 本発明の一実施形態に係る運転シーンを示す例である。 一実施形態に係るデータ処理システムを示すブロック図である。

以下、詳細な説明を参照しながら、本発明の様々な実施形態及び方法を説明し、図面は、前記様々な実施形態を示す。以下の説明及び図面は、本出願を説明するためのものであり、本出願を限定するものではない。本出願の様々な実施形態を完全に把握するために、多数の特定の詳細を説明する。なお、いくつかの例では、本発明の実施形態に対する簡単な説明を提供するために、周知技術又は従来技術の詳細については説明していない。

本明細書では「一つの実施形態」又は「実施形態」とは、当該実施形態について組み合わせて説明された特定の特徴、構造又は特性が、本出願の少なくとも一つの実施形態に含まれていてもよい。語句「一つの実施形態では」は、本明細書全体において同一実施形態を指すとは限らない。

いくつかの実施形態によれば、システムは、人間同士の間の通信を模倣して且つ車両の若干の予測軌跡を生成するように、運転シーン（例えば駐車標識交差点）内の１つ又は複数の車両に対して軌跡予測を実行し、それにより運転環境における運転困難を解決する。システムは、車両からの１つ又は複数のジェスチャー（例えば、人間ジェスチャー）を検出したり認識したりして且つ検出したジェスチャーに基づいて車両と通信するための１つ又は複数のジェスチャーを送信する。例えば、送信したジェスチャーは、人間のジェスチャーを模倣する。検出したジェスチャー及び送信したジェスチャーに基づいて、システムは、車両の予測軌跡を補正したり修正したりして、且つ修正された軌跡を使用して自律走行車に対する運転決定を効果的にする。修正された軌跡によって、自律走行車は、例えば運転シーン内の車両を譲るか前記車両を追い越すかを決定する。

一実施形態において、自律走行車の１つ又は複数のセンサから受信したセンサデータに応答して、１つ又は複数の予測軌跡を生成し、各予測軌跡は、関連する確率を有する。１つ又は複数の運転シーンを認識して、前記運転シーンは、ジェスチャー認識をトリガーすることができる。各認識された運転シーンに対して、ジェスチャー検出プロトコルに基づいて１つ又は複数の車両からの１つ又は複数のジェスチャーを検出する。検出したジェスチャーに基づき、ジェスチャー送信プロトコルに基づいて、自律走行車からの前記車両と通信するための１つ又は複数のジェスチャーを送信する。検出したジェスチャー、送信したジェスチャー及び予測軌跡の関連する確率に基づいて予測軌跡を修正する。修正された予測軌跡に基づいて自律走行車を制御する。

図１は、本発明に係る一実施形態に係る自律走行車のネットワーク配置を示すブロック図である。図１を参照して、ネットワーク配置１００はネットワーク１０２によって１つ以上のサーバ１０３〜１０４に通信可能に接続することができる自律走行車１０１を含む。１つの自律走行車を示すが、ネットワーク１０２によって複数の自律走行車は互いに接続され、及び／又はサーバ１０３〜１０４に接続されることができる。ネットワーク１０２は、任意のタイプのネットワーク、例えば有線又は無線のローカルエリアネットワーク（ＬＡＮ）、例えばインターネット、セルラーネットワーク、衛星ネットワークの広域ネットワーク（ＷＡＮ）又はその組み合わせであってもよい。サーバ１０３〜１０４は、任意のタイプのサーバ又はサーバクラスタ、例えばＷｅｂサーバ又はクラウドサーバ、アプリケーションサーバ、バックエンドサーバ又はその組み合わせであってもよい。サーバ１０３〜１０４は、データ分析サーバ、内容サーバ、交通情報サーバ、地図（マップ）及び興味のあるポイント（ＭＰＯＩ）サーバ又は位置サーバ等であってもよい。

自律走行車とは、自律モードになるように配置できる車両を指し、前記自律モードで車両が運転者からの入力が非常に少ない又はない場合にもナビゲーションして環境を通過する。このような自律走行車は、センサシステムを含んでいてもよく、前記センサシステムは、車両走行環境に関連する情報を検出するように配置される１つ以上のセンサを有する。前記車両及びその関連するコントローラには検出した情報を使用してナビゲーションし環境を通過する。自律走行車１０１は、手動モード、完全自律モード又は部分自律モードで運行することができる。

一実施形態において、自律走行車１０１は、感知及び計画システム１１０と、車両制御システム１１１と、無線通信システム１１２と、ユーザインターフェースシステム１１３と、センサシステム１１４とを含むが、これらに制限されない。自律走行車１０１は、通常の車両に含まれるある一般的な構成要素（部材）、例えばエンジン、車輪、ハンドル、変速器等をさらに含んでいてもよく、前記構成要素は、車両制御システム１１１及び／又は感知及び計画システム１１０により多種の通信信号及び／又は命令（例えば、加速度信号又は命令、減速信号又は命令、ステアリング信号又は命令、ブレーキ信号又は命令等）を使用して制御することができる。

構成要素１１０〜１１４は、インターコネクト、バス、ネットワーク又はそれらの組み合わせを介して互いに通信可能に接続することができる。例えば、構成要素１１０〜１１４は、コントローラローカルエリアネットワーク（ＣＡＮ）バスを介して互いに通信可能に接続することができる。ＣＡＮバスは、マイクロコントローラ及び装置がホストコンピューターのない使用において互いに通信することを許可するような車両バス標準として設計される。それはメッセージに基づくプロトコルであり、最初に自動車内における複数の電線のために設計されたが、数多くのその他の環境（状況）にも用いられる。

現在、図２を参照して、一実施形態において、センサシステム１１４は、１つ以上のカメラ２１１と、全地球測位システム（ＧＰＳ）ユニット２１２と、慣性計測ユニット（ＩＭＵ）２１３と、レーダーユニット２１４と、ＬＩＤＡＲ（光検出及び測距）ユニット２１５とを含むが、これらに制限されない。ＧＰＳシステム２１２は、送受信機を含んでもよく、前記送受信機は、自律走行車の位置に関する情報を提供するように動作することができる。ＩＭＵユニット２１３は、慣性加速度に基づいて自律走行車の位置及び方向変化を感知することができる。レーダーユニット２１４は、無線信号を利用して自律走行車のローカル環境内の対象を感知するシステムを示すことができる。いくつかの実施形態において、対象を感知する以外、レーダーユニット２１４は、さらに対象の速度及び／又は進行方向を感知することができる。ＬＩＤＡＲユニット２１５は、レーザを使用して自律走行車の所在する環境における対象を感知することができる。その他のシステム構成要素以外、ＬＩＤＡＲユニット２１５は１つ以上のレーザ光源、レーザースキャナ及び１つ以上の検出器をさらに含んでいてもよい。カメラ２１１は、自律走行車の周辺環境の画像をキャプチャするための１つ以上の装置を含んでいてもよい。カメラ２１１は、スチルカメラ及び／又はビデオカメラであってもよい。カメラは、例えば回転及び／又は傾斜のプラットフォームに取り付けられる、機械的に移動可能なものであってもよい。

センサシステム１１４は、その他のセンサ、例えばソナーセンサ、赤外線センサ、ステアリングセンサ、スロットルセンサ、ブレーキセンサ、及びオーディオセンサ（例えばマイクロフォン）をさらに含んでいてもよい。オーディオセンサは、自律走行車周辺の環境から音をキャプチャするように配置されていてもよい。ステアリングセンサは、ハンドル、車両の車輪又はその組み合わせのステアリング角を感知するように配置できる。スロットルセンサ及びブレーキセンサは、それぞれ車両のスロットル位置及びブレーキ位置を感知する。いくつかの場合、スロットルセンサ及びブレーキセンサは、集積型スロットル／ブレーキセンサに一体化されていてもよい。

一実施形態において、車両制御システム１１１は、ステアリングユニット２０１と、スロットルユニット２０２（加速ユニットとも呼ばれる）と、ブレーキユニット２０３とを含むが、これらに制限されない。ステアリングユニット２０１は、車両の方向又は進行方向を調整することに用いられる。スロットルユニット２０２は、モーター又はエンジンの速度を制御して、続いて車両の速度及び加速度を制御することに用いられる。ブレーキユニット２０３は、摩擦を提供することによって車両の車輪又はタイヤをスローダウンして車両を減速させることに用いられる。注意すべきことに、図２に示すような構成要素は、ハードウェア、ソフトウェア又はその組み合わせによって実現されることがある。

図１を再び参照して、無線通信システム１１２は、自律走行車１０１と、例えば装置、センサ、その他の車両等の外部システムとの間に通信することを許可する。例えば、無線通信システム１１２は、１つ以上の装置に直接に又は通信ネットワークを介して無線通信し、例えばネットワーク１０２によってサーバ１０３〜１０４に通信できる。無線通信システム１１２は、任意のセルラー通信ネットワーク又は無線ローカルエリアネットワーク（ＷＬＡＮ）（例えばＷｉＦｉ）を使用して他の構成要素やシステムに通信できる。無線通信システム１１２は、例えば赤外線リンク、ブルートゥース等を使用して、装置（例えば、乗客の移動装置、表示装置、車両１０１内のスピーカー）に直接に通信できる。ユーザインターフェースシステム１１３は、車両１０１内で実行される周辺装置の一部であってもよく、例えばキーボード、タッチスクリーンディスプレイ装置、マイクロフォン、及びスピーカー等を含む。

自律走行車１０１の一部又は全ての機能は、特に自律運転モードで操作する場合、感知及び計画システム１１０により制御したり管理したりすることができる。感知及び計画システム１１０は、必要なハードウェア（例えば、プロセッサ、メモリ、メモリ）、及びソフトウェア（例えば、オペレーティングシステム、計画、及びルーティングプログラム）を含み、センサシステム１１４、車両制御システム１１１、無線通信システム１１２、及び／又はユーザインターフェースシステム１１３から情報を受信し、受信された情報を処理し、出発地から目的地までのルートや経路を計画し、そして計画及び制御情報に基づいて車両１０１を運転させる。あるいは、感知及び計画システム１１０と車両制御システム１１１とは一体化されてもよい。

例えば、乗客のユーザとして、例えばユーザインターフェースによって旅程の出発位置及び目的位置を指定することができる。感知及び計画システム１１０は、旅関連データを取得する。例えば、感知及び計画システム１１０は、ＭＰＯＩサーバから位置及びルート情報を取得することができ、前記ＭＰＯＩサーバはサーバ１０３〜１０４の一部であってもよい。位置サーバは、位置サービスを提供し、かつＭＰＯＩサーバはマップサービス及びある位置のＰＯＩを提供する。あるいは、このような位置及びＭＰＯＩ情報は、感知及び計画システム１１０の永続記憶装置にローカルでキャッシュされることがある。

自律走行車１０１がルートに沿って走行する期間に、感知及び計画システム１１０は、さらに交通情報システムやサーバ（ＴＩＳ）からリアルタイム交通情報を取得できる。注意すべきことに、サーバ１０３〜１０４は、第三者エンティティにより動作されることがある。あるいは、サーバ１０３〜１０４の機能は、感知及び計画システム１１０と一体化されていてもよい。リアルタイム交通情報、ＭＰＯＩ情報、位置情報、及びセンサシステム１１４が検出又は感知したリアルタイムなローカル環境データ（例えば、障害物、対象、付近車両）に基づいて、感知及び計画システム１１０は、安全で効果的に指定した目的地に到達するように、最適なルートを計画し、かつ計画したルートにより例えば車両制御システム１１１を介して車両１０１を運転することができる。

一実施形態において、運転環境における車両の交通行動を予測する場合、自律走行車１０１は、センサシステム１１４からセンサデータを受信する。センサデータに基づいて車両の１つ又は複数の予測軌跡を生成し、各予測軌跡は関連する確率を有する。自律走行車１０１はジェスチャー認識をトリガーできる運転シーンを認識し、且つ認識された運転シーンにおけるそれぞれに対して、自律走行車１０１はジェスチャー検出プロトコルに基づいて車両からの１つ又は複数のジェスチャーを検出する。検出したジェスチャーに基づき、ジェスチャーに基づくプロトコルを送信し、自律走行車１０１から１つ又は複数のジェスチャーを送信する。検出したジェスチャー、送信したジェスチャー及び予測軌跡に関連する確率に基づいて予測軌跡を修正する。

予測軌跡の修正は、第１組の予測軌跡を除去するとともに第２組の予測軌跡を短縮することを含む。例えば、第１組は低関連確率を有する予測軌跡であり、且つ第２組は合理的な予測軌跡を有する予測軌跡である。修正された軌跡を使用して、自律走行車１０１は運転決定をすることができ、例えば車両のために譲り又は前記車両を追い越す。

図３は、本発明の一実施形態に係る自律走行車と共に使用される感知及び計画システムの例を示すブロック図である。システム３００は、図１の自律走行車１０１の一部（感知及び計画システム１１０、制御システム１１１及びセンサシステム１１４を含むが、これらに制限されない）となるように実現されることがある。図３を参照し、感知及び計画システム１１０は、位置決めモジュール３０１、感知モジュール３０２、決定モジュール３０３、計画モジュール３０４、制御モジュール３０５、特徴抽出モジュール３０６、行動予測モジュール３０７、シーン検出モジュール３０８、ジェスチャー送信モジュール３０９、軌跡強化モジュール３１０及びジェスチャー検出モジュール３１２を含むが、これらに制限されない。

モジュール３０１〜３１１における一部又は全部は、ソフトウェア、ハードウェア又はその組み合わせで実現されていてもよい。例えば、これらのモジュールは、永続的記憶装置３５２に取り付けられ、メモリ３５１にロードされ、かつ１つ以上のプロセッサ（図示せず）により実行されていてもよい。注意すべきことに、これらのモジュールにおける一部又は全部は、図２の車両制御システム１１１の一部又は全部のモジュールに通信可能に接続されていてもよく、一体化されていてもよい。モジュール３０１〜３１１における一部は、一緒に集積モジュールとして一体化されていてもよい。

（地図及びルーティングモジュールとも言われる）位置決めモジュール３０１は、ユーザの旅程又はルートに関連する任意のデータを管理する。ユーザは、例えばユーザインターフェースを介してログインするとともに旅程の出発位置及び目的位置を指定することができる。位置決めモジュール３０１は、旅程に関連するデータを取得するように、自律走行車３００（システム）のその他の構成要素（例えばマップ及びルート情報３１２）と通信する。例えば、位置決めモジュール３０１は、位置サーバと、地図及びＰＯＩ（ＭＰＯＩ）サーバから位置及びルート情報を取得することができる。位置サーバは、位置サービスを提供し、且つＭＰＯＩサーバは、マップ及びルート情報３１２の一部としてキャッシュされうる地図サービスと特定な位置のＰＯＩとを提供する。システム３００がルートに沿って移動する時に、位置決めモジュール３０１は、さらに交通情報システム又はサーバからリアルタイム交通情報を取得することができる。

センサシステム１１４により提供されたセンサデータ、及び位置決めモジュール３０１により得られた位置決め情報に基づいて、感知モジュール３０２は、周辺環境に対する感知情報を決定する。感知情報は、普通の運転者が自分で運転している車両周辺から感知したもの（状況）を示すことができる。感知情報は、例えば対象形式で現される車線配置（例えば、ストレート又はカーブ）、トラフィック信号、他の車両の相対位置、歩行者、建築物、横断歩道又はその他の交通関連標識（例えば、停止標識、譲り標識）などを含んでいてもよい。

感知モジュール３０２は、コンピュータビジョンシステム又はコンピュータビジョンシステムの機能を含んでいてもよく、自律走行車環境における対象及び／又は特徴を認識するように、１つ以上のカメラによりキャプチャされた画像を処理及び分析することに用いられる。前記対象は、交通信号、車道の境界線、他の車両、歩行者及び／又は障害物等を含んでいてもよい。コンピュータビジョンシステムは、対象認識アルゴリズム、ビデオトラッキング及びその他のコンピュータビジョン技術を使用することができる。いくつかの実施形態において、コンピュータビジョンシステムは、環境をマッピングし、対象を追跡し、且つ対象の速度を推定すること等ができる。感知モジュール３０２は、その他のセンサ（例えばレーダー及び／又はＬＩＤＡＲ）により提供されたその他のセンサデータに基づいて対象を検出することもできる。

それぞれの対象に対して、決定モジュール３０３は、如何に対象を処理する決定をする。例えば、特定な対象（例えば、交差ルートにおける他の車両）及び対象を記述するメタデータ（例えば、速度、方向、ステアリング角）に対して、決定モジュール３０３は、遇う対象に如何に対応する（例えば、追い越し、道譲り、停止、通過）ことを決定する。決定モジュール３０３は、永続的記憶装置３５２（図示せず）に記憶されてもよい１セットのルール（例えば交通ルール）に基づいてこのような決定をすることができる。

感知したそれぞれ対象に対する決定に基づいて、計画モジュール３０４は、自律走行車のためにルート又は経路及び運転パラメータ（例えば、距離、速度及び／又はステアリング角）を計画する。すなわち、所定対象に対して、決定モジュール３０３は前記対象に対して如何に対応するかを決定し、計画モジュール３０４は如何に実行するかを決定する。例えば、所定対象に対して、決定モジュール３０３は、前記対象を追い越すことを決定することができ、計画モジュール３０４は、前記対象の左側に追い越すか、右側に追い越すかを決定することができる。計画モジュール３０４は、計画及び制御データを生成し、車両３００が次の移動周期（例えば、次のルート／経路セグメント）に如何に移動するかを記述する情報を含む。例えば、計画及び制御データは車両３００が毎時間３０マイル（ｍｐｈ）の速度で１０メートル移動し、次に２５ｍｐｈの速度で右車線まで変わることを指示することができる。

計画及び制御データに基づいて、制御モジュール３０５は計画及び制御データにより定義されたルート又は経路に基づいて、車両制御システム１１１へ適切な命令又は信号を送信することによって自律走行車を制御及び運転する。前記ルート又は経路に沿って違う場所で適時に適切な車両設置又は運転パラメータ（例えば、スロットル、ブレーキ及びステアリング命令）を使用して車両を第１点から第２点まで運転するように、計画及び制御データは十分な情報を含む。

注意すべきなのは、決定モジュール３０３及び計画モジュール３０４は、集積モジュールに一体化されてもよい。決定モジュール３０３／計画モジュール３０４は、自律走行車の運転経路を決定するために、ナビゲーションシステム又はナビゲーションシステムの機能を含んでいてもよい。例えば、ナビゲーションシステムは、自律走行車が以下の経路に沿って移動することを実現するための一連の速度及びディレクショナ進行方向を決定することができ、前記経路は、自律走行車を総体的に最終目的位置を向けて通じる車線経路に進ませると同時に、基本的に感知された障害物を避けることができる。目的地は、ユーザインターフェースシステム１１３により実現されたユーザ入力に基づいて設置できる。ナビゲーションシステムは、自律走行車が走行していると同時に走行経路を動的に更新することができる。ナビゲーションシステムは、自律走行車用の走行経路を決定するように、ＧＰＳシステム及び１つ以上の地図からのデータを合併することができる。

決定モジュール３０３／計画モジュール３０４は、自律走行車環境における潜在障害物を、認識・評価・回避又はその他の方式で迂回するために、衝突回避システム又は衝突回避システムの機能をさらに含んでいてもよい。例えば、衝突回避システムは、以下の方式によって自律走行車のナビゲーションにおける変更を実現することができ、制御システム１１１の中の１つ以上のサブシステムを動作してターン操縦、ステアリング操縦、ブレーキ操縦等を採る。衝突回避システムは、周辺の交通モード、道路状況等に基づいて障害物を回避可能な操縦を自動的に決定することができる。衝突回避システムは、その他のセンサシステムが自律走行車がターンして入ろうとする隣接領域における車両、建築障害物等を検出する際にターン操縦を採らないように配置できる。衝突回避システムは、使用可能であり且つ自律走行車の乗員の安全性を最大化させる操縦を自動的に選択することができる。衝突回避システムは、自律走行車の乗員室内で最小の加速度を出現させることが予測された回避操縦を選択することができる。

特徴抽出モジュール３０６は、行動予測モジュール３０７に用いられるデータを構成するように、センサシステム１１４からセンサデータを抽出する。例えば、特徴抽出モジュール３０６は、センサシステム１１４における様々なセンサからセンサデータを読み取ったり検索したりし、且つ前記センサデータを感知及び計画システム１１０のメモリに記憶することができる。

センサデータに基づいて、行動予測モジュール３０７は他の対象（例えば車両、歩行者及び／又は自転車を乗る者）の１つ又は複数の予測走行軌跡を計算して生成し、各予測走行軌跡は関連する確率を有する。関連する確率は、例えばその他の車両又は歩行者が前記確率に関連する予測軌跡において走行又は歩く可能性又は確率である。

シーン検出モジュール３０８は、ジェスチャー認識又は対話型ジェスチャーに基づく通信をトリガーする１つ又は複数の運転シーンを検出する。運転シーンは、例えば駐車制御交差口、横断歩道又は道譲り制御交差口であってもよい。

交互式ジェスチャーに基づく通信をトリガーする際に、１つ又は複数の車両（例えば、自律走行車及び／又は非自律走行車）又は歩行者からの１つ又は複数のジェスチャー（例えば、手振り）を検出するように、ジェスチャー検出モジュール３１１は活性化されたり呼び出されたりする。検出したジェスチャーは無線インターフェース（例えば、Ｗｉ−Ｆｉ、ブルートゥース又はいずれかのその他の適切な無線インターフェース）を介して受信した人間ジェスチャー及び／又は信号を含みうる。

検出したジェスチャーに基づいて、ジェスチャー送信モジュール３０９は、自律走行車１０１に１つ又は複数のジェスチャーを送信して車両と通信するようにさせる。送信されたジェスチャーは、例えば信号を送信して他の車両又は歩行者（又は自転車を乗る者）が通過することを通知する道譲りジェスチャー、又は自律走行車１０１が操縦されて且つその他の車両又は歩行者に道を譲ってもらうことを通知する追い越しジェスチャーであってもよい。

軌跡強化モジュール３１０は、検出したジェスチャー及び送信されたジェスチャーを利用して、且つ行動予測モジュール３０７により生成した予測走行軌跡を最適化する。例えば、軌跡強化モジュール３１０は、発生の可能性が低いか又は発生の可能性がない一部の予測走行軌跡を除去することができ、且つより可能な予測走行軌跡又は合理的な関連する確率（例えば、３０％、４０％又は５０％の以上）を有する予測走行軌跡を残しておく。

図４は、本発明の一実施形態に係る自律走行車を操作する例を示すブロック図である。図４では、特徴抽出モジュール３０６は呼び出されて、自律走行車１０１に取り付けられる多種のセンサから例えばリアルタイムなセンサデータを抽出する。センサデータは、自律走行車１０１の速度、方向又は走行方向、現在位置、及び車線および交差点情報（例えば、停止標識、道譲り標識、合流（merge）標識、トラフィックライト）を含むことができる。

センサデータ及び予め確立した機械学習モデル、例えば一定のヨーレートおよび加速度（ＣＹＲＡ）の運動モデル及び／又は操縦認識モデル（ＭＲＭ）に基づいて、行動予測モジュール３０７は他の移動対象（例えば、車両、歩行者、自転車に乗る者）の１つ又は複数の予測軌跡４０１を計算して出力する。予測軌跡４０１の中のそれぞれは他の移動対象が予測軌跡内で走行する可能性を示す関連する確率を含みうる。

行動予測モジュール３０７の後、ジェスチャー認識をトリガーする１つ又は複数の運転シーンを認識するように、シーン検出モジュール３０８は呼び出される。例えば、シーン検出モジュール３０８はトリガー又はジェスチャー認識を必要とするシーンを指示する運転環境内の対象を認識することができる。一部の実施形態において、対象は停止標識であってもよく、それは車両が例えば同時に到達できる駐車制御交差口を指示する。

ジェスチャー認識をトリガーする少なくとも１つのシーンを認識した場合、各認識された運転シーンに対して、ジェスチャー検出モジュール３１１は、ジェスチャー検出プロトコルによって１つ又は複数の車両（例えば、駐車制御交差口内の車両）からの１つ又は複数のジェスチャーを検出する。幾つかの実施形態において、ジェスチャーは、車両（例えば、その他の自律走行車）から無線受信された人間ジェスチャー（例えば、人間の手の動き）又は信号であってもよい。幾つかの実施形態において、１つ又は複数のカメラ（例えば、カメラ２１１）及びコンピュータビジョンアルゴリズム（例えば空間ジェスチャーアルゴリズム）を実行するソフトウェア又はミドルウェアによってジェスチャーを検出し、前記コンピュータビジョンアルゴリズムは、３Ｄモデル及び／又は外観に基づくアルゴリズムを含みうる。幾つかの実施形態において、ジェスチャー検出プロトコルは、あらかじめ定義された１組の値（例えば、列挙値）を含むことができ、ここで、各値は特定のジェスチャー（例えば、追い越し、道譲り）に対応する。

検出されたジェスチャーに応答して、ジェスチャー送信モジュール３０９は、ジェスチャー送信プロトコルによって自律走行車１０１にその他の車両と通信するための１つ又は複数のジェスチャーを送信させるように制御したり命令したりする。幾つかの実施形態において、検出されたジェスチャーが追い越しジェスチャーである場合、ジェスチャー送信モジュール３０９は、自律走行車１０１に道譲りジェスチャーを送信させるように命令することができる。代わりに、検出されたジェスチャーが道譲りジェスチャーである場合、ジェスチャー送信モジュール３０９は、自律走行車１０１に追い越しジェスチャーを送信させるように命令することができる。幾つかの実施形態において、ジェスチャーを検出しないか又はジェスチャーが認識できないものである場合、ジェスチャー送信モジュール３０９は、更に自律走行車１０１に道譲りジェスチャーを送信させるように命令し、これにより、信号を送信してその他の車両に通過又は追い越し可能の旨を通知し、自律運転での「安全第一」規則を満たす。

ジェスチャーは、例えば以下の複数の形態で送信されることができる。例えばビデオ（例えば、自律走行車１０１に取り付けられた平面又は曲面スクリーンを有する外部表示装置で）、物理信号（例えば、自律走行車１０１に取り付けられるか又は自律走行車１０１に接続されたアーム）、人間ジェスチャー模倣（例えば、ヒューマノイドロボットアーム）、強化に基づいて実現した人間ジェスチャー及び／又は無線信号伝送（例えば、その他の自律走行車まで）で送信することができる。幾つかの実施形態において、ジェスチャー送信プロトコルは、あらかじめ定義された１組の値（例えば、列挙値）を含むことができ、各値は特定の送信ジェスチャーに対応する。

検出されたジェスチャー、送信されたジェスチャー及び予測軌跡４０１は軌跡強化モジュール３１０に提供されることにより、予測軌跡４０１を強化又は最適化するとともに強化した予測軌跡４０２を生成する。例えば、検出されたジェスチャー及び送信されたジェスチャーを利用して、軌道強化モジュール３１０は、幾つかの可能性が低い軌跡（例えば、例えば３０％、４０％又は５０％よりも小さい低関連性確率を有する予測軌跡）を削除することにより予測軌跡４０１を修正することができ、且つ例えば隠れマルコフモデルによって可能性がより高い軌跡を残したり選択したりする。幾つかの実施形態において、送信されたジェスチャーに基づいて、軌跡強化モジュール３１０は、各予測軌跡にタイムスタンプ（前記タイムスタンプはその他の車両（例えば）が道を譲るか又は追い越しようとする時間を指示する）をそれぞれ加えることによって幾つかの予測軌跡４０１を短縮又は延長することができる。このため、例えば、自律走行車１０１の角度から見る場合、道譲りジェスチャーを送信すると短い計画軌跡を引き起こすことができ、且つ追い越しジェスチャーを送信すると自律走行車１０１のより長い計画軌跡を引き起こすことができる。

図５は、本発明の一実施形態に係る自律走行車を操作する過程を示すフローチャートである。過程５００は処理ロジックによって実行されることができ、前記処理ロジックはソフトウェア、ハードウェア又はその組み合わせを含みうる。例えば、過程５００は、図１の感知及び計画システム１１０によって実行されることができる。図５を参照して、ブロック５０１において、処理ロジックは、自律走行車（例えば、自律走行車１０１）の１つ又は複数のセンサからセンサデータを受信する。ブロック５０２において、処理ロジックはセンサデータに基づいて１つ又は複数の予測軌跡を生成し、各予測軌跡は関連する確率を有する。ブロック５０３において、処理ロジック認識によりジェスチャー認識の１つ又は複数の運転シーン（例えば、停止標識交差点）をトリガーする。各運転シーンに対して、ブロック５０４において、処理ロジックは、ジェスチャー検出プロトコルによってその他の車両からの１つ又は複数のジェスチャー（例えば、道譲り又は追い越しジェスチャー）を検出する。ブロック５０５において、処理ロジックは検出されたその他の車両からのジェスチャーに基づいて、ジェスチャー送信プロトコルにより、その他の車両と通信するための１つ又は複数のジェスチャーを送信する。ブロック５０６において、処理ロジックは、検出されたその他の車両からのジェスチャー、送信されたジェスチャー及び予測軌跡の関連する確率に基づいて予測軌跡を強化する。

図６Ａと図６Ｂは、本発明の一実施形態に係る運転シーンの例示を示す。図６Ａを参照して、このような例示において、「主車両」と言われてもよい第１車両６０１（例えば、自律走行車１０１）と「その他の車両」と言われてもよい第２車両６０２は、同一の時間又はほぼ同一の時間に停止標識交差点に到達する。このような場合には、主車両は他の車両の通過軌跡６０４ａ及び左ステアリング軌跡６０４ｂという２つの予測軌跡を計算して生成することができ、２つの軌跡はすべて主車両の計画軌跡６０５に介在する。そして、主車両は、ジェスチャー認識をトリガーする１つ又は複数の運転シーン（例えば、シーン検出モジュール３０８を呼び出すことによって）を認識することができる。この例示では停止標識交差点であるので、ジェスチャー認識をトリガーする運転シーンが認識される。その後、主車両は、ジェスチャー経路６０３を介して他の車両からの１つ又は複数のジェスチャー（例えば、ジェスチャー検出モジュール３１１を呼び出すことによって）を検出することができる。主車両は、任意のジェスチャーを検出しないか、又は認識できないジェスチャー又は追い越しジェスチャーを検出した場合、主車両は、これによってジェスチャー経路６０３を介して道譲りジェスチャーを送信する。送信されたジェスチャーを利用して、主車両は、計画軌跡６０５を修正して短い計画軌跡６１５を生成することができ、図６Ｂに示すように、これにより操縦する前にその他の車両に道を譲るか又はその他の車両が例えば左ステアリング軌跡６０４ｂを採用することを可能にする。

注意すべきことに、前記に示されて記述された一部又は全部の構成要素は、ソフトウェア、ハードウェア又はその組み合わせによって実現されうる。例えば、このような構成要素は、永続的記憶装置にインストールされるとともに記憶されたソフトウェアとして実現されていてもよく、前記ソフトウェアは、本出願にわたって記載の手順又は動作を実施するように、プロセッサ（図示せず）によってメモリにロードして実行されていてもよい。あるいは、このような構成要素は、集積回路（例えば特定用途向けＩＣ又はＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ））にプログラミングされ又は組み込みされた専用ハードウェアにおける実行可能なコードとして実現されてもよく、前記実行可能なコードは、アプリケーションからの対応するドライバープログラム及び／又はオペレーティングシステムによってアクセスされていてもよい。なお、このような構成要素は、プロセッサ又はプロセッサコアにおける特定のハードウェアロジックとして実現されていてもよく、ソフトウェア構成要素が１つ以上の特定命令によってアクセス可能な命令セットの一部とする。

図７は、本出願の一実施形態と組み合わせて使用されるデータ処理システムを例示的に示すブロック図である。例えば、システム７００は、上記プロセス又は方法のいずれか（例えば、感知及び計画システム１１０、及び図１のサーバ１０３〜１０４のいずれか）を実行する上記任意のデータ処理システムを示していてもよい。システム７００は、多数の異なる構成要素を含んでいてもよい。これらの構成要素は、集積回路（ＩＣ）、集積回路の一部、分散型電子装置又は回路基板に適用された他のモジュール（例えばコンピュータシステムのマザーボード又はアドインカード）、又は他の方式でコンピュータシステムのシャシーに組み込まれた構成要素として実現されうる。

さらに、システム７００は、コンピュータシステムの多数の構成要素の高レベルビューを示すことを目的とする。しかしながら、いくつかの実現形態では、付加的構成要素が存在する場合があることを理解すべきである。また、他の実現形態において示される構成要素が異なる配置を有していてもよい。システム７００は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、携帯電話、メディアプレーヤー、パーソナルディジタルアシスタント（ＰＤＡ）、スマート腕時計、パーソナルコミュニケーター、ゲーム装置、ネットワークルータ又はハブ、無線アクセスポイント（ＡＰ）又はリピーター、セットトップボックス、又はそれらの組合せを示していてもよい。また、単一の機器又はシステムのみを示したが、用語「機器」又は「システム」は、さらに、独立又は共同で１つ（又は複数）の命令セットを実行することにより本明細書に説明される任意の１種又は複数種の方法を実行する機器又はシステムの任意のセットを含むことを理解すべきである。

一実施形態において、システム７００は、バス又は相互接続部材７１０によって接続されたプロセッサ７０１、メモリ７０３及び装置７０５〜７０８を備える。プロセッサ７０１は、単一のプロセッサコア又は複数のプロセッサコアを含む単一のプロセッサ又は複数のプロセッサであってもよい。プロセッサ７０１は、マイクロプロセッサ、中央処理装置（ＣＰＵ）等の１つ又は複数の汎用プロセッサであってもよい。より具体的には、プロセッサ７０１は、複雑命令セット計算（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、又は他の命令セットを実現するプロセッサ、又は命令セットの組合せを実現するプロセッサであってもよい。プロセッサ７０１は、さらに、専用集積回路（ＡＳＩＣ）、セルラ又はベースバンドプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ、グラフィックプロセッサ、通信プロセッサ、暗号プロセッサ、コプロセッサ、組み込みプロセッサ等の１つ又は複数の専用プロセッサ、あるいは命令処理可能な任意の他のタイプのロジックであってもよい。

プロセッサ７０１（超低電圧プロセッサのような低電力マルチコアプロセッサソケットであってもよい）は、前記システムの各種構成要素と通信するための主処理ユニット及び中央ハブとして用いられてもよい。このようなプロセッサは、システムオンチップ（ＳｏＣ）として実現されることができる。プロセッサ７０１は、命令を実行することにより本明細書に説明される動作及びステップを実行するための命令を実行するように構成される。また、システム７００は、選択可能なグラフィックサブシステム７０４と通信するグラフィックインターフェースをさらに含み、グラフィックサブシステム７０４は、表示コントローラ、グラフィックプロセッサ及び／又は表示装置をさらに備えてもよい。

プロセッサ７０１は、メモリ７０３と通信していてもよく、メモリ７０３は、一実施形態において複数のメモリによって所定量のシステムメモリを提供する。メモリ７０３は、ランダムアクセスメモリ（ＲＡＭ）、動的ＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、静的ＲＡＭ（ＳＲＡＭ）又は他のタイプのメモリのような１つ又は複数の揮発性記憶装置（又はメモリ）を備えてもよい。メモリ７０３は、プロセッサ７０１又は任意の他の装置により実行される命令列を含む情報を記憶できる。例えば、複数種のオペレーティングシステム、装置ドライバー、ファームウェア（例えば、基本入出力システム又はＢＩＯＳ）及び／又はアプリケーションの実行可能なコード及び／又はデータはメモリ７０３にロードされてもよく、プロセッサ７０１により実行される。オペレーティングシステムは、ロボットオペレーティングシステム（ＲＯＳ）、Ｍｉｃｒｏｓｏｆｔ^(R)会社からのＷｉｎｄｏｗｓ(R)オペレーティングシステム、アップル会社からのＭａｃ ＯＳ^(R)／ｉＯＳ^(R)、Ｇｏｏｇｌｅ^(R)会社からのＡｎｄｒｏｉｄ^(R)、Ｌｉｎｕｘ、Ｕｎｉｘ又は他のリアルタイム又は組み込みオペレーティングシステムのような任意のタイプのオペレーティングシステムであってもよい。

システム７００は、ＩＯ装置、例えば装置７０５〜７０８をさらに備えてもよく、ネットワークインターフェース装置７０５、選択可能な入力装置７０６及び他の選択可能なＩＯ装置７０７を備える。ネットワークインターフェース装置７０５は、無線送受信機及び／又はネットワークインターフェースカード（ＮＩＣ）を備えてもよい。前記無線送受信機は、ＷｉＦｉ送受信機、赤外送受信機、ブルートゥース送受信機、ＷｉＭａｘ送受信機、無線セルラーホン送受信機、衛星送受信機（例えば、全地球測位システム（ＧＰＳ）送受信機）又は他の無線周波数（ＲＦ）送受信機又はそれらの組合せであってもよい。ＮＩＣはイーサネットカードであってもよい。

入力装置７０６は、マウス、タッチパッド、タッチスクリーン（それは表示装置７０４と一体化されてもよい）、ポインタデバイス（例えばスタイラス）及び／又はキーボード（例えば、物理キーボード又はタッチスクリーンの一部として表示された仮想キーボード）を備えていてもよい。例えば、入力装置７０６は、タッチスクリーンに接続されるタッチスクリーンコントローラを含んでいてもよい。タッチスクリーン及びタッチスクリーンコントローラは、例えば一つ以上のタッチ感度技術（容量、抵抗、赤外及び表面音波の技術を含むが、それらに限定されない）のいずれか、及びタッチスクリーンの１つ又は複数の接触点を決定するための他の近接センサアレイ又は他の素子を用いてそのタッチ点及び移動又は断続を検出することができる。

ＩＯ装置７０７は、音声装置を備えていてもよい。音声装置は、スピーカ及び／又はマイクロホンを含んでいてもよく、それにより音声認識、音声コピー、デジタル記録及び／又は電話機能等の音声サポートの機能を促進する。他のＩＯ装置７０７は、汎用シリアルバス（ＵＳＢ）ポート、パラレルポート、シリアルポート、印刷機、ネットワークインターフェース、バスブリッジ（例えば、ＰＣＩ−ＰＣＩブリッジ）、センサ（例えば、加速度計、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサ等のような動きセンサ）又はそれらの組合せをさらに備えていてもよい。装置７０７は、結像処理サブシステム（例えば、カメラ）をさらに備えていてもよく、前記結像処理サブシステムは、カメラ機能（例えば、写真及びビデオ断片の記録）を促進するための電荷カップリング装置（ＣＣＤ）又は相補型金属酸化物半導体（ＣＭＯＳ）光学センサ等の光学センサを備えていてもよい。あるセンサは、センサハブ（図示せず）によって相互接続部材７１０に接続されていてもよく、キーボード又は熱センサ等の他の装置は、組み込みコントローラ（図示せず）により制御されてもよく、これはシステム７００の特定配置又は設計により決められる。

データ、アプリケーション、１つ又は複数のオペレーティングシステム等の情報の永続記憶を提供するために、大容量メモリ（図示せず）は、プロセッサ７０１に接続されてもよい。様々な実施形態において、薄型化と軽量化のシステム設計を実現しかつシステムの応答能力を向上させるために、このような大容量メモリは、ソリッドステート装置（ＳＳＤ）によって実現されうる。なお、他の実施形態において、大容量メモリは、主にハードディスクドライブ（ＨＤＤ）で実現されていてもよく、少量のＳＳＤ記憶量は、ＳＳＤキャッシュとして停電イベント期間にコンテキスト状態及び他のこのような情報の不揮発性記憶を実現し、それによりシステム動作が再開する時に通電を速く実現することができる。さらに、フラッシュデバイスは、例えばシリアルペリフェラルインターフェース（ＳＰＩ）によってプロセッサ７０１に接続されてもよい。このようなフラッシュデバイスは、システムソフトウェアの不揮発性記憶に用いられてもよく、前記システムソフトウェアは、前記システムのＢＩＯＳ及び他のファームウェアを備える。

記憶装置７０８は、任意の１種又は複数種の本明細書に記載の方法又は機能を体現する１つ又は複数の命令セット又はソフトウェア（例えば、モジュール、ユニット及び／又はロジック７２８）が記憶される（機械可読記憶媒体又はコンピュータ可読媒体とも呼ばれる）コンピュータアクセス可能な記憶媒体７０９を備えていてもよい。処理モジュール／ユニット／ロジック７２８は、例えば、計画モジュール３０４、制御モジュール３０５、又はモジュール３０６〜３１１等の上記構成要素のいずれか（単独又は組み合わせ）を示していてもよい。処理モジュール／ユニット／ロジック７２８は、さらにデータ処理システム７００により実行される期間にメモリ７０３内及び／又はプロセッサ７０１内に完全又は少なくとも部分的に存在していてもよく、ここで、メモリ７０３及びプロセッサ７０１も、機器アクセス可能な記憶媒体を構成する。処理モジュール／ユニット／ロジック７２８は、さらにネットワークによってネットワークインターフェース装置７０５を経由して送受信されていてもよい。

コンピュータ可読記憶媒体７０９は、以上に説明されたいくつかのソフトウェア機能の一部を永続的に記憶していてもよい。コンピュータ可読記憶媒体７０９は、例示的な実施形態において単一の媒体として示されたが、用語「コンピュータ可読記憶媒体」は、前記１つ又は複数の命令セットが記憶される単一の媒体又は複数の媒体（例えば、集中型又は分散型データベース、及び／又は関連するキャッシュ及びサーバ）を備えることを理解すべきである。用語「コンピュータ可読記憶媒体」は、さらに命令セットを記憶又はコーディング可能な任意の媒体を備えることを理解すべきであり、前記命令セットは、機器により実行されかつ前記機器に本発明の任意の１種又は複数種の方法を実行させる。従って、用語「コンピュータ可読記憶媒体」は、ソリッドステートメモリ及び光学媒体と磁気媒体又は任意の他の非一時的機械可読媒体を備えるが、それらに限定されないことを理解すべきである。

本明細書に記載の処理モジュール／ユニット／ロジック７２８、構成要素及び他の特徴は、ディスクリートハードウェアコンポーネントとして実現されていてもよく、又はハードウェアコンポーネント（例えばＡＳＩＣｓ、ＦＰＧＡ、ＤＳＰ又は類似装置）の機能に統合されていてもよい。さらに、処理モジュール／ユニット／ロジック７２８は、ハードウェア装置内のファームウェア又は機能回路として実現されていてもよい。また、処理モジュール／ユニット／ロジック７２８は、ハードウェア装置及びソフトウェアコンポーネントの任意の組合せで実現されていてもよい。

なお、システム７００は、データ処理システムの各種の構成要素を有するように示されているが、構成要素に相互接続させる任意の具体的な構造又は方式を限定するものではないことに注意すべきであり、それは、このような詳細が本発明の実施形態に密接な関係がないためである。また、より少ない構成要素又はより多くの構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバ及び／又は他のデータ処理システムが、本発明の実施形態と共に使用されていてもよい。

上記詳細な説明の一部は、コンピュータメモリにおけるデータビットに対する演算のアルゴリズム及び記号表現で示される。これらのアルゴリズムの説明及び表現は、データ処理分野における当業者によって使用される、それらの作業実質を所属分野の他の当業者に最も効果的に伝達する方法である。ここで、アルゴリズムは、通常、所望の結果につながる首尾一貫したいくつかの動作のシーケンス（ｓｅｑｕｅｎｃｅ ｏｆ ｏｐｅｒａｔｉｏｎｓ）と考えられる。これらの動作とは、物理量に対して物理的な動作を行う必要となるステップを指す。

ただし、これらの全ての用語及び類似の用語は、いずれも適切な物理量に関連付けられ、且つただこれらの量に適用される適切なラベルであることに注意すべきである。特に断らない限り、本出願の全体にわたって用語（例えば、添付している特許請求の範囲に説明された用語）による説明とは、コンピュータシステム又は類似の電子計算装置の動作及び処理であり、前記コンピュータシステム又は電子計算装置は、コンピュータシステムのレジスタ及びメモリに物理（例えば、電子）量としてデータを示し、且つ前記データをコンピュータシステムメモリ又はレジスタ又は他のこのような情報メモリ、伝送又は表示装置内において類似に物理量として示される他のデータに変換する。

本発明の実施形態は、さらに本明細書における動作を実行するためのコンピュータプログラムに関する。このようなコンピュータプログラムは、非一時的コンピュータ可読媒体に記憶される。機器可読媒体は、機器（例えば、コンピュータ）可読な形態で情報を記憶する任意の機構を備える。例えば、機器可読（例えば、コンピュータ可読）媒体は、機器（例えば、コンピュータ）可読記憶媒体（例えば、読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリメモリ）を備える。

上記図面に示される手順又は方法は、ハードウェア（例えば、回路、専用ロジック等）、ソフトウェア（例えば、非一時的コンピュータ可読媒体に具現化される）、又は両方の組合せを含む処理ロジックにより実行されていてもよい。前記手順又は方法は本明細書において特定の順序に応じて説明されているが、説明された動作の一部は、異なる順序に応じて実行されてもよい。また、いくつかの動作は、順番ではなく並行に実行されてもよい。

本発明の実施形態は、いずれかの特定のプログラミング言語を参照して説明されていないものの、複数種のプログラミング言語によって本明細書に記載の本発明の実施形態の教示を実現できることを理解すべきである。

以上の明細書では、本発明の具体的な例示的な実施形態を参照してその実施形態を説明した。明らかなように、添付した特許請求の範囲に記載の本発明のより広い趣旨及び範囲を逸脱しない限り、様々な変形が可能である。従って、限定的なものではなく例示的なものとして本明細書及び図面を理解すべきである。
以下に、本願の出願当初の請求項１〜２４を示す。
（請求項１）
自律走行車の１つ又は複数のセンサから受信されたセンサデータに基づいて１つ又は複数の予測軌跡を生成し、前記予測軌跡の中のそれぞれがいずれも確率に関連するステップと、
ジェスチャー検出プロトコルに基づいて１つ又は複数の車両からの１つ又は複数のジェスチャーを検出するステップと、
検出されたジェスチャーに基づいて、ジェスチャー送信プロトコルにより前記自律走行車から前記１つ又は複数の車両と通信するための１つ又は複数のジェスチャーを送信するステップと、
検出されたジェスチャー、送信されたジェスチャー及び前記予測軌跡の関連する確率に基づいて前記予測軌跡を修正するステップと、
修正された予測軌跡に基づいて前記自律走行車を制御するステップと
を含むことを特徴とする自律走行車を操作するためのコンピュータ実施方法。
（請求項２）
前記予測軌跡を修正するステップは、
第１組の予測軌跡を除去するとともに第２組の予測軌跡を短縮するステップを含むことを特徴とする請求項１に記載の方法。
（請求項３）
前記第２組の予測軌跡を短縮するステップは、
前記検出されたジェスチャーに基づいて前記第２組の予測軌跡の中のそれぞれにタイムスタンプを加えるステップを含むことを特徴とする請求項２に記載の方法。
（請求項４）
前記第１組の予測軌跡は、低い関連確率を有する予測軌跡であることを特徴とする請求項２に記載の方法。
（請求項５）
前記１つ又は複数の車両は非自律走行車であり、且つ前記１つ又は複数の車両からの前記１つ又は複数のジェスチャーは人間の手の動きであることを特徴とする請求項１に記載の方法。
（請求項６）
検出された１つ又は複数のジェスチャーは道譲りジェスチャーである場合、送信された１つ又は複数のジェスチャーは追い越しジェスチャーであり、且つ検出された１つ又は複数のジェスチャーは追い越しジェスチャー又は認識できないジェスチャーである場合、送信された１つ又は複数のジェスチャーは道譲りジェスチャーであることを特徴とする請求項１に記載の方法。
（請求項７）
前記ジェスチャー検出プロトコル及び前記ジェスチャー送信プロトコルは予め定義された１組の値を含み、前記値の中のそれぞれは特定なジェスチャーに対応することを特徴とする請求項１に記載の方法。
（請求項８）
前記１つ又は複数の車両は自律走行車であり、且つ前記ジェスチャー検出モジュールは前記１つ又は複数のジェスチャーを指示する１つ又は複数の信号を無線受信することによって前記１つ又は複数のジェスチャーを検出することを特徴とする請求項１に記載の方法。
（請求項９）
命令が記憶された非一時的な機械可読媒体であって、
前記命令が、プロセッサにより実行される場合、前記プロセッサに自律走行車を操作するための操作を実行させ、前記操作は、
自律走行車の１つ又は複数のセンサから受信されたセンサデータに基づいて１つ又は複数の予測軌跡を生成し、前記予測軌跡の中のそれぞれがいずれも確率に関連することと、
ジェスチャー検出プロトコルに基づいて１つ又は複数の車両からの１つ又は複数のジェスチャーを検出することと、
検出されたジェスチャーに基づいて、ジェスチャー送信プロトコルにより前記自律走行車から前記１つ又は複数の車両と通信するための１つ又は複数のジェスチャーを送信することと、
検出されたジェスチャー、送信されたジェスチャー及び前記予測軌跡の関連する確率に基づいて前記予測軌跡を修正することと、
修正された予測軌跡に基づいて前記自律走行車を制御することと
を含むことを特徴とする非一時的機械可読媒体。
（請求項１０）
前記予測軌跡を修正することは、
第１組の予測軌跡を除去するとともに第２組の予測軌跡を短縮することを含むことを特徴とする請求項９に記載の機械可読媒体。
（請求項１１）
前記第２組の予測軌跡を短縮することは、
前記検出されたジェスチャーに基づいて前記第２組の予測軌跡の中のそれぞれにタイムスタンプを加えることを含むことを特徴とする請求項１０に記載の機械可読媒体。
（請求項１２）
前記第１組の予測軌跡は低い関連確率を有する予測軌跡であることを特徴とする請求項１０に記載の機械可読媒体。
（請求項１３）
前記１つ又は複数の車両は非自律走行車であり、且つ前記１つ又は複数の車両からの１つ又は複数のジェスチャーは人間の手の動きであることを特徴とする請求項９に記載の機械可読媒体。
（請求項１４）
検出された１つ又は複数のジェスチャーは道譲りジェスチャーである場合、送信された１つ又は複数のジェスチャーは追い越しジェスチャーであり、且つ検出された１つ又は複数のジェスチャーは追い越しジェスチャー又は認識できないジェスチャーである場合、送信された１つ又は複数のジェスチャーは道譲りジェスチャーであることを特徴とする請求項９に記載の機械可読媒体。
（請求項１５）
前記ジェスチャー検出プロトコル及び前記ジェスチャー送信プロトコルは予め定義された１組の値を含み、前記値の中のそれぞれは特定なジェスチャーに対応することを特徴とする請求項９に記載の機械可読媒体。
（請求項１６）
前記１つ又は複数の車両はその他の自律走行車であり、且つ前記ジェスチャー検出モジュールは前記その他の自律走行車から前記１つ又は複数のジェスチャーを指示する１つ又は複数の信号を無線受信することによって前記１つ又は複数のジェスチャーを検出することを特徴とする請求項９に記載の機械可読媒体。
（請求項１７）
プロセッサと、
前記プロセッサに連結されて命令を記憶するメモリと
を備えており、
前記命令が、前記プロセッサにより実行される場合、前記プロセッサに自律走行車を操作するための操作を実行させ、前記操作は、
自律走行車の１つ又は複数のセンサから受信されたセンサデータに基づいて１つ又は複数の予測軌跡を生成し、前記予測軌跡の中のそれぞれがいずれも確率に関連することと、
ジェスチャー検出プロトコルに基づいて１つ又は複数の車両からの１つ又は複数のジェスチャーを検出することと、
検出されたジェスチャーに基づいて、ジェスチャー送信プロトコルにより前記自律走行車から前記１つ又は複数の車両と通信するための１つ又は複数のジェスチャーを送信することと、
検出されたジェスチャー、送信されたジェスチャー及び前記予測軌跡の関連する確率に基づいて前記予測軌跡を修正することと、
修正された予測軌跡に基づいて前記自律走行車を制御することと
を含むことを特徴とするデータ処理システム。
（請求項１８）
前記予測軌跡を修正することは、
第１組の予測軌跡を除去するとともに第２組の予測軌跡を短縮することを含むことを特徴とする請求項１７に記載のシステム。
（請求項１９）
前記第２組の予測軌跡を短縮することは、
前記検出されたジェスチャーに基づいて前記第２組の予測軌跡の中のそれぞれにタイムスタンプを加えることを含むことを特徴とする請求項１８に記載のシステム。
（請求項２０）
前記第１組の予測軌跡は、低い関連確率を有する予測軌跡であることを特徴とする請求項１８に記載のシステム。
（請求項２１）
前記１つ又は複数の車両は非自律走行車であり、且つ前記１つ又は複数の車両からの前記１つ又は複数のジェスチャーは人間の手の動きであることを特徴とする請求項１７に記載のシステム。
（請求項２２）
検出された１つ又は複数のジェスチャーは道譲りジェスチャーである場合、送信された１つ又は複数のジェスチャーは追い越しジェスチャーであり、且つ検出された１つ又は複数のジェスチャーは追い越しジェスチャー又は認識できないジェスチャーである場合、送信された１つ又は複数のジェスチャーは道譲りジェスチャーであることを特徴とする請求項１７に記載のシステム。
（請求項２３）
前記ジェスチャー検出プロトコル及び前記ジェスチャー送信プロトコルは予め定義された１組の値を含み、前記値の中のそれぞれは特定なジェスチャーに対応することを特徴とする請求項１７に記載のシステム。
（請求項２４）
前記１つ又は複数の車両はその他の自律走行車であり、且つ前記ジェスチャー検出モジュールは前記その他の自律走行車から前記１つ又は複数のジェスチャーを指示する１つ又は複数の信号を無線受信することによって前記１つ又は複数のジェスチャーを検出することを特徴とする請求項１７に記載のシステム。

Claims (24)

1. 自律走行車の１つ又は複数のセンサから受信されたセンサデータに基づいて、他の対象が走行可能な軌跡を予測した１つ又は複数の予測軌跡を生成し、前記予測軌跡の中のそれぞれがいずれも確率に関連するステップであって、前記確率は、１つ又は複数の対象が前記予測軌跡において走行する確率である、ステップと、
   ジェスチャー検出プロトコルに基づいて１つ又は複数の対象からの１つ又は複数のジェスチャーを検出するステップと、
   検出されたジェスチャーに基づいて、ジェスチャー送信プロトコルにより前記自律走行車から前記１つ又は複数の対象と通信するための１つ又は複数のジェスチャーを送信するステップと、
   検出されたジェスチャー、送信されたジェスチャー及び前記予測軌跡の関連する確率に基づいて前記予測軌跡を修正するステップと、
   修正された予測軌跡に基づいて前記自律走行車を制御するステップと
   を含むことを特徴とする自律走行車を操作するためのコンピュータ実施方法。
2. 前記予測軌跡を修正するステップは、
   第１組の予測軌跡を除去するとともに第２組の予測軌跡を短縮するステップを含むことを特徴とする請求項１に記載の方法。
3. 前記第２組の予測軌跡を短縮するステップは、
   前記検出されたジェスチャーに基づいて前記第２組の予測軌跡の中のそれぞれにタイムスタンプを加えるステップを含むことを特徴とする請求項２に記載の方法。
4. 前記第１組の予測軌跡は、閾値より低い関連する確率を有する予測軌跡であることを特徴とする請求項２に記載の方法。
5. 前記１つ又は複数の対象は非自律走行車であり、且つ前記１つ又は複数の対象からの前記１つ又は複数のジェスチャーは人間の手の動きであることを特徴とする請求項１に記載の方法。
6. 検出された１つ又は複数のジェスチャーは道譲りジェスチャーである場合、送信された１つ又は複数のジェスチャーは追い越しジェスチャーであり、且つ検出された１つ又は複数のジェスチャーは追い越しジェスチャー又は認識できないジェスチャーである場合、送信された１つ又は複数のジェスチャーは道譲りジェスチャーであることを特徴とする請求項１に記載の方法。
7. 前記ジェスチャー検出プロトコル及び前記ジェスチャー送信プロトコルは予め定義された１組の値を含み、前記値の中のそれぞれは特定なジェスチャーに対応することを特徴とする請求項１に記載の方法。
8. 前記１つ又は複数の対象は自律走行車であり、且つ前記ジェスチャー検出モジュールは前記１つ又は複数のジェスチャーを指示する１つ又は複数の信号を無線受信することによって前記１つ又は複数のジェスチャーを検出することを特徴とする請求項１に記載の方法。
9. 命令が記憶された非一時的な機械可読媒体であって、
   前記命令が、プロセッサにより実行される場合、前記プロセッサに自律走行車を操作するための操作を実行させ、前記操作は、
   自律走行車の１つ又は複数のセンサから受信されたセンサデータに基づいて、他の対象が走行可能な軌跡を予測した１つ又は複数の予測軌跡を生成し、前記予測軌跡の中のそれぞれがいずれも確率に関連することであって、前記確率は、１つ又は複数の対象が前記予測軌跡において走行する確率である、関連することと、
   ジェスチャー検出プロトコルに基づいて１つ又は複数の対象からの１つ又は複数のジェスチャーを検出することと、
   検出されたジェスチャーに基づいて、ジェスチャー送信プロトコルにより前記自律走行車から前記１つ又は複数の対象と通信するための１つ又は複数のジェスチャーを送信することと、
   検出されたジェスチャー、送信されたジェスチャー及び前記予測軌跡の関連する確率に基づいて前記予測軌跡を修正することと、
   修正された予測軌跡に基づいて前記自律走行車を制御することと
   を含むことを特徴とする非一時的機械可読媒体。
10. 前記予測軌跡を修正することは、
    第１組の予測軌跡を除去するとともに第２組の予測軌跡を短縮することを含むことを特徴とする請求項９に記載の機械可読媒体。
11. 前記第２組の予測軌跡を短縮することは、
    前記検出されたジェスチャーに基づいて前記第２組の予測軌跡の中のそれぞれにタイムスタンプを加えることを含むことを特徴とする請求項１０に記載の機械可読媒体。
12. 前記第１組の予測軌跡は、閾値より低い関連する確率を有する予測軌跡であることを特徴とする請求項１０に記載の機械可読媒体。
13. 前記１つ又は複数の対象は非自律走行車であり、且つ前記１つ又は複数の対象からの１つ又は複数のジェスチャーは人間の手の動きであることを特徴とする請求項９に記載の機械可読媒体。
14. 検出された１つ又は複数のジェスチャーは道譲りジェスチャーである場合、送信された１つ又は複数のジェスチャーは追い越しジェスチャーであり、且つ検出された１つ又は複数のジェスチャーは追い越しジェスチャー又は認識できないジェスチャーである場合、送信された１つ又は複数のジェスチャーは道譲りジェスチャーであることを特徴とする請求項９に記載の機械可読媒体。
15. 前記ジェスチャー検出プロトコル及び前記ジェスチャー送信プロトコルは予め定義された１組の値を含み、前記値の中のそれぞれは特定なジェスチャーに対応することを特徴とする請求項９に記載の機械可読媒体。
16. 前記１つ又は複数の対象はその他の自律走行車であり、且つ前記ジェスチャー検出モジュールは前記その他の自律走行車から前記１つ又は複数のジェスチャーを指示する１つ又は複数の信号を無線受信することによって前記１つ又は複数のジェスチャーを検出することを特徴とする請求項９に記載の機械可読媒体。
17. プロセッサと、
    前記プロセッサに連結されて命令を記憶するメモリと
    を備えており、
    前記命令が、前記プロセッサにより実行される場合、前記プロセッサに自律走行車を操作するための操作を実行させ、前記操作は、
    自律走行車の１つ又は複数のセンサから受信されたセンサデータに基づいて、他の対象が走行可能な軌跡を予測した１つ又は複数の予測軌跡を生成し、前記予測軌跡の中のそれぞれがいずれも確率に関連することであって、前記確率は、１つ又は複数の対象が前記予測軌跡において走行する確率である、関連することと、
    ジェスチャー検出プロトコルに基づいて１つ又は複数の対象からの１つ又は複数のジェスチャーを検出することと、
    検出されたジェスチャーに基づいて、ジェスチャー送信プロトコルにより前記自律走行車から前記１つ又は複数の対象と通信するための１つ又は複数のジェスチャーを送信することと、
    検出されたジェスチャー、送信されたジェスチャー及び前記予測軌跡の関連する確率に基づいて前記予測軌跡を修正することと、
    修正された予測軌跡に基づいて前記自律走行車を制御することと
    を含むことを特徴とするデータ処理システム。
18. 前記予測軌跡を修正することは、
    第１組の予測軌跡を除去するとともに第２組の予測軌跡を短縮することを含むことを特徴とする請求項１７に記載のシステム。
19. 前記第２組の予測軌跡を短縮することは、
    前記検出されたジェスチャーに基づいて前記第２組の予測軌跡の中のそれぞれにタイムスタンプを加えることを含むことを特徴とする請求項１８に記載のシステム。
20. 前記第１組の予測軌跡は、閾値より低い関連する確率を有する予測軌跡であることを特徴とする請求項１８に記載のシステム。
21. 前記１つ又は複数の対象は非自律走行車であり、且つ前記１つ又は複数の対象からの前記１つ又は複数のジェスチャーは人間の手の動きであることを特徴とする請求項１７に記載のシステム。
22. 検出された１つ又は複数のジェスチャーは道譲りジェスチャーである場合、送信された１つ又は複数のジェスチャーは追い越しジェスチャーであり、且つ検出された１つ又は複数のジェスチャーは追い越しジェスチャー又は認識できないジェスチャーである場合、送信された１つ又は複数のジェスチャーは道譲りジェスチャーであることを特徴とする請求項１７に記載のシステム。
23. 前記ジェスチャー検出プロトコル及び前記ジェスチャー送信プロトコルは予め定義された１組の値を含み、前記値の中のそれぞれは特定なジェスチャーに対応することを特徴とする請求項１７に記載のシステム。
24. 前記１つ又は複数の対象はその他の自律走行車であり、且つ前記ジェスチャー検出モジュールは前記その他の自律走行車から前記１つ又は複数のジェスチャーを指示する１つ又は複数の信号を無線受信することによって前記１つ又は複数のジェスチャーを検出することを特徴とする請求項１７に記載のシステム。

Images