JP7143853B2 - 車両内に仮想環境を生成する表示制御システムおよび方法 - Google Patents

Description

本開示の様々な実施形態は、車両用の表示制御システムおよび方法に関する。より具体的には、本開示の様々な実施形態は、自律型または半自律型車両において仮想環境を生成するための表示制御システムおよび方法に関する。

現在、自律型車両技術およびそれに関連する自動車用電子機器は、自動車業界で最も急成長している分野の１つである。自律走行車などの車両に使用するための自動車用電子機器の開発に関して様々な実験が行われている。現在、自律走行機能を備えた車両は、主にエラーのない走行と先進運転者支援システム（ＡＤＡＳ）について評価される。しかしながら、自律運転能力を有するこのような車両の運転中の通勤者の車両内での体験の向上に関連する技術およびシステムの開発は、未だ初期段階にある。あるシナリオでは、車両内の通勤者は、車両内からの外部または内部環境を好まないことがある。したがって、運転中に車両内の通勤者に選択の仮想環境を提供するために、高度でインテリジェントで自己適応的な表示システムが望ましい場合がある。

本出願の残りの部分に記載され且つ図面を参照しながら記載されたシステムを本開示のいくつかの態様と比較することによって、従来および伝統的な手法のさらなる制限および不利点が当業者には明らかになるであろう。

特許請求の範囲にさらに完全に記載されているように、少なくとも図面の１つに関連して示されるおよび／または記載されるような実質的に車両内に仮想環境を生成する表示制御システムおよび方法である。

本開示のこれらのおよび他の特徴および利点は、全体を通して同様の参照符号が同様の部分を指す添付の図面とともに、本開示の以下の詳細な説明を精査することから理解されよう。

図１は、本開示の実施形態にかかる車両のネットワーク環境を示すブロック図である。 図２は、本開示の実施形態にかかる、車両の様々な例示的な構成要素またはシステムを示すブロック図である。 図３Ａは、本開示の実施形態にかかる、車両内に仮想環境を生成する開示された表示制御システムおよび方法の様々な動作を示している。 図３Ｂは、本開示の実施形態にかかる、車両内に仮想環境を生成する開示された表示制御システムおよび方法の様々な動作を示している。 図３Ｃは、本開示の実施形態にかかる、車両内に仮想環境を生成する開示された表示制御システムおよび方法の様々な動作を示している。 図３Ｄは、本開示の実施形態にかかる、車両内に仮想環境を生成する開示された表示制御システムおよび方法の様々な動作を示している。 図３Ｅは、本開示の実施形態にかかる、車両内に仮想環境を生成する開示された表示制御システムおよび方法の様々な動作を示している。 図３Ｆは、本開示の実施形態にかかる、車両内に仮想環境を生成する開示された表示制御システムおよび方法の様々な動作を示している。 図４Ａは、本開示の実施形態にかかる、車両内に仮想環境を生成する様々なモードにおける開示された表示制御システムおよび方法の実装の例示的なシナリオを示している。 図４Ｂは、本開示の実施形態にかかる、車両内に仮想環境を生成する様々なモードにおける開示された表示制御システムおよび方法の実装の例示的なシナリオを示している。 図４Ｃは、本開示の実施形態にかかる、車両内に仮想環境を生成する様々なモードにおける開示された表示制御システムおよび方法の実装の例示的なシナリオを示している。 図４Ｄは、本開示の実施形態にかかる、車両内に仮想環境を生成する様々なモードにおける開示された表示制御システムおよび方法の実装の例示的なシナリオを示している。 図５Ａは、本開示の実施形態にかかる、車両の例示的な表示制御方法を示すフローチャートをまとめて示している。 図５Ｂは、本開示の実施形態にかかる、車両の例示的な表示制御方法を示すフローチャートをまとめて示している。 図５Ｃは、本開示の実施形態にかかる、車両の例示的な表示制御方法を示すフローチャートをまとめて示している。

以下に説明する実施態様は、車両内に仮想環境を生成する開示された表示制御システムおよび方法において見出すことができる。本開示の例示的な態様は、車両の電子制御ユニット（ＥＣＵ）による入力の受信を含むことができる方法を備えることができる。車両は、自律型車両または半自律型車両とすることができる。入力は、車両内の１つまたは複数の表示媒体に表示される映像の選択に対応することができる。関連性ファクタは、車両の現在の移動ルートおよび選択された映像に関連する移動ルートとの間で判定されることができる。関連性ファクタは、車両が現在の移動ルートに沿って移動している場合に判定されてもよい。ＥＣＵは、判定された関連性ファクタに基づいて、選択された映像の１つまたは複数の映像パラメータを調整するように構成されることができる。ＥＣＵは、選択された映像の調整された１つまたは複数の映像パラメータに応じて、移動中の車両内の１つまたは複数の表示媒体上の少なくとも選択された映像の表示を制御するようにさらに構成されることができる。

実施形態によれば、関連性ファクタは、現在の移動ルートと選択された映像に関連する移動ルートとの間の曲率パラメータに基づいて判定されてもよい。関連性ファクタは、車両の現在の移動ルートの一部の第１の曲率度と、選択された映像に関連する移動ルートの対応する部分の第２の曲率度との間の比を指すことができる。

実施形態によれば、ＥＣＵは、車両によってとられるべき少なくとも現在の移動ルートを含む入力情報を受信するように構成されてもよい。ＥＣＵは、ＥＣＵに通信可能に結合されたメモリおよび／または外部通信装置から、第１の映像セットを検索するように構成されてもよい。第１の映像セットは、メモリおよび／または外部通信装置に記憶されている複数のタグ付き映像のタグ付き情報に対する入力情報の類似性検索に基づいて検索することができる。ＥＣＵは、第１の映像セットを検索するために、入力情報に含まれる現在の移動ルートのルート形状を複数のタグ付き映像に関連付けられた複数のルート形状と比較するように構成されることができる。

実施形態によれば、検索された第１の映像セットは、１つまたは複数の基準に基づいてフィルタリングされることができる。１つまたは複数の基準は、車両の車載ネットワークから抽出されたセンサデータおよび／または車両内の１人または複数の乗員の乗員情報に対応することができる。センサデータは、現在の移動ルートに沿った車両の移動中に車両に設けられた複数のセンサによって検出された交通状況および気象状況に対応することができる。ＥＣＵは、検索された第１の映像セットのフィルタリングのための１つまたは複数の基準に優先順位を割り当てるように構成されることができる。

実施形態によれば、洗練された映像セットは、車両内に設けられた１つまたは複数の表示媒体のうちの１つの表示媒体上にレンダリングされたインターフェース上に表示されることができる。洗練された映像セットの表示は、第１の映像セットのフィルタリングに基づいて行われてもよい。映像の選択に対応する入力は、インターフェース上に表示された洗練された映像セットのうちの１つの選択を指すことができる。

実施形態によれば、選択された映像の１つまたは複数の映像パラメータの調整は、車両の現在の速度に基づいて実行されることができる。選択された映像の１つまたは複数の映像パラメータの調整は、移動中の車両内の１つまたは複数の表示媒体上に選択された映像を表示する間の選択された映像のフレームレートの動的調整に対応することができる。フレームレートの動的調整は、判定された関連性ファクタに基づいて実行されてもよい。あるいは、選択された映像の１つまたは複数の映像パラメータの調整は、選択された映像の１つまたは複数の映像セグメントの輝度値またはオーディオの動的調整にさらに対応する。輝度値またはオーディオの動的調整は、移動中の車両内の１つまたは複数の表示媒体上に選択された映像を表示している間に実行されることができる。

実施形態によれば、車両内の１つまたは複数の表示媒体は、車両の外部環境の自然なビューが車両内から１人または複数の乗員にとって選択的に制限されるように配置されてもよい。自然なビューは、車両内からユーザに見える外部環境の実際のビューを指すことができる。車両の外部環境の自然なビューは、移動中の車両内の１つまたは複数の表示媒体上に選択された映像を表示している間、選択的に制限されることができる。ＥＣＵは、選択された映像の移動ルートに関連する第２の地理的領域の仮想環境が選択された映像の表示中に車両内で作成されるように、第１の地理的領域における現在の移動ルートに沿って移動中の車両内の選択された映像の表示を制御するように構成されることができる。

実施形態によれば、拡張現実感ビューは、車両の１つまたは複数のウィンドウおよび／またはフロントガラス上に生成されることができる。１つまたは複数のウィンドウおよび／またはフロントガラスは、１つまたは複数の表示媒体に対応することができる。拡張現実感ビューは、１つまたは複数の外部オブジェクトに重ね合わせられた、選択された映像のビューを含むことができる。車両外の１つまたは複数の外部オブジェクトは、車両に設けられている１つまたは複数の映像撮像ユニットによって撮像されてもよい。

図１は、本開示の実施形態にかかる車両用の仮想環境を生成するためのネットワーク環境を示すブロック図である。図１を参照すると、例示的なネットワーク環境１００が示されている。例示的なネットワーク環境１００は、第１の地理的領域１０４内に、車両１０２などの１つまたは複数の車両を含むことができる。ネットワーク環境１００はまた、第２の地理的領域１０８内に、車両１０６などの１つまたは複数の他の車両を含むことができる。第１の通信装置１１０、第２の通信装置１１２などの１つまたは複数の外部通信装置、およびサーバ１１４などの中央通信装置、第１の無線通信チャネル１１６Ａ、第２の無線通信チャネル１１６Ｂ、および無線通信ネットワーク１１８も示されている。

車両１０２は、電子制御ユニット（ＥＣＵ）１２０、１つまたは複数の表示媒体１２２、および映像撮像ユニット１２４ａから１２４ｆなどの複数の映像撮像ユニットを含むことができる。第１の地理的領域１０４内の第１の移動ルート１２８に沿って移動している可能性がある、車両１０２に関連付けられた第１のユーザ１２６がさらに示されている。車両１０６はまた、ＥＣＵ１３０、１つまたは複数の表示媒体１３２、および映像撮像ユニット１３４ａから１３４ｆなどの複数の映像撮像ユニットを含むことができる。さらに、第２の地理的領域１０８内の第２の移動ルート１３８に沿って移動している可能性がある、車両１０６に関連付けられた第２のユーザ１３６が示されている。第１の内部カメラ１４０Ａは、車両１０２の内部に設置されて、車両１０２の乗員などの車両内ユーザの１つまたは複数の画像または映像を撮像することができる。同様に、第２の内部カメラ１４０Ｂは、車両１０６の内部に設置されて、車両１０６の乗員などの車両内ユーザの１つまたは複数の画像または映像を撮像することができる。

車両１０２は、自律型車両または半自律型車両を指すことができる。車両１０２は、第１の地理的領域１０４内の第１の移動ルート１２８に沿って移動することができる。車両１０２の例は、限定されるものではないが、自動車、ハイブリッド車両、および／または１つまたは複数の別個の再生可能または再生不可能な動力源を使用する自律駆動能力を有する車両を含むことができる。再生可能または再生不可能な動力源を使用する車両は、化石燃料ベースの車両、電気推進ベースの車両、水素燃料ベースの車両、太陽電池式車両、および／または代替エネルギー源の他の形態の動力によって駆動される車両を含むことができる。例えば、米国の国家高速道路交通***（ＮＨＴＳＡ）は、以下のように駆動システムの分類を提案している。本開示のシステムおよび方法は、自律制動、自律走行制御、自律運転などの自律機能を有する車両に適用することができる。以下の例では、本開示のシステムおよび方法は、レベル１からレベル４の車両にも適用することができる。ＮＨＴＳＡによれば、車両の「レベル０」カテゴリでは、運転者は、常に車両を完全に制御する。「レベル１」カテゴリでは、電子安定性制御または自動制動など、個々の車両制御が自動化されることができる。「レベル２」カテゴリでは、車線維持制御と合わせた適応型巡航制御など、少なくとも２つの制御が一緒にまたは同時に自動化されることができる。「レベル３」カテゴリでは、自律制御のレベルが上がり、車両は、特定の状況下で安全上重要な機能を実行することができる。車両は、運転者が制御を取り戻すことを状況が要求するときを検知することができ、運転者がそれを行うために「十分に快適な移行時間」を提供する。「レベル４」カテゴリでは、車両は、運転者が常に車両を制御することが期待されていない場合、全ての安全上重要な機能を実行することができる。このカテゴリの車両は、全ての駐車機能を含む全ての機能を出発から停止まで制御することができるため、それは、無人車両（自動運転車両または自律型車両とも呼ばれる）とすることができる。

第１の地理的領域１０４は、車両１０２によってとられる第１の移動ルート１２８などの現在の移動ルートを含む、都市、州、県、国、または他の地域指定内の地理的領域を指すことができる。例えば、第１のユーザ１２６は、車両１０２の出発位置１２８Ａなどの現在の位置から目的地位置１２８Ｂへの自律走行を開始したい場合がある。自律走行を開始するためには、車両１０２のナビゲーションユニット（図示せず）を用いて目的地位置１２８Ｂに少なくとも供給することが必要とされることができる。ナビゲーションユニットは、自律走行中に車両１０２によってとられるべき出発位置１２８Ａから目的地位置１２８Ｂまでのルートを計算することができる。乗車の開始時に計算されたこのルートは、車両１０２の第１の移動ルート１２８などの現在の移動ルートと見なすことができる。したがって、第１の移動ルート１２８などの、車両１０２が現在の移動ルートに沿って移動するときに車両１０２を囲む地理的領域は、第１の地理的領域１０４と見なすことができる。車両１０２のＥＣＵ１２０は、車両１０２の車載ネットワークを介して、ナビゲーションユニットから、車両１０２によってとられるべき第１の移動ルート１２８などの現在の移動ルートを含む入力情報を受信することができる。

車両１０６は、自律型車両、半自律型車両、または非自律型車両を指すことができる。車両１０６は、第２の地理的領域１０８内の第２の移動ルート１３８に沿って移動することができる。車両１０６の例は、限定されるものではないが、自動車、ハイブリッド車両、および／または１つまたは複数の別個の再生可能または再生不可能な動力源を使用する自律駆動能力を有するまたは有さない車両を含むことができる。再生可能または再生不可能な動力源の例は、化石燃料、電気推進、水素燃料、太陽光、および／または他の形態の代替エネルギーを含むことができる。

第２の地理的領域１０８は、第１の地理的領域１０４とは異なる地理的領域を指すことができる。第２の地理的領域１０８は、車両１０６などの異なる車両によって、または車両１０２などの同一車両であるが異なる時点でとられる、第２の移動ルート１３８などの移動ルートを含むことができる。第２の地理的領域１０８は、第１の地理的領域１０４と同一都市の異なる領域、または異なる都市、州、または国を指すことができる。車両１０６が第２の移動ルート１３８に沿って移動するときに車両１０６を囲む地理的領域は、第２の地理的領域１０８と見なすことができる。

第１の通信装置１１０は、専用の短距離通信（ＤＳＲＣ）チャネルまたは他の短距離もしくは中距離無線通信チャネルなどの第１の無線通信チャネル１１６Ａを介して車両１０２と通信するように構成されることができる適切なロジック、回路、インターフェース、および／またはコードを備えることができる。第１の通信装置１１０はまた、無線通信ネットワーク１１８を介して、サーバ１１４などの中央通信装置と通信することができる。第１の通信装置１１０は、地理空間位置検出センサ、移動検出センサ、および／または速度センサなどの、定義された近位距離から車両１０２などの車両の位置、移動、または速度を検出するための１つまたは複数のセンサを備えることができる。第１の通信装置１１０は、車両１０２の無線通信システムとの間で１つまたは複数の映像を受信／送信するように構成されてもよい。第１の通信装置１１０の例は、限定されるものではないが、路側ユニット（ＲＳＵ）、携帯装置、スマートグラスなどの車両１０２のユーザによって着用されるウェアラブル装置、および／または車両１０２に取り外し可能に結合された通信装置を含むことができる。

第２の通信装置１１２は、専用の短距離通信（ＤＳＲＣ）チャネルまたは他の短距離もしくは中距離無線通信チャネルなどの第２の無線通信チャネル１１６Ｂを介して車両１０６と通信するように構成されることができる適切なロジック、回路、インターフェース、および／またはコードを備えることができる。第２の通信装置１１２はまた、無線通信ネットワーク１１８を介して、サーバ１１４などの中央通信装置と通信することができる。第２の通信装置１１２は、車両１０６の無線通信システムとの間で１つまたは複数の映像を受信／送信するように構成されてもよい。第２の通信装置１１２の例は、第１の通信装置１１０の例と同様とすることができる。

サーバ１１４は、車両１０２および１０６などの１つまたは複数の車両との通信チャネルを確立するように構成されることができる適切なロジック、回路、インターフェース、および／またはコードを備えることができる。サーバ１１４は、追加情報によってタグ付けされた複数のタグ付き映像を記憶するように構成されることができる。サーバ１１４はまた、追加情報によってタグ付けされていない可能性がある複数の映像を記憶することができる。複数のタグ付き映像は、車両１０２および１０６などの様々な車両、あるいは第１の通信装置１１０および／または第２の通信装置１１２などの通信装置から受信することができる。サーバ１１４は、クラウドサーバ、ウェブサーバ、データベースサーバ、ファイルサーバ、アプリケーションサーバ、またはそれらの組み合わせとすることができる。サーバ１１４は、当業者にとって周知のいくつかの技術を使用して実装されることができる。

第１の無線通信チャネル１１６Ａは、それを介して車両１０２が１つまたは複数の他の車両および／または第１の通信装置１１０と通信することができる短距離または中距離通信媒体を含むことができる。第１の無線通信チャネル１１６Ａの例は、限定されるものではないが、専用短距離通信（ＤＳＲＣ）ネットワーク、モバイルアドホックネットワーク（ＭＡＮＥＴ）、車両アドホックネットワーク（ＶＡＮＥＴ）、インテリジェント車両アドホックネットワーク（ＩｎＶＡＮＥＴ）、インターネットベースのモバイルアドホックネットワーク（ＩＭＡＮＥＴ）、無線センサネットワーク（ＷＳＮ）、無線メッシュネットワーク（ＷＭＮ）、インターネット、ロングタームエボリューション（ＬＴＥ）ネットワークなどのセルラーネットワーク、無線フィデリティ（Ｗｉ－Ｆｉ）ネットワーク、および／または無線ローカルエリアネットワーク（ＷＬＡＮ）を含むことができる。ネットワーク環境１００内の様々な装置は、様々な無線通信プロトコルにしたがって、第１の無線通信チャネル１１６Ａを介して互いに接続するように構成されることができる。そのような無線通信プロトコルの例は、限定されるものではないが、ＩＥＥＥ８０２．１１、８０２．１１ｐ、８０２．１５、８０２．１６、１６０９、マイクロ波アクセスに関する世界規模相互運用性（Ｗｉ－ＭＡＸ）、車両環境における無線アクセス（ＷＡＶＥ）、セルラー通信プロトコル、伝送制御プロトコルおよびインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ロングタームエボリューション（ＬＴＥ）、ライトフィデリティ（Ｌｉ－Ｆｉ）、ＩＥＥＥ－８０２．１１ｘ、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、赤外線（ＩＲ）、ブルートゥース（ＢＴ）通信プロトコル、および／またはそれらの変形を含むことができる。

第２の無線通信チャネル１１６Ｂは、それを介して車両１０６が１つまたは複数の他の車両および／または第２の通信装置１１２と通信することができる短距離または中距離通信媒体を含むことができる。第２の無線通信チャネル１１６Ｂの例は、第１の無線通信チャネル１１６Ａの例と同様とすることができる。

無線通信ネットワーク１１８は、車両１０２および１０６などの１つまたは複数の車両と第１の通信装置１１０および第２の通信装置１１２などの外部通信装置とがサーバ１１４と通信することができる長距離通信媒体を含むことができる。無線通信ネットワーク１１８の例は、限定されるものではないが、インターネット、インターネットベースのモバイルアドホックネットワーク（ＩＭＡＮＥＴ）、ロングタームエボリューション（ＬＴＥ）ネットワークなどのセルラーネットワーク、クラウドネットワーク、および／または広域ネットワーク（ＷＡＮ）を含むことができる。ネットワーク環境１００内の様々な装置は、様々な無線通信プロトコルにしたがって、無線通信ネットワーク１１８に接続するように構成されることができる。そのような無線通信プロトコルの例は、限定されるものではないが、ＩＥＥＥ８０２．１１、８０２．１１ｐ、８０２．１５、８０２．１６、１６０９、マイクロ波アクセスに関する世界規模相互運用性（Ｗｉ－ＭＡＸ）、車両環境における無線アクセス（ＷＡＶＥ）、セルラー通信プロトコル、伝送制御プロトコルおよびインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ロングタームエボリューション（ＬＴＥ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、および／または他の無線通信プロトコルを含むことができる。

ＥＣＵ１２０は、車両１０２によってとられるべき、第１の移動ルート１２８などの現在の移動ルートを少なくとも含む入力情報を検索するように構成されることができる適切なロジック、回路、インターフェース、および／またはコードを備えることができる。ＥＣＵ１２０は、車両１０２の検知システムの複数の車両センサからのセンサデータにアクセスするように構成されることができる。センサデータは、車載エリアネットワーク（ＶＡＮ）などの車載ネットワークおよび／またはコントローラエリアネットワーク（ＣＡＮ）バスなどの車載データバスを介して、ＥＣＵ１２０によってアクセスされることができる。実施形態によれば、ＥＣＵ１２０は、第１の無線通信チャネル１１６Ａを介して第１の通信装置１１０、および／または無線通信ネットワーク１１８を介してサーバ１１４などのクラウドサーバなどの様々な外部通信装置と通信するように構成されることができる。

１つまたは複数の表示媒体１２２は、ＥＣＵ１２０の制御下で映像または関連する映像のグループを表示するように構成されることができる適切なロジック、回路、インターフェース、および／またはコードを備えることができる。映像は、車両１０２に設けられた１つまたは複数の表示媒体１２２のうちの少なくとも１つにレンダリングされたインターフェース上で第１のユーザ１２６によって選択されることができる。インターフェースは、映像および様々な種類の情報を第１のユーザ１２６などの車両１０２の乗員に表示するように構成されたカスタマイズされたユーザインターフェース（ＵＩ）とすることができる。実施形態によれば、１つまたは複数の表示媒体１２２は、車両１０２のフロントガラス、リアガラス、および他のサイドウィンドウに対応することができる。自律走行の場合、フロントおよびリアガラスは、手動自動車などの非自律型車両の（運転者の視点から）手動走行に対して透明または視覚的に干渉のないことを常に要求する必要はない。したがって、車両１０２のフロントガラス、リアガラス、および左ウィンドウおよび右ウィンドウなどの他のサイドウィンドウは、１つまたは複数の映像を表示するように構成されることができる。１つまたは複数の表示媒体１２２は、車両１０２内から第１のユーザ１２６からの入力を受信するように構成されたタッチスクリーンとすることができる。あるいは、実施形態によれば、車両１０２などの自律型車両の内部は、１つまたは複数の映像および様々な種類の情報が第１のユーザ１２６などの車両１０２の乗員に表示されるように適合されることができる。そのような場合、車両１０２の側部、前部、後部、およびフード領域などの車両の内部は、１つまたは複数の表示媒体１２２と呼ばれることがある。例えば、車両１０２の側部、前部、後部、およびフード領域などの車両の内部は、投影ベースのディスプレイ、エレクトロクロミックディスプレイ、またはディスプレイもしくは投影ベースの表示媒体として機能することができる特定の材料の積層などの１つまたは複数の表示媒体１２２として機能するように修正することができる。本開示の範囲は、車両１０２のフロントガラス、リアガラス、および他のサイドウィンドウ、あるいは車両１０２の修正された内部としての１つまたは複数の表示媒体１２２に限定されるものではない。他の表示媒体、例えば、ヘッドアップディスプレイ（ＨＵＤ）、拡張現実システムを備えたヘッドアップディスプレイ（ＡＲ－ＨＵＤ）、運転者情報コンソール（ＤＩＣ）、投影ベースのディスプレイ、シースルーディスプレイ、および／またはエレクトロクロミックディスプレイは、１つまたは複数の表示媒体１２２として使用することができる。ＡＲ－ＨＵＤは、コンバイナベースのＡＲ－ＨＵＤとすることができる。１つまたは複数の表示媒体１２２は、透明または半透明の表示画面とすることができる。

映像撮像ユニット１２４ａから１２４ｆは、車両１０２が第１の移動ルート１２８に沿って移動している間に１つまたは複数の映像を撮像するように構成されることができる適切なロジック、回路、インターフェース、および／またはコードを備えることができる。画像センサを有する映像撮像ユニット１２４ａから１２４ｆの例は、限定されるものではないが、アクションカム、画像センサ、広角カメラ、閉回路テレビ（ＣＣＴＶ）カメラ、カムコーダ、暗視カメラ、飛行時間センサベースのカメラ（ＴｏＦカメラ）、および／または他のそのような車両カメラを含むことができる。

実施形態によれば、車両１０６のＥＣＵ１３０、１つまたは複数の表示媒体１３２、１つの映像撮像ユニット１３４ａから１３４ｆは、車両１０２のＥＣＵ１２０、１つまたは複数の表示媒体１２２、映像撮像ユニット１２４ａから１２４ｆのそれぞれと同様とすることができる。ＥＣＵ１３０は、無線通信ネットワーク１１８または第２の無線通信チャネル１１６Ｂを介して、ＲＳＵなどの第２の通信装置１１２、および／またはサーバ１１４などのクラウドサーバなどの様々な外部通信装置と通信するように構成されることができる。

動作中、第２のユーザ１３６などのユーザは、車両１０６のナビゲーションユニット（図示せず）を使用することによって目的地位置１３８Ｂを供給することができる。ナビゲーションユニットは、車両１０６によってとられるべき車両１０６の現在位置１３８Ａから目的地位置１３８Ｂまでの第２の移動ルート１３８などのルートを計算することができる。車両１０６は、自律走行モード、半自律モード、または手動モードとすることができる。車両１０６のＥＣＵ１３０は、映像撮像ユニット１３４ａから１３４ｆのそれぞれによる映像の撮像を開始するために、映像撮像ユニット１３４ａから１３４ｆのそれぞれに開始コマンドを通信することができる。実施形態によれば、開始コマンドは、全ての映像撮像ユニット１３４ａから１３４ｆにおいて同時に映像撮像処理を開始するためのブロードキャストコマンドとすることができる。

様々な例示的な実施形態では、映像撮像ユニット１３４ａは、車両１０６の外側のフロントビューを撮像するために、車両１０６の前面に設置されることができる。映像撮像ユニット１３４ｂおよび１３４ｃは、車両１０６の左側、例えばフロントおよびサイドウィンドウの近くに設置されることができる。同様に、映像撮像ユニット１３４ｄおよび１３４ｅは、例えば、車両１０６の右側のフロントおよびサイドウィンドウの近くに設置されることができる。車両１０６の左側および右側は、車両１０６の進行方向に沿っていると理解することができる。あるいは、映像撮像ユニット１３４ｂおよび１３４ｄは、車両１０６の外側のサイドビューを撮像するために、車両１０６の外側バックミラー（ＯＲＶＭ）に設置されてもよい。映像撮像ユニット１３４ｆは、車両１０６の外側のリアビューを撮像するために、車両１０６の後部に設置されることができる。あるいは、複数の映像カメラの代わりに、映像撮像ユニット１３４ａから１３４ｆとして、第２の移動ルート１３８に沿って車両１０６の近傍の３６０度ビューを撮像するように構成されることができる１つまたは複数の回転可能な映像撮像ユニットが提供されてもよい。

映像撮像ユニット１３４ａから１３４ｆは、以下で第１のグループの関連映像と呼ぶ、記録された各映像の撮像の時間を記録するように構成されることができる。第１のグループの関連映像は、車両１０６が第２の地理的領域１０８内の第２の移動ルート１３８に沿って動いている場合に撮像されてもよい。第１のグループの関連映像のそれぞれは、車両１０６が第２の地理的領域１０８内の第２の移動ルート１３８に沿って移動している間の、車両１０６の周囲の外部環境の異なる視野（ＦＯＶ）に対応することができる。ＥＣＵ１３０は、第１のグループの関連映像の撮像時に、撮像された第１のグループの関連映像を追加情報によって動的にタグ付けするように構成されてもよい。追加情報は、第２の移動ルート１３８の形状などのルート形状、山岳ルート、高速道路、海岸ルート、都市道路などのルート種類を含むことができる。追加情報はまた、第２の移動ルート１３８に沿った旅行の合計移動時間、および第１の映像セットの撮像時の車両１０６の平均速度を含むことができる。ＥＣＵ１３０は、第１のグループの関連映像の撮像を中止または停止するために停止コマンドを通信するように構成されてもよい。車両１０６がその設定目的地に到達した場合に停止コマンドが自動的に伝達されることができる。

追加情報によってタグ付けされた撮像された第１のグループの関連映像は、ＥＣＵ１３０のメモリ内のローカルデータベースなどの、車両１０６のローカル記憶装置に記憶されてもよい。実施形態によれば、追加情報によってタグ付けされた第１のグループの関連映像は、無線通信ネットワーク１１８を介してサーバ１１４に通信されることができる。あるいは、実施形態によれば、撮像された第１のグループの関連映像は、第２の無線通信チャネル１１６Ｂを介して、ＲＳＵなどの第２の通信装置１１２に通信されてもよい。そのような場合、第２の通信装置１１２は、さらに、無線通信ネットワーク１１８を介して、撮像された第１のグループの関連映像をサーバ１１４などの中央通信装置に通信することができる。車両１０６と同様に、車両１０２のＥＣＵ１２０はまた、映像撮像ユニット１２４ａから１２４ｆのそれぞれに映像の撮像を開始および停止させるために、車両１０２による運転中に開始および停止コマンドを各映像撮像ユニット１２４ａから１２４ｆに伝達することができる。映像撮像ユニット１２４ａから１２４ｆの設置は、映像撮像ユニット１３４ａから１３４ｆのものと同様とすることができる。

映像撮像ユニット１２４ａから１２４ｆは、以下で第２のグループの関連映像と呼ぶ、記録された各映像の撮像時間を記録するように構成されることができる。第２のグループの関連映像は、第１の地理的領域１０４または他の地理的領域などの特定の地理的領域内で車両１０２がその現在の移動ルートに沿って移動している場合に撮像されることができる。ＥＣＵ１２０は、第２のグループの関連映像の撮像時に、撮像された第２のグループの関連映像を追加情報によって動的にタグ付けするように構成されることができる。追加情報は、第１の移動ルート１２８の形状などのルート形状、ルート種類、移動時間、および第２のグループの関連映像の撮像時における車両１０２の平均速度を含むことができる。実施形態によれば、追加情報は、停止コマンドが映像撮像ユニット１２４ａから１２４ｆに伝達される場合に、第２のグループの関連映像の撮像後にタグ付けされてもよい。同様に、設定された移動ルートに沿った各乗車について、異なるグループの関連映像が記録され、とられたルートに関する追加情報によって動的にタグ付けされてもよい。追加情報によってタグ付けされた第２のグループの関連映像は、ＥＣＵ１２０のメモリ内のローカルデータベースなどの、車両１０２のローカル記憶装置に記憶されてもよい。実施形態によれば、追加情報によってタグ付けされた第２のグループの関連映像は、無線通信ネットワーク１１８を介してサーバ１１４に通信されることができる。あるいは、実施形態によれば、第２のグループの関連映像は、第１の無線通信チャネル１１６Ａを介して、ＲＳＵなどの第１の通信装置１１０に通信されてもよい。

サーバ１１４は、車両１０２および１０６などの複数の車両から追加情報によってタグ付けされた複数のタグ付き映像を受信することができる。実施形態によれば、サーバ１１４は、車両１０２および１０６などの複数の車両のそれぞれの記憶ユニット内の様々な地理的領域の新しい映像（新しいグループの関連映像）をリモートで更新するように構成されることができる。サーバ１１４は、直接的にまたは第１の通信装置１１０および／または第２の通信装置１１２などのＲＳＵと連携して更新を実行することができる。追加情報によってタグ付けされた複数のタグ付き映像は、図２、図３Ａから図３Ｆ、図４Ａから図４Ｄ、図５Ａ、および図５Ｂに記載されるように、車両１０２および１０６などの異なる車両内に仮想環境をリモートで生成するためのプラットフォームを提供することができる。

図２は、本開示の実施形態にかかる、車両の様々な例示的な構成要素またはシステムを示すブロック図である。図２は、図１の要素と併せて説明されている。図２を参照すると、車両１０２が示されている。車両１０２は、マイクロプロセッサ２０２およびメモリ２０４を含むことができるＥＣＵ１２０を備えることができる。車両１０２は、さらに、オーディオインターフェース２０６と、外側バックミラー（ＯＲＶＭ）２０８と、ＥＣＵ１２０に通信可能に結合された１つまたは複数の表示媒体１２２とを備えることができる。車両１０２は、車体制御モジュール２１０、検知システム２１２、およびパワートレイン制御システム２１４をさらに備えることができる。検知システム２１２は、複数の車両センサ２１２ａ、映像撮像ユニット１２４ａから１２４ｆ、および第１の内部カメラ１４０Ａ（図１）を含むことができる。パワートレイン制御システム２１４は、ステアリングシステム２１６およびブレーキシステム２１８を含むことができる。車両１０２は、車両電力システム２２０、バッテリ２２２、無線通信システム２２４、および車載ネットワーク２２６をさらに備えることができる。１つまたは複数の表示媒体１２２は、ユーザインターフェース（ＵＩ）２２８ａから２２８ｆなどの１つまたは複数のインターフェースと関連付けることができる。

様々な構成要素またはシステムは、車両エリアネットワーク（ＶＡＮ）などの車載ネットワーク２２６、および／または車載データバスを介して通信可能に結合されることができる。マイクロプロセッサ２０２は、オーディオインターフェース２０６、１つまたは複数の表示媒体１２２、検知システム２１２、および無線通信システム２２４に通信可能に結合されることができる。マイクロプロセッサ２０２はまた、車体制御モジュール２１０、パワートレイン制御システム２１４、ステアリングシステム２１６、およびブレーキシステム２１８と動作可能に接続されてもよい。無線通信システム２２４は、マイクロプロセッサ２０２の制御下で第１の通信装置１１０およびサーバ１１４などの１つまたは複数の外部装置と通信するように構成されることができる。当業者は、本開示の機能および動作を記載および説明するために、本明細書に示される構成要素またはシステムに加えて、車両１０２がまた他の適切な構成要素またはシステムも含むことができることを理解されよう。

マイクロプロセッサ２０２は、メモリ２０４に記憶されている命令セットを実行するように構成されることができる適切なロジック、回路、インターフェース、および／またはコードを備えることができる。マイクロプロセッサ２０２は、車両１０２の１つまたは複数の表示媒体１２２に表示される映像の選択に対応する入力を受信するように構成されることができる。実施形態によれば、マイクロプロセッサ２０２は、車両１０２が自律動作モードにあるとき、車両１０２のパワートレイン制御システム２１４、ステアリングシステム２１６、ブレーキシステム２１８、検知システム２１２、および／または車体制御モジュール２１０などの１つまたは複数の構成要素またはシステムを自動的に制御するように構成されることができる。マイクロプロセッサ２０２の例は、Ｘ８６ベースのプロセッサ、縮小命令セット計算（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セット計算（ＣＩＳＣ）プロセッサ、マイクロコントローラ、中央処理装置（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、状態マシン、および／または他のプロセッサもしくは回路とすることができる。

メモリ２０４は、マイクロプロセッサ２０２によって実行可能な少なくとも１つのコードセクションを有する機械コードおよび／または命令セットを記憶するように構成されることができる適切なロジック、回路、および／またはインターフェースを備えることができる。メモリ２０４は、追加情報および／または他のデータによってタグ付けされた複数のタグ付き映像を含むことができるローカルデータベースを記憶することができる。複数のタグ付き映像は、タグ付き追加情報に含まれる複数のルート形状と関連付けることができる。メモリ２０４の実装形態の例は、限定されるものではないが、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、フラッシュメモリ、セキュアデジタル（ＳＤ）カード、ソリッドステートドライブ（ＳＳＤ）、および／またはＣＰＵキャッシュメモリを含むことができる。

オーディオインターフェース２０６は、スピーカ、チャイム、ブザー、または音を生成するように構成されることができる他の装置に接続されることができる。オーディオインターフェース２０６はまた、車両１０２の第１のユーザ１２６などの乗員からの音声入力を受信するためにマイクロフォンまたは他の装置に接続されてもよい。オーディオインターフェース２０６はまた、マイクロプロセッサ２０２に通信可能に結合されてもよい。オーディオインターフェース２０６は、車両１０２の車載インフォテインメント（ＩＶＩ）システムまたはヘッドユニットの一部とすることができる。実施形態によれば、１つまたは複数の表示媒体１２２はまた、ＩＶＩシステムに通信可能に結合されてもよい。

車体制御モジュール２１０は、車両１０２の様々な電子部品またはシステムを制御するように構成されることができる適切なロジック、回路、インターフェース、および／またはコードを備える他の電子制御ユニットを指すことができる。車体制御モジュール２１０は、マイクロプロセッサ２０２からコマンドを受信するように構成されることができる。車体制御モジュール２１０は、車両１０２のアクセス制御のために他の適切な車両システムまたは構成要素にコマンドを中継することができる。

検知システム２１２は、複数の車両センサ２１２ａ、映像撮像ユニット１２４ａから１２４ｆ、および第１の内部カメラ１４０Ａを備えることができる。複数の車両センサ２１２ａは、交通状況検出センサおよび気象状況検出センサを含むことができる。複数の車両センサ２１２ａは、第１の移動ルート１２８などの現在の移動ルートに沿った車両１０２の移動中に現在の交通状況および外部気象状況を検出することができる。交通状況検出センサは、無線検出および測距（ＲＡＤＡＲ）装置、ならびに光検出および測距（ＬＩＤＡＲ）装置などのレーザベースの物体検出センサを含むことができる。交通状況検出センサはまた、車速センサと、車両１０２の車体の前側に設置された映像撮像ユニット１２４ａなどの１つまたは複数の映像撮像ユニット１２４ａから１２４ｆとを含むこともできる。気象状況検出センサは、温度センサ、湿度センサ、光センサ、雨検出センサ、および／または外部気象状況を検出するための他のセンサを含むことができる。検知システム２１２は、マイクロプロセッサ２０２に入力信号を供給するためにマイクロプロセッサ２０２に動作可能に接続されてもよい。例えば、検知システム２１２は、複数の車両センサ２１２ａを使用することによってセンサデータを検知または検出するために使用されることができる。複数の車両センサ２１２ａの他の例は、限定されるものではないが、ヨーレートセンサ、車速センサ、オドメトリセンサ、操舵角センサ、車両進行方向検出センサ、磁力計、イメージセンサ、タッチセンサ、赤外線センサ、ＴｏＦセンサ、深度センサ、および全地球測位システム（ＧＰＳ）を含むナビゲーションユニットを含むことができる。

パワートレイン制御システム２１４は、車両１０２のエンジンおよびトランスミッションシステムの動作を制御する車両１０２の車載コンピュータを指すことができる。パワートレイン制御システム２１４は、点火、燃料噴射、排出システム、および／または（設けられている場合には）トランスミッションシステムおよびブレーキシステム２１８の動作を制御することができる。

ステアリングシステム２１６は、マイクロプロセッサ２０２から１つまたは複数のコマンドを受信するように構成されることができる。ステアリングシステム２１６は、半自律モードで車両１０２の動きを制御するために第１のユーザ１２６によって使用されることができるステアリングホイールおよび／または電気モータ（パワーアシストステアリングのために提供される）を含むことができる。実施形態によれば、車両１０２の移動または操舵は、車両１０２が自律モードにあるときに自動的に制御されることができる。ステアリングシステム２１６の例は、限定されるものではないが、自律ステアリング制御、パワーアシストステアリングシステム、真空／油圧式ステアリングシステム、電気油圧式パワーアシストシステム（ＥＨＰＡＳ）、または当該技術分野で知られている「ステアバイワイヤ」システム、または自律ステアリングシステムを含むことができる。

ブレーキシステム２１８は、摩擦力を加えることによって車両１０２を停止または減速させるために使用されることができる。ブレーキシステム２１８は、車両１０２が自律モードまたは半自律モードにあるとき、マイクロプロセッサ２０２の制御下でパワートレイン制御システム２１４からコマンドを受信するように構成されることができる。実施形態によれば、ブレーキシステム２１８は、マイクロプロセッサ２０２が車両１０２の設定された現在の移動ルートに基づく急な曲率、障害物、または他の道路の危険を先制的に検出したときに車体制御モジュール２１０および／またはマイクロプロセッサ２０２からコマンドを受信するように構成されることができる。

車両電力システム２２０は、上述したように、様々な電気回路および車両１０２の負荷に対するバッテリ２２２の充電および電力出力を調整することができる。車両１０２がハイブリッド車両または自律型車両であるとき、車両電力システム２２０は、全ての構成要素に必要な電圧を供給し、車両１０２が十分な時間にわたってバッテリ２２２の電力を利用することを可能にすることができる。実施形態によれば、車両電力システム２２０は、パワーエレクトロニクスに対応することができ、車載ネットワーク２２６に通信可能に結合されることができる（破線によって示される）マイクロコントローラを含むことができる。そのような実施形態では、マイクロコントローラは、マイクロプロセッサ２０２の制御下でパワートレイン制御システム２１４からコマンドを受信することができる。

バッテリ２２２は、１つまたは複数の電気回路または負荷（図示せず）のための電力源とすることができる。例えば、負荷は、限定されるものではないが、ヘッドライトおよび室内キャビンライトなどの様々なライト、車両座席、ミラー、ウィンドウなどの電動調整可能構成要素、および／またはラジオ、スピーカ、電子ナビゲーションシステム、ステアリングシステム２１６などの電気制御式、電動式および／またはアシスト式ステアリングなどの他の車載インフォテインメントシステムおよび／またはアクセサリを含むことができる。バッテリ２２２は、充電式バッテリとすることができる。バッテリ２２２は、ＥＣＵ１２０（破線で示す）、複数の車両センサ２１２ａ、映像撮像ユニット１２４ａから１２４ｆ、および検知システム２１２の第１の内部カメラ１４０Ａ、および／または１つまたは複数の表示媒体１２２などの他のハードウェアユニットへの電力源とすることができる。バッテリ２２２は、車両１０２のイグニッションシステム（図示せず）に選択的に電力を供給することによって車両１０２のエンジンを始動させるための電力源とすることができる。

無線通信システム２２４は、第１の無線通信チャネル１１６Ａを介して第１の通信装置１１０などの１つまたは複数の外部装置、および無線通信ネットワーク１１８を介して、サーバ１１４などの１つまたは複数のクラウドサーバと通信するように構成されることができる適切なロジック、回路、インターフェース、および／またはコードを備えることができる。無線通信システム２２４は、限定されるものではないが、アンテナ、テレマティックスユニット、無線周波数（ＲＦ）トランシーバ、１つまたは複数の増幅器、１つまたは複数の発振器、デジタルシグナルプロセッサ、コーダ－デコーダ（ＣＯＤＥＣ）チップセット、および／または加入者識別モジュール（ＳＩＭ）カードを含むことができる。無線通信システム２２４は、（図１で説明したように）第１の無線通信チャネル１１６Ａおよび無線通信ネットワーク１１８の様々な通信プロトコルを使用して無線通信することができる。

車載ネットワーク２２６は、ＥＣＵ１２０、車体制御モジュール２１０、検知システム２１２、パワートレイン制御システム２１４、無線通信システム２２４、オーディオインターフェース２０６、および１つまたは複数の表示媒体１２２などの車両１０２の様々な制御ユニット、構成要素、および／またはシステムが互いに通信することができる媒体を含むことができる。実施形態によれば、マルチメディアコンポーネントのためのオーディオ／映像データの車載通信は、車載ネットワーク２２６のメディア指向システムトランスポート（ＭＯＳＴ）マルチメディアネットワークプロトコルまたはオーディオ／映像データ通信のための他の適切なネットワークの使用によって起こることができる。ＭＯＳＴベースのネットワークは、コントローラエリアネットワーク（ＣＡＮ）とは別のネットワークとすることができる。ＭＯＳＴベースのネットワークは、プラスチック光ファイバ（ＰＯＦ）を使用することができる。実施形態によれば、ＭＯＳＴベースのネットワーク、ＣＡＮ、および他の車載ネットワークは、車両１０２などの車両内に共存することができる。車載ネットワーク２２６は、マイクロプロセッサ２０２（およびＥＣＵ１２０）と車両１０２のテレマティックス制御ユニット（ＴＣＵ）などの他のＥＣＵとの間のアクセス制御および／または通信を容易にすることができる。車両１０２内の様々な装置または構成要素は、様々な有線および無線通信プロトコルにしたがって、車載ネットワーク２２６に接続するように構成されることができる。車載ネットワーク２２６のための有線および無線通信プロトコルの例は、限定されるものではないが、車両エリアネットワーク（ＶＡＮ）、ＣＡＮバス、ドメスティックデジタルバス（Ｄ２Ｂ）、タイムトリガプロトコル（ＴＴＰ）、ＦｌｅｘＲａｙ、ＩＥＥＥ１３９４、衝突検知を伴う搬送波検知多重アクセス（ＣＳＭＡ／ＣＤ）ベースのデータ通信プロトコル、内部集積回路間（Ｉ^２Ｃ）、機器間バス（ＩＥＢｕｓ）、自動車技術者協会（ＳＡＥ）Ｊ１７０８、ＳＡＥ Ｊ１９３９、国際標準化機構（ＩＳＯ）１１９９２、ＩＳＯ１１７８３、メディア指向システム転送（ＭＯＳＴ）、ＭＯＳＴ２５、ＭＯＳＴ５０、ＭＯＳＴ１５０、プラスチック光ファイバー（ＰＯＦ）、電力線通信（ＰＬＣ）、シリアル周辺機器インターフェース（ＳＰＩ）バス、およびまたはローカルインターコネクトネットワーク（ＬＩＮ）を含むことができる。

ＵＩ２２８ａから２２８ｆなどの１つまたは複数のＵＩは、マイクロプロセッサ２０２の制御下で、１つまたは複数の表示媒体１２２上にレンダリングされることができる。ユーザ選択のための洗練された映像セット、拡張現実感ビュー、および車両１０２において仮想環境を生成するための（図４Ａから図４Ｄに記載されるような）異なる表示モードでの他の生成されたビューの表示は、１つまたは複数のＵＩ２２８ａから２２８ｆの使用によって起こることができる。ＵＩ２２８ａから２２８ｆは、例えば、図３Ｄ、図３Ｆ、および図４Ａから図４ＤのＵＩ２２８ａから２２８ｃに示すように、１つまたは複数の表示媒体１２２にしたがって構成されることができる。

動作中、第１のユーザ１２６などの通勤者は、自律走行モードで車両１０２を運転することを望むことがある。第１のユーザ１２６は、車両１０２の検知システム２１２のナビゲーションユニットによって、自律走行モードで目的地位置１２８Ｂを供給するように促されることができる。車両１０２が自律型車両である場合には、第１のユーザ１２６は、例えば第１の地理的領域１０４内の第１の移動ルート１２８に沿った旅行を開始するために、旅行の開始時に目的地位置１２８Ｂを強制的に提供する必要がある。車両１０２が半自律型車両である場合、第１のユーザ１２６がＩＶＩシステムなどの車両１０２の入出力（Ｉ／Ｏ）ユニットを使用して現在の手動モードから自律走行モードに制御を切り替える場合には、第１のユーザ１２６は、目的地位置１２８Ｂを提供する必要がある。

検知システム２１２のナビゲーションユニットは、車両１０２によってとられるべき車両１０２の出発位置１２８Ａなどの現在位置から目的地位置１２８Ｂまでの第１の移動ルート１２８などのルートを計算することができる。車両１０２内の第１のユーザ１２６は、車両１０２内の仮想環境を体験することを望むことがある。第１のユーザ１２６は、１つまたは複数の表示媒体１２２のうちの表示媒体、例えば、車両１０２の左後部ウィンドウに触れることができる。ＥＣＵ１２０のマイクロプロセッサ２０２は、タッチ入力に基づいて、ＵＩ２２８ａなどのインターフェースを表示媒体上にレンダリングするように構成されることができる。あるいは、タッチ入力以外に、音声入力またはジェスチャ入力もまた、インターフェースをレンダリングするために提供されることができる。ＵＩ２２８ａなどのインターフェースは、ユーザプロンプトによってレンダリングされることができる。ユーザプロンプトは、車両１０２の外部の気象状況などの情報メッセージの表示に対応することができ、および／または「仮想環境が欲しいですか？」などの入力を第１のユーザ１２６に促し、「はい」または「いいえ」の確認などの確認または応答を第１のユーザ１２６から求めることができる。第１のユーザ１２６が「はい」の確認を提供した場合、マイクロプロセッサ２０２は、車両１０２の車載ネットワーク２２６から入力情報を検索するように構成されてもよい。入力情報は、車両１０２によってとられるべき現在の移動ルート（ナビゲーションユニットの使用によって設定された第１の移動ルート１２８など）を含むことができる。

図３Ａから図３Ｆは、本開示の実施形態にかかる、車両内に仮想環境を生成する開示された表示制御システムおよび方法の様々な動作を示している。図３Ａから図３Ｆは、図１および図２の要素と併せて説明される。図３Ａを参照すると、検索パラメータ３０２などの第１の基準、複数のタグ付き映像３０４、タグ付き情報３０６、第１の映像セット３０８、およびメモリ２０４が示されている。検索パラメータ３０２は、車両１０２のルート形状３０２ａ、総移動時間３０２ｂ、平均速度３０２ｃ、および第１の移動ルート１２８などの現在の移動ルートのルート種類３０２ｄを含むことができる。タグ付き情報３０６は、複数のタグ付き映像３０４のそれぞれに関連付けられたルート形状３０６ａ、総移動時間３０６ｂ、平均速度３０６ｃ、およびルート種類３０６ｄを含むことができる。タグ付き情報３０６を有する複数のタグ付き映像３０４は、車両１０２の映像撮像ユニット１２４ａから１２４ｆによって以前に記録された追加情報をタグ付けされた複数のタグ付き映像、または（図１で説明したように）サーバ１１４から受信した異なる地理的領域の複数のタグ付き映像に対応することができる。複数のタグ付き映像３０４のそれぞれは、車両１０２または車両１０６などの他の車両によって以前にとられた複数の移動ルートのルート形状３０６ａ、総移動時間３０６ｂ、平均速度３０６ｃ、および／またはルート種類３０６ｄなどの追加情報に関連付けられることができる。いくつかの実施形態では、タグ付き情報３０６は、交通状況パラメータおよび気象状況パラメータ（図示せず）を含むことができ、複数のタグ付き映像３０４のそれぞれは、交通状況パラメータおよび気象状況パラメータの追加情報に関連付けられることができる。

実施形態によれば、ＥＣＵ１２０のマイクロプロセッサ２０２は、検索された入力情報における第１の移動ルート１２８などの現在の移動ルートに基づいて、車両１０２の第１の移動ルート１２８などの現在の移動ルートにおけるルート形状３０２ａおよび湾曲の総数を判定するように構成されることができる。マイクロプロセッサ２０２は、検索された入力情報を検索パラメータ３０２などの１つまたは複数の検索パラメータとして利用して、メモリ２０４および／またはサーバ１１４に予め記憶されている複数のタグ付き映像３０４のタグ付き情報３０６に対して類似性検索を実行するように構成されることができる。

ＥＣＵ１２０のマイクロプロセッサ２０２は、少なくとも第１の移動ルート１２８などの現在の移動ルートのルート形状３０２ａを、複数のタグ付き映像３０４に関連付けられた複数のルート形状と比較するように構成されることができる。マイクロプロセッサ２０２は、ルート形状の比較に基づいて、メモリ２０４から複数のタグ付き映像３０４の中から第１の映像セット３０８を検索するように構成されることができる。ルート形状の比較は、形状特徴の抽出および１つまたは複数の輪郭／形状比較アルゴリズムの使用によってマイクロプロセッサ２０２によって実行されることができる。

マイクロプロセッサ２０２は、形状特徴抽出および分類によって（車両１０２の現在の移動ルートの形状と同様の）１つまたは複数の同様の形状の移動ルートを見つけるように構成されることができる。実施形態によれば、形状特徴は、現在の移動ルートのルート形状およびメモリ２０４内の複数のタグ付き映像３０４に関連する全ての利用可能な移動ルートのルート形状について抽出されることができる。形状特徴は、重心、最小慣性軸（ＡＬＩ）、面積、デジタル曲げエネルギー、偏心度、円形度比、楕円分散、矩形度、凸面度、ソリッド性、オイラー数、輪郭曲率、重心距離、弦長、接線角度などの異なるパラメータによって表すことができる。重心はまた、幾何学的形状の判定に使用される重心または輪郭の重心とも呼ばれることができる。同様に、ＡＬＩは、湾曲（「Ｌ」線）から湾曲の境界形状までの距離を最小にする湾曲内で「Ｌ」として形作られる１つまたは複数の仮想線を示すことができる。デジタル曲げエネルギーは、湾曲の形状を表すために弧長を使用する。偏心は、形状を表すための２つの軸（長軸および短軸など）の長さの比などのアスペクト比を指す。円形度比は、湾曲の形状が円にどれだけ類似しているかという観点から、湾曲の形状を定義する比率を表す。楕円分散は、楕円にフィットするための湾曲の形状のマッピング誤差の使用を指すことができる。矩形度は、湾曲の形状が矩形にどれだけ類似しているかという観点から、湾曲の形状を定義する。矩形度は、最小外接矩形の面積に対する湾曲の形状の面積の比とすることができる。同様に、凸面度は、元の輪郭に対する凸包の周囲長の比を指すことができる。ソリッド性は、形状が凸状または凹状である程度／度合いを指す。例えば、ムービングピクチャエキスパートグループ７（ＭＰＥＧ－７）形状記述子は、ルート形状比較のための形状特徴の抽出のために使用されることができる。当業者は、本開示の範囲が、ＭＰＥＧ－７形状記述子の使用によるルート形状の比較のための形状特徴抽出に限定されないことを理解するであろう。ルート形状比較は、本開示の範囲を限定することなく、他のアルゴリズムまたは当該技術分野で知られている他のグローバルおよびローカル形状記述子などの形状記述子を使用することによって実行されることができる。そして、抽出された特徴を使用して、複数のタグ付き映像３０４に関連付けられた複数のルート形状から類似のマッチング形状を分類して見つけ出すことができる。

実施形態によれば、マイクロプロセッサ２０２は、サーバ１１４などの外部通信装置から第１の映像セット３０８のうちの１つまたは複数の映像を検索するように構成されることができる。第１の映像セット３０８は、各映像に関連するルート形状３０６ａが、車両１０２の第１の移動ルート１２８などの現在の走行ルートのルート形状３０２ａと同一または同様であり得る映像を含むことができる。

実施形態によれば、マイクロプロセッサ２０２は、車両１０２の総移動時間３０２ｂ、平均速度３０２ｃ、および／またはルート種類３０２ｄなどの追加の検索パラメータを第１の映像セット３０８の検索に利用するように構成されることができる。追加の検索パラメータは、複数のタグ付き映像３０４の総移動時間３０６ｂ、平均速度３０６ｃ、および／またはルート種類３０６ｄなどのタグ付き情報３０６と直接比較されることができる。比較は、第１の映像セット３０８の検索のためにマイクロプロセッサ２０２によって実行されてもよい。

図３Ｂを参照すると、第１の映像セット３０８をフィルタリングするための、交通状況パラメータ３１０および気象状況パラメータ３１２などの第２の基準が示されている。示されるように、第１の映像セット３０８のフィルタリングに基づいて、第１の洗練された映像セット３１４が取得されることができる。図３Ｂは、図１、図２、および図３Ａからの要素と併せて説明される。

実施形態によれば、マイクロプロセッサ２０２は、第２の基準などの１つまたは複数の基準に基づいて検索された第１の映像セット３０８をフィルタリングして、第１の洗練された映像セット３１４を取得するように構成されることができる。交通状況パラメータ３１０および気象状況パラメータ３１２を含む第２の基準は、車両１０２の車載ネットワーク２２６から抽出されたセンサデータに対応することができる。センサデータは、第１の移動ルート１２８などの現在の移動ルートに沿った車両１０２の移動中に抽出されることができる。センサデータは、第１の移動ルート１２８に沿って移動中の車両１０２に設けられた複数の車両センサ２１２ａによって検出されるような交通状況および気象状況に関する様々な合図を指すことができる。例えば、交通状況は、車両１０２の前側に配置されたＲＡＤＡＲ、ＬＩＤＡＲ、および／または映像撮像ユニット１２４ａによって検出されるような交通渋滞レベルとすることができる。検出された交通渋滞レベルは、交通状況パラメータ３１０として利用されて、同様の交通渋滞レベルを有する第１の映像セット３０８から関連映像を見つけることができる。同様に、各映像に関連するルート形状３０６ａ、総移動時間３０６ｂ、平均速度３０６ｃ、ルート種類３０６ｄ、交通状況パラメータおよび気象状況パラメータなどのタグ付き情報３０６に基づいて、車両１０２における現在の温度および湿度などの検出された気象状況が気象状況パラメータ３１２として利用されて、同様の気象状況を有する第１の映像セット３０８における関連映像を見つけることができる。

図３Ｃを参照すると、第１の洗練された映像セット３１４をさらにフィルタリングして第２の洗練された映像セット３１８を取得するための、１つまたは複数の乗員パラメータ３１６などの第３の基準が示されている。図３Ｃは、図１、図２、図３Ａ、および図３Ｂからの要素と併せて説明される。１つまたは複数の乗員パラメータ３１６は、年齢、性別、ユーザの嗜好、乗員数、および／または乗員間の関係を含むことができる。実施形態によれば、年齢、性別、および乗員数などの１つまたは複数の乗員パラメータ３１６は、車両１０２の第１の内部カメラ１４０Ａを使用することによって推定されることができる。１つまたは複数の乗員パラメータ３１６の年齢、性別、および乗員数の推定のために、１つまたは複数の顔検出および／または人体検出および識別アルゴリズムが第１の内部カメラ１４０Ａによって撮像された画像に適用されてもよい。実施形態によれば、１つまたは複数の乗員パラメータ３１６は、ＵＩ２２８ａから２２８ｆのうちの１つを介して、第１のユーザ１２６によって事前設定されることができる。

実施形態によれば、マイクロプロセッサは、第１のユーザ１２６によって定義された優先度設定に基づいて、第１の基準、第２の基準および第３の基準などの異なる基準に優先度を割り当てるように構成されることができる。例えば、検索および関連映像検索の目的で、第１、第２、および第３の優先順位をそれぞれ第１の基準、第２の基準、および第３の基準に割り当てることができる。あるいは、第１の映像セット３０８を検索するためのルート形状３０２ａなどの第１の基準のうちの少なくとも１つが、デフォルトで第１の優先順位として設定されることができる。車両１０２の総移動時間３０２ｂ、平均速度３０２ｃ、および／またはルート種類３０２ｄなどの第１の基準の追加の検索パラメータには、第１の映像セット３０８において検索された結果の数に基づいて優先順位を割り当てることができる。例えば、検索された結果の数が１０００個を超えるタグ付き映像などの第１の閾値数値よりも大きい場合、第１の基準の追加の検索パラメータを適用して、第１の閾値数値の近くなどの定義された許容限度にカウントを低減することができる。その後、第２の基準および第３の基準のパラメータを適用して、トップ１０の関連タグ付き映像などの、定義された表示制限内の特定の数の関連タグ付き映像を検索することができる。第１のユーザ１２６は、選択にしたがって、ＵＩ２２８ａを介して、検索および比較のために特定のパラメータをオプトインまたはオプトアウトしたり、優先順位設定を変更したりすることができる。

マイクロプロセッサ２０２は、第１の映像セット３０８のフィルタリングに基づいて、第１の洗練された映像セット３１４および／または第２の洗練された映像セット３１８などの洗練された映像セットを表示するように構成されることができる。実施形態によれば、第２の洗練された映像セット３１８などの最終的な洗練された映像セットは、ＵＩ２２８ａなどのインターフェースのうちの１つに表示されることができる。ＵＩ２２８ａなどのインターフェースは、１つまたは複数の表示媒体１２２のうちの少なくとも１つの表示媒体上にレンダリングされることができる。

図３Ｄを参照すると、１つまたは複数の表示媒体１２２の左後部ウィンドウ３２４ａなどの少なくとも１つの表示媒体上にレンダリングされた、ＵＩ２２８ａなどのインターフェースを描くための車両１０２の内部部分３２２が示されている。図３Ｄは、図１、図２、および図３Ａから図３Ｃの要素と併せて説明される。第２の洗練された映像セット３１８などの洗練された映像セットのリストは、ＵＩ２２８ａに表示されることができる。第２の洗練された映像セット３１８は、映像のタイトル、車両１０２によるまたは車両１０６などの他の車両による映像の撮像日、撮像された映像のジオロケーション、映像の撮像時の気象条件、および２９フレーム／秒などのプリセットフレームレートなどの追加の詳細を含むアイコンとして表示されることができる。動いている車両１０２の中に座っている第１のユーザ１２６は、異なるルートまたは異なる環境での移動を体験することを望むことがある。例えば、第１の移動ルート１２８などの現在の移動ルートに沿って、「ニューヨーク」などの第１の地理的領域１０４内を移動している車両１０２は、あたかも「東京」（異なる地理的領域）を移動しているかのように体験することを望むことがある。第１のユーザ１２６は、ＵＩ２２８ａなどのインターフェース上に表示された第２の洗練された映像セット３１８などの洗練された映像セットのうちの１つを選択するための入力を提供することができる。言い換えれば、マイクロプロセッサ２０２は、表示された第２の洗練された映像セット３１８の表示されたリストから、映像の選択に対応する入力（選択された映像３２０と呼ばれる）を受信するように構成されることができる。選択された映像３２０は、車両１０６などの他の車両が「東京」などの第２の地理的領域１０８内で、第２の移動ルート１３８などのその移動ルートに沿って移動したときに、車両１０６などの他の車両から以前に撮像された追加情報（第１の関連映像セットなど）によってタグ付けされた映像または一群の関連映像とすることができる。マイクロプロセッサ２０２は、車両１０２の第１の移動ルート１２８などの現在の移動ルートと、選択された映像３２０に関連する第２の移動ルート１３８などの移動ルートとの間の関連性ファクタを判定するように構成されることができる。関連性ファクタは、車両１０２が現在の移動ルートに沿って移動している間に判定されてもよい。

図３Ｅは、車両１０２の第１の移動ルート１２８などの現在の移動ルートと、選択された映像３２０に関連する第２の移動ルート１３８などの移動ルートとの間の関連性ファクタの判定を示している。図３Ｅは、図１、図２、および図３Ａから図３Ｄの要素と併せて説明される。図３Ｅを参照すると、車両１０２の第１の移動ルート１２８などの現在の移動ルートおよび選択された映像３２０に関連付けられる第２の移動ルート１３８などの移動ルートに沿った複数のジオロケーションポイント３２６ａから３２６ｎが示されている。複数のジオロケーションポイント３２６ａから３２６ｎは、第１の移動ルート１２８などの現在の移動ルートのＧＰＳ座標を指すことができる。選択された映像３２０に関連した、車両１０２の現在の移動ルート（第１の移動ルート１２８など）の部分３３０および移動ルート（第２の移動ルート１３８など）の別の部分３３２が示されている。複数のジオロケーションポイント３２６ａから３２６ｎにおいて、ジオロケーションポイント３２６ｎは、最後の「Ｎ」個のジオロケーションポイントを指すことができる。

実施形態によれば、関連性ファクタは、第１の移動ルート１２８などの現在の移動ルートと、選択された映像３２０に関連する第２の移動ルート１３８などの移動ルートとの間の曲率パラメータに基づいて、マイクロプロセッサ２０２によって判定されることができる。マイクロプロセッサ２０２は、次の「Ｎ」個の連続するジオロケーションポイントについて、複数のジオロケーションポイント３２６ａから３２６ｎの各ジオロケーションポイントでの曲率の度合いを計算するように構成されてもよく、「Ｎ」は、定義された数値である。各ジオロケーションポイントにおける曲率の度合いは、選択された映像３２０に関連付けられた第１の移動ルート１２８および第２の移動ルート１３８の両方に対して計算されることができる。例えば、ジオロケーションポイント３２６ａにおいて、ジオロケーションポイント３２６ｆまでのような次の５つのジオロケーションポイントについて曲率の度合いが計算されてもよい。示されるように、移動ルート上の５つのジオロケーションポイントなどの次の「Ｎ」個のジオロケーションポイントによって曲線を形成することができる。第１の移動ルート１２８に対するジオロケーションポイント３２６ａでの曲率は、「ＣＫ３２６ａ」とすることができ、第２の移動ルート１３８については、「ＣＳ３２６ａ」とすることができる。同様に、ジオロケーションポイント３２６ｂ、３２６ｃ、３２６ｄ、および３２６ｅでは、それぞれ、示されるように、ジオロケーションポイント３２６ｆ、３２６ｇ、３２６ｈ、３２６ｉ、および３２６ｊなどの次の５つのジオロケーションポイントを使用することによって計算された曲率がある。第１の移動ルート１２８に対するジオロケーションポイント３２６ｂ、３２６ｃ、３２６ｄ、および３２６ｅでの曲率は、「ＣＫ３２６ｂ」、「ＣＫ３２６ｃ」、「ＣＫ３２６ｄ」、「ＣＫ３２６ｅ」とすることができ、第２の移動ルート１３８については、それぞれ、「ＣＳ３２６ｂ」、「ＣＳ３２６ｃ」、「ＣＳ３２６ｄ」、「ＣＳ３２６ｅ」とすることができる。曲率の度合いはまた、湾曲量とも呼ぶことができる。

湾曲度の計算は、１つまたは複数の数学的モデルまたはアルゴリズムを使用してマイクロプロセッサ２０２によって実行されることができる。例えば、湾曲内の領域３２８などの領域は、積分方法（破線で示す）を使用して計算することができ、これは次に曲率の度合いを示すことができる。当業者は、本開示の範囲が、各湾曲内の領域３２８を計算するための統合方法の使用によるルート形状の曲率の度合いの計算に限定されないことを理解するであろう。曲率の計算は、本開示の範囲を限定することなく、当該技術分野で知られている他のアルゴリズムまたは数学的モデルを使用することによって実行されることができる。マイクロプロセッサ２０２は、（最後またはほぼＮ番目のジオロケーションポイント３２６ｎまで）複数のジオロケーションポイント３２６ａから３２６ｎの各ジオロケーションポイントにおける計算された曲率を利用するように構成されてもよい。

実施形態によれば、複数のジオロケーションポイント３２６ａ、・・・、３２６ｎ－１、３２６ｎのそれぞれにおいて、車両１０２が動いている間に、マイクロプロセッサ２０２は、第１の移動ルート１２８などの現在の移動ルートと選択された映像３２０に関連付けられた第２の移動ルート１３８との間の曲率パラメータに基づいて関連性ファクタを判定することができる。関連性ファクタは、第１の移動ルート１２８と第２の移動ルート１３８との間の１つまたは複数の曲率における類似性および／または偏差を示すことができる。関連性ファクタは、車両１０２の現在の移動ルート（第１の移動ルート１２８など）の部分３３０などの部分の第１の曲率と、選択された映像３２０に関連付けられた（第２の移動ルート１３８などの）移動ルートの部分３３２などの対応する部分の第２の曲率との間の比であってもよい。

ジオロケーションポイント３２６ａから３２６ｅの曲率パラメータに関連する関連性ファクタの例は、以下の表１に与えられる。

表１：現在の移動ルートの曲率および選択された映像に関連する移動ルートの対応する曲率に対する異なるジオロケーションポイントにおける関連性ファクタ。

ＥＣＵ１２０のマイクロプロセッサ２０２は、判定された関連性ファクタに基づいて、選択された映像３２０の１つまたは複数の映像パラメータを調整するように構成されることができる。１つまたは複数の映像パラメータは、フレームレートおよび／または輝度値を含むことができる。１つまたは複数の映像パラメータは、車両１０２が第１の移動ルート１２８などの現在の移動ルートに沿って１つまたは複数の曲率に遭遇した場合に調整されることができる。例えば、車両１０２が垂直方向の曲率、水平方向の曲率、道路の交差点などの異なる曲率に沿って移動し、および／または左、右、またはＵターンなどのターンを行う場合、１つまたは複数の映像パラメータを動的に調整することができる。実施形態によれば、１つまたは複数の映像パラメータは、複数の車両センサ２１２ａのうちの操舵角センサを使用することによって検出された操舵角に基づいて動的に調整されることができる。

実施形態によれば、選択された映像３２０の１つまたは複数の映像パラメータの調整は、さらに車両１０２の速度ファクタに基づいて実行されてもよい。例えば、車両１０２が動いている間に複数のジオロケーションポイント３２６ａから３２６ｎのそれぞれにおいて、マイクロプロセッサ２０２は、速度ファクタを計算することができる。速度ファクタは、例示的な式（１）によって与えられるように、選択された映像３２０が車両によって撮像されたときの車両の速度（この場合には車両１０６の速度など）に対する車両１０２の現在の移動速度の比とすることができる。マイクロプロセッサ２０２は、移動中の車両１０２内の１つまたは複数の表示媒体１２２上での選択された映像３２０または選択された映像に関連する関連映像のグループの表示を制御するように構成されることができる。選択された映像３２０または選択された映像に関連する関連する映像のグループの表示は、選択された映像３２０または関連する映像のグループの調整された１つまたは複数の映像パラメータにしたがって制御されることができる。

ここで、ＳＦは、各ジオロケーションにおける速度ファクタである。

図３Ｆを参照すると、映像３２０ａから３２０ｃ、ＵＩ２２８ａから２２８ｃ、車両１０２の左後部ウィンドウ３２４ａ、左前部ウィンドウ３２４ｂ、およびフロントガラス３２４ｃなどの関連する映像のグループを表すために、車両１０２の内部部分３２２が示されている。映像３２０ａから３２０ｃは、選択された映像３２０にリンクされてもよい。映像３２０ａから３２０ｃのそれぞれは、前の時点での同一車両の外部環境、または車両１０６が第２の地理的領域１０８内の第２の移動ルート１３８に沿って動いていたときの車両１０６などの他の車両の外部環境の異なるＦＯＶに対応することができる。

例えば、映像３２０ａから３２０ｃは、映像撮像ユニット１３４ａから１３４ｆによって以前に撮像された第１の関連映像グループ（図１）に対応することができ、選択された映像３２０は、第１の関連映像グループのうちの１つとすることができる。映像撮像ユニット１３４ａによって以前に撮像された車両１０６の外側のフロントビューを含む映像３２０ａは、フロントガラス３２４ｃ上にレンダリングされたＵＩ２２８ｃ上に表示されることができる。同様に、映像撮像ユニット１３４ｂによって以前に撮像された車両１０６の外側の左サイドビューを含む映像３２０ｂは、左前部ウィンドウ３２４ｂ上にレンダリングされたＵＩ２２８ｂ上に表示されることができる。示されるように、映像撮像ユニット１３４ｃによって以前に撮像された車両１０６の外側の左サイドビューを含む映像３２０ｃは、左後部ウィンドウ３２４ａ上にレンダリングされたＵＩ２２８ａ上に表示されることができる。車両１０２の左側および右側は、車両１０２の進行方向に沿っていると理解することができる。したがって、「東京」などの第２の地理的領域１０８の仮想環境は、「ニューヨーク」などの第１の地理的領域１０４内を移動することができる車両１０２内に作成されることができる。第１のユーザ１２６による第２の洗練された映像セット３１８からの選択された映像３２０などの映像の選択に基づいて、所望の仮想環境が車両１０２内に作成される。簡潔にするために、車両１０２の左後部ウィンドウ３２４ａ、左前部ウィンドウ３２４ｂ、およびフロントガラス３２４ｃなどの３つの表示媒体、３つのＵＩ２２８ａから２２８ｃ、および関連映像のグループの映像３２０ａから３２０ｃなどの３つの映像が示されている。しかしながら、右後部ウィンドウ、右前部ウィンドウ、およびリアガラスなどの他の表示媒体を車両１０２に設けることができ、ＵＩ２２８ｄから２２８ｆをレンダリングすることができることを理解されたい。さらに、関連映像グループの他の映像がＵＩ２２８ｄから２２８ｆに表示されてもよく、表示制御は、映像３２０ａから３２０ｃの表示制御と同様に行われてもよい。

実施形態によれば、マイクロプロセッサ２０２は、車両１０２の左後部ウィンドウ３２４ａ、左前部ウィンドウ３２４ｂ、およびフロントガラス３２４ｃなどの１つまたは複数の表示媒体１２２上に表示している間、映像３２０ａから３２０ｃのフレームレートを絶えず動的に調整するように構成されることができる。車両１０２が第１の移動ルート１２８に沿って急な曲率に沿って移動する場合、または第１の移動ルート１２８の曲率の度合いが、選択された映像３２０に関連する移動ルートの対応する曲率の度合いと異なる場合、映像３２０ａから３２０ｃのフレームレートを増やすことができる。例えば、車両１０２内の仮想環境の現実的な体験を絶えず提供して維持するように、判定された関連性ファクタに基づいて第１の移動ルート１２８に沿って曲率を通過するときに映像３２０ａから３２０ｃのフレームレートを２９フレーム／秒から１００フレーム／秒に増加させることができる。フレームレートの調整は、部分３３０（図３Ｅ）などの曲率部分に関連する複数のジオロケーションポイントについて、判定された関連性ファクタに基づいてマイクロプロセッサ２０２によって実行されることができる。実施形態によれば、フレームレートなどの１つまたは複数の映像パラメータの調整は、判定された関連性ファクタおよび速度ファクタの両方に基づいて行われることができる。複数のジオロケーションポイント３２６ａから３２６ｎのそれぞれについて、調整されたフレームレートは、式（２）によって与えられるように判定されることができる。

ＡＦＲ＝（現在のフレームレート×判定された関連性ファクタ×速度ファクタ） （２）

ここで、ＡＦＲは、調整されたフレームレートである。

実施形態によれば、第１の重み係数を判定された関連性ファクタに割り当て、第２の重み係数を速度ファクタに割り当てることができる。第１の移動ルート１２８の曲率と第２の移動ルート１３８の曲率との間の高い関連性は、第１の移動ルート１２８と第２の移動ルート１３８との間の非常に類似した曲率を示す。そのような場合、第１の重み係数は、フレームレートなどの１つまたは複数の映像パラメータの調整が主に速度ファクタに基づくように、第２の重み係数と比較して小さく設定されることができる。同様に、第１の移動ルート１２８の曲率と第２の移動ルート１３８の曲率との間の低い関連性は、第１の移動ルート１２８と第２の移動ルート１３８との間の非常に異なる曲率を示すことができる。そのような場合、第１の重み係数は、フレームレートなどの１つまたは複数の映像パラメータの調整が主に関連性ファクタに基づくように、第２の重み係数と比較して大きく設定されることができる。１つまたは複数の類似度閾値を、曲率に関連する高いおよび低い関連性を計算するために定義することができ、その逆もまた同様である。

実施形態によれば、マイクロプロセッサ２０２は、動いている車両１０２における左後部ウィンドウ３２４ａ、左前部ウィンドウ３２４ｂ、およびフロントガラス３２４ｃなどの１つまたは複数の表示媒体１２２上での表示中に、映像３２０ａから３２０ｃの１つまたは複数の映像セグメントの輝度値または音量をさらに調整するように構成されることができる。左後部ウィンドウ３２４ａ、左前部ウィンドウ３２４ｂ、およびフロントガラス３２４ｃに表示される映像３２０ａから３２０ｃの１つまたは複数の映像セグメントの輝度値は、異なる時刻または外光状況に対して異なることができる。例えば、車両１０２が深夜または夜間に第１の移動ルート１２８に沿って移動する場合、映像３２０ａから３２０ｃのうちの表示された１つまたは複数の映像セグメントの輝度値を増加させることができる。輝度の調整は、指定されたユーザの嗜好によって異なることができる。

実施形態によれば、映像３２０ａから３２０ｃなどの関連映像のグループは、上述したように、異なる表示媒体で表示するのではなく、フロントガラス３２４ｃなどの同一の表示媒体に表示されることができる。そのような表示は、ＵＩ２２８ａから２２８ｆのうちの１つを介して設定されたユーザの嗜好に基づいて行われてもよい。実施形態によれば、それは車両１０２の外部で雨が降っていることがあり、第１のユーザ１２６は、晴れた日の気象条件で同一のルートまたは同様のルートの仮想環境を作成することを望むことがある。したがって、第１の映像セット３０８の検索、または第１の映像セット３０８のフィルタリング（図３Ａから図３Ｃで説明されるように）は、ＵＩ２２８ａなどのＵＩのうちの１つを介して第１のユーザ１２６などの車両内ユーザによって提供される「晴れた日」などのユーザの嗜好に基づいて行われることができる。実施形態によれば、第１の基準、第２の基準、および第３の基準などの異なる基準、ならびに検索パラメータは、ＵＩ２２８ａから２２８ｆのうちの少なくとも１つを介してＥＣＵ１２０に供給されることができる。そして、ＥＣＵ１２０は、車両１０２の現在の移動ルートの同一または同様のルート形状の洗練された映像セットを検索することができる。第１のユーザ１２６に提示された検索映像は、車両１０２の内部で「晴れた」日の仮想環境の作成を可能にするために「晴れた」日の気象条件とすることができる。

実施形態によれば、車両１０２内の１つまたは複数の表示媒体１２２は、車両１０２の外部環境の自然なビューが車両１０２内から１人以上の乗員にとって選択的に制限されるように配置される。移動中の車両１０２内の１つまたは複数の表示媒体１２２上に（選択された映像３２０にリンクされた）映像３２０ａから３２０ｃを表示している間、外部環境の自然なビューは制限されることができる。自然なビューは、車両１０２の内側から、第１のユーザ１２６などの車両内ユーザの視点からの、街路、建物、または外側領域などの外部環境の実際のビューを指すことができる。

実施形態によれば、複数の定義された表示モードからの表示モードを選択して、異なる種類の仮想環境を生成することができる。定義された複数の表示モードは、仮想映像モード、オーバーラップビューモード、拡張現実感ビューモード、および実際の外部映像モードを含むことができる。マイクロプロセッサ２０２は、タッチ入力、音声入力、またはジェスチャ入力に基づいて複数の定義された表示モードのうちの１つの選択を可能にすることができる。モード選択のためのタッチ入力は、ＵＩ２２８ａから２２８ｆのうちの１つに提供されてもよい。

図４Ａから図４Ｄは、本開示の実施形態にかかる、車両内に仮想環境を生成する様々なモードにおける開示された表示制御システムおよび方法の実装の例示的なシナリオを示している。図４Ａを参照すると、仮想映像モード（ＶＶＭ）４０４Ａで表示される第１の映像４０２ａ、第２の映像４０２ｂ、および第３の映像４０２ｃなどの関連映像のグループを表すための車両１０２の内部部分３２２が示されている。

例示的なシナリオによれば、第１の映像４０２ａ、第２の映像４０２ｂ、および第３の映像４０２ｃなどの関連映像のグループは、第１のグループの関連映像（図１）に対応することができる。第１の映像４０２ａ、第２の映像４０２ｂ、および第３の映像４０２ｃなどの関連映像のグループは、第２の洗練された映像セット３１８（図３Ｃ）などの洗練された映像セットのうちの１つの選択に基づいて表示されることができる。

ＶＶＭ４０４Ａは、車両１０２内の複数の表示媒体（１つまたは複数の表示媒体１２２など）に選択された映像または関連映像のグループ（選択された映像も含む）を表示するためのデフォルトモードとすることができる。第１の映像４０２ａ、第２の映像４０２ｂ、および第３の映像４０２ｃなどの関連映像のグループは、第１の地理的領域１０４内の第１の移動ルート１２８などの現在の移動ルートに沿って車両１０２が動いている場合に表示されることができる。複数の表示媒体上の関連映像のグループの表示は、選択された映像の移動ルート（第２の移動ルート１３８など）に関連する第２の地理的領域１０８の仮想環境が車両１０２内に作成されるように制御されることができる。

このシナリオでは、例えば、車両１０２は、実際には、「ニューヨーク」（第１の地理的領域１０４など）の第１の移動ルート１２８の道路部分に沿って移動することができ、「東京」（異なる地理的領域）の第２の移動ルート１３８の道路部分周囲のビューが表示されることができる。「東京」の道路部分のフロントビューに対応する第１の映像４０２ａは、フロントガラス３２４ｃにレンダリングされたＵＩ２２８ｃに表示されて示されている。「東京」の道路部分の左サイドビューに対応する第２の映像４０２ｂおよび第３の映像４０２ｃは、示されるように、左前部ウィンドウ３２４ｂにレンダリングされたＵＩ２２８ｂ、および左後部ウィンドウ３２４ａにレンダリングされたＵＩ２２８ａに表示されることができる。第１の映像４０２ａ、第２の映像４０２ｂ、および第３の映像４０２ｃの１つまたは複数の映像パラメータは、車両１０２が第１の移動ルート１２８に沿って移動するにつれてリアルタイムまたはほぼリアルタイムで調整されることができる。１つまたは複数の映像パラメータの調整は、図３Ｅおよび３Ｆで説明したように、判定された関連性ファクタおよび／または速度ファクタに基づいて実行されることができる。

実施形態によれば、表示された第１の映像４０２ａ、第２の映像４０２ｂ、および第３の映像４０２ｃの音量は、車両１０２の周囲の外部の交通騒音に基づいて調整されることができる。音量の調整は、緊急事態におけるユーザの嗜好にさらに基づいてもよい。例えば、外部交通騒音が定義された閾値騒音よりも大きい場合、表示されている第１の映像４０２ａ、第２の映像４０２ｂ、および第３の映像４０２ｃに関連するオーディオの音量を上げることができる。同様に、外部交通騒音が定義された閾値騒音よりも小さい場合、表示されている第１の映像４０２ａ、第２の映像４０２ｂ、および第３の映像４０２ｃとともに現在再生されているオーディオの音量を下げることができる。実施形態によれば、単一のオーディオが、第１の映像４０２ａ、第２の映像４０２ｂ、および第３の映像４０２ｃなどの関連映像のグループに関連付けられてもよい。オーディオは、第２の地理的領域１０８内の第１の映像４０２ａ、第２の映像４０２ｂ、および第３の映像４０２ｃの撮像時に同時に捕捉されることができる。さらに代替として、実施形態によれば、表示された第１の映像４０２ａ、第２の映像４０２ｂ、および第３の映像４０２ｃに関連するオーディオは、検知システム２１２のマイクロフォンによって捕捉された車両１０２の外部環境のオーディオによって置き換えられてもよい。マイクロプロセッサ２０２は、緊急事態の間、例えば巡回車両のサイレンが車両１０２の近くで、または他の緊急事態で検出されたときに、オーディオ代替コマンドをオーディオインターフェース２０６に通信することができる。実施形態によれば、マイクロプロセッサ２０２は、車両１０２の第１の移動ルート１２８に沿った運転の停止および再開に基づいてまたは緊急事態に基づいて、第１の映像４０２ａ、第２の映像４０２ｂ、および第３の映像４０２ｃの表示を自動的に一時停止および再開するように構成されることができる。

図４Ｂを参照すると、オーバーラップビューモード（ＯＶＭ）４０４Ｂで表示された、第１の映像４０２ａ、第２の映像４０２ｂ、および第３の映像４０２ｃなどの関連映像のグループを表すための車両１０２の内部部分３２２が示されている。ＯＶＭ４０４Ｂが選択された場合には、示されるように、第１の移動ルート１２８などの現在の移動ルートに沿った現在の外部環境に関連する有益なテキストメッセージが、第１の映像４０２ａなどの関連映像のグループの少なくとも１つの上に表示されることができる。このシナリオでは、示されるように、例えば、摂氏２５度などの現在の外気温４０６、「外で雨が降っている」などの気象条件４０８、または「外で大量の交通渋滞」などの現在の交通状況４１０を、ＵＩ２２８ａから２２８ｃなどの１つまたは複数のインターフェースの定義された領域上に重ね合わせることができる。ＯＶＭ４０４Ｂでは、現在の移動ルートに沿った車両１０２の移動中に、車両１０２に設けられた複数の車両センサ２１２ａによって検出された交通状況や気象状況を用いることができる。車両１０２の車載ネットワーク２２６から抽出された交通状況および気象状況に関連するセンサデータは、ＯＶＭ４０４Ｂに表示される第１の映像４０２ａ、第２の映像４０２ｂおよび第３の映像４０２ｃなどの関連映像のグループに重ね合わされる有益なテキストメッセージの生成に使用されることができる。

図４Ｃを参照すると、拡張現実感ビューモード（ＡＲＶＭ）４０４Ｃで表示された、第１の映像４０２ａ、第２の映像４０２ｂ、および第３の映像４０２ｃなどの関連映像のグループを表すための車両１０２の内部部分３２２が示されている。第１の拡張メッセージ４１２および第２の拡張メッセージ４１４も示されている。ＡＲＶＭ４０４Ｃが選択された場合、第１の移動ルート１２８などの現在の移動ルートに沿った現在の外部環境に関連する拡張コンテンツは、示されるように、第１の映像４０２ａ、および第２の映像４０２ｂなどの１つまたは複数の映像に表示されることができる。ＡＲＶＭ４０４Ｃでは、交通状況および気象状況に加えて、車両１０２の周辺で検出された様々なオブジェクトに関する情報、表示された映像に関連するタグ付き情報、地図データ、第１のユーザ１２６などの１人または複数の乗員の乗員情報は、拡張コンテンツを生成するために使用されることができる。

第１の拡張メッセージ４１２は、第１の映像４０２ａ、第２の映像４０２ｂ、および第３の映像４０２ｃの映像などの選択された映像および／または関連映像のグループに関連する移動ルート（第２の移動ルート１３８など）に沿って検出された関心地点（ＰＯＩ）に関する情報とすることができる。ＰＯＩは、第３の映像４０２ｃなどの表示された映像内の検出されたＰＯＩ上に配置されることができる。ＰＯＩに関連する情報は、第３の映像４０２ｃなどの表示された映像に関連するタグ付き情報から抽出されてもよい。他の例では、第１の映像４０２ａ上で現在見られている道路部分の名称（「東京」の道路部分の名称など）もまた、第１の拡張メッセージ４１２または第２の拡張メッセージ４１４などの拡張コンテンツとして表示されることができる。道路部分の名称は、表示された第１の映像４０２ａに関連付けられたタグ付き情報に含まれる移動ルート（例えば、第２の移動ルート１３８）に基づいて地図データから抽出されてもよい。

第２の拡張メッセージ４１４は、車両１０２の前方で検出されたオブジェクトに関する情報とすることができる。例えば、第２の拡張メッセージ４１４は、「交通信号が前方で「赤」になった、車両１０２はしばらくの間停止する」とすることができる。マイクロプロセッサ２０２は、さらに、第１の映像４０２ａの一部の透明度または不透明度を変更して、車両１０２の外側の交通信号ポールなどの実際のオブジェクトのビューを、第１の映像４０２ａの透明部を介して第１のユーザ１２６に視認できるようにする。このような場合、フロントガラス３２４ｃなどの表示媒体もまた、透明ディスプレイとすることができる。例えば、第１の映像４０２ａの部分の透明度は、動的に「９０－１００」に設定されることができ、不透明度は、「０－１０」に設定されることができる。

ＡＲＶＭ４０４Ｃでは、ＥＣＵ１２０のマイクロプロセッサ２０２は、車両１０２の１つまたは複数のウィンドウ（左後部ウィンドウ３２４ａおよび左前部ウィンドウ３２４ｂなど）および／または（フロントガラス３２４ｃなどの）フロントガラス上に拡張現実感ビューを生成するように構成されることができる。１つまたは複数のウィンドウおよびフロントガラスは、１つまたは複数の表示媒体１２２に対応することができる。拡張現実感ビューは、第１の映像４０２ａなどの選択された映像のビューを含むことができ、交通信号ポールなどの１つまたは複数の外部オブジェクトまたは車両１０２の外部の他のオブジェクトに重ね合わせられる。したがって、第１の拡張メッセージ４１２および第２の拡張メッセージ４１４などの拡張コンテンツは、ＵＩ２２８ａから２２８ｆを使用することによって、表示された映像内のオブジェクトおよび／または映像撮像ユニット１２４ｃなどの１つまたは複数の映像撮像ユニットによってリアルタイムまたはほぼリアルタイムで撮像された（車両１０２の外部の）実際のオブジェクトに重ね合わせられることができる。

図４Ｄを参照すると、実際の外部映像モード（ＡＯＶＭ）４０４Ｄにおいて車両１０２の映像撮像ユニット１２４ａから１２４ｃによってリアルタイムまたはほぼリアルタイムで撮像された関連映像のグループ４１６ａから４１６ｃを表すための車両１０２の内部部分３２２が示されている。関連映像のグループ４１６ａから４１６ｃは、第２の関連映像のグループ（図１）に対応することができる。

ＡＯＶＭ４０４Ｄが選択された場合、関連映像のグループ４１６ａから４１６ｃの表示は、移動中の車両１０２における１つまたは複数の表示媒体１２２（示されるように、左後部ウィンドウ３２４ａ、左前部ウィンドウ３２４ｂ、およびフロントガラス３２４ｃなど）上で制御されることができる。表示制御は、関連映像のグループ４１６ａから４１６ｃの調整された１つまたは複数の映像パラメータにしたがって実行されてもよい。ＡＯＶＭ４０４Ｄにおいて、関連映像のグループ４１６ａから４１６ｃは、車両１０２が動いている場合に車両１０２の映像撮像ユニット１２４ａから１２４ｃによって撮像された車両１０２の外部環境の実際の映像とすることができる。ＡＯＶＭ４０４Ｄでは、フレームレートおよび輝度などの１つまたは複数の映像パラメータの調整は、いかなる他の移動ルートとも無関係に、車速と、第１の移動ルート１２８などの現在の移動ルートの曲率とに基づくことができる。

図５Ａおよび図５Ｂは、本開示の実施形態にかかる、自律型車両のための例示的な表示制御方法を示すフローチャート５００をまとめて示している。フローチャート５００は、図１、図２、図３Ａから図３Ｆ、および図４Ａから図４Ｄに関連して説明される。フローチャート５００の動作は、ＥＣＵ１２０などのＥＣＵ内で実装されることができる。本方法は、５０２で始まり、５０４に進む。

５０４において、ＵＩ２２８ａなどのインターフェースが、車両１０２に設けられている１つまたは複数の表示媒体１２２などの複数の表示媒体のうちの１つにレンダリングされることができる。ＵＩ２２８ａなどのインターフェースは、ＥＣＵ１２０によって受信された入力に基づいてレンダリングされることができる。例えば、第１のユーザ１２６は、１つまたは複数の表示媒体１２２のうちの車両１０２の表示媒体、例えば左後部ウィンドウ３２４ａに触れることができる。ＥＣＵ１２０のマイクロプロセッサ２０２は、タッチ入力に基づいて、ＵＩ２２８ａなどのインターフェースを左後部ウィンドウ３２４ａなどの表示媒体上にレンダリングするように構成されることができる。あるいは、タッチ入力の代わりに、音声入力またはジェスチャ入力が第１のユーザ１２６によって提供されてインターフェースをレンダリングしてもよい。インターフェースは、第１のユーザ１２６から「はい」または「いいえ」の確認を求めるために、例えば「仮想環境が欲しいですか？」というユーザプロンプトでレンダリングされてもよい。

５０６において、仮想環境が必要かどうかの確認を受信することができる。ある場合には、第１のユーザ１２６は、「はい」の確認を提供し、制御は、５０８に移ることができる。ある場合には、第１のユーザ１２６は、「いいえ」の確認を提供し、制御は、５３４に移ることができる。

５０８において、入力情報は、車両１０２の車載ネットワーク２２６から検索されることができる。入力情報は、少なくとも車両１０２によってとられるべき現在の移動ルート（ナビゲーションユニットの使用によって設定された第１の移動ルート１２８など）を含むことができる。マイクロプロセッサ２０２は、車両１０２の車載ネットワーク２２６から入力情報を検索するように構成されてもよい。実施形態によれば、入力情報はまた、現在の移動ルートに沿った車両１０２の移動中に車両１０２の車載ネットワーク２２６から抽出されたセンサデータを含むことができる。例えば、センサデータは、現在の移動ルート（ナビゲーションユニットの使用によって設定された第１の移動ルート１２８など）に関連する総移動時間３０２ｂ、および平均速度３０２ｃ（例えば、図３Ａ）などの車両１０２の現在速度を含むことができる。

５１０において、車両１０２の現在の移動ルート（第１の移動ルート１２８など）のルート形状（ルート形状３０２ａなど）が判定されることができる。ＥＣＵ１２０のマイクロプロセッサ２０２は、検索された入力情報に含まれる現在の移動ルート内のルート形状３０２ａおよび／または湾曲の総数を判定するように構成されてもよい。

５１２において、検索された入力情報に含まれる現在の移動ルートのルート形状は、複数のタグ付き映像に関連する複数のルート形状と比較されることができる。複数のタグ付き映像は、メモリ２０４および／またはサーバ１１４もしくは第１の通信装置１１０などの外部通信装置に記憶されることができる。例えば、ＥＣＵ１２０のマイクロプロセッサ２０２は、少なくとも第１の移動ルート１２８のルート形状３０２ａを複数のタグ付き映像３０４（図３Ａ）に関連する複数のルート形状と比較するように構成されてもよい。

５１４において、検索された入力情報は、複数のタグ付き映像のタグ付き情報に対して類似性検索を実行するための１つまたは複数の検索パラメータとして利用されることができる。例えば、マイクロプロセッサ２０２は、検索パラメータ３０２などの１つまたは複数の検索パラメータとして検索された入力情報を利用して、（図３Ａに示すように）メモリ２０４に予め記憶されている複数のタグ付き映像３０４のタグ付き情報３０６に対して類似性検索を実行するように構成されることができる。

５１６において、複数のタグ付き映像の中から第１の映像セット（第１の映像セット３０８など）が検索されることができる。例えば、マイクロプロセッサ２０２は、図３Ａで説明したように、ルート形状の比較に基づいて、メモリ２０４からの複数のタグ付き映像３０４の中から第１の映像セット３０８を検索するように構成されることができる。実施形態によれば、マイクロプロセッサ２０２は、車両１０２の総移動時間３０２ｂ、平均速度３０２ｃ、および／またはルート種類３０２ｄなどの追加の検索パラメータを第１の映像セット３０８の検索に利用するように構成されることができる（図３Ａに示すように）。あるいは、実施形態によれば、マイクロプロセッサ２０２は、サーバ１１４などの外部通信装置から第１の映像セット３０８のうちの１つまたは複数の映像を検索するように構成されることができる。

５１８において、検索された第１の映像セット（第１の映像セット３０８など）は、１つまたは複数の基準に基づいてフィルタリングされることができる。１つまたは複数の基準は、車両１０２の車載ネットワーク２２６から抽出されたセンサデータと、車両１０２内の第１のユーザ１２６などの１人または複数の乗員の乗員情報とに対応することができる。検出された現在の交通状況および気象状況（交通状況パラメータ３１０、および気象状況パラメータ３１２など）に基づくフィルタリング処理の例が図３Ｂに示されて説明される。１人または複数の乗員の乗員情報に基づくさらなるレベルのフィルタリングの他の例が、図３Ｃに示されて説明される。

ステップ５２０において、車両１０２内に設けられた複数の表示媒体のうちの１つにレンダリングされたインターフェース上に洗練された映像セットが表示されることができる。洗練された映像セットは、第１の映像セットのフィルタリングに基づいて取得されてもよい。第１の洗練された映像セット３１４および／または第２の洗練された映像セット３１８などの洗練された映像セットの例が、図３Ｂおよび図３Ｃに示されて説明される。

５２２において、表示された洗練された映像セットからの映像の選択に対応する入力を受信することができる。例えば、第２の洗練された映像セット３１８などの洗練された映像セットのリストが、（図３Ｄに示されるように）ＵＩ２２８ａ上に表示されることができる。動いている車両１０２の中に座っている第１のユーザ１２６は、異なるルートまたは異なる環境での移動を体験することを望むことがある。そして、第１のユーザ１２６は、（図３Ｄに示されて説明されるように）ＵＩ２２８ａ上に表示された第２の洗練された映像セット３１８などの洗練された映像セットのうちの１つを選択するための入力を提供することができる。

５２４において、関連性ファクタが、車両１０２の現在の移動ルートおよび選択された映像に関連する移動ルートとの間で判定されることができる。関連性ファクタは、車両１０２が現在の移動ルートに沿って移動している場合に判定されることができる。関連性ファクタは、第１の移動ルート１２８などの現在の移動ルートと、選択された映像３２０に関連する第２の移動ルート１３８などの移動ルートとの間の曲率パラメータに基づいて、マイクロプロセッサ２０２によって判定されることができる。関連性ファクタの判定の例は、図３Ｅにおいて詳細に示されて説明される。

ステップ５２６において、速度ファクタが判定されることができる。速度ファクタは、選択された映像の撮像時における、車両１０２の現在の移動速度と他の車両（車両１０６など）の速度との間の関係に対応することができる。例えば、速度ファクタは、選択された映像３２０が撮像されたときの車両の速度に対する車両１０２の現在の移動速度の比とすることができる。

５２８において、選択された映像および／または選択された映像を含む関連映像のグループの１つまたは複数の映像パラメータが調整されることができる。１つまたは複数の映像パラメータの調整は、判定された関連性ファクタおよび／または速度ファクタに基づいて実行されることができる。１つまたは複数の映像パラメータは、フレームレートおよび／または輝度値を含むことができる。例えば、車両１０２内の仮想環境の現実的な体験を絶えず提供して維持するように、現在の曲率についての判定された関連性ファクタに基づいて第１の移動ルート１２８に沿って曲率を通過するときに映像３２０ａから３２０ｃの設定フレームレートを２９フレーム／秒から１００フレーム／秒に増加させることができる。例えば、複数のジオロケーションポイント３２６ａから３２６ｎのそれぞれについて、（図３Ｅおよび３Ｆに示されて説明されるように）調整されたフレームレート＝（現在のフレームレート×判定された関連性ファクタ×速度ファクタ）である。

５３０において、複数の定義された表示モードの中から設定されている現在の表示モードが検出されることができる。複数の定義された表示モードは、（図４Ａから図４Ｄに示されて説明されているように）ＶＶＭ４０４Ａ、ＯＶＭ４０４Ｂ、ＡＲＶＭ４０４Ｃ、およびＡＯＶＭ４０４Ｄを含むことができる。マイクロプロセッサ２０２は、タッチ入力、音声入力、またはジェスチャ入力に基づいて複数の定義された表示モードのうちの１つの選択を可能にすることができる。モード選択のためのタッチ入力は、ＵＩ２２８ａから２２８ｆのうちの１つに提供されてもよい。ＶＶＭ４０４Ａが選択された場合には、制御は、５３２Ａに移ることができる。ＯＶＭ４０４Ｂが選択された場合には、制御は、５３２Ｂに移ることができる。ＡＲＶＭ４０４Ｃが選択された場合には、制御は、５３２Ｃに移ることができる。ＡＯＶＭ４０４Ｄが選択された場合には、制御は、５３２Ｄに移ることができる。

５３２Ａにおいて、選択された映像または選択された映像を含む関連映像のグループの表示は、移動中の車両１０２内の複数の表示媒体（１つまたは複数の表示媒体１２２など）上で制御されることができる。選択された映像または選択された映像を含む関連映像のグループの表示は、選択された映像または選択された映像を含む関連映像のグループの調整された１つまたは複数の映像パラメータにしたがって制御されることができる。ＶＶＭ４０４Ａにおける表示制御の例が図４Ａに示されて説明される。制御は、次に終了５３４に進むことができる。

５３２Ｂにおいて、選択された映像または選択された映像を含む関連映像のグループの表示は、移動中の車両１０２内の複数の表示媒体（１つまたは複数の表示媒体１２２など）上で制御されることができる。現在の移動ルートに沿って動いている車両１０２の現在の外部環境に関連する有益なテキストメッセージは、少なくとも１つの表示された映像上にオーバーレイされることができる。表示された映像は、選択された映像または１つまたは複数の関連映像のグループに対応することができる。オーバーレイされた有益なテキストメッセージとともに選択された映像または関連映像のグループの表示は、選択された映像または関連映像のグループの調整された１つまたは複数の映像パラメータにしたがって制御されることができる。ＯＶＭ４０４Ｂにおける表示制御の例が図４Ｂに示されて説明される。制御は、次に終了５３４に進むことができる。

５３２Ｃにおいて、選択された映像または選択された映像を含む関連映像のグループの表示は、移動中の車両１０２内の複数の表示媒体（１つまたは複数の表示媒体１２２など）上で制御されることができる。現在の移動ルートに沿って動いている車両１０２の現在の外部環境に関連する拡張コンテンツは、少なくとも１つの表示された映像に重ね合わせられることができる。表示された映像は、選択された映像または１つまたは複数の関連映像のグループに対応することができる。重ね合わせられた拡張コンテンツとともに選択された映像または関連映像のグループの表示は、選択された映像または関連映像のグループの調整された１つまたは複数の映像パラメータにしたがって制御されることができる。ＡＲＶＭ４０４Ｃにおける表示制御の例が図４Ｃに示されて説明される。制御は、次に終了５３４に進むことができる。

５３２Ｄにおいて、リアルタイムまたはほぼリアルタイムで車両１０２の映像撮像ユニット１２４ａから１２４ｆによって撮像された映像または関連映像のグループの表示は、移動中の車両１０２における複数の表示媒体（１つまたは複数の表示媒体１２２）上で制御されることができる。表示制御は、車両１０２の映像撮像ユニット１２４ａから１２４ｆによって撮像された映像または関連映像のグループの調整された１つまたは複数の映像パラメータにしたがって実行されることができる。ＡＯＶＭ４０４Ｄにおける表示制御の例が図４Ｄに示されて説明される。制御は、次に終了５３４に進むことができる。

本開示の実施形態によれば、車両１０２などの車両内に仮想環境を生成するシステムが開示される。システム（ＥＣＵ１２０（図１）など）は、１つまたは複数の回路（以下、マイクロプロセッサ２０２（図２）と呼ぶ）を備えることができる。マイクロプロセッサ２０２は、車両１０２内の１つまたは複数の表示媒体１２２に表示される映像の選択に対応する入力を受信するように構成されることができる。マイクロプロセッサ２０２は、車両１０２が現在の移動ルートに沿って移動している場合、車両の現在の移動ルート（第１の移動ルート１２８など）と選択された映像に関連付けられた移動ルート（第２の移動ルート１３８など）との間の関連性ファクタを判定するように構成されることができる。マイクロプロセッサ２０２は、判定された関連性ファクタに基づいて、選択された映像または選択された映像に関連する関連映像のグループの１つまたは複数の映像パラメータを調整するように構成されることができる。マイクロプロセッサ２０２は、選択された映像または選択された映像に関連する関連映像のグループの調整された１つまたは複数の映像パラメータにしたがって、移動中の車両１０２内の１つまたは複数の表示媒体１２２上の選択された映像または選択された映像に関連する関連映像のグループの表示を制御するように構成されることができる。

車両１０２のＥＣＵ１２０は、１つまたは複数の表示媒体１２２などの複数の表示媒体上にレンダリングされたＵＩ２２８ａから２２８ｆを使用して、第１のユーザ１２６と車両１０２との対話などの対話を管理する。車両１０２のＥＣＵ１２０はまた、図３Ａから図３Ｃで説明したように、様々な基準およびパラメータに基づいて、第２の洗練された映像セット３１８などの適切なタグ付き映像のリストを検索するように管理する。したがって、車両１０２内部の通勤者が、車両１０２内から外部環境または内部環境を好まない場合、または車両１０２の周囲の現在の環境とは異なる仮想環境または気象条件を体験したい場合、ＥＣＵ１２０などの専用ハードウェアユニットは、第１のユーザ１２６などの車両内ユーザの選択にしたがって、自律走行中に車両１０２内に仮想環境を作成する。

映像撮像ユニット１２４ａから１２４ｆなどの映像撮像ユニットによって撮像された映像を表示するための表示媒体の基本的な表示機能とは異なり、ＥＣＵ１２０は、第２の移動ルート１３８などの異なる移動ルートに関連する選択された映像または関連映像のグループがどのように運転中に車両１０２内に表示されるかを制御する。ＥＣＵ１２０は、現在の移動ルートが選択された映像に関連する移動ルートと同一でなくても（同様であるが同一ではない）、１つまたは複数の表示媒体１２２などの全ての表示媒体上の選択された映像または関連映像のグループの表示を円滑且つ同期的に制御する。選択された映像または関連映像のグループの調整された１つまたは複数の映像パラメータにしたがって映像の表示を制御するＥＣＵ１２０の能力は、異なる車両または同一車両であるが異なる時点に異なるルートにある他の映像撮像装置から撮像された映像をどのように表示するかという問題を少なくとも克服する。マイクロプロセッサ２０２は、車両１０２が現在の移動ルートに沿って動いている場合に、車両１０２の現在の移動ルート（第１の移動ルート１２８など）と選択された映像に関連付けられた移動ルート（第２の移動ルート１３８など）との間の関連性ファクタを判定する。１つまたは複数の映像パラメータの調整は、改善されたインテリジェントで自己適応型の表示システムを提供する少なくとも判定された関連性ファクタに基づいて実行され、それにより、車両１０２が動いている場合に、第１のユーザ１２６などの車両内ユーザに円滑で且つ向上した視聴体験を提供する。第１のユーザ１２６などの車両内ユーザは、あたかも異なる都市または異なる気象状況の選択などの異なる環境または気象状況で移動しているかのように感じることができる。

本開示の実施形態によれば、車両内に仮想環境を生成する車両（車両１０２（図１および図２）など）が開示される。車両は、（ＥＣＵ１２０（図１および図２）などの）ＥＣＵと、ＥＣＵ１２０に通信可能に結合されることができる１つまたは複数の表示媒体１２２とを備えることができる。ＥＣＵは、車両１０２内の１つまたは複数の表示媒体１２２に表示される映像の選択に対応する入力を受信するように構成された１つまたは複数の回路（以下、マイクロプロセッサ２０２（図２）と呼ぶ）を備えることができる。マイクロプロセッサ２０２は、車両１０２が現在の移動ルートに沿って移動している場合、車両の現在の移動ルート（第１の移動ルート１２８など）と選択された映像に関連付けられた移動ルート（第２の移動ルート１３８など）との間の関連性ファクタを判定するように構成されることができる。マイクロプロセッサ２０２は、判定された関連性ファクタに基づいて、選択された映像または選択された映像に関連する関連映像のグループの１つまたは複数の映像パラメータを調整するように構成されることができる。マイクロプロセッサ２０２は、選択された映像または選択された映像に関連する関連映像のグループの調整された１つまたは複数の映像パラメータにしたがって、移動中の車両１０２内の１つまたは複数の表示媒体１２２上の選択された映像または選択された映像に関連する関連映像のグループの表示を制御するように構成されることができる。

本開示の様々な実施形態は、機械および／またはコンピュータに（車両１０２などの）車両内に仮想環境を生成させるためのコンピュータ実行可能命令セットを記憶する非一時的コンピュータ可読媒体および／または記憶媒体を提供することができる。（ＥＣＵ１２０などの）ＥＣＵ内のコンピュータ実行可能命令セットは、機械および／またはコンピュータに、車両１０２のＥＣＵ１２０による入力の受信を含む動作を実行させることができる。入力は、車両１０２内の１つまたは複数の表示媒体１２２に表示される映像の選択に対応することができる。車両１０２は、自律型車両または半自律型車両とすることができる。関連性ファクタは、車両１０２の現在の移動ルートおよび選択された映像に関連する移動ルートとの間で判定されることができる。関連性ファクタは、車両１０２が現在の移動ルートに沿って移動している場合に判定されてもよい。少なくとも選択された映像の１つまたは複数の映像パラメータは、判定された関連性ファクタに基づいて調整されることができる。移動中の車両１０２内の１つまたは複数の表示媒体１２２上の選択された映像の表示は、少なくとも選択された映像の調整された１つまたは複数の映像パラメータにしたがって制御されることができる。

本開示は、ハードウェア、またはハードウェアとソフトウェアとの組み合わせで実現されることができる。本開示は、集中型で、少なくとも１つのコンピュータシステムで、または異なる要素がいくつかの相互接続されたコンピュータシステムにわたって分散されることができる分散型で実現されることができる。本明細書に記載の方法を実行するように適合されたコンピュータシステムまたは他の装置が適している可能性がある。ハードウェアとソフトウェアとの組み合わせは、ロードされて実行されると、本明細書に記載の方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを有する汎用コンピュータシステムとすることができる。本開示は、他の機能も果たす集積回路の一部を備えるハードウェアで実現されることができる。実施形態に応じて、上述したステップのいくつかが削除されてもよい一方で、他の追加のステップが追加されてもよく、ステップの順序が変更されてもよいことを理解されよう。

本開示はまた、本明細書に記載の方法の実施を可能にし、且つコンピュータシステムにロードされたときにこれらの方法を実行することができる全ての特徴を備えるコンピュータプログラム製品に埋め込むことができる。本文脈におけるコンピュータプログラムは、情報処理能力を有するシステムに特定の機能を直接的に、または以下のいずれかもしくは両方の後に実行させることを意図した命令セットの任意の言語での任意の表現、コードまたは表記法を意味する：ａ）他の言語、コードまたは表記法への変換；ｂ）異なる素材形式での複製。

本開示を特定の実施形態を参照して説明したが、本開示の範囲から逸脱することなく様々な変更を加えて均等物を置換できることが当業者によって理解されるであろう。さらに、本開示の範囲から逸脱することなく、特定の状況または材料を本開示の教示に適合させるために多くの変更を加えることができる。そのため、本開示は開示された特定の実施形態に限定されず、本開示は添付の特許請求の範囲内にある全ての実施形態を含むことを意図している。

Claims (20)

1. 車両用システムにおいて、
   前記車両用の電子制御ユニット（ＥＣＵ）内の１つまたは複数の回路を備え、前記１つまたは複数の回路が、
   １又は複数の車両がそれぞれ有する撮像ユニットにより撮像され、撮像された際の移動ルートが関連付けられた映像であって、前記車両内の１つまたは複数の表示媒体に表示される映像の選択に対応する入力を受信し、
   前記車両が現在の移動ルートに沿って移動している場合に、前記車両の前記現在の移動ルートと前記選択された映像に関連付けられた移動ルートとの間の関連性ファクタを判定し、
   前記判定された関連性ファクタに基づいて前記選択された映像の１つまたは複数の映像パラメータを調整し、
   前記選択された映像の前記調整された１つまたは複数の映像パラメータにしたがって、移動中の前記車両内の前記１つまたは複数の表示媒体上の少なくとも前記選択された映像の表示を制御するように構成されている、システム。
2. 前記関連性ファクタが、前記現在の移動ルートと前記選択された映像に関連する前記移動ルートとの間の曲率パラメータに基づいて判定される、請求項１に記載のシステム。
3. 前記関連性ファクタが、前記車両の前記現在の移動ルートの一部の第１の曲率度と前記選択された映像に関連する前記移動ルートの対応する部分の第２の曲率度との間の比である、請求項１に記載のシステム。
4. 前記ＥＣＵ内の前記１つまたは複数の回路が、前記車両によってとられるべき少なくとも前記現在の移動ルートを含む入力情報を検索するようにさらに構成されている、請求項１に記載のシステム。
5. 前記ＥＣＵ内の前記１つまたは複数の回路が、メモリまたは外部通信装置の少なくとも１つに記憶された複数のタグ付き映像のタグ付き情報に対する前記入力情報の類似性検索に基づいて、前記ＥＣＵに通信可能に結合された前記メモリまたは前記外部通信装置のうちの前記少なくとも１つから第１の映像セットを検索するようにさらに構成されている、請求項４に記載のシステム。
6. 前記ＥＣＵ内の前記１つまたは複数の回路が、前記入力情報に含まれる前記現在の移動ルートのルート形状と、前記第１の映像セットの前記検索のための前記複数のタグ付き映像に関連付けられた複数のルート形状とを比較するようにさらに構成されている、請求項５に記載のシステム。
7. 前記ＥＣＵ内の前記１つまたは複数の回路が、１つまたは複数の基準に基づいて前記検索された第１の映像セットをフィルタリングするようにさらに構成されており、前記１つまたは複数の基準が、前記車両の車載ネットワークおよび前記車両内の１人以上の乗員の乗員情報から抽出されたセンサデータの１つに対応する、請求項５に記載のシステム。
8. 前記センサデータが、前記現在の移動ルートに沿った前記車両の移動中に前記車両に設けられた複数のセンサによって検出された交通状況および気象状況の一方または両方に対応する、請求項７に記載のシステム。
9. 前記ＥＣＵ内の前記１つまたは複数の回路が、前記検索された第１の映像セットの前記フィルタリングについて前記１つまたは複数の基準に優先順位を割り当てるようにさらに構成されている、請求項７に記載のシステム。
10. 前記ＥＣＵ内の前記１つまたは複数の回路が、前記第１の映像セットの前記フィルタリングに基づいて、前記車両内の前記１つまたは複数の表示媒体の表示画面上にレンダリングされたインターフェース上に洗練された映像セットを表示するようにさらに構成されており、前記映像の前記選択に対応する前記入力が、前記インターフェース上に表示された前記洗練された映像セットのうちの１つの選択に対応する、請求項７に記載のシステム。
11. 前記選択された映像の前記１つまたは複数の映像パラメータの前記調整が、前記車両の現在の速度にさらに基づいている、請求項１に記載のシステム。
12. 前記選択された映像の前記１つまたは複数の映像パラメータの前記調整が、前記判定された関連性ファクタに基づいて、移動中の前記車両内の前記１つまたは複数の表示媒体上に前記選択された映像を表示する間の前記選択された映像のフレームレートの動的調整に対応する、請求項１に記載のシステム。
13. 前記車両内の前記１つまたは複数の表示媒体が、前記車両の外部環境の自然なビューが、移動中の前記車両内の前記１つまたは複数の表示媒体上の前記選択された映像の表示中に前記車両内から１人または複数の乗員にとって選択的に制限されるように配置されている、請求項１に記載のシステム。
14. 前記ＥＣＵ内の前記１つまたは複数の回路が、前記選択された映像の前記表示中に、前記選択された映像の前記移動ルートに関連する第２の地理的領域の仮想環境が前記車両内に作成されるように、第１の地理的領域内の前記現在の移動ルートに沿って移動中の前記車両内の前記１つまたは複数の表示媒体上の前記選択された映像の表示を制御するようにさらに構成されている、請求項１に記載のシステム。
15. 前記ＥＣＵ内の前記１つまたは複数の回路が、前記１つまたは複数の表示媒体に対応する前記車両の１つまたは複数のウィンドウおよび／またはフロントガラス上に拡張現実感ビューを生成するようにさらに構成されており、前記拡張現実感ビューが、前記車両の外部の１つまたは複数の外部オブジェクトに重ね合わされた前記選択された映像のビューを備える、請求項１に記載のシステム。
16. 前記車両が、自律型車両または半自律型車両のうちの１つである、請求項１に記載のシステム。
17. 車両内に仮想環境を生成する表示制御方法において、
    前記車両の電子制御ユニット（ＥＣＵ）によって、１又は複数の車両がそれぞれ有する撮像ユニットにより撮像され、撮像された際の移動ルートが関連付けられた映像であって、前記車両の１つまたは複数の表示媒体に表示される映像の選択に対応する入力を受信することと、
    前記ＥＣＵによって、前記車両が現在の移動ルートに沿って移動している場合に、前記車両の前記現在の移動ルートと前記選択された映像に関連付けられた移動ルートとの間の関連性ファクタを判定することと、
    前記ＥＣＵによって、前記判定された関連性ファクタに基づいて前記選択された映像の１つまたは複数の映像パラメータを調整することと、
    前記ＥＣＵによって、前記選択された映像の前記調整された１つまたは複数の映像パラメータにしたがって、移動中の前記車両内の前記１つまたは複数の表示媒体上の前記選択された映像の表示を制御することとを備える、表示制御方法。
18. 車両において、
    電子制御ユニット（ＥＣＵ）と、
    前記ＥＣＵに通信可能に結合された１つまたは複数の表示媒体とを備え、前記ＥＣＵが、
    １又は複数の車両がそれぞれ有する撮像ユニットにより撮像され、撮像された際の移動ルートが関連付けられた映像であって、前記車両に設けられた前記１つまたは複数の表示媒体上に表示される映像の選択に対応する入力を受信し、
    前記車両が現在の移動ルートに沿って移動している場合に、前記車両の前記現在の移動ルートと前記選択された映像に関連する移動ルートとの間の関連性ファクタを判定し、
    前記判定された関連性ファクタに基づいて前記選択された映像の１つまたは複数の映像パラメータを調整し、
    前記選択された映像の前記調整された１つまたは複数の映像パラメータにしたがって、移動中の前記車両内の前記１つまたは複数の表示媒体上の前記選択された映像の表示を制御するように構成された１つまたは複数の回路を備える、車両。
19. 前記車両が自律型車両または半自律型車両のうちの１つである、請求項１８に記載の車両。
20. 前記車両が非自律型車両である、請求項１８に記載の車両。

Images