JP2022537143A - ヒートマップを使用したドライバーの注目の検出 - Google Patents

Abstract

【要約】本開示は、車両内のドライバーの注目度を監視するための技術に関する。ドライバーディストラクションシステムは、ルートを走行する間に車両データとシーン情報とを車両から収集する。次いで、車両データとシーン情報とが処理され、参照ヒートマップが生成される。同時に、ドライバーディストラクションシステムは、ドライバーの注視をキャプチャーし、ルート上で車両を運転する間にドライバーの注視方向と注視持続時間とを追跡してよい。注視方向と注視持続時間とを処理してドライバー注視ヒートマップを生成する。ドライバー注視ヒートマップと参照ヒートマップとを分析して、車両内のドライバーのドライバーディストラクションのレベルを決定し、勧告又は警告をドライバーディストラクションのレベルに応じて車両のドライバーに出力する。

Description

本開示は、一般に、ドライバーのディストラクションに関し、特に、車両の運転中にドライバーの注目度を監視することに関する。

ドライバーが気を散らすことは、特に、ドライバーの注目を道路から逸らせるモバイルデバイスのような技術の使用の増加に伴い、車両事故の主な原因となりつつある。ドライバーのディストラクション監視及び回避は、気を散らしているドライバーだけでなく、気を散らしているドライバーによって影響を受ける可能性のある周辺の他のドライバーにとっても、安全な運転環境を保証する上で重要である。ドライバーを監視する能力を有する車両は、ドライバーが気を散らす結果としての事故を防止する又は防止の支援をするために、車両が講じる措置を可能にする。例えば、警告システムは、ドライバーに気を散らしていることを報知するようにする可能性があり、あるいは、ドライバーがもはや気を散らさなくなるまで、ブレーキやステアリングのような自動機能が車両を制御することができるようにする可能性がある。ドライバーのディストラクションを検出するために、これらの警告及び予防監視システムは、現状を評価するためにドライバーの頭部姿勢及び凝視角を使用する可能性がある。しかしながら、このようなシステムは、典型的には、フレームごとにデータを分析し、道路状態、ドライバーの意図などのような他の情報を考慮しないことが多い。

本開示の１つの態様によれば、車両内のドライバーの注目度を監視するコンピュータ実施される方法がある。ルートを走行する間に車両データとシーン情報とを車両から収集するステップであり、車両データとシーン情報とは処理されて、参照ヒートマップを生成する、収集するステップと；ドライバーの注視をキャプチャーするステップであり、ルート上で車両を運転する間にドライバーの注視方向と注視持続時間とを追跡し、注視方向と注視持続時間とは処理されて、ドライバー注視ヒートマップを生成する、キャプチャーするステップと；ドライバー注視ヒートマップと参照ヒートマップとを分析して、車両内のドライバーのドライバーディストラクションのレベルを決定するステップと；ドライバーディストラクションのレベルに応じて、勧告を車両のドライバーに出力するステップとを備えている。

任意には、前述の任意の態様において、１つ以上の畳み込み層と少なくとも１つの完全に接続された層とを含む畳み込みニューラルネットワーク（ＣＮＮ）を使用して、参照ヒートマップをシーン情報と車両データとから生成するステップであり、参照ヒートマップは、安全な運転のためにドライバーの注目を必要とするシーン情報内の１つ以上の領域を識別する、生成するステップと；車両を運転する間のドライバーの注視方向と注視持続時間とに基づいてドライバー注視ヒートマップを生成し、ドライバー注視ヒートマップは、持続時間中にドライバーが見るシーン情報の１つ以上のゾーンを識別する、生成するステップとを、さらに備えている。

任意には、前述の任意の態様において、注視方向と注視持続時間とを追跡するステップは、１つ以上のセンサにより、ドライバーの画像のシーケンスを持続時間にわたってキャプチャーするステップと；画像のシーケンスから抽出された注視に基づいてドライバーの注視方向を推定するステップと；注視方向を適用してシーン情報にオーバーレイを行い、ドライバー注視ヒートマップを形成するステップとを含む。

任意には、前述の任意の態様において、車両データを収集するステップは、ルートを運転する間に、車両の位置を記録するステップと；予め定められた期間にわたる車両データを表すデータベースからの履歴車両データを検索するステップとを含み；シーン情報を収集するステップは、１つ以上のセンサ又はオンラインマップから、ストリート画像をリアルタイムで取得するステップを含む。

任意には、前述の任意の態様において、車両データは、車速データ、ターン指示データ、光の状態データ、ブレーキ使用データ、ステアリングホイール使用データ、全地球測位システム（ＧＰＳ）データ、アクセルペダル使用データ、及びナビゲーションルートデータのうち少なくとも１つを含み；シーン情報は、シーン画像と、オンラインストリートマップと、レーダーマップと、天候、交通及び道路状況とのうちの少なくとも１つを含む。

任意には、前述の任意の態様において、参照ヒートマップをドライバー注視ヒートマップとマージして、ドライバー注目ヒートマップを形成させるステップを、さらに備え、ドライバー注目ヒートマップは、ドライバーのディストラクションのレベルが閾値注目度レベルを満足するか、又は閾値注目度レベルを超えるかを決定する。

任意には、前述の任意の態様において、閾値が満足されるか又は閾値を超える場合に、勧告は、１つ以上の領域のそれぞれに関連する値に基づいて、ドライバーの注視方向をドライバー注視ヒートマップの１つ以上の領域に集中させる警告であり、値は、１つ以上の領域のそれぞれについてドライバーが要求する注目のレベルを表す。

任意には、前述の任意の態様において、１つ以上のプロセッサは、車両内に配置されているか、又は車両に通信結合されている。

本開示の他の１つの態様によれば、車両内のドライバーの注目度を監視するシステムがある。１つ以上の車両センサであり；ルートを走行する間に車両データとシーン情報とを車両から収集し、車両データとシーン情報とは処理されて、参照ヒートマップを生成し；ドライバーの注視をキャプチャーし、ルート上で車両を運転する間にドライバーの注視方向と注視持続時間とを追跡し、注視方向と注視持続時間とは処理されて、ドライバー注視ヒートマップを生成するように構成されている、１つ以上の車両センサと；１つ以上のプロセッサであり；ドライバー注視ヒートマップと参照ヒートマップとを分析して、車両内のドライバーのドライバーディストラクションのレベルを決定し；ドライバーディストラクションのレベルに応じて、勧告を車両のドライバーに出力するように構成されている、１つ以上のプロセッサとを備えている。

本開示のさらに他の１つの態様によれば、車両内のドライバーの注目度を監視するコンピュータ命令を記憶し、１つ以上のプロセッサにより実行されると、１つ以上のプロセッサにステップを実行させる、非一時的なコンピュータ可読な媒体がある。ステップは、ルートを走行する間に車両データとシーン情報とを車両から収集するステップであり、車両データとシーン情報とは処理されて、参照ヒートマップを生成する、収集するステップと；ドライバーの注視をキャプチャーするステップであり、ルート上で車両を運転する間にドライバーの注視方向と注視持続時間とを追跡し、注視方向と注視持続時間とは処理されて、ドライバー注視ヒートマップを生成する、キャプチャーするステップと；ドライバー注視ヒートマップと参照ヒートマップとを分析して、車両内のドライバーのドライバーディストラクションのレベルを決定するステップと；ドライバーディストラクションのレベルに応じて、勧告を車両のドライバーに出力するステップとを備えている。

この概要は、以下の詳細な説明でさらに記述される簡素化された形態で概念の選択を導入するために提供される。この概要は、請求項に記載された主題事項の鍵の特徴又は本質的な特徴を特定することを意図したものではなく、また、請求項に記載された主題事項の範囲を決定する際の助けとして使用することを意図したものではない。請求項に記載された主題事項は、背景に記載された任意の又は全ての欠点を解決する実施に限定されない。

本開示の態様は、例示として示され、添付の図面に限定されない。添付の図面では、同様の参照は要素を示す。

本技術の実施形態によるドライバーディストラクションシステムを示す。 図１Ａによるドライバーディストラクションシステムの詳細な例を示す。 開示の実施形態によるドライバーディストラクション情報を取得する例示的なフロー図を示す。 図２による参照ヒートマップの作成例を示す。 図３Ａの実施形態による例示的なＣＮＮを示す。 車両のドライバーの注視方向と注視持続時間とに基づいてドライバー注視ヒートマップを生成する例示的な実施形態を示す。 図３Ａ及び図４による参照ヒートマップとドライバー注視ヒートマップとを使用するドライバー注目度ネットワークを示す。 ドライバーに警告が発せられているキャビン内車両設定の例を示す。 開示の実施形態による、車両内のドライバーの注目度を監視する例示的なフロー図を示す。 開示の実施形態による、車両内のドライバーの注目度を監視する例示的なフロー図を示す。 開示の実施形態による、車両内のドライバーの注目度を監視する例示的なフロー図を示す。 開示の実施形態が実施されてよい計算システムを示す。

本開示は、ここでは、概括的にドライバーの注目の検出に関する図を参照して説明する。

この技術は、ドライバーのディストラクションを回避又は軽減するために、運転中のドライバーの注目度を監視することに関する。シーン情報と車両データとは、１つ以上の車両センサから収集され、収集された情報及びデータに基づいて参照ヒートマップが生成される。参照ヒートマップとは、ドライバーが安全運転の向上に留意すべきシーン情報のエリア又は領域を指す。一実施形態では、車両データは、ドライバーの意図を決定する。例えば、ドライバーの意図は、ナビゲーションルーチン、速度、ステアリングホイール角度、ガスパドル／ブレークパドルなどの車両状態を分析することによって決定されてよい。追加的な実施形態では、ドライバーの注視方向と注視持続時間とが決定され、注視軌跡が生成される。注視軌跡は、シーン情報に関連するので、実際のドライバーの注目エリア又は領域を表す。シーン情報は、ドライバー注視ヒートマップの形態で生成されてよい。参照ヒートマップとドライバー注視ヒートマップとを合わせて、例えば、深層学習方法又はルールベースの方法を使用して処理し、車両内のドライバーの注目度を決定する。ドライバーであるシステムが、ドライバーが気を散らしている（例えば、注意を要する高リスクのエリア又は領域に注意を向けない）と決定すると、警告又は勧告がドライバーに周囲の環境や道路の状態に注意を向けるように報知する。

開示の本実施形態は、多くの異なる形態で実施してよく、請求項の範囲は、本明細書に記載される実施形態に限定されると解釈されないものとすることが理解される。むしろ、これらの実施形態は、本開示が徹底的かつ完全であり、本発明の実施形態の概念を当業者に完全に伝えるように提供される。実際、本開示は、添付の請求項によって定義される開示の範囲及び精神に含まれる、これらの実施形態の代替、修正及び等価物をカバーすることを意図している。さらに、開示の本実施形態の以下の詳細な説明において、完全な理解を提供するために、多数の特定の詳細が記載されている。しかしながら、当業者にとっては、開示の本実施形態は、そのような特定の詳細なしに実施されてよいことが明らかとなる。

図１Ａは、本技術の一実施形態によるドライバーディストラクションシステムを示す。ドライバーディストラクションシステム１０６は、ドライバー１０２が座ることのできるキャビンを含む、車両１０１内に設置、さもなければ包含されるように示されている。ドライバーディストラクションシステム１０６、又はその１つ以上の部分は、車室内コンピュータシステム、及び／又は限定されないが、スマートフォン、タブレットコンピュータ、ノートブックコンピュータ、ラップトップコンピュータなどのようなモバイル計算デバイスによって実現してよい。

本技術の特定の実施形態によれば、ドライバーディストラクションシステム１０６は、車両１０１のドライバー１０２のための現在のデータを１つ以上のセンサから取得（又は収集）する。他の実施形態では、ドライバーディストラクションシステム１０６は、また、１つ以上のデータベース１４０から、ドライバー１０２に関する追加情報、例えば、顔特徴、また履歴としての頭部姿勢及び眼の注視との情報など、ドライバーの特徴に関するものを取得（又は収集）する。ドライバーディストラクションシステム１０６は、車両１０１のドライバー１０２に対する現在のデータ及び／又は追加情報を分析し、それによってドライバーの頭部姿勢と眼の注視とを識別する。一実施形態では、ドライバーディストラクションシステム１０６は、後述するように、車両データとシーン情報とを、追加的に監視及び収集する。このような分析は、以下に説明するように、１つ以上のコンピュータ実施ニューラルネットワーク及び／又は他のコンピュータ実施モデルを使用して実施してよい。

図１Ａに示すように、ドライバーディストラクションシステム１０６は、キャプチャーデバイス１０３に通信結合されている。キャプチャーデバイス１０３は、車両データ及びシーン情報とともに、車両１０１のドライバーのための現在のデータを取得するために使用されてよい。一実施形態では、キャプチャーデバイス１０３は、車両１０１のドライバー１０２のための現在のデータを取得するために使用されるセンサ及び他のデバイスを含む。キャプチャーされたデータは、ドライバーの動き、頭部姿勢及び注視方向を検出及び追跡するためのハードウェア及び／又はソフトウェアを含むプロセッサ１０４によって処理してよい。以下にさらに詳細に説明するように、図１Ｂを参照すると、キャプチャーデバイスは、データをキャプチャーするために、１つ以上のカメラ、マイクロホン、又は他のセンサを追加的に含んでよい。別の実施形態では、キャプチャーデバイス１０３は、車両が走行しているルートの前向きのシーン（例えば、周囲の環境及び／又はシーン情報）をキャプチャーしてよい。前向きセンサは、例えば、レーダーセンサ、レーザーセンサ、ｌｉｄａｒセンサ、光学的撮像センサなどを含んでよい。センサはまた、車両１０１の側部、後部及び頂部（上方及び下方を向く）をカバーすることができることが理解される。

一実施形態では、キャプチャーデバイス１０３は、図１Ａに示すように、ドライバーディストラクションシステム１０６の外部にあってよく、又は、特定の実施形態に応じて、ドライバーディストラクションシステム１０６の一部として含まれてよい。本技術の特定の実施形態による、ドライバーディストラクションシステム１０６の一層の詳細は、図１Ｂを参照して後述される。

なお図１Ａを参照すると、ドライバーディストラクションシステム１０６はさらに、車両１０１内に含まれる種々の異なるタイプの車両関連センサ１０５に通信結合されるものとして、示されている。このようなセンサ１０５は、速度計、全地球測位システム（ＧＰＳ）受信機、及びクロックを含んでよいが、これらに限定されない。さらに、ドライバーディストラクションシステム１０６は、１つ以上のデータベース１４０及び／又は他のタイプのデータストアへのアクセスを提供する、１つ以上の通信ネットワーク１３０に通信結合されるものとして、示されている。データベース１４０及び／又は他のタイプのデータストアは、車両１０１のための車両データを記憶してよい。このようなデータの例としては、運転記録データ、運転実績データ、運転免許タイプデータ、ドライバーの顔特徴、ドライバーの頭部姿勢、ドライバーの注視などが挙げられるが、これらに限定されない。そのようなデータは、車両１０１内に位置するローカルデータベース又は他のデータストア内に記憶してよい。しかし、データは、車両１０１に対して遠隔的に配置された１つ以上のデータベース１４０又は他のデータストアに記憶される可能性が高い。従って、そのようなデータベース１４０又は他のデータストアは、１つ以上の通信ネットワーク１３０を介してドライバーディストラクションシステムに通信結合することができる。

通信ネットワーク１３０は、データネットワーク、無線ネットワーク、電話ネットワーク、又はそれらの任意の組み合わせを含んでよい。データネットワークは、任意のローカルエリアネットワーク（ＬＡＮ）、大都市エリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、パブリックデータネットワーク（例えばインターネット）、短距離無線ネットワーク、又は任意の他の適切なパケット交換ネットワークであってよいと想定される。さらに、無線ネットワークは、例えば、セルラネットワークであってよく、グローバル進化のための拡張データレート（ＥＤＧＥ）、一般パケット無線サービス（ＧＰＲＳ）、移動通信のためのグローバルシステム（ＧＳＭ）、インターネットプロトコルマルチメディアサブシステム（ＩＭＳ）、ユニバーサル移動通信システム（ＵＭＴＳ）、その他の任意の他の適切な無線媒体、例えば、マイクロ波アクセスのための世界的相互運用性（ＷｉＭＡＸ）、ロングタームエボリューション（ＬＴＥ）ネットワーク、符号分割多元接続（ＣＤＭＡ）、広帯域符号分割多元接続（ＷＣＤＭＡ）、ワイヤレスフィデリティ（Ｗｉ－Ｆｉ）、無線ＬＡＮ（ＷＬＡＮ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、インターネットプロトコル（ＩＰ）データキャスティング、衛星、モバイルアドホックネットワーク（ＭＡＮＥＴ）など、又はそれらの任意の組み合わせを含む種々の技術を使用してよい。通信ネットワーク１３０は、例えば通信デバイス１０２（図１Ｂ）を介して、ドライバーディストラクションシステム１０６と、データベース１４０及び／又は他のデータストアとの間の通信能力を提供してよい。

図１Ａの実施形態は、車両１０１を参照して説明されているが、開示された技術は、広範囲の技術分野で使用されてよく、車両に限定されないことが理解される。例えば、車両に加えて、開示された技術は、仮想現実又は拡張現実のデバイスにおいて、又は頭部姿勢と注視との推定、車両データ及び／又はシーン情報が要求される可能性があるシミュレータにおいて使用してよい。

本技術の特定の実施形態による、ドライバーディストラクションシステム１０６の一層の詳細について、図１Ｂを参照してここで説明する。ドライバーディストラクションシステム１０６は、キャプチャーデバイス１０３と、１つ以上のプロセッサ１０８と、車両システム１０４と、ナビゲーションシステム１０７と、機械学習エンジン１０９と、入出力（Ｉ／Ｏ）インターフェース１１４と、メモリ１１６と、ビジュアル／オーディオアラート１１８と、通信デバイス１２０と、データベース１４０（ドライバーディストラクションシステムの一部であってよい）とを含む。

キャプチャーデバイス１０３は、運転室内に配置されたセンサ１０３Ａ、カメラ１０３Ｂ又はマイクロホン１０３Ｃなどの１つ以上のキャプチャーデバイスを使用して、キャプチャーされたドライバーの動き及び／又はオーディオデータに基づいてドライバーの挙動（ディストラクションを含む）を監視及び識別することを担うものであってよい。一実施形態では、キャプチャーデバイス１０３は、ドライバーの頭部及び顔の動きをキャプチャーするように配置され、一方、他の実施では、ドライバーの胴体及び／又はドライバーの四肢及び手の動きもキャプチャーされる。例えば、検出及び追跡１０８Ａと、頭部姿勢推定器１０８Ｂと、注視方向推定器１０８Ｃとは、特定の姿勢、例えば頭部姿勢を検出するために、又は人が特定の方向を見ているか否かを検出するために、キャプチャーデバイス１０３によってキャプチャーされたドライバーの動きを監視してよい。

さらに他の実施形態は、ドライバーの移動データとともに、又はドライバーの移動データから分離して、マイクロホン１０３Ｃを介してオーディオデータをキャプチャーすることを含む。キャプチャーされたオーディオは、例えば、マイクロホン１０３Ｃによってキャプチャーされたドライバー１０２のオーディオ信号であってよい。オーディオは、ドライバーの状態に依存して変化してよい様々な特徴を検出するために分析されてよい。このようなオーディオ特徴の例としては、ドライバーの発話、乗客の発話、音楽などが挙げられる。

キャプチャーデバイス１０３は、複数のコンポーネントを有する単一のデバイスとして示されているが、各コンポーネント（例えば、センサ、カメラ、マイクロホンなど）は、車両１０１の異なるエリアに配置された別個のコンポーネントであってよいことが理解される。例えば、センサ１０３Ａと、カメラ１０３Ｂと、マイクロホン１０３Ｃと、深度センサ１０３Ｄとは、各々、車両の運転室の異なるエリアに配置されてよい。別の例では、キャプチャーデバイス１０３の個々のコンポーネントは、別のコンポーネント又はデバイスの一部であってよい。例えば、カメラ１０３Ｂとビジュアル／オーディオ１１８とは、車両の運転室に配置された携帯電話又はタブレット（図示せず）の一部であってよく、一方、センサ１０３Ａとマイクロホン１０３Ｃとは、車両の運転室内の異なる場所に個別に配置されてよい。

検出及び追跡１０８Ａは、キャプチャーデバイス１０３によってキャプチャーされたドライバー１０２の顔特徴を監視する。その後、ドライバーの顔を検出した後に、これを抽出してよい。顔特徴という用語は、限定されるものではないが、眼、鼻、及び口領域を囲む点、ならびにドライバー１０２の検出された顔の輪郭部分の輪郭を描く点を含む。監視された顔特徴に基づいて、ドライバー１０２の眼球の１つ以上の眼特徴の初期位置を検出してよい。眼特徴には、眼球の虹彩、及び第１及び第２眼角が含まれてよい。従って、例えば、１つ以上の眼特徴の各々の位置を検出することは、虹彩の位置を検出することと、第１眼角の位置を検出することと、第２眼角の位置を検出することとを含む。

頭部姿勢推定器１０８Ｂは、監視された顔特徴を使用して、ドライバー１０２の頭部姿勢を推定する。本明細書で使用される用語「頭部姿勢」は、キャプチャーデバイス１０３の平面に関するドライバーの頭部の相対的方向を意味する角度を記述する。一実施形態では、頭部姿勢は、キャプチャーデバイス面に対するドライバーの頭部のヨー及びピッチ角を含む。別の実施形態では、頭部姿勢は、キャプチャーデバイス面に対するドライバーの頭部のヨー、ピッチ及びロール角を含む。

注視方向推定器１０８Ｃは、ドライバーの注視方向（及び注視角度）を推定する。注視方向推定器１０８Ｃの作用では、キャプチャーデバイス１０３は、画像又は画像のグループ（例えば、車両のドライバーの）をキャプチャーしてよい。キャプチャーデバイス１０３は、画像を注視方向推定器１０８Ｃに送信することができ、注視方向推定器１０８Ｃは、画像から顔特徴を検出し、ドライバーの注視を（例えば、経時的に）追跡する。そのような注視方向推定器の１つは、Ｓｍａｒｔ Ｅｙｅ Ａｂ（登録商標）による眼球追跡システムである。

他の実施形態では、注視方向推定器１０８Ｃは、キャプチャーされた画像から眼を検出してよい。例えば、注視方向推定器１０８Ｃは、注視方向を決定するために眼の中心に依存してよい。要するに、ドライバーは、自分の頭の向きに対して前方を見つめていると仮定してよい。いくつかの実施形態において、瞳孔又は虹彩の位置を検出することにより、又は推定された頭部姿勢と、虹彩及び第１及び第２眼角の各々の検出された位置とに基づく幾何学的モデルを使用して、注視方向推定器１０８Ｃは、さらに正確な注視追跡を提供する。瞳孔及び／又は虹彩の追跡により、頭部姿勢から注視方向の結び付きが解除されることの検出が、注視方向推定器１０８Ｃはできるようにされる。ドライバーはしばしば、頭部の動きをほとんど、又は全く伴わずに、周囲の環境を視覚的に走査する（例えば、直接的な視線の外側にあるアイテム又は物体を見やすくするために、左又は右（又は上又は下）を見て）。道路上又は道路付近の物体（例えば、道路標識、道路付近の歩行者などを見るため）に関して、及び車両のキャビン内の物体（例えば、速度などのコンソール読み取り部を見るため、ラジオ又は他のダッシュボード内デバイスを操作するため、又は個人のモバイルデバイスを閲覧／操作するため）に関して、これらの視覚走査は頻繁に生じる。場合によっては、運転手は、最小限の頭の動きで、これらの物体のいくつか又は全て（例えば、自分の眼角よりも外側で）を見る可能性がある。瞳孔及び／又は虹彩を追跡することによって、注視方向推定器１０８Ｃは、これと別に頭部位置を単に追跡するシステム内で検出されなくなる、上方、下方、及び横方向の視線が検出できる。

一実施形態では、検出された顔特徴に基づいて、注視方向推定器１０８Ｃは、プロセッサ１０８に注視方向を（例えば、車両のオペレータの注視について）決定させてよい。いくつかの実施形態において、注視方向推定器１０８Ｃは、画像のシリーズ（及び／又はビデオ）を受領する。注視方向推定器１０８Ｃは、複数の画像（例えば、画像のシリーズ又はシーケンス）における顔特徴を検出してよい。従って、注視方向推定器１０８Ｃは、注視方向を経時的に追跡し、例えばデータベース１４０にそのような情報を記憶してよい。

さらにプロセッサ１０８は、前述の姿勢及び注視検出に加えて、ａ、画像補正器１０８Ｄ、ビデオエンハンサ１０８Ｅ、ビデオシーン分析器１０８Ｆ、及び／又は他のデータ処理及び分析を含み、キャプチャーデバイス１０３によってキャプチャーされたシーン情報を決定してよい。

画像補正器１０８Ｄは、キャプチャーされたデータを受領する。ビデオ安定化などの補正を生じる可能性がある。例えば、道路上のこぶは、データを揺らし、ぼけを生じさせ、又は歪ませる可能性がある。画像補正器は、画像を水平方向及び／又は垂直方向の揺れに対して安定させてよく、及び／又はパン、回転、及び／又はズームに対して補正してよい。

ビデオエンハンサ１０８Ｅは、照明が不十分であるか、又はデータ圧縮が大きい状況において、追加の強調又は処理を実行してよい。ビデオ処理及びエンハンスメントには、ガンマ補正、ヘイズ除去、及び／又はぼけ除去が含まれてよいが、これらに限定されない。他のビデオ処理強化アルゴリズムは、低照度ビデオの入力におけるノイズを減少させるように動作し、その後、低照度ビデオにおける視覚情報を回復するために、トーンマッピング、ヒストグラムストレッチ及び均等化、ならびにガンマ補正などのコントラスト強調技術が続くが、これらに限定されない。

ビデオシーン分析器１０８Ｆは、キャプチャーデバイス１０３からはいってくるビデオのコンテンツが認識できる。例えば、ビデオのコンテンツは、車両の前向きカメラ１０３Ｂからのシーン又はシーンのシーケンスを含んでよい。ビデオの分析は、限定はされないのであるが、特徴抽出、構造分析、物体検出、及び追跡のような低レベル内容分析から、シーン分析、イベント検出、及びビデオマイニングのような高レベルセマンティック分析までのような、種々の技術を含んでよい。例えば、はいってくるビデオ信号のコンテンツを認識することによって、車両１０１が高速道路に沿って走行しているか、又は市内を走行しているか、歩行者、動物、又は他の物体／障害物が道路上にあるか、などを決定してよい。画像分析（例えば、ビデオシーン分析など）を実行する前に、又は実行する間に同時に、画像処理（例えば、画像補正、ビデオ強調など）を実行することによって、画像データは、実行される分析のタイプに特有の方式で作成されてよい。例えば、ぼけを減少させるための画像補正は、物体認識に使用されるエッジラインの外観を明確にすることによって、ビデオシーン分析をより正確に実行することを可能にすることがある。

車両システム１０４は、車両の任意の状態、車両周囲の状態、又は車両に接続された任意の他の情報源の出力に対応する信号を提供してよい。車両データ出力は、例えば、アナログ信号（例えば、現在の速度）と、個々の情報源によって提供されるデジタル信号（例えば、クロック、温度計、位置センサであり例えば全地球測位システム［ＧＰＳ］センサなど）と、車両データネットワークを介して伝搬されるデジタル信号（例えば、エンジン関連情報が通信できるエンジンコントローラエリアネットワーク（ＣＡＮ）バス）、気候制御関連情報が通信できる気候制御ＣＡＮバス、及び車両内のマルチメディアコンポーネント間でマルチメディアデータを通信するマルチメディアデータネットワーク）とを含んでよい。例えば、車両システム１０４は、車輪センサによって推定された車両の現在の速度、車両のバッテリ及び／又は配電システムを介する車両の電力状態、車両の点火状態などをエンジンＣＡＮバスから取り出してよい。

車両１０１のナビゲーションシステム１０７は、位置情報（例えば、ＧＰＳセンサ及び／又は他のセンサ１０５を介して）、経路誘導、交通情報、関心地点（ＰＯＩ）識別のようなナビゲーション情報を生成及び／又は受信してよく、及び／又はドライバーのために他のナビゲーションサービスを提供してよい。一実施形態では、ナビゲーションシステム又はナビゲーションシステムの一部が、車両１０１と通信結合され、車両１０１から離れた場所に配置されている。

入出力インターフェース１１４は、種々の入出力デバイスを使用して、ユーザ及び／又は他のコンポーネント又はデバイスに情報を提示することを可能にする。入力デバイスの例は、キーボード、マイクロホン、タッチ機能（例えば、物理的接触を検出するように構成された容量性センサ又は他のセンサ）、カメラ（例えば、可視又は不可視波長を使用して、接触を伴わないジェスチャーとして動作を認識してよい）などを含む。出力デバイスの例には、ディスプレイ、スピーカなどのようなビジュアル／オーディオアラート１１８が含まれる。一実施形態では、Ｉ／Ｏインターフェース１１４は、キャプチャーデバイス１０３からドライバー１０２のドライバー移動データ及び／又はオーディオデータを受領する。ドライバー移動データは、例えば、プロセッサ１０８によって分析されてよいドライバー１０２の目と顔とに関連付けられてよい。

ドライバーディストラクションシステム１０６によって収集されたデータは、データベース１４０、メモリ１１６、又はそれらの任意の組み合わせに記憶されてよい。一実施形態では、収集されたデータは、車両１０１の外部の１つ以上のソースからのものである。記憶された情報は、キャプチャーデバイス１０３によってキャプチャーされた情報のような、ドライバーのディストラクション及び安全性に関連するデータであってよい。一実施形態では、データベース１４０に記憶されたデータは、車両１０１の１人以上のドライバーについて収集されたデータの集合であってよい。一実施形態では、収集されたデータは、車両１０１のドライバーのための頭部姿勢データである。別の実施形態では、収集されたデータは、車両１０１のドライバーの注視方向データである。さらに、機械学習エンジン１０９のような機械学習のためのモデルをトレーニングするために使用できるデータセット及び情報を生成するために、収集されたデータは使用されてよい。

一実施形態では、メモリ１１６は、プロセッサ１０８によって実行可能な命令と、機械学習エンジン１０９と、プロセッサ１０８によってロード可能及び実行可能なプログラム又はアプリケーション（図示せず）とを記憶してよい。一実施形態では、機械学習エンジン１０９は、プロセッサ１０８によって実行可能であり、メモリ１１６（又はデータベース１４０）に記憶された１つ以上の機械学習モデルを選択する、メモリ１１６に記憶された実行可能コードを含む。機械モデルは、以下にさらに詳細に説明する畳み込みニューラルネットワーク（ＣＮＮ）の実施のような、周知の従来の機械学習及び深層学習技術を使用して開発されてよい。

図２は、開示の実施形態によるドライバーディストラクション情報を取得するための例示的なフロー図を示す。実施形態では、フロー図は、種々の図面に示され、本明細書に記載されるように、少なくとも部分的にハードウェア及び／又はソフトウェアコンポーネントによって実施されるコンピュータ実施される方法であってよい。一実施形態では、開示されたプロセスは、図１Ａ及び図１Ｂに開示されたドライバーディストラクションシステム１０６によって実行されてよい。一実施形態では、プロセッサ１０８又はプロセッサ８０２のような１つ以上のプロセッサにより実行されるソフトウェアコンポーネントは、プロセスの少なくとも一部を実行する。

ドライバーディストラクション情報（結果）を取得するプロセスは、２つの区間に分割されて示されている。区間２０１Ａでは、ドライバー注視ヒートマップを生成するためのドライバー１０２の情報のキャプチャーを記述し、区間２０１Ｂでは、参照ヒートマップを生成するためのシーン情報と車両データとの収集を記述する。プロセスは、説明のために２つの区間に分割されるように示されているが、実施中に、区間は、並行して又は同時に実施されてよい。

区間２０１Ａに示されるプロセスは、ステップ２０２で、頭部姿勢及び注視推定を決定するために、ドライバーの視覚情報（例えば、ドライバーの画像）をキャプチャーするように、１つ以上のキャプチャーデバイス１０３を使用する。キャプチャーデバイス１０３は、ドライバー対向センサ（赤外線、超音波、画像、深度など）、カメラ、マイクロホンなど）を含んでよいが、これらに限定されない。ドライバーの視覚情報は、キャプチャーデバイス１０３から抽出される。検出及び追跡１０８Ａによる検出及び追跡、頭部姿勢推定器１０８Ｂによる頭部姿勢推定、及び／又は注視方向推定器１０８Ｃによる注視方向推定のために、ドライバーの視覚情報はプロセッサ１０８に送られる。注視方向推定器１０８Ｃでは、注視方向（角度）と注視持続時間とを推定する。

一実施形態では、ドライバーの注視方向と注視持続時間とはリアルタイムで監視され、三次元（３Ｄ）ベクトル又は水平角度及び垂直角度として解釈されてよい。しかし、幾何学に基づく方法又は深層学習方法のような、注視方向を推定するために、任意の数のアプローチを実施してよい。幾何学に基づく方法は、注視方向を取得するために、近推定光と、ドライバーの虹彩と眼の中心とにおける近推定光の反射との間の幾何学的関係を使用する。例としては、近赤外（ＮＩＲ）照射を使用して角膜反射を作成し、瞳孔中心に対してそれを追跡し、注視ベクトルを推定する二次元（２Ｄ）モデル及び３Ｄモデルがある。これらの方法は、注視方向又は注視点を取得するために眼の多項式の又は幾何学的近似を必要とする。別の技術は、外観に基づく方法を含み、それは、眼領域画像を使用して、眼の方向を推定するために、眼領域の局所的特徴、形状及びテクスチャーのようなコンテンツ情報を抽出する。さらに、深層学習アプローチは、外観情報から情報を抽出するために、畳み込みニューラルネットワーク（ＣＮＮ）のようなニューラルネットワークを使用する。ＣＮＮは、勾配降下に基づく最適化によって、ラベル付き例を使用して入力データ（例えば、顔画像）上の複数レベルの非線形変換を学習する能力を有する。ＣＮＮは、特徴マップと、非線形性と、特徴マップをダウンサンプリングするプーリング層／ダウンサンプリング層と、完全に接続された層とを生成するために、入力に畳み込みを行う完全にパラメータ化された（トレーニング可能な）フィルタを含む。

ドライバーの注視方向と注視持続時間とを推定するために、上述の（又はその他に当技術分野で既知の）技術のいずれかを使用して、ヒートマップがステップ２０４で生成されてよい。ヒートマップの生成について、図３Ｂを参照して以下に説明する。

区間２０１Ｂに示されたプロセスは、シーン情報と車両データとをキャプチャーするために１つ以上のキャプチャーデバイス１０３を使用する。一実施形態では、ステップ２０６Ａでシーン情報が収集される。シーン情報は、車両を取り巻く環境から取得される情報、例えば、道路状態（例えば、舗装された、汚れた、ポットホール、丘、雪が積もった、雨に降られたなど）、ストリート（例えば、ストリート名、交差道路、交差点など）、周囲の環境の地図及び景観（例えば、画像又はオンライン地図、レーダー地図などによって決定される）、天気（例えば、暑さ、寒さ、雪、雨、乾燥など）、１日の時間（例えば、朝又は夕方など）、光の状態（例えば、晴れ、暗いなど）、追跡又はナビゲーションシステム（例えば、ＧＰＳ）によって取得された情報などを含んでよい。シーン情報をキャプチャーするために使用されるキャプチャーデバイス１０３は、限定されるものではないが、ｌｉｄａｒセンサ、カメラ、赤外線センサ、レーダーセンサ、レーザー距離計、ビデオセンサなどを含んでよい。

一実施形態では、ステップ２０６Ｂで車両データが収集される。車両データには、速度、位置、方位、タイヤ圧力、それる量のデータ、トリップデータの持続時間、先行車両データ（又は履歴データ）、ヘッドライト使用量、レーン変更データ、ターンデータ、ターン信号情報などが含まれるが、これらに限定されない。車両データをキャプチャーするキャプチャーデバイス１０３は、コンパス、ナビゲーションシステム、位置及び方向センサ、イメージセンサ、地理情報センサ、ステアリングホイールセンサ、ブレーキセンサ、ペダルセンサ、速度計、日時センサ、テレメトリセンサなどを含んでよいが、これらに限定されない。一実施形態では、ステップ２０６Ｂで収集された車両データ２０６Ｂは、ドライバーの意図又は動作を示してよい。例えば、ステアリングホイールセンサがステアリングホイールの急速なターンを示す出力を提供し、ブレーキセンサがしっかりとブレーキが押されていることを示す場合に、この組み合わせは、ドライバーがブレーキをかけて物体の周囲でそれることによって物体に衝突することを回避しようとしていることを示してよい。

さらに、ドライバーの「意図」又は「動作」は、ある期間にわたって収集されたドライバーの履歴データ（例えば、個々のドライバー、又は複数の異なるドライバーの情報）、リアルタイムでの車両データ、及び／又はリアルタイムの車両データと履歴データとの組み合わせに基づいてよく、又はこれらから見出してよい。収集された履歴データは、様々な動作を実行するとき、又は特定の活動中に、ドライバーの意図を示す、又はそれを反映する動作のパターン又はシーケンスを識別してよい。また、履歴データは、ドライバーの経験年数、経験の種類、交通事故の履歴、雇用職員記録からのアイテム、速度違反及び／又はその他の交通違反の履歴、数、深刻度、及び種々のドライバー挙動での先立って識別された出来事の長さに関する情報を含んでよい。一実施形態では、ドライバーディストラクションシステム１０６は、ドライバー履歴の一部として、特定のドライバー又はドライバーたちのための運転プロファイルを収集し、データベース１４０又はメモリ１１６に記憶してよい。例えば、ドライバーのプロファイルはまた、ドライバーがどのくらい速く加速又は減速するか、例えば夜間運転、雨又は雪中運転などの特定の運転条件のための通常の速度、ドライバーがどのくらいの頻度で中央線に対して急にそれるか、又は横断するかなどを含んでよい。一実施形態における履歴データは、ドライバーの保険会社のデータベースなど、データベース１４０又はメモリ１１６から検索してよい。履歴データはまた、道路プロファイル、道路網構造、運転ルートに関連する停止の数、運転ルートに関連するターンの数などの、１つ以上の運転ルートに関する情報を含んでよい。

キャプチャーデバイス１０３は、ステップ２０６Ａでシーン情報を収集し、ステップ２０６Ｂで車両データを収集する。一旦収集されると、シーン情報と車両データとが抽出され、車両システム１０４、ナビゲーションシステム１０７及びプロセッサ１０８のうち少なくとも１つに送られてよい。一実施形態では、抽出された画像は、画像補正器１０８Ｄによって補正されてよい。ビデオは、ビデオエンハンサ１０８Ｅによって強調されてよく、ビデオシーンは、追加の処理のためにビデオシーン分析器１０８Ｆによって分析されてよい。シーン情報と車両データとが収集されると、参照ヒートマップが２０８で生成されてよい。後述するように、安全運転に関連し、ドライバーの注目度のレベルが低いことが必要なエリア又は領域を、参照ヒートマップは含む。また、ディストラクション運転に関連し、ドライバーの注目度のレベルが高いことが必要なエリア又は領域を含む。一実施形態では、重み又はスコアは、エリア及び領域に関連する。

例えば、悪天候、ラッシュアワー中、又は夜間である場合の周囲の環境の様々なエリア又は領域は、良好な天候、非ラッシュアワー中、及び昼間である場合の周囲の環境のエリア又は領域よりも、高いレベルのドライバーの注目を必要とする。これらのエリア又は地域は、やや低いレベルのドライバーディストラクションが起こりやすい安全運転エリア、及びやや高いレベルのドライバーディストラクションが起こりやすい、ディストラクション運転エリアとみなしてよい。別の例では、ドライバーは、直線道路又は袋小路に沿って走行する場合に必要とされるよりも、曲がりくねった道又は高速道路に沿って走行する場合に、さらに高いレベルの注目を必要とする可能性がある。この場合に、曲がりくねった道又は高速道路に沿って走行するドライバーは、ドライバーディストラクションのレベルが高いエリア又は領域を有する可能性があるが、直線道路又は袋小路に沿って走行するドライバーは、ドライバーディストラクションのレベルが低いエリア又は領域を有する可能性がある。以下で説明するように、ドライバーが注意を払っているこれらのエリア又は領域は、参照ヒートマップで特定可能である。

ステップ２１０では、プロセッサ１０８などの少なくとも１つのプロセッサが、ステップ２０４で生成されたドライバー注視ヒートマップと、２０８で生成された参照ヒートマップとを処理する。一実施形態では、ドライバー注視ヒートマップと参照ヒートマップとを統合（又は融合）し、処理して、ドライバーの注目を必要とする（又は必要としない）エリア及び領域を識別してよい。例えば、ドライバー注視ヒートマップと参照ヒートマップとは、参照ヒートマップを生成する処理のために、エンコーダ／デコーダネットワークのような深層学習ネットワークに入力されてよい。深層学習ネットワークと参照ヒートマップとの説明は、図３Ａ及び３Ｂを参照して以下に提供される。

ステップ２１０におけるドライバー注視ヒートマップと参照ヒートマップとの処理の出力は、ステップ２１２におけるドライバーディストラクションのレベルを表す結果を生成する。結果によっては、ドライバーの注目が出力の様々なエリア又は領域に向けられる可能性がある。一実施形態では、結果は、視覚的及び／又は音声的な勧告又は警告として出力されてよい。例えば、フロントガラス下の発光ダイオード（ＬＥＤ）のような視覚的警告がオンにされてよく、又は道路シナリオが、ドライバーにハイライトされたエリア又は領域に注意を払うことを勧告するスクリーン上に表示されてよい。もう１つの例は、音声による勧告又は警告を含む。このような勧告や警告には、ドライバーが注意を向けるべき場所を表示する、スピーカのビープ音や言葉によるアナウンスが含まれる。ドライバーディストラクションの結果については、以下に詳しく説明する。

図３Ａは、図２による参照ヒートマップの作成例を示す。一実施形態では、参照ヒートマップ２０８は、収集されたシーン情報２０６Ａと、ＣＮＮ３０６のような深層学習ネットワークによって処理された車両データ２０６Ｂとの組み合わせを使用して生成される。一実施形態では、ＣＮＮ３０６はエンコーダ／デコーダタイプのＣＮＮである。ＣＮＮ３０６のエンコーダ部（入力が受信されるところであり、この場合は、シーン情報及び車両データ）は、低レベル画像情報（例えば、無地色の画素）から高レベル情報（物体、例えば、車、横断歩道、信号など）を抽出する。特に、エンコーダ／デコーダタイプのＣＮＮ３０６は、３つのタイプのネットワーク、即ち、畳み込み、プーリング、及びバッチ正規化を含んでよい。畳み込み層は局所的特徴を抽出し、プーリング層は特徴マップをダウンサンプリングし、特殊な不変特徴を深い層に伝播し、バッチ正規化層は学習を加速するためにトレーニングデータの分布を正規化する。エンコードの完了時に、元のシーンの特徴マップが抽出され、出力が特徴ベクトルであるようにサイズ変更される。車両データからドライバーの意図を取得するために、車両データ（ベクトルとして収集される）は、特徴ベクトル（完全に接続された層と連結される）に連結される。その後、特徴ベクトルは、特徴マップとなるように再びサイズ変更される。エンコード後、デコーダ部（出力が生成されるところであり、この場合は参照ヒートマップ）は、高レベル情報を受け取り、それを別の中位のレベルにマッピングして、同じサイズの画像に改めることにより、同じラベルを持つ物体は同じ色（ヒートマップの場合）が割り当てられるようにする。具体的には、デコーダは、エンコーダ部に入力された画像と同じサイズに画像をアンサンプリングし、別の畳み込みを実行する。この畳み込みは、エンコード中のプーリング層での損失を補うために、特徴マップに幾何学的詳細を追加し、その結果、一層滑らかで一層エイリアスの少ない出力をもたらす。ＣＮＮ３０６の一層の説明は、図３Ｂを参照して以下に見出される。

参照ヒートマップ２０８は、リアルタイムで生成されてよく、異なる色、インジケータ（例えば、数字、ポインタなど）、又は他の識別技術を使用して、エリア又は領域を識別してよい。参照ヒートマップ２０８上で同定されたこれらのエリア又は領域は、ドライバーの注目のレベル又は程度を変化させる必要があるエリア又は領域に対応してよい。例えば、ヒートマップ２０８は、加重したドライバー注目レベルを有するエリア又は領域を含んでよく、ここで、正の値を有するエリア又は領域は、一層多くのドライバー注目が必要とされることを示す。一方、負の値を有するエリアは、一層少ないドライバー注目しか必要とされない。（図示された実施形態では、色の代わりにグレイスケールが使用されることが理解される。）一例では、カラースケール３０８Ａは、赤色を使用して、一層高いレベル又はドライバーの注目を必要とするエリア又は領域を示してよい。一方、一層低いレベル又はドライバーの注目を必要とするエリア又は領域は、緑色を使用してよい。特定のエリア又は領域が、一層多い又は一層少ない注目を必要とするように、参照ヒートマップ２０８上の色及び／又はインジケータは、ドライバーのために必要とされる注目のレベル又は程度を反映するように変化してよい。例えば、信号を含むエリア又は領域は、赤色であってよく、又は、信号を監視するために所定の期間、ドライバーの注目を変えさせるインジケータ（例えば矢印）を有してよい。別の例では、ドライバーの注目は、歩行者が通りを横切って歩行する際にこの歩行者に追従するために変えさせられる可能性がある。歩行者が歩いているエリアや領域は、色（赤など）でハイライトしてよいし、インジケータでハイライトしてよい。同様に、標識や広告掲示板のように、ドライバーの注目の低いレベルを必要とするエリアや領域は、緑色を使用してハイライトしてよい。場合によっては、ドライバーの注目のレベル又は程度は、ユーザプロファイル又は車両が運転しているルートに基づいてよい。他の例では、横断歩道、曲がりくねった道などのような、ドライバーの注目を一般的に必要とする、既知の又は一般的に認識される領域によって、ドライバーの注目のレベル又は程度が決定されてよい。

シーン情報２０６Ａを収集するためのセンサ測定は、車両１０１を取り囲む環境の画像又はビデオ（例えば、画像のセット）を含む。画像又はビデオは、例えば、車両１０１の前方から向けられた（例えば、車両の外側に取り付けられたフロントガラスを通して、など）外向きカメラによってキャプチャーされてよい。カメラの視野は、車両１０１の前方に向かう道路の全部又は一部（例えば、車両の前方に向かう前景、車両が動いているレーン、隣接するレーン又は複数レーンなど）を含む。任意には、カメラの視野は、車両１０１の側面（例えば、ドライバーの側、乗客の側）への、また車両１０１の後方への、また車両１０１の上方（例えば、サンルーフ及び／又はムーンルーフを通して）のエリア又は領域を含んでよく、又は、車両１０１の外側の環境の任意の他の適切な部分を含んでよい。一実施形態では、画像を使用して、環境内の車両の位置（例えば、車両を位置特定する）、レーン内の位置、他の物体（例えば、車両、歩行者など）に対する位置などを光学的に識別及び／又は追跡してよい。車両１０１の前方又は側方に物体があるか否か、道路が山道であるかカーブを有するか否かなど、走行状況を決定するために画像を追加的に使用してよい。画像は、車両データによって取得されてよい情報でもあるが、道路のレーン内のドリフトのような他の要因を決定、検証、及び／又は認証するために追加的に使用してよい。

画像及びビデオは、任意の数の異なるセンサによって、任意の数の異なる形態でキャプチャーしてよい。例えば、画像は、視覚スペクトル画像、ハイパースペクトル画像、赤外線画像であってよく、又は任意の他の適切な波長でサンプリングされてよい。画像は、周辺光、発光器によって放射される光（例えば、ＬＥＤフラッシュなど）、又は任意の他の適切な光源を使用して記録してよい。画像は、立体画像（例えば、立体カメラによって記録される）、単一の画像、又は任意の他の適切な画像であってよい。さらに画像は、上述のように、画像のシーケンスとして結合されてビデオを形成してよい。図示された例では、画像（収集されたシーン情報２０６Ａによって表される）は、車両１０１に取り付けられた運送の対向カメラによってキャプチャーされた道路及び建物のストリートシーンである。キャプチャーされた画像では、ストリートシーンには、歩道（道路の一方の側）、信号機、標識、及び横断歩道の人々も含まれている。画像は、ナビゲーションシステム１０７によって生成されたオンラインマップ３０２のようなマップに対応するストリートシーンを表してよい。一実施形態では、ナビゲーションシステム１０７は、ナビゲーション情報を画像上に重ねる。例えば、画像は、オンラインマップ３０２上の位置のビュー（黒い点としてマップ上に表される）であってよく、ターン信号（湾曲した矢印によって表される）が画像にオーバーレイを行ってよい。

一実施形態では、センサ測定値は、車両１０１上のセンサによって収集される車両データ２０６Ｂを含む。車両データ２０６Ｂは、車両データバスを介して車両１０１から受信されてよく、車両１０１から無線通信されてよく、又は別の方法で車両１０１から受信されてよい。車両データ２０６Ｂは、制御パネル信号（例えば、無線が変更されているか否か、ユーザインターフェースが使用されているか否かなど）、ステアリングホイール信号（例えば、ステアリングホイール上の接触、高圧領域、高温領域の数など）、座席センサ信号（例えば、ドライバーの重量の分布又は経時変化など）、又は任意の他の適切な測定値セットを含んでよいが、これらに限定されない。センサ測定値はまた、車両１０１内又は上に設けられた、車両のコンピュータ又は通信／ネットワークバス、及び／又は１つ以上のセンサ（例えば、ブレーキセンサ、ペダルセンサ、測位センサ、走行距離計センサ、速度センサ、タイヤ圧力センサ、レーン逸脱センサ、追従距離センサ、ロール安定性センサ）から取得された任意の他の車両情報を含んでよい。

図３Ｂは、図３Ａの実施形態による例示的なＣＮＮを示す。図示された例では、ＣＮＮ３０６Ａは、ＣＮＮ層３０８_１、３０８_２．．．３０８_Ｎと、特徴マップ３１０_１、３１０_２．．．３１０_Ｎと、１×１のＣＮＮ層３１２とを含む。ＣＮＮ層３１２は、画素ダウンサンプラ３１２とヒートマップ発生器３１６とに結合されるか、又はそれらを含む。予めトレーニングされたＣＮＮ３０６は、各画像３０５内の様々な空間及び／又は物体の位置領域を検出するために、１つ以上の画像３０５を受信する。画像３０５は、ＣＮＮ３０６Ａによって受信される。例えば、道路、建物及び他の識別可能な物体（例えば、他の車、人、動物など）を有する、図３Ａのシーン情報２０６Ａのようなシーンを、画像は含んでよい。ＣＮＮ３０６Ａは、その畳み込み層３０８_１、３０８_２．．．３０８_Ｎを介して、畳み込み計算を行い、特徴マップ３１０_１、３１０_２．．．３１０_Ｎを生成する。特徴マップ３１０_１、３１０_２．．．３１０_Ｎが抽出され、特徴ベクトルとなるように出力される。ベクトルは、車両速度、ターン状態、ブレーキ状態、ナビゲーション命令などを含む特徴ベクトルに連結され、特徴ベクトルは、特徴マップ３１０_１、３１０_２．．．３１０_Ｎとなるようにサイズ変更される。続いて、１×１畳み込み層３１２は、本明細書では画素ごとの決定点と呼ばれる画素ごとの単一の決定点に、特徴マップ３１０_１、３１０_２．．．３１０_Ｎを削減する。分類器（図示せず）は、画素ごとの決定点を使用して、特定の画素が「横断歩道」ターゲットクラスのような特定のターゲットクラスに属するか否かを決定する。

一実施形態では、画素ダウンサンプラ３１４が、評価すべき画素ごとの決定点の数を減少するために使用される。画素ダウンサンプラ３１４は、４×ダウンサンプリングのように、画素ごとの決定点をダウンサンプリングする。次に、ダウンサンプリングされた各画素（例えば、４×）に対して、ヒートマップ生成器３１６は、ダウンサンプリングされた画素ごとの決定点が特定のターゲットクラスに属するか否かを決定する。次に、ヒートマップ生成器３１６は、ターゲットクラスに対応する物体を含む画像３０５内のエリア又は領域を、ダウンサンプリングした画素ごとのベースで識別する、ヒートマップ３１８を生成する。一実施形態では、ヒートマップ３１８は、異なる物体（例えば、歩行者、道路、横断歩道、信号機、車両など）に対応するエリア又は領域を識別するために評価される。従って、画像３０５のエリア又は領域において、異なる物体タイプの異なる画像ターゲットクラスが識別されてよい。例えば、参照ヒートマップ２０８上のエリア又は領域は、歩行者に対応する第１ターゲットクラスと、道路上の横断歩道に対応する第２ターゲットクラスとであると決定された、画素ごとの点を有してよい。

図４は、車両のドライバーの注視方向と注視持続時間とに基づいてドライバー注視ヒートマップを生成する例示的な実施形態を示す。図示のように、環境４０２（例えば、シーン情報によって表されるストリートシーン）は、車両１０１に結合されたキャプチャーデバイス１０３によってキャプチャーされる。ドライバー１０２がルートに沿って車両１０１を運転している間、ドライバーの注視方向と注視持続時間とが監視できる。キャプチャーされた注視方向と注視持続時間とは、例えば、検出及び追跡１０８Ａ、頭部姿勢推定器１０８Ｂ、及び／又は注視方向推定器１０８Ｃを使用して処理されてよい。上述したように、ドライバーの注視方向と注視持続時間とを追跡するために、任意の異なる数の注視推定技術を使用してよい。

一実施形態では、処理された注視方向と注視持続時間とは、車両１０１のドライバー１０２によって見える環境４０２内のエリア又は領域を表す注視軌跡（黒の実線によって表される）を生成してよい。例えば、一般化された領域を注視するのに費やされた時間の量とともに、１つ以上の一般化された領域（例えば、上方、下方など）に対応するドライバーの注視方向が追跡され、注視軌跡を生成するのに使用されてよい。さらに具体的には、注視方向と注視持続時間とは、Ｇ_ｔ＝［（ｘ，ｙ），ｔ］の式に従って表されてよく、ここで、（ｘ，ｙ）は、環境４０２における注視の二次元（２Ｄ）位置を表し、ｔは、注視方向の収集中のタイムスタンプを表す。この情報を使用して、注視軌跡は、時刻ｔ_１から時刻ｔ_２までの期間（持続時間）の間、環境４０２に対してプロットされてよい。理解されるように、ドライバー１０２の複数の注視方向と注視持続時間との情報は、車両１０１がルートに沿って移動する際に、異なる期間及び異なる環境で収集されてよい。任意には、一実施形態では、注視軌跡は、フィルタリングされた注視軌跡４０４を生成するためにノイズを除去するために、例えば、カルマンフィルタ、移動平均フィルタなどを使用して環境４０２からフィルタリングされてよい。次いで、フィルタリングされた注視軌跡を環境４０２に適用して、ドライバー注視ヒートマップ４０６を生成してよい。一実施形態では、注視軌跡における各注視方向と注視持続時間とについて、注視方向と注視持続時間とは、ガウス分布（又は正規分布）を使用して累積され、注視ヒートマップに記録される。その結果、さらに多くの注視軌跡を有するエリア又は領域が、ドライバー１０２によるさらに高い視野を有する位置として指定されてよい。

ドライバー注視ヒートマップ４０６は、一定期間（持続時間）にわたるドライバー注視方向に関する統計情報を提供する。例えば、ドライバー注視ヒートマップ４０６は、ドライバーが運転中に見ていた持続時間の間、ドライバー注視のエリア又は領域（特定のクラス又は物体に関連してよい）を示してよい。一実施形態では、ドライバー注視ヒートマップ４０６は、ドライバー１０２から最も注目される位置を示す、ハイライトされたエリア又は領域（グレイスケールで示される）を有する環境（例えば、ストリートシーン）の視覚的表現である。例えば、赤、オレンジなどの色がドライバーの注目の一層高いレベルのエリアを示し、青、緑などの色がドライバーの注目の一層低いレベルのエリア又は領域を示す、伝統的なヒートマップの形態を、これらのハイライトされたエリア又は領域は取ってよい。しかしながら、図形、ロゴ、画像などの任意の形式の視覚的表現を使用してよい。他の実施形態では、ハイライトされた領域は、ドライバーの注目のレベルを示す値で重み付けされてよい。エリア又は領域がドライバーによる特定のレベルの注目を必要とする位置を表す参照ヒートマップ２０８とは異なり、ドライバー注視ヒートマップ４０６内のエリア又は領域は、注視方向と注視持続時間とに基づくドライバーの注目のレベルを表すことが理解される。

図５は、図３Ａ及び図４による参照ヒートマップとドライバー注視ヒートマップとを使用するドライバー注目度ネットワークを示す。ドライバー注目度ネットワーク５００は、参照ヒートマップ２０８とドライバー注視ヒートマップ４０６とを入力とし、サイアミーズニューラルネットワーク（φ）のような深層学習ネットワークを使用して入力をマージすることにより、ドライバー注目度の結果（注目の結果）５０８を生成する。サイアミーズ型ニューラルネットワークは、２つの比較可能な入力間の類似性を決定する。この場合には、参照ヒートマップ２０８とドライバー注視ヒートマップ４０６との間の類似性である。

サイアミーズニューラルネットワークは、２つの比較可能なサブネットワーク５０２Ａ及び５０２Ｂを有し、サブネットワークは、同じパラメータ及び重みを有する。参照ヒートマップ２０８は、畳み込み、プーリング、完全に接続された層と特徴ベクトルＲとのシーケンスを含む、第１サブネットワーク５０２Ａに入力される。特徴ベクトルＲは、入力（即ち、参照ヒートマップ）のエンコードを表す。一実施形態では、参照ヒートマップ２０８は、グラウンドトゥルースとして使用される。同様に、ドライバー注視ヒートマップ４０６は、畳み込み、プーリング、完全に接続された層と特徴ベクトルＧとのシーケンスを含む、第２サブネットワーク５０２Ｂに入力される。特徴ベクトルＧは、入力（即ち、ドライバー注視ヒートマップ）のエンコードを表す。次に、例えば損失関数を使用して、２つのエンコードの間の距離を決定するために、２つの特徴ベクトルＲ及びＧを評価してよい。結果は、上述のように、マージ又は融合されて、ドライバー注目ヒートマップ５０６を形成し、サイアミーズネットワーク５００はドライバー注目結果５０８を出力する。サイアミーズニューラルネットワークの一例は、Ｋｏｃｈ他による“Ｓｉａｍｅｓｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｏｎｅ－ｓｈｏｔ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ，” Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ， Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｏｒｏｎｔｏに記載されている。

ドライバー注目結果５０８は、一般的に、ドライバーが注意深く運転しているか、気を散らして運転しているかを識別する。ドライバー注目結果５０８に基づいて、ドライバーディストラクションシステム１０６は、ドライバー１０２をさらに監視し、及び／又は警告又は勧告を提供するように進行してよい。一実施形態では、ドライバーが注意深く運転していることを注目結果５０８が示している場合に、ドライバーディストラクションシステム１０６は、運転が完了するまで、ステップ５１２で車両のドライバー１０２を監視し続けてよい。別の実施形態では、ドライバー１０２が気を散らして運転していることを注目結果５０８が示している場合に、図６の例に示すように、ステップ５１４でドライバー１０２に警告又は勧告を出してよい。警告又は勧告は、視覚的警告及び／又はオーディオ警告信号を使用して、ドライバーの注目を保持してよい。ドライバーが注意を払うべき、ディスプレイ６０２上の光の点滅又は言葉でのメッセージのような視覚的警告が、オンにされる。さらに、他の視覚的警告は、矢印、ポインタ、又は他の任意のインジケータのような、様々な他の形式で表示してよい。視覚的警告は、ヘッドアップディスプレイ又はモバイルデバイスのディスプレイなど、任意の数の異なる媒体に表示してよい。さらにオーディオ警告は、視覚的警告と別途に又は組み合わせて、ドライバーの注目をつかむために再生されてよい。例えば、車内で再生するスピーカは、大きな騒音を再生したり、ホテルの火災警報に似た勧告をアナウンスしたりしてよい。

一実施形態では、ドライバーのディストラクションのレベルは、スコア又はスコアリングスケールに従って測定してよい。例えば、ドライバーのディストラクションのレベルは、１ないし１００のスケールに基づいて決定されてよい。１というスコアは、ドライバー１０２が気を散らしていない、又は注意深く運転していることを示してよい。一方、１００というスコアは、ドライバー１０２が完全に気を散らしていること、又は、高いレベルのドライバーの注目を要する場所であると決定された環境のエリア又は領域に、注意を払っていないことを示してよい。１ないし１００というスコアは、ドライバーの注目又はディストラクションの軽度から、中程度、また重度までの徴候であると定量化されてよい。

別の実施形態では、（車両内のドライバーが見る）環境中の物体とドライバーの注視が重複する量に基づいて、又は環境中の物体の予想される位置とドライバーの予想される注視が重複する量に基づいて、スコアは決定されてよい。一例では、ドライバーディストラクションシステム１０６は、車両の周囲の環境内の物体を識別し、ドライバーの注視方向と注視持続時間とを決定し、任意にドライバーの視野（ＦｏＶ）を決定し、ドライバーの注視の量、又は識別された物体との視野の重複に基づいて、ディストラクションスコアを決定してよい。別の例では、スコアは、ドライバーの注視及び持続時間の物体が変化する速度に基づいて決定してよい。例えば、スコアは、閾値レベルを下回る速度に基づいて増加されてよく、これは、ドライバーが、車両を操作している間に環境を適切に走査せず、代わりに固定された点（例えば、思考の中で失われる可能性がある）を注視することが示せる。

一実施形態では、スコア（又はスコアリング尺度）は、特定のドライバーのプロファイル及び／又は履歴データに基づいてよい。例えば、特定のドライバーは、カーブした道路を高速で走行する際に問題を有することが知られている一方で、停止標識で注意深く停止することが知られている場合がある。他の実施形態は、状況イベント又は文脈に単純に基づいてスコア付けしてよい。例えば、交通信号が赤色であり、ドライバーディストラクションシステム１０６が、ドライバー１０２が車両１０１の後方のキャビンを見つめていると決定した場合に、ドライバー注目結果５０８に高スコアが関連付けられてよい。これにより警告がドライバー１０２に与えられ、交通信号で停止する。さらに他の実施形態では、スコアは、収集されたシーン情報、車両データ、及びリアルタイムのイベント又は以前の活動の注視方向と注視持続時間とに基づいて更新されてよい。

図７Ａないし図７Ｃは、開示の実施形態による、車両内のドライバーの注目度を監視する例示的なフロー図を示す。実施形態では、フロー図は、種々の図面に示され、本明細書に記載されるように、少なくとも部分的にハードウェア及び／又はソフトウェアコンポーネントによって実施されるコンピュータ実施される方法であってよい。一実施形態では、開示されたプロセスは、図１Ａ及び図１Ｂに開示されたドライバーディストラクションシステム１０６によって実行されてよい。一実施形態では、プロセッサ１０８又はプロセッサ８０２のような１つ以上のプロセッサにより実行されるソフトウェアコンポーネントは、プロセスの少なくとも一部を実行する。

図７Ａを参照すると、ドライバーディストラクションシステム１０６は、ステップ７０２でドライバーの注目度及びディストラクションを監視するために、１つ以上のセンサを使用して、シーン情報２０６Ａと車両データ２０６Ｂとを収集する。シーン情報は、ルートを走行中の車両を取り巻く環境を表す。例えば、環境は、車両に結合されたカメラによってキャプチャーされたシーン又は現在の道路状態を含んでよい。一実施形態では、ステップ７０２Ａで、収集されたシーン情報２０６Ａと車両データ２０６Ｂとは、参照ヒートマップ２０８を生成するように処理される。安全運転のためにドライバーの注目を必要とするシーン情報２０６Ａ内の１つ以上の領域を参照ヒートマップ２０６Ａが識別するように、１つ以上の畳み込み層及び少なくとも１つの完全に接続された層を有するＣＮＮを使用して、参照ヒートマップ２０８がシーン情報２０６Ａと車両データ２０６Ｂとから生成されてよい。

また、ステップ７０４で、ドライバーディストラクションシステム１０６は、車両１０１のドライバー１０２の視覚情報２０２（例えば、ドライバーの姿勢及び／又は注視方向及び注視持続時間）をキャプチャーする。一実施形態では、ステップ７０４Ａで、注視方向と注視持続時間とは、ドライバー注視ヒートマップ４０６を生成するように処理される。ドライバー注視ヒートマップ４０６は、車両１０１を運転しながらドライバー１０２の注視方向と注視持続時間とに基づいて生成され、その結果、ドライバー注視ヒートマップ４０６は、この持続時間中にドライバーが見るシーン情報の１つ以上のゾーンを識別する。

ステップ７０６では、参照ヒートマップ２０８とドライバー注視ヒートマップ４０６とがドライバーディストラクションシステム１０６によって分析され、車両１０１内のドライバー１０２のドライバーディストラクション（又は注目度）のレベルが決定される。一実施形態では、ステップ７０６Ａで、参照ヒートマップ２０８とドライバー注視ヒートマップ４０６とはマージ又は融合され、ドライバー注目ヒートマップ５０６を形成する。

次いで、ドライバー注目ヒートマップ５０６が分析され、ステップ７０８でドライバーのディストラクションのレベルに従って、車両１０１のドライバー１０２に警告又は勧告が出力される。

図７Ｂを参照して、シーン情報２０６Ａと車両データ２０６Ｂとを収集するサブプロセスが説明される。ステップ７０２Ｂでは、ルートに沿って運転中に車両１０１の位置が記録される。ＧＰＳを含んでよいナビゲーションシステム１０７を使用するなど、いくつかの異なる技術を使用して、車両１０１の位置を決定してよい。次いで、ステップ７０２Ｃで、所定の期間にわたって車両データを表すデータベースから履歴車両データを検索し、ステップ７０２Ｄでシーン情報を収集してよい。一実施形態では、シーン情報を収集することは、１つ以上のセンサ又はオンラインマップからリアルタイムでストリート画像を収集することを含む。

図７Ｃでは、ドライバーの姿勢と注視とをキャプチャーするサブプロセスが説明される。ドライバー１０２の注視方向と注視持続時間とを追跡することは、ステップ７０４Ｂで、１つの持続時間（例えば、期間）にわたってドライバー１０２の画像のシーケンスをキャプチャーすることを含む。一実施形態では、カメラなどの車両内の１つ以上のセンサが、ドライバー画像をキャプチャーするために使用される。ステップ７０４Ｃで、ドライバー１０２の注視方向は、画像のシーケンスから抽出された姿勢と注視とに基づいて推定され、注視方向は、ステップ７０４Ｄで注視ヒートマップ４０６を形成するためにシーン情報２０６Ａを重ねるために適用される。

図８は、開示の実施形態が実施されてよい計算システムを示す。コンピュータシステム８００は、本明細書に記載されるようなドライバー動作（ディストラクションなど）検出を使用してドライバーに向上した安全性を提供するように（例えば、コンピュータプログラムコード又は命令を介して）プログラムされてよく、コンピュータシステム８００の他の内部コンポーネントと外部コンポーネントとの間で情報を通過させるためのバス８１０などの通信メカニズムを含む。一実施形態では、コンピュータシステム８００は、図１Ａのシステム１００である。コンピュータシステム８００、又はその一部は、ドライバーのディストラクション検出を使用して、ドライバーに向上した安全を提供する１つ以上のステップを実行する手段を構成する。

バス８１０は、バス８１０に結合されたデバイス間で、情報が迅速に転送されるように、情報の１つ以上の並列の導体を含む。情報を処理するための１つ以上のプロセッサ８０２が、バス８１０に結合されている。

１つ以上のプロセッサ８０２は、ドライバーディストラクション検出を使用してドライバーに向上した安全を提供するために、関連するコンピュータプログラムコードによって指定された情報（又はデータ）に対する演算の集合を実行する。コンピュータプログラムコードは、指定された機能を実行するためのプロセッサ及び／又はコンピュータシステムの動作のための命令又は命令を提供するステートメントの集合である。コードは、例えば、プロセッサのネイティブ命令セットにコンパイルされるコンピュータプログラミング言語で書かれてよい。コードはまた、ネイティブ命令セット（例えば、マシン言語）を使用して直接書かれてよい。演算の集合には、バス６１０から情報を取り込むこと、及びバス８１０上に情報を配置することが含まれる。プロセッサにより実行されてよい演算の集合の各演算は、１つ以上の桁の演算コードのような命令と呼ばれる情報によってプロセッサに対して表現される。演算コードのシーケンスのようなプロセッサ８０２によって実行される一連の演算は、コンピュータシステム命令又は単にコンピュータ命令とも呼ばれるプロセッサ命令を構成する。

コンピュータシステム８００はまた、バス８１０に結合されたメモリ８０４を含む。ドライバーのディストラクション検出を使用して、ドライバーに向上した安全を提供するプロセッサ命令を含む、情報を、ランダムアクセスメモリ（ＲＡＭ）又は他の動的記憶デバイスのようなメモリ８０４は記憶する。動的メモリは、その中に記憶された情報がコンピュータシステム８００によって変更されることを可能にする。ＲＡＭは、メモリアドレスと呼ばれる位置に記憶された情報の単位を、記憶することを可能にし、隣接するアドレスの情報とは独立して検索することを可能にする。メモリ８０４はまた、プロセッサ命令の実行中に一時値を記憶するためにプロセッサ８０２によって使用される。さらに、コンピュータシステム８００は、静的情報を記憶するためにバス８１０に結合されたリードオンリーメモリ（ＲＯＭ）８０６又は任意の他の静的記憶デバイスを含む。さらに、バス８１０には、命令を含む情報を記憶するための、磁気ディスク、光ディスク又はフラッシュカードのような不揮発性（永続性）記憶デバイス８０８が結合されている。

外部入力デバイス８１２、例えば、人間のユーザに操作されるキーボード、マイクロホン、赤外線（ＩＲ）リモコン、ジョイスティック、ゲームパッド、スタイラスペン、タッチスクリーン、ヘッドマウントディスプレイ、又はセンサなどから、一実施形態では、頭部姿勢及び注視推定器を使用して、気を散らしているドライバーに向上した安全性を与える命令を含む情報が、プロセッサによりバス８１０に使用するために提供される。センサは、その近傍の状態を検出し、コンピュータシステム８００内の情報を表すために使用される測定可能な現象との間で互換性のある物理的表現に、それらの検出を変換する。主として人間と相互作用を行うために使用される、バス８１０に結合された他の外部デバイスは、テキスト又は画像を提示するディスプレイデバイス８１４と、ディスプレイ８１４上に提示された小さなカーソル画像の位置を制御し、ディスプレイ８１４上に提示されたグラフィカル要素に関連するコマンドを発行する、マウス、トラックボール、カーソル方向キー又は移動センサなどのポインティングデバイス８１６と、オーディオ録音をさらに含んでよい１つ以上の静止画像及び／又は動画（例えば、ビデオ、ムービーなど）をキャプチャー及び記録し、記憶させる１つ以上のカメラセンサ８８４とを含む。

図示の実施形態では、特定用途向け集積回路（ＡＳＩＣ）８２０のような特殊目的のハードウェアが、バス８１０に結合されている。特殊目的ハードウェアは、特殊目的に対しては十分に迅速にプロセッサ８０２で実行されない操作を、実行するように構成される。

コンピュータシステム８００はまた、バス８１０に結合された通信インターフェース８７０を含む。自身のプロセッサとともに動作する様々な外部デバイスに、通信インターフェース８７０は一方向又は双方向通信結合を提供する。一般に、この結合は、サーバ又はデータベースのような種々の外部デバイスが接続されてよいローカルネットワーク８８０に接続されたネットワークリンク８７８に対するものである。あるいは、リンク８７８は、インターネットサービスプロバイダ（ＩＳＰ）８８４又はインターネットのようなネットワーク８９０に直接接続してよい。ネットワークリンク８７８は、有線又は無線であってよい。例えば、通信インターフェース８７０は、パーソナルコンピュータ上のパラレルポート又はシリアルポート又はユニバーサルシリアルバス（ＵＳＢ）ポートであってよい。いくつかの実施形態では、通信インターフェース８７０は、統合サービスデジタルネットワーク（ＩＳＤＮ）カード、デジタル加入者回線（ＤＳＬ）カード、又は対応するタイプの電話回線に情報通信接続を提供する電話モデムである。いくつかの実施形態では、通信インターフェース８７０は、同軸ケーブルを介した通信接続のための信号に、又は光ファイバケーブルを介した通信接続のための光信号に、バス８１０上の信号を変換する、ケーブルモデムである。別の例として、通信インターフェース８７０は、イーサネットのような互換性のあるＬＡＮにデータ通信接続を提供するローカルエリアネットワーク（ＬＡＮ）カードであってよい。また、無線リンクが実施されてよい。無線リンクの場合に、通信インターフェース８７０は、デジタルデータのような情報ストリームを搬送する赤外線及び光信号を含む、電気信号、音響信号、又は電磁信号を送受信する。例えば、携帯電話のような移動電話のような無線ハンドヘルドデバイスでは、通信インターフェース８７０は、無線トランシーバと呼ばれる無線帯域電磁送信機及び受信機を含む。特定の実施形態では、通信インターフェース８７０は、移動電話やタブレットのようなモバイルデバイスに対して、頭部姿勢及び注視推定器を使用して、気を散らしているドライバーに、向上した安全性を提供するために、通信ネットワークへの接続を可能にする。

ネットワークリンク８７８は、典型的には、情報を使用又は処理する他のデバイスに、１つ以上のネットワークを介して伝送媒体を使用して情報を提供する。例えば、ネットワークリンク８７８は、ローカルネットワーク８８０を介してホストコンピュータ８８２又はＩＳＰによって操作される機器８８４への接続を提供してよい。次に、ＩＳＰ機器８８４は、現在一般にインターネット８９０と呼ばれる、ネットワークのための公衆の世界的なパケット交換通信ネットワークを介してデータ通信サービスを提供する。

インターネットに接続されサーバホスト８８２と呼ばれるコンピュータは、インターネットを介して受信された情報に応答してサービスを提供するプロセスを、ホストする。例えば、サーバホスト８８２は、ディスプレイ８１４でプレゼンテーションのためのビデオデータを表す情報を提供するプロセスを、ホストする。システム８００のコンポーネントは、他のコンピュータシステム、例えば、ホスト８８２及びサーバ８８２内に種々の構成で設置してよいと想定される。

開示の少なくともいくつかの実施形態は、本明細書に記載される技術の一部又は全部を実施するためのコンピュータシステム８００の使用に関連する。開示の一実施形態によれば、これらの技術は、メモリ８０４に含まれる１つ以上のプロセッサ命令の１つ以上のシーケンスをプロセッサ８０２が実行することに応答して、コンピュータシステム８００によって実行される。このような命令は、コンピュータ命令、ソフトウェア及びプログラムコードとも呼ばれ、記憶デバイス８０８又はネットワークリンク８７８のような別のコンピュータ可読な媒体からメモリ８０４に読み込んでよい。メモリ８０４に含まれる命令のシーケンスの実行により、プロセッサ８０２は、本明細書に記載される１つ以上の方法ステップを実行する。

本主題事項は、多くの異なる形態で実施してよく、本明細書に記載される実施形態に限定されると解釈されないものとすることが理解される。むしろ、これらの実施形態は、本開示が徹底的かつ完全であり、本発明の主題事項の概念を当業者に完全に伝えるように提供される。実際、本主題事項は、添付の請求項によって定義される本主題事項の範囲及び精神に含まれる、これらの実施形態の代替、修正及び等価物をカバーすることを意図している。さらに、本主題事項の以下の詳細な説明において、完全な理解を提供するために、多数の特定の詳細が記載されている。しかしながら、当業者にとっては、本主題事項は、そのような特定の詳細なしに実施されてよいことが明らかとなる。

本開示の態様は、開示の実施形態による方法、装置（システム）及びコンピュータプログラム製品のフローチャート図及び／又はブロック図を参照して本明細書に記載される。フローチャート図及び／又はブロック図の各ブロック、及びフローチャート図及び／又はブロック図のブロックの組み合わせは、コンピュータプログラム命令によって実現してよいことが理解されるものである。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサに提供されて、マシンを生成してよく、これにより、コンピュータのプロセッサ又は他のプログラマブル命令実行装置を介して実行される命令が、フローチャート、及び／又はブロック図のブロック又は複数ブロックに指定された機能／動作を実行するためのメカニズムを生成する。

コンピュータ可読な非一時的媒体は、磁気記憶媒体、光学記憶媒体、及び固体記憶媒体を含む、全てのタイプのコンピュータ可読な媒体を含むのであり、特に信号を除外するものである。ソフトウェアは、デバイス内にインストールされ、デバイスとともに販売されてよいことを理解するものとする。これに代えて、ソフトウェアを入手し、デバイスにロードしてよい。これは、例えば、ソフトウェア作成者が所有するサーバから、又はソフトウェア作成者が所有しないが使用するサーバからの場合を含んで、ディスク媒体を介して、又は任意方式のネットワーク又は配布システムからソフトウェアを入手することを含む、ソフトウェアは、例えば、インターネットを介して配布するためにサーバに記憶してよい。

コンピュータ可読な記憶媒体（単数の記憶媒体）は、伝搬された信号自体を除外し（除外し）、コンピュータ及び／又はプロセッサによりアクセスされてよく、取り外し可能及び／又は取り外し不可能な、揮発性及び不揮発性の内部及び／又は外部媒体を含む。コンピュータについては、種々のタイプの記憶媒体は、任意の好適なデジタルフォーマットでのデータの記憶装置を収容する。ｚｉｐドライブ、ソリッドステートドライブ、磁気テープ、フラッシュメモリカード、フラッシュドライブ、カートリッジなどのような他のタイプのコンピュータ可読な媒体は、開示されたアーキテクチャーの新規な方法（動作）を実行するためのコンピュータ実行可能命令を記憶するために使用してよいことは、当業者にとって理解されるものとする。

本明細書で使用される用語は、特定の態様のみを記載する目的のためのものであり、本開示を限定することを意図したものではない。本明細書中で使用されるように、単数形「ａ」、「ａｎ」及び「ｔｈｅ」もまた、他のことを文脈が明確に示さない限り、複数形を含むことが意図される。本明細書で使用される場合に、用語「含む」及び／又は「含んでいる」は、記載された特徴、整数、ステップ、動作、要素、及び／又はコンポーネントの存在を特定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、コンポーネント、及び／又はそれらの群の存在又は追加を排除しないことがさらに理解されることとなる。

本開示の説明は、例示及び説明の目的のために提示されたが、網羅的であるとか開示に限定することを意図したものではない。本開示の範囲及び精神から逸脱しない多くの修正及び変形は、当業者には明らかになる。本明細書における開示の態様は、開示の原理及び実用的用途を最もよく説明し、他の当業者が、意図される特定の用途に適した種々の修正を施して本開示を理解することを可能にするために選択及び説明されたものである。

この文書の目的のために、開示された技術に関連する各プロセスは、連続的に、かつ１つ以上の計算デバイスによって実行されてよい。プロセスの各ステップは、他のステップで使用されるものと同じ又は異なる計算デバイスによって実行されてよく、各ステップは、必ずしも単一の計算デバイスによって実行される必要はない。

主題事項は、構造的特徴及び／又は方法論的動作に特有の言語で記載されているが、添付の請求項において定義された主題事項は、必ずしも上述の特定の特徴又は動作に限定されないことを理解するものとする。むしろ、上述の特定の特徴及び作用は、請求項を実施する例示的な形態として開示される。

この技術は、ドライバーのディストラクションを回避又は軽減するために、運転中のドライバーの注目度を監視することに関する。シーン情報と車両データとは、１つ以上の車両センサから収集され、収集された情報及びデータに基づいて参照ヒートマップが生成される。参照ヒートマップとは、ドライバーが安全運転の向上に留意すべきシーン情報のエリア又は領域を指す。一実施形態では、車両データは、ドライバーの意図を決定する。例えば、ドライバーの意図は、ナビゲーションルーチン、速度、ステアリングホイール角度、ガスパドル／ブレーキパドルなどの車両状態を分析することによって決定されてよい。追加的な実施形態では、ドライバーの注視方向と注視持続時間とが決定され、注視軌跡が生成される。注視軌跡は、シーン情報に関連するので、実際のドライバーの注目エリア又は領域を表す。シーン情報は、ドライバー注視ヒートマップの形態で生成されてよい。参照ヒートマップとドライバー注視ヒートマップとを合わせて、例えば、深層学習方法又はルールベースの方法を使用して処理し、車両内のドライバーの注目度を決定する。ドライバーディストラクションシステムが、ドライバーが気を散らしている（例えば、注意を要する高リスクのエリア又は領域に注意を向けない）と決定すると、警告又は勧告がドライバーに周囲の環境や道路の状態に注意を向けるように報知する。

図１Ａに示すように、ドライバーディストラクションシステム１０６は、キャプチャーデバイス１０３に通信結合されている。キャプチャーデバイス１０３は、車両データ及びシーン情報とともに、車両１０１のドライバーのための現在のデータを取得するために使用されてよい。一実施形態では、キャプチャーデバイス１０３は、車両１０１のドライバー１０２のための現在のデータを取得するために使用されるセンサ及び他のデバイスを含む。キャプチャーされたデータは、ドライバーの動き、頭部姿勢及び注視方向を検出及び追跡するためのハードウェア及び／又はソフトウェアを含むプロセッサ１０８によって処理してよい。以下にさらに詳細に説明するように、図１Ｂを参照すると、キャプチャーデバイスは、データをキャプチャーするために、１つ以上のカメラ、マイクロホン、又は他のセンサを追加的に含んでよい。別の実施形態では、キャプチャーデバイス１０３は、車両が走行しているルートの前向きのシーン（例えば、周囲の環境及び／又はシーン情報）をキャプチャーしてよい。前向きセンサは、例えば、レーダーセンサ、レーザーセンサ、ｌｉｄａｒセンサ、光学的撮像センサなどを含んでよい。センサはまた、車両１０１の側部、後部及び頂部（上方及び下方を向く）をカバーすることができることが理解される。

さらにプロセッサ１０８は、前述の姿勢及び注視検出に加えて、画像補正器１０８Ｄ、ビデオエンハンサ１０８Ｅ、ビデオシーン分析器１０８Ｆ、及び／又は他のデータ処理及び分析を含み、キャプチャーデバイス１０３によってキャプチャーされたシーン情報を決定してよい。

区間２０１Ａに示されるプロセスは、ステップ２０２で、頭部姿勢及び注視推定を決定するために、ドライバーの視覚情報（例えば、ドライバーの画像）をキャプチャーするように、１つ以上のキャプチャーデバイス１０３を使用する。キャプチャーデバイス１０３は、ドライバー対向センサ（赤外線、超音波、画像、深度など、カメラ、マイクロホンなど）を含んでよいが、これらに限定されない。ドライバーの視覚情報は、キャプチャーデバイス１０３から抽出される。検出及び追跡１０８Ａによる検出及び追跡、頭部姿勢推定器１０８Ｂによる頭部姿勢推定、及び／又は注視方向推定器１０８Ｃによる注視方向推定のために、ドライバーの視覚情報はプロセッサ１０８に送られる。注視方向推定器１０８Ｃでは、注視方向（角度）と注視持続時間とを推定する。

一実施形態では、ドライバーの注視方向と注視持続時間とはリアルタイムで監視され、三次元（３Ｄ）ベクトル又は水平角度及び垂直角度として解釈されてよい。しかし、幾何学に基づく方法又は深層学習方法のような、注視方向を推定するために、任意の数のアプローチを実施してよい。幾何学に基づく方法は、注視方向を取得するために、近赤外光と、ドライバーの虹彩と眼の中心とにおける近赤外光の反射との間の幾何学的関係を使用する。例としては、近赤外（ＮＩＲ）照射を使用して角膜反射を作成し、瞳孔中心に対してそれを追跡し、注視ベクトルを推定する二次元（２Ｄ）モデル及び３Ｄモデルがある。これらの方法は、注視方向又は注視点を取得するために眼の多項式の又は幾何学的近似を必要とする。別の技術は、外観に基づく方法を含み、それは、眼領域画像を使用して、眼の方向を推定するために、眼領域の局所的特徴、形状及びテクスチャーのようなコンテンツ情報を抽出する。さらに、深層学習アプローチは、外観情報から情報を抽出するために、畳み込みニューラルネットワーク（ＣＮＮ）のようなニューラルネットワークを使用する。ＣＮＮは、勾配降下に基づく最適化によって、ラベル付き例を使用して入力データ（例えば、顔画像）上の複数レベルの非線形変換を学習する能力を有する。ＣＮＮは、特徴マップと、非線形性と、特徴マップをダウンサンプリングするプーリング層／ダウンサンプリング層と、完全に接続された層とを生成するために、入力に畳み込みを行う完全にパラメータ化された（トレーニング可能な）フィルタを含む。

参照ヒートマップ２０８は、リアルタイムで生成されてよく、異なる色、インジケータ（例えば、数字、ポインタなど）、又は他の識別技術を使用して、エリア又は領域を識別してよい。参照ヒートマップ２０８上で同定されたこれらのエリア又は領域は、ドライバーの注目のレベル又は程度を変化させる必要があるエリア又は領域に対応してよい。例えば、ヒートマップ２０８は、加重したドライバー注目レベルを有するエリア又は領域を含んでよく、ここで、正の値を有するエリア又は領域は、一層多くのドライバー注目が必要とされることを示す。一方、負の値を有するエリアは、一層少ないドライバー注目しか必要とされない。（図示された実施形態では、色の代わりにグレイスケールが使用されることが理解される。）一例では、カラースケール３０８Ａは、赤色を使用して、一層高いレベルのドライバーの注目を必要とするエリア又は領域を示してよい。一方、一層低いレベルのドライバーの注目を必要とするエリア又は領域は、緑色を使用してよい。特定のエリア又は領域が、一層多い又は一層少ない注目を必要とするように、参照ヒートマップ２０８上の色及び／又はインジケータは、ドライバーのために必要とされる注目のレベル又は程度を反映するように変化してよい。例えば、信号を含むエリア又は領域は、赤色であってよく、又は、信号を監視するために所定の期間、ドライバーの注目を変えさせるインジケータ（例えば矢印）を有してよい。別の例では、ドライバーの注目は、歩行者が通りを横切って歩行する際にこの歩行者に追従するために変えさせられる可能性がある。歩行者が歩いているエリアや領域は、色（赤など）でハイライトしてよいし、インジケータでハイライトしてよい。同様に、標識や広告掲示板のように、ドライバーの注目の低いレベルを必要とするエリアや領域は、緑色を使用してハイライトしてよい。場合によっては、ドライバーの注目のレベル又は程度は、ユーザプロファイル又は車両が運転しているルートに基づいてよい。他の例では、横断歩道、曲がりくねった道などのような、ドライバーの注目を一般的に必要とする、既知の又は一般的に認識される領域によって、ドライバーの注目のレベル又は程度が決定されてよい。

図３Ｂは、図３Ａの実施形態による例示的なＣＮＮを示す。図示された例では、ＣＮＮ３０６Ａは、ＣＮＮ層３０８_１、３０８_２．．．３０８_Ｎと、特徴マップ３１０_１、３１０_２．．．３１０_Ｎと、１×１のＣＮＮ層３１２とを含む。ＣＮＮ層３１２は、画素ダウンサンプラ３１４とヒートマップ発生器３１６とに結合されるか、又はそれらを含む。予めトレーニングされたＣＮＮ３０６は、各画像３０５内の様々な空間及び／又は物体の位置領域を検出するために、１つ以上の画像３０５を受信する。画像３０５は、ＣＮＮ３０６Ａによって受信される。例えば、道路、建物及び他の識別可能な物体（例えば、他の車、人、動物など）を有する、図３Ａのシーン情報２０６Ａのようなシーンを、画像は含んでよい。ＣＮＮ３０６Ａは、その畳み込み層３０８_１、３０８_２．．．３０８_Ｎを介して、畳み込み計算を行い、特徴マップ３１０_１、３１０_２．．．３１０_Ｎを生成する。特徴マップ３１０_１、３１０_２．．．３１０_Ｎが抽出され、特徴ベクトルとなるように出力される。ベクトルは、車両速度、ターン状態、ブレーキ状態、ナビゲーション命令などを含む特徴ベクトルに連結され、特徴ベクトルは、特徴マップ３１０_１、３１０_２．．．３１０_Ｎとなるようにサイズ変更される。続いて、１×１畳み込み層３１２は、本明細書では画素ごとの決定点と呼ばれる画素ごとの単一の決定点に、特徴マップ３１０_１、３１０_２．．．３１０_Ｎを削減する。分類器（図示せず）は、画素ごとの決定点を使用して、特定の画素が「横断歩道」ターゲットクラスのような特定のターゲットクラスに属するか否かを決定する。

一実施形態では、画素ダウンサンプラ３１４が、評価すべき画素ごとの決定点の数を減少するために使用される。画素ダウンサンプラ３１４は、４×ダウンサンプリングのように、画素ごとの決定点をダウンサンプリングする。次に、ダウンサンプリングされた各画素（例えば、４×）に対して、ヒートマップ生成器３１６は、ダウンサンプリングされた画素ごとの決定点が特定のターゲットクラスに属するか否かを決定する。次に、ヒートマップ生成器３１６は、ターゲットクラスに対応する物体を含む画像３０５内のエリア又は領域を、ダウンサンプリングした画素ごとのベースで識別する、ヒートマップ３１８を生成する。一実施形態では、ヒートマップ３１８は、異なる物体（例えば、歩行者、道路、横断歩道、信号機、車両など）に対応するエリア又は領域を識別するために評価される。従って、画像３０５のエリア又は領域において、異なる物体タイプの異なる画像ターゲットクラスが識別されてよい。例えば、参照ヒートマップ２０８上のエリア又は領域は、歩行者に対応する第１ターゲットクラスと、道路上の横断歩道に対応する第２ターゲットクラスとであると決定された、画素ごとの決定点を有してよい。

外部入力デバイス８１２、例えば、人間のユーザに操作されるキーボード、マイクロホン、赤外線（ＩＲ）リモコン、ジョイスティック、ゲームパッド、スタイラスペン、タッチスクリーン、ヘッドマウントディスプレイ、又はセンサなどから、一実施形態では、頭部姿勢及び注視推定器を使用して、気を散らしているドライバーに向上した安全性を与える命令を含む情報が、プロセッサによりバス８１０に使用するために提供される。センサは、その近傍の状態を検出し、コンピュータシステム８００内の情報を表すために使用される測定可能な現象との間で互換性のある物理的表現に、それらの検出を変換する。主として人間と相互作用を行うために使用される、バス８１０に結合された他の外部デバイスは、テキスト又は画像を提示するディスプレイデバイス８１４と、ディスプレイ８１４上に提示された小さなカーソル画像の位置を制御し、ディスプレイ８１４上に提示されたグラフィカル要素に関連するコマンドを発行する、マウス、トラックボール、カーソル方向キー又は移動センサなどのポインティングデバイス８１６と、オーディオ録音をさらに含んでよい１つ以上の静止画像及び／又は動画（例えば、ビデオ、ムービーなど）をキャプチャー及び記録し、記憶させる１つ以上のカメラセンサ８９４とを含む。

Claims (24)

1. 車両内のドライバーの注目度を監視するコンピュータ実施される方法であって、
   ルートを走行する間に車両データとシーン情報とを前記車両から収集するステップであり、前記車両データとシーン情報とは処理されて、参照ヒートマップを生成する、収集するステップと、
   ドライバーの注視をキャプチャーするステップであり、前記ルート上で前記車両を運転する間に前記ドライバーの注視方向と注視持続時間とを追跡し、前記注視方向と注視持続時間とは処理されて、ドライバー注視ヒートマップを生成する、キャプチャーするステップと、
   前記ドライバー注視ヒートマップと前記参照ヒートマップとを分析して、前記車両内の前記ドライバーのドライバーディストラクションのレベルを決定するステップと、
   ドライバーディストラクションの前記レベルに応じて、勧告を前記車両の前記ドライバーに出力するステップとを備えている、コンピュータ実施される方法。
2. １つ以上の畳み込み層と少なくとも１つの完全に接続された層とを含む畳み込みニューラルネットワーク（ＣＮＮ）を使用して、前記参照ヒートマップを前記シーン情報と前記車両データとから生成するステップであり、前記参照ヒートマップは、安全な運転のためにドライバーの注目を必要とする前記シーン情報内の１つ以上の領域を識別する、生成するステップと、
   前記車両を運転する間の前記ドライバーの前記注視方向と注視持続時間とに基づいて前記ドライバー注視ヒートマップを生成し、前記ドライバー注視ヒートマップは、持続時間中に前記ドライバーが見る前記シーン情報の１つ以上のゾーンを識別する、生成するステップとを、さらに備えている、請求項１記載のコンピュータ実施される方法。
3. 前記注視方向と注視持続時間とを追跡するステップは、
   １つ以上のセンサにより、前記ドライバーの画像のシーケンスを持続時間にわたってキャプチャーするステップと、
   画像の前記シーケンスから抽出された前記注視に基づいて前記ドライバーの前記注視方向を推定するステップと、
   前記注視方向を適用して前記シーン情報にオーバーレイを行い、前記ドライバー注視ヒートマップを形成するステップとを含む、請求項１ないし２のいずれか１項に記載のコンピュータ実施される方法。
4. 前記車両データを収集するステップは、
   前記ルートを運転する間に、前記車両の位置を記録するステップと、
   予め定められた期間にわたる前記車両データを表すデータベースからの履歴車両データを検索するステップとを含み、
   前記シーン情報を収集するステップは、
   １つ以上のセンサ又はオンラインマップから、ストリート画像をリアルタイムで取得するステップを含む、請求項１ないし３のいずれか１項に記載のコンピュータ実施される方法。
5. 前記車両データは、車速データ、ターン指示データ、光の状態データ、ブレーキ使用データ、ステアリングホイール使用データ、全地球測位システム（ＧＰＳ）データ、アクセルペダル使用データ、及びナビゲーションルートデータのうち少なくとも１つを含み、
   前記シーン情報は、シーン画像と、オンラインストリートマップと、レーダーマップと、天候、交通及び道路状況とのうちの少なくとも１つを含む、請求項１ないし４のいずれか１項に記載のコンピュータ実施される方法。
6. 前記参照ヒートマップを前記ドライバー注視ヒートマップとマージして、ドライバー注目ヒートマップを形成させるステップを、さらに備え、
   前記ドライバー注目ヒートマップは、ドライバーディストラクションの前記レベルが閾値注目度レベルを満足するか、又は閾値注目度レベルを超えるかを決定する、請求項１ないし５のいずれか１項に記載のコンピュータ実施される方法。
7. 閾値が満足されるか又は閾値を超える場合に、前記勧告は、１つ以上の領域のそれぞれに関連する値に基づいて、前記ドライバーの前記注視方向を前記ドライバー注視ヒートマップの前記１つ以上の領域に集中させる警告であり、前記値は、前記１つ以上の領域のそれぞれについて前記ドライバーが要求する注目のレベルを表す、請求項６記載のコンピュータ実施される方法。
8. １つ以上のプロセッサは、前記車両内に配置されているか、又は前記車両に通信結合されている、請求項１ないし７のいずれか１項に記載のコンピュータ実施される方法。
9. 車両内のドライバーの注目度を監視するシステムであって、
   １つ以上の車両センサであり、
   ルートを走行する間に車両データとシーン情報とを前記車両から収集し、前記車両データとシーン情報とは処理されて、参照ヒートマップを生成し、
   ドライバーの注視をキャプチャーし、前記ルート上で前記車両を運転する間に前記ドライバーの注視方向と注視持続時間とを追跡し、前記注視方向と注視持続時間とは処理されて、ドライバー注視ヒートマップを生成するように構成されている、１つ以上の車両センサと、
   １つ以上のプロセッサであり、
   前記ドライバー注視ヒートマップと前記参照ヒートマップとを分析して、前記車両内の前記ドライバーのドライバーディストラクションのレベルを決定し、
   ドライバーディストラクションの前記レベルに応じて、勧告を前記車両の前記ドライバーに出力するように構成されている、１つ以上のプロセッサとを備えている、システム。
10. １つ以上の前記プロセッサは、
    １つ以上の畳み込み層と少なくとも１つの完全に接続された層とを含む畳み込みニューラルネットワーク（ＣＮＮ）を使用して、前記参照ヒートマップを前記シーン情報と前記車両データとから生成し、前記参照ヒートマップは、安全な運転のためにドライバーの注目を必要とする前記シーン情報内の１つ以上の領域を識別し、
    前記車両を運転する間の前記ドライバーの前記注視方向と注視持続時間とに基づいて前記ドライバー注視ヒートマップを生成し、前記ドライバー注視ヒートマップは、持続時間中に前記ドライバーが見る前記シーン情報の１つ以上のゾーンを識別するように、さらに構成される、請求項９記載のシステム。
11. 前記注視方向と注視持続時間とを追跡するステップは、
    １つ以上のセンサにより、前記ドライバーの画像のシーケンスを持続時間にわたってキャプチャーするステップと、
    画像の前記シーケンスから抽出された前記注視に基づいて前記ドライバーの前記注視方向を推定するステップと、
    前記注視方向を適用して前記シーン情報にオーバーレイを行い、前記ドライバー注視ヒートマップを形成するステップとを含む、請求項９ないし１０のいずれか１項に記載のシステム。
12. 前記車両データを収集するステップは、
    前記ルートを運転する間に、前記車両の位置を記録するステップと、
    予め定められた期間にわたる前記車両データを表すデータベースからの履歴車両データを検索するステップとを含み、
    前記シーン情報を収集するステップは、
    １つ以上のセンサ又はオンラインマップから、ストリート画像をリアルタイムで取得するステップを含む、請求項９ないし１１のいずれか１項に記載のシステム。
13. 前記車両データは、車速データ、ターン指示データ、光の状態データ、ブレーキ使用データ、ステアリングホイール使用データ、全地球測位システム（ＧＰＳ）データ、アクセルペダル使用データ、及びナビゲーションルートデータのうち少なくとも１つを含み、
    前記シーン情報は、シーン画像と、オンラインストリートマップと、レーダーマップと、天候、交通及び道路状況とのうちの少なくとも１つを含む、請求項９ないし１２のいずれか１項に記載のシステム。
14. １つ以上の前記プロセッサは、前記参照ヒートマップを前記ドライバー注視ヒートマップとマージして、ドライバー注目ヒートマップを形成するようにさらに構成され、
    前記ドライバー注目ヒートマップは、ドライバーディストラクションの前記レベルが閾値注目度レベルを満足するか、又は閾値注目度レベルを超えるかを決定する、請求項９ないし１３のいずれか１項に記載のシステム。
15. 閾値が満足されるか又は閾値を超える場合に、前記勧告は、１つ以上の領域のそれぞれに関連する値に基づいて、前記ドライバーの前記注視方向を前記ドライバー注視ヒートマップの前記１つ以上の領域に集中させる警告であり、前記値は、前記１つ以上の領域のそれぞれについて前記ドライバーが要求する注目のレベルを表す、請求項１４記載のシステム。
16. １つ以上の前記プロセッサは、前記車両内に配置されているか、又は前記車両に通信結合されている、請求項９ないし１５のいずれか１項に記載のシステム。
17. 車両内のドライバーの注目度を監視するコンピュータ命令を記憶し、１つ以上のプロセッサにより実行されると、１つ以上の前記プロセッサにステップを実行させる、非一時的なコンピュータ可読な媒体であって、前記ステップは、
    ルートを走行する間に車両データとシーン情報とを前記車両から収集するステップであり、前記車両データとシーン情報とは処理されて、参照ヒートマップを生成する、収集するステップと、
    ドライバーの注視をキャプチャーするステップであり、前記ルート上で前記車両を運転する間に前記ドライバーの注視方向と注視持続時間とを追跡し、前記注視方向と注視持続時間とは処理されて、ドライバー注視ヒートマップを生成する、キャプチャーするステップと、
    前記ドライバー注視ヒートマップと前記参照ヒートマップとを分析して、前記車両内の前記ドライバーのドライバーディストラクションのレベルを決定するステップと、
    ドライバーディストラクションの前記レベルに応じて、勧告を前記車両の前記ドライバーに出力するステップとを備えている、非一時的なコンピュータ可読な媒体。
18. １つ以上の畳み込み層と少なくとも１つの完全に接続された層とを含む畳み込みニューラルネットワーク（ＣＮＮ）を使用して、前記参照ヒートマップを前記シーン情報と前記車両データとから生成するステップであり、前記参照ヒートマップは、安全な運転のためにドライバーの注目を必要とする前記シーン情報内の１つ以上の領域を識別する、生成するステップと、
    前記車両を運転する間の前記ドライバーの前記注視方向と注視持続時間とに基づいて前記ドライバー注視ヒートマップを生成し、前記ドライバー注視ヒートマップは、持続時間中に前記ドライバーが見る前記シーン情報の１つ以上のゾーンを識別する、生成するステップとを、
    １つ以上の前記プロセッサにさらに実行させる、請求項１７記載の非一時的なコンピュータ可読な媒体。
19. 前記注視方向と注視持続時間とを追跡するステップは、
    １つ以上のセンサにより、前記ドライバーの画像のシーケンスを持続時間にわたってキャプチャーするステップと、
    画像の前記シーケンスから抽出された前記注視に基づいて前記ドライバーの前記注視方向を推定するステップと、
    前記注視方向を適用して前記シーン情報にオーバーレイを行い、前記ドライバー注視ヒートマップを形成するステップとを含む、請求項１７ないし１８のいずれか１項に記載の非一時的なコンピュータ可読な媒体。
20. 前記車両データを収集するステップは、
    前記ルートを運転する間に、前記車両の位置を記録するステップと、
    予め定められた期間にわたる前記車両データを表すデータベースからの履歴車両データを検索するステップとを含み、
    前記シーン情報を収集するステップは、
    １つ以上のセンサから、ストリート画像をリアルタイムで取得するステップを含む、請求項１７ないし１９のいずれか１項に記載の非一時的なコンピュータ可読な媒体。
21. 前記車両データは、車速データ、ターン指示データ、光の状態データ、ブレーキ使用データ、ステアリングホイール使用データ、全地球測位システム（ＧＰＳ）データ、アクセルペダル使用データ、及びナビゲーションルートデータのうち少なくとも１つを含み、
    前記シーン情報は、シーン画像と、オンラインストリートマップと、レーダーマップと、天候、交通及び道路状況とのうちの少なくとも１つを含む、請求項１７ないし２０のいずれか１項に記載の非一時的なコンピュータ可読な媒体。
22. 前記参照ヒートマップを前記ドライバー注視ヒートマップとマージして、ドライバー注目ヒートマップを形成させるステップを、１つ以上の前記プロセッサにさらに実行させ、
    前記ドライバー注目ヒートマップは、ドライバーディストラクションの前記レベルが閾値注目度レベルを満足するか、又は閾値注目度レベルを超えることを決定する、請求項１７ないし２１のいずれか１項に記載の非一時的なコンピュータ可読な媒体。
23. 閾値が満足されるか又は閾値を超える場合に、前記勧告は、１つ以上の領域のそれぞれに関連する値に基づいて、前記ドライバーの前記注視方向を前記ドライバー注視ヒートマップの前記１つ以上の領域に集中させる警告であり、前記値は、前記１つ以上の領域のそれぞれについて前記ドライバーが要求する注目のレベルを表す、請求項２２記載の非一時的なコンピュータ可読な媒体。
24. １つ以上の前記プロセッサは、前記車両内に配置されているか、又は前記車両に通信結合されている、請求項１７ないし２３のいずれか１項に記載の非一時的なコンピュータ可読な媒体。

Images