JP6891926B2 - 車両システム、車両システムで実行される方法、および運転者支援システム - Google Patents

Description

本開示は、車両システム、車両システムで実行される方法、および運転者支援システムに関する。

車両は、車両の近くの情報を収集するカメラを装備することができる。車両はまた、車室内の情報を収集するために車室内に配置されるカメラを装備することができる。車載カメラを運転者状態監視システムで利用して、車両の乗員の行動を観察することができる。

一実施形態によれば、車両内の車両システムは、車両の外側の対象物を含む、車両の近傍の環境を調べるように構成される第１のセンサと、車両の乗員の顔情報を示すデータを取得するように構成される第２のセンサと、第１および第２のセンサと通信し、乗員が車両の外側の対象物を見ていることを示す顔情報を示すデータに応じて、車両システムのディスプレイに対象物に関する情報を出力するようにプログラムされるプロセッサと、を備える。

第２の実施形態によれば、車両のシステムで実行される方法は、１つ以上の車両センサから生成されるデータを利用して、車両の乗員が目を細めて見ていることを判定することと、１つ以上の車両センサを介して、乗員が目を細めて見ていることに応じて、乗員が目を細めて見ている車両の近傍の対象物を特定すること、乗員が目を細めて見ていることに応じて、車両の外側に位置する対象物に関する情報を、システムのディスプレイに出力すること、を備える。

第３の実施形態によれば、車両の運転者支援システムは、車両の乗員を監視するとともに、車両の近傍の１以上の対象物を特定するように構成される運転者状態モニタと、目標挙動に基づいて運転者支援機能を実行するように構成される運転者支援コントローラと、を備え、目標挙動は、車両の周囲の環境に基づいて定義され、運転者支援コントローラは、運転者が目を細めて対象物を見ていることに応じて、車両のディスプレイに、その対象物に関する情報を出力するための指令を送信するように運転者支援機能を動作させるように構成される。

運転者状態監視システムを含む車両のブロック図の一実施形態を示す。 注視しているデータ及び目を細めているデータに基づいて、車両の乗員が情報を見る際に援助を必要としているかどうかを判定するために利用されるフローチャートを示す。 本開示に従う、ユーザの画像から顔パラメータを取得するための例示的な画像処理方法を示す。 一実施形態における車両の乗員の環境の一例を示す。 乗員を支援する車両ＨＭＩの一例を示す。

本開示の実施形態が本明細書に記載される。しかしながら、開示された実施形態は単なる例であり、他の実施形態は様々な代替の形態を取り得ることが理解されたい。図は必ずしも一定の縮尺ではなく、一部の特徴部分は、特定のコンポーネントの詳細を示すために誇張または最小化され得る。したがって、本明細書に開示された特定の構造上および機能上の詳細は、限定するものとして解釈されるべきではなく、単に実施形態を様々に使用することを当業者に教示するための代表的な基礎として解釈されるべきである。当業者には理解されるように、いずれか１つの図に関して図示および説明された様々な特徴は、１つまたは複数の他の図に示された特徴と組み合わせて、明示的に図示または説明されていない実施形態を作り出すことができる。図示された特徴の組み合わせは、典型的な用途のための代表的な実施形態を提供する。しかしながら、本開示の教示と矛盾しない特徴の様々な組み合わせおよび変形は、特定の用途または実装のために望ましい可能性がある。

図１は、車両システム１００の例示的なブロック図を示す。システム１００は、コントローラ１０１を含むことができる。コントローラ１０１は、電子制御装置（ＥＣＵ）のような車両コントローラであり得る。本明細書ではＥＣＵ１０１とも呼ばれるコントローラ１０１は、本明細書で説明される方法およびシステムのための命令を実行するように構成されたプロセッサに具現化することができる。コントローラ１０１は、メモリ（図１に個別には示されていない）、ならびに車両内の特有の処理を行う他のコンポーネントを含むことができる。コントローラ１０１は、コマンドを処理するクアッドコアプロセッサのような、コンピュータプロセッサ、マイクロプロセッサ、または、他の任意のデバイス、一連のデバイス、あるいは、本明細書で説明される動作を実行可能な他の機構のような、１つまたは複数の演算装置とすることができる。メモリは命令およびコマンドを記憶することができる。命令は、ソフトウェア、ファームウェア、コンピュータコード、またはそれらの任意の組み合わせの形態とすることができる。メモリは、揮発性メモリ、不揮発性メモリ、電子メモリ、磁気メモリ、光メモリ、または他の任意の形態のデータ記憶装置などの、任意の形態の１つまたは複数のデータ記憶装置とすることができる。一例において、メモリは、２ＧＢのＤＤＲ３、ならびに１２８ＧＢのマイクロＳＤカードなどの他の取り外し可能なメモリコンポーネントを含むことができる。

コントローラ１０１は、車両内外の様々なセンサ、モジュール、および車両システムと通信することができる。システム１００は、例えば他の車両、車線、ガードレール、道路上の対象物、建物、歩行者などを含む、車両の周囲に関する情報を検出するための、様々なカメラ、ＬＩＤＡＲセンサ、レーダセンサ、超音波センサ、または、他のセンサのようなセンサを含むことができる。図１に示す例では、システム１００は、車載カメラ１０３および１０７、通信機１０５、車車間通信機１０９、ＧＰＳモジュール１１３、ＨＭＩディスプレイ１１５、ならびに他のセンサ、コントローラ、およびモジュールを含むことができる。図１は例示的なシステムであり、システム１００はより多くのまたはより少ないセンサ、および様々なタイプのセンサを含むことができる。さらに、図１の車両は、説明のために特定の位置に特定のセンサを備えるように示されているが、システム１００は、同じまたは異なる種類の追加のセンサを含む、車両内または車両上の異なる位置に追加のセンサを備えることができる。

車両システム１００は通信機１０５を備えることができる。通信機１０５は、ブルートゥース（登録商標、以下同様）通信機であってもよい。例示的な一実施形態では、システム１００は、ブルートゥース通信機１０５を使用して、ユーザの携帯デバイス（例えば、携帯電話、スマートフォン、ＰＤＡ、タブレット、または無線リモートネットワーク接続を有する任意の他のデバイス）と通信する。そして、携帯デバイスは、例えばセルラータワーとの通信を介して、車両システム１００の外部のネットワークと通信するために使用することができる。いくつかの実施形態において、タワーは、ＷｉＦｉアクセスポイントであってもよい。

ユーザが携帯デバイスに関連付けられたデータプランを持っている場合、データプランは広帯域送信を可能にし、システムはより広い帯域幅を使用することができる（データ転送を高速化する）。さらに別の実施形態では、携帯デバイスは、車両に設置されているセルラー通信デバイス（図示せず）と置き換えられる。さらに別の実施形態では、携帯デバイスは、例えば（限定はしないが）８０２．１１ｇネットワーク（すなわち、ＷｉＦｉ）またはＷｉＭａｘネットワークを介して通信することができる無線ローカルエリアネットワーク（ＬＡＮ）デバイスであってもよい。一実施形態では、到来データは、通話付きデータプランまたはデータプランによって携帯デバイスを通じ、さらに車載ブルートゥース通信機を通じて、車両のＥＣＵ１０１に渡されてもよい。例えば、ある一時データの場合、そのデータがもはや必要とされなくなるときまで、データはＨＤＤまたは他の記憶媒体に記憶されることができる。

別の実施形態では、通信機１０５は、車載通信装置またはセルラーモデムであってもよい。車載通信装置は、車外サーバと通信するために、携帯デバイス（例えば、携帯電話）がブルートゥース通信機とペアリングされることを必要としないかもしれない。代わりに、車載モデムは、車外のネットワークと通信するための独自の能力を有するかもしれない。

車載カメラ（内部カメラとも呼ばれる）１０３は、車室内にいる乗員（例えば、運転者または同乗者）を監視するために車内に据え付けることができる。車載カメラ１０３は、運転者を監視するために運転者状態監視システム（ＤＳＭ）と協働することができる。ＤＳＭは車両システム１００とは別個に設けられてもよいし、車両システム１００の一機能として具現化されてもよい。車載カメラ１０３は、車両内の乗員の画像を捕捉するために利用することができる。車載カメラ１０３は、以下でさらに論じるように、乗員の眼球の動きおよび乗員の頭の動きなどの、乗員についての顔情報を取得することができる。車載カメラは、カラーカメラ、赤外線カメラ、または飛行時間型カメラであってもよい。

コントローラ１０１は、ＤＳＭから運転者状態データを受信して、車両内の異常な状況を判定することができる。ＤＳＭは、運転者に向けたカメラ、健康スキャナ、およびインストルメントパネルなどの１つまたは複数の活動センサを使用して、運転者によって実行される活動を監視する。活動センサに基づいて、運転者状態監視システムは、運転者が、例えば、異常な状況として、注意を逸らせているか、病気であるか、もしくは眠気を催しているかを判定することができる。

車載カメラ１０３は、メータコンソールに据え付けられ、運転者の顔、特に運転者の目を捕捉することができる。運転者状態監視システムまたはＥＣＵ１０１は、運転者に向けたカメラ１０３から受信したデータを処理し、運転者の注視方向に基づいて運転者が道路から目を逸しているかどうかを監視することができる。運転者が目を逸している場合、運転者状態監視システムまたはＥＣＵ１０１は、異常状態と判定する。運転者状態監視システムまたはＥＣＵ１０１は、また、運転者の目がどれだけの時間どれだけ開いているかに基づいて、運転者が眠気を催しているかを判定し、または警告してもよい。

健康スキャナは、ステアリングホイールまたは運転者が触れる適切な場所に取り付けることができる。健康スキャナは、運転者の心臓の鼓動を調べる。運転者状態監視システムは、健康スキャナから受信したデータを処理し、心臓の鼓動に基づき、運転者が、心臓発作などの深刻な体調不良またはエピソードを病んでいるかどうかを監視する。運転者が深刻な体調不良またはエピソードを病んでいる場合、運転者状態監視システムは、異常な状況と判定する。

運転者支援システムは、車両システム１００が有する外部カメラ１０７を含む様々なセンサを利用して、車両の周囲の外部環境を検出する。そして、運転者支援システムの運転者支援コントローラが、検出された車両周囲の外部環境に基づいて、車両の目標挙動を設定する。さらに、運転者支援コントローラは、設定された車両の目標挙動に従い、車両の駆動力、制動力、および操舵角度などを制御することによって、例えば、障害物との接触を回避するように車両制御を実行する。なお、運転者支援システムは、車両システム１００とは別個に設けられてもよいし、車両システム１００の一機能として具現化されてもよい。運転者支援システムが車両システム１００の一機能として具現化される場合、運転者支援コントローラは、運転者支援機能の一環として、運転者が目を細めて対象物を見ていることに応じて、車両のディスプレイに、その対象物に関する情報を出力するための指令を送信するようにしても良い。運転者支援システムにより運転者支援機能が作動している間、運転者操作センサによって検出される運転者の操作に応じて、運転者支援機能は取り消されるかまたは無効にされてもよい。アクセル／ブレーキペダルの踏み込み度合またはステアリングホイールの操作トルクが所定の閾値を超えると、運転者支援システムの運転者オーバーライドモジュールは、運転者が能動的に車両を操作していると判定する。その後、運転者は運転者支援機能から車両制御を引き継ぐ。

車両システム１００は、少なくとも１つの外部カメラ１０７を含むことができる。外部カメラ１０７はルームミラーに取り付けることができる。外部カメラ１０７は、また、車両のフロントガラスを通して車室外に面しており、車両の前方の環境の画像データを収集することができる。外部カメラ１０７は、車両の前方に関する情報およびデータを収集し、車両の前方の状況を監視するために利用されることができる。また、カメラ１０７は、車両前方の状況を撮像し、カメラの位置から見た車線マーカの位置や、例えば対向車のヘッドライトの発光の有無などを正確に検出するために用いることができる。例えば、外部カメラ１０７を利用して、車両周囲の車両、前方の車線マーカ、および他の対象物検出に関する画像データを生成することができる。車両には、車両の後方近傍回りの車両の環境を監視するなどの同様の事情のために、後方カメラ（図示せず）が装備されてもよい。

システム１００は、また、車々間または車両インフラストラクチャ間通信モジュール（例えば、Ｖ２Ｘモジュール）１０９を含むことができる。Ｖ２Ｘモジュール１０９は、車両に近い対象物との間でデータを送受信するために利用されることができる。そのようなデータは、車両の周囲の環境に関するデータ、または車両がＶ２Ｘモジュール１０９を利用して通信している対象物に関する情報を含むことができる。１つのシナリオにおいて、車両システム１００は、ユーザが車両の外側の対象物を目を細めて見ていたことを認識するかもしれない。車両システム１００は、その対象物を特定するために、車両内の様々なカメラおよびセンサを利用することができる。Ｖ２Ｘモジュール１０９のコントローラは、その対象物と通信することができるかどうかを判定することができる。このシナリオでは、対象物は、車両システム１００のＨＭＩを利用して車両の乗員に提示され得る、特別なもの、または詳細な情報のような、対象物についての情報を送信するためのＶ２Ｘ能力を有する看板または注目点（ＰＯＩ）であるかもしれない。ＰＯＩは、車両からの要求に応答して、Ｖ２Ｘインフラストラクチャを利用してそのような情報を車両に送信することができる。

システム１００はまた、車両の現在位置を検出または決定する全地球測位システム（ＧＰＳ）１１３を含むことができる。いくつかの状況では、ＧＰＳ１１３を利用して、車両が走行している速度を決定することができる。システム１００は、また、車両が走行している現在の速度を検出または決定する車両速度センサ（図示せず）を含むことができる。システム１００は、また、車両の現在の進行方向を検出または決定するコンパスまたは３次元（３Ｄ）ジャイロスコープを含むことができる。地図データはメモリに記憶することができる。ＧＰＳ１１３は地図データを更新することができる。地図データは、先進運転者支援システム（ＡＤＡＳ）で利用することができる情報を含むことができる。そのようなＡＤＡＳ地図データ情報は、詳細な車線情報、勾配情報、道路曲率データ、車線マーキング特性などを含むことができる。このようなＡＤＡＳ地図情報は、道路名、道路種別、制限速度情報などの従来の地図データに加えて利用することができる。コントローラ１０１は、ＧＰＳ１１３からのデータ、ならびにジャイロスコープ、車速センサ、および地図データからのデータ／情報を利用して、車両の場所または現在位置を決定することができる。

システム１００は、ヒューマンマシンインターフェース（ＨＭＩ）ディスプレイ１１５も含むことができる。ＨＭＩディスプレイ１１５は、車室内の任意の種類のディスプレイを含むことができる。そのようなＨＭＩディスプレイは、ダッシュボードディスプレイ、ナビゲーションディスプレイ、マルチメディアディスプレイ、ヘッドアップディスプレイ、薄膜トランジスタ液晶ディスプレイ（ＴＦＴ ＬＣＤ）などを含むことができる。ＨＭＩディスプレイ１１５は、また、スピーカに接続されて、コマンドまたは車両のユーザインターフェースに関する音を出力することができる。ＨＭＩディスプレイ１１５は、車両内の乗員（例えば、運転者または同乗者）に様々なコマンドまたは情報を出力するために利用することができる。例えば、自動制動シナリオでは、ＨＭＩディスプレイ１１５は、車両が制動する準備がなされ、それに関してユーザにフィードバックを提供する準備がなされたとのメッセージを表示することができる。ＨＭＩディスプレイ１１５は、関連情報を乗員に表示するために利用される、任意の種類のモニタまたはディスプレイを利用することができる。

インストルメントパネルは、様々な車両のシステムを制御するために車両の内部に取り付けることができる。例えば、それらのシステムは、エアコン、音楽プレーヤー、ビデオプレーヤー、およびＧＰＳナビゲーションを含む。運転者状態監視システムは、インストルメントパネルから受信したデータを処理し、運転者が注意を逸らされているかどうかを監視する。例えば、車両が走行しているときにインストルメントパネルが操作されていると、運転者は潜在的に運転者の注意を逸らす二次的な作業に関与している。運転手が注意を逸らされている場合、運転者状態監視システムは異常な状況と判定することができる。

視覚的表示を提供することに加えて、ＨＭＩディスプレイ１１５は、また、タッチスクリーン、ユーザインターフェースボタンなどを介してユーザ入力を受け取るように構成することができる。ＨＭＩディスプレイ１１５は、ＡＶ機器制御、自律車両システム制御、特定の車両機能、車室温度制御などのような様々な車両制御を示すユーザコマンドを受信するように構成することができる。コントローラ１０１は、そのようなユーザ入力を受信し、次に、そのユーザ入力に従って実行することを、関連する車両のシステムのコンポーネントに命令することができる。

ＬＩＤＡＲセンサ、レーダセンサなどを含むセンサは、車両のどこにでも取り付けることができる。例えば、ＬＩＤＡＲセンサは、車両の周囲を３６０度見渡せるように、車両の屋根に取り付けることができる。さらに、様々なセンサは、車両の３６０度の視野を提供するために車両を囲むように取り付けることができる。車両は、また、１つまたは複数のカメラ、１つまたは複数のＬＩＤＡＲセンサ、１つまたは複数のレーダセンサ、１つまたは複数の超音波センサ、および／または１つまたは複数の他の環境センサを装備することができる。アクチュエータを利用して様々なセンサの視野角を調整または制御することができる。センサはＥＣＵ１０１とともに利用されて、対象物を識別することができる。例えば、前方ＬＩＤＡＲセンサおよびコーナーＬＩＤＡＲセンサが利用されてもよい。前方ＬＩＤＡＲセンサは、どの車両および対象物が車両の前方周辺にいるかを判定するために使用されることができる。また、コーナーＬＩＤＡＲセンサは、対象物を検出して分類するために利用することができ、車両の周辺の車両周辺視野を強化するために使用することができる。

前方レーダセンサは、車両のフロントバンパに取り付けることができる。コーナーレーダセンサはバンパのコーナーに取り付けることができる。レーダセンサは、対象物を検出および分類し、車両の周辺の車両周辺視野を強化するように構成することができる。レーダセンサは、様々な車両安全システムを支援または向上するために利用することができる。前方レーダセンサは、車両のフロントバンパに組み込まれて、対象物が車両の前方にあることを判定することができる。コーナーレーダセンサは、後部バンパまたは車両の側面に配置され得る。コーナーレーダセンサは、対象物が運転者の死角にあるかを判定するために利用されることができ、ならびに後退時に左右後方から接近する車両または対象物を検出することができる。そのような機能は、車線変更時または駐車スペースからの後退時に、運転者が他の車両の回りを通り抜けることを可能にすることができ、ならびに、差し迫っている可能性がある衝突を回避するために、自律緊急制動をアシストすることを可能にすることができる。

コントローラ１０１は、車載カメラ１０３、外部カメラ１０７、ＧＰＳ１１３およびＨＭＩディスプレイ１１５を含む様々な車両コンポーネントから情報およびデータを受信することができる。コントローラ１０１は、そのようなデータを利用して、運転者の支援または自律運転に関連し得る車両機能を提供する。例えば、内部カメラ１０３、および外部カメラ１０７によって収集されたデータは、アダプティブクルーズ制御、自動駐車、駐車支援、自動緊急制動（ＡＥＢ）などに関連する機能を提供または強化するために、ＧＰＳデータおよび地図データと共に利用されてもよい。コントローラ１０１は、車両の様々なシステム（例えば、エンジン、トランスミッション、ブレーキ、ステアリング機構、ディスプレイ、センサ、ユーザインターフェースデバイスなど）と通信することができる。例えば、コントローラ１０１は、車両を減速させるためにブレーキに信号を送るように、または車両の経路を変更するためにステアリング機構に、あるいは車両を加速または減速させるためにエンジンまたはトランスミッションに信号を送るように構成することができる。コントローラ１０１は、例えば、様々な車両センサから入力信号を受信してディスプレイ装置に出力信号を送信するように構成することができる。コントローラ１０１は、また、追加の情報（例えば、地図、道路情報、天気、車両情報）にアクセスするため、１つまたは複数のデータベース、メモリ、インターネット、またはネットワークと通信することができる。以下に、より詳細に説明されるように、コントローラは、また、内部カメラ１０３と共に利用されて、車両の乗員の顔の特徴を識別することができる。

図２は、車両の乗員の不自然な目を判定するために利用される運転者状態監視システム（ＤＳＭ）の例示的なフローチャート２００を示す。ＤＳＭは、上述した、図１に示されるようなシステムを利用して、２０１で、運転者を監視することができる。ＤＳＭは、また、車両の同乗者など、車両の他の乗員を監視するために利用されることができる。ＤＳＭは、運転者の様々な習慣および活動を監視するため、様々なセンサ、カメラ、およびプロセッサ／コントローラを含むことができる。

一例において、ＤＳＭは、２０３で、運転者が目を細めて見ているかを監視することができる。ＤＳＭは、運転者の「通常状態」またはデフォルト状態を決定するために乗員（例えば、運転者または同乗者）の履歴データを利用することができる。一例において、デフォルト状態は、単に、運転している車両の典型的な周辺状況を監視する運転者であってもよい。乗員の異常状態が識別されない場合、ＤＳＭは、２０１で、運転者を監視し続けることができる。しかしながら、別の例では、ＤＳＭは、ＤＳＭの様々なセンサによって収集されたデータに応じて、乗員から異常な行動を識別するかもしれない。一例において、注視データ（例えば、運転者の頭の動きを監視するカメラから収集されたデータ）は、運転者が車両の周囲および外側を見ていることを識別することができる。さらに、ＤＳＭは、顔認識データを利用して、乗員の目が細くなって見ていることを判定することができる。例えば、顔認識データに関して収集され記憶された履歴情報に基づいて、ユーザの目が異常な状態にある（例えば、目を細めて見ている）ことを識別することができる。顔認識データによって識別されるものとして、乗員が目を細めて見ていると判定された場合、ＤＳＭは、車両に近接しているが、乗員（例えば、運転者または同乗者）が車両に近接している対象物がなんであるかをはっきりと識別するにはまだ範囲外である対象物を識別するために、乗員は目を細めて見ているとみなすことができる。そのようなシナリオでは、ＤＳＭシステムは、特定の状況を識別するために他の異常な活動について乗員をさらに評価してもよい。ＤＳＭは、乗員が目を細めて見ていないと判定した場合、乗員を監視し続けることができる。

ＤＳＭは、２０５で、車両の乗員が情報を探しているかどうかを判定することができる。ＤＳＭは、注視データ、頭の動きデータ、顔認識データ、および／または他のデータを利用して、ユーザが情報を探しているかを判定することができる。一例において、ＤＳＭが、注視データから乗員が自分の車の外を見ていると判定した場合、次に、ＤＳＭは、顔認識データを利用して、ユーザが目を細めながら対象物を見ていることを識別することができる。車載カメラ１０３から取得された情報から導出される注視データと顔認識データの両方を利用することによって、ＤＳＭは、乗員が情報を探していることを判定することができる。ユーザが情報を探していないとＤＳＭが判定した場合には、ＤＳＭは、何らかの異常な状態について車両の乗員を監視し続けることができる。特定の実施形態では、ＤＳＭは、乗員に向けられたカメラ１０３を利用して乗員の顔領域を分析することができる。ＤＳＭは、システムが正常状態であると見なす履歴データと比較して、ユーザの顔の動きおよび目の動作（例えば、目を細めて見ている、または見ている）の現在の状態を比較することができる。ＤＳＭは、そのような顔認識データから、通常の状態と比較して、乗員の目が、乗員が情報を探している動き（例えば、目を細めて見ている）をしていることを判定することができる。

ＤＳＭが、乗員が情報を探しているとの判定に至った場合、ＤＳＭは、２０７で、運転者が情報を探している場所を判定することができる。車室内のカメラ１０３が乗員の頭を見ることで、乗員の目がどこを見ているか、および頭の動きを評価することができる。データは、乗員が見ている場所を特定し、または乗員が目を細めて見ているかを識別するために、目の領域の画像から取得されるピクセルを評価するためのパラメータを含むことができる。ＤＳＭは、車載カメラシステム（ＶＣＳ）と連携して動作し、注視データ、頭の動きデータ、顔認識データ、および／または他のデータを利用して、乗員が情報を探している場所を判定することができる。例えば、乗員の頭が特定の方向を向いている場合、ＤＳＭはこの情報を監視し、乗員がその方向または近傍で情報を探していると判定することができる。

ステップ２０９で、ＤＳＭは、乗員が車両の内部の情報を探しているかの判定に進むことができる。上述のように、ＤＳＭは、ＶＣＳと連携して、注視データ、頭の動きデータ、顔認識データ、および／または他のデータを利用して、乗員が情報を探している場所を判定することができる。ＤＳＭは、乗員が車内を見ていることを示す注視データと頭の動きデータを収集する。例えば、ＤＳＭは、車両内の対象物を見ている乗員に向けられたカメラを利用して、データおよび情報を収集することができる。次いで、ＤＳＭは、情報が何であるかを判断しようとして、顔認識データまたは他のデータにより、乗員が瞳を凝らしている（例えば、目を細めている）と判定されるかどうかを判定するために乗員を監視することができる。例えば、乗員の視力が悪い場合、乗員は目を細めて車両のディスプレイを見ることで、そのディスプレイ上のテキスト情報を読み取る可能性がある。ＤＳＭは、ＤＳＭによって収集されたデータおよび情報によって、これを認識することができる。

乗員が車両内部の情報を見ているとＤＳＭが判定した場合、ステップ２１１で、ＤＳＭは車両コンピュータシステムと通信して、ヒューマンマシンインターフェース（ＨＭＩ）を変更することができる。ＤＳＭは、車載カメラまたは他のセンサによって集められた情報から、乗員が車両内の対象物に注目していることを判定することができる。乗員がその情報を解明するために、乗員が焦点を合わせているか、または瞳を凝らしている（例えば、目を細めている）場合、システムは、運転者が見ている情報がなにかを判定し、乗員がその情報を見ることを支援することができる。１つのシナリオでは、システムは、運転者がマルチメディアシステムのディスプレイ上のテキスト情報を見るのに瞳を凝らしていることを判定することができる。乗員がこの情報を見るのに瞳を凝らしていることを判定すると、システムは、テキスト情報のフォントサイズまたは画像を拡大することによって応じることができる。従って、フォントサイズが拡大された場合、乗員が瞳を凝らすことなくその情報を識別または解明することをより容易にすることができる。ＤＳＭが、（例えば、顔認識データまたは頭の動きデータまたは注視データを利用することから）乗員が瞳を凝らしていることを検知し続ける場合、乗員を支援するためにサイズおよびフォントを拡大させ続けてもよい。システムは、乗員に無理がないことを検出するまでフォントを拡大させ続けるように構成されてもよい。システムはまた、そのような情報を識別するためにユーザが目を凝らしている、車室内の他の車載オブジェクト（例えば、本、地図、紙、新聞、タブレットなど）を検出することができるかもしれない。

別のシナリオでは、システムは、ステップ２１３において、乗員が車両の内部の情報を見ていないと判定し、代わりに乗員が車両の外部の情報を見ているかどうかを判定することができる。ＤＳＭは、車載カメラ１０３または別のセンサによって収集された情報から、乗員が車両の外部の対象物に焦点を合わせていることを判定することができる。乗員が車両の外部の情報を解明するために、注目し、瞳を凝らしている（例えば、目を細めて見ている）場合、システムは、乗員が見ている情報が何かを判定し、乗員がその情報を見ることを支援することができる。１つのシナリオでは、システムは、乗員が、車両が接近している道路標識に目を凝らしていると判定するかもしれない。システムは、センサによって収集されたデータ（例えば、注視データ、頭部動きデータ、顔認識データ、および／または他のデータ）を利用して、乗員が見ている外部の対象物が何かを判定することができる。乗員が道路標識を見るのに瞳を凝らしていると判定すると、システムは、乗員が情報を識別するのを容易にするために、対象物（例えば、道路標識）に関する情報を収集することができる。

ステップ２１５で、ＤＳＭは、ＶＣＳと連携して動作し、車両の近くの対象物に関する情報を収集し、そのような情報を車両内のＨＭＩにて提示することができる。ＤＳＭは、注視データ、頭の動きデータ、顔認識データ、および／または他のデータを利用して、乗員が情報を探している場所を判定することができる。乗員が車両の外部を見ているとＤＳＭが判定すると、ＤＳＭは、乗員が見ている正確な対象物が何かを判定するために、車両の外側の環境を監視する様々な外部カメラまたは車載カメラと協働することができる。例えば、ＤＳＭは、乗員が車両の外側を見ていると判定することができ、次に、乗員が見ているのがどの対象物かを判定するために、車両の前方に向けられているカメラ１０７（例えば、バックミラーに取り付けられているが、フロントガラスの外側を向いている）と協働することができる。車両環境を監視するカメラは、対象物を識別し、対象物に関する追加情報を引き出して、乗員を支援するために利用さえ得る情報（例えば、画像）を収集することができる。例えば、対象物が識別されると、ＶＣＳは車外サーバと連携して動作し、その対象物に関する追加情報を収集することができる。例えば、看板のサインがカメラによって認識される場合、ＶＣＳは、ダウンロードしてユーザに提示するために、看板についての詳細を識別するように、ＧＰＳデータと注目点データベースの情報を利用することができる。しかしながら、別の実施形態では、ＶＣＳは、サーバが対象物について特定される追加の情報を一切有さない、車両の外部に位置する看板または別のサインを識別することもできる。ＶＣＳは、ユーザに提示され得る情報（例えば、画像）を収集するために、車両の外側に取り付けられたセンサ（例えば、カメラ、Ｌｉｄａｒセンサ、レーダセンサ）と連携して動作することができる。このようにして、看板のズームイン画像は、車室内のディスプレイ上でユーザに提示することができる。

従って、フォントサイズが拡大された場合、乗員が瞳を凝らすことなくその情報を識別または解明することをより容易にすることができる。ＤＳＭが、（例えば、顔認識データまたは頭の動きデータまたは注視データを利用することから）乗員が瞳を凝らしていることを検知し続ける場合、乗員を支援するためにサイズおよびフォントを拡大させ続けてもよい。システムは、乗員に無理がないことを検出するまでフォントを拡大させ続けるように構成されてもよい。システムはまた、そのような情報を識別するためにユーザが目を凝らしている、車室内の他の車載オブジェクト（例えば、本、地図、紙、新聞、タブレットなど）を検出することができるかもしれない。例えば、システムは、車載カメラを利用することで、ユーザが運転席側ウィンドウの外、または別のシナリオでは助手席側ウィンドウの外の対象物を見ていることを識別することができる。システムは、車両の該当する側（例えば、運転席側または助手席側のいずれか）に配置された外部カメラまたはセンサを利用することにより、その対象物に関する追加の情報を収集することができる（例えば、対象物にズームインし、その対象物に関する情報を収集するために、運転席ドアパネルまたはドアミラーのカメラを利用する）。

図３は、本開示による、ユーザの画像から顔のパラメータを取得するための例示的な画像処理方法を示す。この画像処理方法は、図２に示すフローチャートを参照して上述したように、ユーザの目の領域に関する顔パラメータを取得するために使用され、または他の種類の顔パラメータを取得するために使用される。

図３に示すように、画像３１０は、顔検出アルゴリズムを用いて処理され、画像内の顔領域３１１を検出し、および顔領域３１１内の目領域３１２ａ、３１２ｂを検出する。次に、本明細書で説明するように、目領域３１２ａ、３１２ｂ内の画素を分析して顔パラメータの値を取得する。

撮影した画像３１０から検出される顔パラメータの他の例は、ユーザとディスプレイとの間の距離に関する距離パラメータ、ユーザに関する１つまたは複数のデモグラフィックパラメータ、およびユーザが眼鏡を掛けているかどうかを示す眼鏡パラメータを含むが、これらに限定されない。距離パラメータは、ユーザがディスプレイから近すぎるか遠すぎるかを判断するために使用され、そのどちらもユーザが視認することに困難を体感していることを示す。

いくつかの実施形態では、顔認識アルゴリズムを使用して、視認困難を示す特定の種類の表情または顔の動きを検出する。例えば、目を細めて見ていることを示す、眉をひそめること、または目の近くの皮膚にしわが寄っていることは、ユーザが視認困難を体感している兆候である。そのような実施形態では、顔パラメータは、ユーザが視認困難を体感していることを示す、異なる所定の顔の特徴についての１つまたは複数のフラグを含む。その顔の特徴が検出された場合、フラグの値は「ＴＲＵＥ」に設定され、顔パラメータにおけるフラグの閾値数（１つまたは複数など）が「ＴＲＵＥ」に設定されている場合、ユーザは視認困難を体感していると判定される。例えば、顔パラメータは、眉をひそめること、目を細めて見ていること、および目の近くにしわが寄っていることに関する２つのフラグを含み、両方のフラグが「ＴＲＵＥ」である場合、ユーザは視認困難を体感していると判定される。

例えば、距離パラメータは、撮影された画像におけるユーザの顔の見かけの大きさに基づいて取得することができる。長さ寸法または面積に関して測定することができる顔の見かけのサイズが、全画像サイズの一部としての最大閾値よりも大きい場合、ユーザはディスプレイに近すぎると判定される。同様に、顔の見かけのサイズが全画像サイズの一部としての最小閾値よりも小さい場合、ユーザはディスプレイから遠すぎると判定される。これらの結果のいずれにおいても、ユーザは表示されたコンテンツを視覚的に解明することが困難を感じているとみなされる。一方、顔の見かけの大きさが、最小閾値と最大閾値の間にある場合、ユーザは視認困難を体感していないとみなされる。

デモグラフィックパラメータまたはデータは、例えば、ユーザの年齢、性別、または人種の推定値を含むことができる。そのようなパラメータまたはデータは、ユーザが視力障害の高いリスクに関連する何らかの人口統計学的カテゴリに入るかどうかを判定するために使用することができる。例えば、いくつかの実施形態では、ユーザが高リスクの人口統計学的カテゴリに識別されているという判定に応じて、ユーザは視聴困難を体感しているとみなされる。そのような実施形態では、ディスプレイの明るさを明るくしたり、またはフォントおよび画像サイズを拡大したりするなどの修正措置が、他の顔パラメータをチェックすることなく自動的に行われてもよい。

図４Ａは、自動車の近傍の環境を評価する車両のＤＳＭサーベイの例示的な図である。図４Ａに示すように、乗員（例えば、運転者）は、特に運転している状況において、フロントガラスから外を見ている。また、図４Ａの状況に示すように、車両は道路を走行している。車両の近位領域を見るために取り付けられているカメラは、目標対象物４０１を識別することができる。カメラは、車両の外側に取り付けられてもよく、又は車両の内側であるが車両の外側を見るように取り付けられてもよい（例えば、バックミラーに取り付けられたカメラ）。１つのシナリオにおける目標対象物４０１は道路標識４０３であってもよい。カメラは、遠方から路側対象物の詳細な画像を収集するためにカメラのズーム機能を使用するなどして、目標対象物４０１に関する情報を収集することを選択することができる。図４には示されていないが、車載カメラまたはＤＳＭは、運転者を監視して、ユーザが対象物を見ているかどうかを判定することができる。

図４Ｂは、ＤＳＭからの目を細めて見ているシナリオの識別に応答する車両のＨＭＩの一例である。乗員（例えば、運転者）は、特に運転している状況において、フロントガラスから外を見ている。図４Ｂの状況に示されるように、車両は道路を走行している。車両の近位領域を見るために取り付けられているカメラは、目標対象物４０１を識別することができる。カメラは、車両の外側に取り付けられてもよく、又は車両の内側であるが車両の外側を見るように取り付けられてもよい（例えば、バックミラーに取り付けられたカメラ）。１つのシナリオにおける目標対象物４０１は、道路標識４０３または別の対象物であってもよい。カメラは、遠方から路側対象物の詳細な画像を収集するためにカメラのズーム機能を使用するなどして、目標対象物４０１に関する情報を収集することを選択することができる。対象物４０３を識別するのは難しいかもしれないが、車両のカメラは、詳細な道路標識４０９を受像する画像にズームインすることができるかもしれない。詳細な道路標識４０９は、対象物４０３の拡大された画像である。図４Ｂには示されていないが、車載カメラまたはＤＳＭは、運転者を監視して、ユーザが対象物を見ているかどうかを判定することができる。

詳細な道路標識４０９は、車両内の様々なディスプレイに表示することができる。例えば、道路標識４０３に関する情報は、車両ナビゲーションシステム４０５に表示されてもよい。車両ナビゲーションシステム４０５は、対象物４０３に関する情報４０７を表示することができる。そのような情報４０７は、対象物の拡大画像、対象物に関する詳細情報（例えば、対象物を説明するテキスト情報）、または対象物４０３に基づく代替経路情報を含むことができる。そのような情報４０７は、上述のように、車外サーバによって検索することができる。なお、テキスト情報を読み上げる音声が、可聴情報として、スピーカから出力されてもよい。

代替の実施形態では、車載カメラまたはセンサは、ユーザがどこを見ているか、ならびにユーザの頭の動きの追跡を続けることができる。ＤＳＭは、注視データ、頭の動きデータ、および他のデータを利用して、ユーザが車両の近傍の特定の方向にある情報を探しているかどうかを判定することができる。そして、車両コンピュータシステムは、そのようなデータを利用して、車両内のどのディスプレイがユーザへの出力に理想的であるかを識別することができる。例えば、車両コンピュータシステムは、ユーザがまっすぐ前を見ていると判定すると、インストルメントパネルのディスプレイまたはヘッドアップディスプレイに情報を出力することができる。別のシナリオでは、車両コンピュータシステムは、運転者が、少し右のマルチメディアディスプレイまたはナビゲーションディスプレイの近くを見ていると判定するかもしれない。この場合、車両コンピュータシステムは、ナビゲーションディスプレイ／マルチメディアディスプレイに情報を出力してもよい。このように、車両コンピュータシステムは、車両内の乗員の注視データまたは頭の動きに関する情報に応じてディスプレイを選択および識別することができる。

例示的な実施形態が上述されたが、これらの実施形態が、特許請求の範囲によって包含される全ての可能な形態を説明することは意図されていない。本明細書で使用されている文言は、限定ではなく説明の文言であり、本開示の主旨および範囲から逸脱することなく様々な変更が可能であることを理解されたい。前述のように、様々な実施形態の特徴を組み合わせて、本発明のさらなる実施形態を形成することができ、それは明示的に説明または図示されていない場合がある。様々な実施形態は、１つまたは複数の所望の特性に関して、利点を提供するかまたは他の実施形態または従来技術の実装形態よりも好ましいものとして説明され得るが、当業者であれば、特定の用途や実装に依存する、所望のシステム全体の属性を達成するために、１つまたは複数の特徴または特性が妥協され得ることを認めるだろう。これらの属性は、コスト、強度、耐久性、ライフサイクルコスト、市場性、外観、包装、サイズ、保守性、重量、製造性、組み立ての容易さなどを含み得るが、これらに限定されない。したがって、任意の実施形態が１つまたは複数の特性に関して他の実施形態または従来技術の実装形態よりも望ましくないと説明される限りにおいて、これらの実施形態は本開示の範囲外ではなく、特定の用途には望ましいことがある。

１００：車両システム、１０１：コントローラ、１０３：内部カメラ、１０５：通信機、１０７：外部カメラ、１０９：車車間通信機、１１３：ＧＰＳモジュール、１１５：ディスプレイ

Claims (20)

1. 車両の外側の対象物を含む、車両の近傍の環境を調べるように構成される第１のセンサと、
   車室内に配置され、車両の乗員の顔情報を示すデータを取得するように構成される第２のセンサと、
   第１および第２のセンサと通信し、乗員が目を細めて車両の外側の対象物を見る動作を示す顔情報を示すデータに応じて、車両システムのディスプレイに対象物に関する情報を出力するようにプログラムされるプロセッサと、を備える車両内の車両システム。
2. 第２のセンサは、さらに、乗員の頭の動き情報を示すデータを取得するように構成され、
   プロセッサは、さらに、少なくとも頭の動き情報を示すデータを利用して、乗員が車両の外側の対象物を見ていることを識別するようにプログラムされる、請求項１の車両システム。
3. 第１のセンサは、さらに、車両の外側の対象物の画像情報を示すデータを取得するように構成され
   プロセッサは、さらに、画像情報を示すデータを利用して、ディスプレイ上に対象物のグラフィック画像を出力するようにプログラムされる、請求項１の車両システム。
4. プロセッサは、さらに、対象物に関する可聴情報を出力するようにプログラムされる請求項１の車両システム。
5. プロセッサは、さらに、第１のセンサと顔情報を示すデータとを利用して対象物を識別するように構成される、請求項１の車両システム。
6. 前記情報は、対象物を説明するテキストを含む、請求項１の車両システム。
7. プロセッサは、さらに、車両システムと通信する車外サーバを利用して対象物の情報を検索するように構成される、請求項１の車両システム。
8. プロセッサは、さらに、第２のセンサから取得された頭の動き情報を示すデータに応じて、対象物の情報を出力するための車両システムのディスプレイを選択するようにプログラムされる、請求項２の車両システム。
9. 対象物は、道路標識、ＰＯＩ、または看板である、請求項１の車両システム。
10. プロセッサは、さらに、ユーザが車両システムのディスプレイ上の対象物の情報を見るのに目を細めていることを判定すると、ディスプレイ上に表示されている対象物の情報を拡大するようにプログラムされる、請求項１の車両システム。
11. １つ以上の車両センサから生成されるデータを利用して、車両の乗員が目を細めて見ていることを判定すること、
    １つ以上の車両センサを介して、乗員が目を細めて見ていることに応じて、乗員が目を細めて見ている車両の近傍の対象物を特定すること、および
    乗員が目を細めて見ていることに応じて、車両の外側に位置する対象物に関する情報を、システムのディスプレイに出力すること、を備える車両システムで実行される方法。
12. 前記方法は、
    １つ以上の車両センサから生成されるデータに応じて、乗員の頭の動きを判定するステップ、および
    乗員の頭の動きに応じて、情報を出力するディスプレイを選択するステップを含む、請求項１１の方法。
13. ディスプレイは、インストルメントパネル、ナビゲーションディスプレイ、またはヘッドアップディスプレイのうちの少なくとも１つである、請求項１２の方法。
14. 対象物の場所を特定するステップを含む、請求項１２の方法。
15. 前記方法は、１つ以上の車両センサを介して、目を細めて見ていることに応じて、乗員が見ている車内の対象物を特定するステップを含む、請求項１１の方法。
16. 前記方法は、乗員が目を細めて見ている車内の対象物が前記ディスプレイである場合、当該ディスプレイ上に表示されている対象物の情報を拡大するステップを含む、請求項１５の方法。
17. 前記方法は、対象物に関する可聴情報を出力するステップを含む、請求項１１の方法。
18. 対象物に関する情報は、対象物の画像を含む、請求項１１の方法。
19. 車両の乗員を監視するとともに、車両の近傍の１以上の対象物を特定するように構成される運転者状態モニタと、
    目標挙動に基づいて運転者支援機能を実行するように構成される運転者支援コントローラと、を備え、
    目標挙動は、車両の周囲の環境に基づいて定義され、運転者支援コントローラは、運転者が目を細めて車両の近傍の１以上の対象物を見ていることに応じて、車両のディスプレイに、その対象物に関する情報を出力するための指令を送信するように運転者支援機能を動作させるように構成される車両の運転者支援システム。
20. 運転者支援コントローラは、ユーザが車両のディスプレイ上の対象物の情報を見るのに目を細めていることを判定すると、ディスプレイ上に表示されている対象物の情報を拡大するように構成される、請求項１９の運転者支援システム。

Images