JP6766171B2 - 車両制御システム、車両制御方法、および車両制御プログラム - Google Patents

Description

本発明は、車両制御システム、車両制御方法、および車両制御プログラムに関する。

従来、運転者の覚醒度が低下した場合に、出力部に警告を出力させたり、警察官などが保持する端末機器に通知したりする車両運転支援装置が知られている（例えば、特許文献１参照）。

特開２００１−２１９７６０号公報

しかしながら、従来の技術は、運転者の覚醒度が低下した場合の処理としては不十分な場合があった。

本発明は、このような事情を考慮してなされたものであり、車両の乗員の覚醒度合を自動運転において必要なレベル以上に維持させることができる車両制御システム、車両制御方法、および車両制御プログラムを提供することを目的の一つとする。

（１）：この発明の一態様に係る車両制御システムは、車両の速度制御または操舵制御のうち少なくとも一方を自動的に制御する自動運転を実行する自動運転制御部と、車両のドライバーの覚醒度合を推定する第１推定部と、前記車両の乗員の数を推定する第２推定部と、前記自動運転制御部により前記自動運転が実行されているときに、前記第１推定部により、前記ドライバーの覚醒度合が基準以下であると推定された場合、前記第２推定部により推定された前記車両の乗員の数に基づいて、前記車両のドライバーにとって能動的な行為を要求する第１コンテンツを選択し、選択した前記第１コンテンツを出力部に出力させる出力制御部と、を備える車両制御システムである。
（２）：上記（１）の態様において、前記第１推定部は、前記車両の前記ドライバーおよび乗員の覚醒度合を推定し、前記第２推定部は、前記覚醒度合が低い乗員を前記推定した前記乗員の数から除外し、前記出力制御部は、前記自動運転制御部により前記自動運転が実行されているときに、前記第１推定部により、前記ドライバーの覚醒度合が基準以下であると推定された場合、前記第２推定部により前記推定された前記乗員の数から前記覚醒度合が低い乗員が除外された前記車両の乗員の数に基づいて、前記車両のドライバーにとって能動的な行為を要求する第１コンテンツを選択し、選択した前記第１コンテンツを出力部に出力させる。
（３）：上記（１）または（２）の態様のうちいずれかにおいて、前記第２推定部は、前記乗員の数および前記乗員の種別を推定し、前記出力制御部は、前記自動運転制御部により前記自動運転が実行されているときに、前記第１推定部により、前記ドライバーの覚醒度合が基準以下であると推定された場合、前記第２推定部により推定された前記車両の乗員の数および種別に基づいて、前記車両のドライバーにとって能動的な行為を要求する第１コンテンツを選択し、選択した前記第１コンテンツを出力部に出力させる。

（４）：上記（１）から（３）の態様のうちいずれかにおいて、前記第１コンテンツは、前記第１コンテンツが出力される前に出力されていた第２コンテンツに比して、より能動的な行為を要求するコンテンツである。

（５）：上記（１）から（３）の態様のうちいずれかにおいて、前記第１推定部は、前記出力制御部により、前記第１コンテンツとは異なるコンテンツが所定の時間継続して出力されている場合、前記車両のドライバーの覚醒度合が基準以下であると推定する。

（６）：上記（１）から（３）の態様のうちいずれかにおいて、前記第１推定部は、前記出力制御部により前記第１コンテンツに比して車両のドライバーにとって能動的な行為を要求する度合が低い第３コンテンツが出力されているときに、車両のドライバーの覚醒度合が基準以下であるか否かを推定する。

（７）：上記（１）から（３）の態様のうちいずれかにおいて、車両のドライバーのコンテンツに対する反応を検知する反応検知部を、更に備え、前記第１推定部は、前記反応検知部により前記第１コンテンツに対する反応が検出された場合、前記車両のドライバーの覚醒度合が基準以下でないと推定する。

（８）：上記（７）の態様のうちいずれかにおいて、前記出力制御部は、前記車両のドライバーがコンテンツに反応したことにより、前記第１推定部により前記車両のドライバーの覚醒度合が基準以下でないと推定された場合には、前記第１コンテンツを前記出力部に出力させる前に出力させていたコンテンツを前記出力部に出力させる。

（９）：上記（１）から（３）の態様のうちいずれかにおいて、車両のドライバーの状態を検出する状態検知部を、更に備え、前記第１推定部は、前記状態検知部の検出結果に基づいて、前記ドライバーの覚醒度合の低下を推定する。

（１０）：上記（１）から（３）の態様のうちいずれかにおいて、前記出力制御部は、前記第１推定部により推定された車両のドライバーの覚醒度合に基づいて、車両の複数の乗員に対して能動的な行為を要求するコンテンツのうちから、前記覚醒度合に応じたコンテンツを選択して、前記出力部に出力させる。

（１１）：上記（１）から（３）の態様のうちいずれかにおいて、前記出力制御部は、車両の乗員の構成に応じて、前記第１コンテンツを選択し、前記出力部に出力させる。

（１２）：上記（１）から（３）の態様のうちいずれかにおいて、車両の乗員の入力操作を受け付ける入力部を、更に備え、前記第１コンテンツは、複数のコンテンツの中から前記入力部に対する入力操作に応じて、設定される。

（１３）：この発明の一態様に係る車両制御方法は、車載コンピュータが、車両の速度制御または操舵制御のうち少なくとも一方を自動的に制御する自動運転を実行する自動運転制御部により前記自動運転が実行されているときに、前記車両のドライバーの覚醒度合が基準以下であると推定した場合、前記車両の乗員の数に基づいて、前記車両のドライバーにとって能動的な行為を要求する第１コンテンツを選択し、選択した前記第１コンテンツを出力部に出力させる車両制御方法である。

（１４）：この発明の一態様に係るプログラムは、車載コンピュータに、車両の速度制御または操舵制御のうち少なくとも一方を自動的に制御する自動運転を実行する自動運転制御部により前記自動運転が実行されているときに、前記車両のドライバーの覚醒度合が基準以下であると推定した場合、前記車両の乗員の数に基づいて、前記車両のドライバーにとって能動的な行為を要求する第１コンテンツを選択し、選択した前記第１コンテンツを出力部に出力させるプログラムである。

（１）から（７）、（９）、（１３）、または（１４）によれば、自動運転が実行されているときに、車両のドライバーの覚醒度合を推定させ、覚醒度合が基準以下であると推定された場合、車両のドライバーにとって能動的な行為を要求する第１コンテンツを出力部に出力させることにより、車両のドライバーの覚醒度合を自動運転において必要なレベル以上に維持させることができる。

（８）によれば、出力制御部は、コンテンツに対する反応があった場合、第１コンテンツを出力部に出力させる前に出力させていたコンテンツを出力部に出力させることにより、車両の乗員が複雑な操作をしなくても、第１コンテンツが出力される前に出力されていたコンテンツが出力される。この結果、車両の乗員にとって利便性が向上する。

（１０）または（１１）によれば、出力制御部は、車両の乗員が複数存在する場合においても、複数の乗員が参加することができる能動的な行為を要求するコンテンツを出力部に出力させることができるため、車両の乗員とっての利便性が向上する。

（１２）によれば、第１コンテンツは、複数のコンテンツの中から入力部に対する入力操作に応じて設定されるため、車両の乗員は、好みのコンテンツを設定することができる。

自動運転制御ユニット１００を含む車両システム１の構成図である。 自車位置認識部１２２により走行車線Ｌ１に対する自車両Ｍの相対位置および姿勢が認識される様子を示す図である。 推奨車線に基づいて目標軌道が生成される様子を示す図である。 コンテンツテーブル１６２の一例を示す図である。 第３制御部１５０により実行される処理の流れを示すフローチャートである。 図５の処理におけるコンテンツの切り替わりについて説明するための図である。 能動コンテンツを設定する場合に表示される画像ＩＭ４の一例を示す図である。 第２の実施形態の第３制御部１５０により実行される処理の流れを示すフローチャートである。 第２の実施形態の自動運転制御ユニット１００Ａの機能構成図である。 コンテンツテーブル１６２Ａを中心に示す図である。 第３の実施形態の第３制御部１５０により実行される処理の流れを示すフローチャートである。

＜第１の実施形態＞
以下、図面を参照し、本発明の車両制御システム、車両制御方法、および車両制御プログラムの実施形態について説明する。

図１は、自動運転制御ユニット１００を含む車両システム１の構成図である。車両システム１が搭載される車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

車両システム１は、例えば、カメラ１０と、レーダ装置１２と、ファインダ１４と、物体認識装置１６と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、生体センサ４０と、ナビゲーション装置５０と、ＭＰＵ（Micro-Processing Unit）６０と、車両センサ７０と、運転操作子８０と、車室内カメラ９０と、自動運転制御ユニット１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される車両（以下、自車両Ｍと称する）の任意の箇所に一つまたは複数が取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。

レーダ装置１２は、自車両Ｍの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。レーダ装置１２は、ＦＭ−ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。

ファインダ１４は、照射光に対する散乱光を測定し、対象までの距離を検出するＬＩＤＡＲ（Light Detection and Ranging、或いはLaser Imaging Detection and Ranging）である。ファインダ１４は、自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。

物体認識装置１６は、カメラ１０、レーダ装置１２、およびファインダ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置１６は、認識結果を自動運転制御ユニット１００に出力する。

通信装置２０は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用して、自車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。

ＨＭＩ３０は、自車両Ｍの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、スピーカ、ブザー、スイッチ、キー、マイクなどを含む。また、ＨＭＩ３０は、表示部と入力部とが一体で形成され、インストルメントパネルに設けられたタッチパネルや、フロントウィンドウに画像を反射させて、車両の乗員の視野内に画像を表示するヘッドアップディスプレイを含む。

生体センサ４０は、車両の乗員の座席や、ステアリングホイールなど、車両の乗員の身体の一部が接触する箇所に設けられる。生体センサ４０は、例えば、心拍数や、体温、脈拍等を検出する。

ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備え、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に第１地図情報５４を保持している。ＧＮＳＳ受信機は、ＧＮＳＳ衛星から受信した信号に基づいて、自車両Ｍの位置を特定する。自車両Ｍの位置は、車両センサ７０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビＨＭＩ５２は、前述したＨＭＩ３０と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された自車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報などを含んでもよい。経路決定部５３により決定された経路は、ＭＰＵ６０に出力される。また、ナビゲーション装置５０は、経路決定部５３により決定された経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。なお、ナビゲーション装置５０は、例えば、ユーザの保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。また、ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから返信された経路を取得してもよい。

ＭＰＵ６０は、例えば、推奨車線決定部６１として機能し、ＨＤＤやフラッシュメモリなどの記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに目標車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、経路において分岐箇所や合流箇所などが存在する場合、自車両Ｍが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。

第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第２地図情報６２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報などが含まれてよい。道路情報には、高速道路、有料道路、国道、都道府県道といった道路の種別を表す情報や、道路の車線数、各車線の幅員、道路の勾配、道路の位置（経度、緯度、高さを含む３次元座標）、車線のカーブの曲率、車線の合流および分岐ポイントの位置、道路に設けられた標識等の情報が含まれる。第２地図情報６２は、通信装置２０を用いて他装置にアクセスすることにより、随時、アップデートされてよい。

車両センサ７０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。

運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイールその他の操作子を含む。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御ユニット１００、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一方または双方に出力される。

車室内カメラ９０は、運転席に着座した乗員の顔を中心として上半身を撮像する。車室内カメラ９０の撮像画像は、自動運転制御ユニット１００に出力される。

自動運転制御ユニット１００は、例えば、第１制御部１２０と、第２制御部１４０と、第３制御部１５０と、コンテンツ記憶部１６０とを備える。第１制御部１２０と第２制御部１４０と第３制御部１５０は、それぞれ、ＣＰＵ（Central Processing Unit）などのプロセッサがプログラム（ソフトウェア）を実行することで実現される。また、各機能部のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

第１制御部１２０は、例えば、外界認識部１２１と、自車位置認識部１２２と、行動計画生成部１２３とを備える。

外界認識部１２１は、カメラ１０、レーダ装置１２、およびファインダ１４から物体認識装置１６を介して入力される情報に基づいて、周辺車両の位置、および速度、加速度等の状態を認識する。周辺車両の位置は、その周辺車両の重心やコーナー等の代表点で表されてもよいし、周辺車両の輪郭で表現された領域で表されてもよい。周辺車両の「状態」とは、周辺車両の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。また、外界認識部１２１は、周辺車両に加えて、ガードレールや電柱、駐車車両、歩行者その他の物体の位置を認識してもよい。

自車位置認識部１２２は、例えば、自車両Ｍが走行している車線（走行車線）、並びに走行車線に対する自車両Ｍの相対位置および姿勢を認識する。自車位置認識部１２２は、例えば、第２地図情報６２から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０によって撮像された画像から認識される自車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。この認識において、ナビゲーション装置５０から取得される自車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。

そして、自車位置認識部１２２は、例えば、走行車線に対する自車両Ｍの位置や姿勢を認識する。図２は、自車位置認識部１２２により走行車線Ｌ１に対する自車両Ｍの相対位置および姿勢が認識される様子を示す図である。自車位置認識部１２２は、例えば、自車両Ｍの基準点（例えば重心）の走行車線中央ＣＬからの乖離ＯＳ、および自車両Ｍの進行方向の走行車線中央ＣＬを連ねた線に対してなす角度θを、走行車線Ｌ１に対する自車両Ｍの相対位置および姿勢として認識する。なお、これに代えて、自車位置認識部１２２は、自車線Ｌ１のいずれかの側端部に対する自車両Ｍの基準点の位置などを、走行車線に対する自車両Ｍの相対位置として認識してもよい。自車位置認識部１２２により認識される自車両Ｍの相対位置は、推奨車線決定部６１および行動計画生成部１２３に提供される。

行動計画生成部１２３は、推奨車線決定部６１により決定された推奨車線を走行するように、且つ、自車両Ｍの周辺状況に対応できるように、自動運転において順次実行されるイベントを決定する。イベントには、例えば、一定速度で同じ走行車線を走行する定速走行イベント、前走車両に追従する追従走行イベント、車線変更イベント、合流イベント、分岐イベント、緊急停止イベント、自動運転を終了して手動運転に切り替えるためのハンドオーバイベントなどがある。また、これらのイベントの実行中に、自車両Ｍの周辺状況（周辺車両や歩行者の存在、道路工事による車線狭窄など）に基づいて、回避のための行動が計画される場合もある。

行動計画生成部１２３は、自車両Ｍが将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとに将来の基準時刻を複数設定し、それらの基準時刻に到達すべき目標地点（軌道点）の集合として生成される。このため、軌道点同士の間隔が広い場合、その軌道点の間の区間を高速に走行することを示している。

図３は、推奨車線に基づいて目標軌道が生成される様子を示す図である。図示するように、推奨車線は、目的地までの経路に沿って走行するのに都合が良いように設定される。行動計画生成部１２３は、推奨車線の切り替わり地点の所定距離手前（イベントの種類に応じて決定されてよい）に差し掛かると、車線変更イベント、分岐イベント、合流イベントなどを起動する。各イベントの実行中に、障害物を回避する必要が生じた場合には、図示するように回避軌道が生成される。

行動計画生成部１２３は、例えば、目標軌道の候補を複数生成し、安全性と効率性の観点に基づいて、その時点での最適な目標軌道を選択する。

第２制御部１４０は、走行制御部１４１を備える。走行制御部１４１は、行動計画生成部１２３によって生成された目標軌道を、予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御する。

第３制御部１５０は、状態検知部１５２と、推定部１５４と、出力制御部１５６とを備える。「車両制御システム」は、行動計画生成部１２３と、走行制御部１４１と、第３制御部１５０とを含むものである。

状態検知部１５２は、車両の乗員（ドライバー）の状態を示す情報を取得する。状態検知部１５２は、「反応検知部」の一例である。車両の乗員の状態を示す情報とは、例えば、生体センサ４０により取得された情報、または車室内カメラ９０に撮像された画像である。

推定部１５４は、状態検知部１５２により取得された情報に基づいて、車両の乗員の覚醒度を推定する。覚醒度は、自動運転が実行されている際に、車両の乗員が周辺を監視することができる程度を示す情報として用いられる。覚醒度が基準を超える状態であれば、車両の乗員は周辺を十分に監視することができると考えられ、覚醒度が基準以下の状態であれば、車両の乗員が周辺を十分に監視することができないと考えられる。具体的には、覚醒度が基準以下の状態とは、車両の乗員が浅い眠りについている状態や、浅い眠りにつきそうな状態、意識レベルが低下している状態である。これに対して、意識レベルが低下していない状態は、覚醒度が基準よりも高い状態である。

また、推定部１５４は、非能動コンテンツ（後述）が所定の時間継続して出力されている場合、車両の乗員の覚醒度合が基準以下に低下したと推定してもよい。非能動コンテンツが所定の時間継続して出力されている場合、車両の乗員は能動的な行為をしていない場合があるためである。

推定部１５４は、例えば、車室内カメラ９０により繰り返し撮像された時系列の画像に基づいて、車両の乗員の覚醒度を導出する。例えば、推定部１５４は、画像から抽出した車両の乗員の特徴点に基づいて、眼や口の輪郭、顔の向きなどを検出し、検出した輪郭の動きや、顔の向きに基づいて、覚醒度を導出する。例えば、推定部１５４は、以下の条件のうち、１または複数の条件を満たす場合、車両の乗員の覚醒度が基準以下であると推定する。上記の条件とは、（１）単位時間あたりの眼の輪郭の動きの回数が所定回数以下である、（２）所定時間以上眼の輪郭（例えばまぶた）を閉じかけた状態（閉じている状態）が所定回数以上連続している、（３）所定時間以上顔の向きが下方に傾いている状態が所定回数以上連続している、等である。また、推定部１５４は、生体センサ４０により検知された情報に基づいて、車両の乗員の覚醒度を推定してもよい。

出力制御部１５６は、自動運転制御ユニット１００により自動運転が実行されているとき、推定部１５４により、覚醒度合が基準以下であると推定された場合、車両の乗員にとって能動的な行為を要求するコンテンツをＨＭＩ３０に出力させる。出力制御部１５６の処理の詳細については後述する。

コンテンツ記憶部１６０には、コンテンツテーブル１６２が格納されている。コンテンツテーブル１６２は、ＨＭＩ３０により出力されるコンテンツの内容が設定されたテーブルである。図４は、コンテンツテーブル１６２の一例を示す図である。例えば、ＨＭＩ３０により出力されるコンテンツには、能動的な行為を要求しないコンテンツ（以下、「非能動コンテンツ」と称する。）と、能動的な行為を要求するコンテンツ（以下、「能動コンテンツ」と称する。）とに分類される。能動的な行為とは、車両の乗員が、コンテンツに反応して、何らかの反応を要求するコンテンツである。コンテンツテーブル１６２は、コンテンツの種類ごとに、これらのいずれに分類されるかを示している。また、コンテンツテーブル１６２では、能動的な行為の要求レベルが規定されている。要求レベルが高い程、要求レベルが低い場合に比して、能動的な行為が要求される。コンテンツテーブル１６２において、非能動コンテンツに関して、能動的な行為の要求レベルは「ゼロ」に設定されている。非能動コンテンツは、例えば、表示部に表示される画像やスピーカに出力される音声等である。非能動コンテンツが、表示部に表示される画像である場合、コンテンツの内容は、テレビや、映画、ＤＶＤである。非能動コンテンツが、スピーカにより出力される音声である場合、コンテンツの内容は、ラジオやＣＤ等である。

能動コンテンツは、コンテンツテーブル１６２において規定された要求レベルが高い程、より能動的な行為が要求される。能動コンテンツは、例えば、表示部に表示される画像やスピーカに出力される音声に対して、車両の乗員による何らかの反応を必要とするコンテンツである。能動コンテンツが、表示部に表示される画像である場合、要求レベル１に対応するコンテンツの内容は、例えば、タッチパネルの表示部の画面に対する操作を要求するものであり、要求レベル２に対応するコンテンツの内容は、要求レベル１に対応する画面に対する操作の要求に比して、より複雑な操作を要求するコンテンツである。また、要求レベル３に対応するコンテンツの内容は、要求レベル２に対応するコンテンツに比して、より車両の乗員が能動的に行為を行う必要があるコンテンツであって、例えば、クイズや、カラオケ、会話（コンピュータとの疑似会話）、ゲーム、電話等である。電話とは、ＨＭＩ３０が所定の電話に自動的に接続して、その電話を所持する相手先（人であってもよいし、自動応答装置であってもよい）と車両の乗員が通話することである。

また、車両の乗員は、ＨＭＩ３０の操作部を操作することにより、覚醒度合が基準以下である場合にＨＭＩ３０により出力される能動コンテンツの内容を任意に設定することができる。また、コンテンツテーブル１６２に、設定される能動コンテンツ（または非能動コンテンツ）は、車両の乗員の操作によって追加されたり、削除されたりしてもよい。この場合、能動コンテンツは、通信装置２０を介して取得され、コンテンツ記憶部１６０に格納されてもよいし、車両の乗員によって自動運転制御ユニット１００に接続された記憶媒体から取得され、コンテンツ記憶部１６０に格納されてもよい。

走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するＥＣＵとを備える。ＥＣＵは、走行制御部１４１から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、走行制御部１４１から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、走行制御部１４１から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、走行制御部１４１から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

図５は、第３制御部１５０により実行される処理の流れを示すフローチャートである。なお、本フローチャートの処理は、例えば、自動運転が実行されている場合に実行される。

まず、状態検知部１５２が、車両の乗員の状態を示す情報として、車室内カメラ９０により繰り返し撮像された時系列の撮像された画像を取得する（ステップＳ１００）。次に、推定部１５４が、ステップＳ１００で取得された画像に基づいて、覚醒度合を推定し（ステップＳ１０２）、覚醒度合が基準以下であるか否かを判定する（ステップＳ１０４）。覚醒度合が基準以下でない場合、車両の乗員は周辺を監視することができる状態であるため、本フローチャートの１ルーチンの処理は終了する。

覚醒度合が基準以下である場合、出力制御部１５６が、所定時間の間、能動コンテンツ（レベル１）をＨＭＩ３０の表示部に出力させる（ステップＳ１０６）。なお、括弧内の記載は、能動コンテンツの要求レベルを示している。次に、出力制御部１５６は、推定部１５４に車両の乗員の覚醒度合の推定を依頼して、覚醒度合が基準以下であるか否かを判定する（ステップＳ１０８）。この際に、推定部１５４は、能動コンテンツに対する反応があったことをもって、覚醒度合が基準以下でないと判定してもよい。能動コンテンツに対応する反応とは、例えば、能動コンテンツの要求に車両の乗員が反応したことであり、例えば、所定の動作や所定の操作がされたことである。所定の動作とは、予め設定された動作であればよく、例えば、車両の乗員のジェスチャーや、ウインク等の体の一部を動かす動作である。所定の操作とは、ＨＭＩ３０に対する入力操作であってもよいし、車両の乗員がマイクに音声を入力することであってもよい。

覚醒度合が基準以下でない場合、出力制御部１５６は、ステップＳ１０６の処理前に出力させていたコンテンツがある場合には、そのコンテンツを表示部に出力させる（ステップＳ１１０）。コンテンツが出力されていなかった場合は、能動コンテンツの出力が停止される。

覚醒度合が基準以下である場合、出力制御部１５６は、所定時間の間、能動コンテンツ（レベル２）を表示部に出力させる（ステップＳ１１２）。次に、推定部１５４は、覚醒度合が基準以下であるか否かを判定する（ステップＳ１１４）。覚醒度合が基準以下でない場合、ステップＳ１１０の処理に進む。なお、覚醒度合が基準以下でない場合、ステップＳ１０６の処理に戻ってもよい。

覚醒度合が基準以下である場合、出力制御部１５６は、所定の処理を実行する（ステップＳ１１６）。所定の処理とは、乗員を起こすための処理や、自車両Ｍを安全な場所に停車させる処理、周辺の車両に対して車両の乗員の覚醒度合が低いことを示す情報を通知する処理等である。乗員を起こすための処理とは、例えば、運転席の座席を振動させたり、警報をスピーカに出力させたりする処理である。これにより本フローチャートの１ルーチンの処理は終了する。

なお、上述したフローチャートの処理では、所定時間の間、能動コンテンツ（レベル１）を出力された後に覚醒度合が基準以下である場合、能動コンテンツ（レベル２）を出力させるものとして説明したが、出力させる能動コンテンツは任意に設定されてよい。出力制御部１５６は、例えば、ステップＳ１０６で能動コンテンツ（レベル１）を出力させ、ステップＳ１１２で能動コンテンツ（レベル３）を出力させてもよいし、ステップＳ１０６で能動コンテンツ（レベル２）を出力させ、ステップＳ１１２で能動コンテンツ（レベル３）を出力させてもよい。

また、出力制御部１５６は、ステップＳ１１４の処理で覚醒度合が基準以下であると判定された後、且つステップＳ１１６の処理前に、所定時間の間、能動コンテンツ（レベル３）を出力させてもよい。そして、出力制御部１５６は、所定時間の間、能動コンテンツ（レベル３）が出力された後、覚醒度合が基準以下であると判定された場合、所定の処理を実行してもよい。

上述した処理により、出力制御部１５６が、車両の乗員の覚醒度合が基準以下である場合に、車両の乗員にとって能動的な行為を要求する能動コンテンツを出力させるため、車両の乗員の覚醒度を自動運転において必要なレベル以上に維持させることができる。

図６は、図５の処理におけるコンテンツの切り替わりについて説明するための図である。例えば、非能動コンテンツの画像ＩＭ１が、表示部に表示されている状態で、車両の乗員の覚醒度合が基準以下となった場合、表示部には能動コンテンツ（レベル１）の画像ＩＭ２が表示される。図示する例では、能動コンテンツ（レベル１）は、画像ＩＭ２の黒丸に対するタッチ操作を車両の乗員に要求するコンテンツである。車両の乗員が、要求に応じたこと（反応したこと）で、覚醒度合が基準を超えた場合、表示部に表示される画像は、画像ＩＭ２から画像ＩＭ１に切り替わる。これに対して、車両の乗員が、例えば要求に応じずに、覚醒度合が基準以下である場合、表示部に表示される画像は、画像ＩＭ２から画像ＩＭ３に切り替わる。

画像ＩＭ３は、能動コンテンツ（レベル２）に対応する画像であり、画像ＩＭ３に表示された数字（例えば「５６３」）を、表示部に表示された数字入力ボタンを操作して入力することを要求するコンテンツである。車両の乗員が、要求に応じたことで、覚醒度合が基準を以下でない場合、表示部に表示される画像は、画像ＩＭ３から画像ＩＭ１（または画像ＩＭ２）に戻る。これに対して、車両の乗員が、要求に応じずに覚醒度合が基準以下である場合、例えば、能動コンテンツ（レベル３）に対応する画像が表示部に表示されたり、自動運転制御ユニット１００が自車両Ｍを安全な場所に停車させたりする。

図７は、能動コンテンツを設定する場合に表示される画像ＩＭ４の一例を示す図である。例えば、コンテンツテーブル１６２には、能動コンテンツであるゲームＡからゲームＣが設定されているものとする。ゲームＡからＣは、それぞれ要求レベル１から要求レベル３である。例えば、車両の乗員が所定の操作を実行すると、能動コンテンツを設定するための画像ＩＭ４が、表示部に表示される。この画像ＩＭ４には、ゲームＡからゲームＣを選択するための選択ボタンＢ１からＢ３と、選択した能動コンテンツに決定するための決定ボタンＢ４とが含まれる。選択ボタンＢ１からＢ３のうちいずれかの選択ボタンに対して入力操作が行われ、決定ボタンＢ４に対して車両の乗員によって入力操作されると、車両の乗員の覚醒度合が基準以下に低下した場合に、車両の乗員によって決定された能動コンテンツが表示部に表示される。このように、車両の乗員は、能動コンテンツを好みに合わせて選択することができる。

以上説明した第１の実施形態によれば、出力制御部１５６が、自動運転制御ユニット１００により自動運転が実行されているときに、推定部１５４により、覚醒度合が基準以下であると推定された場合、車両の乗員にとって能動的な行為を要求する第１コンテンツをＨＭＩ３０により出力させることにより、車両の乗員の覚醒度を自動運転において必要なレベル以上に維持させることができる。

＜第２の実施形態＞
以下、第２の実施形態について説明する。第１の実施形態では、コンテンツが出力されているか否かに関わらず、覚醒度合が基準値以下となった場合に、能動コンテンツが出力されるものとして説明した。これに対して、第２の実施形態では、推定部１５４は、コンテンツが出力されているときに、覚醒度合が基準値以下となった場合に、能動コンテンツが出力し、コンテンツが出力されていないときは、覚醒度合が基準以下であるか否かの判定を行わない。ここでは、第１の実施形態との相違点を中心に説明し、第１の実施形態と共通する機能等についての説明は省略する。

第２の実施形態の推定部１５４は、出力制御部１５６により能動コンテンツに比して車両の乗員にとって能動的な行為を要求する度合が低いコンテンツが出力されているときに、車両の乗員の状態に基づいて、車両の乗員の覚醒度合が基準以下であるか否かを推定する。

図８は、第２の実施形態の第３制御部１５０により実行される処理の流れを示すフローチャートである。まず、推定部１５４が、出力制御部１５６により能動コンテンツに比して車両の乗員にとって能動的な行為を要求する度合が低いコンテンツが出力されているか否かを判定する（ステップＳ２００）。能動的な行為を要求する度合が低いコンテンツが出力されていない場合、本フローチャートの処理は終了し、能動的な行為を要求する度合が低いコンテンツが出力されている場合、ステップＳ２０２の処理に進む。本フローチャートのステップＳ２０２からステップＳ２１８の処理は、それぞれ図５のフローチャートのステップＳ１００からステップＳ１１６の処理と同様であるため説明を省略する。

以上説明した第２の実施形態によれば、車両の乗員の車内での過ごし方に適合させるように、車両の乗員の覚醒度合を自動運転において必要なレベル以上に維持させることができる。例えば、車両の乗員が、能動コンテンツに比して車両の乗員にとって能動的な行為を要求する度合が低いコンテンツを出力させているときに、車両の乗員の覚醒度合が基準以下である場合に、出力させているコンテンツに代えて能動的なコンテンツを出力させるためである。

＜第３の実施形態＞
以下、第３の実施形態について説明する。第１の実施形態では、能動的コンテンツがＨＭＩ３０に出力される際、車両の乗員の構成（数や属性）は考慮されていなかった。これに対して、第３の実施形態では、能動的コンテンツがＨＭＩ３０に出力される際、車両の乗員の構成（数や属性）が考慮された能動的コンテンツが選択されて出力される。ここでは、第１の実施形態との相違点を中心に説明し、第１の実施形態と共通する機能等についての説明は省略する。

図９は、第３の実施形態の自動運転制御ユニット１００Ａの機能構成図である。車両制御システム１は、第１の実施形態の機能構成に加え、同乗者用車室内カメラ９２を更に備える。同乗者用車室内カメラ９２は、例えば、運転席以外の座席に着座している乗員（同乗者）の顔を中心として上半身を撮像する。同乗者用車室内カメラ９２の撮像画像は、自動運転制御ユニット１００Ａに出力される。

また、自動運転制御ユニット１００Ａの第３制御部１５０Ａは、状態検知部１５２、推定部１５４、および出力制御部１５６に加え、更に乗員構成推定部１５８と、コンテンツ記憶部１６０Ａと、乗員情報記憶部１６４とを備える。推定部１５４は、車室内カメラ９０により撮像された画像に基づいて、車両のドライバーの覚醒度合を推定する。また、推定部１５４は、同乗者用車室内カメラ９２により撮像された画像に基づいて、車両のドライバー以外の他の乗員の覚醒度合を推定する。

乗員情報記憶部１６４には、車両の乗員の顔画像や、性別、年齢など、事前に車両の乗員によって登録された情報が記憶される。また、乗員情報記憶部１６４には、人の顔の特徴量が、人の属性（年齢や性別等）ごとに記憶されている。乗員構成推定部１５８は、乗員情報記憶部１６４に記憶された特徴量と、車室内カメラ９０および同乗者用車室内カメラ９２により撮像された画像から抽出した特徴量とに基づいて、車両の乗員の属性を推定すると共に、車両の乗員の数を推定する。なお、乗員構成推定部１５８は、覚醒度合が低いと推定された車両の乗員を、コンテンツを出力する際に用いる車両の乗員の数としてカウントしなくてもよい。すなわち、乗員構成推定部１５８は、車両のドライバーと、覚醒度合が基準を超える車両の乗員の数を、コンテンツを出力する際に用いる車両の乗員の数とする。これにより、眠っている（または眠りそうな）車両の乗員を無理におこさずに済む。

また、コンテンツ記憶部１６０Ａには、コンテンツテーブル１６２ＡからＮ（「Ｎ」は任意の自然数である。）が格納されている。コンテンツテーブル１６２ＡからＮは、車両の乗員の数と属性との組み合わせに対して、ＨＭＩ３０により出力される能動コンテンツの内容が設定されたものである。この能動コンテンツは、１または複数の乗員が参加することができるコンテンツである。図１０は、コンテンツテーブル１６２Ａを中心に示す図である。図示する例は、車両の乗員が大人４名であり、且つすべて男性である組み合わせに対して、設定されたコンテンツの内容である。例えば、コンテンツテーブル１６２Ａには、能動コンテンツ（レベル１）として「しりとり」、能動コンテンツ（レベル２）として「トランプ」、能動コンテンツ（レベル３）としてゲーム（例えば麻雀）が設定されている。

図１１は、第３の実施形態の第３制御部１５０Ａにより実行される処理の流れを示すフローチャートである。まず、状態検知部１５２が、車両の乗員の状態を示す情報として、車室内カメラ９０、同乗者用車室内カメラ９２により繰り返し撮像された時系列の撮像された画像を取得する（ステップＳ３００）。次に、推定部１５４が、ステップＳ３００で取得された画像に基づいて、覚醒度合を推定し（ステップＳ３０２）、覚醒度合が基準以下であるか否かを判定する（ステップＳ３０４）。覚醒度合が基準以下でない場合、本フローチャートの１ルーチンの処理は終了する。

覚醒度合が基準以下である場合、乗員構成推定部１５８が、車室内カメラ９０および同乗者用車室内カメラ９２により撮像された画像に基づいて、車両の乗員の数および属性を推定する（ステップＳ３０６）。次に、出力制御部１５６が、コンテンツ記憶部１６０Ａに記憶されたコンテンツテーブルを参照して、乗員構成推定部１５８により推定された車両の乗員数および属性に応じた能動コンテンツ（レベル１）を、所定時間の間、ＨＭＩ３０の表示部に出力させる（ステップＳ３０８）。例えば、車両の乗員が４人であり、出力制御部１５６が、４人が参加するコンテンツを選択した場合、車両の乗員が所持する携帯端末の表示部に選択したコンテンツを出力させてもよい。例えば、携帯端末と通信装置２０とは、Ｂｌｕｅｔｏｏｔｈ等の近距離無線通信を用いて、互いに通信する。これにより、４人はコンテンツを共有して、コンテンツに対する要求に反応することができる。

次に、推定部１５４は、車両のドライバーの覚醒度合が基準以下であるか否かを判定する（ステップＳ３１０）。覚醒度合が基準以下でない場合、出力制御部１５６は、ステップＳ３０８の処理前に出力させていたコンテンツがある場合には、そのコンテンツを表示部に出力させる（ステップＳ３１２）。

覚醒度合が基準以下である場合、乗員構成推定部１５８が、車室内カメラ９０および同乗者用車室内カメラ９２により撮像された画像に基づいて、車両の乗員の数および属性を推定する（ステップＳ３１４）。なお、車両のドライバー以外の乗員の覚醒度合が基準以下に低下した場合、覚醒度合が基準以下に低下した乗員は、コンテンツを選択する際に用いる車両の乗員の数から除外されるため、ステップＳ３０６と後述するステップＳ３１４で推定された車両の乗員の数は変わる場合がある。

次に、出力制御部１５６は、コンテンツ記憶部１６０Ａに記憶されたコンテンツテーブルを参照して、乗員構成推定部１５８により推定された車両の乗員数および属性に応じた能動コンテンツ（レベル２）を、所定時間の間、ＨＭＩ３０の表示部に出力させる（ステップＳ３１６）。

次に、推定部１５４は、覚醒度合が基準以下であるか否かを判定する（ステップＳ３１８）。覚醒度合が基準以下でない場合、ステップＳ３１２の処理に進む。覚醒度合が基準以下である場合、出力制御部１５６は、所定の処理を実行する（ステップＳ３２０）。また、所定の処理として、ドライバーの交代を促す情報がＨＭＩ３０により出力されてもよい。これにより本フローチャートの１ルーチンの処理は終了する。

以上説明した第３の実施形態によれば、出力制御部１５６は、乗員構成推定部１５８により推定された車両の乗員の構成に応じて、ＨＭＩ３０により出力させる能動コンテンツを選択して、選択した能動コンテンツを出力させることにより、車両の乗員とっての利便性が向上させることができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１‥車両システム、１００‥自動運転制御ユニット、１２０‥第１制御部、１２１‥外界認識部、１２２‥自車位置認識部、１２３‥行動計画生成部、１４０…第２制御部、１４１‥走行制御部、１５０‥第３制御部、１５２‥状態検知部、１５４‥推定部、１５６‥出力制御部、１５８‥乗員構成推定部、１６０、１６０Ａ…コンテンツ記憶部、１６２、１６２Ａ…コンテンツテーブル

Claims (13)

1. 車両の速度制御または操舵制御のうち少なくとも一方を自動的に制御する自動運転を実行する自動運転制御部と、
   車両のドライバーおよび乗員の覚醒度合を推定する第１推定部と、
   前記車両の乗員の数を推定し、且つ前記覚醒度合が低い乗員を前記推定した前記乗員の数から除外する第２推定部と、
   前記自動運転制御部により前記自動運転が実行されているときに、前記第１推定部により、前記ドライバーの覚醒度合が基準以下であると推定された場合、前記第２推定部により推定された前記車両の乗員の数から前記覚醒度合が低い乗員が除外された前記車両の乗員の数に基づいて、前記車両のドライバーにとって能動的な行為を要求する第１コンテンツを選択し、選択した前記第１コンテンツを出力部に出力させる出力制御部と、
   を備える車両制御システム。
2. 前記第２推定部は、前記乗員の数および前記乗員の種別を推定し、
   前記出力制御部は、
   前記自動運転制御部により前記自動運転が実行されているときに、前記第１推定部により、前記ドライバーの覚醒度合が基準以下であると推定された場合、前記第２推定部により推定された前記車両の乗員の数から前記覚醒度合が低い乗員が除外された前記車両の乗員の数および種別に基づいて、前記車両のドライバーにとって能動的な行為を要求する第１コンテンツを選択し、選択した前記第１コンテンツを出力部に出力させる、
   請求項１に記載の車両制御システム。
3. 前記第１コンテンツは、前記第１コンテンツが出力される前に出力されていた第２コンテンツに比して、より能動的な行為を要求するコンテンツである、
   請求項１または２に記載の車両制御システム。
4. 前記第１推定部は、前記出力制御部により、前記第１コンテンツとは異なるコンテンツが所定の時間継続して出力されている場合、前記車両のドライバーの覚醒度合が基準以下であると推定する、
   請求項１または２に記載の車両制御システム。
5. 前記第１推定部は、前記出力制御部により前記第１コンテンツに比して車両のドライバーにとって能動的な行為を要求する度合が低い第３コンテンツが出力されているときに、車両のドライバーの覚醒度合が基準以下であるか否かを推定する、
   請求項１または２に記載の車両制御システム。
6. 車両のドライバーのコンテンツに対する反応を検知する反応検知部を、更に備え、
   前記第１推定部は、前記反応検知部により前記第１コンテンツに対する反応が検出された場合、前記車両のドライバーの覚醒度合が基準以下でないと推定する、
   請求項１または２に記載の車両制御システム。
7. 前記出力制御部は、前記車両のドライバーがコンテンツに反応したことにより、前記第１推定部により前記車両のドライバーの覚醒度合が基準以下でないと推定された場合には、前記第１コンテンツを前記出力部に出力させる前に出力させていたコンテンツを前記出力部に出力させる、
   請求項６記載の車両制御システム。
8. 車両のドライバーの状態を検出する状態検知部を、更に備え、
   前記第１推定部は、前記状態検知部の検出結果に基づいて、前記ドライバーの覚醒度合の低下を推定する、
   請求項１または２に記載の車両制御システム。
9. 前記出力制御部は、前記第１推定部により推定された車両のドライバーの覚醒度合に基づいて、車両の複数の乗員に対して能動的な行為を要求するコンテンツのうちから、前記覚醒度合に応じたコンテンツを選択して、前記出力部に出力させる、
   請求項１または２に記載の車両制御システム。
10. 前記出力制御部は、車両の乗員の構成に応じて、前記第１コンテンツを選択し、前記出力部に出力させる、
    請求項１または２に記載の車両制御システム。
11. 車両の乗員の入力操作を受け付ける入力部を、更に備え、
    前記第１コンテンツは、複数のコンテンツの中から前記入力部に対する入力操作に応じて、設定される、
    請求項１または２に記載の車両制御システム。
12. 車載コンピュータが、
    車両の速度制御または操舵制御のうち少なくとも一方を自動的に制御する自動運転を実行する自動運転制御部により前記自動運転が実行されているときに、前記車両のドライバーの覚醒度合が基準以下であると推定した場合、前記車両の乗員の数から前記覚醒度合が低い乗員が除外された前記車両の乗員の数に基づいて、前記車両のドライバーにとって能動的な行為を要求する第１コンテンツを選択し、
    選択した前記第１コンテンツを出力部に出力させる、
    車両制御方法。
13. 車載コンピュータに、
    車両の速度制御または操舵制御のうち少なくとも一方を自動的に制御する自動運転を実行する自動運転制御部により前記自動運転が実行されているときに、前記車両のドライバーの覚醒度合が基準以下であると推定した場合、前記車両の乗員の数から前記覚醒度合が低い乗員が除外された前記車両の乗員の数に基づいて、前記車両のドライバーにとって能動的な行為を要求する第１コンテンツを選択し、
    選択した前記第１コンテンツを出力部に出力させる、
    プログラム。

Images