JP6638213B2

JP6638213B2 - 車両の安全運転促進方法及び車両の安全運転促進装置

Info

Publication number: JP6638213B2
Application number: JP2015092117A
Authority: JP
Inventors: 和彦山口
Original assignee: Isuzu Motors Ltd
Current assignee: Isuzu Motors Ltd
Priority date: 2015-04-28
Filing date: 2015-04-28
Publication date: 2020-01-29
Anticipated expiration: 2035-04-28
Also published as: JP2016207176A

Description

本発明は、車両の安全運転促進方法及び車両の安全運転促進装置に関し、より詳細には、運転者の前方不注視に対する警報に関して未警報及び誤警報の両方を低減し、運転者の警報に対する煩わしさを抑制すると共に信頼性を向上して、安全運転を促進する車両の安全運転促進方法及び車両の安全運転促進装置に関する。

車両を運転する運転者の顔向き方向及び視線方向によって運転者の前方不注視（脇見）を判定し、運転者が前方不注視であると判定した場合に運転者に警報する装置が提案されている（例えば、特許文献１参照）。

この装置においては、運転者の顔の向きが正面に対して所定基準以上ずれた場合には、運転者の顔向きが正面（前方）を向いていないと判定することによって、運転者が正面を注視しているか、あるいは脇見をしているかを判定し、脇見時間が所定時間を上回ったときに運転者に警告するものである。

しかし、この装置のように顔向き角度や視線角度が所定角度以上の状態が所定時間以上継続したら警報を発する、つまり現時刻の運転者の行動のみでその行動を脇見（前方不注視）と判定するという単純な方法では、判定された運転者の行動が脇見であるのか、あるいはサイドミラー（車体外後写鏡）など確認するための視認行動であるかを判別することが難しいという問題がある。

特に、運転者が脇見する状況においては、運転者は前方を気にしつつも、気になる対象を見たいという葛藤から前方確認と脇見とを繰り返すことが多くなる。そのような状況では、運転者の行動が脇見か、視認行動かを判別することがより難しくなる。例えば、前方確認と脇見とを繰り返す、あるいは前方確認と視認行動とを繰り返すような状況においては、視認行動における誤警報を低減するために、所定角度及び所定時間のいずれかを大きくした場合には運転者の行動が脇見であるにも関わらずに未警報となることが増加する。一方、脇見における未警報を低減するために、所定角度及び所定時間のいずれかを小さくした場合には運転者の行動が視認行動であるにも関わらずに警報が発せられる誤警報が増加する。

このように、運転者の脇見を判定する判定基準の設定によっては、未警報が増加することで運転者の行動が脇見であってもその行動に対して警報できずに安全性が低下するという問題や、誤警報が増加することで警報に対して運転者が煩わしくなり警報の信頼性が低下するという問題が生じる。

結果、現時刻の運転者の行動のみで前方不注視の判定を行うと、未警報が多くなった場合には短期的に運転者の脇見に対して警報が発せられずに車両の安全運転を維持できなくなり、一方、誤警報が多くなった場合には長期的に、あるいは日常的に、警報に対する運転者の信頼性は薄れていき、最終的に運転者が警報を無視する事態を引き起こすおそれがある。

特開２００８−０９７４４５号公報

本発明の目的は、運転者の前方不注視に対する警報に関して未警報及び誤警報の両方を低減し、運転者の警報に対する煩わしさを抑制すると共に信頼性を向上して、安全運転を促進することができる車両の安全運転促進方法及び車両の安全運転促進装置を提供することである。

上記の目的を達成する本発明の車両の安全運転促進方法は、車両を運転する運転者の行動が前方不注視であるか否かを判定し、運転者の行動が前方不注視であると判定した場合に警報を発令する車両の安全運転促進方法において、前記車両の進行方向を基準にして左右方向の運転者の顔向きの角度又は視線の角度を取得するステップと、取得した前記角度を時系列で記憶するステップと、過去一定期間における前記角度の時系列をパワースペクトルに変換するステップと、変換した前記パワースペクトルの予め設定された周波数範囲におけるパワースペクトル密度に基づいた関数を周波数積分した積分値を算出するステップと、算出した前記積分値が予め設定された警報発令閾値以上であるか否かを判定するステップと、前記積分値が前記警報発令閾値以上と判定した場合に、前記警報を発令するステップと、を含むことを特徴とする方法である。また、上記の目的を達成する本発明の車両の安全運転促進方法は、車両を運転する運転者の行動が前方不注視であるか否かを判定し、運転者の行動が前方不注視であると判定した場合に警報を発令する車両の安全運転促進方法において、前記車両の進行方向を基準にして左右方向の運転者の顔向きの角度又は視線の角度を取得するステップと、取得した前記角度を時系列で記憶するステップと、過去一定期間における前記角度の時系列をパワースペクトルに変換するステップと、変換した前記パワースペクトルの予め設定された周波数範囲におけるパワースペクトル密度の最大値を算出するステップと、算出した前記最大値が予め設定された警報発令閾値以上であるか否かを判定するステップと、前記最大値が前記警報発令閾値以上と判定した場合に、前記警報を発令するステップと、を含むことを特徴とする方法である。

また、上記の目的を達成する本発明の車両の安全運転促進装置は、車両を運転する運転者の行動が前方不注視であるか否かを判定する判定部と、該判定部で運転者の行動が前方不注視であると判定した場合に警報を発令する警報部とを備えた車両の安全運転促進装置において、前記車両の進行方向を基準にして左右方向の運転者の顔向きの角度又は視線の角度を取得する角度取得部と、該角度取得部で取得された該角度を時系列で記憶する記憶部と、該記憶部に記憶された情報から、過去一定期間における前記角度の時系列をパワースペクトルに変換する変換部と変換された前記パワースペクトルの予め設定された周波数範囲におけるパワースペクトル密度に基づいた関数を周波数積分した積分値を算出する算出部とを備え、前記判定部を、前記算出部で算出された前記積分値が予め設定された警報発令閾値以上か否かを判定する構成にし、前記警報部を、前記判定部で前記積分値が前記警報発令閾値以上と判定された場合に前記警報を発令する構成にしたことを特徴とするものである。また、上記の目的を達成する本発明の車両の安全運転促進装置は、車両を運転する運転者の行動が前方不注視であるか否かを判定する判定部と、該判定部で運転者の行動が前方不注視であると判定した場合に警報を発令する警報部とを備えた車両の安全運転促進装置において、前記車両の進行方向を基準にして左右方向の運転者の顔向きの角度又は視線の角度を取得する角度取得部と、該角度取得部で取得された該角度を時系列で記憶する記憶部と、該記憶部に記憶された情報から、過去一定期間における前記角度の時系列をパワースペクトルに変換する変換部と変換された前記パワースペクトルの予め設定された周波数範囲におけるパワースペクトル密度の最大値を算出する算出部とを備え、前記判定部を、前記算出部で算出された前記最大値が予め設定された警報発令閾値以上か否かを判定する構成にし、前記警報部を、前記判定部で前記最大値が前記警報発令閾値以上と判定された場合に前記警報を発令する構成にしたことを特徴とするものである。

本発明の車両の安全運転促進方法及び車両の安全運転促進装置によれば、検出した顔向きの角度又は視線の角度を時系列で記憶し、過去一定期間における角度の時系列を変換したパワースペクトルに基づいて運転者の行動が前方不注視であるか否かを判定するようにしたことで、運転者の現時点の行動のみで判定するのではなく、過去の行動の履歴も考慮することができるので、運転者の行動が脇見に起因する行動か、視認行動に起因する行動かを正確に判定することができる。

これにより、運転者の行動が脇見である場合の未警報、及び運転者の行動が視認行動である場合の誤警報の両方を低減することができるので、運転者の警報に対する煩わしさを抑制すると共に信頼性を向上することができ、運転者に安全運転を促進することができる。

特に、本発明は、運転者の顔向きの角度や視線の角度が頻繁に変わる、すなわち前方確認及び脇見を繰り返す、並びに、前方確認及び視認行動を繰り返すような状況でも、運転者の行動が脇見であるか、それとも視認行動であるかを正確に判定することができる。

本発明の第一実施形態の車両の安全運転促進装置を例示する構成図である。図１の車両の進行方向に見た運転室１２の内部を例示する構成図である。図１のカメラで撮像した撮像画像であり、図３（ａ）は運転者が前方を注視している状況を例示し、図３（ｂ）は運転者が右側を注視している状況を例示し、図３（ｃ）は運転者が左側を注視している状況を例示している。図１の記憶部に記憶されるマップデータであり、運転者の行動が前方不注視である状況を例示している。図１の記憶部に記憶されるマップデータであり、運転者の行動が前方不注視である状況を例示している。図１の記憶部に記憶されるマップデータであり、運転者の行動が視認行動である状況を例示している。図１の安全運転促進装置を具体的に例示する構成図である。図４を基にパワースペクトルに変換したパワースペクトルデータである。図５を基にパワースペクトルに変換したパワースペクトルデータである。図６を基にパワースペクトルに変換したパワースペクトルデータである。本発明の第一実施形態の安全運転促進方法を例示するフローチャートである。図１１のステップＳ４０の結果を時系列で表示した図である。本発明の第一実施形態の車両の安全運転促進方法をより具体的に例示するフローチャートである。図１３のステップＳ１１０を例示するフローチャートである。図４を基にパワースペクトルに変換したパワースペクトルデータである。図５を基にパワースペクトルに変換したパワースペクトルデータである。図６を基にパワースペクトルに変換したパワースペクトルデータである。

以下に、本発明の実施形態について、図面を参照して説明する。図１及び図２は、本発明の第一実施形態からなる車両１０の安全運転促進装置３０を例示する。なお、図中の一点鎖線は信号線を示している。

この安全運転促進装置３０は、運転者の顔向きの角度や視線の角度を取得し、その角度に基づいて運転者の前方不注視を判定し、運転者が前方不注視であると判定した場合に警報を発令する装置である。

図１に示すように、車両１０は、シャーシ１１の前方側に運転室（キャブ）１２が配置され、シャーシ１１の後方側にボディ１３が配置されている。運転室１２の内部には、運転者が搭乗する運転席１４と、運転者が操作するハンドル１５、アクセルペダル１６、及びシフトレバー１７などの操作機器とが配置されている。

また、図２に示すように、車両１０を進行方向に見たときの運転室１２の前方には、フロントガラス２０が配置され、運転室１２の左右側面にはサイドガラス２１、２２が配置されている。フロントガラス２０の下方で、且つ運転席１４の前方には、メータパネル（計器類）２３が配置され、フロントガラス２０の上部側には、ルームミラー２４が配置されている。更に、運転室１２の右外側、つまりサイドガラス２１の外側には、右側サイドミラー２５が配置され、運転室１２の左外側、つまりサイドガラス２２の外側には、左側サイドミラー２６、サイドアンダーミラー２７、及びアンダーミラー２８が配置されている。なお、この車両１０の構成は一例であり、例えば、運転室１２の左側に運転席１４を設けてもよく、ミラーなどの配置についても同様である。

安全運転促進装置３０は、運転室１２のメータパネル２３の上部に配置されたカメラ３１と、運転室１２のダッシュボードの内部に配置されて、カメラ３１に接続された制御装置３２と、メータパネル２３に配置された警報器３３とを備えている。

カメラ３１は、運転室１２に搭乗した運転者の顔を少なくとも含む撮像範囲の撮像画像Ｐｘを撮像している。このカメラ３１は、この実施形態のように大型車両に適用する場合には、普通乗用車と比較して運転者の視認行動の動きが大きく、且つその回数も多くなるため、広角を撮像できるカメラ、あるいは複数のカメラで構成されるカメラユニットが好
ましい。また、このカメラ３１の解像度は、撮像画像Ｐｘに基づいて制御装置３２が運転者の顔向きの角度を解析できる解像度であればよい。なお、この実施形態では、カメラ３１が運転者の顔向きを撮像する構成としてが、運転者の視線の向きを撮像する構成としてもよい。但し、運転者の視線の向きを精度良く撮像するためには、より高解像度のカメラが必要となる。

制御装置（コントロールユニット）３２は、各種処理を行うＣＰＵ、その各種処理を行うために用いられるプログラムが一時的に格納されるＲＯＭ、処理結果を読み書き可能なＲＡＭ、及び各種インターフェースなどから構成されている。

警報器３３は、警報音を鳴らすブザーなどで構成される。なお、この警報器３３は警報音を鳴らす構成の他に、運転者に警報のメッセージを表示するディスプレイなどの表示装置を用いてもよい。

この安全運転促進装置３０は、カメラ３１で撮像した撮像画像Ｐｘを制御装置３２で解析して、運転者の前方不注視を判定し、運転者が前方不注視であると判定した場合には、警報器３３を鳴らして運転者に警報を発令している。

図３は、カメラ３１で撮像した撮像画像Ｐｘを例示している。この撮像画像Ｐｘは動画や０．１秒〜１秒ごとの静止画である。図３（ａ）の撮像画像Ｐ０に示すように、通常、走行中に運転者は、フロントガラス２０を介して車両１０の進行方向、つまり前方を注視している。一方で、運転者は、安全確認のための視認行動として、図３（ｂ）の撮像画像Ｐ１に示すように右側サイドミラー２５を介して車両１０の右側、及び右側後方を視認する右側視認行動と、図３（ｃ）の撮像画像Ｐ２に示すように左側サイドミラー２６、サイドアンダーミラー２７、及びアンダーミラー２８などを介して車両１０の左側や左側後方を視認する左側視認行動と、を行っている。なお、視認行動としては、この他にも、メータパネル２３などを視認する下側視認行動や、ルームミラー２４を介して車両１０の後方を視認する後方視認行動を例示できる。

つまり、運転者は、前方を注視する一方で前方以外の方向の視認行動を適宜行うことで安全運転を維持している。しかし、車両１０の外側の景観に気になるものが映った場合に、ダッシュボードに配置された空調調節器や音響機器を操作する場合に、あるいは腕時計や携帯電話などを気にする場合に、運転者がその対象に視線を向けることで前方不注視、いわゆる脇見となる。

図４〜図６は、運転者の行動を車両１０の進行方向を基準として運転者の顔向きの角度θに変換したマップデータＤ１ｘを例示している。なお、このマップデータＤ１ｘにおいては、現時刻をｔで示している。図４のマップデータＤ１１及び図５のマップデータＤ１２には、運転者が前方を気にしつつも、気になる対象を見たいという葛藤から前方確認と脇見とを繰り返す状況が例示されている。一方、図６のマップデータＤ１３には、運転者が安全運転のための視認行動を行った状況が例示されている。

この図４〜図６に示すように、顔向きの角度やその行動の継続時間を判定基準とすると、例えば、図４の状況で前方不注視と判定できるが、図５の状況で前方不注視と判定できなかったり、図５の状況で前方不注視と判定できるが、図６の状況で安全運転のための視認行動と判定できなかったりする。

そこで、本発明の安全運転促進装置３０においては、図７に示すように、制御装置３２が、角度取得部３４、記憶部３５、変換部３６、算出部３７、判定部３８、及び警報部３９を備えて構成される。そして、この安全運転促進装置３０は、角度取得部３４が車両の進行方向を基準にして左右方向の運転者の顔向きの角度θを取得し、その取得した角度θを時系列で記憶部３５に記憶し、変換部３６が過去一定期間ｔａにおける角度θ（ｔ）の時系列をパワースペクトルＰＳＤｘに変換し、算出部３７及び判定部３８がそのパワースペクトルＰＳＤｘに基づいて、運転者の行動が前方不注視であるか否かを判定するように構成される。

なお、角度取得部３４、変換部３６、算出部３７、判定部３８、及び警報部３９のそれぞれは、記憶部３５に記憶された実行プログラムがＣＰＵによりＲＯＭに読み出されることで、それぞれ予め指定された処理を行う手段であり、それぞれ異なる制御装置としてもよい。

角度取得部３４は、カメラ３１で撮像されて記憶部３５に記憶された撮像画像Ｐｘを読み出して解析して、車両１０の進行方向を基準にして左右方向の運転者の顔向きの角度θを取得し、記憶部３５にその角度θを記憶するステップを処理する手段である。

記憶部３５は、不揮発性メモリやハードディスクなどの記憶媒体で構成され、カメラ３１の撮像した撮像画像Ｐｘ、制御装置３２のＲＯＭに読み込まれるプログラム、制御装置３２における各処理の結果などが記憶される。また、この記憶部３５は、角度取得部３４で取得された顔向きの角度θが時系列で記憶された図４〜図６に示すマップデータＤ１ｘが記憶される。

変換部３６は、記憶部３５に記憶されたマップデータＤ１ｘを読み出して、現時刻ｔから過去一定期間ｔａにおける角度θの時系列をパワースペクトル（あるいは、パワースペクトル密度関数）に変換して、記憶部３５に記憶するステップを処理する手段である。

図８〜図１０は、図４〜図６に示すマップデータＤ１ｘの現時刻ｔから過去一定時間ｔａにおける角度θの時系列を変換したパワースペクトルデータＤ２ｘである。このパワースペクトルデータＤ２ｘは、横軸を周波数、縦軸をパワースペクトル密度としている。周波数は一周期Ｔ１の逆数となり１／Ｔ１で表され、パワースペクトル密度ＰＳＤは、マップデータＭｘの過去一定期間ｔａにおける経過時間Ｔ２ごとの角度θ（ｔ）の時系列をＦＦＴ解析（高速フーリエ変換解析）により変換した値を二乗して、更にその値を周波数１／Ｔ１分のエネルギーの平均としたものである。一周期Ｔ１は、角度θの変化ごと、すなわち角度θが増加及び減少することで形成される一つの波を示す。なお、変換部３６は、マップデータＤ１ｘからパワースペクトルデータＤ２ｘを変換できればよく、例えば、バンドパスフィルタと二乗平均回路とを組み合わせたアナログ回路で構成してもよい。

また、この変換部３６で用いられる過去一定期間ｔａは、実験や試験、あるいは学習により求めることができ、現時刻ｔから過去に遡った運転者の行動を加味でき、少なくとも視認行動における行動時間が含まれる値に設定される。この過去一定期間ｔａが、１秒未満に設定されると運転者の過去の行動を十分に考慮することができなくなり判定部３８における判定精度が低下する一方、１０秒超に設定されると過去の行動を過剰に考慮することになり判定精度が低下する。そこで、この過去一定期間ｔａは、例えば、１秒以上、１０秒以下が好ましい。

算出部３７は、記憶部３５に記憶されたパワースペクトルデータＤ２ｘを読み出して、予め設定された周波数範囲ｆａにおける各パワースペクトル密度ＰＳＤ（ｆ）を周波数積分した積分値として積分値ＩＶｘを算出し、その算出した積分値ＩＶｘを判定部３８へ送るステップを処理する手段である。なお、算出した積分値ＩＶｘは記憶部３５に記憶するようにしてもよい。

この算出部３７で算出される積分値ＩＶｘは以下の数式（１）で表される。ここで、周波数範囲ｆａを第一周波数ｆ１から第二周波数ｆ２までの範囲とし、その範囲の単位周波数１／Ｔ１ごとのパワースペクトル密度ＰＳＤに基づく関数をｇ｛ＰＳＤ（ｆ）｝とする。

従って、この積分値ＩＶｘは、図８〜図１０の斜線箇所の面積であり、現時刻ｔの運転者の行動のみならず、過去一定期間ｔａの運転者の行動の大きさ（角度θの大きさ）と、その行動回数とが考慮されたものとなる。

また、この算出部３７で用いられる周波数範囲ｆａは、実験や試験、あるいは学習により求めることができ、運転者の行動が前方不注視の場合が含まれる範囲で、且つ運転者の行動が視認行動の場合の周波数が極力含まれない範囲に設定される。この周波数範囲ｆａは、運転者によって異なる範囲に設定することが好ましく、車両１０の走行中に学習値として更新するとよい。従って、この周波数範囲ｆａの第一周波数ｆ１は、視認行動における平均時間での運転者の行動を周波数とした場合に、その周波数以上が好ましく、第二周波数ｆ２は、極短時間（０．５秒未満）の角度θの変化を除外する１Ｈｚ以下が好ましい。

判定部３８は、算出部３７で算出された積分値ＩＶｘと予め設定された警報発令閾値ＩＶａとを比較して、より詳しくは、積分値ＩＶｘが警報発令閾値ＩＶａ以上であるか否かを判定して、積分値ＩＶｘが警報発令閾値ＩＶａ以上と判定した場合に、運転者の行動が前方不注視であると判定するステップを処理する手段である。

この判定部３８で用いられる警報発令閾値ＩＶａは、運転者の行動が脇見の場合にはそのときの積分値ＩＶｘ以下になり、且つ視認行動の場合にはそのときの積分値ＩＶｘ超になる値に設定される。この警報発令閾値ＩＶａは、例えば、実験や試験、あるいは学習により図１０に示す視認行動におけるパワースペクトルデータＤ２３をいくつか作成し、それらのパワースペクトルデータＤ２３から求めるとよい。具体的には、安全運転のための視認行動による積分値ＩＶ３０の平均値、視認行動におけるパワースペクトル密度ＰＳＤ３の最大値の平均値及びその周波数を乗算した値、あるいは複数の積分値ＩＶ３０のうちの最大値に設定するとよい。

警報部３９は、判定部３８で積分値ＩＶｘが警報発令閾値ＩＶａ以上であると判定されたに、すなわち運転者の行動が前方不注視であると判定された場合に、警報器３３を鳴らして運転者に警報を発令するステップを処理する手段である。

また、制御装置３２は、タイマー４０を備えて構成されており、そのタイマー４０により、現時刻ｔや経過時間Ｔ２などをカウントしている。

次に、第一実施形態の安全運転促進方法を、図１１に示すフローチャートに基づいて制御装置３２の機能として以下に説明する。なお、カメラ３１による撮像画像の撮像と、記憶部３５へのその撮像画像の記憶は車両１０の電装系の通電が開始された後に逐次開始さ
れるものとする。また、以下で説明する方法は、タイマー４０でカウントされた経過時間Ｔ２ごとに行われており、この経過時間Ｔ２は、例えば、０．０３秒以上、１秒以下に設定される。

まず、ステップＳ１０では、角度取得部３４が記憶部３５に記憶された撮像画像Ｐｘから運転者の顔向きの角度θを検出する。なお、カメラ３１で撮像した撮像画像Ｐｘを一旦記憶部３５に記憶した後に角度取得部３４がその撮像画像Ｐｘを読み込んで顔向きの角度θを検出するステップとしたが、カメラ３１で撮像した撮像画像Ｐｘを即時、角度取得部３４で解析してもよい。

次いで、ステップＳ２０では、角度取得部３４が検出した顔向きの角度θを時系列で記憶部３５に記憶する。つまり、このステップＳ２０では、顔向きの角度θをタイマー４０でカウントしている経過時間Ｔ２ごとに配列した図４〜図６に示すマップデータＤ１１〜Ｄ１３を作成している。

次いで、ステップＳ３０では、変換部３６が、マップデータＤ１ｘを参照して、過去の時刻（ｔ−ｔａ）から現時刻ｔまでの角度θの時系列をパワースペクトルデータＤ２ｘに変換する。つまり、このステップＳ３０では、角度θの大きさと周期を単位周波数当たりのパワー値として変換した図８〜図１０に示すパワースペクトルデータＤ２１〜Ｄ２３を作成している。

次いで、ステップＳ４０では、算出部３７が、パワースペクトルデータＤ２ｘを参照して、上記の数式（１）を用いて、周波数範囲ｆａにおけるパワースペクトル密度ＰＳＤに基づいた関数ｇ｛ＰＳＤ（ｆ）｝を周波数積分した積分値である積分値ＩＶｘを算出する。なお、このステップＳ４０で算出された積分値ＩＶｘは判定部３８に送られる。なお、この積分値ＩＶｘを記憶部３５に記憶してもよい。

次いで、ステップＳ５０では、判定部３８が、積分値ＩＶｘを読み込み、その積分値ＩＶｘが予め設定された警報発令閾値ＩＶａ以上であるか否かを判定する。このステップＳ４０で、積分値ＩＶｘが警報発令閾値ＩＶａ以上の場合は運転者の行動が前方不注視であると判定してステップＳ６０へ進む一方、積分値ＩＶｘが警報発令閾値ＩＶａ未満の場合は運転者の行動が前方不注視でない、すなわち安全運転を維持できていると判定してスタートへ戻る。

次いで、ステップＳ６０では、警報部３９が、警報器３３を鳴らして運転者に警報を発令して、スタートへ戻る。このように、経過時間Ｔ２ごとに上記のステップＳ１０〜ステップＳ６０を繰り返す。

図１２は、図４〜図６のそれぞれの状況における上記のステップＳ４０で算出される積分値ＩＶｘを時系列で表している。図４の状況を示すＩＶ１０では、時間ｔ１で積分値ＩＶ１０が警報発令閾値ＩＶａ以上となって警報が発令され、図５の状況を示すＩＶ２０では、時間ｔ２で積分値ＩＶ２０が警報発令閾値ＩＶａ以上となって警報が発令される。一方、図６の状況を示すＩＶ３０では、どの時間帯でも積分値ＩＶ３０が警報発令閾値ＩＶａ以上とならないため、警報が発令されない。

このように、検出した顔向きの角度θを時系列で配列したマップデータＤ１ｘを、パワースペクトルデータＤ２ｘに変換し、予め設定された周波数範囲ｆａにおけるパワースペクトル密度ＰＳＤθに基づいた関数ｇ｛ＰＳＤ（ｆ）｝を周波数積分した積分値ＩＶｘと警報発令閾値ＩＶａとを比較して、運転者の前方不注視を判定するようにしたので、運転者の現時刻ｔの行動のみで判定するのではなく、現時刻ｔから過去へ一定期間ｔａ分遡った行動の大きさ（角度θの大きさ）やその行動回数などの履歴も考慮することができるので、運転者の行動が脇見に起因する行動か、視認行動に起因する行動かを正確に判定することができる。

これにより、運転者の行動が前方不注視である場合の未警報、及び運転者の行動が視認行動である場合の誤警報の両方を低減することができるので、運転者の警報に対する煩わしさを抑制すると共に信頼性を向上することができ、運転者に安全運転を促進することができる。

特に、図４及び図５に示すように、運転者の顔向きの角度θが頻繁に変わる、すなわち前方確認及び脇見を繰り返す、並びに、図６に示すように、前方確認及び視認行動を繰り返すような状況でも、運転者の行動が脇見であるか、それとも視認行動であるかを正確に判定することができる。

また、図１２に示すように、過去の運転者の行動から脇見などの前方不注視であると判定されると、運転者が前方を向いても警報器３３が鳴り続け運転者に警報を発令し続けることで、運転者の警報に対する煩わしさを低減することもできる。

例えば、従来技術では、運転者が前方を向いてしまうと警報が解除されてしまうという問題がある。つまり、図４及び図５のような運転者の行動の場合では、警報の発令と解除とが繰り返され、警報器３３が鳴ったり、止まったりを繰り返すことになるため、運転者の警報に対する煩わしさが増加するという問題がある。しかしながら、この安全運転促進装置３０では、前方を気にしつつも、気になる対象を見たいという葛藤から前方確認と脇見とを繰り返す行動の一連を前方不注視として判定して、警報し続けることで運転者の煩わしさを低減することができるので、これらの従来技術の問題を解決できる。

更に、パワースペクトルを利用して運転者の行動が前方不注視であるか否かを判定することで、運転者の顔向きが右方向に傾いているか、あるいは左方向に傾いているかを判定したり、区別したりすることなく、運転者の行動を判定することができる。

実施形態の車両１０においては、運転席１４が車両１０の右側に配置されているため、安全運転のための視認行動でも、右側視認行動と左側視認行動とでは、顔向きの角度θが異なり、右側視認行動と比較して左側視認行動のときの顔向きの角度は大きくなる。ここで、運転者の顔向きが右側に傾いている場合を正、左側に傾いている場合を負とする。第一実施形態では、角度θをパワースペクトルに変換する、つまり、ＦＦＴ解析による値を二乗することになり、変換された値は全て正となる。そのため、パワースペクトル密度ＰＳＤθは角度θの大きさ、行動の周期やその回数に基づくことになり、左右関係なく判定することができる。

上記の安全運転促進方法においては、算出した積分値ＩＶｘが警報発令閾値ＩＶａよりも小さな値に設定した警報解除閾値ＩＶｂ以下であるか否かを判定するステップと、積分値ＩＶｘが警報解除閾値ＩＶｂ以下と判定した場合に、運転者の行動が前方不注視でないと判定して、警報を解除するステップと、を含むことが望ましい。

具体的には、警報が解除されている場合に積分値ＩＶｘが警報発令閾値ＩＶａ以上、つまり運転者の行動が前方不注視であることを判定した場合に、警報を発令する一方、警報が発令されている場合に積分値ＩＶｘが警報解除閾値ＩＶｂ以下、つまり運転者の行動が前方不注視でないことを判定した場合に、警報を解除する。

警報解除閾値ＩＶｂは、ゼロに設定すると、運転者が完全に前方を注視している状況に
なったときに警報が解除されることになるが、ゼロでない値に設定すると、警報が解除され難くなるおそれがある。そこで、この警報解除閾値ＩＶｂは、確実に運転者の前方不注視が解消されたときに警報が解除され、且つ運転者の煩わしさが解消されるような値に設定される。例えば、ゼロの近傍の値に設定されることが好ましい。

図１２に示すように、警報発令閾値ＩＶａのみで、警報の発令と解除とを判断すると、図４に示す状況では、時間ｔ３で警報が解除された直後の時間ｔ４で再び警報が発令されてしまう。しかし、警報発令閾値ＩＶａよりも小さい値に設定された警報解除閾値ＩＶｂを用いることで、図４に示す状況でも、時間ｔ３から時間ｔ４の間も警報を鳴らし続けることができる。

更に、運転者の行動が前方不注視であるか否かを発令用と解除用とで区別して判定する場合には、解除用の判定を行うときに、過去一定期間ｔａの時系列に代えて、その過去一定期間ｔａとは異なる時間に設定された過去一定期間ｔｂを用いるとよい。この過去一定期間ｔａ及びｔｂは実験や試験、あるいは学習により求めて、車両１０ごと、あるいは運転者ごとによって異なる時間に設定するとよい。

そのうえ、運転者の行動が前方不注視であるか否かを発令用と解除用とで区別して判定する場合には、解除用の判定を行うときに、発令用の周波数範囲ｆａに代えて、その周波数範囲ｆａとは異なる範囲に設定された周波数範囲ｆｂ（周波数ｆ３以上、周波数ｆ４以下の範囲）を用いるとよい。この周波数範囲ｆａ及びｆｂは実験や試験、あるいは学習により求めて、車両１０ごと、あるいは運転者ごとによって異なる範囲に設定するとよい。

次に、この発令用と解除用とで閾値を異ならせた安全運転促進方法を、図１３及び図１４に示すフローチャートに基づいて制御装置３２の機能として以下に説明する。

図１３に示すように、ステップＳ１００では、タイマー４０が現時刻ｔに経過時間Ｔ２を加算する。次いで、前述したステップＳ１０〜ステップＳ３０を行った後に、図１４に示すステップＳ１１０で判定を行う。なお、ここではステップＳ３０では、発令用の時系列の過去一定期間ｔａと解除用の時系列の過去一定期間ｔｂとを等しい値としたが、前述したように、異なる値とすることが好ましい。その場合には、ステップＳ３０の処理を過去一定期間ｔａに基づいて変換するステップと、過去一定期間ｔｂに基づいて変換するステップとを行うようにする。

次いで、ステップＳ１２０では、警報部３９が、ステップＳ１１０の判定で警報発令フラグが立ったか否かを判定する。なお、警報発令フラグが立った場合をｆｌｇ１＝１で示し、警報解除フラグが立った場合をｆｌｇ１＝０で示している。このステップＳ１２０で警報発令フラグが立ったと判定した場合には、ステップＳ１３０に進む一方、警報解除フラグが立ったと判定した場合には、ステップＳ１４０に進む。

次いで、ステップＳ１３０では、警報部３９が警報器３３を鳴らして運転者に警報を発令して、ステップＳ１５０へ進む。一方、ステップＳ１４０では、警報部３９が警報器３３を停止して警報を解除して、ステップＳ１５０へ進む。

次いで、ステップＳ１５０では、制御装置３２が車両１０の停車を判定し、車両１０が停車していないと判定した場合には、スタートへ戻りステップＳ１００〜ステップＳ１５０を繰り返す。一方、車両１０が停車していると判定した場合には、ステップＳ１６０へ進み、タイマー４０でカウントしている現時刻ｔをリセットして終了する。

図１４に示すように、ステップＳ２００では、算出部３７が警報発令フラグが立ってい
るか否かを判定する。このステップＳ２００で警報解除フラグが立っている場合にはステップＳ２１０へ進む。

次いで、ステップＳ２１０では、算出部３７が、パワースペクトルデータＤ２ｘを参照して、上記の数式（１）を用いて、周波数範囲ｆａにおけるパワースペクトル密度ＰＳＤに基づいた関数ｇ｛ＰＳＤ（ｆ）｝を周波数積分した積分値である積分値ＩＶｘを算出する。なお、このステップＳ２１０で算出された積分値ＩＶｘは判定部３８に送られる。

次いで、ステップＳ２２０では、判定部３８が、積分値ＩＶｘを読み込み、その積分値ＩＶｘが予め設定された警報発令閾値ＩＶａ以上か否かを判定する。このステップＳ２２０で、積分値ＩＶｘが警報発令閾値ＩＶａ以上の場合は運転者が前方不注視であると判定してステップＳ２３０へ進み、ステップＳ２３０では、警報発令フラグを立ててステップＳ１２０へ進む。一方、積分値ＩＶｘが警報発令閾値ＩＶａ未満の場合はステップＳ２００の判定を維持して、つまり警報解除フラグが立った状態を維持してステップＳ１２０へ進む。

ステップＳ２００で、右側警報発令フラグが立っている場合には、ステップＳ２４０へ進む。次いで、ステップＳ２４０では、算出部３７が、パワースペクトルデータＤ２ｘを参照して、上記の数式（１）を用いて、解除用の周波数範囲ｆｂにおけるパワースペクトル密度ＰＳＤに基づいた関数ｇ｛ＰＳＤ（ｆ）｝を周波数積分した積分値である積分値ＩＶｘを算出する。

次いで、ステップＳ２５０では、判定部３８が、積分値ＩＶｘが予め設定された警報解除閾値ＩＶｂ以下か否かを判定する。このステップＳ２５０で、積分値ＩＶｘが警報解除閾値ＩＶｂ以下の場合は運転者が前方不注視でない、つまり安全運転を維持していると判定してステップＳ２６０へ進み、ステップＳ２６０では、警報解除フラグを立ててステップＳ１２０へ進む。一方、積分値ＩＶｘが警報解除閾値ＩＶｂ超の場合はステップＳ２００の判定を維持して、つまり警報発令フラグが立った状態を維持してステップＳ１２０へ進む。

このように、上記の安全運転促進方法によれば、警報により運転者の行動が脇見などの前方不注視から、安全運転に基づいた行動に戻った場合には、警報を解除するようにすると、警報に対する運転者の煩わしさを低減することができる。また、警報発令閾値ＩＶａと警報解除閾値ＩＶｂとをそれぞれ異なる値とし、警報解除閾値ＩＶｂを警報発令閾値ＩＶａ未満に設定することで、警報を鳴らすタイミングをより最適化することができるので、より運転者の警報に対する煩わしさを抑制すると共に、運転者が前方不注視である場合には、警報により運転者に安全運転を意識させることができる。

次に、本発明の第二実施形態からなる車両１０の安全運転促進装置３０を説明する。この第二実施形態の安全運転促進装置３０は、第一実施形態の算出部３７を積分値ＩＶｘを算出する構成に代えて、変換部３６で変換されたパワースペクトルの予め設定された周波数範囲ｆａにおけるパワースペクトル密度ＰＳＤ（ｆ）のうちの最大値ＰＳＤ＿ｍａｘを算出する構成にし、判定部３８を、算出部３７で算出された最大値ＰＳＤ＿ｍａｘが予め設定された警報発令閾値ＰＳＤａ以上か否かを判定する構成にした。

図１５〜図１７は、図４〜図６に示すマップデータＤ１ｘの現時刻ｔから過去一定時間ｔａにおける角度θの時系列をパワースペクトルに変換したパワースペクトルデータＤ２ｘである。

警報発令閾値ＰＳＤａは、運転者の行動が脇見の場合にはそのときの最大値ＰＳＤ＿ｍ
ａｘ以下になり、且つ視認行動の場合にはそのときの最大値ＰＳＤ＿ｍａｘ超になる値に設定される。この警報発令閾値ＰＳＤａは、例えば、実験や試験、あるいは学習により図１７に示す視認行動におけるパワースペクトルデータＤ２３をいくつか作成し、それらのパワースペクトルデータＤ２３から求めるとよい。具体的には、安全運転のための視認行動による最大値の平均値や、複数の最大値のうちの最大値に設定するとよい。

この第二実施形態の安全運転促進方法は、前述した図１１及び図１４に示すフローチャートの算出部３７が処理するステップと、判定部３８が処理するステップとのそれぞれの積分値を最大値ＰＳＤ＿ｍａｘに代えればよい。例えば、図１１のステップＳ４０を最大値ＰＳＤ＿ｍａｘを算出するステップとし、ステップＳ５０を最大値ＰＳＤ＿ｍａｘが警報発令閾値ＰＳＤａ以上であるか否かを判定するステップとする。また、図１４のステップＳ２１０及びステップＳ２４０のそれぞれを最大値ＰＳＤ＿ｍａｘを算出するステップとし、ステップＳ２２０を最大値ＰＳＤ＿ｍａｘが警報発令閾値ＰＳＤａ以上であるか否かを判定するステップとし、ステップＳ２４０を最大値ＰＳＤ＿ｍａｘが警報解除閾値ＰＳＤｂ以下であるか否かを判定するステップとする。

このように、上記の安全運転促進方法によれば、第一実施形態と同様に、現時刻ｔの運転者の行動のみではなく、過去一定期間ｔａの運転者の行動も考慮して前方不注視を判定することで、運転者の前方不注視に対する警報の未警報及び誤警報の両方を低減し、運転者の警報に対する煩わしさを抑制すると共に信頼性を向上して、安全運転を促進することができる。

上記の第一実施形態の積分値ＩＶｘを用いた方法は、前方確認及び脇見を分散（ばらつき）を持った周波数で繰り返したときに適切な警報を鳴らすことができ、一方、第二実施形態の最大値ＰＳＤ＿ｍａｘを用いた方法は、前方確認及び脇見を一定の周波数で繰り返したときに適切な警報を鳴らすことができる。そこで、上記の第一実施形態と第二実施形態とを状況に応じて使い分けるようにしてもよい。

なお、上記の実施形態では、車両１０を大型車両であるトラックを例に説明したが、本発明はこれに限定されずに、乗合自動車であるバスや普通乗用車にも適用できる。但し、特に本発明は、普通乗用車と比較して、車幅が広くて車線逸脱までの余裕がない、及び一定速度で安定に走行したいことから視認行動の頻度が高い大型車両に好適である。

また、上記の実施形態では、運転者の顔向きの角度に基づいて判定を行う構成を例に説明したが、本発明はこれに限定されない。例えば、運転者の視線の角度に基づいて判定を行う構成にしてもよい。加えて、運転者の顔向きの角度や視線の角度をカメラ３１で撮像する構成を例に説明したが、それらの角度を取得することができればよく、例えば、超音波センサや人感センサなどを用いてもよい。

また、上記の実施形態では、運転者の顔向きの角度を左右方向で取得したが、上下方向も考慮してもよい。その場合には、演算が複雑化するがより判定精度を向上することができる。

また、上記の実施形態のフローチャートにおいては、ステップの順番を入れ替えても処理に支障を来さない範囲で、入れ替えてもよい。例えば、ステップＳ２００のフラグ判定を、積分値を算出した後に行うようにしてもよい。

１０車両
３０安全運転促進装置
３１カメラ
３２制御装置
３３警報器
３４角度取得部
３５記憶部
３６変換部
３７算出部
３８判定部
３９警報部

Claims

車両を運転する運転者の行動が前方不注視であるか否かを判定し、運転者の行動が前方不注視であると判定した場合に警報を発令する車両の安全運転促進方法において、
前記車両の進行方向を基準にして左右方向の運転者の顔向きの角度又は視線の角度を取得するステップと、
取得した前記角度を時系列で記憶するステップと、
過去一定期間における前記角度の時系列をパワースペクトルに変換するステップと、
変換した前記パワースペクトルの予め設定された周波数範囲におけるパワースペクトル密度に基づいた関数を周波数積分した積分値を算出するステップと、
算出した前記積分値が予め設定された警報発令閾値以上であるか否かを判定するステップと、
前記積分値が前記警報発令閾値以上と判定した場合に、前記警報を発令するステップと、を含むことを特徴とする車両の安全運転促進方法。
車両を運転する運転者の行動が前方不注視であるか否かを判定し、運転者の行動が前方不注視であると判定した場合に警報を発令する車両の安全運転促進方法において、
前記車両の進行方向を基準にして左右方向の運転者の顔向きの角度又は視線の角度を取得するステップと、
取得した前記角度を時系列で記憶するステップと、
過去一定期間における前記角度の時系列をパワースペクトルに変換するステップと、
変換した前記パワースペクトルの予め設定された周波数範囲におけるパワースペクトル密度の最大値を算出するステップと、
算出した前記最大値が予め設定された警報発令閾値以上であるか否かを判定するステップと、
前記最大値が前記警報発令閾値以上と判定した場合に、前記警報を発令するステップと、を含むことを特徴とする車両の安全運転促進方法。
変換した前記パワースペクトルの予め設定された周波数範囲におけるパワースペクトル密度に基づいた関数を周波数積分した積分値を算出するステップを含む場合は、
算出した前記積分値が前記警報発令閾値よりも小さな値に設定した警報解除閾値以下であるか否かを判定するステップと、
前記積分値が前記警報解除閾値以下と判定した場合に、運転者の行動が前方不注視でないと判定して、前記警報を解除するステップと、を含み、
変換した前記パワースペクトルの予め設定された周波数範囲におけるパワースペクトル密度の最大値を算出するステップを含む場合は、
算出した前記最大値が前記警報発令閾値よりも小さな値に設定した警報解除閾値以下であるか否かを判定するステップと、
前記最大値が前記警報解除閾値以下と判定した場合に、運転者の行動が前方不注視でないと判定して、前記警報を解除するステップと、を含む請求項１または２に記載の車両の安全運転促進方法。
車両を運転する運転者の行動が前方不注視であるか否かを判定する判定部と、該判定部で運転者の行動が前方不注視であると判定した場合に警報を発令する警報部とを備えた車両の安全運転促進装置において、
前記車両の進行方向を基準にして左右方向の運転者の顔向きの角度又は視線の角度を取得する角度取得部と、該角度取得部で取得された該角度を時系列で記憶する記憶部と、該記憶部に記憶された情報から、過去一定期間における前記角度の時系列をパワースペクトルに変換する変換部と変換された前記パワースペクトルの予め設定された周波数範囲におけるパワースペクトル密度に基づいた関数を周波数積分した積分値を算出する算出部とを備え、
前記判定部を、前記算出部で算出された前記積分値が予め設定された警報発令閾値以上か否かを判定する構成にし、
前記警報部を、前記判定部で前記積分値が前記警報発令閾値以上と判定された場合に前記警報を発令する構成にしたことを特徴とする車両の安全運転促進装置。
車両を運転する運転者の行動が前方不注視であるか否かを判定する判定部と、該判定部で運転者の行動が前方不注視であると判定した場合に警報を発令する警報部とを備えた車両の安全運転促進装置において、
前記車両の進行方向を基準にして左右方向の運転者の顔向きの角度又は視線の角度を取得する角度取得部と、該角度取得部で取得された該角度を時系列で記憶する記憶部と、該記憶部に記憶された情報から、過去一定期間における前記角度の時系列をパワースペクトルに変換する変換部と変換された前記パワースペクトルの予め設定された周波数範囲におけるパワースペクトル密度の最大値を算出する算出部とを備え、
前記判定部を、前記算出部で算出された前記最大値が予め設定された警報発令閾値以上か否かを判定する構成にし、
前記警報部を、前記判定部で前記最大値が前記警報発令閾値以上と判定された場合に前記警報を発令する構成にしたことを特徴とする車両の安全運転促進装置。
変換された前記パワースペクトルの予め設定された周波数範囲におけるパワースペクトル密度に基づいた関数を周波数積分した積分値を算出する算出部を備える場合は、
前記判定部を、算出した前記積分値が前記警報発令閾値よりも小さな値に設定した警報解除閾値以下であるか否かを判定する構成にし、
前記警報部を、前記積分値が前記警報解除閾値以下と判定した場合に、運転者の行動が前方不注視でないと判定して、前記警報を解除する構成にし、
変換された前記パワースペクトルの予め設定された周波数範囲におけるパワースペクトル密度の最大値を算出する算出部を備える場合は、
前記判定部を、算出した前記最大値が前記警報発令閾値よりも小さな値に設定した警報解除閾値以下であるか否かを判定する構成にし、
前記警報部を、前記最大値が前記警報解除閾値以下と判定した場合に、運転者の行動が前方不注視でないと判定して、前記警報を解除する構成にした請求項４または５に記載の車両の安全運転促進装置。