JP4110902B2 - 脇見検出装置 - Google Patents

脇見検出装置 Download PDF

Info

Publication number
JP4110902B2
JP4110902B2 JP2002283987A JP2002283987A JP4110902B2 JP 4110902 B2 JP4110902 B2 JP 4110902B2 JP 2002283987 A JP2002283987 A JP 2002283987A JP 2002283987 A JP2002283987 A JP 2002283987A JP 4110902 B2 JP4110902 B2 JP 4110902B2
Authority
JP
Japan
Prior art keywords
risk
driver
information
map data
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002283987A
Other languages
English (en)
Other versions
JP2004114931A (ja
Inventor
治夫 松尾
雅之 金田
欣也 岩本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2002283987A priority Critical patent/JP4110902B2/ja
Publication of JP2004114931A publication Critical patent/JP2004114931A/ja
Application granted granted Critical
Publication of JP4110902B2 publication Critical patent/JP4110902B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、自車両の運転者が脇見をしているかどうかを判定する脇見検出装置に関する。
【0002】
【従来の技術】
従来より、自車両の運転者が脇見をしているかどうかを判定する技術が知られている(例えば、特許文献1参照)。
【0003】
この技術では、運転者の顔が向いている方向を検知し、さらに、この検知された方向と基準方向とがなす顔向き角度を算出する。
【0004】
そして、この顔向き角度が所定の許容角度以上となっている間の時間が許容時間を超える場合に、警報を発する。
【0005】
【特許文献1】
特許2822508号公報
【0006】
【発明が解決しようとする課題】
しかし、顔向き角度が所定の許容角度以上であっても、運転者により視認されている領域によっては、運転者が脇見をしていない場合もある。この場合としては、例えば、運転者が、後方の安全確認のためにドアミラー領域を視認している場合がある。
【0007】
この場合、本技術では、運転者が脇見をしているかどうかを正確に判定することが容易でなかった。
【0008】
【課題を解決するための手段】
上記目的を達成するため、本願特許請求の範囲に記載の発明は、自車両の運転者が脇見をしているかどうかを判定する脇見検出装置において、前記運転者の視方向を検出する視方向検出手段と、1日を朝、昼、夕方、夜の時間に分割し、このうち、夜である場合、朝または夕方である場合、昼である場合の3通りの時間帯に応じて、運転者の視方向に応じたリスク度を示すリスクマップを作成するリスクマップ作成手段と、前記リスクマップにおける各領域毎に脇見許容時間を設定し、前記視方向検出手段にて検出された前記運転手の視方向データ、及び、現在時刻に基づく前記時間帯を前記リスクマップに当てはめ、脇見継続時間が当該リスクマップにおける前記運転者の視方向となる領域に設定された脇見許容時間に達した際に、運転者が脇見をしている旨の脇見情報を出力する脇見判定手段と、を備えたことを主に特徴とする。
【0009】
【発明の効果】
本願特許請求の範囲に記載の発明では、主に以下の効果を得ることができる。
【0010】
即ち、本発明では、運転者の視方向に応じたリスク度を算出し、このリスク度、及び視方向データより得られる運転者の脇見継続時間に基づいて、脇見によるリスクの発生を運転者に報知するかどうかを決定する。
【0011】
したがって、運転者の視方向に応じて、脇見によるリスクの発生を運転者に報知するかどうかを決定することができる。
【0012】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【0013】
まず、本発明の一実施形態に係る脇見検出装置1の構成について、図1〜図13に基づいて説明する。ここで、図1〜図3、図6、及び図7は、脇見検出装置1の構成を示すブロック図であり、図4及び図5は、カメラの設置位置を示す概略図である。
【0014】
また、図8〜図13は標準マップデータ57a等(後述する)について説明した説明図である。
【0015】
本実施形態に係る脇見検出装置1は、図4に示す車両(以下、「自車両」と称する)100に搭載されており、図1に示すように、車両信号21、環境信号31、及び顔画像信号41を取得して、自車両100の運転者102(図4参照)が脇見をしている旨の報知信号81を出力するものである。
【0016】
脇見検出装置1は、図2に示すように、車両データ取得部2、環境データ取得部3、視方向検出部(視方向検出手段)4、リスクマップ作成部(リスクマップ作成手段)5、頻度計測部6、脇見判定部(脇見判定手段)7、及び報知信号出力部8を備えている。
【0017】
また、車両信号21を取得するための各種車両センサ(例えば、速度センサ、加速度センサ、操舵角センサ、ブレーキセンサ、及びアクセル開度センサ等)を備えている。
【0018】
また、環境信号31を取得するための各種環境センサ(例えば、時計、照度計、気圧計、温度計、降雨量センサ、レーザレーダ等)及び経路誘導装置を備えている。
【0019】
さらに、図4に示すように、自車両100のステアリングコラム101に取り付けられたカメラ42を備えている。
【0020】
ここで、カメラ42は、図4及び図5に示すように、運転者102の顔を撮影して顔画像を取得する。さらに、図2に示すように、この顔画像に関する顔画像信号41を作成して視方向検出部4に出力する。
【0021】
なお、カメラ42は、夜間でも運転者102の顔を撮影することができるように、例えば赤外線LEDの投光機を備えている。
【0022】
車両データ取得部2は、各種車両センサからの信号、即ち車両信号21を取得して、自車両100の運転状態を検知する。さらに、当該車両信号21をデジタル変換して車両情報22とし、視方向検出部4及びリスクマップ作成部5に出力する。
【0023】
ここで、車両情報22としては、例えば、自車両100の速度、加速度、ハンドル操舵角に関する情報等がある。
【0024】
環境データ取得部3は、車両データ取得部2と同時に動作可能となっており、各種環境センサ及び経路誘導装置からの信号、即ち環境信号31を取得して自車両周辺の環境状態を検知する。
【0025】
さらに、当該環境信号31をデジタル変換して環境情報32とし、視方向検出部4及びリスクマップ作成部5に出力する。
【0026】
なお、この環境情報32としては、例えば、自車両100が走行している時間帯(例えば、朝、昼、夕、及び夜等)、天候(例えば、晴、雨、及び曇等)、走行場所(例えば、郊外、及び市街等)、自車両100のドアミラー及びルームミラー等の位置、道路状況(例えば、渋滞等)に関する情報等がある。
【0027】
視方向検出部4は、図3に示すように、眼検出部43、基準座標算出部44、メモリ44b、及び視方向算出部45を備えている。
【0028】
眼検出部43は、車両データ取得部2が出力した車両情報22、環境データ取得部3が出力した環境情報32、及び図4に示すカメラ42が出力した顔画像信号41を取得する。
【0029】
そして、これら情報及び信号に基づいて、運転者102の眼の位置に関する眼座標情報43a、及び運転者102のまぶたの位置に関するまぶた開閉情報43bを作成し、基準座標算出部44及び視方向算出部45に出力する。
【0030】
基準座標算出部44は、車両データ取得部2が出力した車両情報22と、環境データ取得部3が出力した環境情報32と、眼検出部43が出力した眼座標情報43a及びまぶた開閉情報43bとを取得する。
【0031】
そして、これらの情報に基づいて、運転者102の眼の基準位置を算出する。さらに、この基準位置に関する基準座標情報44aを作成して、メモリ44bに保存する。
【0032】
メモリ44bは、基準座標算出部44が作成した基準座標情報44aを保存する。
【0033】
視方向算出部45は、車両データ取得部2が出力した車両情報22と、眼検出部43が出力した眼座標情報43a及びまぶた開閉情報43bとを取得する。さらに、メモリ44bから基準座標情報44aを取得する。
【0034】
そして、これらの情報に基づいて、運転者102の眼の移動量及びまぶたの開閉量を算出し、さらに、当該算出の結果に基づいて運転者102の視方向を検出する。
【0035】
そして、当該検出の結果に関する視方向情報45aを作成し、図2に示す頻度計測部6及び脇見判定部7に出力する。
【0036】
リスクマップ作成部5は、視方向検出部4と同時に動作可能となっており、図6に示すように、車両情報マップデータベース51、環境情報マップデータベース52、及び場面情報マップデータベース53を備えている。
【0037】
さらに、車両情報マップ取得部54、環境情報マップ取得部55、場面情報マップ取得部56、メモリ57、及びリスクマップ合成部58を備えている。
【0038】
車両情報マップデータベース51は、自車両100の運転状態及び自車両100の種類に応じて作成された車両情報マップデータ51aを複数格納する。
【0039】
ここで、車両情報マップデータ51aは、運転者102による視認の対象となりうる視認可能領域110(図8参照)と、運転者102の視方向、自車両100の運転状態、及び自車両100の種類に応じて当該視認可能領域110に設定されたリスク差分値と、を重畳して示すものである。
【0040】
また、この車両情報マップデータ51aは、図8に示すように、複数の小領域110aに分割されており、リスク差分値は、この小領域110a毎に設定されている。
【0041】
環境情報マップデータベース52は、自車両周辺の環境状態及び自車両100の種類に応じて作成された環境情報マップデータ52aを複数格納する。
【0042】
ここで、環境情報マップデータ52aは、運転者102による視認の対象となりうる視認可能領域110と、運転者102の視方向、自車両周辺の環境状態及び自車両100の種類に応じて当該視認可能領域110に設定されたリスク差分値と、を重畳して示すものである。
【0043】
また、この環境情報マップデータ52aは、複数の小領域110aに分割されており、リスク差分値は、この小領域110a毎に設定されている。
【0044】
場面情報マップデータベース53は、自車両100の運転状態、自車両周辺の環境状態及び自車両100の種類に応じて作成された場面情報マップデータ53aを複数格納する。
【0045】
ここで、場面情報マップデータ53aは、運転者102による視認の対象となりうる視認可能領域110と、運転者102の視方向、自車両100の運転状態、自車両周辺の環境状態、及び自車両の種類に応じて当該視認可能領域110に設定されたリスク差分値と、を重畳して示すものである。
【0046】
また、この場面情報マップデータ53aは、複数の小領域110aに分割されており、リスク差分値は、この小領域110a毎に設定されている。
【0047】
車両情報マップ取得部54は、図2に示す車両データ取得部2が出力した車両情報22を取得して、この車両情報22に対応する車両情報マップデータ51aを車両情報マップデータベース51から取得する。これにより、視認可能領域110に、運転者102の視方向、自車両100の運転状態及び自車両100の種類に応じたリスク差分値を設定する。
【0048】
そして、この取得された車両情報マップデータ51aをリスクマップ合成部58に出力する。
【0049】
環境情報マップ取得部55は、図2に示す環境データ取得部3が出力した環境情報32を取得して、この環境情報32に対応する環境情報マップデータ52aを環境情報マップデータベース52から取得する。これにより、視認可能領域110に、運転者102の視方向、自車両周辺の環境状態及び自車両100の種類に応じたリスク差分値を設定する。
【0050】
そして、この取得された環境情報マップを環境情報マップデータ52aとしてリスクマップ合成部58に出力する。
【0051】
場面情報マップ取得部56は、図2に示す車両データ取得部2が出力した車両情報22、及び環境データ取得部3が出力した環境情報32を取得する。
【0052】
そして、これら車両情報22及び環境情報32に対応する場面情報マップデータ53aを場面情報マップデータベース53から取得する。これにより、視認可能領域110に、運転者102の視方向、自車両100の運転状態、自車両周辺の環境状態、及び自車両100の種類に応じたリスク差分値を設定する。
【0053】
そして、この取得された場面情報マップデータ53aをリスクマップ合成部58に出力する。
【0054】
ここで、車両情報マップ取得部54、環境情報マップ取得部55、及び場面情報マップ取得部56は、同時に動作可能である。
【0055】
メモリ57は、所定の標準状態(本実施の形態では、図9に示す状態)に応じて作成された標準マップデータ57aを保存する。
【0056】
標準マップデータ57aは、運転者102による視認の対象となりうる視認可能領域110(図8参照)と、運転者102の視方向及び所定の標準状態に応じて当該視認可能領域110に設定されたリスク値、即ちリスク基準値と、を重畳して示すものである。
【0057】
ここで、この標準マップデータ57aは、複数の小領域110aに分割されており、リスク基準値は、この小領域110a毎に設定されている。
【0058】
なお、リスク基準値は、後述するリスク値(リスク度)を設定するための基準となるものである。また、運転者102が、大きいリスク値が設定された小領域を視認した場合、脇見検出装置1は、運転者102が脇見をしていると直ちに判定するようになっている。
【0059】
そこで、リスク基準値は、図10及び図11に示すように設定されている。
【0060】
なお、図10は、直線AA’(この直線AA’は、図8に示すように、視認可能領域110上の直線である。以下同じ)上のリスク基準値分布を示している。
【0061】
また、図11は、直線BB’(この直線BB’は、図8に示すように、視認可能領域110上の直線である。以下同じ)上のリスク基準値分布を示している。
【0062】
即ち、図10及び図11に示すように、リスク基準値は、原点(原点は、図8に示すように、運転者102の正面に位置する)付近の小領域110aでは小さく、小領域110aが原点から離れるほど大きくなる。
【0063】
このようにリスク基準値が設定されているのは、以下の理由による。
【0064】
即ち、運転者102により視認されている領域が原点から離れるほど、運転者102にとっては、正面を視認することが容易でなくなる。したがって、運転者102が当該領域を視認している場合、脇見検出装置1は、運転者102が脇見をしていると直ちに判定する必要があるからである。
【0065】
また、リスク基準値は、図11に示すように、直線PP’の下側及び直線QQ’の上側において、急激に大きくなっている。ここで、直線PP’の下側の領域は、図12に示すように、自車両100のインストルメント領域であり、直線QQ’の上側の領域は、フロントガラスの上部の領域である。
【0066】
これらの領域でリスク基準値が急激に大きくなっているのは、以下の理由による。
【0067】
即ち、運転者102がこれらの領域を視認している場合、運転者102は車内を視認していることとなるため、運転者102の眼のピントは、車外を見るためのピントと異なっている。
【0068】
また、車内と車外とでは明るさが異なるため、運転者102がこれらの領域を視認した後に車外を視認する場合には、運転者102は、明るさの変化に順応する必要がある。
【0069】
また、運転者102は、インストルメント領域を視認する場合には、目線を下げる必要があるが、人間の眼の構造上、目線を下げるとまぶたも下がる。
【0070】
したがって、運転者102がこれらの領域を視認している場合、運転者102にとっては、前方を視認することが容易でない。
【0071】
そこで、運転者102が当該領域を視認している場合、脇見検出装置1は、運転者102が脇見をしていると直ちに判定する必要があるからである。
【0072】
なお、フロントガラス上部の領域におけるリスク値は、インストルメント領域におけるリスク基準値よりも大きくなる。運転者102がフロントガラス上部の領域を視認した場合に生じるリスクは、インストルメント領域を視認した場合に生じるリスクよりも大きいからである。
【0073】
図6に示すリスクマップ合成部58は、車両情報マップ取得部54が出力した車両情報マップデータ51a、環境情報マップ取得部55が出力した環境情報マップデータ52a、及び場面情報マップ取得部56が出力した場面情報マップデータ53aを取得する。さらに、メモリ57から標準マップデータ57aを取得する。
【0074】
そして、これらのマップデータを合成して、リスクマップデータ58aを作成し、図2に示す脇見判定部7に出力する。
【0075】
ここで、リスクマップデータ58aは、運転者102による視認の対象となりうる視認可能領域110と、運転者102の視方向等に応じたリスク値と、を重畳して示すものである。
【0076】
また、リスクマップデータ58aは、複数の小領域110aに分割されており、リスク値はこの小領域110a毎に設定されている。また、リスク値は、リスク基準値とリスク差分値とを足し合わせることで得られる値である。
【0077】
したがって、リスクマップ合成部58は、リスクマップデータ58aを作成することで、視認可能領域110にリスク値を設定することとなる。
【0078】
また、車両情報マップデータ51aは、自車両100の運転状態及び自車両100の種類に応じて作成され、環境情報マップデータ52aは、自車両周辺の環境状態及び自車両100の種類に応じて作成される。また、場面情報マップデータ53aは、自車両100の運転状態、自車両周辺の環境状態及び自車両100の種類に応じて作成される。
【0079】
したがって、リスクマップ合成部58は、運転者102の視方向、自車両100の運転状態、自車両周辺の環境状態、及び自車両の種類に応じてリスク値を設定することとなる。
【0080】
ここで、リスクマップデータ58aの例を図13に示す。
【0081】
図13では、いくつかの曲線が描かれているが、これらの曲線は、同一のリスク値が設定された部分を結ぶものである。また、曲線上に表示された数字は、この曲線上の部分に設定されたリスク値である。
【0082】
この例では、上述した理由により、インストルメント領域におけるリスク値が大きくなっている。
【0083】
さらに、フロントガラス上部の領域におけるリスク値は、図示しないが、インストルメント領域におけるリスク値よりも大きくなっている。
【0084】
一方、ルームミラー領域におけるリスク値は、インストルメント領域におけるリスク値よりも小さくなっている。また、ドアミラー領域におけるリスク値は、ルームミラー領域におけるリスク値よりも大きくなるが、インストルメント領域におけるリスク値よりも小さくなっている。
【0085】
ルームミラー領域及びドアミラー領域においてこのようにリスク値が設定されるのは、運転者102が、自車両100後方の安全を確認するためにこれらの領域を視認した場合に、脇見をしていると判定されてしまうことを防止するためである。具体的には、後述する。
【0086】
図2に示す頻度計測部6は、視方向検出部4が出力した視方向情報45aを取得し、この視方向情報に基づいて、運転者102が同様の方向を向いている時間、即ち脇見継続時間を計測する。
【0087】
なお、頻度計測部6は、脇見継続時間を計測するに際しては、視方向の分散値を算出し、この算出された分散値が所定の範囲内(この範囲については、予め定められる)である場合には、運転者102が同一の方向を向いているものとする。
【0088】
そして、この計測された脇見継続時間に関する脇見時間情報61を作成して、脇見判定部7に出力する。
【0089】
脇見判定部7は、図7に示すように、リスク度取得部71、メモリ72、リスク時間変換部73、及び脇見判断部74を備えている。
【0090】
リスク度取得部71は、視方向検出部4が出力した視方向情報45a、及びリスクマップ作成部5が出力したリスクマップデータ58aを取得する。
【0091】
そして、これら視方向情報45a及びリスクマップデータ58aに基づいて、運転者102による視認の対象となっている視認領域を検出し、さらに、この視認領域に対応するリスク値を検出する。即ち、脇見によるリスク度を算出する。
【0092】
そして、このリスク値に関するリスク度情報71aを作成してリスク時間変換部73に出力する。
【0093】
メモリ72は、リスク時間変換表データ72aを保存する。ここで、リスク時間変換表データ72aは、リスク値と脇見許容時間との関係を示すものである。なお、リスク値が大きくなるほど、対応する脇見許容時間は短くなる(図33参照)。
【0094】
リスク時間変換部73は、リスク度取得部71が出力したリスク度情報71aを取得し、このリスク度情報71aからリスク値を抽出する。
【0095】
そして、メモリ72からリスク時間変換表データ72aを取得し、このリスク時間変換表データ72aから、上記リスク値に対応する脇見許容時間を取得する。即ち、リスク値に基づいて、脇見許容時間を設定する。
【0096】
そして、この取得された脇見許容時間に関する脇見許容時間情報73aを作成して、脇見判断部74に出力する。
【0097】
脇見判断部74は、リスク時間変換部73が出力した脇見許容時間情報73aと、図2に示す頻度計測部6が出力した脇見時間情報61とを取得して、脇見継続時間と脇見許容時間とを比較する。
【0098】
この結果、脇見継続時間が脇見許容時間よりも長い場合、即ち、運転者102が視認領域を脇見許容時間よりも長く視認している場合には、運転者102が脇見をしていると判定し、その旨の脇見情報74aを作成する。
【0099】
したがって、運転者102が、高いリスク値が設定された小領域を視認している場合、短時間の視認であっても、脇見判定部74は、運転者102が脇見をしていると判定することとなる。
【0100】
そして、この作成された脇見情報74aを図2に示す報知信号出力部8に出力する。
【0101】
報知信号出力部8は、脇見判定部7が出力した脇見情報74aを取得し、この脇見情報74aに基づいて、脇見によるリスクの発生を自車両100の乗員に報知する。
【0102】
具体的には、脇見によるリスクが発生した旨の報知信号81を作成し、この報知信号81を用いて、例えば、自車両100のランプを点滅させたり、脇見をしている旨の音声情報を自車両100のスピーカにて出力する。
【0103】
次に、脇見検出装置1による処理の手順について、図1〜図33に基づいて説明する。
【0104】
ここで、図14、図15、及び図18は脇見検出装置1による処理の手順を示すフローチャートであり、図16及び図17はカメラ42により取得される顔画像と運転者102の眼の移動量等との関係を示す説明図である。
【0105】
また、図19〜図32は、リスク差分値分布またはリスク値分布を示すグラフであり、図33は、リスク値と脇見許容時間との関係を示すグラフである。
【0106】
まず、図14に示すステップS1にて、図2に示す車両データ取得部2は、各種車両センサから車両信号21を取得して、自車両100の運転状態を検知する。
【0107】
当該処理と並行して、環境データ取得部3は、各種環境センサ及び経路誘導装置から環境信号31を取得して自車両周辺の環境状態を検知する。
【0108】
次いで、ステップS2にて、車両データ取得部2は、当該車両信号21をデジタル変換して車両情報22とし、視方向検出部4及びリスクマップ作成部5に出力する。
【0109】
当該処理と並行して、環境データ取得部3は、当該環境信号31をデジタル変換して環境情報32とし、視方向検出部4及びリスクマップ作成部5に出力する。
【0110】
次いで、ステップS3にて、視方向検出部4は、視方向情報45aを作成する。
【0111】
具体的には、図15に示すステップS3aにて、図4に示すカメラ42が運転者102の顔を撮影して顔画像信号41を作成し、視方向検出部4に出力する。
【0112】
次いで、ステップS3bにて、図3に示す眼検出部43は、車両データ取得部2が出力した車両情報22、環境データ取得部3が出力した環境情報32、及びカメラ42が出力した顔画像信号41を取得する。
【0113】
次いで、これら情報及び信号に基づいて、運転者102の眼の位置に関する眼座標情報43aと、運転者102のまぶたの位置に関するまぶた開閉情報43bとを作成する。
【0114】
次いで、当該作成された眼座標情報43a及びまぶた開閉情報43bを基準座標算出部44及び視方向算出部45に出力する。
【0115】
次いで、ステップS3cにて、基準座標算出部44は、車両データ取得部2が出力した車両情報22と、環境データ取得部3が出力した環境情報32と、眼検出部43が出力した眼座標情報43a及びまぶた開閉情報43bとを取得する。
【0116】
次いで、基準座標算出部44は、これらの情報が基準位置の算出に適するかどうかを判断する。
【0117】
この結果、基準位置の算出に適すると判断した場合には、運転者102の眼の位置及びまぶたの位置を、眼座標情報43a及びまぶた開閉情報43bに基づいて算出し、これら算出された位置を基準位置とする。
【0118】
次いで、当該基準位置に関する基準座標情報44aを作成してメモリ44bに保存する。ここで、当該メモリ44bに基準座標情報44aが既に保存されている場合には、新たに算出された基準座標情報44aを用いて、メモリ44bに保存されている基準座標情報44aを更新する。
【0119】
一方、基準位置の算出に適さないと判断した場合には、基準位置の算出を行わない。
【0120】
ここで、これらの情報が基準位置の算出に適すると判断される場合としては、例えば、自車両100が直線道路を走行している場合がある。この場合、運転者102の視方向は正面方向でほぼ固定されるためである。
【0121】
一方、基準位置の算出に適さないと判断される場合としては、例えば、自車両100が停止中である場合や、交差点の手前に位置する場合がある。これらの場合には、運転者102の視方向は、運転者102による安全確認等のため様々な方向を向く可能性があるためである。
【0122】
次いで、ステップS3dにて、図3に示す視方向算出部45は、メモリ44bに基準座標情報44aが保存されているかどうかを判断する。
【0123】
この結果、保存されていないと判断した場合(ステップS3dにてNO)には、ステップS3a以降の処理が繰り返される。
【0124】
一方、保存されていると判断した場合には、ステップS3eにて、視方向算出部45は、車両データ取得部2が出力した車両情報22と、眼検出部43が出力した眼座標情報43a及びまぶた開閉情報43bと、を取得する。さらに、メモリ44bから基準座標情報44aを取得する。
【0125】
次いで、これらの情報に基づいて、運転者102の眼の左右方向への移動量、上下方向への移動量及びまぶたの開閉量を算出する。
【0126】
具体的には、例えば、顔画像中の眼の位置が、図16(a)に示す位置(この位置を眼の基準位置とする)から図16(b)に示す位置に移動した場合には、視方向算出部45は、右目の左右方向への移動量をXRと算出する。また、左目の左右方向への移動量をXLと算出する。
【0127】
また、例えば、顔画像中の眼の位置が、図17(a)に示す位置(この位置を眼の基準位置とする)から図17(b)に示す位置に移動した場合には、視方向算出部45は、眼の上下方向への移動量をdyと算出する。
【0128】
また、例えば、顔画像中のまぶたの位置が、図17(c)に示す位置(この位置をまぶたの基準位置とする)から図17(d)に示す位置に移動した場合には、視方向算出部45は、まぶたの開閉量を(I1−I2)と算出する。
【0129】
ここで、まぶたの開閉量を算出するのは、以下の理由による。
【0130】
即ち、図16及び図17に示すように、眼の上下方向への移動量は、左右方向への移動量に比して小さくなる。
【0131】
また、図17(b)及び(d)に示すように、運転者102が下方を見たときにカメラ42が運転者102を撮影すると、眼の画像が細くなる場合があり、この場合、眼の位置を検出することが容易でない。
【0132】
したがって、眼の上下方向の移動量を正確に算出することが容易でないので、当該上下方向への移動量に関する情報を補足するために、まぶたの開閉量を算出することとしている。
【0133】
次いで、視方向算出部45は、当該算出の結果に基づいて、運転者102の視方向を検出して視方向情報45aを作成し、図2に示す頻度計測部6及び脇見判定部7に出力する。
【0134】
視方向検出部4が上記処理を行うのに並行して、図2に示すリスクマップ作成部5は、図14に示すステップS4にて、リスクマップデータ58aを作成する。
【0135】
具体的には、図18に示すステップS4aにて、図6に示す車両情報マップ取得部54は、車両データ取得部2が出力した車両情報22を取得する。
【0136】
次いで、この車両情報22に対応する車両情報マップデータ51aを車両情報マップデータベース51から取得して、リスクマップ合成部58に出力する。
【0137】
車両情報マップ取得部54が上記処理を行うのに並行して、環境情報マップ取得部55は、以下の処理を行う。
【0138】
即ち、環境情報マップ取得部55は、図2に示す環境データ取得部3が出力した環境情報32を取得する。
【0139】
次いで、この環境情報32に対応する環境情報マップデータ52aを環境情報マップデータベース52から取得して、リスクマップ合成部58に出力する。
【0140】
車両情報マップ取得部54及び環境情報マップ取得部55が上記処理を行うのに並行して、場面情報マップ取得部56は、以下の処理を行う。
【0141】
即ち、場面情報マップ取得部56は、図2に示す車両データ取得部2が出力した車両情報22及び環境データ取得部3が出力した環境情報32を取得する。
【0142】
次いで、これら車両情報22及び環境情報32に対応する場面情報マップデータ53aを場面情報マップデータベース53から取得して、リスクマップ合成部58に出力する。
【0143】
次いで、ステップS4bにて、リスクマップ合成部58は、上記処理により出力された車両情報マップデータ51a、環境情報マップデータ52a、及び場面情報マップデータ53aを取得する。さらに、メモリ57から標準マップデータ57aを取得する。
【0144】
なお、本実施の形態では、図9に示す標準状態にて作成された標準マップデータ57aがメモリ57に保存されているものとする。
【0145】
次いで、リスクマップ合成部58は、これらのマップデータを合成することで、リスクマップデータ58aを作成し、図2に示す脇見判定部7に出力する。
【0146】
ここで、車両情報マップデータ51a、環境情報マップデータ52a、場面情報マップデータ53a、及びリスクマップデータ58aの例を図に基づいて説明する。
【0147】
まず、自車両100の速度(車両情報)に対応する車両情報マップデータ51aを図19に示す。
【0148】
ここで、図19(a)は、当該車両情報マップデータ51aにおけるリスク差分値分布の一例として、直線AA’(図8参照)上でのリスク差分値分布を示している。また、図19(b)は、直線BB’(図8参照)上でのリスク差分値分布を示している。
【0149】
この車両情報マップデータ51aでは、自車両100の速度が大きくなるほど脇見により生じるリスクが大きくなることにより、リスク差分値が設定されている。
【0150】
ここで、自車両100の速度が大きくなるほど脇見により生じるリスクが大きくなるのは、以下の理由による。
【0151】
即ち、自車両100の速度が大くなった場合、運転者102の視界が狭くなるので、運転者102にとっては、正面以外の領域を視認した際に当該正面を正確に視認することが容易でなくなるからである。
【0152】
次に、リスク差分値分布の様子について説明する。
【0153】
図19に示すように、自車両100の速度が標準状態(図9参照)である場合には、リスク差分値はゼロとなる。
【0154】
また、自車両100の速度が標準状態よりも大きい場合には、リスク値を大きくする必要があることから、リスク差分値は正の値を取る。一方、自車両100の速度が標準状態よりも小さい場合には、リスク値を小さくする必要があることから、リスク差分値は負の値を取る。
【0155】
また、その絶対値は、自車両100の速度によらず、原点付近の小領域110aでは小さく、小領域110aが原点から離れるほど大きくなる。これは、運転者102により視認される領域が原点から離れるほど、速度がリスク差分値に与える影響が大きくなることを示している。
【0156】
なお、車両情報マップ取得部54は、車両情報22に含まれる速度情報をキーとして、この車両情報マップデータ51aを取得する。
【0157】
次に、この車両情報マップデータ51aと標準マップデータ57aとを合成することで得られるリスクマップデータ58aを図20に示す。
【0158】
ここで、図20(a)は、当該リスクマップデータ58aにおけるリスク値分布の一例として、直線AA’(図8参照)上でのリスク値分布を示している。また、図20(b)は、直線BB’(図8参照)上でのリスク値分布を示している。
【0159】
このリスクマップデータ58aでは、上述した理由により、自車両100の速度が大きくなるほどリスク値が大きくなる。
【0160】
また、当該リスク値は、標準マップデータ57aに関する説明にて述べた理由により、小領域110aが原点から離れるほど大きくなり、且つ、直線PP’の下側及び直線QQ’の上側において、急激に大きくなっている。
【0161】
また、フロントガラス上部の領域におけるリスク値は、インストルメント領域におけるリスク値よりも大きくなる。
【0162】
次に、自車両100のハンドル操舵角に対応する車両情報マップデータ51aを図21に示す。
【0163】
ここで、図21(a)は、当該車両情報マップデータ51aにおけるリスク差分値分布の一例として、直線AA’(図8参照)上でのリスク差分値分布を示している。また、図21(b)は、直線BB’(図8参照)上でのリスク差分値分布を示している。
【0164】
この車両情報マップデータ51aでは、リスク差分値が以下のように設定されている。
【0165】
即ち、ハンドル操舵角が、標準状態(図9参照)におけるハンドル操舵角と同じである場合には、リスク差分値はゼロとなる。
【0166】
また、図21(a)に示すように、ハンドルが標準状態に対して右に切られた場合、原点よりも右側の小領域110aにおいて、リスク差分値は負の値を取り、原点よりも左側の小領域110aにおいて、リスク差分値は正の値を取る。
【0167】
これにより、原点よりも右側の小領域110aにおいて、リスク値が小さくなり、原点よりも左側の小領域110aにおいて、リスク値が大きくなる。
【0168】
このようにリスク差分値を設定したのは、以下の理由による。
【0169】
即ち、ハンドルが標準状態に対して右に切られた場合には、自車両100が標準状態に対して右側を向く。
【0170】
したがって、運転者102は当該右側の領域を特に注意して視認する必要があるので、運転者102が当該右側の領域を視認している場合には、運転者102が脇見をしていると判定されることを防止する必要がある。
【0171】
そこで、当該右側の領域に小さいリスク値を設定する必要があるので、上記のようにリスク差分値を設定した。
【0172】
一方、ハンドルが標準状態に対して左に切られた場合、リスク差分値分布は、上記理由により、ハンドルが右に切られた場合と逆になる。
【0173】
また、リスク差分値の絶対値は、ハンドルが切られた方向によらず、原点付近の小領域110aでは小さく、小領域110aが原点から離れるほど大きくなっている。これは、運転者102により視認される領域が原点から離れるほど、ハンドル操舵がリスク差分値に大きな影響を与えることを示している。
【0174】
また、図21(b)に示すように、上下方向におけるリスク差分値は、ハンドルが切られた方向によらずゼロとなる。したがって、ハンドル操舵は上下方向のリスク差分値分布に影響を与えない。
【0175】
なお、車両情報マップ取得部54は、車両情報22に含まれる操舵角情報をキーとして、この車両情報マップデータ51aを取得する。
【0176】
次に、この車両情報マップデータ51aと標準マップデータ57aとを合成することで得られるリスクマップデータ58aを図22に示す。
【0177】
ここで、図22(a)は、当該リスクマップデータ58aにおけるリスク値分布の一例として、直線AA’(図8参照)上でのリスク値分布を示している。また、図22(b)は、直線BB’(図8参照)上でのリスク値分布を示している。
【0178】
このリスクマップデータ58aでは、ハンドルが切られた方向によってリスク値が変化する。例えば、原点よりも右側の小領域110aでは、ハンドルが標準状態に対して右に切られた場合のリスク値は、標準状態でのリスク値よりも小さくなり、ハンドルが標準状態に対して左に切られた場合のリスク値は、標準状態でのリスク値よりも大きくなる。
【0179】
一方、上下方向のリスク値は、ハンドルが切られた方向によらず、リスク基準値と同一の値を取る。
【0180】
また、当該リスク値は、標準マップデータ57aに関する説明にて述べた理由により、小領域110aが原点から離れるほど大きくなり、且つ、直線PP’の下側及び直線QQ’の上側において、急激に大きくなっている。
【0181】
また、フロントガラス上部の領域におけるリスク値は、インストルメント領域におけるリスク値よりも大きくなる。
【0182】
次に、自車両走行中の時間帯(環境情報)に対応する環境情報マップデータ52aを図23に示す。
【0183】
ここで、図23(a)は、当該環境情報マップデータ52aにおけるリスク差分値分布の一例として、直線AA’(図8参照)上でのリスク差分値分布を示している。また、図23(b)は、直線BB’(図8参照)上でのリスク差分値分布を示している。
【0184】
この環境情報マップデータ52aでは、脇見により生じるリスクが、夜、朝及び夕方、昼の順で大きくなることを考慮して、リスク差分値が以下のように設定されている。
【0185】
ここで、脇見により生じるリスクが、夜、朝及び夕方、昼の順で大きくなるのは、この順で見渡しが悪くなること、及び夜では対向車のヘッドライトによって進行方向右側の見渡しがさらに悪くなることによる。
【0186】
図23に示すように、自車両走行中の時間帯が標準状態(図9参照)における時間帯(本例では昼)と同じである場合には、リスク差分値はゼロとなる。
【0187】
また、自車両走行中の時間帯が朝及び夕方の場合、リスク値を大きくする必要があることから、リスク差分値は正の値を取る。
【0188】
また、自車両走行中の時間帯が夜の場合には、リスク値を朝及び夕方の場合よりも大きくする必要があることから、リスク差分値は朝及び夕方の場合よりも大きな値を取る。
【0189】
さらに、対向車のヘッドライトにより進行方向右側の見渡しが悪くなることから、原点よりも右側の小領域110aにおけるリスク差分値は、原点よりも左側の小領域110aにおけるリスク差分値よりも大きくなる。
【0190】
また、リスク差分値の絶対値は、時間帯によらず、原点付近の小領域110aでは小さく、小領域110aが原点から離れるほど大きくなる。これは、運転者102により視認される領域が原点から離れるほど、時間帯がリスク差分値に大きな影響を与えることを示している。
【0191】
なお、環境情報マップ取得部55は、環境情報32に含まれる時間帯情報をキーとして、この環境情報マップデータ52aを取得する。
【0192】
次に、この環境情報マップデータ52aと標準マップデータ57aとを合成することで得られるリスクマップデータ58aを図24に示す。
【0193】
ここで、図24(a)は、当該リスクマップデータ58aにおけるリスク値分布の一例として、直線AA’(図8参照)上でのリスク値分布を示している。また、図24(b)は、直線BB’(図8参照)上でのリスク値分布を示している。
【0194】
このリスクマップデータ58aでは、夜、朝及び夕方、昼の順にリスク値が大きくなっている。また、夜では、原点よりも右側の小領域110aにおけるリスク値が、原点よりも左側の小領域110aにおけるリスク値よりも大きくなっている。
【0195】
また、当該リスク値は、標準マップデータ57aに関する説明にて述べた理由により、小領域110aが原点から離れるほど大きくなり、且つ、直線PP’の下側及び直線QQ’の上側において、急激に大きくなっている。
【0196】
また、フロントガラス上部の領域におけるリスク値は、インストルメント領域におけるリスク値よりも大きくなる。
【0197】
次に、自車両100の走行場所(環境情報)に対応する環境情報マップデータ52aを図25に示す。
【0198】
ここで、図25(a)は、当該環境情報マップデータ52aにおけるリスク差分値分布の一例として、直線AA’(図8参照)上でのリスク差分値分布を示している。
【0199】
また、図25(b)は、直線BB’(図8参照)上でのリスク差分値分布を示している。
【0200】
この環境情報マップデータ52aでは、脇見により生じるリスクが市街地、郊外、高速道路の順で大きくなることにより、リスク差分値が以下のように設定されている。
【0201】
なお、脇見により生じるリスクが市街地、郊外、高速道路の順で大きくなるのは、他の車両が自車両100の進路に進入してくる可能性がこの順で大きくなり、且つ、自車両100から先行車両までの平均的な車間距離は、この順で短くなるからである。
【0202】
図25に示すように、自車両100の走行場所が、標準状態(図9参照)における走行場所(本例では、郊外)と同じである場合には、リスク差分値はゼロとなる。
【0203】
また、自車両100の走行場所が市街地の場合、リスク値を大きくする必要があることから、リスク差分値は正の値を取り、自車両100の走行場所が高速道路の場合、リスク値を小さくする必要があることから、リスク差分値は負の値を取る。
【0204】
また、リスク差分値の絶対値は、原点付近の小領域110aでは小さく、小領域110aが原点から離れるほど大きくなっている。これは、運転者102により視認される領域が原点から離れるほど、走行場所がリスク差分値に大きな影響を与えることを示している。
【0205】
なお、環境情報マップ取得部55は、環境情報32に含まれる走行場所情報をキーとして、この環境情報マップデータ52aを取得する。
【0206】
次に、この環境情報マップデータ52aと標準マップデータ57aとを合成することで得られるリスクマップデータ58aを図26に示す。
【0207】
ここで、図26(a)は、当該リスクマップデータ58aにおけるリスク値分布の一例として、直線AA’(図8参照)上でのリスク値分布を示している。
【0208】
また、図26(b)は、直線BB’(図8参照)上でのリスク値分布を示している。
【0209】
このリスクマップデータ58aでは、市街地、郊外、高速道路の順でリスク値が大きくなる。
【0210】
また、当該リスク値は、標準マップデータ57aに関する説明にて述べた理由により、小領域110aが原点から離れるほど大きくなり、且つ、直線PP’の下側及び直線QQ’の上側において、急激に大きくなっている。
【0211】
また、フロントガラス上部の領域におけるリスク値は、インストルメント領域におけるリスク値よりも大きくなる。
【0212】
次に、自車両100のルームミラー、ドアミラー、及び窓枠の位置(環境情報)に対応する環境情報マップデータ52aを図27に示す。
【0213】
ここで、図27(a)は、当該環境情報マップデータ52aにおけるリスク差分値分布の一例として、直線AA’(図8参照)上でのリスク差分値分布を示している。また、図27(b)は、直線BB’(図8参照)上でのリスク差分値分布を示している。
【0214】
この環境情報マップデータ52aでは、運転者102がルームミラー領域またはドアミラー領域を視認している場合には、脇見の可能性が小さくなることによりリスク差分値が以下のように設定されている。
【0215】
なお、運転者102がルームミラー領域またはドアミラー領域を視認している場合に脇見の可能性が小さくなるのは、この場合、運転者102は脇見をしているのではなく、自車両100の後方の安全を確認しているためである。
【0216】
即ち、ルームミラー領域、ドアミラー領域、及び窓枠領域以外の小領域110aでは、リスク差分値はゼロとなる。
【0217】
一方、小領域110aがルームミラー領域、またはドアミラー領域である場合には、リスク値を小さくする必要があることから、リスク差分値は負の値を取る。
【0218】
一方、小領域110aが窓枠領域である場合には、リスク差分値は正の値を取る。運転者102が窓枠を視認している場合、この窓枠が運転者102の視界を妨げることとなるからである。
【0219】
なお、環境情報マップ取得部55は、環境情報32に含まれる、ルームミラー、ドアミラー、及び窓枠の位置情報をキーとして、この環境情報マップデータ52aを取得する。
【0220】
次に、この環境情報マップデータ52aと標準マップデータ57aとを合成することで得られるリスクマップデータ58aを図28に示す。
【0221】
ここで、図28(a)は、当該リスクマップデータ58aにおけるリスク値分布の一例として、直線AA’(図8参照)上でのリスク値分布を示している。また、図28(b)は、直線BB’(図8参照)上でのリスク値分布を示している。
【0222】
このリスクマップデータでは、リスク値は、標準マップデータ57aに関する説明にて述べた理由により、小領域110aが原点から離れるほど大きくなり、且つ、直線PP’の下側及び直線QQ’の上側において、急激に大きくなっている。
【0223】
また、ルームミラー領域及びドアミラー領域におけるリスク値は小さく、窓枠領域におけるリスク値は大きくなる。特に、ルームミラー領域及びドアミラー領域におけるリスク値は、インストルメント領域におけるリスク値よりも小さくなる。
【0224】
なお、左側ドアミラー領域、右側ドアミラー領域、ルームミラー領域の順でリスク値が大きくなるが、これは以下の理由による。
【0225】
即ち、運転者102が左側ドアミラー領域を視認する場合、運転者102にとっては、右側ドアミラー領域を視認する場合に比べて、正面方向を視認することが容易でない。
【0226】
また、運転者102が右側ドアミラー領域を視認する場合、運転者102にとっては、ルームミラー領域を視認する場合に比べて、正面方向を視認することが容易でない。
【0227】
したがって、脇見により発生するリスクがこの順で大きくなるからである。
【0228】
また、フロントガラス上部の領域におけるリスク値は、インストルメント領域におけるリスク値よりも大きくなる。
【0229】
次に、自車両100の進行方向前方に先行車両が存在する場合(環境情報)に対応する環境情報マップデータ52aを図29に示す。
【0230】
ここで、図29(a)は、当該環境情報マップデータ52aにおけるリスク差分値分布の一例として、直線AA’(図8参照)上でのリスク差分値分布を示している。また、図29(b)は、直線BB’(図8参照)上でのリスク差分値分布を示している。
【0231】
この環境情報マップデータ52aでは、自車両100が先行車両に近づくほど脇見により生じるリスクが大きくなることにより、リスク差分値が以下のように設定されている。
【0232】
即ち、図9に示すように、標準状態では「先行車両無し」となっているので、先行車両が存在する場合のリスク差分値は正の値を取る。
【0233】
また、自車両100が先行車両に接近している場合のリスク差分値は、自車両100から先行車両までの距離が一定となっている場合のリスク差分値よりも大きな値を取る。
【0234】
なお、環境情報マップ取得部55は、環境情報に含まれる先行車両情報をキーとして、この環境情報マップデータ52aを取得する。
【0235】
次に、この環境情報マップデータ52aと標準マップデータ57aとを合成することで得られるリスクマップデータ58aを図30に示す。
【0236】
ここで、図30(a)は、当該リスクマップデータ58aにおけるリスク値分布の一例として、直線AA’(図8参照)上でのリスク値分布を示している。
【0237】
また、図30(b)は、直線BB’(図8参照)上でのリスク値分布を示している。
【0238】
このリスクマップデータ58aでは、上記理由により、自車両100が先行車両に接近している場合に最もリスク値が大きく、先行車両が存在しない場合にリスク値が最も小さくなる。
【0239】
また、当該リスク値は、標準マップデータ57aに関する説明にて述べた理由により、小領域110aが原点から離れるほど大きくなり、且つ、直線PP’の下側及び直線QQ’の上側において、急激に大きくなっている。
【0240】
また、フロントガラス上部の領域におけるリスク値は、インストルメント領域におけるリスク値よりも大きくなる。
【0241】
次に、自車両100前方の道路形状(場面情報)に対応する場面情報マップデータ53aを図31に示す。
【0242】
ここで、図31(a)は、当該場面情報マップデータ53aにおけるリスク差分値分布の一例として、直線AA’(図8参照)上でのリスク差分値分布を示している。また、図31(b)は、直線BB’(図8参照)上でのリスク差分値分布を示している。
【0243】
この場面情報マップデータ53aでは、リスク差分値が以下のように設定されている。
【0244】
即ち、自車両100前方の道路が直線道路である場合には、標準状態では直線道路となっているため、リスク基準値はゼロとなる。
【0245】
一方、自車両100前方の道路が右カーブである場合には、原点よりも右側の小領域110aでリスク差分値は負の値を取る。これは、以下の理由による。
【0246】
即ち、自車両100がカーブ手前に位置する場合、運転者102にとっては、ハンドルを切る前に安全確認のために右カーブを視認する必要がある。
【0247】
したがって、運転者102は当該右カーブ領域を特に注意して視認する必要があるので、運転者102が当該右カーブ領域を視認している場合には、運転者102が脇見をしていると判定されることを防止する必要がある。
【0248】
そこで、当該右カーブ領域に小さいリスク値を設定する必要があるので、上記のようにリスク差分値を設定した。
【0249】
一方、左カーブが存在する場合、図示は省略するが、リスク差分値分布は上記理由により右カーブが存在する場合と逆になる。
【0250】
なお、この場面情報マップデータ53aでは、図21の場合と異なり、自車両100の進行方向は変わっていないため、原点よりも左側の小領域110aにおけるリスク差分値に変化はない。
【0251】
なお、場面情報マップ取得部56は、車両情報22に含まれる加速度情報(カーブ手前では減速するので、加速度が小さくなる)と、環境情報32に含まれる地図情報とをキーとして、この場面情報マップデータ53aを取得する。
【0252】
次に、この場面情報マップデータ53aと標準マップデータ57aとを合成することで得られるリスクマップデータ58aを図32に示す。
【0253】
ここで、図32(a)は、当該リスクマップデータ58aにおけるリスク値分布の一例として、直線AA’(図8参照)上でのリスク値分布を示している。また、図32(b)は、直線BB’(図8参照)上でのリスク値分布を示している。
【0254】
このリスクマップデータ58aでは、原点よりも右側の小領域110aにおいて、標準状態の場合に比してリスク値が小さくなる。
【0255】
また、当該リスク値は、標準マップデータ57aに関する説明にて述べた理由により、小領域110aが原点から離れるほど大きくなり、且つ、直線PP’の下側及び直線QQ’の上側において、急激に大きくなっている。
【0256】
また、フロントガラス上部の領域におけるリスク値は、インストルメント領域におけるリスク値よりも大きくなる。
【0257】
なお、現実の世界においては、上述した事象が単独で生じる場合よりも、これらの事象が同時に複合して生じる場合の方が多い。
【0258】
したがって、リスクマップ作成部5では、車両情報マップ取得部54、環境情報マップ取得部55、及び場面情報マップ取得部56のうち二つ以上が並行してマップデータを作成し、リスクマップ合成部58に出力する。
【0259】
そして、リスクマップ合成部58は、これら複数のマップデータと、標準マップデータ57aとを合成することで、リスクマップデータ58aを作成する。
【0260】
これにより、複数の事象が同時に複合して生じた場合(例えば、郊外において、自車両100がカーブ手前に位置する場合)でも、この場合に対応するリスクマップデータ58aを作成することができる。
【0261】
次に、図14のステップS5以降の処理について説明する。
【0262】
即ち、図14に示すステップS5にて、図2に示す頻度計測部6は、視方向検出部4が出力した視方向情報45aを取得し、この視方向情報45aに基づいて、脇見時間情報61を作成する。
【0263】
次いで、この作成された脇見時間情報61を脇見判定部7に出力する。
【0264】
次いで、脇見判定部7は、視方向検出部4が出力した視方向情報45a、頻度計測部6が出力した脇見時間情報61、リスクマップ作成部5が出力したリスクマップデータ58aを取得し、以下の処理を行う。
【0265】
即ち、ステップS6にて、図7に示すリスク度取得部71は、視方向情報45a及びリスクマップデータ58aに基づいて、視認可能領域110のうち、運転者102により視認されている領域、即ち視認領域を特定し、さらに、この視認領域に対応するリスク値を取得する。
【0266】
次いで、この取得されたリスク値に関するリスク度情報71aを作成して、リスク時間変換部73に出力する。
【0267】
次いで、リスク時間変換部73は、リスク度取得部71が出力したリスク度情報を取得し、さらに、メモリ72からリスク時間変換表データ72aを取得する。
【0268】
次いで、リスク度情報からリスク値を抽出して、このリスク値に対応する脇見許容時間をリスク時間変換表データ72aから取得する。
【0269】
次いで、この脇見許容時間に関する脇見許容時間情報73aを作成して脇見判断部74に出力する。
【0270】
ここで、当該リスク時間変換表データ72aから取得される脇見許容時間とリスク値との関係は、図33に示す実線グラフのようになる。
【0271】
当該実線グラフが示すように、リスク値が大きくなると、脇見許容時間が短くなる。これは、リスク値が大きい場合には、短時間の視認でも脇見と判定されることを意味する。
【0272】
なお、破線グラフ及び一点鎖線グラフに示すように、同一のリスク値に対応する脇見許容時間を変更しても良い。
【0273】
次いで、図14に示すステップS7にて、脇見判断部74は、当該出力された脇見許容時間情報73aを取得し、この脇見許容時間情報73aと脇見時間情報61とに基づいて、脇見継続時間が脇見許容時間よりも長いかどうかを判定する。
【0274】
この結果、脇見継続時間が脇見許容時間以下である場合には、脇見検出装置1は、ステップS1以降の処理を繰り返して行う。
【0275】
一方、脇見継続時間が脇見許容時間よりも長い場合には、脇見判断部74は、ステップS8にて、運転者102が脇見をしている旨の脇見情報74a(図7参照)を作成して、図2に示す報知信号出力部8に出力する。
【0276】
次いで、ステップS9にて、報知信号出力部8は、当該出力された脇見情報74aを取得し、この脇見情報74aに基づいて、脇見によるリスクが発生した旨の報知信号81を作成する。
【0277】
次いで、当該作成された報知信号81を用いて、自車両100のランプを点滅させたり、運転者102が脇見をしている旨の音声を自車両100のスピーカにて出力する。
【0278】
以上により、本実施の形態では、脇見検出装置1は、自車両100の運転状態に係るデータ、即ち車両情報22及び自車両周辺の環境状態に係るデータ、即ち環境情報32のうち、少なくとも一方の情報に基づいて、運転者102の視方向に応じたリスク値を示すリスクマップデータ58aを作成する。さらに、運転者102の視方向情報45aを取得する(図14に示すステップS3〜S4)。
【0279】
そして、当該取得された視方向情報45aをリスクマップデータ58aに当てはめることにより、運転者102の脇見によるリスク値を算出し、且つ、視方向情報45aに基づいて脇見継続時間を算出する(図14に示すステップS5〜S6)。
【0280】
そして、このリスク値に基づいて脇見許容時間を算出し、脇見継続時間が脇見許容時間に達した際に、運転者が脇見をしている旨の脇見情報を出力する(図14に示すステップS7〜S8)。
【0281】
そして、この脇見情報に基づいて、脇見によるリスクが発生した旨の報知信号81を出力する(図14に示すステップS9)。
【0282】
したがって、脇見検出装置1は、運転者102により視認されている領域、即ち視認領域に応じて、運転者102が脇見をしているかどうかを判定することができる(請求項1〜2記載の発明に対応する効果)。
【0283】
さらに、運転者102の視認領域に応じて、脇見によるリスクの発生を運転者に報知するかどうかを決定することができる(請求項1記載の発明に対応する効果)。
【0284】
また、図13等に示すように、インストルメント領域におけるリスク値は、フロントガラス領域におけるリスク値よりも大きくなる。
【0285】
したがって、インストルメント領域に設定される脇見許容時間は、フロントガラス領域に設定される脇見許容時間よりも短くなる。
【0286】
これにより、脇見検出装置1は、運転者102がインストルメント領域を視認している場合に、運転者102が脇見をしていると迅速に判定することができる。
【0287】
また、ルームミラー領域におけるリスク値はインストルメント領域におけるリスク値よりも小さくなる。
【0288】
したがって、ルームミラー領域に設定される脇見許容時間は、インストルメント領域に設定される脇見許容時間よりも長くなる(図33参照)。
【0289】
これにより、脇見検出装置1は、運転者102が後方確認のためにルームミラーを視認している場合に、運転者102が脇見をしていると判定することを防止することができる(請求項3記載の発明に対応する効果)。
【0290】
また、フロントガラス上部の領域におけるリスク値は、インストルメント領域におけるリスク値よりも大きくなる。
【0291】
したがって、フロントガラスの上部に設定される脇見許容時間は、インストルメント領域に設定される脇見許容時間よりも短くなる。
【0292】
これにより、脇見検出装置1は、運転者102がフロントガラス上部を視認している場合に、運転者102が脇見をしていると迅速に判定することができる(請求項4記載の発明に対応する効果)。
【0293】
また、ドアミラー領域におけるリスク値は、ルームミラー領域におけるリスク値よりも大きくなるが、インストルメント領域におけるリスク値よりも小さくなる。
【0294】
したがって、ドアミラー領域に設定される脇見許容時間は、インストルメント領域に設定される脇見許容時間よりも長くなる。
【0295】
これにより、脇見検出装置1は、運転者102が後方確認のためにドアミラーを視認している場合に、運転者102が脇見をしていると判定することを防止することができる(請求項5記載の発明に対応する効果)。
【0296】
また、リスクマップデータ58aは、図8に示すように、複数の小領域110aに分割されており、この小領域毎に前記リスク値が示されている。
【0297】
したがって、脇見検出装置1は、脇見許容時間を小領域110a毎に細かく設定することができる(請求項6記載の発明に対応する効果)。
【0298】
また、自車両100の運転状態には、自車両の速度及び自車両の操舵角のうち、少なくとも一つが含まれる。
【0299】
したがって、脇見検出装置1は、自車両の速度情報及び自車両の操舵角情報に基づいて、脇見許容時間を設定することができるので、運転者102が脇見をしているかどうかを、これらの情報に基づいて判定することができる(請求項7記載の発明に対応する効果)。
【0300】
具体的には、例えば図20に示すように、自車両の速度に応じたリスクマップデータ58aでは、リスク値が自車両100の速度に比例して大きくなっている。
【0301】
したがって、脇見検出装置1は、自車両100の速度が大きくなるほど、短い脇見許容時間を設定することができる。
【0302】
これにより、脇見検出装置1は、自車両100の速度が大きくなった場合に、運転者102が脇見をしているかどうかを迅速に判定することができる。
【0303】
また、図22に示すように、自車両100の操舵角に応じたリスクマップデータ58aでは、リスク値は、ハンドルが切られた方向における小領域110aで小さくなっている。
【0304】
したがって、脇見検出装置1は、当該小領域110aに長い脇見許容時間を設定することができる。
【0305】
これにより、脇見検出装置1は、運転者102が、安全確認のためにハンドルを切った方向を視認した場合に、運転者102が脇見をしていると判定することを防止することができる。
【0306】
また、当該リスク値は、予め設定されたリスク基準値と、自車両100の運転状態に応じて予め設定されたリスク差分値と、に基づいて設定される。
【0307】
これにより、リスクマップ作成部5は、リスク基準値が設定された後は、リスク差分値のみを変更することで、リスク値を自車両100の運転状態に応じて設定することができる(請求項8記載の発明に対応する効果)。
【0308】
また、自車両周辺の環境状態には、自車両前方の道路形状、自車両走行中の時間帯、自車両の走行場所、自車両のルームミラーの位置、自車両のドアミラーの位置、及び自車両から先行車両までの距離のうち、少なくとも一つが含まれる。
【0309】
したがって、脇見検出装置1は、これらの情報に基づいて、脇見許容時間を設定することができるので、運転者102が脇見をしているかどうかを、これらの情報に基づいて判定することができる(請求項9記載の発明に対応する効果)。
【0310】
具体的には、例えば、図24に示すように、自車両100の走行時間帯に応じたリスクマップデータ58aでは、夜、朝及び夕、昼の順でリスク値が大きくなるので、脇見検出装置1は、この順で脇見許容時間を短く設定することができる。
【0311】
これにより、脇見検出装置1は、例えば自車両100が夜に走行している場合に、短い脇見許容時間を設定することができる。
【0312】
これにより、脇見検出装置1は、自車両100が夜に走行している場合に、運転者102が脇見をしているかどうかを迅速に判定することができる。
【0313】
また、当該リスクマップデータ58aでは、時間帯が夜の場合に、自車両進行方向右側の小領域110aにおけるリスク値が大きくなるので、脇見検出装置1は、当該領域に短い脇見許容時間を設定することができる。
【0314】
これにより、自車両100が夜に走行しており、且つ運転者102が進行方向右側の領域を視認している場合に、脇見検出装置1は、運転者102が脇見をしていると迅速に判定することができる。
【0315】
また、図26に示すように、自車両100の走行場所に応じたリスクマップデータ58aでは、市街、郊外、高速の順でリスク値が大きくなっているので、脇見検出装置1は、この順で脇見許容時間を短く設定することができる。
【0316】
これにより、脇見検出装置1は、例えば自車両100が市街地を走行している場合に、脇見許容時間を短い時間に設定することができる。
【0317】
これにより、脇見検出装置1は、自車両100が市街地を走行している場合に、運転者102が脇見をしているかどうかを迅速に判定することができる。
【0318】
また、図30に示すように、自車両から先行車両までの距離に応じたリスクマップデータ58aでは、自車両100から先行車両までの距離が短くなるほど、リスク値が大きくなる。
【0319】
したがって、脇見検出装置1は、当該距離が短くなるほど、短い脇見許容時間を設定することができる。これにより、当該距離が短くなった場合に、運転者102が脇見をしているかどうかを迅速に判定することができる。
【0320】
また、当該リスク値は、予め設定されたリスク基準値と、自車両周辺の環境状態に応じて予め設定されたリスク差分値と、に基づいて設定される。
【0321】
これにより、リスクマップ作成部5は、リスク基準値が設定された後は、リスク差分値のみを変更することで、リスク値を自車両周辺の環境状態に応じて設定することができる(請求項10記載の発明に対応する効果)。
【0322】
また、リスクマップ作成部5は、自車両100の運転状態及び自車両周辺の環境状態に応じたリスクマップデータ58aを作成することもできる。
【0323】
これにより、脇見検出装置1は、自車両100の運転状態及び自車両周辺の環境状態に応じて脇見許容時間を設定することができるので、運転者102が脇見をしているかどうかをこれらの情報に基づいて判定することができる。
【0324】
具体的には、例えば、図32に示すように、当該リスクマップデータ58aでは、自車両100の進行方向前方にカーブが存在する場合に、当該カーブ領域におけるリスク値が小さくなる。
【0325】
したがって、脇見検出装置1は、当該カーブ領域に長い脇見許容時間を設定することができる。
【0326】
これにより、脇見検出装置1は、運転者102が安全確認のためにカーブ領域を視認した場合に、運転者102が脇見をしていると判定することを防止することができる。
【0327】
また、当該リスク値は、標準状態にて設定されたリスク基準値と、自車両100の運転状態及び自車両周辺の環境状態に応じて設定されたリスク差分値と、に基づいて設定される。
【0328】
これにより、リスクマップ作成部5は、リスク基準値が設定された後は、リスク差分値のみを変更することで、リスク値を自車両100の運転状態及び自車両周辺の環境状態に応じて設定することができる。
【0329】
また、当該リスク値は、自車両100の種類に応じて設定される。これにより、脇見検出装置1は、自車両100の種類に応じて脇見許容時間を設定することができるので、運転者102が脇見をしているかどうかを自車両100の種類に基づいて判定することができる(請求項11記載の発明に対応する効果)。
【0330】
また、リスクマップ作成部5は、視認可能領域110とリスク値とを重畳して示すリスクマップデータ58a(図20等参照)を作成することで、視認可能領域110にリスク値を設定する。
【0331】
したがって、脇見検出装置1は、一つのリスクマップデータ58aから視認領域を検出し、この検出された視認領域に脇見許容時間を設定することができる。言い換えれば、一つのリスクマップデータ58aのみを用いて、視認領域に対応した脇見許容時間を設定することができる。
【0332】
また、リスクマップ作成部5は、車両データ取得部2により作成された車両情報22と、環境データ取得部3により作成された環境情報32と、に基づいてリスク値を設定するが、これら車両データ取得部2及び環境データ取得部3は同時に動作可能となっている(図14のステップS2参照)。
【0333】
これにより、リスクマップ作成部5は、車両情報22及び環境情報32を迅速に取得できるので、リスクマップデータ58aを迅速且つ効率的に作成することができる。
【0334】
また、リスクマップ作成部5は、車両情報マップ取得部54により作成された車両情報マップデータ51a、環境情報マップ取得部55により作成された車両情報マップデータ51a、及び場面情報マップ取得部56により作成された場面情報マップデータ53aを合成することでリスクマップデータ58aを作成する。
【0335】
ここで、車両情報マップ取得部54、環境情報マップ取得部55、及び場面情報マップ取得部56は同時に動作可能となっている(図18のステップS4a参照)。
【0336】
これにより、リスクマップ作成部5は、車両情報マップデータ51a、環境情報マップデータ52a、及び場面情報マップデータ53aを迅速に取得することができるので、リスクマップデータ58aを迅速且つ効率的に作成することができる。
【0337】
また、脇見検出装置1は、視方向検出部4により作成された視方向情報45a及びリスクマップデータ58aに基づいて視認領域を検出するが、視方向検出部4及びリスクマップ作成部5は、同時に動作可能である(図14のステップS3及びステップS4参照)。
【0338】
これにより、脇見検出装置1は、視認領域を迅速に検出することができるので、脇見許容時間を迅速且つ効率的に設定することができる。
【図面の簡単な説明】
【図1】脇見検出装置の構成を示すブロック図である。
【図2】脇見検出装置の構成を示すブロック図である。
【図3】脇見検出装置の構成を示すブロック図である。
【図4】カメラの設置位置を示す概略平面図である。
【図5】カメラの設置位置を示す概略側面図である。
【図6】脇見検出装置の構成を示すブロック図である。
【図7】脇見検出装置の構成を示すブロック図である。
【図8】マップデータの構成を示す説明図である。
【図9】標準状態の一例を示す図表である。
【図10】標準マップデータにおけるリスク基準値分布を示すグラフである。
【図11】標準マップデータにおけるリスク基準値分布を示すグラフである。
【図12】マップデータにおけるリスク値等が急激に変化する境界線を示す説明図である。
【図13】リスクマップデータの概要を示す説明図である。
【図14】脇見検出装置による処理の手順を示すフローチャートである。
【図15】脇見検出装置による処理の手順を示すフローチャートである。
【図16】カメラにより取得される顔画像の一例を示す説明図である。
(a) 運転者が正面を視認している場合の顔画像を示す説明図である。
(b) 運転者が右方向を視認している場合の顔画像を示す説明図である。
【図17】カメラにより取得される顔画像の一例を示す説明図である。
(a) 運転者が正面を視認している場合の顔画像を示す説明図である。
(b) 運転者が下方向を視認している場合の顔画像を示す説明図である。
(c) 運転者が正面を視認している場合の顔画像を示す説明図である。
(d) 運転者が下方向を視認している場合の顔画像を示す説明図である。
【図18】脇見検出装置による処理の手順を示すフローチャートである。
【図19】車両情報マップデータにおけるリスク差分値分布を示すグラフである。
(a)図8に示す直線AA’上でのリスク差分値分布を示すグラフである。
(b)図8に示す直線BB’上でのリスク差分値分布を示すグラフである。
【図20】リスクマップデータにおけるリスク値分布を示すグラフである。
(a)図8に示す直線AA’上でのリスク値分布を示すグラフである。
(b)図8に示す直線BB’上でのリスク値分布を示すグラフである。
【図21】車両情報マップデータにおけるリスク差分値分布を示すグラフである。
(a)図8に示す直線AA’上でのリスク差分値分布を示すグラフである。
(b)図8に示す直線BB’上でのリスク差分値分布を示すグラフである。
【図22】リスクマップデータにおけるリスク値分布を示すグラフである。
(a)図8に示す直線AA’上でのリスク値分布を示すグラフである。
(b)図8に示す直線BB’上でのリスク値分布を示すグラフである。
【図23】環境情報マップデータにおけるリスク差分値分布を示すグラフである。
(a)図8に示す直線AA’上でのリスク差分値分布を示すグラフである。
(b)図8に示す直線BB’上でのリスク差分値分布を示すグラフである。
【図24】リスクマップデータにおけるリスク値分布を示すグラフである。
(a)図8に示す直線AA’上でのリスク値分布を示すグラフである。
(b)図8に示す直線BB’上でのリスク値分布を示すグラフである。
【図25】環境情報マップデータにおけるリスク差分値分布を示すグラフである。
(a)図8に示す直線AA’上でのリスク差分値分布を示すグラフである。
(b)図8に示す直線BB’上でのリスク差分値分布を示すグラフである。
【図26】リスクマップデータにおけるリスク値分布を示すグラフである。
(a)図8に示す直線AA’上でのリスク値分布を示すグラフである。
(b)図8に示す直線BB’上でのリスク値分布を示すグラフである。
【図27】環境情報マップデータにおけるリスク差分値分布を示すグラフである。
(a)図8に示す直線AA’上でのリスク差分値分布を示すグラフである。
(b)図8に示す直線BB’上でのリスク差分値分布を示すグラフである。
【図28】リスクマップデータにおけるリスク値分布を示すグラフである。
(a)図8に示す直線AA’上でのリスク値分布を示すグラフである。
(b)図8に示す直線BB’上でのリスク値分布を示すグラフである。
【図29】環境情報マップデータにおけるリスク差分値分布を示すグラフである。
(a)図8に示す直線AA’上でのリスク差分値分布を示すグラフである。
(b)図8に示す直線BB’上でのリスク差分値分布を示すグラフである。
【図30】リスクマップデータにおけるリスク値分布を示すグラフである。
(a)図8に示す直線AA’上でのリスク値分布を示すグラフである。
(b)図8に示す直線BB’上でのリスク値分布を示すグラフである。
【図31】場面情報マップデータにおけるリスク差分値分布を示すグラフである。
(a)図8に示す直線AA’上でのリスク差分値分布を示すグラフである。
(b)図8に示す直線BB’上でのリスク差分値分布を示すグラフである。
【図32】リスクマップデータにおけるリスク値分布を示すグラフである。
(a)図8に示す直線AA’上でのリスク値分布を示すグラフである。
(b)図8に示す直線BB’上でのリスク値分布を示すグラフである。
【図33】リスク値と脇見許容時間との関係を示すグラフである。
【符号の説明】
1 脇見検出装置
2 車両データ取得部(車両情報作成手段)
3 環境データ取得部(環境情報作成手段)
4 視方向検出部(視方向検出手段)
5 リスクマップ作成部(リスクマップ作成手段)
6 頻度計測部
7 脇見判定部(脇見判定手段)
8 報知信号出力部
54 車両情報マップ取得部(車両情報マップ作成手段)
55 環境情報マップ取得部(環境情報マップ作成手段)
56 場面情報マップ取得部(場面情報マップ作成手段)
100 自車両
102 運転者
110 視認可能領域

Claims (6)

  1. 自車両の運転者が脇見をしているかどうかを判定する脇見検出装置において、
    前記運転者の視方向を検出する視方向検出手段と、
    1日を朝、昼、夕方、夜の時間に分割し、このうち、夜である場合、朝または夕方である場合、昼である場合の3通りの時間帯に応じて、運転者の視方向に応じたリスク度を示すリスクマップを作成するリスクマップ作成手段と、
    前記リスクマップにおける各領域毎に脇見許容時間を設定し、前記視方向検出手段にて検出された前記運転手の視方向データ、及び、現在時刻に基づく前記時間帯を前記リスクマップに当てはめ、脇見継続時間が当該リスクマップにおける前記運転者の視方向となる領域に設定された脇見許容時間に達した際に、運転者が脇見をしている旨の脇見情報を出力する脇見判定手段と、
    を備えたことを特徴とする脇見検出装置。
  2. 請求項1に記載の脇見検出装置において、
    前記リスクマップは、上下方向について、フロントガラスの上部から下部までの領域と、ルームミラー領域と、インストルメント領域と、を含み、
    前記ルームミラー領域に設定される脇見許容時間は、前記インストルメント領域に設定される脇見許容時間よりも長いことを特徴とする脇見検出装置。
  3. 請求項1または2の何れかに記載の脇見検出装置において、
    前記フロントガラスの上部に設定される脇見許容時間は、前記インストルメント領域に設定される脇見許容時間よりも短いことを特徴とする脇見検出装置。
  4. 請求項1〜の何れか1項に記載の脇見検出装置において、
    前記リスクマップは、左右方向について、前記フロントガラスの左端部から右端部までの領域と、左側ドアミラー領域と、右側ドアミラー領域と、を含み、
    これら左側ドアミラー領域及び右側ドアミラー領域に設定される脇見許容時間は、前記ルームミラー領域に設定される脇見許容時間よりも短く、且つ、前記インストルメント領域に設定される脇見許容時間よりも長いことを特徴とする脇見検出装置。
  5. 請求項1〜の何れか1項に記載の脇見検出装置において、前記リスクマップは、複数の小領域に分割されており、この小領域毎に前記リスク度が示されていることを特徴とする脇見検出装置。
  6. 請求項1〜の何れか1項に記載の脇見検出装置において、
    前記リスク度は、自車両の種類に応じて設定されることを特徴とする脇見検出装置。
JP2002283987A 2002-09-27 2002-09-27 脇見検出装置 Expired - Fee Related JP4110902B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002283987A JP4110902B2 (ja) 2002-09-27 2002-09-27 脇見検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002283987A JP4110902B2 (ja) 2002-09-27 2002-09-27 脇見検出装置

Publications (2)

Publication Number Publication Date
JP2004114931A JP2004114931A (ja) 2004-04-15
JP4110902B2 true JP4110902B2 (ja) 2008-07-02

Family

ID=32277692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002283987A Expired - Fee Related JP4110902B2 (ja) 2002-09-27 2002-09-27 脇見検出装置

Country Status (1)

Country Link
JP (1) JP4110902B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007087335A (ja) * 2005-09-26 2007-04-05 Toyota Motor Corp 運転支援装置
JP5311793B2 (ja) 2007-10-16 2013-10-09 トヨタ自動車株式会社 脇見状態判定装置
JP5082834B2 (ja) * 2007-12-27 2012-11-28 オムロン株式会社 脇見検出装置および方法、並びに、プログラム
WO2013034182A1 (en) * 2011-09-08 2013-03-14 Valeo Schalter Und Sensoren Gmbh Method for creating a vehicle surroundings map, driver assistance device, and vehicle having a driver assistance device
JP6224342B2 (ja) * 2013-04-25 2017-11-01 京セラ株式会社 携帯端末装置
CN106274479B (zh) 2015-06-24 2019-06-28 奥迪股份公司 操作机动车辆的方法和确定装置
JP6702291B2 (ja) * 2017-11-15 2020-06-03 オムロン株式会社 脇見判定装置、脇見判定方法及び脇見判定のためのプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2822508B2 (ja) * 1989-11-28 1998-11-11 日産自動車株式会社 運転者の運転状態検出装置
JP3257310B2 (ja) * 1994-12-22 2002-02-18 トヨタ自動車株式会社 漫然運転検出装置
JP3319201B2 (ja) * 1995-02-08 2002-08-26 トヨタ自動車株式会社 脇見運転判定装置
JP4193337B2 (ja) * 2000-07-19 2008-12-10 いすゞ自動車株式会社 覚醒度低下判定装置

Also Published As

Publication number Publication date
JP2004114931A (ja) 2004-04-15

Similar Documents

Publication Publication Date Title
CN107176165B (zh) 车辆的控制装置
EP2544449B1 (en) Vehicle perimeter monitoring device
US20220297717A1 (en) Display device
JP6346614B2 (ja) 情報表示システム
JP3776094B2 (ja) 監視装置、監視方法および監視用プログラム
EP1961613B1 (en) Driving support method and driving support device
US11022795B2 (en) Vehicle display control device
KR100956858B1 (ko) 차량 주변 영상을 이용하는 차선 이탈 감지 방법 및 장치
US20130088578A1 (en) Image processing apparatus and vehicle
US11525694B2 (en) Superimposed-image display device and computer program
JP7163748B2 (ja) 車両用表示制御装置
JP6448714B2 (ja) 情報表示システム
JP4110902B2 (ja) 脇見検出装置
KR100766594B1 (ko) 차량의 차선이탈 조기경보방법
JP3900508B2 (ja) 車両の周囲情報報知装置
JP2003104148A (ja) 車両の制御装置
JP5192009B2 (ja) 車両の周辺監視装置
JP3961269B2 (ja) 障害物警報装置
CN115210099A (zh) 信息处理装置、车辆及信息处理方法
JP2022100852A (ja) 注意喚起装置及び注意喚起方法
JP7185571B2 (ja) 視認方向推定装置、視認方向推定方法、およびプログラム
JP5622820B2 (ja) 視線誘導システム
JP2014071021A (ja) 視線誘導システム
JP2018177132A (ja) 画像表示装置
KR20180060753A (ko) 운전 보조 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070717

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071113

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080331

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110418

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120418

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130418

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130418

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140418

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees