JP2002331850A - 運転行動意図検出装置 - Google Patents

運転行動意図検出装置

Info

Publication number
JP2002331850A
JP2002331850A JP2001136628A JP2001136628A JP2002331850A JP 2002331850 A JP2002331850 A JP 2002331850A JP 2001136628 A JP2001136628 A JP 2001136628A JP 2001136628 A JP2001136628 A JP 2001136628A JP 2002331850 A JP2002331850 A JP 2002331850A
Authority
JP
Japan
Prior art keywords
driving
intention
vehicle
gaze direction
driving behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001136628A
Other languages
English (en)
Inventor
Nobutomo Hisaie
伸友 久家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2001136628A priority Critical patent/JP2002331850A/ja
Publication of JP2002331850A publication Critical patent/JP2002331850A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

(57)【要約】 【課題】運転者の行動意図を確実に検出することができ
る検出性能の優れた運転行動意図検出装置を提供する。 【解決手段】CCDカメラ21と赤外線照射器23とに
よるデータから、画像処理ユニット25で視線方向デー
タE(θu,θv)を算出する。電子制御ユニット31
では、視線方向データE(θu,θv)から視線方向頻
度分布Fを算出する。運転操作量入力部43,車両挙動
データ入力部45および環境情報データ入力部からは、
それぞれ運転操作量、車両挙動データおよび環境情報が
電子制御ユニット31に入力される。また、かくれマル
コフモデルを用いて、運転行動モデルλiのパラメータ
を推定し、これを運転行動パラメータ格納部41に記憶
させる。計測された観測データと、運転行動モデルλi
のパラメータとに基づいて、運転行動意図の推定を行
う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、運転者の視線行動
を用いて運転行動意図を検出する運転行動意図検出装置
に関する。
【0002】
【従来の技術】車両を運転する運転者の視線行動を用い
て運転行動意図を認識する装置として、特開平9−02
0157号公報によるものが開示されている。この運転
行動意図検出装置は、視線方向の頻度分布パターンを作
成し、これを覚醒度が低下したときの分布パターンと比
較することによって、運転者の覚醒度低下を検出するも
のである。また、特開平8−178712号公報に開示
されている運転行動意図検出装置においては、視線検出
範囲を複数の領域に分割し、かつ分割領域における視線
の検出頻度をカウントして比較することにより、漫然運
転か否かを判定する。
【0003】
【発明が解決しようとする課題】しかしながら、上述し
たような従来装置では、特定の領域での視線の停留頻度
または領域間の停留頻度の比率から漫然運転かどうかを
判定しているため、集中的に特定の方向に注意を配分し
て運転している場合と漫然運転とを認識することが困難
である。例えば、運転に集中した状態で先行車に追従し
ている場合、運転者の注意は集中的に前方へ配分され、
漫然運転でなくても前方への視線の停留頻度は高くな
り、漫然運転をしていると判断してしまう。また、交通
量が少なく、側方や後方にあまり注意を配分しなくても
充分安全に走行できるような交通環境においても、前方
への視線の停留頻度は高くなる。したがって、前方方向
への視線停留頻度分布からだけでは、集中して運転して
いる場合と漫然運転とを認識することは困難である、と
いう問題点があった。
【0004】本発明は、運転者の行動意図を確実に検出
することができる検出性能の優れた運転行動意図検出装
置を提供することを目的とする。
【0005】
【課題を解決するための手段】一実施の形態を示す以下
の図に対応づけて本発明を説明する。 (1)図1において、請求項1に記載された運転行動意
図検出装置は、車両固定投影平面における運転者の視線
方向を検出する視線方向検出手段1と、視線方向検出手
段1で検出された視線方向の、所定時間範囲の視線方向
データを用いて、複数に分割された領域間での視線方向
の遷移頻度に関する分布を算出する視線方向頻度分布算
出手段3と、視線方向頻度分布算出手段3で算出された
視線方向頻度分布に基づいて運転行動意図を推定する運
転行動意図推定手段11とを有することにより上述した
目的を達成する。 (2)図1より、請求項2の発明は、請求項1の運転行
動意図検出装置において、視線方向頻度分布算出手段3
で算出される視線方向頻度分布は、領域間での視線方向
の遷移頻度に加えて、同一の領域における視線方向の停
留頻度も加味して算出することを特徴とする。 (3)図1より、請求項3の発明は、請求項1または請
求項2に記載の運転行動意図検出装置において、運転行
動意図推定手段11における運転行動意図の推定は、検
出対象とする複数の運転行動パターンでの、運転者の視
線方向頻度分布に関する統計的特徴に基づいて行うこと
を特徴とする。 (4)図1より、請求項4の発明は、請求項1から請求
項3のいずれかに記載の運転行動意図検出装置におい
て、運転行動意図推定手段11における運転行動意図の
推定は、かくれマルコフモデルを用いてあらかじめ算出
した、検出対象とする複数の運転行動パターンに関する
パラメータと、視線方向頻度分布とに基づいて行うこと
を特徴とする。 (5)図15より、請求項5の発明は、請求項4の運転
行動意図検出装置において、かくれマルコフモデルを用
いて算出したパラメータを変更するパラメータ変更手段
4をさらに有し、運転行動意図推定手段11における運
転行動意図の推定は、パラメータ変更手段4で変更され
たパラメータと視線方向頻度分布とに基づいて行うこと
を特徴とする。 (6)図1より、請求項6の発明は、請求項1から請求
項5のいずれかに記載の運転行動意図検出装置におい
て、運転行動意図推定手段11で推定される運転行動意
図は、わき見運転、漫然運転、車線変更、制動開始、通
常運転の少なくともいずれかであることを特徴とする。 (7)図1により、請求項7の発明は、請求項1から請
求項6のいずれかに記載の運転行動意図検出装置におい
て、先行車への接近度合または隣接車線の車両との距離
等の自車両周囲の環境情報を計測する環境情報計測手段
5と、自車両の横方向または前後方向の加速度あるいは
ヨーレート等の自車両挙動データを計測する自車両挙動
データ計測手段7と、アクセルペダル操作量やブレーキ
ペダル操作量、操舵角等の運転操作量を計測する運転操
作量計測手段9とのうち少なくともいずれかを有し、少
なくとも前記環境情報計測手段5が設けられたときは環
境情報計測手段5で計測された環境情報を、少なくとも
自車両挙動データ計測手段7が設けられたときは自車両
挙動データ計測手段7で計測された自車両挙動データ
を、少なくとも運転操作量計測手段9が設けられたとき
は運転操作量計測手段9で計測された運転操作量を、視
線方向頻度分布とともに用いて運転行動意図推定手段1
1における運転行動意図の推定を行うことを特徴とす
る。 (8)図7および図8より、請求項8の発明は、請求項
1から請求項7のいずれかに記載の運転行動意図検出装
置において、撮像素子231を用いて撮像された自車両
前方画像に二値化等の画像処理を行って検出される走行
車線マーカ間における自車両の横方向偏位量を算出する
自車両横偏位量算出手段201と、車室内に設置され、
警報を発生する警報発生手段205とを有し、自車両横
偏位量算出手段201で算出された横方向偏位量が所定
値以上の場合において、運転行動意図推定手段11で、
運転者の意図が車線変更であると推定されない場合に
は、警報発生手段205による警報の発生を行うことを
特徴とする。 (9)図7および図8より、請求項9の発明は、請求項
8の運転行動意図検出装置において、運転者のステアリ
ング操舵量を検出する操舵量検出手段207と、自車両
横偏位量算出手段201で算出された車線内の自車両横
偏位量と操舵量検出手段207で検出される操舵量とに
応じて、モータ出力指令値を算出して出力するモータ制
御手段209と、モータ制御手段209から出力される
モータ出力指令値に応じた操舵トルクを操舵装置に選択
的に付加する操舵トルク付与手段211とをさらに有
し、算出された横方向偏位量が所定値以上の場合におい
て、運転行動意図推定手段11で、運転者の意図が車線
変更であると推定されない場合には、警報発生手段20
5による警報の発生または操舵トルク付与手段211に
よる操舵出力を行うことを特徴とする。 (10)図11より、請求項10の発明は、請求項1か
ら請求項7のいずれかに記載の運転行動意図検出装置に
おいて、自車線前方を走行する先行車への接近度合を計
測する先行車接近度合計測手段301と、車室内に設置
され、警報を発生する警報発生手段305とを有し、計
測された先行車接近度合が所定値以上であって、運転行
動意図推定手段11で、運転者の意図が制動開始である
と推定されない場合には、警報発生手段205による警
報の発生を行うことを特徴とする。 (11)図11より、請求項11の発明は、請求項8ま
たは請求項9に記載の運転行動意図検出装置において、
自車線前方を走行する先行車への接近度合を計測する先
行車接近度合計測手段301をさらに有し、計測された
先行車接近度合が所定値以上であって、運転行動意図推
定手段11で、運転者の意図が制動開始であると推定さ
れない場合には、警報発生手段305による警報の発生
を行うことを特徴とする。
【0006】なお、本発明の構成を説明する、上記課題
を解決するための手段の項では、本発明をわかりやすく
説明するために実施の形態の図を用いたが、これにより
本発明が実施の形態に限定されるものではない。
【0007】
【発明の効果】本発明によれば、以下のような効果を奏
することができる。 (1)請求項1の発明によれば、運転者の視線方向を検
出する視線方向検出手段と、複数に分割された領域間で
の視線方向の遷移頻度に関する分布を算出する視線方向
遷移頻度算出手段とを有し、算出された視線方向頻度分
布に基づいて運転行動意図を推定するので、漫然状態で
あるかを含めた運転者の運転行動意図を確実に検出する
ことができる。 (2)請求項2の発明によれば、視線方向遷移頻度算出
手段で算出される視線方向頻度分布は、領域間での視線
方向の遷移頻度に加えて同一の領域における視線方向の
停留頻度も加味して算出するので、漫然状態であるかを
含めた運転者の運転行動意図を確実に検出することがで
きる。 (3)請求項3の発明によれば、検出対象とする複数の
運転行動パターンでの、運転者の視線方向頻度分布に関
する統計的特徴に基づいて運転行動意図の推定を行うの
で、漫然状態であるかを含めた運転者の運転行動意図を
確実に検出することができる。 (4)請求項4の発明によれば、時系列データのパター
ン認識に優れたかくれマルコフモデルを用いてあらかじ
め算出した、検出対象とする運転行動パターンに関する
パラメータと、視線方向頻度分布とに基づいて運転行動
意図の推定を行うので、より確実な運転行動意図の検出
が可能である。 (5)請求項5の発明によれば、かくれマルコフモデル
を用いて算出した運転行動パターンに関するパラメータ
を変更するので、個々の運転者に対応した運転行動意図
検出装置を提供することができる。 (6)請求項6の発明によれば、検出対象とする運転行
動意図は、わき見運転、漫然運転、車線変更、制動開
始、通常運転の少なくともいずれかであるので、運転者
のさまざまな運転状況に対応した運転行動意図の検出が
可能である。 (7)請求項7の発明によれば、自車両周辺の環境情報
と自車両挙動データと運転操作量のうち少なくともいず
れか、および視線方向頻度分布とに基づいて運転行動意
図の推定を行うので、車両走行状況に対応した検出精度
の高い運転行動意図検出装置を提供することができる。 (8)請求項8および請求項9の発明によれば、走行車
線マーカ間における自車両の横方向偏位量と、操舵量を
検出し、横方向偏位量が所定値以上の場合において、車
線変更の意図が検出されない場合には、警報の発生また
は操舵トルク付与を行う運転支援機能をさらに備えてい
るので、上述したような効果に加えて、自車両が車線逸
脱しそうな状況において、運転者の行動意図に対応した
的確な運転支援機能を提供することができる。 (9)請求項10および請求項11の発明によれば、先
行車への接近度合を検出し、検出された先行車接近度合
が所定値以上で制動開始の意図が検出されない場合に
は、警報を発生させ、先行車への接近を確実に運転者に
知らせることができる。
【0008】
【発明の実施の形態】《第1の実施の形態》本発明によ
る運転行動意図検出装置の第1の実施の形態の概略構成
を図1に示す。この運転行動意図検出装置は、視線方向
検出手段1、視線方向頻度分布算出手段3、環境情報計
測手段5、車両挙動データ計測手段7、運転操作量計測
手段9、運転行動意図推定手段11とから構成される。
【0009】図2に、この運転行動意図検出装置の機能
構成のブロック図を示す。運転者の眼球を含む顔画像を
撮像するCCDカメラ21と、赤外線光を運転者顔面に
照射する赤外線照射器23は、車室内運転者前方のメー
タクラスタ等に固定設置される(図17)。CCDカメ
ラ21によって撮像された画像データおよび赤外線照射
器23によるデータは画像処理ユニット25へ入力さ
れ、瞳孔中心・角膜反射点検出部27で、運転者の瞳孔
中心および角膜反射点を検出する。
【0010】これらの検出結果を用いて、視線方向検出
部29で視線方向E(θu,θv)を求める。この視線
方向E(θu,θv)は、基準アイポイントP0を原点
とする角度系座標値で表される。算出方法については後
述する。
【0011】検出された視線方向データE(θu,θ
v)は、電子制御ユニット31へ送信される。視線方向
領域判定部33では、受信した視線方向データE(θ
u,θv)が複数に分割された領域Dのどれに存在する
かを判定する。領域Dを設定するには、図3に示すよう
に、車両固定投影平面を複数の矩形領域に分割する方法
や、図4に示すように、ミラーやメータなど特定の領域
を定義する方法がある。
【0012】図4のように領域Dを設定すると、抽出し
たい領域が隣接していない場合があるが、設定領域外に
視線方向E(θu,θv)が存在する場合には、運転者
の視線が領域間を遷移していると取り扱う。領域間の遷
移は、視線方向データE(θu,θv)を一定時間視線
方向頻度分布算出手段3内のバッファに保持し、直近の
抽出領域内に存在するデータと最新の抽出領域内に存在
するデータとから検出される。
【0013】設定領域Dの車両固定投影面上の範囲は、
視線方向領域マップ格納部35に記憶される。この範囲
は、領域Dの要素であるn個の領域di{D∋di;i
=1,…,n}の角度データによるマップとして設定さ
れている。例えば、図4中の領域d1を設定するために
必要な4点は、d1_p1(d1_p1_u,d1_p
1_v)、d1_p2(d1_p2_u,d1_p2_
v)、d1_p3(d1_p3_u,d1_p3_
v)、d1_p4(d1_p4_u,d1_p4_v)
のように表される。これらのデータは、電子制御ユニッ
ト31起動時にロードされ、視線方向領域マップDmと
してメモリ上に常駐する。
【0014】視線方向領域判定部33で該当領域diを
判定された視線方向データEは、視線方向頻度分布行列
の要素e(dij)として扱われる。ここで、dijは
視線方向領域jから視線方向領域iへの遷移を示す。視
線方向頻度分布算出部37では、視線方向データe(d
ij)から,視線方向頻度分布Fを算出する。
【0015】運転行動意図推定部39には、視線方向頻
度分布算出部37から視線方向頻度分布F、運転操作量
入力部43から運転操作量、車両挙動データ入力部45
から車両挙動データおよび環境情報データ入力部47か
ら環境情報がそれぞれ入力される。これらの観測データ
の任意の組み合わせを用いて、運転行動意図の推定を行
う。認識対象とする運転行動パターンとして、例えばわ
き見、漫然運転(意図は車線維持だが、意図を遂行する
ことが困難と推測される状態)、車線変更、制動開始、
通常の車線維持が設定される。
【0016】それぞれの運転行動パターンに関する観測
データの時系列変化パターンの統計的特徴を運転行動モ
デルλi{i=1,...,k}として学習しておき、
観測ベクトルOが運転行動モデルλiから出力されたと
する尤度P(O|λi)を、事後確率として算出する。
算出された尤度Pが最も高い運転行動パターンが運転者
の運転行動意図であるとして認識される。あらかじめ学
習された運転行動モデルλiに関するパラメータは、運
転行動パラメータ格納部41に記憶され、電子制御ユニ
ット31起動時に読み出される。推定結果は、推定運転
行動意図出力部49に出力される。
【0017】ここで、瞳孔中心・角膜反射点検出部27
で、運転者の視線方向E(θu,θv)を算出する方法
を説明する。検出された瞳孔中心および角膜反射点の2
点の画像上の座標位置関係から、視線方向として、車両
前方方向を向いたときの2次元の車両固定投影面角度座
標系における水平方向角度θu、および垂直方向角度θ
vを算出する。ここで、図3に示すように、車両固定投
影面角度座標系は、基準アイポイントP0を原点とし、
x軸を水平方向角度θu、y軸を垂直方向角度θvとす
る。
【0018】上記角膜反射法および画像処理による視線
計測手法では、角膜上に生じる反射点を利用することに
よって頭部移動の補正を行うことができる。この手法
は、「Behavior Research Meth
ods&Instrumentation 1975,
397−429,Survey of eye mov
ement recording methods」等
に開示されている手法を用いる。車両固定投影面距離座
標系における基準アイポイントP0と頭部移動補正後の
アイポイントP1を考慮した、水平方向距離LPuと垂
直方向距離LPvとから、運転者の視線方向E(θu,
θv)は以下の(式1)で示される。
【数1】 θu=Ku×LPu θv=Kv×LPv (式1) ここで,Ku、Kvは車両固定投影面距離座標系を角度
座標系へ変換するための、水平方向距離LPu、垂直方
向距離LPvにそれぞれかかる係数である。
【0019】つぎに、運転行動意図推定部39において
運転行動意図を推定するために用いる観測ベクトルOに
ついて説明する。観測ベクトルOは、前述した観測デー
タ、すなわち、視線方向頻度分布F、運転操作量、車両
挙動データおよび環境情報から算出される。視線方向頻
度分布Fとして、直前の所定時間区間長の時間窓TW1
における、視線方向領域di間の遷移、あるいは領域d
i間の遷移と同一領域diにおける停留に関する頻度、
または総フレーム数における存在割合に関する分布を用
いる。この分布Fは、分割する領域数をn個とすると、
n×nの視線方向頻度分布行列として表現できる。行列
の要素e(dij)において、i=jは停留、i≠jは
遷移を示す。
【0020】運転操作量としては、アクセルペダル開度
センサで計測されるアクセルペダル開度(アクセルペダ
ル操作量)、踏力計で計測されるブレーキ踏力(ブレー
キペダル操作量)、操舵角センサで計測される操舵角等
を用いる。車両挙動データとしては、車速センサで計測
される自車速度、加速度センサで計測される前後方向・
横方向の加速度、レイトジャイロで計測されるヨーレイ
ト等を用いる。また、環境情報としては、隣接車線の車
両への距離や、車両前方に設置したレーザレーダやミリ
波レーダで計測された車間距離、車間時間(車間距離/
自車速度)、TTC(車間距離/相対車速)またはTT
Cの逆数(TTC-1)などの先行車接近度合を使用する
ことができる。
【0021】そして、これらの観測データの時系列デー
タに基づいて観測ベクトルOを算出する。この観測ベク
トルOは、分割された視線方向領域diがn個、環境情
報がbn_env種類、車両挙動データがbn_veh
種類、運転操作量がbn_ope種類とすると、最大n
×n+bn_env+bn_veh+bn_ope次元
の正規化ベクトルとして表現される。
【0022】以下、運転行動意図推定部39における運
転行動意図の推定について説明する。本発明による運転
行動意図検出装置においては、認識対象とする運転行動
パターンでの、視線方向頻度分布Fなどの観測データに
関する統計的特徴に基づいて運転行動意図の推定を行
う。例えば、時系列データのパターン認識手法に優れる
かくれマルコフモデルを使用することができる。かくれ
マルコフモデルを用いて認識を行うためには、まず認識
対象とする運転行動パターンのモデルλi≡(πi,A
i,Bi)のパラメータを学習しておく必要がある。こ
こで、πiは初期存在確率,Aiは状態間遷移確率,B
iは出力確率をそれぞれ示す。図5は、かくれマルコフ
モデルの構造を示し、ひとつの運転行動モデルλiを表
す状態S1〜S3が、時間の推移に伴って変位していく
様子を示している。
【0023】かくれマルコフモデルのパラメータ推定に
は、一般的にBaum−Welchアルゴリズムが用い
られる。なお、Baum−Welchアルゴリズム、お
よび後述するForward−Backwardアルゴ
リズムは、例えば文献『X.D.Huang,Y.Ar
iki and M.A.Jack. HiddenM
arkov Models for Speech R
ecognition.Edinburgh Univ
ersity Press,Edinburgh 19
90』で開示された手法を適用している。
【0024】かくれマルコフモデルのパラメータの推定
は、事前にコンピュータを用いてオフラインで実施す
る。まず、モデル設計として、認識対象とする運転行動
パターンのカテゴリ、観測ベクトルOとして用いるデー
タ種類の設定、モデル状態数および状態間遷移の定義、
観測ベクトル出力確率を得るための確率密度分布に関す
るモデル構造を決定する。例えば、認識対象とする運転
行動パターンのカテゴリは、わき見,漫然運転,車線変
更,制動開始,通常の車線維持(通常運転)の5種類を
設定する。モデル構造は、図5に示す後ろ向き状態間遷
移および状態間スキップのない状態数3のLeft−t
o−Forward型、観測ベクトル出力確率分布は単
一ガウス分布とする。
【0025】さらに、観測ベクトルOとして用いるデー
タ種類は、視線方向頻度分布F、環境情報、車両挙動デ
ータ、運転操作量を使用する。例えば図4に示した正面
前方d1,隣接車線d2,ルームミラーd3,左ドアミ
ラーd4,右ドアミラーd5,メータクラスタd6,セ
ンタークラスタd7の7種類の視認対象領域での注視・
遷移頻度分布行列の各要素47次元を設定する。さらに
先行車への接近度合TTC-1、前後加速度、横加速度、
ヨーレイト、操舵角、アクセルレート、ブレーキ踏力を
加え、データ種類は合計56次元を設定する。
【0026】認識対象とする各運転行動パターンに関す
る観測データは、該当シーンごとに実験走行を行い、別
途用意しておく。これらのデータをパラメータ推定用コ
ンピュータにロードし、コンピュータ上でBaum−W
elchアルゴリズムを実装した開発プログラムを用い
て推定を行う。かくれマルコフモデルλiのパラメータ
である、初期存在確率π、状態間遷移確率Ai、出力確
率Biを各認識対象パターンに対して、それぞれの学習
係数μが収束するまで推定を繰り返す。Baum−We
lchアルゴリズムによる、かくれマルコフモデルλi
のパラメータの推定が完了すると、推定されたパラメー
タは運転行動パラメータ格納部41に記憶される。
【0027】運転行動意図推定部39で、入力された観
測データから観測ベクトルOを算出し、これと学習され
たかくれマルコフモデルλiのパラメータとに基づいて
運転行動意図を推定する。まず、前述した5種類の運転
行動パターンi(i=1,...,k:k=5)のそれ
ぞれについて、観測ベクトルOが運転行動モデルλiか
ら出力されたとする事後確率(尤度)Pi(O|λi)
を算出する。この算出方法としては、かくれマルコフモ
デルの一般的な出力確率算出アルゴリズムであるFor
ward−Backwardアルゴリズム等を使用す
る。そして、N−best法により、算出された尤度が
最も高い運転行動パターンiを推定結果として採用す
る。つまり、漫然運転のモデルから観測ベクトルOが出
力されたとする事後確率Pが最も高い場合は、漫然運転
の運転行動パターンが推定結果として採用される。同様
にして、通常の車線維持のモデルから出力されたとする
事後確率Pが最も高い場合は、通常の車線維持の運転行
動パターンが推定結果となる。
【0028】以上説明した手法で運転行動意図を推定す
るための、電子処理ユニット31における制御処理手順
を、図6のフローチャートに示す。この制御処理は、所
定のメインプログラムに対する所定時間(例えば100
msec)毎のタイマ割り込み処理として実行する。
【0029】ステップS101で、視線方向領域マップ
格納部35に記憶された視線方向領域マップデータDm
をロードする。ステップS103では、尤度算出用にあ
らかじめ学習された運転行動モデルλiのパラメータを
運転行動パラメータ格納部41からロードする。ステッ
プS105で、画像処理ユニット25において算出され
た視線方向データEを入力する。ステップS107で
は、入力された視線方向データEが、複数に分割された
視線方向領域Dの要素のどこに存在するか、つまり、視
線方向データEの該当領域diを判定する。
【0030】つづくステップS109で、所定時間区間
長TWL1における視線方向頻度分布Fを算出する。ス
テップS111では、運転行動意図の推定に使用する、
環境情報、車両挙動データ、運転操作量などの所定時間
区間長TWL2のデータを入力する。ステップS113
では、ステップ109およびステップS111で入力さ
れた観測データの時系列データに基づいて観測ベクトル
Oを算出する。
【0031】ステップS115で、運転行動モデルλi
のパラメータを用いて、算出された観測ベクトルOがそ
れぞれの運転行動モデルλiから出力されたとする事後
確率(尤度)Pi(O|λi)を算出する。ステップS
117では、算出された尤度Pi(O|λi)が最も高
い運転行動パターンiを推定する。ステップS119
で,推定された運転行動パターンi(MaxPi(O|
λi))を、推定結果として推定運動行動意図出力部4
9に出力し、この処理を終了する。
【0032】以上述べたように,第1の実施の形態によ
る運転行動意図検出装置では、運転者の視線方向E(θ
u,θv)を検出し、その視線方向が存在する該当領域
diを判定した。また、視線方向Eの領域diにおける
停留頻度や領域間遷移に関する頻度分布を算出し、これ
と先行車接近度合などの観測データとに基づいて構成さ
れる複数の時系列変動パターンのモデル表現と認識とが
可能な確率統計的手法を用いて、運転行動意図を検出す
るようにした。その結果、注視頻度や運転操作量などの
個々のパラメータの要約統計量では判別が困難であった
通常運転と漫然状態の判別、推定を行うことができ、運
転者の行動意図を確実に検出することができる。また、
かくれマルコフモデルを使用したので、時系列データの
パターン認識に優れた運転行動意図の推定が可能となっ
た。
【0033】《第2の実施の形態》本発明による運転行
動意図検出装置の第2の実施の形態においては、自車両
の走行車線内の横方向偏位量を算出し、これと第1の実
施の形態における運転行動意図の推定結果との両者を考
慮して運転者の状況に応じた適切な運転支援機能を提供
する。
【0034】図7に、第2の実施の形態の概略構成を示
す。第1の実施の形態に対して、自車両横偏位量算出手
段201,横方向運転支援判断手段203,警報発生手
段205,操舵量検出手段207,モータ制御手段20
9および操舵トルク付与手段211を追加したものであ
る。ここでは、第1の実施の形態との相違点を主に説明
する。
【0035】図8に、第2の実施の形態の機能構成を示
す。図2に示す第1の実施の形態に対して、前方風景撮
影用CCDカメラ231(撮像素子),横偏位量算出部
235を有する前方風景撮影CCDカメラ用画像処理ユ
ニット233,横方向運転支援判断部237,スピーカ
239,ステアリングコントローラ241およびステア
リング243を追加したものである。横方向運転支援判
断部237は電子制御ユニット31上に実装される。
【0036】前方風景撮影用CCDカメラ231は、図
16に示すように車室内フロントウィンドウ上部等に設
置され、自車両前方風景を撮像する。撮像された画像
は、前方風景撮影CCDカメラ用画像処理ユニット23
3に送信される。画像処理ユニット233では、この画
像に二値化等の処理を行って走行中の車線両端のレーン
マーカを検出するとともに、横偏位量算出部235で、
走行中の車線内中央から横方向への偏位量xdivを算
出する。車線内横偏位量xdiv、操舵角センサ71で
計測されたステアリング243の操舵角(操舵量)に基
づいて,ステアリングコントローラ241は、目標操舵
角が得られるように目標操舵力指令値を計算してモータ
73を駆動させ、スピーカ329(警報発生手段)は,
警報音を発生させる。
【0037】走行車線内の横方向偏位量xdivに応じ
て、操舵系に組み込んだモータを介して操舵トルクを付
与しての、運転者の運転を支援する技術に関しては、例
えば特開平7−104850号公報の技術を適用してい
る。
【0038】第2の実施の形態おける、電子制御ユニッ
ト31での制御処理手順を図9および図10のフローチ
ャートを用いて説明する。図9中のステップS101〜
S119は、図6に示した第1の実施の形態の処理手順
と同一である。ステップS251以降は第2の実施の形
態独自の処理であり、推定された運転行動意図に基づい
て横方向に関する運転をアシストするかどうかを判断す
る処理手順を示している。
【0039】ステップS251で車線内の自車両横方向
偏位量xdivを入力する。ステップS253では、ス
テップS119で出力された運転行動意図の推定結果に
基づき、推定結果がわき見または漫然運転のいずれかで
あるかを判定する。ステップS253が肯定判定される
と、図10(a)に示したステップS255へ進む。ス
テップS255では、横方向偏位量xdivの絶対値|
xdiv|と、あらかじめ定めたしきい値xdiv1a
の絶対値|xdiv1a|とを比較する。ここで、横方
向偏位量の絶対値|xdiv|と、しきい値の絶対値|
xdiv1a|を用いているため、自車両が走行中の車
線中央から右側および左側のどちらに偏位した場合でも
対応できる。
【0040】ステップS255で、横方向偏位量の絶対
値|xdiv|がしきい値の絶対値|xdiv1a|よ
りも大きいと肯定判定され、自車両が車線端に接近して
いる場合には,ステップS257へ進む。ステップS2
57では、車線逸脱を防止するため、モータ73による
ステアリング243への操舵トルク付与を行い、運転者
への操舵アシストを実行する。一方、ステップS255
で、横方向偏位量の絶対値|xdiv|がしきい値の絶
対値|xdiv1a|よりも小さいと判定されると、ス
テップS259へ進む。
【0041】ステップS259では、横方向偏位量xd
ivの絶対値|xdiv|と、あらかじめ定めたしきい
値xdiv2aの絶対値|xdiv2a|とを比較す
る。ステップS259で横方向偏位量の絶対値|xdi
v|がしきい値の絶対値|xdiv2a|よりも大き
く、車線逸脱する可能性があると判断されると、ステッ
プS261へ進み、車線逸脱警報を発令する。一方、ス
テップS259で横方向偏位量の絶対値|xdiv|が
しきい値の絶対値|xdiv2a|よりも小さいと判定
されると、直近時間での車両の車線逸脱の可能性は比較
的小さいと判断して、ステップS263へ進んでわき見
・漫然運転警報を発令する。
【0042】一方、ステップS253で、推定結果がわ
き見でも漫然運転でもないと否定判定されると、ステッ
プS265へ進む。ここで推定結果が車線維持と判定さ
れた場合には、図10(b)に示したステップS267
へ進み、横方向偏位量xdivの絶対値|xdiv|
と、あらかじめ定めたしきい値xdiv1bの絶対値|
xdiv1b|とを比較する。ステップS267で、横
方向偏位量の絶対値|xdiv|がしきい値の絶対値|
xdiv1b|よりも大きいと肯定判定されると、ステ
ップS269へ進み、運転者への操舵アシストを実行す
る。一方、横方向偏位量の絶対値|xdiv|がしきい
値の絶対値|xdiv1b|よりも小さいと判定される
と、ステップS271へ進み車線逸脱警報を発令する。
ステップS253とステップS265がともに否定判定
されると、自発的な車線変更の意図があると判断し、運
転支援機能の提供は行わない。
【0043】以上説明したように、第2の実施の形態で
は、運転行動意図の推定結果と車線内の横方向偏位量x
divとに基づいて運転者への運転支援機能を提供する
ので、自車両が車線を逸脱する可能性が高いかどうかを
確実に判断し、それに対応した運転支援機能を提供する
ことができる。
【0044】《第3の実施の形態》本発明における運転
行動意図検出装置の第3の実施の形態について説明す
る。第3の実施の形態においては、先行車への接近度合
を算出し、これと第1の実施の形態における運転行動意
図の推定結果との両者を考慮して、運転者の状況に応じ
た適切な運転支援機能を提供する。
【0045】図11に、第3の実施の形態の概略構成を
示す。第1の実施の形態に対して、先行車への接近度合
算出手段301,前後方向運転支援判断手段303,警
報発生手段305を追加したものである。ここでは、第
1の実施の形態との相違点を主に説明する。
【0046】図12に、第3の実施の形態の機能構成を
示す。レーダ311は、例えばレーザレーダやミリ波レ
ーダを使用して先行車までの車間距離、相対車速を計測
する。車速センサ313は、自車両の車速を計測する。
これらの検出結果は、先行車接近度合算出用処理ユニッ
ト315の先行車接近度合算出部317に入力され、先
行車接近度合dpが算出される。先行車接近度合として
は、例えば車間時間、TTC(車間時間/相対車速)ま
たはTTCの逆数(TTC-1)のいずれかを用いること
ができる。
【0047】第3の実施の形態おける、電子制御ユニッ
ト31での制御処理手順を図13および図14のフロー
チャートを用いて説明する。図13中のステップS10
1〜S119は、図5に示した第1の実施の形態の処理
手順と同一である。ステップS351以降は第3の実施
の形態独自の処理であり、推定された運転行動意図に基
づいて前後方向に関する運転をアシストするかどうかを
判断する処理手順を示している。
【0048】ステップS351で先行車への接近度合d
p、例えばTTC-1を入力する。ステップS353で
は、ステップS119で出力された運転行動意図の推定
結果に基づき、推定結果がわき見または漫然運転のいず
れかであるかを判定する。ステップS353が肯定判定
されると、図14(a)に示したステップS355へ進
む。ステップS355では、先行車への接近度合dp
と、あらかじめ定めたしきい値dp1aとを比較する。
ここで、先行車への接近度合dpがしきい値dp1aよ
りも大きいと肯定判定されると、ステップS357へ進
み、運転者に先行車への接近を回避するための動作が必
要であることを知らせる接近警報を発令する。
【0049】一方、ステップS355で、先行車への接
近度合dpがしきい値dp1aよりも小さいと判定され
ると、ステップS359へ進む。ここで、先行車への接
近度合dpがあらかじめ定めたしきい値dp2aよりも
大きい、つまり、先行車への接近度合dpがしきい値d
p2a以上、しきい値dp1a以下と判定されると、ス
テップS361へ進む。そして、運転者に前方への注意
が必要であることを知らせる、わき見・漫然運転警報を
発令する。ステップS359が否定判定された場合に
は、運転者への運転アシストは行わない。
【0050】一方、ステップS353が否定判定され、
ステップS363で推定結果が車線維持であると判定さ
れると、図14(b)に示したステップS365へ進
む。ステップS365では、先行車への接近度合dpと
あらかじめ定めたしきい値dp1bとを比較する。ここ
で、先行車への接近度合dpがしきい値dp1bよりも
大きいと肯定判定されると、ステップS367へ進み、
運転者に先行車への接近警報を与える。また、ステップ
S365が否定判定されると、運転者への運転アシスト
は行わない。ステップS353とステップS363とが
いずれも否定判定されると、運転者に自発的な車線変更
の意図があると判断して、運転支援機能の提供は行わな
い。
【0051】以上説明したように、第3の実施の形態で
は、運転行動意図の推定結果と先行車への接近度合dp
とに基づいて運転者への運転支援機能を提供するので、
自車両が先行車へ接近しているかどうかを確実に判断
し、それに対応した運転支援機能を提供することができ
る。また、運転行動意図の推定結果が制動開始でない場
合に、運転支援機能を提供することができる。
【0052】《第4の実施の形態》上記第1〜第3の実
施の形態における運転行動意図検出装置では、運転行動
を推定するときの運転行動モデルλiのパラメータを、
事前にコンピュータを用いて算出した。第4の実施の形
態では、運転行動モデルλiのパラメータを個々の運転
者の特徴に応じて変更することのできる運転行動意図検
出装置について説明する。
【0053】図15に、第4の実施の形態の概略構成を
示す。視線方向頻度分布算出手段3,環境情報計測手段
5,車両挙動データ計測手段7および運転操作量計測手
段9で得られた観測データは、運転行動意図推定手段1
1だけでなく、データ蓄積手段2にも送信される。所定
量以上のデータが蓄積されると、観測データはパラメー
タ変更手段4に送られる。ここで、かくれマルコフモデ
ルのパラメータの推定を行う。パラメータ変更手段4で
推定されたパラメータは、運転行動意図推定手段11に
入力され、運転行動モデルλiのパラメータを更新す
る。更新された運転行動モデルλiのパラメータに基づ
いて、観測ベクトルOがモデルλiから出力されたとす
る事後確率Pi(O|λi)を算出し、運転行動意図の
推定を行う。
【0054】なお、データ蓄積手段2とパラメータ変更
手段4のうち、パラメータ変更手段を省略することもで
きる。ある所定量蓄積された観測データはディーラーな
どへ持ち込まれ、コンピュータ上で運転行動モデルλi
のパラメータを推定し、更新してもよい。
【0055】また、データ蓄積手段2とパラメータ変更
手段4ともに省略することもできる。この場合は、視線
方向頻度分布算出手段3,環境情報計測手段5,車両挙
動データ計測手段7および運転操作量計測手段9で得ら
れた観測データを車外のある場所へリアルタイムで通信
し、これらを蓄積させる。所定量の観測データが蓄積さ
れると、運転行動モデルλiのパラメータを推定する。
推定されたパラメータは、リアルタイムで運転行動意図
検出装置に通信され、運転行動モデルλiのパラメータ
を更新してもよいし、例えばエンジンをスタートさせた
ときに通信され、パラメータを更新してもよい。両者と
も、推定された運転行動モデルλiのパラメータを運転
者の特徴に応じて変更する点は上記第4の実施の形態と
同様である。
【0056】以上述べたように、第4の実施の形態で
は、所定量蓄積された観測データから運転行動モデルλ
iのパラメータを推定し、さらに更新するようにしたの
で、運転者の運転行動の特徴に対応した運転行動意図検
出装置を提供することができる。また、運転行動モデル
λiのパラメータの推定を車外で行うようにすれば、運
転行動モデルλiのパラメータ推定用のコンピュータを
省略することができ、コストを抑えることができる。
【0057】以上の第1から第4の実施の形態では、観
測データとして、視線方向頻度分布のほかに、運転操作
量と、車両挙動データと、環境情報とを用いたが、少な
くとも視線方向頻度分布を用いていれば、任意の組み合
わせの観測データを用いることができる。
【図面の簡単な説明】
【図1】 本発明による運転行動意図検出装置の第1の
実施の形態における概略構成を示すブロック図
【図2】 第1の実施の形態における機能構成を示すブ
ロック図
【図3】 複数個の矩形状に分割された視線方向領域の
例を示す図
【図4】 複数個の特定の車両部位を対象にした視線方
向領域の例を示す図
【図5】 かくれマルコフモデルの構造を示す図
【図6】 第1の実施の形態の電子制御ユニット31に
おける制御処理を示すフローチャート
【図7】 第2の実施の形態における概略構成を示すブ
ロック図
【図8】 第2の実施の形態における機能構成を示すブ
ロック図
【図9】 第2の実施の形態の電子制御ユニット31に
おける制御処理を示すフローチャート
【図10】(a),(b) 第2の実施の形態の電子制
御ユニット31における制御処理を示すフローチャート
【図11】 第3の実施の形態における概略構成を示す
ブロック図
【図12】 第3の実施の形態における機能構成を示す
ブロック図
【図13】 第3の実施の形態の電子制御ユニット31
における制御処理を示すフローチャート
【図14】(a),(b) 第3の実施の形態の電子制
御ユニット31における制御処理を示すフローチャート
【図15】 第4の実施の形態における概略構成を示す
ブロック図
【図16】 本発明における運転行動意図検出装置を備
えた車両外観を示す図
【図17】 本発明における運転行動意図検出装置を備
えた車両の運転席周辺を示す図
【符号の説明】
21:CCDカメラ 23:赤外線照射器 31:電子制御ユニット 71:操舵角センサ 73:電動モータ 75:電磁クラッチ 77:ステアリングギアボックス 231:前方風景撮影用CCDカメラユニット 233:前方風景撮影CCDカメラ用画像処理ユニット 239:スピーカ 241:ステアリングコントローラ 243:ステアリングホイール

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】車両固定投影平面における運転者の視線方
    向を検出する視線方向検出手段と、 前記視線方向検出手段で検出された視線方向の、所定時
    間範囲の視線方向データを用いて、複数に分割された領
    域間での前記視線方向の遷移頻度に関する分布を算出す
    る視線方向頻度分布算出手段と、 前記視線方向頻度分布算出手段で算出された視線方向頻
    度分布に基づいて運転行動意図を推定する運転行動意図
    推定手段とを有することを特徴とする運転行動意図検出
    装置。
  2. 【請求項2】請求項1に記載の運転行動意図検出装置に
    おいて、 前記視線方向頻度分布算出手段で算出される視線方向頻
    度分布は、前記領域間での前記視線方向の遷移頻度に加
    えて、同一の領域における前記視線方向の停留頻度も加
    味して算出することを特徴とする運転行動意図検出装
    置。
  3. 【請求項3】請求項1または請求項2に記載の運転行動
    意図検出装置において、 前記運転行動意図推定手段における運転行動意図の推定
    は、検出対象とする複数の運転行動パターンでの、運転
    者の視線方向頻度分布に関する統計的特徴に基づいて行
    うことを特徴とする運転行動意図検出装置。
  4. 【請求項4】請求項1から請求項3のいずれかに記載の
    運転行動意図検出装置において、 前記運転行動意図推定手段における運転行動意図の推定
    は、かくれマルコフモデルを用いてあらかじめ算出し
    た、検出対象とする複数の運転行動パターンに関するパ
    ラメータと、前記視線方向頻度分布とに基づいて行うこ
    とを特徴とする運転行動意図検出装置。
  5. 【請求項5】請求項4に記載の運転行動意図検出装置に
    おいて、 前記かくれマルコフモデルを用いて算出したパラメータ
    を変更するパラメータ変更手段をさらに有し、 前記運転行動意図推定手段における運転行動意図の推定
    は、前記パラメータ変更手段で変更されたパラメータと
    前記視線方向頻度分布とに基づいて行うことを特徴とす
    る運転行動意図検出装置。
  6. 【請求項6】請求項1から請求項5のいずれかに記載の
    運転行動意図検出装置において、 前記運転行動意図推定手段で推定される運転行動意図
    は、わき見運転、漫然運転、車線変更、制動開始、通常
    運転の少なくともいずれかであることを特徴とする運転
    行動意図検出装置。
  7. 【請求項7】請求項1から請求項6のいずれかに記載の
    運転行動意図検出装置において、 先行車への接近度合または隣接車線の車両との距離等の
    自車両周囲の環境情報を計測する環境情報計測手段と、 自車両の横方向または前後方向の加速度あるいはヨーレ
    ート等の自車両挙動データを計測する自車両挙動データ
    計測手段と、 アクセルペダル操作量やブレーキペダル操作量、操舵角
    等の運転操作量を計測する運転操作量計測手段とのうち
    少なくともいずれかを有し、 少なくとも前記環境情報計測手段が設けられたときは前
    記環境情報計測手段で計測された環境情報を、少なくと
    も前記自車両挙動データ計測手段が設けられたときは前
    記自車両挙動データ計測手段で計測された自車両挙動デ
    ータを、少なくとも前記運転操作量計測手段が設けられ
    たときは前記運転操作量計測手段で計測された運転操作
    量を、前記視線方向頻度分布とともに用いて前記運転行
    動意図推定手段における運転行動意図の推定を行うこと
    を特徴とする運転行動意図検出装置。
  8. 【請求項8】請求項1から請求項7のいずれかに記載の
    運転行動意図検出装置において、 撮像素子を用いて撮像された自車両前方画像に二値化等
    の画像処理を行って検出される走行車線マーカ間におけ
    る自車両の横方向偏位量を算出する自車両横偏位量算出
    手段と、 車室内に設置され、警報を発生する警報発生手段とを有
    し、 前記自車両横偏位量算出手段で算出された横方向偏位量
    が所定値以上の場合において、前記運転行動意図推定手
    段で、運転者の意図が車線変更であると推定されない場
    合には、前記警報発生手段による警報の発生を行うこと
    を特徴とする運転行動意図検出装置。
  9. 【請求項9】請求項8に記載の運転行動意図検出装置に
    おいて、 運転者のステアリング操舵量を検出する操舵量検出手段
    と、 前記自車両横偏位量算出手段で算出された車線内の自車
    両横偏位量と、前記操舵量検出手段で検出される操舵量
    とに応じて、モータ出力指令値を算出して出力するモー
    タ制御手段と、 前記モータ制御手段から出力されるモータ出力指令値に
    応じた操舵トルクを操舵装置に選択的に付加する操舵ト
    ルク付与手段とをさらに有し、 前記算出された横方向偏位量が所定値以上の場合におい
    て、前記運転行動意図推定手段で、運転者の意図が車線
    変更であると推定されない場合には、前記警報発生手段
    による警報の発生または操舵トルク付与手段による操舵
    出力を行うことを特徴とする運転行動意図検出装置。
  10. 【請求項10】請求項1から請求項7のいずれかに記載
    の運転行動意図検出装置において、 自車線前方を走行する先行車への接近度合を計測する先
    行車接近度合計測手段と、 車室内に設置され、警報を発生する警報発生手段とを有
    し、 前記計測された先行車接近度合が所定値以上であって、
    前記運転行動意図推定手段で、運転者の意図が制動開始
    であると推定されない場合には、前記警報発生手段によ
    る警報の発生を行うことを特徴とする運転行動意図検出
    装置。
  11. 【請求項11】請求項8または請求項9に記載の運転行
    動意図検出装置において、 自車線前方を走行する先行車への接近度合を計測する先
    行車接近度合計測手段をさらに有し、 前記計測された先行車接近度合が所定値以上であって、
    前記運転行動意図推定手段で、運転者の意図が制動開始
    であると推定されない場合には、前記警報発生手段によ
    る警報の発生を行うことを特徴とする運転行動意図検出
    装置。
JP2001136628A 2001-05-07 2001-05-07 運転行動意図検出装置 Pending JP2002331850A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001136628A JP2002331850A (ja) 2001-05-07 2001-05-07 運転行動意図検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001136628A JP2002331850A (ja) 2001-05-07 2001-05-07 運転行動意図検出装置

Publications (1)

Publication Number Publication Date
JP2002331850A true JP2002331850A (ja) 2002-11-19

Family

ID=18983870

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001136628A Pending JP2002331850A (ja) 2001-05-07 2001-05-07 運転行動意図検出装置

Country Status (1)

Country Link
JP (1) JP2002331850A (ja)

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005182124A (ja) * 2003-12-16 2005-07-07 Nissan Motor Co Ltd 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2005238872A (ja) * 2004-02-24 2005-09-08 Japan Science & Technology Agency 人間状態推定システム、人間状態推定方法及び人間状態推定プログラム
US6982647B2 (en) 2002-06-20 2006-01-03 Nissan Motor Co., Ltd. Driving assist system for vehicle
EP1657103A1 (en) 2004-11-12 2006-05-17 Nissan Motor Co., Ltd. Driving assisting system for a vehicle and vehicle having such system installed thereon
JP2006133216A (ja) * 2004-10-06 2006-05-25 Denso Corp ナビゲーション装置
EP1661751A1 (en) 2004-11-26 2006-05-31 Nissan Motor Co., Ltd. Driving intention estimating system, driver assisting system, and vehicle with the system
JP2006137306A (ja) * 2004-11-12 2006-06-01 Nissan Motor Co Ltd 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
EP1688295A2 (en) 2005-02-07 2006-08-09 Nissan Motor Co., Ltd. Driving intention estimation system, vehicle operation assistance system and vehicle equipped therewith
JP2006213276A (ja) * 2005-02-07 2006-08-17 Nissan Motor Co Ltd 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2007068917A (ja) * 2005-09-09 2007-03-22 Nissan Motor Co Ltd 視認状態判断装置、自動車、及び視認状態判断方法
JP2007176396A (ja) * 2005-12-28 2007-07-12 Univ Nagoya 運転行動推定装置、運転支援装置、及び車両評価システム
WO2007077867A1 (ja) * 2005-12-28 2007-07-12 National University Corporation Nagoya University 運転行動推定装置、運転支援装置、車両評価システム、ドライバモデル作成装置、及び運転行動判定装置
JP2007253819A (ja) * 2006-03-23 2007-10-04 Toyota Motor Corp 駐車支援装置
JP2007272834A (ja) * 2006-03-31 2007-10-18 Equos Research Co Ltd ドライバモデル作成装置、運転支援装置、及び運転行動判定装置
JP2007312824A (ja) * 2006-05-23 2007-12-06 Asahi Kasei Corp まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置
US7308839B2 (en) 2002-06-20 2007-12-18 Nissan Motor Co., Ltd. Accelerator pedal device
US7349767B2 (en) 2003-12-16 2008-03-25 Nissan Motor Co., Ltd. Method and system for intention estimation and operation assistance
JP2008084318A (ja) * 2007-09-21 2008-04-10 Nissan Motor Co Ltd 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2008512153A (ja) * 2004-09-13 2008-04-24 バイオコニセイフ 個人の警戒レベルの指示を生成するための方法及び装置
JP2008126908A (ja) * 2006-11-22 2008-06-05 Denso Corp 運転行動推定方法および装置
WO2008088070A1 (ja) * 2007-01-19 2008-07-24 Asahi Kasei Kabushiki Kaisha 覚醒状態判定モデル生成装置、覚醒状態判定装置及び警告装置
US7440823B2 (en) 2003-12-16 2008-10-21 Nissan Motor Co., Ltd. Intention estimation method and system with confidence indication
JP2009020910A (ja) * 2008-09-29 2009-01-29 Nissan Motor Co Ltd 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2009073465A (ja) * 2007-08-28 2009-04-09 Fuji Heavy Ind Ltd 安全運転支援システム
JP2009098900A (ja) * 2007-10-16 2009-05-07 Toyota Motor Corp 脇見状態判定装置
US7555367B2 (en) 2004-06-02 2009-06-30 Nissan Motor Co., Ltd. Adaptive intention estimation method and system
EP1721782A3 (en) * 2005-05-10 2009-07-29 Fuji Jukogyo Kabushiki Kaisha Driving support equipment for vehicles
WO2009093726A1 (ja) 2008-01-22 2009-07-30 Advanced Telecommunications Research Institute International 危険運転予防意識判定システムおよび危険運転予防意識判定方法
DE102008043200A1 (de) 2008-03-31 2009-10-15 Hyundai Motor Co. Warnmeldungsanlage zum Warnen eines Fahrers vor dem Vorhandensein von Gegenständen
WO2009148188A1 (ja) 2008-06-06 2009-12-10 株式会社山城自動車教習所 運転行動自動評価システム
EP2143611A1 (en) * 2007-05-02 2010-01-13 Toyota Jidosha Kabushiki Kaisha Vehicle behavior controller
JP2010087728A (ja) * 2008-09-30 2010-04-15 Denso Corp 画像表示装置
US7778742B2 (en) 2003-12-16 2010-08-17 Nissan Motor Co., Ltd. Method and system for intention estimation and operation assistance
JP2010211380A (ja) * 2009-03-09 2010-09-24 Nissan Motor Co Ltd 運転支援装置および運転支援方法
JP2010221962A (ja) * 2009-03-25 2010-10-07 Denso Corp 運転行動推定装置
JP2011059855A (ja) * 2009-09-08 2011-03-24 Nissan Motor Co Ltd 車両用運転状態検出装置、車両用運転状態検出方法および自動車
US8031063B2 (en) 2003-09-12 2011-10-04 Robert Bosch Gmbh Method and apparatus for driver assistance
EP2263926A3 (en) * 2009-06-18 2012-05-16 Nissan Motor Co., Ltd. Vehicle operation supporting device and vehicle operation supporting method
US8494741B2 (en) * 2003-12-12 2013-07-23 Toyota Jidosha Kabushiki Kaisha Control device for vehicle
KR20160001039A (ko) * 2014-06-26 2016-01-06 현대자동차주식회사 차량 및 그 제어방법
KR101710982B1 (ko) * 2015-10-14 2017-02-28 국민대학교산학협력단 컴퓨터 수행 가능한 운전자 의도 판단 방법, 이를 수행하는 장치 및 이를 저장하는 기록매체
WO2017217044A1 (ja) * 2016-06-17 2017-12-21 アイシン精機株式会社 視認方向推定装置
WO2018035531A1 (en) * 2016-08-19 2018-02-22 Massachusetts Intitute Of Technology Systems and methods for providing visual allocation management
KR20180038316A (ko) * 2016-10-06 2018-04-16 현대자동차주식회사 운전자 상태 판단 장치 및 방법
CN107985193A (zh) * 2017-11-30 2018-05-04 西安科锐盛创新科技有限公司 疲劳驾驶预警***
JP2018081622A (ja) * 2016-11-18 2018-05-24 トヨタ自動車株式会社 運転支援装置および運転支援方法
CN109094568A (zh) * 2017-06-20 2018-12-28 奥迪股份公司 驾驶精力付出评估***和方法
JP2019528217A (ja) * 2016-08-19 2019-10-10 マサチューセッツ インスティテュート オブ テクノロジー 資源配分管理を改善するために注意力バッファを使用するシステムおよび方法
GB2582548A (en) * 2019-03-19 2020-09-30 Jaguar Land Rover Ltd Vehicle control system and method
KR20220095430A (ko) * 2020-12-30 2022-07-07 한국과학기술원 주행 데이터 실시간 분석을 통한 운전자 시선 및 집중도 예측을 위한 컴퓨터 시스템 및 그의 방법

Cited By (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7308839B2 (en) 2002-06-20 2007-12-18 Nissan Motor Co., Ltd. Accelerator pedal device
US6982647B2 (en) 2002-06-20 2006-01-03 Nissan Motor Co., Ltd. Driving assist system for vehicle
US8031063B2 (en) 2003-09-12 2011-10-04 Robert Bosch Gmbh Method and apparatus for driver assistance
US8494741B2 (en) * 2003-12-12 2013-07-23 Toyota Jidosha Kabushiki Kaisha Control device for vehicle
JP4561092B2 (ja) * 2003-12-16 2010-10-13 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
US7778742B2 (en) 2003-12-16 2010-08-17 Nissan Motor Co., Ltd. Method and system for intention estimation and operation assistance
US7440823B2 (en) 2003-12-16 2008-10-21 Nissan Motor Co., Ltd. Intention estimation method and system with confidence indication
JP2005182124A (ja) * 2003-12-16 2005-07-07 Nissan Motor Co Ltd 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
US7349767B2 (en) 2003-12-16 2008-03-25 Nissan Motor Co., Ltd. Method and system for intention estimation and operation assistance
JP2005238872A (ja) * 2004-02-24 2005-09-08 Japan Science & Technology Agency 人間状態推定システム、人間状態推定方法及び人間状態推定プログラム
US7555367B2 (en) 2004-06-02 2009-06-30 Nissan Motor Co., Ltd. Adaptive intention estimation method and system
JP4845886B2 (ja) * 2004-09-13 2011-12-28 バイオコニセイフ 個人の警戒レベルの指示を生成するための方法及び装置
JP2008512153A (ja) * 2004-09-13 2008-04-24 バイオコニセイフ 個人の警戒レベルの指示を生成するための方法及び装置
JP4556794B2 (ja) * 2004-10-06 2010-10-06 株式会社デンソー ナビゲーション装置
US7584050B2 (en) 2004-10-06 2009-09-01 Denso Corporation Automobile navigation system
JP2006133216A (ja) * 2004-10-06 2006-05-25 Denso Corp ナビゲーション装置
JP2006137306A (ja) * 2004-11-12 2006-06-01 Nissan Motor Co Ltd 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
EP1657103A1 (en) 2004-11-12 2006-05-17 Nissan Motor Co., Ltd. Driving assisting system for a vehicle and vehicle having such system installed thereon
JP4622465B2 (ja) * 2004-11-12 2011-02-02 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
US7809506B2 (en) 2004-11-26 2010-10-05 Nissan Motor Co., Ltd. Driving intention estimation system, driver assisting system, and vehicle with the system
EP1661751A1 (en) 2004-11-26 2006-05-31 Nissan Motor Co., Ltd. Driving intention estimating system, driver assisting system, and vehicle with the system
EP1688295A2 (en) 2005-02-07 2006-08-09 Nissan Motor Co., Ltd. Driving intention estimation system, vehicle operation assistance system and vehicle equipped therewith
JP2006213276A (ja) * 2005-02-07 2006-08-17 Nissan Motor Co Ltd 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
US7634331B2 (en) 2005-02-07 2009-12-15 Nissan Motor Co., Ltd. Driving intention estimation system, vehicle operation assistance system, and vehicle equipped therewith
EP1977925A2 (en) 2005-02-07 2008-10-08 Nissan Motor Co., Ltd. Driving Intention Estimation System, Vehicle Operation Assistance System and Vehicle Equipped Therewith
EP1721782A3 (en) * 2005-05-10 2009-07-29 Fuji Jukogyo Kabushiki Kaisha Driving support equipment for vehicles
JP2007068917A (ja) * 2005-09-09 2007-03-22 Nissan Motor Co Ltd 視認状態判断装置、自動車、及び視認状態判断方法
US8140241B2 (en) 2005-12-28 2012-03-20 National University Corporation Nagoya University Driving action estimating device, driving support device, vehicle evaluating system, driver model creating device, and driving action determining device
EP1997705A4 (en) * 2005-12-28 2011-03-02 Univ Nagoya Nat Univ Corp RIDING APPRAISAL DEVICE, TRAVEL SUPPORT DEVICE, VEHICLE EVALUATION SYSTEM, DEVICE FOR MANUFACTURING A DRIVER MODEL AND DEVICE FOR ASSESSING THE DRIVING BEHAVIOR
JP2007176396A (ja) * 2005-12-28 2007-07-12 Univ Nagoya 運転行動推定装置、運転支援装置、及び車両評価システム
WO2007077867A1 (ja) * 2005-12-28 2007-07-12 National University Corporation Nagoya University 運転行動推定装置、運転支援装置、車両評価システム、ドライバモデル作成装置、及び運転行動判定装置
EP1997705A1 (en) * 2005-12-28 2008-12-03 National University Corporation Nagoya University Drive behavior estimating device, drive supporting device, vehicle evaluating system, driver model making device, and drive behavior judging device
JP2007253819A (ja) * 2006-03-23 2007-10-04 Toyota Motor Corp 駐車支援装置
JP2007272834A (ja) * 2006-03-31 2007-10-18 Equos Research Co Ltd ドライバモデル作成装置、運転支援装置、及び運転行動判定装置
JP2007312824A (ja) * 2006-05-23 2007-12-06 Asahi Kasei Corp まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置
JP2008126908A (ja) * 2006-11-22 2008-06-05 Denso Corp 運転行動推定方法および装置
US7805240B2 (en) 2006-11-22 2010-09-28 Denso Corporation Driving behavior prediction method and apparatus
WO2008088070A1 (ja) * 2007-01-19 2008-07-24 Asahi Kasei Kabushiki Kaisha 覚醒状態判定モデル生成装置、覚醒状態判定装置及び警告装置
US8400313B2 (en) 2007-01-19 2013-03-19 Asahi Kasei Kabushiki Kaisha Vehicle driver sleep state classification generating device based on Hidden Markov Model, sleep state classification device and warning device
EP2143611A1 (en) * 2007-05-02 2010-01-13 Toyota Jidosha Kabushiki Kaisha Vehicle behavior controller
EP2143611A4 (en) * 2007-05-02 2010-10-06 Toyota Motor Co Ltd CONTROL DEVICE FOR VEHICLE BEHAVIOR
US8301343B2 (en) 2007-05-02 2012-10-30 Toyota Jidosha Kabushiki Kaisha Vehicle behavior control device
JP2009073465A (ja) * 2007-08-28 2009-04-09 Fuji Heavy Ind Ltd 安全運転支援システム
JP2008084318A (ja) * 2007-09-21 2008-04-10 Nissan Motor Co Ltd 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP4605200B2 (ja) * 2007-09-21 2011-01-05 日産自動車株式会社 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
US8665099B2 (en) 2007-10-16 2014-03-04 Toyota Jidosha Kabushiki Kaisha Inattentive state determination device and method of determining inattentive state
JP2009098900A (ja) * 2007-10-16 2009-05-07 Toyota Motor Corp 脇見状態判定装置
WO2009093726A1 (ja) 2008-01-22 2009-07-30 Advanced Telecommunications Research Institute International 危険運転予防意識判定システムおよび危険運転予防意識判定方法
DE102008043200A1 (de) 2008-03-31 2009-10-15 Hyundai Motor Co. Warnmeldungsanlage zum Warnen eines Fahrers vor dem Vorhandensein von Gegenständen
WO2009148188A1 (ja) 2008-06-06 2009-12-10 株式会社山城自動車教習所 運転行動自動評価システム
JP2009020910A (ja) * 2008-09-29 2009-01-29 Nissan Motor Co Ltd 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2010087728A (ja) * 2008-09-30 2010-04-15 Denso Corp 画像表示装置
JP2010211380A (ja) * 2009-03-09 2010-09-24 Nissan Motor Co Ltd 運転支援装置および運転支援方法
JP2010221962A (ja) * 2009-03-25 2010-10-07 Denso Corp 運転行動推定装置
EP2263926A3 (en) * 2009-06-18 2012-05-16 Nissan Motor Co., Ltd. Vehicle operation supporting device and vehicle operation supporting method
JP2011059855A (ja) * 2009-09-08 2011-03-24 Nissan Motor Co Ltd 車両用運転状態検出装置、車両用運転状態検出方法および自動車
KR102106892B1 (ko) * 2014-06-26 2020-05-06 현대자동차주식회사 차량 및 그 제어방법
KR20160001039A (ko) * 2014-06-26 2016-01-06 현대자동차주식회사 차량 및 그 제어방법
KR101710982B1 (ko) * 2015-10-14 2017-02-28 국민대학교산학협력단 컴퓨터 수행 가능한 운전자 의도 판단 방법, 이를 수행하는 장치 및 이를 저장하는 기록매체
WO2017217044A1 (ja) * 2016-06-17 2017-12-21 アイシン精機株式会社 視認方向推定装置
JP2017224254A (ja) * 2016-06-17 2017-12-21 アイシン精機株式会社 視認方向推定装置
US20190164311A1 (en) * 2016-06-17 2019-05-30 Aisin Seiki Kabushiki Kaisha Viewing direction estimation device
US20180053103A1 (en) * 2016-08-19 2018-02-22 Massachusetts Institute Of Technology Systems and methods for providing visual allocation management
US11688203B2 (en) * 2016-08-19 2023-06-27 Massachusetts Institute Of Technology Systems and methods for providing visual allocation management
JP7139331B2 (ja) 2016-08-19 2022-09-20 マサチューセッツ インスティテュート オブ テクノロジー 資源配分管理を改善するために注意力バッファを使用するシステムおよび方法
WO2018035531A1 (en) * 2016-08-19 2018-02-22 Massachusetts Intitute Of Technology Systems and methods for providing visual allocation management
US10902331B2 (en) 2016-08-19 2021-01-26 Massachusetts Institute Of Technology Systems and methods for providing visual allocation management
JP2019528217A (ja) * 2016-08-19 2019-10-10 マサチューセッツ インスティテュート オブ テクノロジー 資源配分管理を改善するために注意力バッファを使用するシステムおよび方法
JP2019535089A (ja) * 2016-08-19 2019-12-05 マサチューセッツ インスティテュート オブ テクノロジー 視覚配分管理を提供するシステムおよび方法
US10525984B2 (en) * 2016-08-19 2020-01-07 Massachusetts Institute Of Technology Systems and methods for using an attention buffer to improve resource allocation management
KR102371591B1 (ko) * 2016-10-06 2022-03-07 현대자동차주식회사 운전자 상태 판단 장치 및 방법
KR20180038316A (ko) * 2016-10-06 2018-04-16 현대자동차주식회사 운전자 상태 판단 장치 및 방법
JP2018081622A (ja) * 2016-11-18 2018-05-24 トヨタ自動車株式会社 運転支援装置および運転支援方法
CN109094568A (zh) * 2017-06-20 2018-12-28 奥迪股份公司 驾驶精力付出评估***和方法
CN107985193B (zh) * 2017-11-30 2021-06-04 江苏中天安驰科技有限公司 疲劳驾驶预警***
CN107985193A (zh) * 2017-11-30 2018-05-04 西安科锐盛创新科技有限公司 疲劳驾驶预警***
GB2582548A (en) * 2019-03-19 2020-09-30 Jaguar Land Rover Ltd Vehicle control system and method
GB2582548B (en) * 2019-03-19 2021-10-13 Jaguar Land Rover Ltd Vehicle control system and method
KR20220095430A (ko) * 2020-12-30 2022-07-07 한국과학기술원 주행 데이터 실시간 분석을 통한 운전자 시선 및 집중도 예측을 위한 컴퓨터 시스템 및 그의 방법
KR102438689B1 (ko) 2020-12-30 2022-09-01 한국과학기술원 주행 데이터 실시간 분석을 통한 운전자 시선 및 집중도 예측을 위한 컴퓨터 시스템 및 그의 방법

Similar Documents

Publication Publication Date Title
JP2002331850A (ja) 運転行動意図検出装置
US11662733B2 (en) Trajectory setting device and trajectory setting method
US11467596B2 (en) Target abnormality determination device
RU2622616C1 (ru) Устройство управления транспортным средством
CN109941288B (zh) 安全驾驶辅助装置和方法
JP5382198B2 (ja) 危険度算出装置
CN108263279A (zh) 基于传感器整合的行人检测和行人碰撞避免装置及方法
JP4687270B2 (ja) Gpsロストの予測装置及び車両用走行制御装置
JP4948996B2 (ja) 車両の運転支援装置
JP4896482B2 (ja) 衝突判定装置
JP2009184497A (ja) 車両用運転操作支援装置
JP2008003880A (ja) 車両周辺監視システム、車両周辺監視プログラム、車両周辺監視システムの構築方法およびサーバ
JPH11348696A (ja) 進行路形状推定装置及びこれを用いた走行支援装置
US11685384B2 (en) Driver alertness detection method, device and system
JP2015067030A (ja) 運転支援装置
JP7384131B2 (ja) 車両の運転支援装置、車両の運転支援方法、およびプログラム
JP2002331849A (ja) 運転行動意図検出装置
KR20170049093A (ko) 차량 및 그 제어방법
JP2006160032A (ja) 運転状態判定装置及び運転状態判定方法
JP6668915B2 (ja) 移動体の自動運転制御システム
JPH09263200A (ja) 車両の警報装置
US11048952B2 (en) Occupant monitoring device, occupant monitoring method, and occupant monitoring program
JP2018094294A (ja) 状態推定システム
JP2018200701A (ja) 車両用制御装置
KR20200133859A (ko) 자율 주행 장치 및 방법