JP6412321B2 - 現実画像要素を補強した警告表示装置を使用する運転者トレーニングシステム - Google Patents

現実画像要素を補強した警告表示装置を使用する運転者トレーニングシステム Download PDF

Info

Publication number
JP6412321B2
JP6412321B2 JP2014048389A JP2014048389A JP6412321B2 JP 6412321 B2 JP6412321 B2 JP 6412321B2 JP 2014048389 A JP2014048389 A JP 2014048389A JP 2014048389 A JP2014048389 A JP 2014048389A JP 6412321 B2 JP6412321 B2 JP 6412321B2
Authority
JP
Japan
Prior art keywords
vehicle
driver
driving
merging
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014048389A
Other languages
English (en)
Other versions
JP2014182820A (ja
JP2014182820A5 (ja
Inventor
エン−ソウ ヒング，ビクトール
エン−ソウ ヒング，ビクトール
ベックウイズ，リー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JP2014182820A publication Critical patent/JP2014182820A/ja
Publication of JP2014182820A5 publication Critical patent/JP2014182820A5/ja
Application granted granted Critical
Publication of JP6412321B2 publication Critical patent/JP6412321B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/05—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)

Description

本発明は、現実画像要素を補強した警告表示装置を用いる運転者トレーニングシステム
に係る。
運転の危険性は、実際よりも低いものと思われている。換言すれば、多くの運転者は、
自分の運転は平均よりも優れていると信じ込んでいる。事実、自分の運転行動は誰からも
矯正されないため、運転時、日頃から運転行動の良くない運転者が多い。しかしながら、
運転中に犯すミスによって、衝突や他の危険な状況が起きる可能性は、常にあるものであ
る。
一般に、運転に集中し注意散漫ではないときに、運転者の態度は最も安全性が高い。し
かし、日常通勤では、運転者は集中を欠いて注意散漫となっている。通勤時の運転者は、
刺激が少ない状態にあり、日常的な運転作業には傾注しないし、良い運転行動をしても何
ら報酬もない。しかも、自分の自動車が損害を被るぎりぎり最小限の程度以上の運転技量
は、普通、自分自身にフィードバックされない。従って、運転中、運転者の活性化状態は
低く、より一層集中するべき運転によって注意が散漫になりやすくなっている。
本開示の一態様では、運転者トレーニングシステムは、トレーニング制御部及び警告表
示装置を有する。運転者トレーニングシステムは、自動車制御装置から受信する、自動車
運転状態及び自動車周囲の環境に関する入力データに基づき、運転動作合図を判定するよ
うに構成される。また、警告表示装置は、自動車のフロントガラスに複数の画像要素を投
影することで、運転者の視界にある補強現実の画像要素として、運転者に運転動作合図を
提示するように構成される。
また、別の一態様において、運転者トレーニングシステムで用いる、運転動作合図追従
制御部は、少なくとも１個のプロッセサを有する。前記の少なくとも１個のプロッセサは
、自動車の運転状態及び周囲の環境に関する入力データを受信し、さらに、運転者に提示
された運転動作合図に関する入力データを、運転行動を指示する補強現実画像要素として
、受信する。また、前記の少なくとも１個のプロセッサは、自動車の運転状態、周辺環境
及び自動車に伝えた運転動作合図に関する受信入力データに基づいて、運転者に示された
運転動作合図に対する現在の追従度合を連続的に判定するように構成される。また、前記
の少なくとも１個のプロセッサは、所定の時間内における複数の時刻の各時刻毎に、運転動作合図への総計追従度合を連続的に判定するように構成される。
また、さらに別の態様では、運転者トレーニング方法は、警告表示装置によって運転行
動を運転者に指示する運転動作合図を、補強現実画像要素として提示する工程を含む。前
記方法には、さらに、指示した運転行動と実際の運転行動との差異を監視することで、運
転者に提示した運転動作合図に対する現在の追従度合を連続的に判定する工程と、所定の
時間内において判定した運転動作合図に対する現在追従度合の総計を連続的に判定する工
程が含まれる。さらに、前記方法には、運転動作合図への総計追従度合を、運転動作合図
とは別個の補強済現実画像要素として、警告表示装置が運転者に提示する工程が含まれる。
自動車制御装置と交信する運転者トレーニングシステムを例示するブッロク模式図である。 自動車警告表示装置を備えた自動車の模式図である。 自動車のフロントガラスを通して見ている運転者の視界を図示する。格子状の運転動作合図の周囲にいる自動車を、警告として、または補強現実画像要素として表示している。 （ａ）及び（ｂ）は、自動車周辺格子運転動作合図を判定する方法を示す模式図である。 合流ガイド運転動作合図が、警告として、またはコンタクト・アナログ補強現実画像要素として表示するとき、自動車のフロントガラスを通して注視している運転者の視点を図示する。 譲合運転動作合図を、警告として、または補強現実画像要素として表示するとき、自動車のフロントガラスを通して注視している運転者の視点を図示する。 運転者トレーニングシステムに用いる運転者トレーニング方法を説明したフローチャートである。
次に、図１を参照しながら、補強現実画像要素を表示する警告表示装置（以下、「ＨＵ
Ｄ」と称する（ＨＵＤ：Ｈｅａｄｓ−ｕｐ ｄｉｓｐｌａｙ））を用いる運転者トレーニ
ングシステム１００について説明する。運転者トレーニングシステム１００は、トレーニ
ング制御部１０２、警告表示装置１０４（以下、「ＨＵＤ装置１０４」と称する）、及び
運転動作合図追従制御部１０６（以下、「追従制御部１０６」と称する）を有する。
一般に、トレーニング制御部１０２は、自動車運転者に示す運転動作合図を判定するよ
うに構成され、ＨＵＤ装置１０４は、運転者の視界に、運転動作合図を補強現実画像要素
として提示するように構成される。また、追従制御部１０６は、運転者に提示した運転転合図に対する現在及び総計した追従度合を、連続的に判定できるように構成される。
また、運転者トレーニングシステム１００は、自動車制御装置１０８（つまり、制御装
置）を少なくとも１つ含む自動車（図示なし）ごとに備わるように構成される。自動車制
御装置１０８は、少なくとも１つの運転センサー１１０（以下、「複数の運転センサー１
１０」とも称する）、及び、少なくとも１つの環境センサー１１２（以下、「複数の環境
センサー１１２」とも称する）を有する、及び／またはこれらセンサーと通信する。
また、運転者トレーニングシステム１００は自動車制御装置１０８と通信し、自動車の
運転状態及び自動車周辺環境に関する入力データを受信できる。また、トレーニング制御
部１０２は、こうして受信した入力データに基づいて、運転者に示すことになる運転動作合図を判定する。さらに、前記自動車制御装置１０８は、複数の運転センサー１１０及び
複数の環境センサー１１２から受信した入力データを、直接発信することができる。ある
いは、前記自動車制御装置１０８は、前記の複数の運転センサー１１０及び複数の環境セ
ンサー１１２から受信した入力データにある程度の処理を行い、及び、前記処理結果を伝
達することができる。
また、前記自動車制御装置１０８は、１つ以上のプロセッサ（つまり、演算プロセッサ
）、コンピュータ、または自動車制御機能を発揮するように構成、あるいは、プログラム
されたその他任意の構成要素の形態をとることができる。なお、様々な自動車制御機能が
知られているが、前記自動車制御装置１０８は、公知の如何なる自動車制御機能も実行で
きるように構成してもよい。
また、以下に、前記装置１００にともなう自動車制御機能を具体的に記載するが、これ
ら機能は自動車制御装置１０８が実行または実行可能な自動車制御機能を網羅的に挙げた
ものではない。なお、前記自動車制御機能を実行するために前記自動車制御装置１０８が
行う処理は、一般的には公知のものが多いが、以下の説明では前記運転者トレーニングシ
ステム１００に係るものだけを記載することにする。
また、前記自動車制御装置１０８は、複数の運転センサー１１０、複数の環境センサー
１１２、及び／または他のセンサーや装置から受信した入力データに基づいて、自動車制
御機能を実行できる。前記複数の運転センサー１１０及び環境センサー１１２は、それぞ
れ自動車の運転状態及び自動車周辺の環境に係る情報を、感知あるいは検知できる公知の
如何なるセンサーの形態をとることができる。
例えば、前記複数の運転センサー１１０としては、移動する自動車の速度、位置、加速
度等を検知または感知できる任意のセンサーでよい。また、前記複数の環境センサー１１
２としては、運転している自動車の周囲にいる別の自動車の存在及び位置、道路にある潜
在的な障害物（歩行者など）の存在及び位置、あるいは、運転している自動車が道を譲る
義務があるか、譲るべき道路の存在及び位置を検知できる任意のセンサーでよい。
上記の機能を実行できる運転センサー１１０及び環境センサー１１２は公知のものなの
で、詳細な説明は省略する。しかし、上記機能のあるものは、前記の運転センサー１１０
及び環境センサー１１２にはない機構を利用して実行可能な機能もある。例えば、前記自
動車制御装置１０８には、移動している自動車の速度、位置、加速度や、運転している自
動車が道を譲る義務があるか、または譲るべき道路の存在及び位置を識別することができ
る、ＧＰＳシステム、及び／または地図データベースが含まれていてもよい。
前記運転者トレーニングシステム１００を参照すると、自動車制御装置１０８は、自動
車の運転状態や自動車の周辺環境に係る情報を受信し、さらに、トレーニング制御部１０
２と連動して、運転行動を指示する１以上の（つまり、複数の）運転動作合図を判定する
。ここで、運転制御装置１０８は、前記運転動作合図を判定し、そして、前記運転動作合図に関する情報をトレーニング制御部１０２に送信する。
あるいは、運転制御装置１０８は、自動車の運転状態及び周辺環境に関する情報を、ト
レーニング制御部１０２に送信する。なお、このトレーニング制御部１０２は、受信した
入力データに基づいて運転動作合図を判定する。さらに、別の態様では、運転制御装置１
０８及びトレーニング制御部１０２を組み合わせることで、運転動作合図、及び／または
運転動作合図の情報を、共同して判定できる。
トレーニング制御部１０２は、１つ以上のプロセッサ（演算プロセッサ）、コンピュー
タ、または運転制御装置１０８からの入力データを受信して、運転制御装置１０８から受
信した前記入力データに基づいて運転行動を指示する運転動作合図を少なくとも１つ判定
するように構成またはプログラムされた任意の要素、の中からから選ばれる１形態をとる
ことができる。また、トレーニング制御部１０２は、運転動作合図の種類、明白な特性、位置、方向などを判定する。
種々の運転行動を指示するために、ここで述べる運転者トレーニングシステム１００に
ついて色々な種類の運転動作合図を用いることができるが、本開示では関連した３つの運転行動を指示する運転動作合図について３つを述べる。特に、本開示では以下に述べる運転行動を指示する運転動作合図について説明する。つまり、運転している自動車のすぐ近くにいる自動車の数が減少するように運転行動を指示する、自動車周辺に係る運転動作合図と、所望の合流経路をたどるための、及び道路合流時に所望の合流速度で進行するために、運転行動を指示する合流に係る運転動作合図と、特定の道路で道を譲るべき運転行動を指示する道を譲ることに係る運転動作合図と、の３つの例が挙げられる。なお、ここに記載する装置１００は、これらの運転動作合図（及び、関連指示した運転行動）の一部だけを使用してもよいが、同じく追加の運転動作合図や異なる運転動作合図（さらに、関連指示した運転行動）を使用してもよい。
また、前記トレーニング制御部１０２によって判定された運転動作合図は、ＨＵＤ装置
１０４に送信される。ここで、前記ＨＵＤ装置１０４は、自動車運転者の視界に運転
合図を補強現実画像要素として提示するように構成される。この意味で、前記トレーニン
グ制御部１０２は、運転動作合図を提示するために前記ＨＵＤ装置１０４を制御できるよ
うに構成される。あるいは、前記ＨＵＤ装置１０４は、前記トレーニング制御部１０２か
ら送られる運転動作合図に関する入力データを受信し、及び運転動作合図を提示するために前記ＨＵＤ装置１０４を制御するＨＵＤ制御部（図示なし）を有することができる。
ＨＵＤ装置１０４は、ＨＵＤの補強現実画像要素として、トレーニング制御部１０２が
判定した運転動作合図を投影できる装置ならば、任意の形態をとれる。なお、前記現実画
像要素には、自動車周辺環境を運転者に直接示す、コンタクト・アナログ補強現実画像要
素が含まれる。この補強現実画像要素により、自動車周辺環境の情報が運転者に直接示さ
れる。図２に示すように、ＨＵＤ装置１０４は、自動車のダッシュボードＨＵＤ格納部１
１４の中に設置できるように、及び、ＨＵＤ格納部出口孔１１８を通って、自動車のフロ
ントガラス１１６に画像要素を投影できるように構成される。なお、前記画像要素は、運
転者が運転席１２０に座り、目をアイボックス１２２に入れたとき、画像１２３として運
転者に環境表示される補強現実画像要素である。
また、ＨＵＤ装置１０４は、地表焦点面、天空焦点面及び１以上の前方焦点面に補強現
実画像要素を表示する。ここで、地表焦点面は、地表面と平行、あるいは略平行で存在す
る。天空焦点面は、地表面の上方に平行して存在する。また、前方焦点面は、地表面の垂
直方向に存在する。前記ＨＵＤ装置１０４は、例えば、２０１３年３月１５日に出願された米国特許出願番号：１３／８３２，９１８、表題「ダイナミック焦点面を有する容積測定用の警告表示装置」に開示されている。なお、前記特許出願の全ての内容は、本明細書中に引用して組み入れるものである。
追従制御部１０６は、１以上のプロセッサ（演算プロセッサ）、コンピュータ、または
、運転者に提示する現在及び総計した運転動作合図の追従度合を連続的に判定するよう
に構成した任意のその他構成品から選ばれる形態をとれる。この点、追従制御部１０６は
、トレーニング制御部１０２及び／または自動車制御装置１０８と通信し（つまり、トレ
ーニング制御部１０２及び／または自動車制御装置１０８から入力データを受信し）、運
転合図で指示した実際の運転行動と判定した運転行動との相違点を測定する。続いて
、追従制御部１０６は、測定した差異に基づいて、運転者に提示した現在の運転動作合図
追従度合を判定する。前記差異は、位置不一致点、速度不一致点、及び／または位置、速
度及び／または環境に由来した環境不一致点として測定できる。
また、追従制御部１０６は、所定の時間内における運転動作合図に対する現在の追従度合を連続的または反復的に（以下では、連続的な場合を示す）判定できる。さらに、前記
所定の時間内における運転動作合図に対して連続的または反復的に判定した現在の追従度合に基づき、運転動作合図に対する追従度合の総計を連続的または反復的に（以下では、連続的な場合を示す）判定できる。
ここで、所定の時間とは、自動車を最新に起動した時刻から現在までの期間、自動車を
最初に起動した時刻から現在までの期間、または、運転トレーニングシステム１００を再
起動した時刻から現在までの期間から選ばれる、少なくとも１つでよい。この意味で、運
転トレーニングシステム１００は、実際または仮想のボタンなどの機構を備えることがで
き、所定の時間が始まる時刻をリセットするようにこのボタンを押すか、作動させること
ができる。
運転動作合図に対する追従度合の総計は、所定時間内における運転動作合図に対して判定した現在追従度合の時間平均として判定できる。あるいは、運転動作合図に対する総計追従度合は、運転動作合図に対する全追従度合を反映できるその他任意の方法を用いて判定できる。
また、追従制御部１０６は、連続的に判定した現在及び総計した追従度合の一方または
両方のデータを、ＨＵＤ装置１０４に送信する。ＨＵＤ装置１０４は、連続的に判定した
現在及び総計した追従度合の一方または両方のデータを、運転者の視界にある運転動作合図に提示する。なお、連続的に判定した現在及び／または総計した追従度合のデータを、
運転動作合図とは別個の補強現実画像要素として、運転者に提示してもよい。
さらに、運転者トレーニングシステム１００の詳細な説明を行う。つまり、以下の運転
行動を指示する運転動作合図が挙げられる。例えば、運転中の自動車のごく近傍にいる他
の自動車の全数を減らすための運転行動を指示する自動車周辺に係る運転動作合図、道が
合流するときに所望の合流経路をたどり、所望の合流速度で移動するための運転行動を指
示する合流に係る運転動作合図、及び、特定の道で道を譲るための運転行動を指示する譲
合態度に係る運転動作合図である。運転者トレーニングシステム１００は、上に述べた運
転合図から１以上の任意の合図を、別々または同時に提示するように構成できる。
図３、図４（ａ）及び（ｂ）に示すように、運転者の視界のなか、自動車正面に見える
天空焦点面上に示される補強現実画像要素として、ＨＵＤ装置１０４によって投影された
自動車周辺格子１２４を用いて、該自動車周辺の状態に対応した運転動作合図を提示する
ことができる。また、さらに詳細な説明を以下に述べると、前記自動車周辺格子１２４は
、運転中の自動車のごく近傍にいる自動車の全数を減らすように、運転行動を指示する運
転合図を提示する。なお、前記自動車周辺格子１２４には、自動車表示マーカー１２６、及び自動車表示マーカー１２６を取り囲む複数の囲みマーカー１２８〜１４２が含まれる。
また、前記自動車表示マーカー１２６は、自動車及び／または自動車が位置する環境領
域（以下、「自動車領域１４４」と称する（図４（ａ）及び（ｂ）参照））を表すものと
する。ここで、前記複数の囲みマーカー１２８〜１４２の各々は、自動車及び／または自
動車領域１４４を取り囲む、固有領域１４６〜１６０を表すものとする。先に述べたよう
に、前記複数の囲みマーカー１２８〜１４２は、以下に示す８つの囲みマーカーからなる
。つまり、第１の囲みマーカー１２８、第２の囲みマーカー１３０、第３の囲みマーカー
１３２、第４の囲みマーカー１３４、第５の囲みマーカー１３６、第６の囲みマーカー１
３８、第７の囲みマーカー１４０、及び第８の囲みマーカー１４２である。
この結果、８つの固有領域１４６〜１６０が存在するが、以下、第１領域１４６、第２
領域１４８、第３領域１５０、第４領域１５２、第５領域１５４、第６領域１５６、第７
領域１５８、及び、第８領域１６０と称する。前記８つの囲みマーカー１２８〜１４２は
、８つの領域１４６〜１６０のなかの特定の１つと、それぞれ関連する。すなわち、第１
の囲みマーカー１２８は第１領域１４６を示し、第２の囲みマーカー１２８は第２領域１
４８を示し、第３の囲みマーカー１２８は第３領域１５０を示し、第４の囲みマーカー１
２８は第４領域１５２を示し、第５の囲みマーカー１２８は第５領域１５４を示し、第６
の囲みマーカー１２８は第６領域１５６を示し、第７の囲みマーカー１２８は第７領域１
５８を示し、そして第８の囲みマーカー１２８は第８領域１６０を示している。
ここで、前記第１領域１４６は自動車（つまり自動車領域１４４）の左後方部に位置し
、前記第２領域１４８は自動車（つまり自動車領域１４４）のすぐ後方に位置し、前記第
３領域１５０は自動車（つまり自動車領域１４４）の右後方部に位置し、前記第４領域１
５２は自動車（つまり自動車領域１４４）の左側に位置し、前記第５領域１５４は自動車
（つまり自動車領域１４４）の右側に位置し、前記第６領域１５６は自動車（つまり自動
車領域１４４）の左前方部に位置し、前記第７領域１５８は自動車（つまり自動車領域１
４４）のすぐ前方に位置し、そして、前記第８領域１６０は自動車（つまり自動車領域１
４４）の右前方部に位置している。
この結果、第１領域１４６から第８領域１６０は、自動車領域１４４を取り囲むように
構成される。なお、前記複数の固有領域１４６〜１６０の数は、８よりも多くても、また
は少なくてもよく、単に運転する自動車を部分的に取り囲んでいればよい。また、第１領
域１４６から第８領域１６０は、自動車の直ぐ近傍の区域に対応していればよい。
また、第１領域１４６から第８領域１６０の各大きさは、他の自動車の動きや運転中の
自動車の動きに対して直接危険を及ぼす可能性がある、運転中の該自動車周りの領域をカ
バーするように、仮にまたはその他の方法で判定できる。例えば、第１領域１４６から第
３領域１５０は、運転している自動車が車線を変更したり、別の車線に方向を変えたり、
あるいは急ブレーキをかけたりするとき、該自動車に危険性を提示できる。
なお、第４領域１５２及び第５領域１５４にいる他の複数の自動車が、運転中の該自動
車が走行している車線、またはその車線に向きを変えることによって生じる、あるいは、
第４領域１５２及び第５領域１５４に係る車線に車線変更するか、または向きを変えよう
としている運転中の該自動車によって生じる危険を、運転中の該自動車に提示できる。ま
た、第６領域１５６から第８領域１６０にいる他の複数の自動車が、運転中の該自動車が
走行している車線に方向を向けたり、または急ブレーキをかけたりすることで生じる危険
を、運転中の該自動車に対して提示できる。
また、運転中に、自動車制御装置１０８は、固有の第１領域１４６から第８領域１６０
の各領域にいる、その他の複数の自動車に関する入力データを環境センサー１１２等から
受信する。こうして、前記環境センサー１１２は、周辺領域１４６から１６０の各領域に
いる他の複数の自動車の存在を検知する。運転中の該自動車のごく近傍にいる他の複数の
自動車を、前記環境センサー１１２及び／または前記自動車制御装置１０８が検知する方
法は公知であるので、その詳細については説明を省略する。なお、運転中の該自動車のご
く近傍にいる他の複数の自動車を検知する方法は、本明細書で説明する運転トレーニング
システム１００を用いて実行することができる。
また、前記環境センサー１１２及び／または前記自動車制御装置１０８が周辺領域１４
６から１６０の各領域に別の自動車が存在するか否かの情報を使用して、運転者に示され
る自動車周辺格子１２４を判定する。具体的には、別の自動車が存在する領域１４６から
１６０を表す周辺マーカー１２８−１４２が強調されるように、運転者に提示する前記自
動車周辺格子１２４は判定される。なお、別の自動車が存在しない（つまり、空の）領域
１２８−１４２にともなう周辺マーカー１２８−１４２は、強調をはずして薄暗く表示す
る。
例えば、図３及び図４（ａ）では、自動車Ａの前方右側である第６領域１５６及び前記
自動車領域１４４に、別の自動車Ｂがいるという例を示す。すなわち、自動車周辺格子１
２４は、第６領域１５６にともなう第６周辺マーカー１２８を強調するように判定する。
また、自動車不在領域である第１領域１４６から第５領域１５４、第７領域１５８及び第
８領域１６０に対応する、第１周辺マーカー１２８から第５周辺マーカー１３６、第７周
辺マーカー１４０及び第８周辺マーカー１４２は、薄暗く強調をはずして表示する。
前記自動車周辺格子１２４は、自動車周辺に他の自動車が存在するか、及びその位置を
運転者に通知する。例えば、運転者が回避操縦する方向にある安全地帯（つまり、他の車
がいない地帯）を通知する。なお、運転者が目にする環境に示される補強現実画像要素と
して、前記自動車周辺格子１２４は提示されるので、運転者は道路から目を離すことなく
、前記自動車周辺格子１２４を見ることができる。あるいは、計器盤及び／またはフロン
トガラスに表示された要素（つまり、フロントガラスに表示されたＨＵＤ画像要素など）
に焦点を合わせる必要もない。
また、運転中の自動車周辺における他の自動車の存在や位置を運転者に通知することに
加えて、自動車周辺格子１２４は、運転中の自動車（つまり自動車領域１４４）のごく近
傍（例えば、領域１４６−１６０など）に、他の車の台数が少なくなるように、運転行動
を指示する。こうして、運転中の自動車のごく近傍に他の車がいないときに（つまり、領
域１４６から領域１６０に車がいないときに）、相対的に安全な運転を行うことができる
。
また、自動車周辺格子１２４によって、運転中の自動車のごく近傍の他の車の存在や位
置を運転者に通知し、運転中の自動車のごく近傍における他の車の台数が減るように、運
転者を手助けする。さらに、自動車周辺格子１２４によって、運転中の自動車のごく近傍
における他の車の台数が減るように常に運転するよう、所定の時間を超えて運転者はトレ
ーニングを受ける。この結果、比較的安全に運転するよう、運転者は訓練されることにな
る。
また、自動車周辺格子１２４に指示された運転行動をさらに手助けするために（つまり
、運転中の自動車の直ぐ近傍における他の車の台数を減らすように）、追従制御部１０６
は、自動車周辺格子１２４によって提示された運転動作合図（つまり、自動車周辺格子の
運転動作合図）に対する現在の及び総計追従度合を連続的に判定する。前記の自動車周辺
格子の運転動作合図に対する現在の追従度合は、周辺マーカー１２６−１４２の総数に対
する、薄暗く強調をはずした周辺マーカー１２６−１４２の割合に基づく数値スコアとし
て判定される。
図３の例では、自動車周辺格子の運転動作合図に対する現在の追従度合は、８７．５％
として判定されている。ここで、強調されている周辺マーカー１２６−１６０の割合が減
少するにつれて（すなわち、他の車がいる領域１４６−１６０の数が減少するにつれて）
、自動車周辺格子の運転動作合図に対する現在の追従度合は増大する。
また、自動車周辺格子の運転動作合図に対する現在の追従度合を判定するときは、他の
因子を考慮してもよい。例えば、領域１４６−１６０及び周辺マーカー１２８−１４２の
一部に沿って、スコア計算を重み付けしてもよい。この意味で、第２領域１４８及び第７
領域１５８内に他の車がいることを避けることは、相対的にいってより重要である。この
結果、これら領域の重み付けは高い。例えば、第１領域１４８や第７領域１５８の重み付
けは、それぞれ２０％となり、他方、残りの６領域１４６、１５０、１５２、１５４、１
５６及び１６０の重み付けは、それぞれ１０％となる。
このように、重み付けしたスコアを用いて図３に例示するように、自動車周辺格子の運
転合図に対する現在の追従度合は９０％である。仮に、他の車Ｂが第２領域１４８ま
たは第７領域１５８のいずれかにいた場合には、自動車周辺格子の運転動作合図に対する
現在の追従度合は８０％であったであろう。この重み付けは、本出願の範囲内において、
別の方法にも使用できる。
また、追従制御部１０６は、自動車周辺格子の運転動作合図についての追従度合の総計
を続けて判定するようにも構成される。なお、自動車周辺格子の運転動作合図についての
追従度合の総計は、所定時間内における、自動車周辺格子の運転動作合図に対する現在の
追従度合の時間平均として判定してもよい。この判定方法について、以下に例示して説明
する。すなわち、前記の所定時間は１時間の運転をカバーする時間である。また、１時間
の運転中、前記の自動車周辺格子の運転動作合図に対する現在の追従度合は、３０分間が
１００％、次の１５分間が９０％、そして残り１５分間が８０％である。この結果、自動
車周辺格子の運転動作合図についての追従度合の総計は、９２．５％となる（つまり、［
０．５×１００］＋［０．２５×９０］＋［０．２５×８０］。
なお、所定時間（または、他の時間）における自動車周辺格子の運転動作合図に対する現在の追従度合に基づき、他の方法論を使用して、自動車周辺格子の運転動作合図についての追従度合の総計を求めてもよい。
また、追従制御部１０６は、自動車周辺格子の運転動作合図に対する現在の及び／また
は総計追従度合を、トレーニング制御部１０２及びＨＵＤ装置１０４の一方または両方に
通信できる。こうして、自動車周辺格子の運転動作合図に対する現在の及び／または総計
追従度合の一方または両方を、ＨＵＤ装置１０４を用いて、運転者に提示できる。
なお、自動車周辺格子の運転動作合図に対する現在の及び／または総計追従度合は、自動
車のフロントガラス１１６に画像要素を投影するＨＵＤ装置１０４により、自動車周辺格
子１２４とは別個の補強現実画像要素として提示することもできる。図３に示すように、
自動車周辺格子の運転動作合図についての追従度合の総計だけが、１６２におけるＨＵＤ
表示装置１０４により、運転者に提示される。
自動車周辺格子１２４と、連続して求めた自動車周辺格子の運転動作合図についての追従度合の総計とを提示することによって、一時の及び累積的フィードバックデータの両方
が、指示済みの運転行動と関連させながら運転者に提供される。従って、自動車の直ぐ近
傍にいる他の自動車の数が少なくするために、安全運転目標を設定し、且つ関与すること
を、運転者は推奨される。こうして、前記目標に運転者が関与することが増える。この結
果、運転者が関与することが増えるために、運転者トレーニングシステム１００は、運転
者が沈滞状態に陥ることを防ぐ。
さらに、自動車周辺格子１２４、及び自動車周辺格子の運転動作合図についての追従度合の総計が、補強現実画像要素として提示されるので、運転者は、道路から目を離す必要
もなく、あるいは、自動車周辺格子１２４並びに自動車周辺格子の運転動作合図について
の追従度合の総計を見るために運転者の焦点を合わせる必要もない。この結果、運転者が
注意散漫になることは、フロントガラスに画像要素を投影する計器盤、及び／またはＨＵ
Ｄ類を用いる方法に比べて、運転者が注意散漫になることが少なくなる。
ここで、図３及び図４（ａ）に示した例に戻る。運転者は、自動車周辺格子１２４と、
自動車周辺格子の運転動作合図についての追従度合の総計を見ている。自動車周辺格子の
運転動作合図についての追従度合の総計がより良いもものとなるように、運転中の自動車
の直ぐ近傍から他の自動車Ｂが取除かれるように、運転者は推奨され、指示を受ける。従
って、図４（ｂ）に示すように、運転中の自動車の直ぐ近傍から他の自動車Ｂがいなくな
るように（つまり、第６領域１５６からいなくなるように）、運転者は速度を落とすよう
に推奨され、指示を受ける。
図４（ｂ）で説明したシナリオに即した運転周辺格子１２４には、領域１４６−１６０
に他の車がもはや不在となる。こうして、周辺マーカー１２６−１４２は強調されなくな
り、自動車周辺格子の運転動作合図に対する現在の追従度合は、１００％として判定される。
次に、図５に示すように、合流運転動作合図は、運転者の視界中、自動車前方の地表焦
点面上に現れる補強現実画像要素として、ＨＵＤ装置１０４によって投影される合流ガイ
ド１６４により提示される。以下、更に詳細に説明するが、合流ガイド１６４は、所望の
合流経路に従うように、及び、ある車道に合流するときに好適な合流速度で進むように運
転行動を指示する運転動作合図を提示する。ここで、合流ガイド１６４は、合流経路ライ
ン１６６と、この合流経路ライン１６６に沿って動く合流速度マーカー１６８を有する。
合流路経路ライン１６６は、前記道路と合流する間、運転者に好適な合流経路を表示す
る。一方、合流速度マーカー１６８は、好適な合流速度で合流路経路ライン１６６に沿っ
て動き、合流経路に合流するための好適な速度を運転者に示す。
また、運転中、自動車制御装置１０８は、運転センサー１１０、環境センサー１１２、
及び／または任意のその他利用可能な機構から選ばれる任意のものから送られる入力デー
タを使用して、自動車が車道に合流するよう制御する。例えば、自動車制御装置１０８は
、ＧＰＳナビゲーションシステムとの通信を介して、車が車道と合流することを判定する
ように構成される。自動車制御装置１０８が車道との合流を一旦判定すると、自動車制御
装置１０８とトレーニング制御部１０２は、車線合流する間の好適な合流経路及び合流速
度を判定する。
自動車制御装置１０８は、好適な合流経路及び合流速度を、トレーニング制御部１０２
に伝達する。トレーニング制御部１０２は、自動車制御装置１０８が判定した好適な合流
経路及び合流速度に基づいて、合流ガイド１６４（つまり、合流路経路ライン１６６と合
流速度マーカー１６８）を判定する。
また、自動車制御装置１０８は、どの様な方法であれ、車線合流する間に運転する自動
車が従うべき好適な合流経路及び合流速度を判定する。例えば、自動車制御装置１０８は
、運転する自動車が合流しようとする車道上について、他の車の存在、位置、移動速度を
検知する環境センサー１１２等から受信した入力データに基づいて、車線合流する間に運
転する自動車が従うべき好適な合流経路及び合流速度を判定することができる。
なお、自動車制御装置１０８が好適な合流経路及び合流速度を判定する方法は、公知で
ある。従って、詳細な説明は省略する。トレーニング制御部１０２は、自動車制御装置１
０８と連動することなく、あるいは連動しながら、好適な合流経路及び／または合流速度
を判定してもよい
車線合流する間に運転する自動車が従うべき、好適な合流経路及び合流速度を自動車制
御装置１０８が一旦判定すると、こうした情報がトレーニング制御部１０２に伝達される
。ここで、前記の車線合流する間に運転する自動車が従うべき、好適な合流経路及び合流
速度に関する情報は、自動車の運転状態や周辺環境に関する情報である。
続いて、トレーニング制御部１０２は、自動車制御装置１０８が判定した好適な合流経
路に対応する路線となる合流経路ライン１６６を判定する。
続いて、ＨＵＤ装置１０４は、コンタクト・アナログ補強現実画像要素として、自動車
のフロントガラスに画像要素を投影することで、運転者の視界中自動車前方に、道路表面
上（つまり、地表焦点面）に映し出す、トレーニング装置１０２が判定した合流経路ライ
ン１６６及び合流速度マーカー１６８を提示する。上記のように、ＨＵＤ装置１０４は、
合流経路ライン１６６及び合流速度マーカー１６８を示すために、トレーニング制御部１
０２によって制御される。あるいは、トレーニング装置１０２は、合流経路ライン１６６
及び合流速度マーカー１６８に関する情報を発信するために、ＨＵＤ装置１０４（例えば
、その制御装置）と交信する。
図５に示すように、ＨＵＤ装置１０４が投影することで、運転者の視界中に合流経路ラ
イン１６６が地表面上に提示される。合流経路ライン１６６は、車道に合流する間、従う
べき好適な合流路を、運転者に提示する。さらに、合流速度マーカー１６８がＨＵＤ装置
１０４によって投影され、運転者の視界にある地表面上に提示される。合流経路ライン１
６６に応じた地表面に沿って走行するように、合流速度マーカー１６８が投影され、車道
と合流するための好適な合流速度を、視覚的に、つまり画像として運転者に提示する。こ
の画像によって、運転者は、自動車を走行させる。また、図５に示すように、運転者が合
流してゆく方向の車線に、合流速度マーカー１６８が示される。
この結果、車線合流時に好適な合流経路に沿い、且つ、好適な合流速度で走行するよう
な運転行動を示す合流運転動作合図を、合流ガイド１６４は提示する。こうして、好適な
合流経路にしたがって好適な合流速度で走行する間、前記車線に合流するように、運転者
を手助けする。この点、合流時、普通行われる態度であっても、正しくない運転者の性向
を減じさせる。しかし、進入ランプで、素早くかつスムースに速度を上げて、車線におけ
る走行速度に適合させ、複数の車の間に十分な間隔をもてるような最も近い車道を割り出
し、そして合流させることが、より安全な方法ある。スムースかつ素早く加速させるよう
に、及び、車線合流時に複数の車の間に十分な間隔をもてる最も近い車道内の地点をとる
ように、合流ガイド１６４は運転者を訓練させる。
また、合流ガイド１６４が指示した運転行動を手助けするため（つまり、合流時、好適
な合流経路に従い、好適な合流速度で走行するために）、合流ガイド１６４が提示した運
転合図（つまり、合流ガイドの運転動作合図）に対する現在の運転動作合図追従度合及び総計運転動作合図追従度合を、追従制御部１０６は続けて判定する。ここで、合流経路ライン１６６（つまり、好適な合流経路）からの自動車の位置変位と、合流速度マーカー１６８（つまり、好適な合流速度）に基づいて、合流ガイドの運転動作合図に対する現在の運転動作合図追従度合を判定することができる。
具体的には、合流経路ライン１６６及び合流速度マーカー１６８からの変位が減少する
につれて、合流経路ライン１６６が提示した運転動作合図に対する現在の追従度合が、増大するように判定される。
合流ガイド運転動作合図に対する現在の追従度合を判定するには、様々な方法が使用で
きるが、以下の式によって、１００点満点に対する点数（スコア）として合流ガイドの運
転合図に対する現在の追従度合を判定することができる。
[数１]
合流ガイド運転動作合図に対する現在の追従度合
Figure 0006412321
なお、上式において、
VD ＝ 好適合流速度
Ｖcurr ＝ 現在の合流速度
Ｘmax ＝ 好適合流経路ライン１６６からの所定最大位置の変位
Ｘcurr ＝ 好適合流経路ライン１６６から現在位置までの変位
Ｗv ＝ 速度変化に係る重み付け因子
Ｗp ＝ 位置変化に係る重み付け因子
Ｗv＋Ｗp ＝ １．０
である。
具体的には、追従制御部１０６はトレーニング制御部１０２と自動車制御装置１０８の
一方または両方と交信を行って、運転中の自動車の現在走行速度を求め、求めた値を現在
合流速度Ｖcurrとして用いる。前記の現在合流速度Ｖcurrは、自動車制御装置１
０８及び／またはトレーニング制御部１０２が求めた好適合流速度ＶＤと対比され、好適
合流速度との速度差が求められる。
また、合流経路ライン１６６（つまり、好適合流経路）からの自動車の位置変位を判定
するために、追従制御部１０６は、トレーニング制御部１０２と自動車制御装置１０８の
一方または両方と交信を行って、運転中の自動車の位置を判定する。続いて、追従制御部
１０６、トレーニング制御部１０２及び自動車制御装置１０８の中から少なくとも１つを
用い、運転中の自動車の位置と合流経路ライン１６６との間の距離を判定する。前記の距
離はＸcurrとして用いられて、好適合流経路１６６から現在位置までの変位となる。
また、現在位置変位Ｘcurrを所定最大位置変位Ｘmaxと比較して、位置変位因子
を判定する。なお、合流経路ライン１６６から測って、最大に取り得る、実行可能または
あり得る位置変位として、所定最大位置変位Ｘmaxを求めてもよい。
続いて、重み付け因子Ｗv及びＷpを速度変化因子及び位置変化因子に適用し、合流ガ
イドの運転動作合図に対する現在の追従度合として、スコア（点数）を判定する。なお、
前記重み付け因子Ｗv及びＷpは、速度及び位置変化を示す相対値として反映されるよう
に用いる。この点、位置変化よりも速度因子を、安全運転を行うための重要因子として考
慮する。従って、Ｗp値よりもＷv値の方を、大きな値として設定する。
次に、合流ガイドの運転動作合図に対する現在の追従度合の判定方法を説明する。先ず
、好適合流速度ＶDを６０ｍｐｈに、現在合流速度Ｖcurrを５４ｍｐｈに、好適な合
流経路ライン１６６から測った現在位置変位Ｘcurrを０．５メータに、所定の最大位
置変位Ｘmaxを２メーターと想定し、さらに、安全運転にとって速度変化の方が位置変
化よりも重要因子であると想定、例えば、Ｗｖ＝０．７，Ｗｐ＝０．３と想定して、全て
の重み付け因子を設定する。こうして設定した値を用いると、合流ガイドの運転動作合図
に対する現在の追従度合は８５．５として求められる。
また、現在合流速度Ｖcurrが好適合流速度ＶDに近づく（つまり、５４ｍｐｈから６
０ｍｐｈに増加する）につれて、及び／または、現在合流速度Ｖcurrが減少する（つ
まり、運転中の自動車の位置が合流経路ライン１６６に近づく）につれて、合流ガイドの
運転動作合図に対する現在の追従度合は増大する（逆もまた同様）。
また、追従制御部１０６は、合流ガイドの運転動作合図に対する追従度合の総計を続け
て判定するように構成される。前記の合流ガイドの運転動作合図に対する追従度合の総計
は、所定時間内における合流ガイドの運転動作合図に対する複数の現在追従度合の時間平
均として判定することができる。この判定方法は、先に説明した、自動車周辺格子の運転動作合図に対する総計追従度合を判定する方法と同様にして行うことができる。
また、追従制御部１０６は、トレーニング制御部１０２及びＨＵＤ表示装置１０４の一
方または両方に、合流ガイドの運転動作合図に対する現在の及び／または総計追従度合の
一方または両方が、ＨＵＤ表示装置１０４によって運転者に提示されるように、合流ガイ
ドの運転動作合図に対する現在の及び総計追従度合を送信することができる。なお、前記
の合流ガイドの運転動作合図に対する現在の及び／または総計追従度合は、運転中の自動
車のフロントガラス１１６に画像要素を投影するＨＵＤ装置１０４により、合流ガイドの
運転動作合図とは別個か、あるいは組入れて、補強現実画像要素として提示できる。
また、図５では、ＨＵＤ装置１０４によって、合流ガイドの運転動作合図に対する追従
度合の総計だけが運転者に１７２として提示されている。具体的には、１７２に示された
合流速度マーカー１６８の背景１７０に、合流ガイドの運転動作合図に対する追従度合の
総計が提示されている。あるいは、合流ガイドの運転動作合図に対する追従度合の総計を
、合流ガイド１６４の外側（つまり、合流経路ライン１６６と合流速度マーカー１６８の
外側）に、合流ガイド１６４とは別個に、または少なくとも最小限離して提示することも
できる。
また、合流ガイド１６４、及び合流ガイドの運転動作合図に対し連続的に判定した追従
度合の総計が提示されるために、指示された運転行動について、一時的及び累積的なフィ
ードバック情報を、運転手は得ることができる。従って、好適合流速度で好適合流経路に
従うことで、合流のために必要な安全運転目標を、運転者が設定できるよう手助けしても
らって運転することができる。こうして、安全運転目標に運転者は専念できる。
さらに、合流ガイド１６４と、合流ガイドの運転動作合図に対する追従度合の総計が、
補強現実画像要素として提示されるため、運転者は車道から目を離したり、あるいは、合
流ガイド１６４や、合流ガイドの運転動作合図に対する追従度合の総計に、自分の焦点を
合わせる必要がない。この結果、計器表示器及び／またはフロントガラスに画像要素を投
影するＨＵＤ類を用いることに比べて、運転者が注意散漫になることを少なくできる。
次に、図６では、車の前方に少なくとも１つの正面方向焦点面上、運転者の視界中
に現れる補強現実画像要素として、ＨＵＤ装置１０４によって投影される、譲合確認マー
カー１７４を用いる、譲合態度運転開始合図が示されている。以下に詳しく説明するが、
特定の経路や車道で、道を譲る運転行動を指示する運転動作合図を、前記譲合確認マーカ
ー１７４は提示する。こうして、前記譲合確認マーカー１７４が、運転中の車が道を譲ろ
うとする経路の少なくとも一部をカバーするように提示される。なお、前記譲合確認マー
カー１７４は、適宜道を譲るという運転行動を知らせる、符号、記号または言葉としての
形態をとることができる。
さらに、運転中、運転中の車が道を譲るべき、経路の存在、位置及び方向について、環
境センサー１１２等からの入力データを、自動車制御装置１０８は受信する。また、こう
した情報を、ＧＰＳナビゲーションシステムとの通信を用いて提示してもよい。さらに、
車道を横切るか横切ろうとしている歩行者や障害物（動物など）を識別し、自動車制御装
置１０８にこうした情報を伝達するように、環境センサー１１２は構成される。
また、前記情報を自動車制御装置１０８が用いることで、運転中の車が道を譲るべき経
路を識別し、及び、譲合確認マーカー１７４を提示するべき位置及び方向を判定すること
ができる。あるいは、前記情報を自動車制御装置１０８は、環境センサー１１２やＧＰＳ
ナビゲーションシステムなどから受信した入力データを、トレーニング制御部１０２に対
して伝達することもできる。この結果、トレーニング制御部１０２は、運転中の車が道を
譲るべき経路を識別し、及び、譲合確認マーカー１７４を提示するべき位置及び方向を判
定することができる。なお、前記の譲合確認マーカー１７４を提示するべき位置及び方向
を判定する方法は公知であるため、その詳細な説明は以下省略する。
また、前記の譲合確認マーカー１７４を表示する位置と方向は、トレーニング制御部１
０２により求められる、あるいは、トレーニング制御部１０２に伝達される。続いて、ト
レーニング制御部１０２は、求めた位置及び方向において表示する譲合確認マーカー１７
４を判定する。
なお、たとえ自動車制御装置１０８が判定し終えた場合であっても、自動車制御装置１
０８からトレーニング制御部１０２に伝達した、譲合確認マーカー１７４が判定済みの位
置並びに方向を、運転中の車の周辺環境に関する情報として用いることもできる。また、
前記の判定済み位置並びに方向に表示する譲合確認マーカー１７４を判定することに加え
て、譲合確認マーカー１７４として表示する一種の画像要素（例えば、符号や、色々な言
葉など）を、トレーニング制御部１０２が判定してもよい。
続いて、譲合確認マーカー１７４を補強現実画像要素として、好適な位置及び方向でＨ
ＵＤ装置１０４は提示する。具体的には、運転する車のフロントガラスに画像要素を投影
することにより、運転者の視界中に現れる補強現実画像要素として前記の譲合確認マーカ
ー１７４を、ＨＵＤ装置１０４は提示する。上記のように、ＨＵＤ装置１０４はトレーニ
ング制御部１０２によって制御され、譲合確認マーカー１７４を提示するか、あるいは、
トレーニング制御部１０２がＨＵＤ装置１０４（例えば、１０４の制御部）と交信して、
譲合確認マーカー１７４に関する情報を発信する。
図６の例では、運転中の車が通過しようとしている車道を横切っていく歩行者を認識し
ている。この結果、運転中の車と交差する車道を、道を譲るべき経路として認識できる。
トレーニング制御部１０２は、「道を譲ること」と記載された言葉として、譲合確認マー
カー１７４を判定する。なお、譲合確認マーカーの位置と方向は、少なくとも自動車制御
装置１０８及びトレーニング制御部１０２の一方あるいは両方によって判定され、交差す
る車道に進入してゆく位置及び方向が決められる。
この結果、トレーニング制御部１０２は、交差する車道のへの進入位置に沿って伸びる
、及び前記位置をカバーする位置並びに方向において、「道を譲ること」と表記した言葉
として譲合確認マーカー１７４を判定する。続いて、ＨＵＤ装置１０４は、トレーニング
制御部１０２が判定した譲合確認マーカー１７４を表示する。
こうして、マーカー１７４が表示される経路で道を譲りなさいという運転行動が前記譲
合確認マーカー１７４によって指示される。この結果、運転者は、自分が道を譲るべき経
路を通知され、その経路で道を譲るよう推奨される。このようにして、運転者の集中度が
向上する。
さらにまた、前記譲合確認マーカー１７４によって指示された運転行動を、より一層推
奨するために、追従制御部１０６は、前記譲合確認マーカー１７４が提示した運転動作合図（つまり、譲合確認マーカーの運転動作合図）に対する現在の追従度合を連続的に判定する。なお、前記経路で道を譲ることを示す運転行動を、運転者が取るか否かに基づいて、譲合確認マーカーの運転動作合図に対する現在の追従度合を判定することもできる。例えば、譲合確認マーカー１７４が提示された地点へ、運転する車が近づいてゆく間、前記自動車の速度が減少するにつれて、譲合確認マーカーの運転動作合図に対する現在の追従度合が増大するように判定してもよい。
さらに具体的にいえば、追従制御部１０６は、車の速度、位置、及び譲合確認マーカー
１７４の位置並びに方向に関連して、トレーニング制御部１０２及び自動車制御装置１０
８の一方あるいは両方から送られた入力データを受信できる。これら入力データは、運転
センサー１１０、環境センサー１１２、あるいは自動車制御装置１０８に含まれるか、ま
たは交信できる任意の他のセンサー類及び／または装置の中から選ばれる、１以上のもの
による検知結果に基づくものでもよい。
また、譲合確認マーカー１７４が表示される位置である第１所定範囲内（例えば、５０
０フィート（１５２メートル）、１０００フィート（３０５メートル）など）にいる自動
車の走行速度から、譲合確認マーカー１７４が表示される位置が入る第２所定範囲内（例
えば、２０フィート（６．１メートル）、１００フィート（３０．５メートル）など）に
いる自動車の走行速度にまで速度をおとす減速度のパーセント値として、譲合確認マーカ
ーの運転動作合図に対する現在の追従度合を判定することもできる。なお、前記第２所定範囲は、第１所定範囲よりも、前記の譲合確認マーカー１７４の方に近い。
例えば、運転する自動車が、第１所定範囲に進入し、第２所定範囲内に進入する以前ま
たは進入時に０ｍｐｈにまで減速するとき、もし２５ｍｐｈで走行しているならば、譲合
確認マーカーの運転動作合図に対する現在の追従度合は、１００％として判定される。また、１０ｍｐｈにまで減速するならば、譲合確認マーカーの運転動作合図に対する現在の追従度合は、６０％として判定される。
一方、全く減速しないならば、譲合確認マーカーの運転動作合図に対する現在の追従度合は、０％として判定される。なお、譲合確認マーカーの運転動作合図に対する現在の追従度合は、二元事象（道を譲る場合は１００％、道を譲らない場合は０％）として、及び／または本開示では明確に記載してはいない別法を用い、自動車の減速度に基づいて、追加あるいは代替して判定することができる。
また、追従制御部１０６は、譲合確認マーカーの運転動作合図に対する総計追従度合を
判定するように構成してもよい。ここで、前記の譲合確認マーカーの運転動作合図に対する総計追従度合は、所定時間内における譲合確認マーカーの運転動作合図に対する現在の追従度合の時間平均として判定することもできる。この判定方法は、先に述べた、自動車周辺格子の、及び／または自動車合流の運転動作合図に対する追従度合の総計を判定した方法と同様にして求められる。あるいは、所定時間内に行った全ての裁定（なお、各裁定とは譲合確認マーカー１７４を１つ提示することを意味する）の平均値を、自動車合流の運転動作合図に対する追従度合の総計として用いることもできる。
また、追従制御部１０６は、譲合確認マーカーの運転動作合図に対する現在の追従度合
及び／または総計した追従度合を、トレーニング制御部１０２及びＨＵＤ表示装置１０４
の一方または両方に送信できる。このようにすることで、譲合確認マーカーの運転動作合図に対する現在の追従度合及び総計した追従度合の一方または両方が、ＨＵＤ表示装置１
０４によって運転者に提示できる。なお、譲合確認マーカーの運転動作合図に対する現在及び／または総計した追従度合は、運転中の自動車のフロントガラス１１６に画像要素を
投影するＨＵＤ装置１０４によって、譲合確認マーカー１７４と合して、または別個のも
のとして、補強現実画像要素として提示される。なお、図６では、１７６に示す譲合確認
マーカー１７４とは別に、譲合確認マーカーの運転動作合図に対する追従度合の総計だけを、ＨＵＤ装置１０４は提示している。
譲合確認マーカー１７４と、譲合運転動作合図に対して連続的に判定した総計追従度合
が提示されることで、指示された運転行動に対する一時及び累積的フィードバック情報を
、運転者は受け取ることができる。従って、適宜道を譲るという安全運転目標を設定し、
集中するように運転者は援助されるので、前記安全運転目標への運転者の集中度が増す。
こうして、運転者の集中度が増すことによって、運転トレーニングシステム１００は、運
転者が注意散漫となることを防止できる。
さらに、譲合確認マーカー１７４及び譲合運転動作合図に対する追従度合の総計が、補
強現実画像要素として提示されるので、運転者は道路から目を離す必要がなく、あるいは
、前記の譲合確認マーカー１７４及び譲合運転動作合図に対する追従度合の総計を見るた
めに自分の焦点を合わせる必要もない。この結果、計器盤表示部及び／またはフロントガ
ラスに画像要素を投影するＨＵＤ装置を用いる場合に比べて、運転者が注意散漫になるこ
とを防止できる。
次に、先に説明してきた運転者トレーニングシステム１００による運転者トレーニング
方法を、図７にフローチャートとしてまとめた。この方法は、自動車制御装置１０８から
受信した入力データに基づいて運転者に提示される運転動作合図を、トレーニング制御部
１０２が判定する工程と、ＨＵＤ表示装置１０４が前記運転動作合図を運転者に提示する
工程（Ｓ１０）とを含む。運転者トレーニングシステム１００に関する先の説明では、自
動車制御装置１０８からトレーニング制御部１０２送信したどのような入力データも、自
動車の運転状態や周辺環境に関する入力データとなりえる。続いて、追従制御部１０６は
、運転動作合図に対する現在の追従度合を連続的に判定し（Ｓ３０）、及び運転動作合図に対する追従度合の総計を連続して判定する（Ｓ４０）。
こうして、運転動作合図に対する追従度合の総計を、運転動作合図とは別個の補強現実画像要素として運転者に提示することができる。あるいは、ＨＵＤ表示装置１０４以外の、例えば、自動車の表示部品として使われるセンターダッシュディスプレーやダッシュパネルなどの機構によって、前記の追従度合の総計を表示してもよい。
なお、繰り返して説明するが、運転動作合図に対する現在の追従度合及び総計した追従度合は、追従制御部１０６によって連続的に判定される。さらに、ＨＵＤ装置１０４は、
運転動作合図に対して連続的に総計した追従度合を（及び／または運転動作合図に対する現在の追従度合）を表示するように構成される。
従って、運転者に提示される運転動作合図に対する追従度合は、運転者の態度に基づい
てリアルタイムで変化する。この結果、前記運転動作合図に従って運転しているときは、
肯定的なフィードバックを受けるが、他方、前記運転動作合図に従って運転していないと
きは、否定的なフィードバックを受ける。このフィードバックにより、目標設定が助長さ
れるので、運転者はより一層運転に集中できる。
ここで、上記のように、運転者トレーニングシステム１００は、運転動作合図に対する
追従度合の総計だけを表示する。なぜならば、運転動作合図自体によって、運転動作合図に対する現在の追従度合を、運転者は判定できるからである。なお、運転動作合図に対する追従度合の総計が提示されるので、運転者は、運転行動全体に関するフィードバックも受けて、常に安全運転するように手助けされ／トレーニングされる。
また、上記で説明した全ての運転動作合図は、ＨＵＤ装置１０４によって、運転者に同時に提示することができる。また、別の、及び／または追加の運転動作合図が、運転者に提示される。なお、運転者に提示された特定の運転動作合図は、上記で説明したものと異なっていてもよい。さらに、如何なる運転動作合図についての現在の追従度合及び総計した追従度合も、上記で説明した方法とは別法を使用しても判定できる。事実、前記の運転動作合図に対する現在の追従度合及び総計した追従度合を判定する上記方法は、単なる例示にすぎず、本開示の範囲を逸脱することなく、任意に変更することができる。
さらに、追従制御部１０６は、全運転動作合図に対する主たる現在の追従度合と、全運転動作合図に対する主たる総計追従度合とを判定するように構成される。ここで、前記の主たる現在及び総計追従度合は、提示された全運転動作合図に対する運転者の追従度合を示すものである。なお、全運転動作合図に対する主たる現在の及び主たる総計追従度合の一方または両方は、ＨＵＤ装置１０４が表示した補強現実画像要素として、運転者に提示される。
さらにまた、任意の運転動作合図に対する現在の及び／または総計追従度合を、Ａ−Ｆ
などの文字で、または、算定したスコアに応じて、最良、良、注意などの所定の文言で判
定してもよい。この結果、運転動作合図に対する現在の及び／または総計追従度合を、色
別に提示してもよい。例えば、緑色の文字で、高または良のスコアを示し、黄色の文字で
、低または不良のスコアを示す。例えば、合流速度マーカー１６８の背景１７０の色を変
えることで、運転者を手助けして、加速（つまり緑色にする）あるいは減速（つまり黄色
または赤色にする）させる。また、別の例では、前記現在の及び／または総計追従度合を
、０％から１００％までの範囲で変化するプログレス・バーやプログレス・ダイアルを使
用して表示できる。
以上述べてきた開示内容、特徴及び機能を、様々に設計変更したり、または別の形態や
変形したりして、他の別システム類やアプリケーション類と好適に組み合わせることがで
きる。また、予想または予期できない別の形態、設計変更、変形例や改良物も、当業者に
よって作成可能であると思われるが、これらの内容は以下に記載した請求の範囲に包含さ
れるものである。

Claims (19)

  1. 運転者トレーニングシステムであって、
    運転する自動車の制御装置から受信した前記自動車の運転状態及び周辺環境に関する入力データに基づいて、運転動作合図を判定するように構成したトレーニング制御部と、
    運転者に示した前記運転動作合図に対する現在の追従度合を連続的に判定するように構成した運転動作合図追従制御部と、
    前記自動車のフロントガラスに画像要素を投影して、前記自動車の運転手の視界中に補
    強現実画像要素として運転動作合図を提示するように構成した警告表示装置とを有し、
    前記運転動作合図は、前記運転する自動車の直ぐ近傍にいる他の自動車の位置による重み付けに基づいて運転行動を指示すること
    を特徴とする運転者トレーニングシステム。
  2. 請求項１に記載のシステムであって、
    前記運転動作合図は、前記運転行動を指示すると共に、前記運転する自動車の直ぐ近傍にいる他の自動車の数が減少するように前記運転行動を指示する自動車周辺運転動作合図と、車線合流時に好適な合流経路に従い且つ好適な合流速度で走行するように前記運転行動を指示する合流運転動作合図と、特定の経路で道を譲るように前記運転行動を指示する譲合運転動作合図とから選ばれる少なくとも１つの運転動作合図であり、
    前記運転動作合図追従制御部は、前記トレーニング制御部と交信すると共に、前記
    トレーニング制御部が受信した入力に基づいて、前記運転動作合図によって指示した運転
    行動と実際の運転行動との差異に基づいて運転者に示した前記運転動作合図に対する現在
    の追従度合を連続的に判定するように構成したことを特徴とするシステム。
  3. 請求項１に記載のシステムであって、
    前記運転動作合図追従制御部は、所定時間内における前記運転動作合図について連続的に判定した現在の追従度合に基づいて前記運転動作合図に対する追従度合の総計を連続的に判定するように構成し、
    前記警告表示装置は、前記自動車のフロントガラスに画像要素を投影することで、運転
    者の視界中に前記運転動作合図に対して連続的に判定した前記の追従度合の総計を提示するように構成したことを特徴とするシステム。
  4. 請求項３に記載のシステムであって、前記運転動作合図について連続的に判定した前記追従度合の総計が、前記運転動作合図とは別個の補強現実画像要素として提示されることを特徴とするシステム。
  5. 請求項３に記載のシステムであって、前記所定時間には、運転する自動車を最も直近に作動させた時から現在までの時間間隔と、前記自動車を最初に作動させた時から現在までの時間間隔と、前記運転者トレーニングシステムをリセットした時から現在までの時間間隔とから選ばれる少なくとも１つの時間間隔が含まれることを特徴とするシステム。
  6. 請求項１に記載のシステムであって、
    前記運転動作合図は、前記運転する自動車の直ぐ近傍にいる他の自動車の数が減少するように運転行動を指示する自動車周辺格子であって、前記自動車周辺格子は、自動車表示マーカー及び前記自動車表示マーカーを少なくとも一部取り囲む、複数の周辺マーカーを含み、
    前記自動車表示マーカーは前記運転する自動車を表し、
    前記複数の周辺マーカーは各々該自動車を取り囲む固有領域を表し、
    前記トレーニングシステムが前記自動車制御装置から受信した前記入力は、該自動車を
    取り囲む各固有領域が別の自動車によって占有されているか否かを示し、
    前記トレーニング制御部は、前記の示された固有領域が別の自動車に占有されていると
    き、前記複数の周辺マーカーの各々が強調されるように、前記自動車周辺マーカーを判定
    するように構成され、
    前記警告表示装置は、前記運転する自動車のフロントガラスに画像要素を投影することで、運転者の視界にある天空焦点面上に現れる補強現実画像要素として、前記トレーニング制御部が判定する前記自動車周辺格子を提示するように構成され、
    前記運転動作合図追従制御部は、強調された複数の周辺マーカーの割合が減少するにつれて増大する、前記自動車周辺格子に対する前記の現在追従度合を連続的に判定するように構成されることを特徴とするシステム。
  7. 請求項６に記載のシステムであって、
    前記運転動作合図追従制御部は、所定の期間内において前記自動車周辺格子に対して連
    続的に判定した現在追従度合に基づいて、前記自動車周辺格子に対する総計追従度合を連
    続的に判定するように構成され、
    前記警告表示装置は、前記運転する自動車のフロントガラスに画像要素を投影することで、前記自動車周辺格子とは別個の補強現実画像として、前記の自動車周辺格子に対して連続的に判定した前記の総計追従度合を提示するように構成されることを特徴とするシステム。
  8. 請求項１に記載のシステムであって、
    前記運転動作合図は、車線に合流するとき、好適な合流経路に沿って好適な合流速度で走行するように運転行動を指示する合流ガイドであり、前記合流ガイドは合流経路ライン及び合流速度マーカーを有し、前記合流経路ラインは好適な合流経路を示し、前記合流速度マーカーは前記好適な合流速度で前記合流経路ラインに沿って移動することを特徴とし、
    前記自動車制御装置から前記トレーニング制御部が受信した前記入力は、前記の好適な
    合流経路及び好適な合流速度を示し、前記トレーニング制御部は受信した入力によって示
    された前記好適な合流経路及び好適な合流速度に基づいて、前記好適な合流経路ライン及
    び好適な合流速度マーカーを判定するように構成され、
    前記警告表示装置は、前記運転する自動車のフロントガラスに画像要素を投影することによって、運転者の視界において路面上に自動車周辺環境を前記運転者に直接示すコンタクト・アナログ補強現実画像要素として、前記トレーニング制御部が判定する前記合流経路ライン及び合流速度マーカーを提示するように構成され、
    前記運転動作合図追従制御部は、前記合流経路ラインからの前記運転する自動車の位置変位と、前記合流速度マーカーからの該自動車の速度変化が減少するにつれて増大する、前記合流ガイドに対する前記の現在追従度合を連続的に判定するように構成されることを特徴とするシステム。
  9. 請求項８に記載のシステムであって、
    前記運転動作合図追従制御部は、所定の時間内において連続的に判定した現在追従度合
    に基づいて、前記合流ガイドに対する総計追従度合を連続的に判定するように構成され、
    前記警告表示装置は、前記運転する自動車のフロントガラスに画像要素を投影することによる補強現実画像要素としての前記合流ガイドについて連続的に判定した総計追従度合を提示するように構成されることを特徴とするシステム。
  10. 請求項１に記載のシステムであって、
    前記運転動作合図は、特定の経路で道を譲るように運転行動を指示する譲合確認マーカ
    ーであるとともに、前記運転する自動車が道を譲ろうとする前記経路の少なくとも一地点をカバーするように提示され、
    前記自動車制御装置から前記トレーニングシステムが受信した入力によって、該自動車
    を取り囲む環境中に、前記譲合確認マーカーがある前記の地点及び方向が提示され、前記
    トレーニング制御部は、前記の受信入力が提示した前記地点及び方向にくる前記譲合確認
    マーカーを判定し、
    前記警告表示装置は、前記運転する自動車のフロントガラスに画像要素を投影することによって、前記トレーニング制御部が判定した前記譲合確認マーカーを、運転者の視界中で前方焦点面上に現れる補強現実画像要素として提示するように構成され、
    前記運転動作合図追従制御部は、前記運転する自動車が前記譲合確認マーカーに接近する間に、該自動車の速度が減少するにつれて増大する、前記譲合確認マーカーに対する前記現在追従度合を連続的に判定するように構成されることを特徴とするシステム。
  11. 請求項１０に記載のシステムであって、
    前記運転動作合図追従制御部は、所定の時間内における前記譲合確認マーカーに対する
    前記の現在追従度合に基づいて、前記譲合確認マーカーに対する総計追従度合を連続的に
    判定するように構成され、
    前記警告表示装置は、前記運転する自動車のフロントガラスに画像要素を投影することによって、運転者の視界中で前方焦点面上に現れる補強現実画像要素として、前記譲合確認マーカーに対して連続的に判定した総計追従度合を提示するように構成されることを特徴とするシステム。
  12. 請求項１に記載のシステムであって、
    前記トレーニング制御部は複数の運転動作合図を判定するように構成され、前記警告表
    示装置は前記運転する自動車の運転者の視界中に、前記複数の運転動作合図を補強現実画像要素として提示するように構成され、
    前記複数の運転動作合図の１つは、前記運転する自動車の直ぐ近傍にいる自動車の数が減少するように、運転行動を指示する自動車周辺格子であるとともに、前記自動車周辺格子は自動車表示マーカーと及び前記自動車表示マーカーを少なくとも一部取り囲む複数の周辺マーカーとを示し、前記自動車表示マーカーは前記運転する自動車を表し、前記複数の周辺マーカーは各々該自動車を取り囲む固有領域をそれぞれ表すことを特徴とし、
    前記自動車制御装置から前記トレーニングシステムが受信した前記入力は、前記運転する自動車を取り囲む固有領域が別の自動車によって占有されているか否かを示し、前記トレーニング制御部は、前記の示された固有領域が別の自動車によって占有されているとき、前記複数の周辺マーカーの各々が強調されるように、前記自動車周辺格子を判定するように構成され、
    前記警告表示装置は、前記運転する自動車のフロントガラスに画像要素を投影することによって、運転者の視界中で天空焦点面上に現れる補強現実画像要素として、前記トレーニング制御部が判定した前記自動車周辺格子を提示するように構成されることを特徴とするシステム。
  13. 請求項１に記載のシステムであって、
    前記トレーニング制御部は複数の運転動作合図を判定するように構成され、前記警告表
    示装置は前記運転する自動車の運転者の視界中に、前記複数の運転動作合図を補強現実画像要素として提示するように構成され、
    前記複数の運転動作合図の１つは、車線に合流するとき、好適な合流経路に沿って好適
    な合流速度で走行するように運転行動を指示する合流ガイドであり、前記合流ガイドは合
    流経路ライン及び合流速度マーカーを有し、前記合流経路ラインは好適な合流経路を示し
    、前記合流速度マーカーは前記好適な合流速度で前記合流経路ラインに沿って移動するこ
    とを特徴とし、
    前記自動車制御装置から前記トレーニング制御部が受信した前記入力は、前記の好適な
    合流経路及び好適な合流速度を示し、前記トレーニング制御部は受信した入力によって示
    された前記好適な合流経路及び好適な合流速度に基づいて、前記好適な合流経路ライン及
    び好適な合流速度マーカーを判定するように構成され、
    前記警告表示装置は、前記運転する自動車のフロントガラスに画像要素を投影することによって、前記トレーニング制御部が判定する前記合流経路ライン及び合流速度マーカーを、運転者の視界において路面上に前記運転者に直接示すコンタクト・アナログ補強現実画像要素として提示するように構成されることを特徴とするシステム。
  14. 請求項１に記載のシステムであって、
    前記トレーニング制御部は複数の運転動作合図を判定するように構成され、前記警告表
    示装置は前記運転する自動車の運転者の視界中に、前記複数の運転動作合図を補強現実画像要素として提示するように構成され、
    前記複数の運転動作合図の１つは、特定の経路で道を譲るように運転行動を指示する譲
    合確認マーカーであるとともに、前記運転する自動車が道を譲ろうとする前記経路の少なくとも一地点をカバーするように提示され、
    前記自動車制御装置から前記トレーニングシステムが受信した前記入力によって、該自
    動車を取り囲む環境中に、前記譲合確認マーカーの地点及び方向が提示され、前記トレー
    ニング制御部は、前記の受信入力が提示した前記地点及び方向にくる前記譲合確認マーカ
    ーを判定し、
    前記警告表示装置は、前記運転する自動車のフロントガラスに画像要素を投影することによって、運転者の視界中で前方焦点面上に現れる補強現実画像要素として前記トレーニング制御部が判定した前記譲合確認マーカーを提示するように構成されることを特徴とするシステム。
  15. 請求項１２に記載のシステムであって、
    前記複数の運転動作合図の１つは、車線に合流するとき、好適な合流経路に沿って好適
    な合流速度で走行するように運転行動を指示する合流ガイドであり、前記合流ガイドは合流経路ライン及び合流速度マーカーを有し、前記合流経路ラインは好適な合流経路を示し、前記合流速度マーカーは前記好適な合流速度で前記合流経路ラインに沿って移動することを特徴とし、
    前記自動車制御装置から前記トレーニング制御部が受信した前記入力は、前記の好適な
    合流経路及び好適な合流速度を示し、前記トレーニング制御部は受信した入力によって示
    された前記好適な合流経路及び好適な合流速度に基づいて、前記好適な合流経路ライン及
    び好適な合流速度マーカーを判定するように構成され、
    前記警告表示装置は、前記運転する自動車のフロントガラスに画像要素を投影することによって、前記トレーニング制御部が判定する前記合流経路ライン及び合流速度マーカーを、運転者の視界において路面上に自動車周辺環境を前記運転者に直接示すコンタクト・アナログ補強現実画像要素として提示するように構成されることを特徴とするシステム。
  16. 請求項１５に記載のシステムであって、
    前記複数の運転動作合図の１つは、特定の経路で道を譲るように運転行動を指示する譲
    合確認マーカーであるとともに、前記運転する自動車が道を譲ろうとする前記経路の少なくとも一地点をカバーするように提示され、
    前記自動車制御装置から前記トレーニングシステムが受信した入力によって、該自動車
    を取り囲む環境中に、前記譲合確認マーカーの地点及び方向が提示され、前記トレーニン
    グ制御部は、前記の受信入力が提示した前記地点及び方向にくる前記譲合確認マーカーを
    判定し、
    前記警告表示装置は、前記運転する自動車のフロントガラスに画像要素を投影することによって、運転者の視界中で前方焦点面上に現れる補強現実画像要素として前記トレーニング制御部が判定した前記譲合確認マーカーを提示するように構成されることを特徴とするシステム。
  17. 自動車に搭載した運転者トレーニングシステムに用いる運転動作合図追従制御部であって、前記運転動作合図追従制御部は少なくとも１つのプロセッサを有し、
    前記プロセッサは、前記自動車の運転状態及び周辺の環境に関する入力を受信し、運転行動を指示する補強現実画像要素として、前記自動車の運転者に示された運転動作合図に関する入力を受信し、
    前記運転動作合図は、運転する前記自動車の直ぐ近傍にいる他の自動車の位置による重み付けに基づいて運転行動を指示し、
    前記自動車の運転状態、周辺環境、及び前記自動車に提示した運転動作合図として受信
    した前記入力に基づいて、運転者に示した前記の運転動作合図に対する現在の追従度合を
    連続的に判定し、
    所定の時間内における前記運転動作合図に対して連続的に判定した、前記現在の追従度
    合に基づいて、前記運転動作合図に対する総計追従度合を連続的に判定することを特徴と
    する。
  18. 請求項１７に記載の運転動作合図追従制御部であって、
    前記運転動作合図は、
    前記自動車の直ぐ近傍にいる他の自動車の数が減少するように運転行動を指示する自動
    車周辺運転動作合図と、
    車線合流時に好適な運転合流経路に従い且つ好適な合流速度で走行するように運転行動を指示する合流運転動作合図と、
    特定の経路で道を譲るように運転行動を指示する譲合運転動作合図とから選ばれる少なくとも１つの運転動作合図であり、
    前記運転動作合図追従制御部は、前記運転動作合図によって指示した運転行動と、実際の運転行動との差異に基づいて、前記運転動作合図に対する現在の追従度合を連続的に判定するように構成したことを特徴とする運転動作合図追従制御部。
  19. 運転者トレーニング方法であって、前記方法は、
    警告表示装置によって、運転者に運転行動を、補強現実画像要素として指示する運転動作合図を提示する工程であって、前記運転動作合図は、運転する自動車の直ぐ近傍にいる他の自動車の位置による重み付けに基づいて運転行動を指示し、
    前記運転動作合図によって指示した運転行動と実際の運転行動との差異を監視することで、運転者に示した前記の運転動作合図に対する現在の追従度合を連続的に判定する工程、
    所定時間内において判定した前記運転動作合図に対する前記現在の追従度合に基づいて
    運転者に示した前記運転動作合図に対する追従度合の総計を連続的に判定する工程、
    警告表示装置によって前記運転動作合図とは別個の補強現実画像要素として運転者に示
    した前記運転動作合図に対する前記追従度合の総計を提示する工程を有し、
    前記運転動作合図を提示する工程、前記現在の追従度合を判定する工程、前記追従度合の総計を判定する工程、および、前記追従度合の総計を提示する工程の少なくとも一つは、少なくとも一つの運転センサおよび少なくとも一つの環境センサから受信した入力データに基づいており、コンピュータの処理装置によって実行されることを特徴とする方法。
JP2014048389A 2013-03-15 2014-03-12 現実画像要素を補強した警告表示装置を使用する運転者トレーニングシステム Active JP6412321B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/832,209 US9251715B2 (en) 2013-03-15 2013-03-15 Driver training system using heads-up display augmented reality graphics elements
US13/832,209 2013-03-15

Publications (3)

Publication Number Publication Date
JP2014182820A JP2014182820A (ja) 2014-09-29
JP2014182820A5 JP2014182820A5 (ja) 2018-05-10
JP6412321B2 true JP6412321B2 (ja) 2018-10-24

Family

ID=51528599

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014048389A Active JP6412321B2 (ja) 2013-03-15 2014-03-12 現実画像要素を補強した警告表示装置を使用する運転者トレーニングシステム

Country Status (2)

Country Link
US (1) US9251715B2 (ja)
JP (1) JP6412321B2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
FR3005361B1 (fr) * 2013-05-06 2018-05-04 Dassault Aviation Dispositif d'aide au pilotage propre a afficher une animation et procede associe
KR101459908B1 (ko) * 2013-05-20 2014-11-07 현대자동차주식회사 안전운전유도 게임 장치 및 방법
US10295338B2 (en) 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
JP6409337B2 (ja) * 2014-05-23 2018-10-24 日本精機株式会社 表示装置
JP6661883B2 (ja) * 2015-02-09 2020-03-11 株式会社デンソー 車両用表示制御装置及び車両用表示制御方法
JP6443122B2 (ja) 2015-02-24 2018-12-26 日本精機株式会社 車両用表示装置
JP6512016B2 (ja) * 2015-07-27 2019-05-15 日本精機株式会社 車両用表示装置
JP6344419B2 (ja) * 2016-03-31 2018-06-20 マツダ株式会社 運転支援装置
JP6409810B2 (ja) * 2016-03-31 2018-10-24 マツダ株式会社 運転支援装置
CA2976543A1 (en) 2016-08-23 2018-02-23 8696322 Canada Inc. System and method for augmented reality head up display for vehicles
US10134279B1 (en) 2017-05-05 2018-11-20 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for visualizing potential risks
US11244579B2 (en) * 2017-06-15 2022-02-08 Faac Incorporated Driving simulation scoring system
US10748426B2 (en) 2017-10-18 2020-08-18 Toyota Research Institute, Inc. Systems and methods for detection and presentation of occluded objects
US10664673B2 (en) 2018-03-29 2020-05-26 Midlab, Inc. Training system for use with janitorial and cleaning products
US10990777B1 (en) * 2018-03-29 2021-04-27 Midlab, Inc. Method for interactive training in the cleaning of a room
CN108528341B (zh) * 2018-05-14 2020-12-25 京东方科技集团股份有限公司 用于演示车载抬头显示装置的功能的方法
CN108648480B (zh) * 2018-05-20 2022-09-02 中佳盛建设股份有限公司 一种基于混合现实的道路隔离模型显示方法及存储介质
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US11600173B2 (en) * 2019-07-10 2023-03-07 Volkswagen Ag Devices, systems, and methods for driving incentivization
US10885819B1 (en) * 2019-08-02 2021-01-05 Harman International Industries, Incorporated In-vehicle augmented reality system
US11062483B1 (en) 2020-01-15 2021-07-13 Bank Of America Corporation System for dynamic transformation of electronic representation of resources
CN114120787A (zh) * 2021-11-23 2022-03-01 中国航空工业集团公司洛阳电光设备研究所 室内体验车载ar-hud模拟器的装置

Family Cites Families (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6483424A (en) 1987-09-25 1989-03-29 Honda Motor Co Ltd Indicator for vehicle
NL8901695A (nl) 1989-07-04 1991-02-01 Koninkl Philips Electronics Nv Werkwijze voor het weergeven van navigatiegegevens voor een voertuig in een omgevingsbeeld van het voertuig, navigatiesysteem voor het uitvoeren van de werkwijze, alsmede voertuig voorzien van een navigatiesysteem.
US5368309A (en) 1993-05-14 1994-11-29 The Walt Disney Company Method and apparatus for a virtual video game
DE4319904C2 (de) 1993-06-16 2002-11-28 Siemens Ag Warngerät zum Anzeigen einer Information in einem Vehikel
US5440428A (en) 1993-09-30 1995-08-08 Hughes Aircraft Company Automotive instrument 3-D virtual image display
US7630806B2 (en) 1994-05-23 2009-12-08 Automotive Technologies International, Inc. System and method for detecting and protecting pedestrians
US7209221B2 (en) 1994-05-23 2007-04-24 Automotive Technologies International, Inc. Method for obtaining and displaying information about objects in a vehicular blind spot
JPH097087A (ja) * 1995-06-16 1997-01-10 Aqueous Res:Kk 案内装置
US6285317B1 (en) 1998-05-01 2001-09-04 Lucent Technologies Inc. Navigation system with three-dimensional display
DE19940723A1 (de) 1999-08-27 2001-03-08 Daimler Chrysler Ag Verfahren zur Anzeige eines perspektivischen Bildes und Anzeigevorrichtung für mindestens einen Insassen eines Fahrzeugs
US8686922B2 (en) 1999-12-15 2014-04-01 American Vehicular Sciences Llc Eye-location dependent vehicular heads-up display system
US7920102B2 (en) 1999-12-15 2011-04-05 Automotive Technologies International, Inc. Vehicular heads-up display system
DE10030813B4 (de) 2000-06-23 2004-02-12 Daimlerchrysler Ag Aufmerksamkeitssteuerung für Bediener einer technischen Einrichtung
JP4698002B2 (ja) * 2000-07-11 2011-06-08 マツダ株式会社 車両の表示装置
DE10037573B4 (de) 2000-08-02 2005-05-19 Robert Bosch Gmbh Navigationsverfahren in einem Kraftfahrzeug
JP2002048583A (ja) 2000-08-03 2002-02-15 Pioneer Electronic Corp 表示装置
US7565230B2 (en) 2000-10-14 2009-07-21 Temic Automotive Of North America, Inc. Method and apparatus for improving vehicle operator performance
JP3675330B2 (ja) 2000-11-07 2005-07-27 日産自動車株式会社 車両用表示装置及び表示装置を有する自動車
US20020105423A1 (en) 2000-12-05 2002-08-08 Rast Rodger H. Reaction advantage anti-collision systems and methods
JP2002225586A (ja) * 2001-02-05 2002-08-14 Nissan Motor Co Ltd 車両の安全運転度記録装置
DE10130046A1 (de) 2001-06-21 2003-01-02 Volkswagen Ag Verfahren und Vorrichtung zum Visualisieren von Daten
US6559761B1 (en) * 2001-10-05 2003-05-06 Ford Global Technologies, Llc Display system for vehicle environment awareness
US7124027B1 (en) 2002-07-11 2006-10-17 Yazaki North America, Inc. Vehicular collision avoidance system
DE10236221C1 (de) 2002-08-07 2003-11-20 Siemens Ag Verfahren und Vorrichtung zur Anzeige von Navigationsinformationen für ein Fahrzeug
DE10245334A1 (de) 2002-09-27 2004-04-08 Robert Bosch Gmbh Navigationsvorrichtung
JP4578795B2 (ja) 2003-03-26 2010-11-10 富士通テン株式会社 車両制御装置、車両制御方法および車両制御プログラム
US7343232B2 (en) 2003-06-20 2008-03-11 Geneva Aerospace Vehicle control system including related methods and components
US7821421B2 (en) * 2003-07-07 2010-10-26 Sensomatix Ltd. Traffic information system
US20050071082A1 (en) 2003-09-30 2005-03-31 Mazda Motor Corporation Route guidance apparatus, method and program
JP4192753B2 (ja) * 2003-10-21 2008-12-10 日産自動車株式会社 車両用表示装置
ATE552478T1 (de) 2004-06-03 2012-04-15 Making Virtual Solid L L C Navigationsanzeigeverfahren und vorrichtung für unterwegs unter verwendung eines head-up-displays
JP5201189B2 (ja) * 2004-06-11 2013-06-05 日産自動車株式会社 運転支援装置および運転支援方法
JP4899340B2 (ja) 2004-08-02 2012-03-21 日産自動車株式会社 運転感覚調整装置及び運転感覚調整方法
JP2008508621A (ja) 2004-08-03 2008-03-21 シルバーブルック リサーチ ピーティワイ リミテッド ウォークアップ印刷
JP2006072830A (ja) 2004-09-03 2006-03-16 Aisin Aw Co Ltd 運転支援システム及び運転支援モジュール
JP2006112962A (ja) 2004-10-15 2006-04-27 Aisin Aw Co Ltd 運転支援方法及び運転支援装置
WO2006067855A1 (ja) 2004-12-24 2006-06-29 Navitime Japan Co., Ltd. 先導経路案内システム、携帯型経路先導案内装置およびプログラム
JP2006284458A (ja) * 2005-04-01 2006-10-19 Denso Corp 運転支援情報表示システム
JP2006309552A (ja) 2005-04-28 2006-11-09 Denso Corp 車両用表示装置
US20060262140A1 (en) 2005-05-18 2006-11-23 Kujawa Gregory A Method and apparatus to facilitate visual augmentation of perceived reality
JP4743496B2 (ja) * 2005-07-08 2011-08-10 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置及びナビゲーション方法
JP2007200274A (ja) * 2005-09-14 2007-08-09 Denso Corp 合流支援装置及び合流支援システム
JP4534922B2 (ja) 2005-09-16 2010-09-01 株式会社デンソー 仮想先行車画像表示システム
JP2007132870A (ja) 2005-11-11 2007-05-31 Pioneer Electronic Corp ナビゲーション装置、コンピュータプログラム、画面制御方法及び測定間隔制御方法
JP4935145B2 (ja) 2006-03-29 2012-05-23 株式会社デンソー カーナビゲーション装置
DE602007003047D1 (de) 2006-05-30 2009-12-17 Mazda Motor Fahrassistent für ein Fahrzeug
JP5076468B2 (ja) 2006-12-01 2012-11-21 株式会社デンソー 通信型ナビゲーションシステム、車両ナビゲーション装置及びセンター装置
DE102006057428A1 (de) 2006-12-06 2008-06-12 Robert Bosch Gmbh Zielführungsverfahren und Anordnung zur Durchführung eines solchen sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
DE102007012589B4 (de) 2007-03-13 2009-03-19 Schwab, Martin, Dipl.-Ing. Optikbaueinheit
US8622831B2 (en) 2007-06-21 2014-01-07 Microsoft Corporation Responsive cutscenes in video games
JP4450028B2 (ja) 2007-07-23 2010-04-14 株式会社デンソー 経路案内装置
DE102008051757A1 (de) 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
US9665910B2 (en) 2008-02-20 2017-05-30 Hartford Fire Insurance Company System and method for providing customized safety feedback
US8917904B2 (en) 2008-04-24 2014-12-23 GM Global Technology Operations LLC Vehicle clear path detection
JP5431312B2 (ja) 2008-05-21 2014-03-05 パナソニック株式会社 プロジェクタ
DE102008042734A1 (de) 2008-10-10 2010-04-15 Robert Bosch Gmbh Fahrerinformationssystem für ein Kraftfahrzeug
US8305444B2 (en) 2008-11-14 2012-11-06 Toyota Motor Engineering & Manufacturing North America, Inc. Integrated visual display system
KR20100070973A (ko) 2008-12-18 2010-06-28 박호철 헤드업 디스플레이 내비게이션 장치, 시스템 및 서비스 구현방법
US8271888B2 (en) 2009-01-23 2012-09-18 International Business Machines Corporation Three-dimensional virtual world accessible for the blind
US8411245B2 (en) 2009-02-06 2013-04-02 Gentex Corporation Multi-display mirror system and method for expanded view around a vehicle
US8427395B2 (en) * 2009-04-02 2013-04-23 GM Global Technology Operations LLC Full-windshield hud enhancement: pixelated field of view limited architecture
US8384531B2 (en) 2009-04-02 2013-02-26 GM Global Technology Operations LLC Recommended following distance on full-windshield head-up display
US8358224B2 (en) 2009-04-02 2013-01-22 GM Global Technology Operations LLC Point of interest location marking on full windshield head-up display
US20100274480A1 (en) 2009-04-27 2010-10-28 Gm Global Technology Operations, Inc. Gesture actuated point of interest information systems and methods
US8977489B2 (en) 2009-05-18 2015-03-10 GM Global Technology Operations LLC Turn by turn graphical navigation on full windshield head-up display
US10592092B2 (en) 2009-07-02 2020-03-17 Uusi, Llc. User interface with proximity detection for object tracking
US8503762B2 (en) 2009-08-26 2013-08-06 Jacob Ben Tzvi Projecting location based elements over a heads up display
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
DE102009045169A1 (de) 2009-09-30 2011-03-31 Robert Bosch Gmbh Anzeigevorrichtung für ein Fahrzeug und Verfahren zur Darstellung von Bildinformation in einem Fahrzeug
KR101768101B1 (ko) 2009-10-30 2017-08-30 엘지전자 주식회사 정보 표시 장치 및 그 방법
WO2011066850A1 (en) 2009-11-12 2011-06-09 Tomtom Belgium N.V. Navigation system with live speed warning for merging traffic flow
US8633810B2 (en) 2009-11-19 2014-01-21 Robert Bosch Gmbh Rear-view multi-functional camera system
US8525834B2 (en) 2010-02-17 2013-09-03 Lockheed Martin Corporation Voxel based three dimensional virtual environments
WO2011108091A1 (ja) 2010-03-03 2011-09-09 株式会社 東芝 車載用表示装置及び表示方法
US9165468B2 (en) 2010-04-12 2015-10-20 Robert Bosch Gmbh Video based intelligent vehicle control system
US20120019557A1 (en) 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
US20120041632A1 (en) 2010-08-12 2012-02-16 Robert Bosch Gmbh Combined lane change assist and rear, cross-traffic alert functionality
US8892357B2 (en) 2010-09-20 2014-11-18 Honeywell International Inc. Ground navigational display, system and method displaying buildings in three-dimensions
JP2012068045A (ja) * 2010-09-21 2012-04-05 Canvas Mapple Co Ltd ナビゲーション装置、ナビゲーションプログラム
US20120212405A1 (en) 2010-10-07 2012-08-23 Benjamin Zeis Newhouse System and method for presenting virtual and augmented reality scenes to a user
JP5831113B2 (ja) * 2010-11-08 2015-12-09 株式会社デンソー 運転評価装置
KR101544524B1 (ko) 2010-12-16 2015-08-17 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
US9264515B2 (en) 2010-12-22 2016-02-16 Intel Corporation Techniques for mobile augmented reality applications
US8924150B2 (en) 2010-12-29 2014-12-30 GM Global Technology Operations LLC Vehicle operation and control system for autonomous vehicles on full windshield display
US8633979B2 (en) 2010-12-29 2014-01-21 GM Global Technology Operations LLC Augmented road scene illustrator system on full windshield head-up display
US8686872B2 (en) 2010-12-29 2014-04-01 GM Global Technology Operations LLC Roadway condition warning on full windshield head-up display
DE102011010594A1 (de) 2011-02-08 2012-08-09 Daimler Ag Verfahren, Vorrichtung und Computerprogrammprodukt zum Ansteuern einer Funktionseinheit eines Fahrzeugs
US20120224060A1 (en) 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
DE102011006347B4 (de) 2011-03-29 2023-02-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ausgabe von grafischen Fahrhinweisen
US8730930B2 (en) 2011-05-31 2014-05-20 Broadcom Corporation Polling using B-ACK for occasional back-channel traffic in VoWIFI applications
US9605971B2 (en) 2011-06-17 2017-03-28 Robert Bosch Gmbh Method and device for assisting a driver in lane guidance of a vehicle on a roadway
US9342610B2 (en) 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US9182524B2 (en) 2011-09-29 2015-11-10 Disney Enterprises, Inc. Autostereoscopic display system with one dimensional (1D) retroreflective screen
JP5724864B2 (ja) 2011-12-13 2015-05-27 アイシン・エィ・ダブリュ株式会社 表示システム、表示方法、及び表示プログラム
US9620017B2 (en) * 2011-12-14 2017-04-11 Robert Bosch Gmbh Vehicle merge assistance system and method
US8660735B2 (en) 2011-12-14 2014-02-25 General Motors Llc Method of providing information to a vehicle
EP2618108B1 (en) 2012-01-19 2018-10-17 Volvo Car Corporation Driver assisting system
US20130262997A1 (en) 2012-03-27 2013-10-03 Roku, Inc. Method and Apparatus for Displaying Information on a Secondary Screen
US8942881B2 (en) 2012-04-02 2015-01-27 Google Inc. Gesture-based automotive controls
US8504233B1 (en) 2012-04-27 2013-08-06 Google Inc. Safely navigating on roads through maintaining safe distance from other vehicles
KR101957943B1 (ko) 2012-08-31 2019-07-04 삼성전자주식회사 정보 제공 방법 및 이를 위한 정보 제공 차량
CA2927447C (en) 2012-10-23 2021-11-30 Roam Holdings, LLC Three-dimensional virtual environment
US9665973B2 (en) 2012-11-20 2017-05-30 Intel Corporation Depth buffering
US9047703B2 (en) * 2013-03-13 2015-06-02 Honda Motor Co., Ltd. Augmented reality heads up display (HUD) for left turn safety cues
US9064420B2 (en) 2013-03-14 2015-06-23 Honda Motor Co., Ltd. Augmented reality heads up display (HUD) for yield to pedestrian safety cues

Also Published As

Publication number Publication date
US9251715B2 (en) 2016-02-02
JP2014182820A (ja) 2014-09-29
US20140272812A1 (en) 2014-09-18

Similar Documents

Publication Publication Date Title
JP6412321B2 (ja) 現実画像要素を補強した警告表示装置を使用する運転者トレーニングシステム
JP2014182820A5 (ja)
US11008016B2 (en) Display system, display method, and storage medium
EP2988098B1 (en) Driver assistance system with non-static symbol of fluctuating shape
JP5806733B2 (ja) 車線変更支援情報可視化システム
JP6375237B2 (ja) 自動運転制御装置
US11486726B2 (en) Overlaying additional information on a display unit
US9443429B2 (en) Optimum gaze location on full windscreen display
US11325471B2 (en) Method for displaying the course of a safety zone in front of a transportation vehicle or an object by a display unit, device for carrying out the method, and transportation vehicle and computer program
JP6939774B2 (ja) 運転支援システムおよび表示装置
JP7039940B2 (ja) 車両制御装置
CN110050301A (zh) 车辆控制装置
US20220212689A1 (en) Display Control Method and Display Control Device
JP2014181020A (ja) 走行制御装置
JP2017033542A (ja) 情報表示装置
US11904688B2 (en) Method for calculating an AR-overlay of additional information for a display on a display unit, device for carrying out the method, as well as motor vehicle and computer program
JP2020114699A (ja) 車両の制御システム、車両の制御方法、およびプログラム
CN110281954B (zh) 输送设备及其行驶控制方法
KR20160071875A (ko) 차량의 자율 주행을 위한 전자 장치 및 방법
WO2021132306A1 (ja) 表示制御装置、表示装置、表示制御方法及びプログラム
CN107776578B (zh) 车辆的显示装置
JP2021149319A (ja) 表示制御装置、表示制御方法およびプログラム
JP2020097355A (ja) 安全運転レベル表示装置
JP2023136698A (ja) 車両用表示制御装置、表示装置及び車両用表示制御方法
WO2019220884A1 (ja) 運転支援装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160620

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171121

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180122

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20180320

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180928

R150 Certificate of patent or registration of utility model

Ref document number: 6412321

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250