JP6451101B2 - Vehicle communication device - Google Patents
Vehicle communication device Download PDFInfo
- Publication number
- JP6451101B2 JP6451101B2 JP2014134181A JP2014134181A JP6451101B2 JP 6451101 B2 JP6451101 B2 JP 6451101B2 JP 2014134181 A JP2014134181 A JP 2014134181A JP 2014134181 A JP2014134181 A JP 2014134181A JP 6451101 B2 JP6451101 B2 JP 6451101B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- message
- transmission
- driver
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004891 communication Methods 0.000 title claims description 106
- 230000005540 biological transmission Effects 0.000 claims description 251
- 238000001514 detection method Methods 0.000 claims description 28
- 238000005259 measurement Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 description 57
- 238000000034 method Methods 0.000 description 54
- 238000010586 diagram Methods 0.000 description 33
- 230000000007 visual effect Effects 0.000 description 33
- 230000008569 process Effects 0.000 description 30
- 238000013459 approach Methods 0.000 description 27
- 210000005252 bulbus oculi Anatomy 0.000 description 20
- 210000001508 eye Anatomy 0.000 description 17
- 238000012545 processing Methods 0.000 description 15
- 238000012790 confirmation Methods 0.000 description 13
- 230000009471 action Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 8
- 230000004044 response Effects 0.000 description 7
- 238000007405 data analysis Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 208000016354 hearing loss disease Diseases 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Instrument Panels (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、車両と車両が通信するための車両用通信装置に関する。 The present invention relates to a vehicle communication device for communication between a vehicle and a vehicle.
車両同士が通信するいわゆる車車間通信を利用して、運転支援を行う試みが知られている。例えば、車車間通信を利用して、別々の車両に乗車している運転者が意思疎通することができる(例えば、特許文献1参照。)。特許文献1には、ハザードランプを点滅させるなどの操作に応じて、送信側の車両が意思伝達メッセージを他車両に送信する車両の意思伝達方法が開示されている。受信側の車両の乗員はハザードランプを確認できなくても、音声や映像で出力された受信情報を確認することで、送信側の車両が注意喚起を促していることを把握できる。
Attempts to provide driving assistance using so-called inter-vehicle communication in which vehicles communicate with each other are known. For example, a driver who is in a different vehicle can communicate with each other using inter-vehicle communication (see, for example, Patent Document 1).
また、意思疎通のための車車間通信では運転者が何らかの操作を行う必要があるため、運転者にとって負担となるという不都合がある。そこで、運転者の負担を軽減して意思疎通を行う車車間通信が考案されている(例えば、特許文献2参照。)。特許文献2には、送信側の車両において周囲の交通状況を検出し、検出された交通状況が条件マスタファイルの所定条件を満たす場合、送信メッセージDBより対応する送信メッセージを抽出して受信側車両へ送信するメッセージ通信装置が開示されている。したがって、送信側の車両の運転者は、必ずしも、メッセージを送信するための明示的な操作を行わなくてもメッセージを送信できるので、運転者の負担を軽減できる。
Further, in the inter-vehicle communication for communication, since the driver needs to perform some operation, there is a disadvantage that it becomes a burden on the driver. Thus, inter-vehicle communication has been devised that reduces the burden on the driver and communicates (see, for example, Patent Document 2). In
ところで、送信側の車両の運転者としては、受信側の車両の運転者がメッセージを確認したかどうかを把握したい場合がある。このため、特許文献2においても、受信側の車両の運転者が、ボタンや音声によってメッセージに応答することが可能になっている。
By the way, as a driver of the transmitting vehicle, there is a case where it is desired to know whether or not the driver of the receiving vehicle has confirmed the message. For this reason, also in
しかしながら、従来の車車間通信では、メッセージを受信する車両の運転者にとって、応答することが負担になっているという問題があった。例えば、送信側の車両の運転者は、受信側の車両の運転者の状況に関係なくメッセージを送信する。メッセージを受信する車両の運転者にとって、メッセージの確認を望まないタイミングや、望まない態様(表示や音声など)で行われる可能性があり、メッセージを確認することで運転への集中の妨げとなる場合がある。また、運転に集中している場合にはメッセージを確認できず、応答できないおそれもある。 However, conventional vehicle-to-vehicle communication has a problem in that it is a burden to respond to the driver of the vehicle that receives the message. For example, the driver of the transmitting vehicle transmits a message regardless of the situation of the driver of the receiving vehicle. For the driver of the vehicle that receives the message, there is a possibility that the confirmation of the message is not desired or in an undesired manner (display, voice, etc.), and confirmation of the message obstructs concentration on driving. There is a case. In addition, when the user concentrates on driving, the message cannot be confirmed and there is a possibility that the user cannot respond.
したがって、受信側の車両の運転者の状況によっては、送信側の車両の運転者が応答を確認できない場合が生じ得る。この場合、送信側の車両の運転者は、受信側の車両の運転者がメッセージを確認したのか否かを把握できないため、受信側の車両の運転者との間で意思疎通の齟齬が生じる場合がある。 Therefore, depending on the situation of the driver of the receiving vehicle, the driver of the transmitting vehicle may not be able to confirm the response. In this case, since the driver of the transmitting vehicle cannot grasp whether or not the driver of the receiving vehicle has confirmed the message, there is a communication trap with the driver of the receiving vehicle. There is.
本発明は、上記課題に鑑み、メッセージの受け手の負担を軽減することができる車両用通信装置を提供することを目的とする。 In view of the above problems, an object of the present invention is to provide a vehicle communication device that can reduce a burden on a message recipient.
上記課題に鑑み、本発明は、他車両からメッセージを受信する受信手段と、前記メッセージをダッシュボードよりも上方の表示装置に表示する表示手段と、前記表示装置に表示された前記メッセージを、運転者が認識したか否かを判定する認識判定手段と、前記認識判定手段の判定結果を前記他車両に送信する送信手段と、自車両の位置を検出する位置検出手段と、前記他車両の自車両に対する相対位置を検出する相対位置検出手段と、を有し、前記受信手段は、前記メッセージと共に前記他車両の位置情報と自車両の位置情報を受信し、前記他車両から受信した前記自車両の位置情報が、前記位置検出手段が検出した位置を示しており、かつ、前記他車両から受信した前記他車両の位置情報が、前記相対位置検出手段が検出した相対位置を示している場合、前記メッセージが自車両宛てであると判断して受信することを特徴とする車両用通信装置を提供する。 In view of the above problems, the present invention provides a receiving means for receiving a message from another vehicle, a display means for displaying the message on a display device above the dashboard, and driving the message displayed on the display device. A recognition determination means for determining whether or not the person has recognized, a transmission means for transmitting the determination result of the recognition determination means to the other vehicle, a position detection means for detecting the position of the own vehicle, and an own vehicle of the other vehicle. Relative position detecting means for detecting a relative position with respect to the vehicle, wherein the receiving means receives the position information of the other vehicle and the position information of the own vehicle together with the message, and receives the own vehicle received from the other vehicle. Indicates the position detected by the position detection means, and the position information of the other vehicle received from the other vehicle indicates the relative position detected by the relative position detection means. If you are, to provide a vehicle communication device, wherein the message is received it is determined that the vehicle addressed.
メッセージの受け手の負担を軽減することができる車両用通信装置を提供することができる。 It is possible to provide a vehicle communication device that can reduce a burden on a message recipient.
以下、本発明を実施するための形態について図面を参照しながら実施例を挙げて説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.
図1は、本実施形態の車車間通信システム200による通信の概略を模式的に説明する図の一例である。なお、以下では、送信側の車両を送信車両、受信側の車両を受信車両という。
1.送信車両10から「前に入ります」というメッセージ15を受信車両20に送信する(図1(a))。
2.受信車両20は、メッセージを受信するとHUD(Head Up Display)11にメッセージを表示する(図1(b))。受信車両20は、運転者の視線がHUD11に表示されたメッセージを目視したか否かを判断する。
3.HUD11を目視したと判断された場合、受信車両20はメッセージを確認したか否かを示す視認結果(メッセージを確認したか否かの判定結果)を送信車両10に送信する(図1(c))。送信車両10は、メッセージが確認されたこと又は確認されていないことを運転者に通知するので、運転者は受信車両20の運転者がメッセージを認識したか否かを把握できる。
FIG. 1 is an example of a diagram schematically illustrating an outline of communication by the
1. A
2. When receiving the message, the receiving
3. When it is determined that the
このように本実施形態の車車間通信システム200では、受信したメッセージを運転者の視線移動が少ないHUD11に表示することが特徴の1つになっている。運転者は少ない視線移動でHUD11を目視するので、メッセージの確認が困難な状況でもメッセージを確認しやすい状況を提供できる。また、メッセージを確認しても運転への集中の妨げとなりにくい。
As described above, the
また、本実施形態の車車間通信システム200では、受信車両20は、運転者がメッセージを確認したか否かを、運転者の明示的な操作がなくても視線から判断できる。したがって、受信車両20の運転者は、少ない視線移動でHUD11を目視すればメッセージを確認できるので、少ない負担でメッセージを確認できる。この結果、受信車両20の運転者が応答メッセージを送信しやすくなり、送信車両10の運転者は、受信車両20の運転者がメッセージを確認したか否かを把握する可能性を高めることができる。よって、送信車両10と受信車両20の運転者の間で意思疎通の齟齬が生じるおそれを低減できる。
Further, in the
<構成例>
図2は車載される意思伝達装置の構成図の一例を示す。意思伝達装置100が複数の車両に搭載されることで、車車間通信システム200が構築される。なお、意思伝達装置100は特許請求の範囲の車両用通信装置の一例である。すなわち、図2の意思伝達装置100の構成は送信車両10と受信車両20に共通である。
<Configuration example>
FIG. 2 shows an example of a configuration diagram of an in-vehicle communication device. The
意思伝達装置100は、互いに車載ネットワーク40を介して通信可能に接続された視線・眼球位置検出部21、制御部22、無線通信部23、周囲映像取得部24、オーディオインタフェース25、ユーザ入力部26、記憶装置27、自車位置検出部28、車間距離計測部29、ディスプレイコントローラ30、及び、外部通信部34を有している。また、オーディオインタフェース25にはマイク31とスピーカ32が接続されており、ディスプレイコントローラ30にはHUD11と周囲モニタディスプレイ33が接続されている。
The
視線・眼球位置検出部21は、運転者の視線の向きを検出する。本実施形態では視線の向きの検出方法は問わないが、視線の向きの検出方法の一例を後に説明する。なお、視線・眼球位置検出部21は、視線の向きではなく、顔向きを検出してもよい。運転中は顔向きと視線の向きが一致する場合が多いため、顔向きにより運転者がHUD11を目視したのか、ナビ画面(周囲モニタディスプレイ33)を目視したのか、又は、自車両の前方を目視しているのかの判別が可能な場合がある。
The line of sight / eyeball
制御部22は、意思伝達装置100の全体を制御する情報処理装置やマイコンと呼ばれる装置である。制御部22は、記憶装置27に記憶されているプログラムを実行して、後述する意思伝達装置100の機能を提供する。
The
無線通信部23は車両間の通信(以下、車車間通信という)を行う。車車間通信を実現するために、種々の方法が提案されている。日本では路車間通信の規格である「ARIB STD-T75」を改良したものが用いられる場合がある。「ARIB STD-T75」では5.8GHzの周波数帯を使用するが、走行中の場所のホワイトスペース(数100MHzの周波数帯)を利用した通信でもよい。欧米では、無線LANの規格であるIEEE802.11aをベースにした5.9GHz帯のIEEE802.11pが車車間通信で利用される場合がある。これらの通信規格で定められていないアプリケーション層などの通信プロトコルは、例えばMANET(Mobile Ad-hock Network)が知られているが、通信プロトコルはこれに限られるものではない。本実施形態では、無線通信部23は車両間を無線で通信できればよいものとし、通信方式は問わない。
The
また、無線通信部23は車両に固定されている必要はなく、スマートフォン、タブレットPC、ノートPC、PDA(Personal Digital Assistant)、又は、携帯電話などの無線LAN機能やBluetooth(登録商標)機能を使用して通信してもよい。スマートフォン等は車車間通信用のアプリを実行し、同じく車車間通信用のアプリを実行している周囲の車両のスマートフォン等と通信する。なお、スマートフォン等は有線又は無線で車載ネットワーク40に接続されており、車両の情報を取得することもできる。
The
また、無線通信部23として可視光通信を利用することも可能である。可視光通信とは、LED等の光源を高速に点滅させ、デジタル・データを光のONとOFFに対応させて伝送する通信方法である。可視光通信では指向性が強いので通信相手の車両を特定しやすいという特徴がある。
Further, visible light communication can also be used as the
周囲映像取得部24は、自車両の周囲の映像を撮像する撮像装置である。自車両の周囲とは例えば前方、右側方、左側方、又は、後方などであるが、これらに限られない。また、魚眼レンズなどの広角レンズを用いた撮像装置であってもよい。
The surrounding
オーディオインタフェース25は、車両内にあるマイク31やスピーカ32を制御する。オーディオインタフェース25は、例えばステアリングスイッチを有しており、このステアリングスイッチが押下されている間にマイク31が集音した音声信号をテキストに変換する。これにより音声入力装置を実現できる。また、オーディオインタフェース25は、受信したメッセージをスピーカ32から音声で出力する。なお、スピーカ32とマイク31は車載されていなくてもよく、外付けされたスピーカ32とマイク31を用いてもよい。
The
ユーザ入力部26は、主に、送信車両10の運転者がメッセージを送信する送信操作を行うためのユーザーインタフェースである。具体的には、方向指示器(ウィンカレバー)、ステアリングホイール、アクセルペダル、ブレーキペダル、又は、ハザードランプなど、メッセージを送信する状況において運転者が操作する操作部が相当する。この他、メッセージの送信を明示的に指示するボタンを有していてもよい。また、メッセージを選択するために使用されてもよい。
The
また、ユーザ入力部26は、運転者属性情報274を入力するために使用される。運転者属性情報274は、例えば、年齢、聴覚障害の有無(聴力を含む)などの情報である。
The
記憶装置27には、メッセージ通信プログラム271、メッセージ認識判定プログラム272、メッセージ画像生成プログラム273、運転者属性情報274、及び、送信情報275が記憶されている。メッセージ通信プログラム271はメッセージの送受信を行うためのプログラムであり、メッセージ認識判定プログラム272は受信車両20の運転者がメッセージを確認したか否かを判定するためのプログラムである。メッセージ画像生成プログラム273は、HUD11に表示する画像を生成するプログラムである。運転者属性情報274は上記の通り、聴覚障害の有無などであるが、性別や嗜好などを記憶してもよい。送信情報275は、シーンに対応づけられたメッセージなどである。詳細は図10にて説明する。なお、この他、道路地図データが記憶されていてもよい。
The
メッセージ通信プログラム271、メッセージ認識判定プログラム272、及び、メッセージ画像生成プログラム273は、1つ又は2つのプログラムとして記憶されていてもよい。すなわち、プログラムが3つに分かれている必要はなく、3つのプログラムを図示したのは説明のためである。
The
これらのプログラムは外部通信部34がインターネットに接続してサーバからダウンロードすることで配布される。または、不図示の可搬型の記憶媒体やプログラムを書き換えるためのツールを車両に接続して、サービスマンなどが記憶装置27にプログラムをインストールしてもよい。
These programs are distributed by the
なお、記憶装置27としてはHDD(Hard Disk Drive)やSSD(Solid State Drive)等が用いられるが、制御部22が備える後述のROM、RAMなどを利用してもよい。
In addition, although HDD (Hard Disk Drive), SSD (Solid State Drive), etc. are used as the memory |
自車位置検出部28は、例えばGPS(Global Positioning System)を利用して地球上における自車の位置(緯度・経度・標高)を検出する。ナビゲーションシステムを搭載している場合は、ナビゲーションシステムがGPSで検出した位置を起点に自律航法で測定した位置情報を利用してもよい。さらに、ナビゲーションシステムが行うマップマッチング(自車位置を適切な道路地図の道路に当てはめる処理)により、自車両が存在する道路を特定することができる。
The own vehicle
車間距離計測部29は、自車両の前方の他車両、又は、周囲の他車両との距離及び方位(相対位置)を計測する。例えば、車間距離計測部29はステレオカメラである。ステレオカメラの場合、左右のカメラが撮像した画像の視差により距離を検出する。また、車間距離計測部29はミリ波レーダーでもよい。この場合、送信したミリ波が他車両で反射して帰って来るまでの時間により距離が求められ、反射方向により方位を求めることができる。また、車間距離計測部29は、単眼のカメラとレーザーレーダを搭載していてもよい。この場合、カメラにより他車両を認識し、車両間の相対距離をレーザーレーダにより計測する。この他、距離の計測にTOF(Time Of Flight)を用いてもよく、距離の測定方法は制限されない。
The inter-vehicle
ディスプレイコントローラ30は、HUD11及び周囲モニタディスプレイ33を制御する。HUD11は、表示装置の一例であり。主に、受信したメッセージとメッセージの内容を視覚的に表示する映像を表示するために用いられる。この他、現在の車速、ナビ情報(右左折の指示など)、歩行者の検知結果、及び、交通情報などを表示することも可能である。
The
周囲モニタディスプレイ33は、液晶や有機ELなどのフラットパネルディスプレイである。周囲モニタディスプレイ33には、周囲映像取得部24が取得した映像が表示される他、ナビゲーションシステムの道路地図、AV機器の画面、ナビゲーションシステムやAV機器の操作ボタンなどが表示される。
The surrounding
外部通信部34は、携帯電話網の基地局や無線LANのアクセスポイントに接続して、インターネットなどのネットワークに接続する。外部通信部34をスマートフォンや携帯電話、ノートPC、タブレットPCなどの情報端末で代用してもよい。
The
<意思伝達装置>
図3は、車両内における意思伝達装置100の配置例を示す図である。視線・眼球位置検出部21のアイカメラ103が、運転者の眼球を監視できるように運転席の前方に配置される。図ではダッシュボード上に配置されているが、メータパネルやセンタークラスターに埋設してもよい。
<Intentional communication device>
FIG. 3 is a diagram illustrating an arrangement example of the
図3では、ユーザ入力部26としてステアリングコラムから延設された方向指示器が示されている。また、ステアリングには、ステアリングスイッチが配置されており、マイク31が集音した音声を認識することができる。
In FIG. 3, a direction indicator extending from the steering column is shown as the
HUD11については後述するが、HUD11は光学ユニット101が投影する映像を半透過ミラー102に反射させ、運転者の前方に虚像110を表示する。半透過ミラー102は、光学ユニット101が投影する映像の何%かをウィンドシールドを透過させ残りを運転席側に反射させる。半透過ミラー102はコンバイナと呼ばれる場合がある。半透過ミラー102はウィンドシールド37に貼付されていても良いし、HUD11の使用時にダッシュボードからポップアップする可動式であってもよい。
Although HUD11 is mentioned later, HUD11 reflects the image | video which the
図示するように、半透過ミラー102はダッシュボード104よりも上方にあり、運転者から見てウィンドシールドと重複している。したがて、運転者は少ない視線移動で半透過ミラー102を目視できる。
As shown in the figure, the
車間距離計測部29は、図3において2カ所に配置されている。1つ目はルームミラーの車両前方側に配置され、2つ目は車両のルーフに配置されている。どちらも機能は同じであるが、設置場所によって他車両の検出範囲や精度が異なっていてもよい。例えば、ルームミラーの車間距離計測部29は、自車両の前方の30度程度の範囲の他車両との距離を検出するのに対し、ルーフの車間距離計測部29は路面に平行な360度の範囲で他車両との距離を検出可能である。
The inter-vehicle
また、図示する配置場所は一例に過ぎず、自車両の後方バンパ、後方のコーナーなどに車間距離計測部29を配置して、後方や後側方の他車両との距離を検出してもよい。
Moreover, the arrangement | positioning location to show in figure is only an example, and the
このように、図3に示される意思伝達装置100の配置場所や配置数は一例に過ぎず、HUD11などを始めとする各装置は、エクステリアやインテリアの形状、他の装置との干渉、コストなどに応じて適切な場所に配置される。
Thus, the arrangement location and the number of arrangements of the
<視線・眼球位置検出部>
図4は、視線・眼球位置検出部21の構成図の一例である。視線情報処理部112の制御により、赤外線光源111が点状の赤外光を照射して、赤外光が運転者の角膜に反射する。アイカメラ103は運転者の眼球を撮像しており、瞳孔113と角膜反射点114が撮像された画像データを作成する。視線情報処理部112は、画像データから瞳孔113の中心点と角膜反射点114の中心点を抽出し、2つの特徴点の相対位置から視線を求める。
<Gaze / eyeball position detector>
FIG. 4 is an example of a configuration diagram of the line-of-sight / eyeball
より具体的には、任意のディスプレイに基準点を表示して、基準点を目視した時の2つの特徴点の相対位置を基準点に紐づけるキャリブレーションが予め行われている。これにより、ディスプレイ上のどこを目視しているかという視線の向きを検出できる。 More specifically, calibration is performed in advance by displaying a reference point on an arbitrary display and associating the relative position of two feature points when the reference point is viewed with the reference point. This makes it possible to detect the direction of the line of sight as to where on the display is being viewed.
なお、瞳孔113や角膜反射点114の検出は公知の方法を用いればよい。例えば、以下の手順で行う。
1.例えばHaar-Like特徴量を顔認識用の弱識別器として用意し、Boostingにより各弱識別器の重みづけを学習しておく。
2.画像データから顔部が検出されるので、二値化処理し顔の左右の対称性を利用して、眉、眼、鼻孔、唇などを特定する。
3.これらを特定できたら眼を含む矩形領域の監視を開始し、瞳孔113と角膜反射点114を検出する。
A known method may be used to detect the
1. For example, a Haar-Like feature amount is prepared as a weak classifier for face recognition, and weighting of each weak classifier is learned by boosting.
2. Since the face portion is detected from the image data, binarization processing is performed, and eyebrows, eyes, nostrils, lips, etc. are specified using the left and right symmetry of the face.
3. If these can be specified, monitoring of the rectangular area including the eye is started, and the
なお、瞳孔113と角膜反射点114ではなく、虹彩と目頭の相対位置から視線方向を検出してもよい。この場合、赤外線を照射する光源が不要なのでコストを低減できる。また、瞳孔113でなく虹彩を検出して、虹彩の位置から視線の向きを公知の方法で計算してもよい。
Note that the line-of-sight direction may be detected not from the
また、眼球位置は、瞳孔113や虹彩を認識した画像から計測する。アイカメラ103からの顔までの距離を計測するため、ステレオカメラやTOFなどにより距離情報を取得することが好ましい。瞳孔113の距離情報が得られれば、所定の座標系で眼球の座標を表すことができる。
The eyeball position is measured from an image in which the
眼球の座標と視線の向きが分かることで、制御部22は、運転者が少なくともHUD11の半透過ミラー102を見ているか否かを判断でき、さらに、半透過ミラー102のどの辺りを見ているか否かを判断できる。詳細は図28で説明する。
By knowing the coordinates of the eyeball and the direction of the line of sight, the
<ヘッドアップディスプレイ>
図5は、HUD11の概略構成図の一例を示す。HUD11は、光学ユニット101と半透過ミラー102を有している。光学ユニット101は、液晶などの表示器202の映像を後方から光源201により照射して、凸面ミラー203で拡大し、凹面ミラー204でウィンドシールドの形状に応じた歪み補正を行うと共にウィンドシールドの方向に折り返している。ウィンドシールドの車内側には半透過ミラー102が配置されており(又は、ウィンドシールドの車内側に貼付されており)、光学ユニット101が投影した映像の一部は運転者側に反射する。これにより、運転者には、ウィンドシールドの前方に、拡大された映像の虚像110が視認される。
<Head-up display>
FIG. 5 shows an example of a schematic configuration diagram of the
半透過ミラー102とウィンドシールドは重複しているが、運転者はウィンドシールドと半透過ミラー102の両方を透過した前方の視界を目視可能である。半透過ミラー102の位置はダッシュボード104よりも上方であればよく、ウィンドシールドの下方に限られない。例えば、ウィンドシールドのうちルーフパネルの近くに配置されてもよいし、Aピラーの近くに配置されてもよい。また、半透過ミラー102の透過度によってはウィンドシールドのほぼ全面を覆うように、半透過ミラー102が配置されてもよい。
Although the
また、運転席の前方の半透過ミラー102とは別に、助手席側の前方に半透過ミラー102を配置してもおい。
In addition to the
なお、図5に示す構成は一例であり、HUD11の構造はどのようなものでもよい。また、HUD11には後述するようにメッセージが表示されるが、メッセージが表示する装置としては、例えばプロジェクターでもよい。プロジェクターの場合、半透過ミラー102に映像を投影すればよい。
Note that the configuration shown in FIG. 5 is merely an example, and the
<制御部の機能等>
図6は、制御部22のハードウェア構成図の一例を示し、図7は、車車間通信システム200の機能ブロック図の一例を示す図である。
<Functions of control unit, etc.>
FIG. 6 shows an example of a hardware configuration diagram of the
制御部22は、一般的なマイコンと同様にCPU221,RAM222、ROM223、CANコントローラ224、及び、I/O225等を有する。これらは、バスコントローラにより制御されるシステムバスや外部バスなどのバス226を介して接続されている。
The
CPU221は、RAM222を作業メモリにして、記憶装置27に記憶されたメッセージ通信プログラム271、メッセージ認識判定プログラム272、及び、メッセージ画像生成プログラム273を実行する。これにより、送信車両10又は受信車両20はメッセージの通信、既読判定、及び、メッセージの表示などを行う。
The
CANコントローラ224はCANバス227と接続されており、CANプロトコルに基づき視線・眼球位置検出部21などと通信を行う。I/O225には、CANバス227以外のケーブルで接続されたセンサやアクチュエータが接続される。
The
図7に示すように、車車間通信システム200は、送信車両10の意思伝達装置100の機能と、受信車両20の意思伝達装置100の機能とを有している。
As illustrated in FIG. 7, the
送信側の意思伝達装置100は、CPU221がメッセージ通信プログラム271、メッセージ認識判定プログラム272、及び、メッセージ画像生成プログラム273の1つ以上を実行してハードウェアと協働することで実現される機能を有している。まず、送信車両10の制御部22は、シーン判定部41、送信相手選択部42、メッセージ送信部A43、メッセージ表示部A44、及び、メッセージ受信部A45を有している。
The sending
シーン判定部41は、メッセージを送信するシーンか否かは判定する。シーンとは、送信車両10の状況であり、メッセージを送信するシーンが予め定められている。シーンについては図10にて説明する。
The
送信相手選択部42は、送信車両10の周辺の車両のうちメッセージを送信する車両を送信相手として選択する。送信相手を選択して送信することで、送信相手以外の車両がメッセージを受信しても自車両宛でないと判断することが可能になる。
The transmission
メッセージ送信部A43はメッセージを含む送信データを生成し、メッセージ(送信データ)を送信相手に送信する。メッセージ送信部A43はメッセージや送信の成否をメッセージ表示部Aに通知する。 The message transmission unit A43 generates transmission data including the message and transmits the message (transmission data) to the transmission partner. The message transmission unit A43 notifies the message display unit A of the message and success / failure of transmission.
メッセージ受信部A45は受信車両20から、受信車両20の運転者のメッセージの視認結果を受信する。
The message receiving unit A45 receives the visual recognition result of the message of the driver of the receiving
メッセージ表示部A44は送信したメッセージ、送信の成否、及び、視認結果をHUD11に表示する。
The message display unit A44 displays the transmitted message, the success / failure of the transmission, and the visual recognition result on the
受信側の意思伝達装置100は、CPU221がメッセージ通信プログラム271、メッセージ認識判定プログラム272、及び、メッセージ画像生成プログラム273の1つ以上を実行してハードウェアと協働することで実現される機能を有している。受信側の意思伝達装置100は、メッセージ受信部B46、メッセージ表示部B47、既読判定部48、及び、メッセージ送信部B49を有している。
The receiving
メッセージ受信部B46は、送信車両10からメッセージを受信する。メッセージ表示部B47は、受信したメッセージをHUD11に表示する。既読判定部48は受信車両20の運転者がメッセージを視認したか否かを判定する。メッセージ送信部B49は視認結果を送信車両10に送信する。
The message reception unit B46 receives a message from the
<車車間通信の概略>
図8、9を用いて、車両間のメッセージの送受信について説明する。図8は道路上の送信車両10と受信車両20を模式的に示す図の一例であり、図9は送信車両10と受信車両20の通信手順を示すシーケンス図の一例である。なお、図8の送信車両10と受信車両20の配置は便宜的なものに過ぎず、送信車両10と受信車両20の配置はシーンによって様々である。
<Outline of inter-vehicle communication>
The message transmission / reception between vehicles will be described with reference to FIGS. FIG. 8 is an example of a diagram schematically showing the transmitting
S1:まず、運転者がメッセージの送信を行う送信操作を行う。以下、この送信操作を送信アクションと称する。送信アクションにより意思伝達装置100は処理を開始する。送信アクションは、例えば、車両が進路変更可能な道路を走行している状態で、方向指示器などを運転者が操作したことにより検出する。これによりシーンが判定される。なお、送信車両10が進路変更可能な道路を走行しているか否かは、自車位置検出部28によって検出した自車位置に基づき判断可能である。また、図10にて説明するように、シーンによっては運転者の送信アクションが不要な場合がある。
S2:送信車両10の送信相手選択部42は、シーンが判定されると、シーンに応じたメッセージの送信相手を選択する。詳細は図24などで説明する。
S3:送信相手選択部42がメッセージの送信相手を選択すると、メッセージ表示部A44は運転者に送信内容を通知する。送信内容の通知は、送信したメッセージや表示画像(後述する送信対象車両指示部61と進路変更位置指示部62)を、HUD11又は周囲モニタディスプレイ33の少なくとも一方に表示することで行われる。
S4:送信内容の通知後、又は、通知と並行して、メッセージ送信部A43はメッセージの送信相手に対してメッセージを送信する送信処理を行う。このメッセージ送信処理の詳細ついては、後述する。
S5:メッセージ送信部A43はメッセージを含む送信データを受信車両20に送信する。
S1: First, the driver performs a transmission operation for transmitting a message. Hereinafter, this transmission operation is referred to as a transmission action. The
S2: When a scene is determined, the transmission
S3: When the transmission
S4: After the notification of the transmission content or in parallel with the notification, the message transmission unit A43 performs a transmission process of transmitting the message to the message transmission partner. Details of this message transmission processing will be described later.
S5: The message transmission unit A43 transmits transmission data including the message to the receiving
S6:メッセージ送信後、メッセージ送信部A43は、メッセージ送信の成否を送信車両10の運転者に通知する。予め、運転者は、メッセージの送信に失敗した場合、自動的にメッセージを再送するか、再送の有無を運転者が都度、選択するかを設定しておく。よって、再送の有無を運転者が選択するという設定の場合、メッセージ送信部A43は運転者にメッセージの再送信を行うか、送信を取りやめるか選択させる。
S7:メッセージの受信車両20では、メッセージ受信部B46がメッセージを受信して、メッセージ受信処理を行う。メッセージ受信処理により、メッセージが自車両向けのメッセージである否かが判定される。
S8:メッセージが自車両向けのメッセージであった場合には、メッセージ表示部B47が受信したメッセージを映像あるいは音声として出力する。そして、既読判定部48が、視認確認処理を開始する。この視認確認処理の図30にて説明する。
S9:受信車両20のメッセージ送信部B49は、視認結果を送信車両10に送信する。
S10:送信車両10のメッセージ受信部A45は、送信車両10から視認結果を受信するので、メッセージ表示部A44が視認結果を運転者通知する。視認結果には受信車両20の運転者が視認したか否かが含まれる。この視認の成否の運転者への通知は、HUD11又は周囲モニタディスプレイ33の少なくとも一方を用いて行われる。
S6: After transmitting the message, the message transmission unit A43 notifies the driver of the
S7: In the
S8: When the message is a message for the host vehicle, the message received by the message display unit B47 is output as video or audio. And the already-read
S9: The message transmission unit B49 of the
S10: Since the message receiving unit A45 of the
また、メッセージ表示部A44は、受信車両20から応答メッセージを受信しないまま、長時間が経過した場合、意思疎通に失敗したことを運転者に映像または音声によって伝える。
Further, when a long time has elapsed without receiving a response message from the receiving
S11:送信車両10において、メッセージの送信アクションに対応した、終了条件を満たすと意思疎通終了となる。メッセージ送信部A43は、意思疎通の終了を受信車両20に通知する。
S11: In the
なお、受信車両20の意思伝達装置100において、視認確認後、一定時間経過しても意思疎通の終了通知が受信されない場合、受信車両20において意思疎通は終了する。
Note that in the
<シーンと送信アクション等の関係>
図10は、送信情報275の一例を示す図である。送信情報275には、送信車両10がメッセージを送信するシーンと、各シーンの送信アクション、送信相手、送信メッセージ、表示画像、送信画像、及び、終了条件を説明する図の一例である。図10では、シーンとして、進路変更、従来の最後尾に到達、及び、細い道でのすれ違い、が挙げられている。
・進路変更とは、日本では、進行方向を変えずに進路(通行している場所)を変えることをいう。すなわち、車両通行帯(走行レーン)を変更する場合に限られない。
<Relationship between scene and send action>
FIG. 10 is a diagram illustrating an example of the
・ Changing the course means changing the course (passing place) without changing the direction of travel in Japan. That is, the present invention is not limited to changing the vehicle lane (travel lane).
シーン判定部41は、方向指示器が操作されたこと及び車速が閾値以上であることを検出した場合に、進路変更のシーンであると判定する。
・渋滞の最後尾に到達するとは、複数の車両が停車している場合の車両の最後尾に接近することであるが、厳密に最後尾であるか否かは問わなくてよい。また、渋滞の要因は問わない。
The
-Reaching the tail end of the traffic is to approach the tail of the vehicle when a plurality of vehicles are stopped, but it does not matter whether or not it is strictly the tail. Moreover, the factor of traffic congestion is not ask | required.
シーン判定部41は、車間距離計測部29が自車両前方の車両を検出し、自車両との相対速度と自車両の車速から前方の車両の車速を求める。前方の車両の車速が法定速度より一定以上、遅い場合に、渋滞の末尾に到達するシーンであると判定する。
・細い道でのすれ違いとは、片側一車線で幅員が所定値未満の道路において、対向車両とすれ違うことをいう。
In the
・ Passing on a narrow road means passing on an oncoming vehicle on a road with a width of less than a specified value on one lane.
シーン判定部41は、自車位置検出部28が検出した現在走行中の道路の幅員が所定値未満であり、車間距離計測部29が対向車両を検出した場合、細い道でのすれ違いのシーンであると判定する。対向車両であることは相対速度と自車両の車速から判別される。
When the width of the currently running road detected by the vehicle
進路変更のシーンでは、メッセージの送信アクションは、方向指示器が操作されることである。メッセージの送信相手は、進路変更後に後続となる車両とする。また、送信されるメッセージは例えば「前に入ります」である。終了条件は、進路変更が完了した時点とする。 In the route change scene, the message transmission action is that the direction indicator is operated. The destination of the message is the vehicle that will follow after the course is changed. The message to be transmitted is, for example, “Previous”. The end condition is when the course change is completed.
渋滞の最後尾に到達するシーンでは、メッセージの送信アクションは、「前方の車両の速度が法定速度より一定以上遅いこと」を検知することである。メッセージの送信相手は、自車両から見て後続の車両である。また、送信されるメッセージは例えば「渋滞です」である。終了条件は、自車両から見て後続の車両との相対速度が一定値以下になったことである。 In a scene that reaches the end of the traffic jam, the message transmission action is to detect that the speed of the vehicle ahead is slower than the legal speed by a certain amount. The transmission partner of the message is a subsequent vehicle as viewed from the own vehicle. The message to be transmitted is, for example, “congestion”. The end condition is that the relative speed with respect to the following vehicle when viewed from the own vehicle is equal to or less than a certain value.
細い道ですれ違い走行するシーンでは、メッセージの送信アクションは、細い道で前方に対抗車両を検出することである。メッセージの送信相手は、進行方向で最も近い対向車両である。また、送信されるメッセージは例えば「お先にどうぞ/先に通ります」である。この場合、運転者が「お先にどうぞ」または、「先に通ります」というメッセージを選択してもよいし、メッセージ送信部A43が送信車両10の車速の方が速い場合は「先に通ります」を選択し、遅い場合は「お先にどうぞ」を選択してもよい。すなわち2つの車両の車両状況を比較して適切なメッセージを選択してもよい。終了条件は、対向車両が自車両よりも後方に移動することである。
In a scene where people pass on a narrow road, the message transmission action is to detect the opposing vehicle ahead on the narrow road. The message transmission partner is the oncoming vehicle closest in the traveling direction. The message to be transmitted is, for example, “Please come first / pass first”. In this case, the driver may select the message “please first” or “pass first”. If the vehicle speed of the sending
表示画像は、送信車両10がメッセージの送信相手を選択した後、送信車両10のHUD11又は周囲モニタディスプレイ33に表示する画像である。また、送信画像は、送信車両10がメッセージと共に送信相手に送信する画像である。なお、送信画像ではなくシーンの識別番号を送信してもよい。受信車両20はシーンの識別番号により送信画像を読み出して表示できる。
The display image is an image displayed on the
<進路変更の例>
図11は、車車間通信のシーンの一例として、片側2車線の道路を進行中の車両が進路変更を行うシーンを模式的に示す。図11では、先行する送信車両10が右側の走行レーンで後続する受信車両20の前方に移動する進路変更を示している。
<Example of course change>
FIG. 11 schematically shows a scene in which a vehicle traveling on a two-lane road on one side changes its course as an example of a scene of inter-vehicle communication. FIG. 11 shows a course change in which the preceding transmitting
送信車両10の運転者が方向指示器を操作すると、シーン判定部41が進路変更のシーンであると判定し、送信相手選択部42が進路変更後に後続の車両となる受信車両20に「前に入ります」というメッセージを送信する。
When the driver of the
図12は、車車間通信のシーンの一例として、片側2車線の道路を進行中の車両が進路変更を行うシーンを模式的に示す。図12では、後方の送信車両10が左側の走行レーンを走行中の受信車両20を追い越してその前方に移動する進路変更を示している。
FIG. 12 schematically shows a scene in which a vehicle traveling on a road on two lanes on one side changes its course as an example of a scene of inter-vehicle communication. FIG. 12 shows a course change in which the
送信車両10の運転者が方向指示器を操作すると、シーン判定部41が進路変更のシーンであると判定し、送信相手選択部42が進路変更後に後続の車両となる受信車両20に「前に入ります」というメッセージを送信する。
When the driver of the
<メッセージなどの表示例>
図13〜19を用いて、メッセージ、送信内容、及び、視認結果の表示例について説明する。図13は、図11の進路変更のシーンにおいて、送信車両10のHUD11に表示される送信内容の通知の一例を示している。
<Display example of messages>
Display examples of messages, transmission contents, and visual recognition results will be described with reference to FIGS. FIG. 13 shows an example of notification of transmission contents displayed on the
送信車両10の運転者が方向指示器を右方向に操作すると、送信車両10のHUD11には、メッセージを送信してから受信車両20から応答メッセージを受信するまでの間に、メッセージが表示される。メッセージにより、メッセージが送信されたことと応答メッセージを待っていることを運転者に通知できる。
When the driver of the
メッセージを送信した送信車両10のHUD11には、例えば「前に入ります。送信中」という送信内容の通知が表示される。これにより、送信車両10の運転者は、メッセージの内容、及び、メッセージの送信中であり、かつ、受信側の反応が未だ帰ってきていないことを把握できる。
In the
なお、単に送信内容の通知を表示するのでなく、メッセージの送信前と送信後で、送信内容の通知の透明度、明度などを変えてもよい。これにより、送信車両10の運転者はメッセージが送信されたかどうかを判断できる。
Instead of simply displaying the transmission content notification, the transparency and brightness of the transmission content notification may be changed before and after the message transmission. Thereby, the driver of the transmitting
また、送信内容の通知の色等を変えることなく、又は、変えると共に、メッセージを送信したタイミングで音や音声を出力してもよい。 Further, a sound or a sound may be output at the timing when the message is transmitted without changing the color or the like of the transmission content notification.
図14は、図12の進路変更のシーンにおいて、送信車両10のHUD11に表示される送信内容の通知の一例を示している。
FIG. 14 shows an example of the notification of the transmission content displayed on the
送信車両10の運転者が方向指示器を左方向に操作すると、送信車両10のHUD11には、メッセージを送信してから受信車両20から応答メッセージを受信するまでの間に、メッセージと表示画像が表示される。すなわち、図13と違い、表示画像(送信対象車両指示部61と進路変更位置指示部62)が表示されている点である。
When the driver of the
まず、受信車両20と関連するように、受信車両20を示す送信対象車両指示部61が受信車両20に重畳するようにHUD11に表示されている。送信対象車両指示部61は、例えば吹き出しに「送信対象車両」というテキストが含まれたものである。送信対象車両指示部61が送信車両10の近傍に表示されることで、受信車両20の運転者はどの車両がメッセージを送信したかを容易に把握できる。
First, the transmission target
また、HUD11には、進路変更位置に進路変更位置指示部62が、進路変更対象の走行レーン65に重畳するように表示される。進路変更位置指示部62は、進路変更位置を示す矢印のアイコンである。また、進路変更位置指示部62は自車両が進路変更のために移動する移動方向を示すアイコンにもなっている。進路変更位置指示部62により、受信車両20の運転者は車両の進路変更位置と移動方向を容易に把握できる。送信対象車両指示部61と進路変更位置指示部62の表示方法については図15で説明する。
Further, the
なお、図11の進路変更のシーンでは、受信車両20が半透過ミラー越しに存在しない。そこで、図11の進路変更では、周囲モニタディスプレイ33上で、送信対象車両指示部61と進路変更位置指示部62を、受信車両20や道路に重畳して表示してもよい。
In the course change course of FIG. 11, the receiving
図15は、送信対象車両指示部61と進路変更位置指示部62の表示方法を説明する図の一例である。車間距離計測部29や周囲映像取得部24がカメラなどの撮像手段の場合、受信車両20は画像として撮像されているため、送信車両10は認識処理により受信車両20を認識できる。
FIG. 15 is an example of a diagram illustrating a display method of the transmission target
なお、詳細には、送信対象の車両(受信車両20)を選択しているため、受信車両20の位置により受信車両20を特定できる。また、特定された位置の受信車両20を、車間距離計測部29や周囲映像取得部24が撮像した画像から画像処理により認識してもよい。受信車両20の位置はおよその位置は分かっているので、Haar-Like特徴量やHOG特徴両を使って受信車両20を認識できる。なお、送信相手の選択については図24で説明する。
Specifically, since the transmission target vehicle (reception vehicle 20) is selected, the
同様に、車間距離計測部29や周囲映像取得部24が撮像した画像データに車線区分線(以下、白線と言っても白い線には限られず、走行レーンを区切る機能を有したものであればよい)の認識処理(輝度が高い直線を認識する)を施すことで白線を認識可能である。
Similarly, the image data captured by the inter-vehicle
また、車間距離計測部29や周囲映像取得部24の画角や取り付け位置は固定なので、撮像範囲は一定である。ウィンドシールド37に対する半透過ミラー102の位置も固定である。したがって、車間距離計測部29や周囲映像取得部24が撮像した画像データ38に対し半透過ミラー102が対応する領域は予め決定することができる。図15では、画像データ38の点線で囲まれた範囲が、半透過ミラー102の対応する領域である。一般には画像データ>半透過ミラーとなるが、この逆の場合も不都合はない。
In addition, since the angle of view and the attachment position of the inter-vehicle
したがって、メッセージ表示部A44は、画像データから認識された受信車両20の近傍に送信対象車両指示部61を表示したと仮定して、その送信対象車両指示部61が半透過ミラー102のどの位置に対応するかを求める。半透過ミラー102の求めた位置に送信対象車両指示部61を表示することで、運転席から、受信車両20の近傍に送信対象車両指示部61が見えるように送信対象車両指示部61を表示させることができる。
Therefore, assuming that the message display unit A44 has displayed the transmission target
また、メッセージ表示部A44は、画像データ38から認識された、隣の走行レーンの受信車両20よりも前方の路面上に進路変更位置指示部62を表示したと仮定して、その進路変更位置指示部62が半透過ミラー102のどの位置に対応するかを求め、HUD11で進路変更位置指示部62を表示する。
Further, it is assumed that the message display unit A44 has displayed the course change
なお、後述するように、送信相手の車両(受信車両20)は、所定時間経過後の相対位置によって決められるので、メッセージを送信したタイミングでは、進入位置は正確でないおそれがある。しかしながら、進路変更後に後続の車両となる受信車両20の前方に進路変更位置指示部62を表示しておけば、送信車両10の運転者は進入位置の目安にすることができる。
As will be described later, since the transmission partner vehicle (receiving vehicle 20) is determined by the relative position after a predetermined time has elapsed, the approach position may not be accurate at the timing when the message is transmitted. However, if the route change
また、送信対象車両指示部61の表示態様は一例に過ぎず、吹き出しを用いることなく、受信車両20に直接、重畳させてもよいし、受信車両20の下側(路面側)に表示してもよい。
Further, the display mode of the transmission target
また、進路変更位置指示部62の表示態様は一例に過ぎず、白線に重畳するように表示してもよいし、送信車両10が走行している走行レーンの路面に重畳するように表示してもよい。
Moreover, the display mode of the course change
図16は、図11の進路変更のシーンにおいて、メッセージの送信が失敗した場合にHUD11に表示される映像を示す図の一例である。送信車両10のメッセージ表示部A44は、メッセージの送信の正否をHUD11に表示する。図16は、送信できなかった場合に表示される「前に入ります。送信失敗」という通知を示す。送信できた場合には、例えば「前に入ります。送信済み」という通知が表示される。
FIG. 16 is an example of a diagram showing an image displayed on the
なお、メッセージの送信に失敗する場合とは、無線通信部23が他の通信のための負荷が高い場合や、通信チャネルが空いていない場合などがある。
Note that the case where the message transmission fails includes a case where the
送信車両10の運転者は「前に入ります。送信失敗」という通知により、メッセージを送信できなかったことを把握できる。
The driver of the
なお、メッセージ表示部A44は、メッセージを送信できた場合、メッセージの色をメッセージ送信前に対し透明度や明度を変えるように動作し、メッセージを送信できない場合は色や透明度、明度が変化しないことで、送信の失敗を通知してもよい。 When the message can be transmitted, the message display unit A44 operates so as to change the color and transparency of the message before sending the message. When the message cannot be transmitted, the color, transparency, and brightness do not change. The transmission failure may be notified.
また、図16は図11のシーンの場合の送信の正否の通知例であるが、図12のシーンにおいても同様の表示が行われる。 FIG. 16 shows a notification example of whether transmission is correct or not in the case of the scene of FIG. 11, but the same display is performed in the scene of FIG.
図17は、図11の進路変更のシーンにおいて、メッセージを受信した受信車両20のHUD11に表示される映像について説明する図の一例である。
FIG. 17 is an example of a diagram illustrating an image displayed on the
メッセージ表示部B47は、送信車両10から送信されたメッセージをHUD11に表示する。そして、この表示の際、メッセージ表示部B47は送信画像をHUD11に表示する。図17の送信画像は、送信車両10を示すために進入車両指示部63と、進入位置を示す進入位置指示部64である。進入車両指示部63は、進入する車両を指示するアイコンである(進入車両指示部63は特許請求の範囲の他車両指示画像の一例である)。進入位置指示部64は、進入車両の進入位置を示すアイコンである。また、進入位置指示部64は送信車両10が進路変更のために移動する移動方向を示すアイコンにもなっている(進入位置指示部64は特許請求の範囲の移動方向画像の一例である)。
The message display unit B47 displays the message transmitted from the
メッセージ表示部B47は、メッセージ15をHUD11に表示する。メッセージ15の表示位置は半透過ミラー102の下方、上方、右端、左端、又は、中央などである。また、次述する進入位置指示部64の近く(進入位置指示部64の下方や上方)に表示してもよい。近くに表示することで、進入位置指示部64の意味を把握しやすくなる。
The message display unit B47 displays the
メッセージ表示部B47は、進入車両指示部63を送信車両10の付近に表示する。また、進入位置指示部64を自車両の走行レーンの路面に重畳して表示する。
The message display unit B47 displays the approaching
まず、送信データには送信車両10の位置情報(後述する送信車両位置)が含まれているので、受信車両20では送信車両10を特定できる。したがって、車間距離計測部29や周囲映像取得部24が取得した画像データから送信車両10を検出して、HUD11における進入車両指示部63の表示位置を決定できる。
First, since the transmission data includes position information (transmission vehicle position described later) of the
進入位置指示部64については、画像データにおいて、受信車両20よりも前方で送信車両10よりも手前の路面上に表示したと仮定して、HUD11おける表示位置を決定する。
As for the approach
受信車両20の運転者は進入位置指示部64により、送信車両10が移動する方向を把握でき、進入車両指示部63により送信車両10を把握できる。
The driver of the receiving
なお、受信車両20は、送信車両10から送信されたメッセージを、スピーカ32から出力して、運転者に伝えてもよい。
In addition, the receiving
図12の進路変更のシーンの場合、受信車両20よりも後方を送信車両10が走行中なので、受信車両20のメッセージ表示部B47が以下のように表示する。
・送信車両10から送信された「前に入ります」というメッセージは、送信車両10の進入位置を示す進入位置指示部64と共にHUD11に表示する。
・進入車両指示部63は、周囲モニタディスプレイ33に表示することで、送信車両10の付近に表示する。
In the case of the route change scene of FIG. 12, since the transmitting
The message “enter before” transmitted from the
-The approach vehicle instruction |
図18は、図11の進路変更のシーンにおいて、受信車両20から視認結果の通知を受信した送信車両10のHUD11に表示される映像について説明する図の一例である。図18は、受信車両20の運転者が視認したことを確認した場合の表示例である。
FIG. 18 is an example of a diagram illustrating an image displayed on the
送信車両10のメッセージ表示部A44は、確認したという視認結果を受信すると、メッセージ「前に入ります」と共に、受信車両20の運転者がメッセージを確認したことを示す「確認済」というテキストを表示する。
When the message display unit A44 of the
表示するほか、確認済みであることを伝えるため、音声情報を利用して「確認済」というテキストをスピーカ32から出力してもよい。また、メッセージ「前に入ります」の色、透明度、明度などを変えることで、確認済みを通知してもよい。
In addition to displaying, in order to tell that it has been confirmed, the text “confirmed” may be output from the
なお、図12の進路変更のシーンにおいても、送信車両10は同様に「確認済」というテキストを表示する。
In the course change course in FIG. 12 as well, the transmitting
図19は、図11の進路変更のシーンにおいて、受信車両20から視認結果の通知を受信した送信車両10のHUD11に表示される映像について説明する図の一例である。図19は、受信車両20の運転者が視認したことを確認できない場合の表示例である。
FIG. 19 is an example of a diagram illustrating an image displayed on the
送信車両10のメッセージ表示部A44は、確認できないという視認結果を受信すると、メッセージ「前に入ります」と共に、受信車両20の運転者がメッセージを確認しなかったことを示す「確認失敗」というテキストを表示する。
When the message display unit A44 of the transmitting
表示するほか、確認失敗したことを伝えるため、音声情報を利用して「確認失敗」というテキストをスピーカ32から出力してもよい。また、メッセージ「前に入ります」の色、透明度、明度などを変えることで、確認失敗を通知してもよい。
In addition to displaying, in order to convey that the confirmation has failed, the text “confirmation failure” may be output from the
なお、図12の進路変更のシーンにおいても、送信車両10は同様に「確認失敗」というテキストを表示する。
In the course change course in FIG. 12 as well, the transmitting
<<渋滞のシーンのメッセージ>>
図20〜22を用いて他のシーンの場合にHUD11に表示されるメッセージ等について説明する。図20は渋滞の場合に表示されるメッセージ等を示す図の一例である。図20(a)は渋滞のシーンにおいて、送信車両10の周囲モニタディスプレイ33に表示される送信内容の通知の一例を示している。すなわち、送信車両10の周囲映像取得部24が後方の映像を撮影し、周囲モニタディスプレイ33に表示する。メッセージ表示部A44は「渋滞です 送信中」を周囲モニタディスプレイ33に表示すると共に、送信対象指示部66を受信車両20の近傍に表示する。これにより、送信車両10の運転者は周囲モニタディスプレイ33により受信車両を把握できる。
<< Messages of traffic scenes >>
A message displayed on the
図20(b)はメッセージの送信に失敗した場合に表示される送信の成否の通知を示す図の一例である。これにより、送信車両10の運転者は周囲モニタディスプレイ33によりメッセージが送信されたか否かを把握できる。
FIG. 20B is an example of a diagram showing a notification of success or failure of transmission displayed when message transmission fails. Thereby, the driver of the transmitting
図20(c)の左図は確認できたという視認結果の通知を示し、右図は確認できないという視認結果の通知を示している。これにより、送信車両10の運転者は周囲モニタディスプレイ33により、受信車両20の運転者がメッセージを確認したか否かを把握できる。
The left figure of FIG. 20C shows the notification of the visual recognition result that it has been confirmed, and the right figure shows the notification of the visual recognition result that it cannot be confirmed. Thereby, the driver of the transmitting
図20(d)は、渋滞のシーンにおいて、メッセージを受信した受信車両20のHUDに表示される映像について説明する図の一例である。メッセージ表示部B47は「渋滞です」というメッセージと共に、送信車両10の近傍に前方車両指示部67を表示する。
FIG. 20D is an example of a diagram illustrating an image displayed on the HUD of the receiving
図21は細い道でのすれ違いの場合に表示されるメッセージ等を示す図の一例である。図21(a)は細い道でのすれ違いのシーンにおいて、送信車両10のHUD11に表示される送信内容の通知の一例を示している。細い道でのすれ違いのシーンでは、前方に受信車両20が存在するので、HUD11に「お先にどうぞ 送信中」を表示できる。また、進路変更の場合と同様に、送信対象車両指示部68を受信車両20の近傍に表示できる。
FIG. 21 is an example of a diagram showing messages and the like displayed in the case of passing on a narrow road. FIG. 21A shows an example of notification of transmission content displayed on the
また、停止指示部71が自車両の前方の路面上に表示される。すなわち、細い道でのすれ違いのシーンにおいて「お先にどうぞ」というメッセージが送信された場合、送信車両10はすれ違いまで停止又は徐行しているべきなので、停止指示部71を表示することで送信車両10の運転者に停止又は徐行を促すことができる。
Moreover, the stop instruction | indication part 71 is displayed on the road surface ahead of the own vehicle. That is, when a message “Please come first” is transmitted in a passing scene on a narrow road, the transmitting
なお、図21(b)に示すように、送信の成否がHUD11に表示され、図21(c)に示すように、視認結果がHUD11に表示される。
As shown in FIG. 21 (b), the success or failure of transmission is displayed on the
図21(d)は、細い道でのすれ違いのシーンにおいて、メッセージを受信した受信車両20のHUD11に表示される映像について説明する図の一例である。受信車両20のHUD11には通過待ち車両指示部69が、送信車両10の近傍に表示される。また、メッセージ表示部B47は送信車両10の近傍に停止状態表示部72を表示する。これにより、受信車両20の運転者は送信車両10が通過待ちしており、メッセージの指示通り先に通過してよいことを把握できる。
FIG. 21 (d) is an example of a diagram illustrating an image displayed on the
図22は、細い道でのすれ違いの場合に表示されるメッセージ等を示す図の一例である。図21と異なり、図22ではメッセージが「先に通ります」となっている。このため、メッセージ表示部A44は、送信車両10のHUD11に送信対象車両指示部73だけでなく、進行指示部74を前方の路面に表示する。これにより、送信車両10の運転者は、メッセージの視認結果を受信した後、進行可能であることを把握できる。
FIG. 22 is an example of a diagram showing a message displayed in the case of passing on a narrow road. Unlike FIG. 21, in FIG. 22, the message is “pass first”. Therefore, the message display unit A44 displays not only the transmission target
また、図22(d)に示すように、受信車両20のメッセージ表示部B47は、通過車両指示部75を送信車両10の近傍に表示し、通過車両10の前方の路面に通過表示部76を表示する。これにより、受信車両20の運転者は、送信車両10が先に通過することを把握できる。
Further, as shown in FIG. 22D, the message display unit B47 of the receiving
<処理手順>
<<送信相手の選択>>
図23は、送信車両がメッセージの送信相手を選択する処理を示すフローチャート図の一例である。図23は、送信アクションが検出されることでスタートする。
S1:送信アクションが決定される前又はその後に、送信車両は車間距離計測部29により、周囲の車両との相対位置・相対速度を計測している。
S2:次に、送信相手選択部42は、メッセージの送信相手を選択する。まず、シーン判定部41は上記のようにシーンを判定する。そして、シーンによって指定される送信相手を自車両の周囲から選択する。
<Processing procedure>
<< Select recipient >>
FIG. 23 is an example of a flowchart illustrating a process in which the transmission vehicle selects a message transmission partner. FIG. 23 starts when a transmission action is detected.
S1: Before or after the transmission action is determined, the transmitting vehicle measures the relative position and relative speed with the surrounding vehicles by the inter-vehicle
S2: Next, the transmission
図24に示すように、送信相手を選択するために、まず、進入位置を決定する。図24は、進路変更のシーンにおいて進入位置の決定方法を説明する図の一例である。
1.送信車両の送信相手選択部は、進路変更を行う車間を決定する。進路変更は、例えば方向指示器を操作してから例えば3秒後に開始することが推奨されているので、送信相手選択部42は3秒後の周囲の車両の相対位置を予測する。なお、3秒後の相対位置は現在の相対位置・相対速度から予測できる。例えば、図24の配置が3秒後の周囲の車両の相対位置であるとする。
2.次に、進路変更後の走行レーンで、自車両から最も近く、かつ、進入に十分な車間距離がある車間を進入車間として決定する。図24の例では、車間Aと車間Bのうち、車間Bが条件を満たすので、車間Bを進入車間に決定する。
3.次に、進入位置を決定する。進入位置は、進入車間の車間距離が一定未満の場合は、中間の位置とする。車間距離がある一定以上離れている場合には、進路変更を行った後に、後続となる車両の前方の一定距離離れた位置を進入位置とする。
As shown in FIG. 24, in order to select a transmission partner, first, an approach position is determined. FIG. 24 is an example of a diagram illustrating a method of determining an approach position in a course change course.
1. The transmission partner selection unit of the transmission vehicle determines an inter-vehicle distance in which the course is changed. For example, it is recommended that the route change be started after 3 seconds from the operation of the direction indicator, for example, so the transmission
2. Next, an inter-vehicle distance that is closest to the host vehicle and has a sufficient inter-vehicle distance in the travel lane after the course is changed is determined as an approaching inter-vehicle distance. In the example of FIG. 24, between the inter-vehicle distance A and the inter-vehicle distance B, the inter-vehicle distance B satisfies the condition, so the inter-vehicle distance B is determined between the approaching vehicles.
3. Next, an approach position is determined. The approach position is an intermediate position when the inter-vehicle distance between approaching vehicles is less than a certain value. When the inter-vehicle distance is more than a certain distance, after changing the course, a position a certain distance away ahead of the succeeding vehicle is set as the entry position.
このようにして、進路変更を行う進入位置を決定することで、送信相手として受信車両20を決定することができる。
Thus, the receiving
なお、図24は、図11の進路変更のシーンにおける進入位置の決定を説明しているが、図12の進路変更のシーンの場合も同様である。すなわち、進入先の走行レーンが右から左に変わるが、3秒後の周囲の車両の相対位置を予測しているので、同様に進入位置を決定できる。 FIG. 24 illustrates the determination of the approach position in the course change scene of FIG. 11, but the same applies to the course change scene of FIG. In other words, the travel lane of the entry destination changes from right to left, but the approach position can be determined in the same manner because the relative position of the surrounding vehicle after 3 seconds is predicted.
また、渋滞の最後尾に到達するシーンにおいては、自車両と同一の走行レーンを走行する最も近い後続の車両がメッセージの送信相手である。また、細い道でのすれ違いのシーンでは、進行方向で最も近い対向車がメッセージの送信相手である。 Further, in a scene that reaches the tail end of the traffic jam, the nearest succeeding vehicle that travels in the same travel lane as the host vehicle is the message transmission partner. In a passing scene on a narrow road, the oncoming vehicle closest in the direction of travel is the message transmission partner.
<<送信車両のメッセージ送信処理>>
図25は、送信車両のメッセージ送信処理の手順を説明するフローチャート図の一例である。図25の処理は図23の処理に続いて行われる。
S1:メッセージ送信部A43は、まず、送信データを生成する。すでにシーンが決まっているので、送信情報275からメッセージを読み出す。送信データの生成については図26にて説明する。
S2:メッセージ送信部A43は、作成した送信データを送信相手に送信する。
<< Sending vehicle message transmission process >>
FIG. 25 is an example of a flowchart for explaining the procedure of the message transmission process of the transmission vehicle. The process of FIG. 25 is performed following the process of FIG.
S1: The message transmission unit A43 first generates transmission data. Since the scene has already been determined, a message is read from the
S2: The message transmission unit A43 transmits the created transmission data to the transmission partner.
図26(a)は送信データのフォーマットの一例を示す図である。送信データには、メッセージの他、送信画像(進入車両指示部63と進入位置指示部64)、送信者両識別情報、及び、受信車両識別情報が含まれる。
FIG. 26A shows an example of a format of transmission data. In addition to the message, the transmission data includes a transmission image (the approaching
メッセージや送信画像は、そのものを送信するのでなく、シーンを特定する識別情報を送信してもよい。これにより通信時間を短縮できる。 The message or the transmission image may be transmitted as identification information for specifying a scene, instead of transmitting the message or the transmission image. Thereby, communication time can be shortened.
送信者両識別情報と受信車両識別情報について説明する。メッセージの送信では、送信相手の車両(受信車両20)以外の車両もメッセージを受信するおそれがあるため、受信車両20を他の車両と識別するための情報を送信する。この情報を、受信車両識別情報と称する。また、受信車両20は、視認結果を送信車両に送信するので、受信車両20から見た場合に送信車両10を他の車両と区別しなければならない。送信車両10を他の車両と区別するための情報を、送信車両識別情報と称する。
The sender identification information and the receiving vehicle identification information will be described. In transmitting a message, there is a possibility that a vehicle other than the transmission partner vehicle (receiving vehicle 20) may receive the message, and therefore information for identifying the receiving
送信車両識別情報には、例えば、送信車両位置、送信車両走行レーン情報、又は、送信車両IPアドレスなどがある。また、受信車両識別情報には、受信車両位置、及び、受信車両走行レーン情報などがある。このうち、送信車両位置と受信車両位置は常に含まれることが好ましい。 The transmission vehicle identification information includes, for example, transmission vehicle position, transmission vehicle travel lane information, or transmission vehicle IP address. The received vehicle identification information includes a received vehicle position and received vehicle travel lane information. Among these, it is preferable that the transmitting vehicle position and the receiving vehicle position are always included.
送信車両位置は例えば、自車位置検出部28が検出した緯度・経度・標高である。送信車両走行レーン情報は、片側の走行レーンのうち左(又は右)から何番目を走行しているかを示す。送信車両IPアドレスは、グローバルIPアドレスでもよいし、任意の車両や路側器がDHCPサーバとなって付与したIPアドレスでもよい。また、車車間通信がTCP/IP通信を利用する場合、送信データに含めなくてもIPパケットのヘッダーに含まれている。
The transmission vehicle position is, for example, the latitude / longitude / altitude detected by the vehicle
受信車両位置は、自車位置検出部28が検出した緯度・経度・標高に対し、送信相手の相対位置を考慮した緯度・経度・標高などである。受信車両走行レーン情報は、進路変更の方向に応じて、送信車両走行レーン情報に1を加えるか又は1を減じた値である。なお、受信車両IPアドレスは、メッセージの送信時には不明な場合があるため含まれないが、既知であれば含めることが好適である。
The received vehicle position is a latitude / longitude / altitude, etc. in consideration of the relative position of the transmission partner with respect to the latitude / longitude / altitude detected by the vehicle
なお、無線通信部23が可視光通信により通信する場合、車両情報を送信した車両を特定しなくてもよい。図27は、可視光通信する車両Aと車両Bについて説明する図の一例である。車両Bは車両の周囲に受信機1〜8を有しており、車両Aは車両の周囲に送信機1〜8を有している。車両Aが送信車両10,車両Bが受信車両20であるとする。
In addition, when the
車線変更する場合、車両Aは、自車両の右後方の車両にメッセージを送信するため送信機5からメッセージを送信する。車両Bは、受信機1でこれを受信する。よって、受信機1でメッセージを受信することで、車両Bは、メッセージを送信した車両が左前方を走行していること車両Aであることを特定できる。
When changing the lane, the vehicle A transmits a message from the
なお、車両Bは受信機1のみで可視光を受信するとは限らないが、受信機2や8でも可視光を受信したとしても、可視光の受信強度は受信機1が最も強いので車両Aからメッセージを受信したことを特定できる。したがって、可視光通信では、可視光を受信した受信機1〜8により、通信相手を特定できる。
The vehicle B does not always receive visible light only by the
<<メッセージ受信処理>>
図28は、受信車両のメッセージ受信処理について説明するフローチャート図の一例である。図28の処理は、受信車両20がメッセージを受信することでスタートする。
S1:まず、メッセージ受信部B46は、受信データ解析処理を行う。受信データ解析処理については図29で説明する。
S2:受信データ解析処理が終わると、メッセージ受信部B46は、受信したメッセージが自車両向けのメッセージなのか否かを判定する。自車両向けメッセージでないと判断した場合は、図28の処理は終了する。なお、可視光通信などで送信車両が受信車両を特定して送信できる場合には、自車両向けメッセージか否かの判断は必要ではない。
S3:自車両向けのメッセージを受信したと判断した場合、メッセージ表示部B47は自車両の車両情報を取得する。車両情報は、搭載されている表示デバイス、音声出力デバイス、又は、接続されているこれらのデバイスの情報である。
S4:メッセージ表示部B47は、自車両に表示デバイスや音声出力デバイスなどのメッセージを出力できる装置が存在するか否かを判定する。自車両にメッセージを出力できるデバイスが存在しない場合、処理はステップS11に進む。
S5:自車両にメッセージを出力できるデバイスが存在する場合、メッセージ表示部B47は、記憶装置27から運転者属性情報274を取得する。
S6:メッセージ表示部B47は、運転者属性情報274に基づき運転者が、自車両が備えている表示デバイス、音声出力デバイスによる出力を認識可能か否か判断する。例えば、聴覚障害がある場合、スピーカ32からメッセージを出力しても認識困難である。また、年齢が一定以上の場合、聴力が低下しスピーカ32から出力されたメッセージを認識困難な場合がある。したがって、例えば、運転者が聴覚障害を持っていて、車両に備え付けられたメッセージの出力手段が音声出力デバイスのみの場合には、認識困難であると判断する。この場合、処理はステップS11に進む。
S7:運転者がメッセージを認識可能であると判断した場合、メッセージ表示部B47は、メッセージと送信画像(進入車両指示部63及び進入位置指示部64)を表示する。
S8:そして、既読判定部48が、運転者がメッセージを認識したか否かを判定する処理である視認判定処理(S8−1)と音声認識処理(S8−2)を行う。視認判定処理の詳細については後述する。音声認識処理については、「了解」や「どうぞ」などの運転者の発話コマンドを認識することによってメッセージの認識が行われたことを確認する。音声認識処理については、公知の技術を用いることができる。受信車両20が、視線・眼球位置検出部21又は音声認識装置の一方のみを備えている場合、備え付けられている視線・眼球位置検出部21又は音声認識装置の一方の手段でのみ処理のみを行う。
S9:既読判定部48はメッセージを確認したか否かを判定する。
S10:メッセージが確認された場合、メッセージ送信部B49は受信車両20の運転者がメッセージを認識したことを示す視認結果を送信車両10に通知する。
S11:メッセージが確認されなかった場合には、メッセージ送信部B49は、受信車両20の運転者がメッセージを認識しなかったことを示す視認結果を送信車両10に送信する。
<< Message reception process >>
FIG. 28 is an example of a flowchart for explaining message reception processing of the receiving vehicle. The process of FIG. 28 starts when the receiving
S1: First, the message receiver B46 performs received data analysis processing. The received data analysis process will be described with reference to FIG.
S2: When the received data analysis process ends, the message receiving unit B46 determines whether or not the received message is a message for the host vehicle. If it is determined that the message is not for the host vehicle, the processing in FIG. 28 ends. When the transmitting vehicle can identify and transmit the receiving vehicle by visible light communication or the like, it is not necessary to determine whether the message is for the host vehicle.
S3: When it is determined that the message for the host vehicle has been received, the message display unit B47 acquires the vehicle information of the host vehicle. The vehicle information is information on a mounted display device, audio output device, or these connected devices.
S4: The message display unit B47 determines whether there is a device capable of outputting a message such as a display device or a voice output device in the host vehicle. If there is no device that can output a message to the host vehicle, the process proceeds to step S11.
S5: When there is a device that can output a message to the host vehicle, the message display unit B47 acquires the
S6: The message display unit B47 determines, based on the
S7: When the driver determines that the message can be recognized, the message display unit B47 displays the message and the transmission image (the approaching
S8: And the already-read
S9: The read
S10: When the message is confirmed, the message transmitting unit B49 notifies the transmitting
S11: When the message is not confirmed, the message transmitting unit B49 transmits a visual recognition result indicating that the driver of the receiving
図26(b)に示すように、送信車両10への視認結果には、送信車識別情報と受信者識別情報が含まれる。送信車両10は、送信データと同様に送信車識別情報により自車両宛の視認結果であると判断する。また、送信車両10は、受信者識別情報により終了通知の相手を特定することができる。
As shown in FIG. 26B, the visual recognition result for the
または、送信データに添付されるIPアドレス宛に、受信車両20がメッセージを送信することによって、送信車両10を特定してもよい。
Alternatively, the transmitting
<<受信データ解析処理>>
図29は受信データ解析処理の手順を示すフローチャート図の一例である。ここでは、受信車両識別情報が、受信車両位置である場合の判定を示す。
S1:メッセージ受信部B46は、自車位置検出部28により自車両の位置を計測する。
S2:メッセージ受信部B46は、車間距離計測部29により周囲の車両の相対位置を計測する。
S3:メッセージ受信部B46は、受信データパース処理によって、受信した送信データに含まれる、メッセージ、送信画像、送信者両識別情報、及び、受信者両識別情報を取得する。
S4:次に、メッセージ受信部B46は、メッセージが自車両向けか否かを判定する。すなわち、送信データに含まれる受信車両位置がステップS1の自車両位置と同じ、かつ、送信データに含まれる送信車両位置に送信車両が観測された場合、自車両向けメッセージと判断し、そうでない場合は他車両向けメッセージと判定する。
<< Received data analysis processing >>
FIG. 29 is an example of a flowchart showing a procedure of received data analysis processing. Here, the determination when the reception vehicle identification information is the reception vehicle position is shown.
S1: The message reception unit B46 measures the position of the host vehicle by the host vehicle
S2: The message receiving unit B46 measures the relative positions of the surrounding vehicles by the inter-vehicle
S3: The message receiving unit B46 acquires a message, a transmission image, both sender identification information, and both receiver identification information included in the received transmission data by the reception data parsing process.
S4: Next, the message receiver B46 determines whether or not the message is for the host vehicle. That is, if the receiving vehicle position included in the transmission data is the same as the own vehicle position in step S1 and the transmitting vehicle is observed at the transmitting vehicle position included in the transmission data, it is determined as a message for the own vehicle. Is determined to be a message for other vehicles.
送信車両が計測した受信車両位置に受信車両が存在し、送信車両10が計測した送信車両位置に、受信車両20が計測した送信車両10が存在することを確認するので、自車両宛てのメッセージであることを確実に判断できる。
Since it is confirmed that the receiving vehicle exists at the receiving vehicle position measured by the transmitting vehicle and the transmitting
<<視認判定処理>>
図30は、既読判定部48による視認判定処理の手順を示すフローチャート図の一例である。
S1:既読判定部48は、メッセージの受信から一定時間以上経過したかを判定する。受信から一定時間以上経過している場合、処理はステップS9に進む。なお、この一定時間は、人間の反応時間に比べて十分に長いものとする。つまり、メッセージに気づいていないと判断できる十分に長い時間である。また、運転者属性情報274で定義された年齢を基に、年齢が高いほど長くするようにして設定してもよい。
S2:受信から一定時間以上経過していない場合、既読判定部48はメッセージの目視時間を"0"に設定する。すなわち、目視時間を初期化する。
S3:視線・眼球位置検出部21は視線・眼球位置の計測を行う。
S4:そして、視線の向き及び眼球位置から目視点を算出する。
S5:既読判定部48は、目視点がメッセージ表示位置の近傍か否かを判定する。目視点がメッセージ表示位置の近傍でない場合、処理はステップS1に戻る。メッセージ表示位置とは、半透過ミラー102上において受信したメッセージ又は送信画像の表示位置であり、既読判定部48はメッセージ表示部B47から表示位置を取得している。
S6:目視点がメッセージ表示位置の近傍である場合、既読判定部48はメッセージの目視時間を加算する。
S7:既読判定部48は、メッセージの目視時間が閾値以上か否かを判定する。目視時間の閾値は、例えば、非特許文献1により、目視となる目視時間である0.150秒を用いることができる。その他、運転者属性情報274で設定された年齢を基に、年齢が高いほど長くするようにして設定してもよい。
S8:目視時間が閾値以上になると、視認フラグを"1"に設定し、図30の処理は終了する。目視時間が閾値以上でない場合、処理はステップS3に戻り、引き続き、視線の向き及び眼球位置が検出される。
S9:目視時間が閾値以上になる前に、メッセージの受信から一定時間以上が経過した場合、既読判定部48は視認フラグを"0"に設定し、図30の処理は終了する。
<< Viewing determination process >>
FIG. 30 is an example of a flowchart illustrating a procedure of visual recognition determination processing by the read
S1: The already-read
S2: If the predetermined time or more has not elapsed since the reception, the already-read
S3: The line of sight / eyeball
S4: Then, the eye viewpoint is calculated from the direction of the line of sight and the eyeball position.
S5: The read
S6: When the eye viewpoint is near the message display position, the already-read
S7: The read
S8: When the viewing time becomes equal to or greater than the threshold, the viewing flag is set to “1”, and the process of FIG. 30 ends. If the viewing time is not greater than or equal to the threshold, the process returns to step S3, and the direction of the line of sight and the eyeball position are subsequently detected.
S9: If the predetermined time or more has elapsed since the reception of the message before the viewing time becomes equal to or greater than the threshold, the already-read
こうすることで、受信車両の運転者が継続してメッセージを目視した場合に、視認フラグが"1"になり、運転者が視認したことを検出できる。 By doing so, when the driver of the receiving vehicle continuously views the message, the visual recognition flag becomes “1”, and it can be detected that the driver has visually recognized.
<<目視点の算出>>
図31は、目視点の算出について説明する図の一例である。例えば、半透過ミラー102の中央を原点O(0,0,0)とする。また、運転者からみて半透過ミラー102の右方向にX軸、下方向にY軸、奥方向にZ軸を設定する。
P(xp,yp,zp):運転者の眼球位置
V(xv,yv,zv):運転者の視線ベクトル
S(xs,ys,0):運転者の半透過ミラー中の目視点
半透過ミラーを平面とみなし平面の式を立て、運転者の視線ベクトルと眼球位置から直線の式を立てると、公知の方法で目視点S(xs,ys,0)を算出することができる。
<< Calculation of eye viewpoint >>
FIG. 31 is an example of a diagram illustrating the calculation of the eye viewpoint. For example, the center of the
P (xp, yp, zp): Driver's eye position
V (xv, yv, zv): Driver's gaze vector
S (xs, ys, 0): Eye viewpoint in driver's translucent mirror Considering the semi-transparent mirror as a plane, formula of the plane is established. The eye viewpoint S (xs, ys, 0) can be calculated by this method.
以上説明したように、本実施形態の意思伝達装置100では、受信車両20が受信したメッセージを運転者の視線移動が少ないHUD11に表示することで、運転者はメッセージを確認しやすい。また、本実施形態の意思伝達装置100では、受信車両20は、運転者がメッセージを確認したか否かを視線から判断できる。したがって、少ない負担でメッセージを確認できるので、送信車両10の運転者は、受信車両20の運転者がメッセージを確認したのか否かを把握する可能性を高めることができる。よって、送信車両10と受信車両20の運転者の間で意思疎通の齟齬が生じるおそれを低減できる。
As described above, in the
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。 The best mode for carrying out the present invention has been described above with reference to the embodiments. However, the present invention is not limited to these embodiments, and various modifications can be made without departing from the scope of the present invention. And substitutions can be added.
例えば、運転者とは運転席に乗車している者をいうが、その他の乗員の意思疎通を図ることが可能である。 For example, the driver means a person who is in the driver's seat, but other passengers can communicate with each other.
また、図示した進路変更位置指示部62や進入位置指示部64の位置は一例であって、表示する場所は適宜変更できる。
Further, the positions of the route change
また、本実施形態で挙げたシーンは一例に過ぎず、運転者が意思疎通することが好ましい車両同士が通信するシーンにおいて、本実施形態が適用可能である。 The scenes described in the present embodiment are merely examples, and the present embodiment can be applied to scenes in which vehicles are preferably communicated with each other by drivers.
また、車車間通信とは車両同士が直接、通信することを言うとしたが、路側機を経由して車両同士が通信してもよい。 In addition, the inter-vehicle communication means that the vehicles communicate directly with each other, but the vehicles may communicate with each other via a roadside machine.
10 送信車両
11 HUD
20 受信車両
21 視線・眼球位置検出部
22 制御部
23 無線通信部
24 周囲映像取得部
25 オーディオインタフェース
26 ユーザ入力部
27 記憶装置
28 自車位置検出部
29 車間距離計測部
30 ディスプレイコントローラ
31 マイク
32 スピーカ
100 意思伝達装置
200 車車間通信システム
10
DESCRIPTION OF
Claims (14)
前記メッセージを表示装置に表示する表示手段と、
前記表示装置に表示された前記メッセージを、運転者が認識したか否かを判定する認識判定手段と、
前記認識判定手段の判定結果を前記他車両に送信する送信手段と、
自車両の位置を検出する位置検出手段と、
前記他車両の自車両に対する相対位置を検出する相対位置検出手段と、を有し、
前記受信手段は、前記メッセージと共に前記他車両の位置情報と自車両の位置情報を受信し、
前記他車両から受信した前記自車両の位置情報が、前記位置検出手段が検出した位置を示しており、かつ、前記他車両から受信した前記他車両の位置情報が、前記相対位置検出手段が検出した相対位置を示している場合、
前記メッセージが自車両宛てであると判断して受信する、
ことを特徴とする車両用通信装置。 Receiving means for receiving a message from another vehicle;
Display means for displaying the message on a display device;
Recognition determination means for determining whether the driver has recognized the message displayed on the display device;
Transmitting means for transmitting the determination result of the recognition determining means to the other vehicle;
Position detecting means for detecting the position of the host vehicle;
A relative position detecting means for detecting a relative position of the other vehicle with respect to the host vehicle,
The receiving means receives the position information of the other vehicle and the position information of the own vehicle together with the message,
The position information of the own vehicle received from the other vehicle indicates the position detected by the position detection means, and the position information of the other vehicle received from the other vehicle is detected by the relative position detection means. Indicates the relative position
Receiving the message determined to be addressed to the vehicle.
A vehicular communication device.
前記認識判定手段は、前記目視点に基づき前記メッセージを運転者が認識したか否かを判定する、ことを特徴とする請求項1又は2に記載の車両用通信装置。 It has an eye viewpoint measurement means for measuring the driver's eye viewpoint,
The recognition determination means determines whether the driver of the message based on the first viewpoint is recognized, that the vehicle communication device according to claim 1 or 2, characterized in.
ことを特徴とする請求項1〜3のいずれか1項に記載の車両用通信装置。 The display means displays an other vehicle instruction image indicating the other vehicle together with the message on the display device.
The vehicular communication device according to any one of claims 1 to 3 .
前記表示手段は、前記表示装置における前記他車両の像の近傍に前記他車両指示画像を表示する、ことを特徴とする請求項4に記載の車両用通信装置。 The display device has transparency, and the driver can view the windshield and the front field of view through the display device,
The vehicle communication device according to claim 4 , wherein the display unit displays the other vehicle instruction image in the vicinity of an image of the other vehicle on the display device.
前記表示手段は、前記表示装置における路面の像に重畳して前記移動方向画像を表示する、ことを特徴とする請求項2に記載の車両用通信装置。 The display device has transparency, and the driver can view the windshield and the front field of view through the display device,
The vehicle communication device according to claim 2 , wherein the display unit displays the moving direction image superimposed on an image of a road surface in the display device.
前記認識判定手段は、運転者が前記メッセージを認識したか否かを、前記音声認識手段が認識した予め定められた音声、又は、前記目視点の少なくとも一方にて判定する、
ことを特徴とする請求項3に記載の車両用通信装置。 Having voice recognition means for recognizing voice;
The recognition determination unit determines whether or not the driver has recognized the message by using at least one of the predetermined voice recognized by the voice recognition unit and the eye viewpoint.
The vehicle communication device according to claim 3 .
前記状況である場合、前記メッセージの送信対象の他車両を決定する他車両決定手段と、
前記他車両決定手段が決定した前記他車両に前記メッセージを送信する送信手段と、
前記他車両の運転者が該他車両の第2の表示装置に表示された前記メッセージを認識したか否かの判定結果を前記他車両から受信する受信手段と、
前記受信手段が受信した前記判定結果を表示装置に表示する表示手段と、を有し、
前記表示手段は、前記送信手段が前記他車両に送信するメッセージを表示装置に表示し、
前記他車両に送信するメッセージとして前記判定結果を受信するまで表示していた前記メッセージの色を、前記判定結果の成否に応じて異なる色に変化させることで、前記判定結果を前記表示装置に表示する、ことを特徴とする車両用通信装置。 Status detection means for detecting that the message is being sent,
If it is the situation, other vehicle determination means for determining another vehicle to be transmitted of the message;
Transmitting means for transmitting the message to the other vehicle determined by the other vehicle determining means;
Receiving means for receiving, from the other vehicle, a determination result as to whether or not the driver of the other vehicle has recognized the message displayed on the second display device of the other vehicle;
Display means for displaying the determination result received by the receiving means on a display device;
The display means displays a message transmitted from the transmission means to the other vehicle on a display device,
The determination result is displayed on the display device by changing the color of the message displayed until the determination result is received as a message to be transmitted to the other vehicle to a different color according to the success or failure of the determination result. A vehicle communication device characterized by the above.
前記状況である場合、前記メッセージの送信対象の他車両を決定する他車両決定手段と、
前記他車両決定手段が決定した前記他車両に前記メッセージを送信する送信手段と、
前記他車両の運転者が該他車両の第2の表示装置に表示された前記メッセージを認識したか否かの判定結果を前記他車両から受信する受信手段と、
前記受信手段が受信した前記判定結果を表示装置に表示する表示手段と、
所定時間経過後の他車両の相対位置を検出する相対位置検出手段と、を有し、
前記他車両決定手段は、所定時間経過後の前記他車両の相対位置に基づき、前記メッセージの送信対象の前記他車両を決定し、
前記相対位置検出手段が複数の前記他車両の相対位置を検出した場合、
前記他車両決定手段は、前記他車両と前記他車両の車間距離が閾値以上で、自車両から最も近い前記車間距離の後方の前記他車両を前記メッセージの送信対象の前記他車両に決定する、ことを特徴とする車両用通信装置。 Status detection means for detecting that the message is being sent,
If it is the situation, other vehicle determination means for determining another vehicle to be transmitted of the message;
Transmitting means for transmitting the message to the other vehicle determined by the other vehicle determining means;
Receiving means for receiving, from the other vehicle, a determination result as to whether or not the driver of the other vehicle has recognized the message displayed on the second display device of the other vehicle;
Display means for displaying the determination result received by the receiving means on a display device;
A relative position detecting means for detecting a relative position of another vehicle after a predetermined time has elapsed,
The other vehicle determining means determines the other vehicle to be transmitted of the message based on a relative position of the other vehicle after a predetermined time has elapsed,
When the relative position detecting means detects the relative positions of the plurality of other vehicles,
The other vehicle determination means determines the other vehicle behind the vehicle distance closest to the host vehicle as the other vehicle to be transmitted with the message, when the distance between the other vehicle and the other vehicle is greater than or equal to a threshold value. A vehicular communication device.
ことを特徴とする請求項8〜10のいずれか1項に記載の車両用通信装置。 The display means displays, together with the message, an other vehicle instruction image indicating the other vehicle or a moving direction image indicating a moving direction of the own vehicle on the display device.
The vehicular communication device according to any one of claims 8 to 10 .
前記表示手段は、前記表示装置における前記他車両の像の近傍に前記他車両指示画像を表示する、ことを特徴とする請求項11に記載の車両用通信装置。 The display device has transparency, and the driver can view the windshield and the front field of view through the display device,
The vehicle communication device according to claim 11 , wherein the display unit displays the other vehicle instruction image in the vicinity of an image of the other vehicle on the display device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014134181A JP6451101B2 (en) | 2014-06-30 | 2014-06-30 | Vehicle communication device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014134181A JP6451101B2 (en) | 2014-06-30 | 2014-06-30 | Vehicle communication device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016012277A JP2016012277A (en) | 2016-01-21 |
JP6451101B2 true JP6451101B2 (en) | 2019-01-16 |
Family
ID=55228947
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014134181A Expired - Fee Related JP6451101B2 (en) | 2014-06-30 | 2014-06-30 | Vehicle communication device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6451101B2 (en) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112016007448T5 (en) * | 2016-11-17 | 2019-08-14 | Mitsubishi Electric Corporation | Vehicle interior device, mobile terminal device, recognition support system, recognition support method, and recognition support program |
CN106828320B (en) * | 2017-02-28 | 2023-07-11 | 上海寅家电子科技股份有限公司 | Driver live-action interaction system |
US11004226B2 (en) | 2017-09-07 | 2021-05-11 | Sony Corporation | Image processing device, image processing method, and image display system for grasping a distance from an obstacle with a smaller visual line shift |
JP2019053503A (en) * | 2017-09-14 | 2019-04-04 | 本田技研工業株式会社 | Mobile object information acquisition system, mobile object information acquisition method, program, and mobile object |
JP7099837B2 (en) * | 2018-03-15 | 2022-07-12 | 矢崎総業株式会社 | Display projection device for vehicles |
JP7064688B2 (en) * | 2018-04-20 | 2022-05-11 | 日本精機株式会社 | Vehicle display devices, vehicle display systems, and vehicle display programs |
JP7095584B2 (en) * | 2018-12-12 | 2022-07-05 | 株式会社Jvcケンウッド | Vehicle display control device, vehicle display system, vehicle display control method and program |
JP7200652B2 (en) * | 2018-12-17 | 2023-01-10 | 株式会社Jvcケンウッド | Notification control device, electronic mirror device, notification control method, notification control program |
JP2020107134A (en) * | 2018-12-27 | 2020-07-09 | 豊田合成株式会社 | Vehicular communication system, on-vehicle light emitting device, information acquisition providing device, and on-vehicle device |
JP7031998B2 (en) * | 2019-04-19 | 2022-03-08 | 矢崎総業株式会社 | Audio control system and audio control method |
US20220212685A1 (en) * | 2019-05-07 | 2022-07-07 | Sony Semiconductor Solutions Corporation | Information processing apparatus, moving apparatus, and method, as well as program |
JP6865979B2 (en) * | 2019-08-05 | 2021-04-28 | みこらった株式会社 | Automotive and automotive programs |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005138625A (en) * | 2003-11-04 | 2005-06-02 | Honda Motor Co Ltd | Inter-vehicle communication method and inter-vehicle communication facility |
EP2068292B1 (en) * | 2007-12-03 | 2013-02-27 | Alpine Electronics, Inc. | Traffic information display system and method of displaying traffic information on a display device |
JP5074441B2 (en) * | 2009-03-26 | 2012-11-14 | 株式会社デンソーアイティーラボラトリ | Message communication apparatus, message communication method, message communication system, and message communication program |
US9978272B2 (en) * | 2009-11-25 | 2018-05-22 | Ridetones, Inc | Vehicle to vehicle chatting and communication system |
US8604918B2 (en) * | 2010-11-10 | 2013-12-10 | Hyundai Motor Company | System and method for detecting a vehicle in the vicinity by using wireless communication |
JP2012252407A (en) * | 2011-05-31 | 2012-12-20 | Nissan Motor Co Ltd | Passage support device and passage support method for vehicle |
JP2014032590A (en) * | 2012-08-06 | 2014-02-20 | Pioneer Electronic Corp | Information notification device and information notification method and program |
JP5881566B2 (en) * | 2012-09-10 | 2016-03-09 | アルパイン株式会社 | Navigation device and navigation information display control method |
JP2014098627A (en) * | 2012-11-14 | 2014-05-29 | Denso Corp | Navigation system |
JP5862609B2 (en) * | 2013-06-05 | 2016-02-16 | 株式会社デンソー | Message notification system, message transmission / reception device, program, and recording medium |
-
2014
- 2014-06-30 JP JP2014134181A patent/JP6451101B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016012277A (en) | 2016-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6451101B2 (en) | Vehicle communication device | |
US10078966B2 (en) | Warning method outside vehicle, driver assistance apparatus for executing method thereof and vehicle having the same | |
US10924679B2 (en) | Display device for vehicle and control method thereof | |
US10431069B2 (en) | Apparatus, method and mobile terminal for providing object loss prevention service in vehicle | |
US10011216B1 (en) | Auto turn signal initiation based on lane change and driver history | |
RU2656933C2 (en) | Method and device for early warning during meeting at curves | |
US11518384B2 (en) | Method for displaying lane information and apparatus for executing the method | |
WO2020003776A1 (en) | Information processing device, information processing method, imaging device, computer program, information processing system, and mobile apparatus | |
US9785845B2 (en) | Drive support display device | |
KR20170099188A (en) | Driver Assistance Apparatus and Vehicle Having The Same | |
US11270587B2 (en) | Vehicle on-board communication device and vehicle | |
US20120133738A1 (en) | Data Processing System and Method for Providing at Least One Driver Assistance Function | |
JP2012243303A (en) | User interface method and device for terminal for vehicle, and vehicle equipped with the same | |
JP2010143411A (en) | Head-up display device | |
KR20200069084A (en) | Method, apparatus, electronic device, computer program and computer readable recording medium for determining road speed limit | |
US10067341B1 (en) | Enhanced heads-up display system | |
EP3173278B1 (en) | Vehicle display control device | |
JP2024052900A (en) | Communication device and communication method | |
JP2020035437A (en) | Vehicle system, method to be implemented in vehicle system, and driver assistance system | |
KR20200070100A (en) | A method for detecting vehicle and device for executing the method | |
WO2019155557A1 (en) | Information display control device, information display control method, and information display control program | |
WO2021095481A1 (en) | Driving assistance method, roadside device, and in-vehicle device | |
JP2021149641A (en) | Object presentation device and object presentation method | |
JP2019096137A (en) | Signal apparatus recognition device | |
US20230141584A1 (en) | Apparatus for displaying at least one virtual lane line based on environmental condition and method of controlling same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170607 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180529 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180904 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181126 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6451101 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |