JP5949509B2 - Mutual recognition notification system and mutual recognition notification device - Google Patents
Mutual recognition notification system and mutual recognition notification device Download PDFInfo
- Publication number
- JP5949509B2 JP5949509B2 JP2012267579A JP2012267579A JP5949509B2 JP 5949509 B2 JP5949509 B2 JP 5949509B2 JP 2012267579 A JP2012267579 A JP 2012267579A JP 2012267579 A JP2012267579 A JP 2012267579A JP 5949509 B2 JP5949509 B2 JP 5949509B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- driver
- light emission
- mutual recognition
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/161—Decentralised systems, e.g. inter-vehicle communication
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
- B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
- B60Q1/547—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for issuing requests to other traffic participants; for confirming to other traffic participants they can proceed, e.g. they can overtake
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
Description
本発明は、自車両に対する障害物を検出して運転者に通知する装置に関する。 The present invention relates to an apparatus for detecting an obstacle to a host vehicle and notifying a driver.
従来、車両運転時に運転者にとって死角となる領域を監視し、死角に他の車両（以降、相手車両）を検出した場合には、自車両の運転者に相手車両の存在を通知する装置がある（例えば特許文献１）。特許文献１では、自車両の運転者と相手車両の運転者の両方から視認することができる位置に自車両の発光装置を取付け、相手車両を検出した場合には、その発光装置を発光させることで自車両の運転者および相手車両の運転者に注意を促している。
2. Description of the Related Art Conventionally, there is a device that monitors an area that becomes a blind spot for a driver when driving a vehicle, and notifies the driver of the own vehicle of the existence of the partner vehicle when another vehicle (hereinafter, a partner vehicle) is detected in the blind spot. (For example, patent document 1). In
しかしながら、特許文献１に記載の技術では、相手車両の運転者が自車両の発光を認識しているかどうか、すなわち、相手車両の運転者が自車両を認識しているかは、自車両の運転者にとって不明であるという問題があった。
However, in the technique described in
本発明は、以上の事情を鑑みて成されたものであり、その目的とするところは、相手車両の運転者が自車両を認識していることを、自車両の運転者が認識可能な相互認識通知システムおよび相互認識通知装置を提供することにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is to make it possible for the driver of the host vehicle to recognize that the driver of the partner vehicle recognizes the host vehicle. To provide a recognition notification system and a mutual recognition notification device.
その目的を達成するための相互認識通知システムの発明は、第１、第２の車両でそれぞれ用いられ、各車両の運転者が相互の存在を認識したことを通知するための相互認識通知装置を備える相互認識通知システムであって、
第１の車両に搭載される第１の相互認識通知装置（１００）は、
前記第１の車両を運転する第１の運転者からは視認できない死角に存在する第２の車両を検出する車両検出手段（１１ｂ）と、
前記車両検出手段で前記第２の車両を検出したことを前記第１の運転者に通知する車両通知手段（２１ Ｓ２１０）と、
前記車両通知手段の通知に基づいて前記第１の運転者が前記第２の車両を認識したことを入力するための第１の入力手段（２４）と、
前記第１の車両の、前記第２の車両を運転する第２の運転者から直接視認可能な位置に取り付けられてあって、かつ、前記第１の入力手段に入力があった場合に発光する発光装置（２５）と、を備え、
前記第２の車両に搭載される第２の相互認識通知装置（１００）は、
前記発光装置の発光を前記第２の運転者が認識した場合に、前記第２の運転者が前記発光を認識したことを入力するための第２の入力手段（２４）と、
前記第２の入力手段に入力があった場合に、前記第２の運転者が前記第１の車両を認識していることを前記第１の運転者に報知する応答信号を前記第１の車両に出力する応答手段（２１ Ｓ３７０）と、を備え、
前記第１の相互認識通知装置は、さらに、
前記応答信号を検出する応答信号検出手段（１１ｃ）と、
前記応答信号検出手段で前記応答信号を検出した場合に、前記第２の運転者が前記第１の車両を認識していることを前記第１の運転者に通知する応答受信通知手段（２１ Ｓ４４０）と、を備えることを特徴とする。
The invention of the mutual recognition notification system for achieving the object is a mutual recognition notification device used for the first and second vehicles, respectively, for notifying that the driver of each vehicle has recognized the mutual existence. A mutual recognition notification system comprising:
The first mutual recognition notification device (100) mounted on the first vehicle is:
Vehicle detection means (11b) for detecting a second vehicle existing in a blind spot that cannot be seen by a first driver driving the first vehicle;
Vehicle notification means (21 S210) for notifying the first driver that the vehicle detection means has detected the second vehicle;
First input means (24) for inputting that the first driver has recognized the second vehicle based on the notification of the vehicle notification means;
Light is emitted when the first vehicle is mounted at a position that is directly visible from a second driver who drives the second vehicle, and there is an input to the first input means. A light emitting device (25),
The second mutual recognition notification device (100) mounted on the second vehicle is:
Second input means (24) for inputting that the second driver recognizes the light emission when the second driver recognizes the light emission of the light emitting device;
When there is an input to the second input means, a response signal for notifying the first driver that the second driver recognizes the first vehicle is the first vehicle. Response means (21 S370) for outputting to
The first mutual recognition notification device further includes:
Response signal detecting means (11c) for detecting the response signal;
Response reception notifying means (21 S440) for notifying the first driver that the second driver recognizes the first vehicle when the response signal is detected by the response signal detecting means. ).
また、相互認識通知装置の発明は、上記相互認識通知システムにおいて用いられる第１、第２の相互認識通知装置の両方の機能を備えることを特徴とする。 In addition, the invention of the mutual recognition notification device includes both functions of the first and second mutual recognition notification devices used in the mutual recognition notification system.
このような構成では、相手車両（第２の車両）の運転者が自車両（第1の車両）の発光を認識している場合には、第２の入力手段に入力操作をすることで自車両に対して応答信号を出力する。そして自車両の相互認識通知装置はこの応答信号を検出すると、自車両の運転者に応答があったことを通知する。 In such a configuration, when the driver of the opponent vehicle (second vehicle) recognizes the light emission of the own vehicle (first vehicle), the driver performs an input operation on the second input means. A response signal is output to the vehicle. When the mutual recognition notifying device of the own vehicle detects this response signal, it notifies the driver of the own vehicle that there is a response.
したがって、自車両の発光に対して相手車両から応答信号が返ってきた場合には、相手車両の運転者が自車両を認識していることを自車両の運転者は認識することができる。 Therefore, when a response signal is returned from the partner vehicle for light emission from the host vehicle, the driver of the host vehicle can recognize that the driver of the partner vehicle recognizes the host vehicle.
以下、本発明の実施形態について、図面に基づいて説明する。図１に示すように、本実施形態における相互認識通知システムが備える相互認識通知装置１００は、画像処理関連部１０、通知処理関連部２０、および記憶部１５を含んでいる。ここで、画像処理関連部１０、通知処理関連部２０、および記憶部１５は、例えばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの通信プロトコルに準拠した車内ＬＡＮでそれぞれ接続されている。記憶部１５は、後述する通知発光や応答発光の発光パターンが登録されており、この記憶部１５が請求項に記載の第１の記憶部および第２の記憶部に相当する。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. As shown in FIG. 1, the mutual
また、画像処理関連部１０は、画像処理装置１１、顔部撮像カメラ１２、死角監視カメラ１３、および前方カメラ１４を含んでいる。画像処理装置１１と顔部撮像カメラ１２、死角監視カメラ１３、および前方カメラ１４とは、それぞれ有線または無線による公知のネットワークで接続されており、各カメラ１２〜１４が撮像した各種画像データは逐次画像処理装置１１に入力される。
The image processing
また、通知処理関連部２０は、相互認識通知ＥＣＵ２１、車輪速センサ２２、ドアミラー位置センサ２３、入力装置２４、発光装置２５、ドアミラーモータ２６、ヘッドライト２７、表示装置２８、および音声出力装置２９を含んでいる。相互認識通知ＥＣＵ２１と、車輪速センサ２２、ドアミラー位置センサ２３、入力装置２４、発光装置２５、ドアミラーモータ２６、ヘッドライト２７、表示装置２８、および音声出力装置２９とはそれぞれ有線または無線による公知のネットワークで接続されている。
The notification processing
顔部撮像カメラ１２は、撮像面を運転者Ｕに向けた姿勢にて、車両の室内に設置されており、運転者Ｕの顔を含む範囲を逐次（例えば１００ｍｓｅｃごと）撮像し、その撮影画像の画像データを、画像処理装置１１に逐次出力する。なお、顔部撮像カメラ１２の取り付け位置は、本実施形態ではバックミラー部分に取り付けるものとするが、ステアリングコラムカバーの上などに取付けてもよい。また、顔部撮像カメラ１２は、赤外線を検出することにより、可視光の少ない環境下においても撮像可能な赤外線カメラとする。なお、顔部撮像カメラ１２は、赤外線カメラのほかに、可視光を感知する光学式のカメラ等であってもよい。
The
死角監視カメラ１３は、図２に示すように自車左右に備えられているドアミラー３１（３１Ｌ、３１Ｒ）にそれぞれ１つずつ取付けられ、自車側方から斜め後方に存在する死角をそれぞれ逐次（例えば１００ｍｓｅｃごとに）撮影する。ここで死角の一例について、図４を用いて説明する。図４において、Ｆ１は運転者Ｕの顔および視線が車両進行方向を向いているときにフロントウインドウ３２越しに視認可能な領域を示している。Ｒ１・Ｌ１は、運転者Ｕが顔を進行方向に向けている状態において、それぞれ運転席および助手席のサイドウインドウ越しに運転者Ｕが視認可能な領域を示している。また、左右のドアミラーが、後述する後方視認位置にそれぞれ位置するときにおいて、Ｒ２は右ドアミラー３１Ｒを介して運転者Ｕが視認可能な範囲であり、Ｌ２は左ドアミラー３１Ｌを介して運転者Ｕが視認可能な領域である。Ｂ１は、自車後方の領域を示している。
As shown in FIG. 2, the blind
運転者の視認可能な領域（Ｆ１、Ｒ１、Ｌ１、Ｒ２、Ｌ２）は運転時の姿勢や運転者Ｕの体格によって変動するものであるが、ここでは一般的な運転時の姿勢を想定したときに決定される領域とする。なお、顔部撮像カメラ１２が撮影する画像データから、運転者Ｕの姿勢や顔の向きを検出し、その検出結果から運転者の視認可能な領域を適応的に決定する構成としても良い。
The region (F1, R1, L1, R2, L2) that can be visually recognized by the driver varies depending on the driving posture and the physique of the driver U, but here, assuming a general driving posture The area determined by In addition, it is good also as a structure which detects the driver | operator's U attitude | position and face direction from the image data which the face
ここでの死角監視カメラ１３が撮影する死角とは、Ｒ１とＲ２に挟まれ、自車の右側方から右斜め後方に位置するＲＸと、Ｌ１とＬ２に挟まれ、自車の左側方から左斜め後方に位置するＬＸとする。すなわち、右ドアミラー３１Ｒに取付けられている死角監視カメラ１３を死角監視カメラ１３Ｒとすると、死角監視カメラ１３Ｒは、死角ＲＸを撮影範囲に含むように設置されている。また、左ドアミラー３１Ｌに取付けられている死角監視カメラ１３を死角監視カメラ１３Ｌとすると、死角監視カメラ１３Ｌは、自車左斜め後方の死角ＬＸを撮影範囲に含むように設置されている。死角となる領域（ＲＸ、ＬＸ）はドアミラーの位置によって変化するが、死角監視カメラ１３の撮影範囲は、その変化しうる領域も含むものとする。
The blind spot photographed by the blind
なお、一般的に自車後方の領域においても運転者Ｕから見えない領域が存在するが、本実施形態では死角監視カメラ１３が撮影する対象とはしない。また、Ｒ１とＦ１の間、およびＬ１とＦ１の間にはフロントピラーによる死角に関しても本実施形態の対象としない。ただし、他の実施形態として、これらの自車後方や自車斜め前方の死角も監視するような死角監視カメラ１３を別途備える構成としてもよい。本実施形態の相互認識通知装置１００が備える死角監視カメラ１３は光学式カメラとするが、赤外線カメラであってもよい。なお、赤外線カメラとする場合は、後述する応答信号は赤外線によるものとする。
In general, there is an area that cannot be seen by the driver U even in the area behind the host vehicle. However, in this embodiment, the blind
発光装置２５は、図２示すように左右のドアミラー３１において、自車側方または自車斜め後方を走行する他の車両（相手車両）の運転者Ｆ、および自車両の運転者Ｕによって視認が可能な位置に取り付けられている。発光装置２５は、単数または複数の発光素子２５ａ（たとえば発光ダイオード）を備えており、相互認識通知ＥＣＵ２１の指示に基づいてこれらの発光素子２５ａを発光させる。発光素子２５ａとしては、発光ダイオードのほかに発光ランプを用いてもよく、さらに発光素子２５ａは、複数の異なる色を発光可能なものであってもよい。
As shown in FIG. 2, the
発光装置２５は、所定の発光パターン（点滅、色などの組み合わせ）で発光することによって、自車両の死角に存在する相手車両の運転者Ｆに、自車両の運転者Ｕが相手車両を認識していることを通知する。このときの発光を通知発光とする。また、自車両の運転者に、自車両の死角に相手車両が存在することを通知するときには、通知発光とは異なる発光パターンで発光する。このときの発光を警告発光とする。自車右側のドアミラー３１Ｒに取付けられた発光装置２５を発光装置２５Ｒ、自車左側のドアミラー３１Ｌに取付けられた発光装置２５を発光装置２５Ｌとする。
The
なお、本実施形態では、図２の３０（３０Ｌ、３０Ｒ）に示すように、発光素子２５ａを死角監視カメラ１３の周囲を取り囲むように配設し、発光装置２５と死角監視カメラ１３とを一体化した構成とするが、これに限らない。死角監視カメラ１３と発光装置２５は分離して配設されてもよい。
In this embodiment, as shown by 30 (30L, 30R) in FIG. 2, the
また、発光装置２５は、自車両の運転者Ｕおよび上述した相手車両の運転者Ｆのそれぞれが視認可能な位置に取り付けられていればよい。このとき、コストの観点を別にすれば、自車両の運転者Ｕが視認する発光装置２５と、相手車両の運転者Ｆが視認する発光装置２５は同一の発光装置２５ではなく、それぞれ別の発光装置２５を備える構成としてもよい。たとえば、運転者Ｕが視認する発光装置２５はメーター周りに設けてよいし、表示装置２８に表示させてもよい。相手車両の運転者Ｆが視認する発光装置２５は、ドアミラーに限定せず、自車両において相手車両の運転者から視認可能な位置であればどこでもよい。
Moreover, the light-emitting
前方カメラ１４は、自車両前方を撮影する前方撮像手段として用いられる光学式カメラであり、自車両前方の道路や道路上に存在する他車両等の画像を逐次（例えば１００ｍｓｅｃごとに）撮影する。なお、前方カメラ１４は、自車両の車室外に配置されるものであってもよいし、自車両の乗員の視界を妨げることのない車室内に配置されるものであってもよい。
The
画像処理装置１１は、各種の演算処理を行うプロセッサ、当該演算処理に用いられるプログラム等が格納されたフラッシュメモリ、及び演算の作業領域として機能するＲＡＭ等を備えている。加えて画像処理装置１１は、死角監視カメラ１３、顔部撮像カメラ１２、および前方カメラ１４と接続されており、各カメラ１２〜１４より、それぞれが撮影した画像データを逐次取得するインタフェースを有している。
The
画像処理装置１１が備える機能の１つである視線方向検出部１１ａは、顔部撮像カメラ１２が撮影した画像データを逐次取得し、その画像データから、公知の画像処理技術によって、顔領域と、顔領域における目領域と、黒目部分などを検出する。本実施形態の顔部撮像カメラ１２は自車両に固定して設置されているとともに、撮像方向も固定されているため、画像データにおける顔領域の位置や大きさに応じて、運転者Ｕの顔が位置すると想定される位置を算出できる。そして、視線方向検出部１１ａは顔領域の大きさと顔領域における目領域の位置および黒目の位置から、運転者Ｕの顔の向きや視線方向を算出する。
The line-of-sight
画像処理装置１１が備える機能の１つである車両検出部１１ｂは、死角監視カメラ１３が撮影した画像データを逐次取得し、その画像データから自動車、オートバイ、自転車、人などの障害物を公知のパターンマッチング法を用いて検出する。パターンマッチング法に用いる自動車などの形状パターンのデータは、たとえば画像処理装置１１のフラッシュメモリ等に記憶させておけばよい。
The
車両検出部１１ｂで画像データから障害物を検出した場合には、画像データにおける障害物の位置と大きさから、その障害物の自車に対する相対位置を求める。また、連続したフレーム間における障害物の位置および大きさの変位量から、その障害物の移動速度や自車両に対する角度変化を算出する。そして、自車両に接近している障害物を、運転者Ｕに通知すべき障害物として検出する。なお、この車両検出部１１ｂが請求項に記載の車両検出手段に相当する。
When the
画像処理装置１１が備える機能の１つである発光検出部１１ｃは、死角監視カメラ１３および前方カメラ１４が撮影した画像データを逐次取得し、その画像データから光源を抽出し、他の車両が搭載する相互認識通知装置１００による発光パターンを検出する。光源を抽出する方法としては、画像データの中から所定の閾値以上の明るさ（輝度）を有する部分を光源とすればよい。そして、カルマンフィルタなどを利用した画像処理によって、検出した光源の位置を追尾し、その光源の発光パターンを検出する。発光検出部１１ｃは、検出した光源の発光パターンが記憶部１５に記憶されている発光パターンと一致するか照合し、一致した場合にはその照合結果を相互認識通知ＥＣＵ２１に通知する。なお、死角監視カメラ１３が撮影した画像データに基づいて、後述する応答発光を検出する発光検出部１１ｃが請求項に記載の応答信号検出手段に相当する。また、前方カメラ１４が撮影した画像データに基づいて通知発光を検出する発光検出部１１ｃが請求項に記載の発光検出手段に相当する。
The light
なお、画像処理装置１１が実施する処理は、以上で述べた視線方向検出部１１ａ、車両検出部１１ｂ、発光検出部１１ｃに限らず、その他の画像処理に関する処理も実施する。また、各検出部１１ａ〜ｃからの検出結果などを含む情報データは、逐次相互認識通知ＥＣＵ２１に出力される。
Note that the processing performed by the
車輪速センサ２２は、各車輪の回転速度から自車両の速度を検出するためのセンサである。車輪速センサ２２で検出した値は、相互認識通知ＥＣＵ２１に出力される。ドアミラー位置センサ２３は、自車両に備えられた左右のドアミラーの位置を検出するためのセンサである。ドアミラー位置センサ２３で検出した値は、相互認識通知ＥＣＵ２１に出力される。
The
入力装置２４は、入力のために運転者Ｕにより操作される少なくとも１つのスイッチ（図示せず）を備えている。運転者Ｕは、入力装置２４に備えられているスイッチを押すことで、死角に存在する相手車両を認識したことを相互認識通知ＥＣＵ２１に入力することができる。すなわち、運転者Ｕが入力装置２４に備えられたスイッチを操作すると、運転者Ｕが相手車両を認識していることを示す相手車両認識信号が相互認識通知ＥＣＵ２１に出力される。相互認識通知ＥＣＵ２１は、相手車両認識信号が入力されることで自車両の運転者Ｕが相手車両を認識している状態であると判定する。なお、以上の一連の入力操作を認識入力操作と称する。
The
また、入力装置２４は、ドアミラーモータ２６を介してドアミラーを後述する死角捕捉位置まで動かすように運転者Ｕが相互認識通知ＥＣＵ２１に指示するためのスイッチを、さらに備えていても良い。このドアミラーを死角捕捉位置まで動かす入力操作をドアミラー調整入力操作と称する。
The
さらに、入力装置２４は、自車両の運転者Ｕが、他の車両（相手車両）が実施した通知発光を認識したことを相互認識通知ＥＣＵ２１に入力するためのスイッチを、さらに備えていてもよい。すなわち、運転者Ｕがこのスイッチを操作すると、運転者Ｕが相手車両からの通知発光を認識したことを示す通知認識信号が、相互認識通知ＥＣＵ２１に出力される。通知認識信号を受信した相互認識通知ＥＣＵ２１は、自車両の運転者Ｕが相手車両からの通知発光を認識している状態であると判定する。この一連の入力操作を応答入力操作と称する。
Furthermore, the
なお、これらの入力操作は、必ずしもそれぞれ異なるスイッチによって実行されるものではなく、同一のスイッチによって実現されても良い。すなわち、異なる条件において同一のスイッチを操作された場合、その条件によって異なる処理を実行するように予めプログラムされることで実現されてもよい。入力装置２４に備えられているスイッチの数を１つとすることで、部品点数を削減するとともに、運転者Ｕの操作間違えを低減することができる。
Note that these input operations are not necessarily executed by different switches, and may be realized by the same switch. That is, when the same switch is operated under different conditions, it may be realized by being programmed in advance so as to execute different processes depending on the conditions. By setting the number of switches provided in the
本実施形態では、以上で述べたことを踏まえ、入力装置２４は１つのスイッチを備えた構成とする。そして、運転者Ｕが入力装置２４を操作したときの相互認識通知装置１００の作動を制御するための処理上のフラグとして、動作フラグＷを導入する。すなわち、動作フラグＷ＝０の状態で入力装置２４が押された場合には認識入力操作とし、Ｗ＝１の状態で入力装置２４が押された場合にはドアミラー調整入力操作とする。Ｗ＝２のときに入力装置２４が押された場合には応答入力操作とする。
In the present embodiment, based on the above description, the
また、この入力装置２４は、運転中の運転者Ｕにとって操作しやすい位置に配設されることが好ましく、本実施形態では、ハンドルに設けられたステアリングスイッチとする。この入力装置２４が請求項に記載の第１の入力手段、第２の入力手段、第３の入力手段に相当する。
In addition, the
また、入力装置２４としては上記のような物理的にスイッチを備える構成でなくてもよい。例えば、上述したスイッチに相当する選択肢が表示装置２８に表示されるように制御し、その表示装置２８上の選択肢に運転者Ｕがタッチ操作することで入力操作する構成としても良い。あるいは、入力装置２４は公知の音声認識装置であって、運転者Ｕの音声によって各種指示が入力される構成としてもよい。
Further, the
相互認識通知ＥＣＵ２１は、マイクロコンピュータを主として構成され、いずれも周知のＣＰＵ、ＲＯＭ・ＲＡＭ・ＥＥＰＲＯＭ等のメモリ、Ｉ／Ｏ、及びこれらを接続するバスによって構成される。相互認識通知ＥＣＵ２１は、車輪速センサ２２、ドアミラー位置センサ２３、入力装置２４および画像処理装置１１より各種情報データを取得する。そして、これら各種情報データに基づいてＲＯＭに記憶された各種の制御プログラムを実行し、自車両の運転者Ｕおよび自車両の死角に存在する相手車両の運転者Ｆ間で相互認識通知に関連する処理（以下、相互認識通知関連処理）等の各種の処理を実行する。
The mutual
ドアミラーモータ２６は、車両の外部に設けられたドアミラー３１の位置（角度を含む）を移動（すなわち回転）させるものである。このドアミラーモータ２６は、相互認識通知ＥＣＵ２１からの制御信号（駆動信号）に応じてドアミラーの位置を、所定の後方視認位置から相互認識通知ＥＣＵ２１が算出する死角補足位置へ、また、死角補足位置から所定の後方視認位置へ回転させる。
The
ここで、所定の後方視認位置とは、車両走行時に後方を視認するためのドアミラーの位置であり、運転者Ｕの好みに応じたドアミラーの位置を示すものである。後方視認位置は、走行開始時にドライバが設定したドアミラー位置を後方視認位置として記憶しておく。また、運転者Ｕが予めドアミラー位置や座席位置など、好みの運転環境をＥＥＰＲＯＭ等の不揮発性メモリを含む記憶部１５に登録している場合には、その登録されているドアミラー位置を用いる構成としてもよい。
Here, the predetermined rear viewing position is a position of the door mirror for visually confirming the rear when the vehicle is traveling, and indicates the position of the door mirror according to the preference of the driver U. As the rear visual recognition position, the door mirror position set by the driver at the start of traveling is stored as the rear visual recognition position. In addition, when the driver U has previously registered a favorite driving environment such as a door mirror position and a seat position in the
また、死角捕捉位置とは、死角に存在する相手車両を運転者がドアミラー３１を介して視認するためのドアミラー位置であって、死角監視カメラ１３が検出している相手車両の相対的な位置と、運転者Ｕの顔の位置と、ドアミラー３１Ｒの位置とから決定される。
The blind spot capturing position is a door mirror position for the driver to visually recognize the partner vehicle existing in the blind spot through the door mirror 31, and the relative position of the partner vehicle detected by the blind
所定の後方視認位置から死角補足位置に回転させるためのドアミラーモータ２６の回転量は、死角補足位置に応じて設定される。相互認識通知ＥＣＵ２１は、この回転量を示す値を、所定の後方視認位置、死角捕捉位置から、メモリ（図示省略）に予め記憶しておいたプログラムで算出し、ドアミラーモータ２６を回転させる。
The amount of rotation of the
ヘッドライト２７は、運転者Ｕからの操作、または、相互認識通知ＥＣＵ２１からの制御に基づいて自車前方に可視光を照射する。
The
表示装置２８は、相互認識通知ＥＣＵ２１の指示に従って、図示しない表示部にテキストや画像を表示する。例えば表示装置２８は、フルカラー表示が可能なものであり、液晶ディスプレイ、有機ＥＬディスプレイ等を用いて構成することができる。また、表示装置２８としては、例えば、車載ナビゲーション装置に設けられたディスプレイを利用する構成としてもよいし、車載ナビゲーション装置のディスプレイとは別に、インストゥルメントパネル等に設けたディスプレイを用いる構成としてもよい。
The
音声出力装置２９は、スピーカ等から構成され、相互認識通知ＥＣＵ２１の指示に従って音声を出力する。なお、音声出力装置２９としては、例えば、車載ナビゲーション装置に設けられた音声出力装置２９を利用する構成とする。
The
次に、図５を用いて自車両および相手車両において実施される相互認識通知関連処理の概略を説明する。自車両、相手車両は、ともに同一の機能を有する相互認識通知装置１００を搭載しており、自車両が請求項に記載の第１の車両、相手車両が請求項に記載の第２の車両にそれぞれ相当する。また、自車両の搭載する相互認識通知装置１００が第１の相互認識通知装置、相手車両の搭載する相互認識通知装置１００が第２の相互認識通知装置としてそれぞれ機能する。よって、この自車両と相手車両のそれぞれに搭載される相互認識通知装置１００を備えるシステムが請求項に記載の相互認識通知システムに相当する。
Next, the outline of the mutual recognition notification related process performed in the own vehicle and the partner vehicle will be described with reference to FIG. The own vehicle and the opponent vehicle are both equipped with the mutual
自車両では、自車両の死角に障害物が存在するかどうかを検出する障害物検出処理（ステップＳ１００）は逐次実施している。そして、自車両の死角に車両（相手車両）が存在し（ステップＳ５０）、この相手車両を障害物検出処理で検出した場合、自車両では通知制御処理（ステップＳ２００）を開始する。自車両に搭載された相互認識通知装置１００は、自車両の運転者Ｕが相手車両を認識しているかを判定する。そして、自車両の運転者Ｕが相手車両を認識しており、かつ、自車両の運転者Ｕより認識している旨の通知を行うように指示する入力操作が入力装置２４にあった場合に、発光装置２５を通知発光させる。相手車両に搭載される相互認識通知装置１００では、応答制御処理が開始され（ステップＳ３００）、相手車両の運転者Ｆは自車両への通知発光を認識すると、入力装置２４のスイッチを押す。相手車両の相互認識通知装置は、運転者Ｆによる入力装置２４への入力操作を受けて、ヘッドライト２７を所定のパターンで発光（応答発光）させる。自車両の相互認識通知装置１００は、応答認識処理（ステップＳ４００）で相手車両からの応答発光を死角監視カメラ１３で検出すると、相手車両が自車両の通知発光を認識していることを運転者Ｕに通知する。以上の手順によって、自車両の運転者Ｕおよび相手車両の運転者Ｆは、お互いに認識していることを共有することができる。以降では各処理について、より詳細に説明する。
In the host vehicle, the obstacle detection process (step S100) for detecting whether there is an obstacle in the blind spot of the host vehicle is sequentially performed. Then, when a vehicle (partner vehicle) exists in the blind spot of the host vehicle (step S50) and this partner vehicle is detected by the obstacle detection process, the host vehicle starts a notification control process (step S200). The mutual
まず、図６のフローチャートを用いて自車両の相互認識通知装置１００において実施される一連の処理について説明する。本フローのステップＳ１００は、たとえば走行中において逐次（たとえば１００ｍｓごとに）実施されている。ステップＳ１００では、障害物検出処理を実施し、ステップＳ１９０に進む。この障害物検出処理は別途図７に示すフローチャートを用いて説明する。
First, a series of processes performed in the mutual
図７のフローチャートは図６のステップＳ１００に移ったときに開始され、ステップＳ１１０に進む。ステップＳ１１０では、画像処理装置１１が死角監視処理を実施してステップＳ１２０に進む。ステップＳ１１０の死角監視処理では、死角監視カメラ１３が撮影する画像データを逐次取得し、その画像データから自動車、オートバイ、自転車、人などの障害物を公知のパターンマッチング法を用いて検出する。ここで、死角にいずれかの障害物が存在することを検出した場合は、ステップＳ１２０がＹｅｓとなってステップＳ１３０に進む。また、死角にいずれの障害物とも一致するものがなかった場合は、ステップＳ１２０がＮＯとなってステップＳ１１０に戻る。
The flowchart in FIG. 7 is started when the process proceeds to step S100 in FIG. 6, and the process proceeds to step S110. In step S110, the
ステップＳ１３０では、障害物を検出した画像データの取得元から、障害物が存在する側を特定する。ここでは、死角監視カメラ１３Ｒから取得した画像データにおいて障害物を検出した場合は自車右側に障害物が存在するとし、死角監視カメラ１３Ｌから取得した画像データにおいて障害物を検出した場合は自車左側に障害物が存在するとする。
In step S130, the side where the obstacle exists is specified from the acquisition source of the image data that detected the obstacle. Here, if an obstacle is detected in the image data acquired from the blind
ステップＳ１３０で障害物が存在する側を特定した後は、障害物の形状と、画像処理装置１１のフラッシュメモリに記憶されている人の形状パターンとを照合し、障害物が人であるかを判定する（ステップＳ１４０）。障害物の形状が人の形状パターンと一致した場合は、ステップＳ１４０がＹｅｓとなってステップＳ１８５に進む。障害物の形状が人の形状パターンと一致しなかった場合は、ステップＳ１４０がＮｏとなってステップＳ１５０に進む。
After identifying the side on which the obstacle exists in step S130, the shape of the obstacle is compared with the shape pattern of the person stored in the flash memory of the
ステップＳ１５０では、障害物の形状と、車両の形状パターンとを照合し、障害物が車両であるかを判定する。車両の形状パターンとしては、大型車両、小型車両、輸送用車両、スポーツカー、オートバイ、自転車など、各種類に応じた車両形状をそれぞれ画像処理装置１１のフラッシュメモリなどに登録しておけばよい。障害物の形状がいずれかの車両の形状パターンと一致した場合は、ステップＳ１５０がＹｅｓとなってステップＳ１６０に進む。障害物の形状がいずれの車両の形状パターンとも一致しなかった場合は、ステップＳ１５０がＮｏとなってステップＳ１８５に進む。
In step S150, the shape of the obstacle is compared with the shape pattern of the vehicle to determine whether the obstacle is a vehicle. As the vehicle shape pattern, a vehicle shape corresponding to each type, such as a large vehicle, a small vehicle, a transportation vehicle, a sports car, a motorcycle, or a bicycle, may be registered in the flash memory of the
ステップＳ１６０では、相対速度算出処理を実施してステップＳ１７０に進む。ステップＳ１６０の相対速度算出処理では、まず死角監視カメラ１３が取得した画像データにおける障害物の位置と大きさから、その障害物の自車に対する相対位置を求める。そして、連続するフレーム間において公知の画像処理技術によってその障害物を追尾し、その障害物の位置および大きさの変位量から、その障害物の自車に対する相対速度や移動方向を算出する。ここで、障害物が接近中であると判定された場合には、ステップＳ１７０がＹｅｓとなってステップＳ１８０に進む。また、障害物が接近中ではない場合にはステップＳ１７０がＮｏとなってステップＳ１１０に戻る。
In step S160, a relative speed calculation process is performed, and the process proceeds to step S170. In the relative speed calculation process in step S160, first, the relative position of the obstacle with respect to the own vehicle is obtained from the position and size of the obstacle in the image data acquired by the blind
ステップＳ１８０では、以上の処理で検出した障害物を、通知すべき障害物（相手車両）と判定する。そして、通知すべき障害物を検出していることを内部状態として保持して障害物検出処理を抜ける（図６のステップＳ１９０に戻る）。 In step S180, the obstacle detected by the above process is determined as an obstacle to be notified (an opponent vehicle). Then, the fact that the obstacle to be notified is detected is held as an internal state, and the obstacle detection process is exited (return to step S190 in FIG. 6).
ステップＳ１８５は、ステップＳ１４０およびステップＳ１５０において、検出した障害物が車両ではないと判定した場合の処理である。ステップＳ１８５では、非車両対応処理を実施し、通知すべき障害物を検出していないことを内部状態として保持して障害物検出処理を抜ける。ここで、非車両対応処理とは、検出した障害物の種類に応じた処理を実施するように適宜設計されればよく、本実施形態の対象としないため言及しない。 Step S185 is processing when it is determined in steps S140 and S150 that the detected obstacle is not a vehicle. In step S185, a non-vehicle handling process is performed, and it is retained as an internal state that an obstacle to be notified is not detected, and the obstacle detection process is exited. Here, the non-vehicle handling process may be appropriately designed to perform a process according to the type of the detected obstacle, and is not mentioned because it is not a target of the present embodiment.
図６のステップＳ１９０では、ステップＳ１００の障害物検出処理によって、通知すべき障害物を検出しているか否かを判定する。通知すべき障害物を検出している場合はステップＳ１９０がＹｅｓとなってステップＳ２００に進む。通知すべき障害物を検出していない場合はステップＳ１９０がＮｏとなってステップＳ１００に戻る。 In step S190 of FIG. 6, it is determined whether or not an obstacle to be notified is detected by the obstacle detection process in step S100. If an obstacle to be notified is detected, step S190 is Yes and the process proceeds to step S200. If no obstacle to be notified is detected, step S190 is No and the process returns to step S100.
ステップＳ２００では、通知制御処理を実施し、ステップＳ２９０に進む。この通知制御処理は別途図８に示すフローチャートを用いて説明する。 In step S200, notification control processing is performed, and the process proceeds to step S290. This notification control process will be described separately using a flowchart shown in FIG.
図８のフローチャートは図６のステップＳ２００に移ったときに開始され、ステップＳ２０５に進む。ステップＳ２０５では、動作フラグＷをＷ＝０として初期化し、ステップＳ２１０に進む。動作フラグＷは、運転者Ｕが入力装置２４を押したときの本実施形態における相互認識通知装置１００の作動を制御するための、単なる処理上のフラグである。
The flowchart of FIG. 8 is started when the process proceeds to step S200 in FIG. 6, and the process proceeds to step S205. In step S205, the operation flag W is initialized as W = 0, and the process proceeds to step S210. The operation flag W is a mere processing flag for controlling the operation of the mutual
ステップＳ２１０では、相互認識通知ＥＣＵ２１は発光装置２５を発光させるための指示信号を出力し、発光装置２５を所定時間（警告発光時間Ｔ１）発光させる。この警告発光時間は適宜設計されればよく、たとえば２秒とする。また、発光とともに、表示装置２８にも、死角に相手車両が存在する旨を運転者Ｕに通知する警告表示をすることで運転者Ｕの視線を、相手車両が存在する側のドアミラーまたは相手車両方向に誘導する。ステップＳ２１０で運転者Ｕに警告表示を実施した後、ステップＳ２１５に進む。なお、このステップＳ２１０が請求項に記載の車両通知手段に相当する。
In step S210, the mutual
ステップＳ２１５では、視線検出処理を実施してステップＳ２２０に進む。ステップＳ２１５の視線検出処理では、顔部撮像カメラ１２が撮影した画像データから、公知の画像処理技術によって、運転者Ｕの視線方向を算出する。この視線検出処理は、発光装置２５の警告発光が開始した時点を起算時刻として、所定時間（視線検出時間Ｔ２）継続して実施する。視線検出時間Ｔ２は、たとえば２秒とする。なお、このステップＳ２１５が請求項に記載の第１の視線方向検出手段に相当する。
In step S215, the line-of-sight detection process is performed, and the process proceeds to step S220. In the line-of-sight detection process in step S215, the line-of-sight direction of the driver U is calculated from image data captured by the
ステップＳ２２０では、この視線検出時間Ｔ２内に、運転者Ｕが相手車両が存在する方向（相手車両方向）を直接視認したか否かを判定する。直接視認したか否かは次のように判定する。まず前提として、運転者Ｕは、死角に存在する相手車両を、ドアミラーを介して視認することはできない。運転者Ｕが相手車両を直接視認するためには、視線の移動だけではなく顔ごと振り向く必要がある。そこで、顔ごと相手車両方向へ振り向いた場合に、相手車両方向を直接視認したと判定する。なお、顔ごと相手車両方向を振り向いたかどうかは、顔部撮像カメラ１２の取得する画像データ内の顔領域や目などの特徴点の動きを公知の画像処理技術によって検出すればよい。
In step S220, it is determined whether or not the driver U has directly visually recognized the direction in which the opponent vehicle exists (the opponent vehicle direction) within the line-of-sight detection time T2. It is determined as follows whether or not it has been directly visually recognized. First, as a premise, the driver U cannot visually recognize the opponent vehicle existing in the blind spot through the door mirror. In order for the driver U to directly view the opponent vehicle, it is necessary to turn around not only the line of sight but also the face. Therefore, when the face turns around in the direction of the opponent vehicle, it is determined that the opponent vehicle direction is directly visually recognized. Whether the face of the opponent vehicle is turned around with the face may be detected by a known image processing technique based on the movement of feature points such as a face area and eyes in the image data acquired by the
そして視線検出時間Ｔ２内に、顔部撮像カメラ１２の撮影した画像データより運転者Ｕが相手車両方向へ振り向く動作を検出した場合はその時点でステップＳ２２０がＹｅｓとなって、ステップＳ２２５に進む。また、視線検出時間Ｔ２内に、運転者Ｕが相手車両方向へ振り向く動作を検出しなかった場合は、ステップＳ２２０がＮｏとなってステップＳ２３５に進む。なお、このステップＳ２２０が請求項に記載の直接視認判定手段に相当する。
If the movement of the driver U turning toward the opponent vehicle is detected from the image data captured by the
ステップＳ２２５では、動作フラグＷ＝０とし、ステップＳ２３０に進む。ステップＳ２３０では、ステップＳ２２０において相手車両を直接目視したと判定した時点を起算時刻として、所定時間（入力時間Ｔ３＝２秒）内に、運転者Ｕによって入力装置２４が操作されたかを判定する。自車両の運転者Ｕは、自分が死角に存在する相手車両を認識していることを、相手車両の運転者Ｕへ通知したい場合に、入力時間Ｔ３内にスイッチを操作する。なお、Ｔ２とＴ３をそれぞれ個別に設定したが、ステップＳ２１０の警告発光からＳ２３０がＹｅｓとなるまでを合わせた時間制限（たとえば２秒）を設けてもよい。
In step S225, the operation flag W = 0 is set, and the process proceeds to step S230. In step S230, it is determined whether the
入力時間Ｔ３内に入力装置２４が操作された場合には、ステップＳ２３０がＹｅｓとなってステップＳ２６５に進む。また、入力時間Ｔ３経過しても、入力装置２４が操作されなかった場合には、ステップＳ２３０がＮｏとなってステップＳ２７０に進む。
If the
ステップＳ２３５では、上述した視線検出時間Ｔ２内において、運転者Ｕが相手車両の存在する側のドアミラー（説明のため、仮に右側のドアミラー３１Ｒとする）を見たか否かを判定する。運転者Ｕがドアミラー３１Ｒを見たかどうかは、視線方向検出部１１ａの検出結果に基づいて判定すればよい。すなわち、視線方向検出部１１ａが検出した運転者Ｕの視線方向がドアミラー３１Ｒの方向（運転者Ｕの顔部の位置からドアミラーが取り付けられている位置への方向）と一致すれば、運転者Ｕがドアミラー３１Ｒを見たとする。視線検出時間Ｔ２内に運転者Ｕがドアミラー３１Ｒを見た場合にはステップＳ２３５がＹｅｓとなってステップＳ２４０に進む。また、視線検出時間Ｔ２を経過しても運転者Ｕがドアミラー３１Ｒを見なかった場合にはステップＳ２３５がＮｏとなって、ステップＳ２７０に進む。
In step S235, it is determined whether or not the driver U has seen the door mirror on the side where the opponent vehicle is present (for the sake of explanation, the
ステップＳ２４０では、動作フラグＷ＝１とし、ステップＳ２４５に進む。ステップＳ２４５では、動作フラグＷ＝１となった時点（≒ドアミラー３１Ｒを見た時点）を起算時刻として、起算時刻より入力時間Ｔ３内に、運転者Ｕによって入力装置２４が操作されたかを判定する。起算時刻より入力時間Ｔ３内に入力装置２４が操作された場合は、その時点でステップＳ２４５がＹｅｓとなってステップＳ２５０に進む。また、入力時間Ｔ３経過しても入力装置２４が操作されなかった場合は、ステップＳ２４５がＮｏとなって、ステップＳ２７０に進む。
In step S240, the operation flag W = 1 is set, and the process proceeds to step S245. In step S245, it is determined whether the
ステップＳ２５０では、死角捕捉処理を実施した後、動作フラグＷ＝０としてステップＳ２５５に進む。このステップＳ２５０の死角捕捉処理では、ドアミラー３１Ｒの位置を、通常時設定されている後方視認位置から、死角捕捉位置へと回転させる。ここで、死角捕捉位置は、死角監視カメラ１３が検出している相手車両の相対的な位置と、運転者Ｕの顔の位置と、ドアミラー３１Ｒの位置とから決定される。
In step S250, after performing the blind spot capturing process, the operation flag W = 0 is set, and the process proceeds to step S255. In the blind spot capturing process in step S250, the position of the
より具体的には、ドアミラー３１Ｒの鏡面部の中心位置を頂点として、運転者Ｕの顔の位置と相手車両とが為す角を求める。相手車両の位置は、車両検出部１１ｂで検出した車両形状の中心位置とすればよい。そして、ドアミラー３１Ｒの鏡面部の中心を通る法線が、前述した運転者Ｕの顔の位置と相手車両とが為す角の二等分線となるように、ドアミラー３１Ｒの位置を決定する。なお、これの処理におけるドアミラー３１Ｒ、運転者Ｕの顔の位置、相手車両の位置は、それぞれ路面に平行な座標系上で扱えばよい。
More specifically, the angle formed by the position of the driver U's face and the opponent vehicle is obtained with the center position of the mirror surface portion of the
死角捕捉位置を決定した後は、現在のドアミラー３１Ｒを後方視認位置から死角捕捉位置まで回転させるためのドアミラーモータ２６の回転量を計算し、その回転量だけドアミラーモータ２６を回転させる。なお、ドアミラー３１Ｒは後方視認位置から死角捕捉位置に移ってから所定の時間（たとえば４秒）経過すると、自動的に死角捕捉位置から後方視認位置に戻るものとする。
After the blind spot capturing position is determined, the rotation amount of the
ステップＳ２５５では、ドアミラー３１Ｒが死角捕捉位置に到達した時点を起算時刻として、起算時刻より視線検出時間Ｔ２内において、運転者Ｕがドアミラー３１Ｒを見たか否かを判定する。運転者Ｕが視線検出時間Ｔ２内にドアミラー３１Ｒを見た場合にはステップＳ２５５がＹｅｓとなってステップＳ２６０に進む。また、視線検出時間Ｔ２を経過しても運転者Ｕがドアミラー３１Ｒを見る動作をしなかった場合にはステップＳ２５５がＮｏとなって、ステップＳ２７０に進む。なお、このステップＳ２５５が請求項に記載の間接視認判定手段に相当する。
In step S255, it is determined whether the driver U has seen the
ステップＳ２６０では、ステップＳ２５５でドアミラー３１Ｒを見た時点を起算時刻として、起算時刻より入力時間Ｔ３内に、運転者Ｕによって入力装置２４が操作されたかを判定する。入力装置２４が操作された場合は、その時点でステップＳ２６０がＹｅｓとなってステップＳ２６５に進む。また、入力時間Ｔ３経過しても入力装置２４が操作されなかった場合は、ステップＳ２６０がＮｏとなって、ステップＳ２７０に進む。
In step S260, it is determined whether or not the
ステップＳ２６５では、相手車両への通知発光処理を実施して、通知制御処理を抜ける。通知発光処理では、まず相互認識通知ＥＣＵ２１が発光装置２５に所定の発光パターンで発光（通知発光）するように指示する信号を出力する。発光装置２５は、相互認識通知ＥＣＵ２１からの信号にしたがって、所定の発光パターンで発光する。ここで、所定の発光パターンとは、他の車両のランプなどの光源の明滅とは識別可能なように、道路上で通常観測されにくい発光パターン（たとえば、点滅を短時間に繰り返すなど）とすればよい。そして、相互認識通知ＥＣＵ２１は通知発光を実施したことを内部状態として保持して、図６のステップＳ２９０に戻る。
In step S265, a notification light emission process for the opponent vehicle is performed, and the notification control process is exited. In the notification light emission processing, the mutual
ステップＳ２７０では、通知制御処理を終了し、相互認識通知ＥＣＵ２１は通知発光を実施しなかったことを内部状態として保持して図６のステップＳ２９０に戻る。
In step S270, the notification control process is terminated, and the mutual
図６のステップＳ２９０では、ステップＳ２００の通知制御処理で通知発光をした場合には、ＹｅｓとなってステップＳ４００に進む。また、通知発光をしなかった場合には、ステップＳ２９０がＮｏとなってステップＳ１００に戻る。ステップＳ４００では、応答認識処理を実施する。 In step S290 of FIG. 6, when the notification light emission is performed in the notification control process of step S200, the determination is Yes and the process proceeds to step S400. If the notification light emission is not performed, step S290 is No and the process returns to step S100. In step S400, a response recognition process is performed.
なお、自車両の相互認識通知関連処理におけるステップＳ２９０とステップＳ４００の間には、相手車両での応答制御処理（図９）が実施される。そこで、ステップＳ４００の応答認識処理について説明する前に、図９を用いて、相手車両における応答制御処理について説明する。なお、自車両と相手車両という関係は、それぞれの車両の走行位置によって相対的に定まるものであり、ひとつの車両が、ある場合には自車両となり、また別の場合には、相手車両となりうるものである。すなわち、以降で示す応答制御処理も自車両で実施されうる制御である。 In addition, the response control process (FIG. 9) in an other vehicle is implemented between step S290 and step S400 in the mutual recognition notification related process of the own vehicle. Therefore, before describing the response recognition processing in step S400, the response control processing in the opponent vehicle will be described using FIG. The relationship between the host vehicle and the partner vehicle is relatively determined by the travel position of each vehicle, and one vehicle can be the host vehicle in some cases, and can be the partner vehicle in other cases. Is. That is, the response control processing described below is control that can be performed in the host vehicle.
図９のフローチャートは、たとえば走行中において逐次（たとえば１００ｍｓごとに）実施されており、ステップＳ３０５より開始する。ステップＳ３０５では、動作フラグＷをＷ＝０として初期化し、ステップＳ３１０に進む。ステップＳ３１０では、発光検出部１１ｃで発光検出処理を実施してステップＳ３２０に進む。この発光検出処理では、前方カメラ１４で撮影した画像データから、他の車両が搭載する相互認識通知装置１００による通知発光を検出する。すなわち、画像データ内で検出した光源を公知の画像処理技術で複数のフレームに渡って追尾し、光源の発光パターンを検出する。そして、発光検出部１１ｃで検出した光源の発光パターンと、記憶部１５が記憶している通知発光パターンとを照合し、一致した場合には、ステップＳ３２０がＹｅｓとなって、ステップＳ３３０に進む。また、前方カメラ１４から取得する画像データから、記憶部１５に記憶している通知発光パターンに一致する発光を検出していない場合は、ステップＳ３２０がＮｏとステップＳ３０５に戻る。すなわち、記憶部１５に記憶している通知発光パターンに合致する発光を検出するまで、ステップＳ３０５からステップＳ３２０を繰り返す。
The flowchart of FIG. 9 is performed sequentially (for example, every 100 ms) during traveling, for example, and starts from step S305. In step S305, the operation flag W is initialized as W = 0, and the process proceeds to step S310. In step S310, the light
ステップＳ３３０では、発光方向算出処理を実施してステップＳ３４０に進む。発光方向算出処理では、通知発光をした光源の画像データ内の位置と、前方カメラ１４の撮影方向、および前方カメラ１４の取り付け位置から、その光源の方向を算出する。このステップＳ３３０が発光方向算出手段に相当する。
In step S330, a light emission direction calculation process is performed, and the process proceeds to step S340. In the light emission direction calculation process, the direction of the light source is calculated from the position in the image data of the light source that has emitted the notification light, the shooting direction of the
ステップＳ３４０では、視線検出処理を実施してステップＳ３５０に進む。視線検出処理では、上述したように、顔部撮像カメラ１２が撮影した画像データから、公知の画像処理技術によって、運転者Ｆの視線方向を算出する。なお、この視線検出処理は、発光検出処理で記憶部１５が記憶する発光パターンと合致する光源を検出した時点を起算時刻として、視線検出時間Ｔ２の間、継続して実施する。このステップＳ３４０が請求項に記載の第２の視線方向検出手段に相当する。
In step S340, the line-of-sight detection process is performed, and the process proceeds to step S350. In the line-of-sight detection process, as described above, the line-of-sight direction of the driver F is calculated from the image data captured by the
そして、起算時刻より視線検出時間Ｔ２内に、通知発光をした光源の方向と運転者Ｕの視線方向とが一致すると、その時点でステップＳ３５０がＹｅｓとなって、ステップＳ３５５に進む。また、視線検出時間Ｔ２経過しても、発光方向と視線方向が一致しなかった場合には、ステップＳ３５０がＮｏとなってステップＳ３０５に戻る。このステップＳ３５０が請求項に記載の発光視認判定手段に相当する。 Then, if the direction of the light source that has generated the notification light emission coincides with the line of sight of the driver U within the line-of-sight detection time T2 from the starting time, step S350 is Yes at that point, and the process proceeds to step S355. If the light emission direction does not coincide with the line-of-sight direction even after the line-of-sight detection time T2 has elapsed, step S350 is No and the process returns to step S305. This step S350 corresponds to the light emission visual recognition determining means described in the claims.
ステップＳ３５５では、動作フラグＷ＝２として、ステップＳ３６０に進む。ステップＳ３６０では、通知発光をした光源の方向と運転者Ｆの視線方向が一致した時点を起算時刻として、起算時刻より入力時間Ｔ３内に運転者Ｆによって入力装置２４が操作されたかを判定する。起算時刻より入力時間Ｔ３内に運転者Ｆによって入力装置２４が操作された場合は、その時点でステップＳ３６０がＹｅｓとなってステップＳ３７０に進む。一方、起算時刻より入力時間Ｔ３経過しても、入力装置２４が操作されなかった場合はステップＳ３６０がＮｏとなってステップＳ３０５に戻る。
In step S355, the operation flag W = 2 is set, and the process proceeds to step S360. In step S360, it is determined whether or not the
ステップＳ３７０では、通知発光をしてきた車両（すなわち、自車両）へ、応答信号出力処理を実施し、応答制御処理を終了する。応答信号出力処理では、相互認識通知ＥＣＵ２１がヘッドライト２７に所定の発光パターンで発光（応答発光）させる。なお、応答発光の発光パターンは、ステップＳ２６５で述べたように道路上で通常観測されにくい発光パターンであって、さらに、通知発光の発光パターンとは異なるものである。また、応答発光の光源として、ヘッドライト２７にかわってフォグランプ（図示略）などその他の光源を用いてもよい。このステップ３７０が請求項に記載の応答手段に相当する。以上の一連の処理を、応答制御処理とする。
In step S370, a response signal output process is performed on the vehicle that has emitted the notification light (that is, the host vehicle), and the response control process ends. In the response signal output process, the mutual
ここで、自車両における相互認識通知関連処理に戻り、図６のステップＳ４００について図１０を用いて説明する。図１０のフローチャートは図６のステップＳ４００に移ったときに開始され、ステップＳ４１０に進む。ステップＳ４１０では、発光検出部１１ｃで応答信号検出処理を実施してステップＳ４２０に進む。この応答信号検出処理では、死角監視カメラ１３で撮影した画像データから、相手車両からの応答発光を検出する。相手車両の応答発光であるか否かは、ステップＳ３１０で述べた発光検出処理と同様に、画像データから光源を抽出し、この光源の発光パターンが、記憶部１５が記憶している応答発光パターンと一致しているかによって判定すればよい。なお、この応答信号検出処理は、通知発光を実施した時点を起算時刻として、起算時刻より所定の時間（応答検出時間Ｔ４、たとえば４秒）実施される。このステップＳ４１０を実施する発光検出部１１ｃが請求項に記載の応答信号検出手段に相当する。
Here, returning to the mutual recognition notification-related processing in the host vehicle, step S400 in FIG. 6 will be described with reference to FIG. The flowchart of FIG. 10 is started when the process proceeds to step S400 in FIG. 6, and the process proceeds to step S410. In step S410, a response signal detection process is performed by the
そして、応答検出時間Ｔ４内に、記憶部１５が記憶している応答発光パターンと一致する発光を検出した場合には、ステップＳ４２０がＹｅｓとなって、ステップＳ４３０に進む。また、応答検出時間Ｔ４経過しても、記憶部１５に記憶している発光パターンと一致する発光を検出していない場合は、ステップＳ４２０がＮｏとなって、応答なしとして応答認識処理を終了する。
If the light emission matching the response light emission pattern stored in the
ステップＳ４３０では、相手車両が応答発光したことを内部状態として保持し、ステップＳ４４０に進む。ステップＳ４４０では、自車両の通知発光を相手車両の運転者Ｆが認識していることを、自車両の運転者Ｕに報知する。報知方法としては、表示装置２８に相互認識が成立した旨を示す表示を出力すればよい。あるいは、図示しないバックミラーの一部やメーター周りに相互認識成立灯（図示略）を設け、これを点灯することで自車両の運転者Ｕに報知しても良い。なお、このステップＳ４４０が請求項に記載の応答受信通知手段に相当する。
In step S430, the fact that the opponent vehicle has emitted a response light is held as an internal state, and the process proceeds to step S440. In step S440, the driver U of the host vehicle is notified that the driver F of the partner vehicle recognizes the notification light emission of the host vehicle. As a notification method, a display indicating that mutual recognition is established may be output on the
また、本実施形態のように、相手車両が出力する応答信号の媒体をヘッドライトの光、すなわち可視光とすることで、発光検出部１１ｃだけでなく、自車両の運転者Ｕも応答信号を視認することができ、よりスムーズな意思疎通を図ることができる。
Further, as in the present embodiment, the medium of the response signal output by the opponent vehicle is the light of the headlight, that is, visible light, so that not only the light
ここで、以上で述べた本実施形態における一連の制御の一例を、図１１を用いて説明する。図１１中のＡが自車両であり、通知発光などを実施する通知側の車両である。また、ＲＸが車両Ａの右側に存在する死角を示しており、Ｂは、その死角ＲＸに存在し、通知発光に対して応答発光などを実施する応答側の車両（相手車両）である。車両Ａ、車両Ｂともに図の矢印の方向（上方向）に前進走行しており、車両Ｂの走行速度は車両Ａの走行速度よりも大きい。なお、車両Ａの運転者を運転者Ｕ、車両Ｂの運転者を運転者Ｆとする。また、車両Ａに搭載された相互認識通知装置１００を１００Ａ、車両Ｂに搭載された相互認識通知装置１００を１００Ｂと区別する。ただし、これらは同じ機能を有する相互認識通知装置１００とする。
Here, an example of a series of controls in the present embodiment described above will be described with reference to FIG. A in FIG. 11 is the host vehicle, which is a notification-side vehicle that performs notification light emission and the like. Further, RX indicates a blind spot existing on the right side of the vehicle A, and B is a responding vehicle (partner vehicle) that exists in the blind spot RX and that performs response light emission or the like with respect to notification light emission. Both the vehicle A and the vehicle B are traveling forward in the direction of the arrow (upward) in the figure, and the traveling speed of the vehicle B is higher than the traveling speed of the vehicle A. The driver of the vehicle A is the driver U, and the driver of the vehicle B is the driver F. Further, the mutual
車両Ａの相互認識通知装置１００Ａでは、逐次障害物検出処理（Ｓ１００）を実施している。すなわち、左右のドアミラーに設けた死角監視カメラ１３（１３Ｌ、１３Ｒ）が撮影した画像データが逐次画像処理装置１１の車両検出部１１ｂに入力されている（Ｓ１１０）。そして、車両検出部１１ｂで障害物を検出した場合、まず、検出した障害物が自車両の左右どちら側に存在するかを特定する（Ｓ１３０）。図１１では、右ドアミラー３１Ｒに備えられている死角監視カメラ１３Ｒが撮影した画像データより、車両Ｂを検出する。そのため、障害物（すなわち車両Ｂ）が存在する側は右側となる。
In the mutual recognition notification device 100A of the vehicle A, obstacle detection processing (S100) is sequentially performed. That is, the image data captured by the blind spot monitoring cameras 13 (13L, 13R) provided on the left and right door mirrors are sequentially input to the
そして、検出した障害物の形状パターンに対してパターンマッチングを実施することで、障害物が車両であると判定する（Ｓ１５０ Ｙｅｓ）。さらに、車両検出部１１ｃにおいて、死角監視カメラ１３Ｒで撮影する画像データに基づいて車両Ｂの車両Ａに対する相対位置および相対速度を算出する（Ｓ１６０）。より具体的には、車両Ｂの走行速度は車両Ａの速度より大きく、かつ、車両Ａの右斜め後方を走行している。このため、死角監視カメラ１３Ｒが撮影する画像データ内において、車両Ｂの大きさは徐々に大きくなる。このときのフレーム間における車両Ｂの大きさの変位量から相対速度を算出する。そして、車両Ｂは車両Ａに接近中であることからＳ１７０がＹｅｓとなって、障害物を通知すべき障害物と判定される（Ｓ１８０）。
And it determines with an obstacle being a vehicle by implementing pattern matching with respect to the shape pattern of the detected obstacle (S150 Yes). Further, the
以上より、Ｓ１９０がＹｅｓとなって、車両Ａの相互認識通知装置１００Ａは通知制御処理を開始する。相互認識通知ＥＣＵ２１はＷ＝０（Ｓ２０５）とした後に、発光装置２５を発光させるとともに、表示装置上に警告表示をすることで運転者Ｕに車両Ｂが右後方より接近中であることを警告する（Ｓ２１０）。そして、顔部撮像カメラ１２の撮影した画像データに基づいて視線方向検出部１１ａで運転者Ｕの視線検出処理を開始する（Ｓ２１５）。
From the above, S190 becomes Yes, and the mutual recognition notification device 100A of the vehicle A starts the notification control process. The mutual
運転者Ｕは、発光装置２５の発光または表示装置上の警告表示を受けて、右斜め後方を振り向いて直接視認する。視線方向検出部１１ａは、運転者Ｕの動作を検出し、運転者Ｕが車両Ｂを直接視認したことを示す情報データを相互認識通知ＥＣＵ２１に出力する（Ｓ２２０ Ｙｅｓ）。また、運転者Ｕは、振り向いて車両Ｂを視認すると、車両正面に視線を戻すとともに、ハンドルに設けられている入力装置２４を操作する。相互認識通知ＥＣＵ２１は、車両Ｂを直接視認している旨の情報データを取得している状態において、入力装置２４が操作されたため（Ｓ２３０ Ｙｅｓ）、発光装置２５に通知発光させる（Ｓ２６５）。
The driver U receives light emission from the
以上によって車両Ａの相互認識通知装置１００Ａは通知発光を実施し（Ｓ２９０ Ｙｅｓ）、応答認識処理（Ｓ４００）を開始する。すなわち、死角監視カメラ１３Ｒで逐次取得する画像データに基づいて、応答信号検出処理を実施しながら、車両Ｂからの応答発光を待つ。
As described above, the mutual recognition notification device 100A of the vehicle A performs notification light emission (S290 Yes), and starts a response recognition process (S400). That is, based on the image data sequentially acquired by the blind
車両Ｂの相互認識通知装置１００Ｂの発光検出部１１ｃでは、前方カメラの取得する画像データに基づいて、車両Ａからの通知発光を検出し（Ｓ３２０ Ｙｅｓ）、発光方向を算出する（Ｓ３３０）。そして視線方向検出部１１ａは、運転者Ｆの視線検出処理を開始する（Ｓ３４０）。
The
運転者Ｆは車両Ａからの通知発光を視認し、入力装置２４を操作する。相互認識通知ＥＣＵ２１は、発光方向と運転者Ｆの視線方向が一致したと判定した状態に（Ｓ３５０ Ｙｅｓ）において、入力装置２４が操作されたため（Ｓ３６０ ＹＥＳ）、ヘッドライト２７に応答発光をさせる（Ｓ３７０）。
The driver F visually recognizes the notification light emission from the vehicle A and operates the
車両Ａの相互認識通知装置１００Ａの発光検出部１１ｃは、この車両Ｂからの応答発光を検出し（Ｓ４２０ Ｙｅｓ）、応答発光パターンに一致する応答発光が車両Ｂより為されたことを内部状態として取得する（Ｓ４３０）。そして、相互認識通知ＥＣＵ２１は、表示装置２８に相互認識が成立した旨を示すテキストを表示するとともに、メーター周りに相互認識成立灯（図示略）を点灯することで自車両の運転者Ｕに報知する（Ｓ４４０）。
The light
以上で述べたように、このような構成では、車両Ｂ（第２の車両）の運転者Ｆが車両Ａ（第１の車両）の発光を認識している場合には、入力装置２４を操作することで自車両に対してヘッドライト２７を所定の発光パターンで応答発光させる。そして車両Ａの相互認識通知装置１００はこの応答発光を検出すると、車両Ａの運転者Ｕに応答があったことを通知する。したがって、車両Ａの発光に対して車両Ｂから応答発光が返ってきた場合には、車両Ｂの運転者Ｆが車両Ａを認識していることを運転者Ｕは認識することができる。
As described above, in such a configuration, when the driver F of the vehicle B (second vehicle) recognizes the light emission of the vehicle A (first vehicle), the
なお、本実施形態では、障害物が接近中であれば距離によらず通知すべき障害物と判定したが、さらに自車両から所定距離Ｌ以内に位置する障害物のみを通知すべき障害物と判定する構成としてもよい。すなわち、直近の障害物のみを運転者Ｕに警告する場合に比べて、自車両からまだ離れている障害物まで運転者Ｕに警告してしまうと、警告の頻度が多くなり、かえって運転者Ｕの注意が散漫になってしまうおそれがある。上述したように、所定距離Ｌ圏内の接近中の障害物のみを通知することで、運転者Ｕにとってより重要度が高い情報が警告されるようになる。 In the present embodiment, if an obstacle is approaching, it is determined that the obstacle should be notified regardless of the distance, but the obstacle that should be notified only of the obstacle located within the predetermined distance L from the own vehicle It is good also as a structure to determine. That is, compared with the case where only the latest obstacle is warned to the driver U, if the driver U is warned to an obstacle that is still far from the host vehicle, the warning frequency increases, and instead the driver U May be distracting. As described above, by notifying only the approaching obstacle within the predetermined distance L range, information with higher importance for the driver U is warned.
ここで所定距離Ｌは、例えば１５メートルなどの一定の距離とすればよい。また、より好ましい形態としては、自車両と相手車両の相対速度に一定の時間（例えば２秒）を乗算して定まる距離とすればよい。すなわち、通知すべきか否かの判定条件を一定距離としてしまうと、相対速度が比較的大きい場合と、小さい場合とでは、自車両の側方に到達するまでにかかる時間は異なる。相対速度が大きい場合には、運転者Ｕが接近中の相手車両を認識したり、通知処理を実行したりするために与えられている時間が短くなり、余裕がなくなってしまう。そこで、障害物を運転者Ｕに通知すべきか否かの判定条件を自車両と相手車両の相対速度によって適応的に設定することで、運転者Ｕが障害物を認識するために十分な時間を提供することができる。 Here, the predetermined distance L may be a constant distance such as 15 meters. Further, as a more preferable form, a distance determined by multiplying a relative speed between the host vehicle and the opponent vehicle by a certain time (for example, 2 seconds) may be used. In other words, if the determination condition for determining whether or not to notify is a fixed distance, the time taken to reach the side of the host vehicle differs depending on whether the relative speed is relatively large or small. When the relative speed is large, the time given for the driver U to recognize the approaching partner vehicle or to execute the notification process is shortened, and there is no room. Therefore, by setting adaptively the condition for determining whether or not an obstacle should be notified to the driver U according to the relative speed between the host vehicle and the partner vehicle, a sufficient time for the driver U to recognize the obstacle is given. Can be provided.
また、本実施形態では応答信号の媒体は可視光（ヘッドライトによる応答発光）としたが、これに限らない。応答信号は、可視光以外の光、電波、赤外線、超音波など、その他の媒体であってもよい。また、これらを組み合わせてもよい。すなわち、昼間は、周囲も明るいため、ヘッドライトの光が検出されにくい可能性がある。そこで、ヘッドライトの可視光に加えて、赤外線などを併用することで周囲の明るさに関係なく応答信号を検出する精度をより高めることができる。また、夜間など、ヘッドライトを短期間で点滅させることで他の車両への影響が懸念される場合においても、赤外線等によって応答信号を出力することで、そのような懸念を低減することができる。なお、電波など可視光以外の媒体を応答信号に用いる場合には、応答信号を検出する応答信号検出手段は、その媒体を検出可能な装置（たとえばアンテナや赤外線カメラなど）とする。 In the present embodiment, the response signal medium is visible light (response light emission by a headlight), but is not limited thereto. The response signal may be other media such as light other than visible light, radio waves, infrared rays, and ultrasonic waves. Moreover, you may combine these. That is, since the surroundings are bright during the day, the light from the headlight may not be easily detected. Therefore, in addition to the visible light of the headlight, the accuracy of detecting the response signal can be further increased regardless of the ambient brightness by using infrared rays or the like together. Even when the headlight blinks in a short period, such as at night, there is a concern about the influence on other vehicles, such a concern can be reduced by outputting a response signal by infrared rays or the like. . When a medium other than visible light such as radio waves is used for the response signal, the response signal detecting means for detecting the response signal is a device that can detect the medium (for example, an antenna or an infrared camera).
また、応答信号として、複数種類の信号パターン（可視光の場合は、発光パターンに相当する）を記憶部１５に記憶させておいてもよい（以降、変形例１）。その場合、入力装置２４はそれら信号パターンの数に対応したスイッチをそれぞれ備えておけばよい。たとえば、信号パターンとしては、通常の「認識しました」のほかに、「譲ります」「急いでいます」「後ろに入ります」「前に入ります」などに対応する信号パターンを記憶させておき、運転者は状況に応じて、それらのうちから選択して、入力する。先行車両（通知側の車両）がウインカーを出しており、斜線変更をしたそうにしている場合は、「譲ります」「急いでいます」などの応答発光をする。また、応答側の車両が車線変更したい場合には、「後ろに入ります」「前に入ります」などの応答発光をする。また、これらの信号パターンは通知発光に適用してもよい。また、応答信号に対して、通知側の車両から「了解しました」などの再応答を発光装置２５の発光などによって実施しても良い。
Further, a plurality of types of signal patterns (corresponding to light emission patterns in the case of visible light) may be stored in the
１００…相互認識通知装置、１１ａ…視線方向検出部、１１ｂ…車両検出部、１１ｃ…発光検出部、発光装置、２４…入力装置、２７…ヘッドライト、２１…相互認識通知ＥＣＵ、１５…記憶部、
Ｓ１００…障害物検出手段、Ｓ２１０…車両通知手段、Ｓ４４０…応答受信通知手段、Ｓ２１５…第１の視線方向検出手段、Ｓ２２０…直接視認判定手段、Ｓ２５５…間接視認判定手段、Ｓ３１０…発光検出手段、Ｓ３３０…発光方向算出手段、Ｓ２４０…第２の視線方向検出手段、Ｓ３５０…発光視認判定手段
DESCRIPTION OF
S100 ... Obstacle detection means, S210 ... Vehicle notification means, S440 ... Response reception notification means, S215 ... First gaze direction detection means, S220 ... Direct visual recognition determination means, S255 ... Indirect visual recognition determination means, S310 ... Light emission detection means, S330: Light emission direction calculation means, S240: Second line-of-sight direction detection means, S350: Light emission visual recognition determination means
Claims (11)
第１の車両に搭載される第１の相互認識通知装置（１００）は、
前記第１の車両を運転する第１の運転者からは視認できない死角に存在する第２の車両を検出する車両検出手段（１１ｂ）と、
前記車両検出手段で前記第２の車両を検出したことを前記第１の運転者に通知する車両通知手段（２１ Ｓ２１０）と、
前記車両通知手段の通知に基づいて前記第１の運転者が前記第２の車両を認識したことを入力するための第１の入力手段（２４）と、
前記第１の車両の、前記第２の車両を運転する第２の運転者から直接視認可能な位置に取り付けられてあって、かつ、前記第１の入力手段に入力があった場合に発光する発光装置（２５）と、を備え、
前記第２の車両に搭載される第２の相互認識通知装置（１００）は、
前記発光装置の発光を前記第２の運転者が認識した場合に、前記第２の運転者が前記発光を認識したことを入力するための第２の入力手段（２４）と、
前記第２の入力手段に入力があった場合に、前記第２の運転者が前記第１の車両を認識していることを前記第１の運転者に報知する応答信号を前記第１の車両に出力する応答手段（２１ Ｓ３７０）と、を備え、
前記第１の相互認識通知装置は、さらに、
前記応答信号を検出する応答信号検出手段（１１ｃ）と、
前記応答信号検出手段で前記応答信号を検出した場合に、前記第２の運転者が前記第１の車両を認識していることを前記第１の運転者に通知する応答受信通知手段（２１ Ｓ４４０）と、を備えることを特徴とする相互認識通知システム。 A mutual recognition notification system comprising a mutual recognition notification device for use in each of the first and second vehicles, for notifying that the driver of each vehicle has recognized the mutual existence,
The first mutual recognition notification device (100) mounted on the first vehicle is:
Vehicle detection means (11b) for detecting a second vehicle existing in a blind spot that cannot be seen by a first driver driving the first vehicle;
Vehicle notification means (21 S210) for notifying the first driver that the vehicle detection means has detected the second vehicle;
First input means (24) for inputting that the first driver has recognized the second vehicle based on the notification of the vehicle notification means;
Light is emitted when the first vehicle is mounted at a position that is directly visible from a second driver who drives the second vehicle, and there is an input to the first input means. A light emitting device (25),
The second mutual recognition notification device (100) mounted on the second vehicle is:
Second input means (24) for inputting that the second driver recognizes the light emission when the second driver recognizes the light emission of the light emitting device;
When there is an input to the second input means, a response signal for notifying the first driver that the second driver recognizes the first vehicle is the first vehicle. Response means (21 S370) for outputting to
The first mutual recognition notification device further includes:
Response signal detecting means (11c) for detecting the response signal;
Response reception notifying means (21 S440) for notifying the first driver that the second driver recognizes the first vehicle when the response signal is detected by the response signal detecting means. And a mutual recognition notification system.
前記応答信号は、可視光によって実施されることを特徴とする相互認識通知システム。 In claim 1,
The mutual recognition notification system, wherein the response signal is implemented by visible light.
前記第２の相互認識通知装置は、前記応答信号として、前記第２の運転者の意図を伝達するための信号パターンが複数種類登録されている第１の記憶部（１５）を備え、
前記第２の入力手段は、前記記憶部の記憶する複数の信号パターンから前記第２の運転者が所望する信号パターンを応答信号として出力するように指示入力可能なものであって、
前記応答手段は、前記第２の入力手段の入力に基づいて、前記第２の運転者の意図に対応した信号パターンの応答信号を出力し、
前記第１の相互認識通知装置は、前記複数種類の信号パターンが登録されている第２の記憶部（１５）を備え、
前記応答信号検出手段は前記応答信号を検出する際に、前記応答信号の信号パターンと前記記憶部に登録されている信号パターンと一致するものを検索し、一致する信号パターンがあった場合に、
前記応答受信通知手段は、前記応答信号の信号パターンに対応する前記第２の運転者の意図を前記第１の運転者に通知することを特徴とする相互認識通知システム。 In claim 1 or 2,
The second mutual recognition notification device includes a first storage unit (15) in which a plurality of types of signal patterns for transmitting the intention of the second driver are registered as the response signal.
The second input means can input an instruction to output a signal pattern desired by the second driver as a response signal from a plurality of signal patterns stored in the storage unit,
The response means outputs a response signal of a signal pattern corresponding to the intention of the second driver based on the input of the second input means,
The first mutual recognition notification device includes a second storage unit (15) in which the plurality of types of signal patterns are registered,
When the response signal detecting means detects the response signal, it searches for a signal pattern that matches the signal pattern of the response signal and the signal pattern registered in the storage unit, and when there is a matching signal pattern,
The response reception notifying means notifies the first driver of the intention of the second driver corresponding to the signal pattern of the response signal.
前記第１の相互認識通知装置は、前記第２の車両が存在する側のドアミラーの位置を、前記第１の運転者が前記ドアミラーを介して前記第２の車両を視認できる位置である死角捕捉位置まで動かすように運転者が指示するための第３の入力手段（２４）を備え、
前記第３の入力手段に運転者からの入力があった場合に、前記ドアミラーの位置を前記死角捕捉位置に動かすことを特徴とする相互認識通知システム。 In any one of Claim 1 to 3,
The first mutual recognition notification device captures the position of the door mirror on the side where the second vehicle is present, and the blind spot is a position where the first driver can visually recognize the second vehicle via the door mirror. Comprising third input means (24) for the driver to instruct to move to a position;
The mutual recognition notification system, wherein when there is an input from a driver in the third input means, the position of the door mirror is moved to the blind spot capturing position.
前記第１の相互認識通知装置は、前記第１の運転者の視線方向を検出する第１の視線方向検出手段（１１ａ）と、
前記車両検出手段で前記第２の車両を検出しているときに、前記第２の車両が存在する方向と前記第１の視線方向検出手段で検出する前記視線方向とが同方向となった場合に、前記第１の運転者が前記第２の車両をドアミラーを介さずに視認したと判定する直接視認判定手段（２１ Ｓ２２０）と、を備え、
前記直接視認判定手段で前記第１の運転者が前記第２の車両を視認したと判定された後に前記第１の入力手段への入力があった場合に、前記第１の相互認識通知装置は前記発光装置を発光させ、
前記直接視認判定手段で前記第１の運転者が前記第２の車両を視認したと判定されていない場合には、前記第１の入力手段に前記第１の運転者の入力があった場合でも、前記第１の相互認識通知装置は前記発光装置を発光させないことを特徴とする相互認識通知システム。 In any one of Claims 1-4,
The first mutual recognition notification device includes first gaze direction detection means (11a) for detecting the gaze direction of the first driver,
When the second vehicle is detected by the vehicle detection means, the direction in which the second vehicle exists and the line-of-sight direction detected by the first line-of-sight detection means are the same direction. And a direct visual recognition determination means (21 S220) for determining that the first driver visually recognizes the second vehicle without using a door mirror,
When there is an input to the first input means after it is determined that the first driver has visually recognized the second vehicle by the direct visual recognition determination means, the first mutual recognition notification device is Causing the light emitting device to emit light;
If it is not determined by the direct visual identification means that the first driver has visually recognized the second vehicle, even if the first driver has input to the first input means The first mutual recognition notification device does not cause the light emitting device to emit light.
前記第１の相互認識通知装置は、前記第１の運転者の視線方向を検出する第１の視線方向検出手段（１１ａ）と、
前記車両検出手段で前記第２の車両を検出しているときに、前記第２の車両が存在する方向と前記第１の視線方向検出手段で検出する前記視線方向とが同方向となった場合に、前記第１の運転者が前記第２の車両をドアミラーを介さずに視認した判定する直接視認判定手段（２１ Ｓ２２０）と、
前記ドアミラーが前記死角捕捉位置となった後に前記ドアミラーの方向と前記第１の視線方向検出手段で検出する前記視線方向が同方向となった場合に、前記第１の運転者が前記ドアミラーを介して前記第２の車両を視認したと判定する間接視認判定手段（２１ Ｓ２５５）と、を備え、
前記直接視認判定手段で前記第１の運転者が前記第２の車両を視認したと判定された後に前記第１の入力手段への入力があった場合、または、前記間接視認判定手段で前記第１の運転者が前記ドアミラーを介して前記第２の車両を視認したと判定された後に前記第１の入力手段に入力があった場合に、前記第１の相互認識通知装置は前記発光装置を発光させ、前記間接視認判定手段で前記第１の運転者が前記ドアミラーを介して前記第２の車両を視認したと判定されておらず、かつ、前記直接視認判定手段で前記第２の車両を視認したと判定されていない場合には、前記入力手段に前記第１の運転者の入力があった場合でも前記第１の相互認識通知装置は前記発光装置を発光させないことを特徴とする相互認識通知システム。 In claim 4,
The first mutual recognition notification device includes first gaze direction detection means (11a) for detecting the gaze direction of the first driver,
When the second vehicle is detected by the vehicle detection means, the direction in which the second vehicle exists and the line-of-sight direction detected by the first line-of-sight detection means are the same direction. In addition, a direct visual determination means (21 S220) for determining that the first driver visually recognizes the second vehicle without using a door mirror;
When the direction of the door mirror and the direction of the line of sight detected by the first line-of-sight direction detection means after the door mirror reaches the blind spot capturing position, the first driver passes the door mirror. Indirect visual recognition determination means (21 S255) for determining that the second vehicle has been visually recognized.
When there is an input to the first input means after it is determined that the first driver visually recognizes the second vehicle by the direct visual recognition determination means, or the indirect visual recognition determination means performs the first When it is determined that the first driver has visually recognized the second vehicle through the door mirror, the first mutual recognition notification device detects the light-emitting device when there is an input to the first input means. It is not determined that the first driver has visually recognized the second vehicle via the door mirror, and the second vehicle is The mutual recognition is characterized in that the first mutual recognition notifying device does not cause the light emitting device to emit light even when the input by the first driver is input to the input means when it is not determined that it has been visually recognized. Notification system.
前記第２の相互認識通知装置は、前記発光装置による発光を検出する発光検出手段（１１ｃ）を備え、
前記発光検出手段が前記発光を検出した場合には、前記第２の相互認識通知装置は前記発光がされていることを前記第２の運転者に通知することを特徴とする相互認識通知システム。 In any one of Claims 1-6,
The second mutual recognition notification device includes light emission detection means (11c) for detecting light emission by the light emitting device,
When the light emission detecting means detects the light emission, the second mutual recognition notification device notifies the second driver that the light emission is being performed.
前記第２の相互認識通知装置は、前記発光装置による発光を検出する発光検出手段（１１ｃ）と、
前記発光検出手段で前記発光を検出した場合には、前記発光をしている光源が存在する方向である発光方向を算出する発光方向算出手段（１１）と、
前記第２の運転者の視線方向を検出する第２の視線方向検出手段（１１ａ）と、
前記第２の相互認識通知装置は、前記発光を検出した後に前記発光方向算出手段で算出した前記発光方向と、前記第２の視線方向検出手段で検出した前記第２の運転者の視線方向が同方向となった場合に、前記第２の運転者が前記発光を視認したと判定する発光視認判定手段（２１ Ｓ３５０）と、を備え、
前記発光視認判定手段で前記第２の運転者が前記発光を視認したと判定された後に前記第２の入力手段に入力があった場合に、前記応答手段より前記第１の車両に向けて前記応答信号を出力し、
前記発光視認判定手段で前記第２の運転者が前記発光を視認したと判定されていない場合には、前記第２の入力手段に入力があっても前記応答手段より前記応答信号を出力しないことを特徴とする相互認識通知システム。 In any one of Claims 1-6,
The second mutual recognition notification device includes a light emission detection means (11c) for detecting light emission by the light emitting device;
When the light emission is detected by the light emission detection means, a light emission direction calculation means (11) for calculating a light emission direction, which is a direction in which the light source emitting the light exists,
Second gaze direction detecting means (11a) for detecting the gaze direction of the second driver;
In the second mutual recognition notification device, the light emission direction calculated by the light emission direction calculation unit after detecting the light emission and the line-of-sight direction of the second driver detected by the second line-of-sight direction detection unit are A light emission visual recognition determining means (21 S350) for determining that the second driver has visually recognized the light emission when the direction is the same;
When there is an input to the second input means after it is determined by the light emission visual recognition determination means that the second driver has visually recognized the light emission, the response means directs the first vehicle toward the first vehicle. Output a response signal,
When the second driver does not determine that the second driver visually recognizes the light emission, the response signal is not output from the response means when the light emission visual recognition determination means does not determine that the second driver has visually recognized the light emission. A mutual recognition notification system characterized by
前記第１の入力手段と前記第３の入力手段は同一のスイッチ（２４）によりなり、
前記直接視認判定手段で前記第２の車両を視認したと判定された後に前記第１の運転者が前記スイッチを操作した場合には、前記発光装置を発光させ、
前記車両検出手段で前記第２の車両を検出しているときに、前記直接視認判定手段で前記第２の車両を視認したと判定されておらず、かつ、前記第１の視線方向検出手段で検出する前記視線方向と前記ドアミラーの方向が同方向となった後に前記第１の運転者が前記スイッチを操作した場合には、前記ドアミラーの位置を前記死角捕捉位置に動かすことを特徴とする相互認識通知システム。 In claim 6,
The first input means and the third input means comprise the same switch (24),
When the first driver operates the switch after it is determined that the second vehicle is visually recognized by the direct visual recognition determination unit, the light emitting device is caused to emit light,
When the second vehicle is detected by the vehicle detection means, it is not determined that the second visual observation means has visually recognized the second vehicle, and the first visual line direction detection means When the first driver operates the switch after the line-of-sight direction to be detected and the direction of the door mirror become the same direction, the position of the door mirror is moved to the blind spot capturing position. Recognition notification system.
前記発光装置は、前記第１の車両において、前記第１の運転者および前記第２の運転者の両者にとって直接視認可能な位置に取り付けられてあって、前記車両通知手段による通知は前記発光装置によって実施されることを特徴とする相互認識通知システム。 The light emitting device according to claim 1, wherein the light emitting device is attached to a position that is directly visible to both the first driver and the second driver in the first vehicle, and is notified by the vehicle notification unit. Is implemented by the light-emitting device.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012267579A JP5949509B2 (en) | 2012-12-06 | 2012-12-06 | Mutual recognition notification system and mutual recognition notification device |
| DE112013005834.0T DE112013005834B4 (en) | 2012-12-06 | 2013-11-27 | Mutual recognition and mutual recognition teaching system |
| PCT/JP2013/006960 WO2014087607A1 (en) | 2012-12-06 | 2013-11-27 | Mutual recognition notification system and mutual recognition notification device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012267579A JP5949509B2 (en) | 2012-12-06 | 2012-12-06 | Mutual recognition notification system and mutual recognition notification device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014115732A JP2014115732A (en) | 2014-06-26 |
| JP5949509B2 true JP5949509B2 (en) | 2016-07-06 |
Family
ID=50883049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012267579A Expired - Fee Related JP5949509B2 (en) | 2012-12-06 | 2012-12-06 | Mutual recognition notification system and mutual recognition notification device |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP5949509B2 (en) |
| DE (1) | DE112013005834B4 (en) |
| WO (1) | WO2014087607A1 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6477135B2 (en) * | 2015-03-27 | 2019-03-06 | 株式会社デンソー | In-vehicle communication device and communication system |
| GB201800423D0 (en) * | 2018-01-11 | 2018-02-28 | Impressive Ideas Ltd | Display system for use in conjunction with driver protection apparatus |
| FR3099116B1 (en) | 2019-07-26 | 2021-07-09 | Faurecia Interieur Ind | System and method for detecting a second vehicle in a detection zone of a first vehicle |
| US11390211B2 (en) * | 2020-01-17 | 2022-07-19 | Toyoda Gosei Co., Ltd. | Steering wheel |
| JP2021189932A (en) * | 2020-06-03 | 2021-12-13 | トヨタ自動車株式会社 | Moving object detection system |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10303578B4 (en) | 2003-01-30 | 2015-08-13 | SMR Patents S.à.r.l. | Hazard detection system for vehicles with at least one side and rear environmental detection |
| JP4066892B2 (en) * | 2003-06-24 | 2008-03-26 | アイシン精機株式会社 | Vehicle alarm device |
| JP2008181315A (en) * | 2007-01-24 | 2008-08-07 | Aisin Aw Co Ltd | Driving-support method and driving-support device |
| JP2008293099A (en) * | 2007-05-22 | 2008-12-04 | Mazda Motor Corp | Driving support device for vehicle |
| JP4985388B2 (en) * | 2007-12-25 | 2012-07-25 | トヨタ自動車株式会社 | Driving support device and driving support system |
| JP5464885B2 (en) * | 2009-03-31 | 2014-04-09 | 日野自動車株式会社 | Parallel running warning device, vehicle and program |
| SE535786C2 (en) | 2010-01-19 | 2012-12-18 | Volvo Technology Corp | Dead Angle Warning System |
| JP2012177997A (en) * | 2011-02-25 | 2012-09-13 | Panasonic Corp | Headlight flashing content determination device |
| DE102012201046A1 (en) | 2012-01-25 | 2013-07-25 | Robert Bosch Gmbh | Method and device for assisting a driver |
-
2012
- 2012-12-06 JP JP2012267579A patent/JP5949509B2/en not_active Expired - Fee Related
-
2013
- 2013-11-27 WO PCT/JP2013/006960 patent/WO2014087607A1/en active Application Filing
- 2013-11-27 DE DE112013005834.0T patent/DE112013005834B4/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014115732A (en) | 2014-06-26 |
| DE112013005834B4 (en) | 2019-07-11 |
| DE112013005834T5 (en) | 2015-08-20 |
| WO2014087607A1 (en) | 2014-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3093192B1 (en) | Rear combination lamp for vehicle comprising a display | |
| US10196068B2 (en) | Convenience apparatus for vehicle and vehicle | |
| KR101731719B1 (en) | Method and apparatus for providing stopping movement mode and vehicle having the same | |
| JP6523561B1 (en) | Irradiation apparatus and irradiation method | |
| US20150258928A1 (en) | Vehicle-mounted apparatus | |
| JP4100026B2 (en) | Start support device | |
| WO2014188903A1 (en) | Lighting control device | |
| JP5949509B2 (en) | Mutual recognition notification system and mutual recognition notification device | |
| JPWO2017068701A1 (en) | Parking space detection method and apparatus | |
| US11591018B2 (en) | Parking assistance device | |
| CN104163133A (en) | Rear view camera system using rear view mirror location | |
| US20190135169A1 (en) | Vehicle communication system using projected light | |
| JP2008193339A (en) | Rear monitoring system | |
| JP7215228B2 (en) | Control device, control method, control program | |
| KR20160147557A (en) | Automatic parking apparatus for vehicle and Vehicle | |
| US11884216B2 (en) | Vehicular full mirror display system with auxiliary forward and rearward views | |
| US11858414B2 (en) | Attention calling device, attention calling method, and computer-readable medium | |
| JP6914730B2 (en) | Driving support device and driving support method | |
| KR101601500B1 (en) | System and Method for assisting vehicle driving for using smartphone | |
| KR101515717B1 (en) | Apparatus for dead zone watching in vehicle | |
| WO2018235192A1 (en) | Rear wheel position indicator | |
| KR102168041B1 (en) | Vehicle control device and vehicle control method | |
| KR101533285B1 (en) | Car safety system to get and display infrared images for sensing dangers in dark environments and photographing method for infrared images | |
| JP4066892B2 (en) | Vehicle alarm device | |
| KR101843528B1 (en) | Method and apparatus for providing stopping movement mode and vehicle having the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150722 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160510 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160523 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5949509 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |