JP2010083205A - Device for supporting recognition of collision warning vehicle - Google Patents

Device for supporting recognition of collision warning vehicle Download PDF

Info

Publication number
JP2010083205A
JP2010083205A JP2008251782A JP2008251782A JP2010083205A JP 2010083205 A JP2010083205 A JP 2010083205A JP 2008251782 A JP2008251782 A JP 2008251782A JP 2008251782 A JP2008251782 A JP 2008251782A JP 2010083205 A JP2010083205 A JP 2010083205A
Authority
JP
Japan
Prior art keywords
vehicle
collision warning
specifying
warning vehicle
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008251782A
Other languages
Japanese (ja)
Inventor
Shogo Kameyama
昌吾 亀山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2008251782A priority Critical patent/JP2010083205A/en
Publication of JP2010083205A publication Critical patent/JP2010083205A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a device for supporting recognition of a collision warning vehicle capable of timely and appropriately supporting the recognition of approach of the collision warning vehicle when the recognition level of a driver is reduced. <P>SOLUTION: The biological recognizable degree of the driver to the approach of the collision warning vehicle is specified in each case, and when the recognizable degree is reduced below a constant level, a specific recognition supporting output is performed. Thus, when the recognition level of the driver is reduced, the recognition of the approach of the collision warning vehicle can be supported timely and appropriately. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

この発明は、衝突警戒車両認知支援装置に関する。   The present invention relates to a collision warning vehicle recognition support device.

特開2006− 85285号公報JP 2006-85285 A 特開2006−352684号公報JP 2006-352684 A 特開2006−224754号公報JP 2006-224754 A 特開2006−151114号公報JP 2006-151114 A 特開2006−119090号公報JP 2006-111900 A 特開2005− 92516号公報JP 2005-92516 A 特開2005− 18130号公報JP 2005-18130 A 特開2004−240506号公報JP 2004-240506 A 特開2003−346297号公報JP 2003-346297 A 特開2003−291688号公報JP 2003-291688 A 特開2002− 19485号公報Japanese Patent Laid-Open No. 2002-19485 特開平10−211886号公報Japanese Patent Application Laid-Open No. 10-211886 特開平09−178505号公報JP 09-178505 A

車両周囲の他車を種々の方法で検出し、自車との衝突や接触に対する予測を行ない、その予測結果に応じた警告報知を行なう技術が種々提案されている(特許文献1〜13)。特に、コリジョンコース上に存在する他車は、自車から見た相対速度が小さく、特に視界の中央から外れている場合は存在に気付きにくいので衝突等の危険性が大きく、航空機や自動車の事故原因の一つになっている。特許文献1には、こうしたコリジョンコース上の他車に対する衝突予測を行ない、警報出力を行なう技術が開示されている。   Various techniques for detecting other vehicles around the vehicle by various methods, predicting a collision or contact with the own vehicle, and performing warning notification according to the prediction result have been proposed (Patent Documents 1 to 13). In particular, other vehicles on the collision course have a small relative speed as seen from the host vehicle, especially when they are out of the center of the field of view, so there is a high risk of collisions and other accidents. It is one of the causes. Patent Document 1 discloses a technology for performing a collision prediction for another vehicle on such a collision course and outputting a warning.

ところで、上記先行技術においては、衝突警戒すべき他車(以下、衝突警戒車両ともいう)の認知が何らかの外部要因(例えば、死角発生による視認困難化等)により阻害される状況を想定し、こうした外部視認阻害要因に対抗する認知支援手段の構築に重点が置かれていた。しかし、運転者側の肉体的ないし精神的要因による認知レベルに関しては何ら考慮が払われておらず、常時一律な認知支援が行なわれていたのでメリハリに欠ける難点がある。例えば、運転者の認知レベル十分高く、既に衝突警戒車両の接近に気付いている場合にも、認知支援のための何らかの報知出力がなされ、煩わしく感じられる場合がある。また、こうした一律な報知出力が継続すると、報知出力に対する運転者の注意も薄れ、やがては無視するようになるので、認知レベルが低下して本当に支援が必要となるシーンで、支援効果が芳しくなくなる問題がある。   By the way, in the above prior art, such a situation is assumed in which recognition of other vehicles to be subjected to collision warning (hereinafter also referred to as collision warning vehicles) is hindered by some external factor (for example, difficulty in visual recognition due to blind spots). Emphasis was placed on the construction of cognitive support measures to counter external visual obstruction factors. However, no consideration is given to the level of cognition due to physical or mental factors on the driver's side, and there is a lack of clarity because uniform cognitive support has been provided at all times. For example, even when the driver's recognition level is sufficiently high and he / she has already noticed the approach of the collision warning vehicle, some notification output for assisting the recognition may be made, which may be bothersome. In addition, if such uniform notification output continues, the driver's attention to the notification output will fade, and eventually it will be ignored, so the support effect will not be good in scenes where the cognitive level decreases and support is really needed There's a problem.

本発明の課題は、運転者の認知レベルが低下した場合に、衝突警戒車両の接近認知をタイムリーかつ的確に支援できる衝突警戒車両認知支援装置を提供することにある。   The subject of this invention is providing the collision warning vehicle recognition assistance apparatus which can support the approach recognition of a collision warning vehicle timely and exactly, when a driver | operator's recognition level falls.

課題を解決するための手段及び作用・効果Means and actions / effects for solving the problems

上記の課題を解決するために、本発明の衝突警戒車両認知支援装置は、自車走行路の走行方向前方に存在する合流路との合流地点に向け、該合流路上を走行・接近する衝突警戒車両を検出する衝突警戒車両接近検出手段と、自車の運転者の生体情報を検出する生体情報検出手段と、生体情報に基づいて運転者の衝突警戒車両に対する認知可能度を特定する認知可能度特定手段と、衝突警戒車両の合流地点への接近が検出され、かつ、特定された認知可能度が予め定められたレベルよりも低下した場合に、衝突警戒車両の接近に対する当該場合に特有の認知支援出力を行なう認知支援出力手段と、
を有することを特徴とする。
In order to solve the above-described problem, the collision warning vehicle recognition support apparatus of the present invention is directed to a collision warning that travels and approaches on a joint path with a joint path existing ahead in the traveling direction of the host vehicle traveling path. Collision warning vehicle approach detection means for detecting the vehicle, biological information detection means for detecting the biological information of the driver of the own vehicle, and recognition ability for identifying the recognition degree of the driver for the collision warning vehicle based on the biological information If the approach to the junction of the collision warning vehicle and the identification means is detected, and the identified recognition level falls below a predetermined level, the recognition specific to the collision warning vehicle approach in this case Cognitive support output means for performing support output;
It is characterized by having.

上記本発明の構成によると、衝突警戒車両の接近に対する運転者の生体的な認知可能度をその都度特定し、該認知可能度が一定レベル未満に低下した場合に、特有の認知支援出力を行なうようにした。これにより、運転者の認知レベルが低下した場合に、衝突警戒車両の接近認知をタイムリーかつ的確に支援することができる。   According to the configuration of the present invention described above, the driver's biometric recognition possibility for the approach of the collision warning vehicle is specified each time, and when the recognition possibility falls below a certain level, a specific recognition support output is performed. I did it. Thereby, when a driver's recognition level falls, the approach recognition of a collision warning vehicle can be supported timely and exactly.

認知支援出力は、衝突警戒車両接近に対する認知覚醒度を高め、運転者の認知可能度の低下を補うことができる出力内容とする必要がある。認知支援出力手段は、具体的には、音声、光、画像、振動ないしそれらの2以上の組合せにより、衝突警戒車両の接近を報知する出力を行なうものとして構成できる。例えば、音声出力の場合は音量を上げたり周波数レベルを上げた甲高い音声出力とし、光や画像の場合は輝度を上げたり点滅動作を加えるなど、さらには振動の場合は振動振幅を増加させるなど、聴覚的、視覚的ないし触覚的な刺激効果を高めた出力とすることが有効である。   The recognition support output needs to have an output content that can increase the degree of recognition awakening for approaching the collision warning vehicle and compensate for the decrease in the degree of recognition of the driver. Specifically, the recognition support output means can be configured to perform an output for notifying the approach of the collision warning vehicle by voice, light, image, vibration, or a combination of two or more thereof. For example, in the case of audio output, it is a high-pitched audio output that raises the volume or frequency level, increases the brightness or blinking operation for light and images, and further increases the vibration amplitude in the case of vibration, etc. It is effective to obtain an output with enhanced auditory, visual or tactile stimulation effects.

認知可能度特定手段は、認知可能度の一つとして、衝突警戒車両に対する注意集中度を生体情報に基づいて特定する注意集中度特定手段を有し、認知支援出力手段は、少なくとも注意集中度が予め定められたレベルよりも低下したときに、衝突警戒車両の接近に対する認知支援出力を行なうように構成することができる。運転者の注意集中度が低下した場合に、特有の認知支援出力を行なうことで運転者を的確に覚醒させることができ、衝突警戒車両の接近認知効果を高めることができる。   The recognizable degree specifying means includes, as one of the recognizable degrees, attention concentration degree specifying means for specifying the attention concentration degree with respect to the collision warning vehicle based on the biological information, and the recognition support output means has at least the attention concentration degree. When the level falls below a predetermined level, a recognition support output for the approach of the collision warning vehicle can be performed. When the driver's attention concentration is lowered, the driver can be accurately awakened by performing the specific recognition support output, and the approach recognition effect of the collision warning vehicle can be enhanced.

注意集中度特定手段は、生体情報に基づいて運転者の精神活性度を特定する精神活性度特定手段と、生体情報に基づいて運転者の精神愉快度を特定する精神愉快度特定手段とを有し、注意集中度を精神活性度と精神愉快度との組合せに基づいて特定するように構成できる。ラッセル・メーラビアンが提唱する感情平面の概念によれば、特定の感情状態のいずれにも偏らない中庸の精神状態、すなわちニュートラル状態を基準として、精神の活性度と愉快度とは、いずれも、正と負の2状態(活性度であれば活性/不活性、愉快度であれば愉快/不愉快)を定義できる。そして、精神活性度(覚醒度)を縦軸に、愉快度を横軸に定めた感情平面上の4つの象限に、人間の「喜」「怒」「哀」「楽」の4つの感情状態、具体的には、盛り上がり状態(「喜」に対応、精神活性度:正/愉快度:正)、怒り・興奮状態(「怒」に対応、精神活性度:正/愉快度:負)、落胆・倦怠状態(「哀」に対応、精神活性度小/不愉快)、癒し・リラックス状態(「楽」に対応、精神活性度:負/愉快度:正))を対応付けることができる。   The attention concentration level specifying means includes a mental activity level specifying means for specifying the driver's mental activity level based on the biometric information, and a mental pleasure level specifying means for specifying the driver's mental level of pleasure based on the biometric information. In addition, the attention concentration level can be specified based on a combination of the mental activity level and the mental pleasure level. According to the concept of emotional plane advocated by Russell Mailavian, both mental activity and pleasure are positive, based on a neutral mental state that is not biased to any particular emotional state, that is, a neutral state. And two negative states (active / inactive if activity, pleasant / unpleasant if pleasant). And in the four quadrants on the emotional plane with the mental activity (wakefulness) on the vertical axis and the pleasantness on the horizontal axis, the four emotional states of human "joy", "anger", "sorrow" and "easy" Specifically, the state of excitement (corresponding to “joy”, mental activity: positive / pleasantness: positive), anger / excited state (corresponding to “anger”, mental activity: positive / pleasantness: negative), It is possible to associate a state of discouragement / malaise (corresponding to “sorrow”, low mental activity / unpleasant), healing / relaxed state (corresponding to “easy”, mental activity: negative / pleasure: positive).

そして、生体情報に基づいて運転者の精神活性度と精神愉快度とをそれぞれ特定し、それら活性度と愉快度との値の組を上記感情平面上にプロットすれば、プロット点が感情平面のどの象限に属するかにより運転者の感情種別を特定でき、原点からプロット点までの距離により感情の強さを特定できる。換言すれば、感情平面の原点近傍のエリアは、前述の中庸の精神状態(ニュートラル状態)を表わすものであり、各象限にてこのニュートラル状態から遠ざかるにつれ、個々の象限に特徴的な感情ひいては欲求により強く支配された状態へと推移する。運転者の精神状態が余計な感情にとらわれて波立っている場合、つまり、ニュートラル状態から遠い精神状態では、その感情発生の要因と直接関係のない外的刺激に対しては認知が鈍感になるのは経験則から明らかであり、逆にニュートラル状態に近ければ認知感度は高くなる。従って、精神活性度と精神愉快度との組合せで表現される感情平面上のプロット点の原点からの距離が大きいほど注意集中度は低くなり、逆に小さいほど注意集中度は高くなる。つまり、精神活性度と精神愉快度との組合せにより、運転者の注意集中度を定量的に特定することができる。   Then, by identifying the driver's mental activity level and mental pleasure level based on the biometric information, and plotting a set of values of the activity level and the pleasure level on the emotion plane, the plot point is on the emotion plane. The driver's emotion type can be specified depending on which quadrant it belongs to, and the emotion strength can be specified by the distance from the origin to the plot point. In other words, the area near the origin of the emotion plane represents the above-mentioned mental state (neutral state), and as each quadrant moves away from this neutral state, the emotions and desires that are characteristic of each quadrant To a state that is strongly controlled by When the driver's mental state is swayed by extra emotions, that is, in a mental state far from the neutral state, the perception is insensitive to external stimuli that are not directly related to the cause of the emotion This is clear from the rule of thumb, and conversely, the closer to the neutral state, the higher the cognitive sensitivity. Therefore, the greater the distance from the origin of the plot point on the emotion plane expressed by the combination of the mental activity level and the mental pleasure level, the lower the attention concentration level, and vice versa. That is, the driver's attention concentration can be quantitatively specified by the combination of the mental activity level and the mental pleasure level.

この場合、注意集中度特定手段は、精神活性度と精神愉快度との少なくともいずれかが、予め定められた中立範囲を逸脱した場合に注意集中度が低下したと判定するように構成できる。例えば、精神活性度と精神愉快度との組合せで表現される感情平面上のプロット点の原点からの距離が、一定レベルを超えて大きくなった場合に、衝突警戒車両に対する認知に支障をきたすレベルに注意集中度が下がったと判定し、特有の認知支援出力を行なうことで、運転者の注意力低下を補って衝突警戒車両の接近を的確に認知させることができ、衝突警戒車両の通行円滑化に寄与することができる。   In this case, the attention concentration level specifying means can be configured to determine that the attention concentration level has decreased when at least one of the mental activity level and the mental pleasure level has deviated from a predetermined neutral range. For example, if the distance from the origin of the plot point on the emotion plane expressed by a combination of mental activity and mental pleasure is greater than a certain level, it will interfere with the recognition of collision warning vehicles By determining that the degree of attention concentration has decreased, and performing a specific recognition support output, it is possible to compensate for the driver's decline in attention and to accurately recognize the approach of the collision warning vehicle, and to facilitate the traffic of the collision warning vehicle Can contribute.

生体情報検出手段は、自動車の座席に着座する運転者の心臓又は肺のエコー測定を行なうエコー測定ユニットを含み、注意集中度特定手段は、該エコー測定結果に基づいて注意集中度を特定するものとして構成できる。心臓及び肺は鼓動ないし呼吸に伴なう動きが顕著であり、超音波を検出プローブとして入射することにより、その動きによりドップラー効果を生じた形で反射波を生ずる。そして、心臓及び肺は精神状態を反映して挙動を明瞭かつ速やかに変化させるので、上記反射波を解析することにより精神状態をリアルタイムにて精度よく検出することができる。該エコー測定ユニットは、座席の背もたれ部に埋設される測定用超音波送信部と反射超音波受信部とを有し、運転者のエコー測定を行なうように構成できる。運転者の背中に直接当たる背もたれ部において、心臓ないし肺に臨む位置に測定用超音波送信部と反射超音波受信部とを設けることでエコー測定を高精度に実施することができる。   The biological information detection means includes an echo measurement unit that performs echo measurement of the heart or lungs of the driver sitting on the seat of the automobile, and the attention concentration specifying means specifies the attention concentration based on the echo measurement result Can be configured as The heart and lungs are remarkably moved by beating or breathing, and when an ultrasonic wave is incident as a detection probe, a reflected wave is generated in a form in which a Doppler effect is generated by the movement. Since the heart and lungs change their behavior clearly and rapidly reflecting the mental state, the mental state can be accurately detected in real time by analyzing the reflected wave. The echo measurement unit includes a measurement ultrasonic transmission unit and a reflected ultrasonic reception unit that are embedded in the backrest portion of the seat, and can be configured to perform an echo measurement of the driver. Echo measurement can be performed with high accuracy by providing a measurement ultrasonic transmission unit and a reflected ultrasonic reception unit at a position facing the heart or lung in a backrest portion that directly contacts the driver's back.

心臓ないし肺のエコー測定により、運転者の心拍数、呼吸数及び血流速度の少なくともいずれかを特定することが可能であり、注意集中度特定手段は、その特定結果に基づいて運転者の精神状態を検出することができる。心鼓動に伴い、心臓エコー波形には周波数ドップラーシフトが生ずる。心筋の膨張ないし収縮方向の変位が最大となるとき心筋の移動速度は最小となってドップラーシフトは最小となり、心筋が中立位置を通過するときドップラーシフトは最大となるから、心臓エコー波形を周波数時間変化波形に変換すれば、例えば、その周期から心拍数を、振幅から鼓動の強さを読み取ることができる。同様に、肺エコー波形を周波数時間変化波形に変換することにより、その周期から呼吸数を、振幅から呼吸の深さを読み取ることができる。また、心臓内を運動する血流も心臓エコー波形に対するドップラーシフト要因となり、入力する超音波ビームの波長を調整することにより、心臓エコー波形から血流速度を算出することも可能である。   It is possible to specify at least one of the heart rate, respiratory rate and blood flow velocity of the driver by echo measurement of the heart or lung, and the attention concentration specifying means determines the driver's mentality based on the specified result. The state can be detected. As the heart beats, a frequency Doppler shift occurs in the cardiac echo waveform. When the displacement in the direction of myocardial expansion or contraction is maximized, the movement speed of the myocardium is minimized and the Doppler shift is minimized, and when the myocardium passes through the neutral position, the Doppler shift is maximized. If converted into a change waveform, for example, the heart rate can be read from the period, and the strength of the heartbeat can be read from the amplitude. Similarly, by converting the lung echo waveform into a frequency time change waveform, it is possible to read the respiration rate from the cycle and the respiration depth from the amplitude. In addition, the blood flow moving in the heart also becomes a Doppler shift factor with respect to the cardiac echo waveform, and the blood flow velocity can be calculated from the cardiac echo waveform by adjusting the wavelength of the input ultrasonic beam.

注意集中度特定手段は、心臓又は肺を測定対象とした測定用超音波送信部と反射超音波受信部とからなる第一エコー測定部と、該測定対象以外の人体部分を測定対象とした測定用超音波送信部と反射超音波受信部とからなる第二エコー測定部と、第一エコー測定部の反射超音波受信部出力波形と、第二エコー測定部の反射超音波受信部出力波形との差分波形を演算・出力する差分演算部とを有し、該差分波形に基づいて心拍数、呼吸数及び血流速度の少なくともいずれかを特定するものとして構成することができる。人体外から超音波を入射して心臓ないし肺に到達させ、その反射波から心臓ないし肺の運動を反映したドップラーシフトを観測することができるが、運転者の姿勢変化、運転者人体に作用する車両振動や、上記臓器以外の人体組織内の血流など、心臓ないし肺の運動以外にもドップラーシフト要因は存在し誤差要因となりうる。そこで、心臓や肺を測定対象とした第一エコー測定部の反射超音波受信部出力波形から、測定対象以外の人体部分(つまり、心臓や肺から外れた位置にある人体部分)を測定対象とした第二エコー測定部の反射超音波受信部出力波形を減算することで、上記心臓ないし肺の運動以外のドップラーシフト要因を効果的に排除することができる。   Attention concentration level specifying means includes a first echo measurement unit including a measurement ultrasonic transmission unit and a reflected ultrasonic reception unit for measuring the heart or lung, and measurement using a human body part other than the measurement target as a measurement target. A second echo measuring unit comprising an ultrasonic transmitting unit and a reflected ultrasonic receiving unit, a reflected ultrasonic receiving unit output waveform of the first echo measuring unit, a reflected ultrasonic receiving unit output waveform of the second echo measuring unit, and And a differential calculation unit that calculates and outputs the differential waveform, and based on the differential waveform, at least one of heart rate, respiratory rate, and blood flow velocity can be specified. Ultrasound can be incident from outside the human body to reach the heart or lungs, and the Doppler shift reflecting the motion of the heart or lungs can be observed from the reflected waves, but it affects the driver's posture change and the driver's human body. Other than the heart or lung motion, such as vehicle vibrations and blood flow in human tissues other than the above organs, Doppler shift factors exist and can cause errors. Therefore, from the reflected ultrasound receiver output waveform of the first echo measurement unit for the heart or lung as the measurement target, the human body part other than the measurement target (that is, the human body part at a position away from the heart or lung) is determined as the measurement target. By subtracting the output waveform of the reflected ultrasonic wave reception unit of the second echo measurement unit, Doppler shift factors other than the heart or lung motion can be effectively eliminated.

なお、エコー測定結果が示す心拍数や呼吸数は、精神活性度の特定は容易であるが、同じ活性な状態でも愉快側に傾いているのか(つまり、機嫌がよいのか)、あるいは不愉快側に傾いているの(つまり、不機嫌なのか)を正確に判定するのは困難である。そこで、愉注意集中度特定手段は、エコー測定ユニットの測定結果に基づいて精神活性度を特定する一方、該エコー測定ユニットとは別に設けられた精神愉快度特定手段により精神愉快度を特定し、精神状態を精神活性度と精神愉快度との組合せに基づいて特定するように構成できる。精神愉快度特定手段は、例えば、運転者の表情及び姿勢の少なくともいずれかに基づいて精神愉快度を検出するものとできる。   The heart rate and respiration rate indicated by the echo measurement results are easy to identify for mental activity, but are inclined to the pleasant side even in the same active state (that is, whether the mood is good) or unpleasant side It is difficult to accurately determine whether it is tilted (that is, whether it is grumpy). Therefore, the pleasant attention concentration specifying means specifies the mental activity based on the measurement result of the echo measurement unit, while specifying the mental pleasantness by the mental enjoyment specifying means provided separately from the echo measurement unit, The mental state can be configured to be specified based on the combination of the mental activity level and the mental pleasure level. The mental pleasantness degree specifying means can detect the mental pleasantness degree based on at least one of the driver's facial expression and posture, for example.

生体情報検出手段は、生体情報として運転者の視線方向を特定する視線方向特定手段を有するものとして構成できる。この場合、自車に対する衝突警戒車両の接近方向を検出する衝突警戒車両接近方向検出手段を設けておき、認知可能度特定手段を、認知可能度の一つとして、運転者の視線方向と衝突警戒車両の接近方向との一致度を特定するものとして構成する。認知支援出力手段は、一致度が予め定められた許容範囲を逸脱することを条件として、衝突警戒車両の接近に対する認知支援出力を行なうように構成する。運転者の視線方向が衝突警戒車両の接近方向と一致していなければ、該衝突警戒車両を認知できていない蓋然性が高く、この場合に支援出力を行なうことで衝突警戒車両の接近を的確に認知させることができ、衝突警戒車両の通行円滑化に寄与することができる。   The biometric information detection means can be configured to have gaze direction specifying means for specifying the driver's gaze direction as biometric information. In this case, there is provided a collision warning vehicle approach direction detection means for detecting the approach direction of the collision warning vehicle with respect to the own vehicle, and the recognition possibility specifying means is set as one of the recognition possibilities, and the driver's line-of-sight direction and the collision warning. The degree of coincidence with the approach direction of the vehicle is specified. The recognition support output means is configured to perform a recognition support output for the approach of the collision warning vehicle on condition that the degree of coincidence deviates from a predetermined allowable range. If the driver's line-of-sight direction does not match the approach direction of the collision warning vehicle, there is a high probability that the collision warning vehicle cannot be recognized. In this case, the approach output is performed to accurately recognize the approach of the collision warning vehicle. This can contribute to facilitating the passage of collision warning vehicles.

また、前述の注意集中度と関連させた場合、注意集中度が低下していても、運転者の視線方向が衝突警戒車両の接近方向と一致していれば、衝突警戒車両を不可避的に視覚認知できる可能性が高い。そこで、認知可能度特定手段を、前述のごとく、認知可能度の一つとして、衝突警戒車両に対する注意集中度を生体情報に基づいて特定する注意集中度特定手段も有するものとして構成し、認知支援出力手段は、注意集中度が予め定められたレベルよりも低下し、かつ、一致度が予め定められた許容範囲を逸脱した場合に、衝突警戒車両の接近に対する認知支援出力を行なうようにすれば、認知支援出力を行なうタイミングの的確性をより向上できる。   In addition, when related to the above-mentioned attention concentration level, even if the attention concentration level decreases, if the driver's line-of-sight direction matches the approach direction of the collision warning vehicle, the collision warning vehicle is unavoidably visually observed. There is a high possibility of recognition. Therefore, as described above, the recognizable degree specifying means is configured as having one of the recognizable degrees and the attention concentration degree specifying means for specifying the attention concentration degree with respect to the collision warning vehicle based on the biological information. The output means may perform a cognitive support output for the approach of the collision warning vehicle when the degree of attention concentration falls below a predetermined level and the degree of coincidence deviates from a predetermined allowable range. , The accuracy of the timing of performing the cognitive support output can be further improved.

次に、衝突警戒車両の接近ならびにその方向を検出する衝突警戒車両接近方向検出手段を設ける場合、本発明の衝突警戒車両認知支援装置は、自車の走行路形状を推定する走行路形状推定手段と、推定された走行路形状と衝突警戒車両の接近方向とに応じて運転誘導内容を決定する運転誘導内容決定手段と、決定された運転誘導内容を出力する運転誘導出力手段と、を有するものとして構成できる。衝突警戒車両に走行路を譲るためには、走行中の道路のどこで衝突警戒車両と遭遇するか、具体的には衝突警戒車両と遭遇したときの走行路形状がどのようなものであるかに応じて、走行路を譲るための適正な運転内容も変化する。しかし、熟練者を除けば、衝突警戒車両と遭遇したときに咄嗟の運転対応をとれないこともありえる。そこで、推定された走行路形状と衝突警戒車両の接近方向とに応じて(適切な)運転誘導内容を決定し、これを出力することで、熟練したドライバーでなくとも、衝突警戒車両の通行を優先させるための、走行路形状に応じた最適の運転対応に適切に導くことができる。   Next, when providing a collision warning vehicle approach direction detection means for detecting the approach of the collision warning vehicle and its direction, the collision warning vehicle recognition support device of the present invention is configured to estimate the driving road shape of the own vehicle. Driving guidance content determining means for determining the driving guidance content according to the estimated traveling road shape and the approach direction of the collision warning vehicle, and driving guidance output means for outputting the determined driving guidance content Can be configured as In order to give the road to the collision warning vehicle, where to encounter the collision warning vehicle on the running road, specifically, what is the shape of the road when the collision warning vehicle is encountered Correspondingly, the proper driving content for giving up the traveling path also changes. However, with the exception of skilled workers, it may not be possible to respond to the driving of a kite when it encounters a collision warning vehicle. Therefore, by determining the (appropriate) driving guidance contents according to the estimated traveling road shape and the approach direction of the collision warning vehicle, and outputting this, even if it is not a skilled driver, the collision warning vehicle can be passed. In order to give priority, it is possible to appropriately lead to an optimum driving response according to the shape of the traveling road.

衝突警戒車両接近方向検出手段は、衝突警戒車両の位置情報を車外情報源から無線取得する衝突警戒車両位置情報無線取得手段と、自車の現在位置を取得する現在位置取得手段とを有し、衝突警戒車両位置情報と自車の現在位置情報とに基づいて衝突警戒車両の接近方向を特定するものとして構成できる。この手法は、例えば、車車間通信、交差点に設置された静止監視カメラからの衝突警戒車両撮影情報などを衝突警戒車両の位置情報として無線取得し、これに基づいて自車に対する衝突警戒車両の接近把握を行なう。無線通信が正常に実行でき、取得情報のリアルタイム性が担保されてさえいれば、衝突警戒車両の接近方向に係る情報を比較的高精度に特定でき、走行路形状と衝突警戒車両接近方向に応じた運転誘導を適切に実行できる。また、特許文献1のごとく、衝突警戒車両の接近を、レーダーを用いて検出するようにしてもよい。   The collision warning vehicle approach direction detection means includes a collision warning vehicle position information wireless acquisition means for wirelessly acquiring the position information of the collision warning vehicle from an external information source, and a current position acquisition means for acquiring the current position of the host vehicle. The approach direction of the collision warning vehicle can be specified based on the collision warning vehicle position information and the current position information of the own vehicle. For example, this method wirelessly acquires collision warning vehicle photographing information from a vehicle-to-vehicle communication, a stationary monitoring camera installed at an intersection as position information of the collision warning vehicle, and based on this, the approach of the collision warning vehicle to the own vehicle is obtained. Make a grasp. As long as the wireless communication can be executed normally and the real-time nature of the acquired information is ensured, the information related to the approach direction of the collision warning vehicle can be specified with relatively high accuracy, and depending on the traveling road shape and the collision warning vehicle approach direction. Driving guidance can be performed appropriately. Moreover, you may make it detect the approach of a collision alert vehicle using a radar like patent document 1. FIG.

しかしながら、上記方式の場合、衝突警戒車両の位置情報の無線配信が遅れたり、あるいは通信途絶が発生したり、さらには、無線配信の対象地域外を走行中の場合は、衝突警戒車両の接近検知が実行できず、適切な接近認知支援出力や運転誘導が不能となる場合がある。また、衝突警戒車両へのGPS搭載や、交差点等への衝突警戒車両検出装置の配設、無線通信網の整備など、インフラ構築に多大なコストを要する問題もある。また、レーダー装置を別途設けなければならず、コストアップ要因となる。   However, in the case of the above method, when the wireless distribution of the position information of the collision warning vehicle is delayed or communication is interrupted, or when traveling outside the target area of the wireless distribution, the approach detection of the collision warning vehicle is detected. May not be executed, and appropriate approach recognition support output and driving guidance may become impossible. In addition, there are also problems that require a great deal of cost for infrastructure construction, such as mounting GPS on collision-sensitive vehicles, disposing collision-sensitive vehicle detection devices at intersections, and maintaining wireless communication networks. In addition, a radar device must be provided separately, which increases costs.

そこで、これを解決する方法として、衝突警戒車両接近検出手段を次のように構成するとよい。すなわち、進行方向前方側に自車走行路と合流地点を生ずる合流路が撮影可能となるように、進行方向と所定の角度をもって自車に取り付けられ、該合流路上を走行する他車を動画撮影する車両撮影カメラを設ける。そして、該動画の視野上にて一定レベル未満の低速で移動する像領域を、合流地点に向けて接近中の衝突警戒車両の像領域として特定する衝突警戒車両像領域特定手段を設ける。   Therefore, as a method of solving this, the collision warning vehicle approach detection means may be configured as follows. That is, another vehicle that is attached to the host vehicle at a predetermined angle with the traveling direction and takes a moving image is photographed so that a joint path that forms a junction point with the host vehicle traveling path can be photographed on the front side in the traveling direction. A vehicle shooting camera is provided. Then, there is provided a collision warning vehicle image area specifying means for specifying an image area that moves at a low speed less than a certain level on the field of view of the moving image as an image area of a collision warning vehicle approaching the junction.

自車から見た他車は、自車に対する相対速度が大きければ移動速度が大きく見え、逆に相対速度が小さければ移動速度は小さく見える。コリジョンコース(合流路)上の他車と合流地点で衝突する可能性があるのは後者の場合である。コリジョンコースをなす合流路を見込むように自車に車両撮影カメラを取り付けておくと、コリジョンコースの先にある合流点に向け、自車と衝突するタイミングで接近しつつある他車がそのカメラの視野に入った場合、接近に伴なう像拡大を除けば、該視野上での他車像は止まっているか、移動していても画面上での重心点移動速度は相応に小さくなる。逆に、他車がコリジョンコース上にあっても、合流地点までの距離差が大きいか、あるいは自車との速度差が大きく、合流地点での衝突危険性の低い他車は、車両撮影カメラの視野に最初から入らないか、入っても速やかに視野外に去る形となる。従って、一定レベル未満の低速で移動する像領域を動画の視野上にて検出することで、合流地点に向けて接近中の衝突警戒車両を容易に特定することができる。   The other vehicle viewed from the host vehicle appears to move faster if the relative speed with respect to the host vehicle is large, and conversely, if the relative speed is low, the move speed appears to be low. In the latter case, there is a possibility of colliding with another vehicle on the collision course (confluence channel) at the junction. If a vehicle shooting camera is attached to your vehicle so that you can see the junction path that forms the collision course, the other vehicle approaching at the timing of collision with your vehicle toward the junction point ahead of the collision course When entering the field of view, except for the image enlargement accompanying the approach, even if the other vehicle image in the field of view stops or moves, the center-of-gravity point moving speed on the screen is correspondingly reduced. On the other hand, even if other vehicles are on the collision course, other vehicles with a large distance difference to the meeting point or a large speed difference from the own vehicle and with a low risk of collision at the meeting point can be taken with a vehicle camera. Do not enter the field of view from the beginning, or even if you enter, will quickly leave the field of view. Therefore, by detecting an image area moving at a low speed below a certain level on the field of view of the moving image, it is possible to easily identify the collision warning vehicle that is approaching toward the junction.

コリジョンコース上の衝突警戒車両は、自車との相対速度が低い関係上、車両撮影カメラの視野では低速移動するように見えるが、路面や背景に対しては該他車固有の走行速度で移動しているので、衝突警戒車両の背景部分は画像上を高速で流れ去り、該背景部分をなす画素の出力変動は非常に大きく、その変動の周波数は高い。一方、衝突警戒車両の像領域は低速でしか移動しないので、画素の出力変動は小さくその変動の周波数も低い。従って、衝突警戒車両像領域特定手段を、撮影される動画のフレームを構成する各画素の出力波形を検出する画素出力波形検出手段と、上記画素のうち、出力波形の周波数が予め定められた閾周波数未満となるものを衝突警戒車両の像領域構成画素として特定する衝突警戒車両像領域構成画素特定手段とを有するものとして構成すれば、衝突警戒車両の像領域をなす画素を、背景領域の画素に対し、出力周波数により簡単に分離でき、パターンマッチング等の複雑な画像処理を用いることなく、衝突警戒車両の像領域を簡単に分離できる。例えば、各画素の出力を、適当なカットオフ周波数(閾周波数)を有したローパスフィルタを通過させ、該ローパスフィルタ通過後に一定レベル以上の出力を有している画素を、衝突警戒車両の像領域画素として特定できる。   The collision warning vehicle on the collision course appears to move at a low speed in the field of view of the vehicle camera because of its low relative speed with the host vehicle, but it moves at the specific speed of the other vehicle with respect to the road surface and background. Therefore, the background portion of the collision warning vehicle flows away on the image at a high speed, the output fluctuation of the pixels forming the background portion is very large, and the frequency of the fluctuation is high. On the other hand, since the image area of the collision warning vehicle moves only at a low speed, the output fluctuation of the pixel is small and the frequency of the fluctuation is low. Accordingly, the collision warning vehicle image area specifying means includes a pixel output waveform detecting means for detecting an output waveform of each pixel constituting a frame of a moving image to be photographed, and a threshold having a predetermined frequency of the output waveform among the pixels. If it is configured to have a collision warning vehicle image area constituting pixel specifying means for specifying an image area constituting pixel of a collision warning vehicle as a pixel that is less than the frequency, a pixel constituting the image area of the collision warning vehicle is a pixel in the background area. On the other hand, it can be easily separated by the output frequency, and the image area of the collision warning vehicle can be easily separated without using complicated image processing such as pattern matching. For example, the output of each pixel is passed through a low-pass filter having an appropriate cut-off frequency (threshold frequency), and after passing through the low-pass filter, a pixel having an output of a certain level or higher is detected as an image area of a collision warning vehicle. It can be specified as a pixel.

次に、衝突警戒車両接近検出手段は、合流地点に向かう他車の走行速度を測定する他車速度測定手段と、他車の合流地点までの距離を推定する他車合流距離推定手段と、自車の走行速度を測定する自車走行速度測定手段と、自車の合流地点までの距離を推定する自車合流距離推定手段と、他車速度、衝突警戒車両合流距離、自車走行速度及び自車合流距離に基づいて、該他車が合流地点にて自車に向けて接近する衝突警戒車両であるか否かを判定する衝突警戒車両判定手段と、を有するものとして構成することができる。合流地点に向かう他車及び自車の走行速度と、合流地点までの各距離とを特定することで、他車及び自車の合流地点での衝突可能性をいち早く予測することができる。例えば、上記各情報から他車及び自車の合流地点までの到達時間を計算できるので、該到達時間が一定の範囲内で一致していれば、衝突可能性が高いものとして判定することができる。   Next, the collision warning vehicle approach detecting means includes other vehicle speed measuring means for measuring the traveling speed of the other vehicle toward the joining point, another vehicle joining distance estimating means for estimating the distance to the joining point of the other vehicle, The vehicle traveling speed measuring means for measuring the traveling speed of the vehicle, the own vehicle joining distance estimating means for estimating the distance to the joining point of the own vehicle, the other vehicle speed, the collision warning vehicle joining distance, the own vehicle traveling speed and the own vehicle A collision warning vehicle determination unit that determines whether the other vehicle is a collision warning vehicle approaching to the own vehicle at the junction point based on the vehicle merging distance can be configured. By specifying the traveling speed of the other vehicle and the own vehicle toward the merge point and each distance to the merge point, it is possible to quickly predict the possibility of collision at the merge point of the other vehicle and the own vehicle. For example, it is possible to calculate the arrival time from each of the above information to the meeting point of the other vehicle and the own vehicle. If the arrival times match within a certain range, it can be determined that the possibility of collision is high. .

他車速度測定手段は、進行方向前方側に自車走行路と合流地点を生ずる合流路が撮影可能となるように、進行方向と所定の角度をもって自車に取り付けられ、該合流路上を走行する他車を動画撮影する車両撮影カメラと、他車の動画上での移動特性を解析する動画上移動特性解析手段と、道路地図のデータを記憶した地図データ記憶手段と、自車の現在位置を自車走行路とともに道路地図上にて特定する現在位置特定手段と、合流路を道路地図上にて特定する合流路特定手段と、他車の動画上移動特性の解析結果と合流路及び自車走行路の幾何学的位置関係と自車走行速度とに基づいて他車走行速度を算出する他車走行速度算出手段と、を有するものとして構成することができる。   The other vehicle speed measuring means is attached to the host vehicle at a predetermined angle with respect to the traveling direction so as to be able to take a picture of the joining path that forms the joining point with the own vehicle traveling path on the front side in the traveling direction, and travels on the joining path. A vehicle camera that shoots other cars in motion, a moving characteristics analysis means on the moving picture that analyzes movement characteristics of other cars on a moving picture, a map data storage means that stores road map data, and a current position of the host vehicle Current position specifying means for specifying on the road map together with the own vehicle traveling path, a combined path specifying means for specifying the combined flow path on the road map, the analysis result of the moving characteristic on the moving image of the other vehicle, the combined flow path and the own vehicle Other vehicle travel speed calculating means for calculating the other vehicle travel speed based on the geometric positional relationship of the travel path and the host vehicle travel speed can be provided.

コリジョンコースをなす合流路上の他車は、車両撮影カメラによる動画上では静止しているか、仮に移動していてもその移動速度は小さいので、自車走行速度を用いて合流路及び自車走行路の幾何学的位置関係から、比較的簡単に計算できる。他方、カーナビゲーション装置にて周知の技術を用いれば、道路地図上に自車走行路(及び現在位置)を容易にマッピングでき、かつ、取付方向により意義的に決まるカメラ撮影方向に存在する合流路も、道路地図上で簡単に特定できる。また、合流点までの自車及び他車の走行距離も道路地図上で計算できる。すなわち、前述の車両撮影カメラによる動画撮影情報と、カーナビゲーション装置にて周知の技術との組合せにより、レーダーや通信等の高コストな方式を用いることなく、他車速度の測定を容易に実施することができる。   Other vehicles on the joint path that forms the collision course are either stationary on the moving image taken by the vehicle shooting camera, or even if they are moving, the moving speed is low. It can be calculated relatively easily from the geometric positional relationship. On the other hand, if a well-known technique is used in the car navigation device, the own vehicle traveling path (and the current position) can be easily mapped on the road map, and the combined flow path exists in the camera photographing direction that is significantly determined by the mounting direction. Can also be easily identified on the road map. In addition, the travel distance of the host vehicle and other vehicles to the junction can be calculated on the road map. That is, the speed of other vehicles can be easily measured without using a costly method such as radar or communication, by combining the above-described video shooting information from the vehicle camera and the well-known technology in the car navigation device. be able to.

車両撮影カメラは自車走行方向に対し前方側に傾けて取り付けておくとよい。これにより、自車走行路の前方に直角に近い角度で合流路が存在する場合も、該合流路上の他車を問題なく撮影することができる。   It is preferable that the vehicle photographing camera is attached to be tilted forward with respect to the traveling direction of the vehicle. As a result, even when the joint path exists at an angle close to a right angle in front of the own vehicle traveling path, it is possible to photograph the other vehicle on the joint path without any problem.

コリジョンコースをなす合流路上の他車が、車両撮影カメラによる動画上で仮に移動している場合は、以下のような装置構成により、他車速度をより正確に算出することができる。すなわち、車両撮影カメラは、合流路上を走行する他車を予め定められた測定期間にて動画撮影するものとして構成する。動画上移動特性解析手段は、測定期間内における他車の動画上での総移動距離を動画上移動特性として算出するように構成する。現在位置特定手段は、自車の現在位置に基づいて自車走行路を道路地図上にて特定し、自車現在位置を該自車走行路上にマッピングする自車位置マッピング手段を有するものとして構成する。合流路特定手段は、自車の走行方向に対する車両撮影カメラの撮影方向を地図上にて特定し、該カメラ撮影方向に存在する合流路を道路地図上にて特定するものとする。そして、自車現在位置から合流路までのカメラ撮影方向における距離を撮影方向距離として道路地図上にて算出する撮影方向距離算出手段を設け、他車速度測定手段は、上記測定期間長と、他車の動画上総移動距離と、撮影方向距離と、自車走行速度とに基づいて他車走行速度を算出するものとして構成する。   When the other vehicle on the joint channel forming the collision course is temporarily moving on the moving image by the vehicle photographing camera, the other vehicle speed can be calculated more accurately by the following device configuration. That is, the vehicle photographing camera is configured to shoot a moving image of another vehicle traveling on the joint path in a predetermined measurement period. The moving characteristic analysis unit on the moving image is configured to calculate the total moving distance on the moving image of the other vehicle within the measurement period as the moving characteristic on the moving image. The current position specifying means is configured to have own vehicle position mapping means for specifying the own vehicle traveling path on the road map based on the current position of the own vehicle and mapping the own vehicle current position on the own vehicle traveling path. To do. The combined flow path specifying means specifies the shooting direction of the vehicle shooting camera relative to the traveling direction of the vehicle on the map, and specifies the combined flow path existing in the camera shooting direction on the road map. Then, provided is a shooting direction distance calculation means for calculating on the road map the distance in the camera shooting direction from the current position of the vehicle to the joint flow path as the shooting direction distance, and the other vehicle speed measuring means includes the measurement period length, The other vehicle travel speed is calculated based on the total moving distance on the moving image of the vehicle, the shooting direction distance, and the own vehicle travel speed.

合流地点に向けて次第に接近してくる他車を、同じ合流地点に向けて他方向から接近中の自車から撮影すると、該自車から他車までの撮影距離が連続的に縮小する結果、車両撮影カメラの視野上では、他車の像領域は次第に拡大する。そして、自車と他車とが合流地点へ同時に到達するための相対速度関係にずれが生じている場合は、該像領域の重心位置は画面上で移動することになる。しかし、このとき、他車の走行速度が仮に一定であっても、接近に伴なう撮影距離の縮小により画面上での移動速度は次第に大きくなるように、連続的に変化する。動画視野の推移に伴ない変化する合流路までの撮影方向距離は、自車走行速度と自車走行路及び合流路の幾何学的関係とを用いて表現できるので、これを用いて他車走行速度(実速度)を画面上移動速度に、時間tの関数の形で書き換えることができる。この画面上移動速度を上記測定期間にて時間tに関し積分した値が、画面上での自車像領域の総移動距離に等しくなるので、該積分結果から他車走行速度を計算することができる。   When shooting another vehicle that gradually approaches toward the merge point from the own vehicle approaching from the other direction toward the same merge point, as a result of continuously reducing the shooting distance from the vehicle to the other vehicle, On the field of view of the vehicle photographing camera, the image area of the other vehicle gradually expands. If the relative speed relationship for the own vehicle and the other vehicle to reach the joining point at the same time is shifted, the position of the center of gravity of the image area moves on the screen. However, at this time, even if the traveling speed of the other vehicle is constant, the moving speed on the screen changes continuously so as to gradually increase due to the reduction of the shooting distance accompanying the approach. The shooting direction distance to the confluence that changes with the transition of the video field of view can be expressed using the own vehicle traveling speed and the geometric relationship between the own vehicle traveling path and the confluence. The speed (actual speed) can be rewritten to the moving speed on the screen in the form of a function of time t. Since the value obtained by integrating the moving speed on the screen with respect to the time t in the measurement period is equal to the total moving distance of the vehicle image area on the screen, the traveling speed of the other vehicle can be calculated from the integration result. .

自車走行路及び合流路の幾何学的関係としては、例えば、自車走行路と合流路との交差角度が知れていればよいので、該交差角度を道路地図上にて特定する道路交差角度特定手段を設けることができる。この場合、他車速度測定手段は、道路交差角度と、自車走行方向に対する車両撮影カメラの撮影方向角度と、測定期間長と、他車の動画上総移動距離と、撮影方向距離と、自車走行速度とに基づいて他車の自車に対する相対走行速度を算出し、該相対走行速度に自車走行速度を加味して他車走行速度を算出するものとして構成できる。   As the geometric relationship between the own vehicle traveling path and the combined flow path, for example, since the intersection angle between the own vehicle traveling path and the combined flow path only needs to be known, the road intersection angle that specifies the intersection angle on the road map is known. Specific means can be provided. In this case, the other vehicle speed measuring means includes the road intersection angle, the shooting direction angle of the vehicle shooting camera with respect to the traveling direction of the own vehicle, the measurement period length, the total moving distance on the moving image of the other vehicle, the shooting direction distance, and the own vehicle. A relative travel speed of the other vehicle relative to the host vehicle is calculated based on the travel speed, and the other vehicle travel speed is calculated by adding the host vehicle travel speed to the relative travel speed.

次に、本発明の衝突警戒車両認知支援装置には、衝突警戒車両の検出状況に応じて運転誘導内容を決定する運転誘導内容決定手段と、決定された運転誘導内容を出力する運転誘導出力手段とを設けることができる。衝突警戒車両の検出状況に応じて(適切な)運転誘導内容を決定し、これを出力することで、熟練したドライバーでなくとも、衝突のための最適の運転対応に適切に導くことができる。   Next, in the collision warning vehicle recognition support apparatus of the present invention, driving guidance content determining means for determining driving guidance content according to the detection status of the collision warning vehicle, and driving guidance output means for outputting the determined driving guidance content And can be provided. By determining (appropriate) driving guidance contents according to the detection situation of the collision warning vehicle and outputting this, even an unskilled driver can appropriately lead to the optimum driving response for the collision.

運転誘導出力手段は、運転誘導内容を音声、画像又はそれらの組合せにより出力するように構成することができる。特に、前方を注視している運転者に対しては、音声による運転誘導が有効であり、ヘッドアップディスプレイ等を利用した運転注視方向への画像出力(例えば「徐行」や「一旦停止」等の文字出力)を行なうことも、これに準じて有効である(もちろん、両者を組み合わせてもよい)。   The driving guidance output means can be configured to output driving guidance contents by voice, image, or a combination thereof. In particular, driving guidance by voice is effective for a driver who is gazing ahead, and image output in the driving gaze direction using a head-up display or the like (for example, “slow down” or “pause”) (Character output) is also effective in accordance with this (of course, both may be combined).

運転誘導内容決定手段は、合流地点内への進入制限(例えば、合流地点手前での一旦停止(あるいは徐行))を運転誘導内容として決定するように構成することが、衝突回避を図る上でより望ましい。   In order to avoid collision, it is preferable that the driving guidance content determination means is configured to determine entry restriction (for example, temporary stop (or slowing down) before the merging point) as the driving guidance content. desirable.

そして、運転誘導内容決定手段が合流地点内への進入制限を運転誘導内容として決定した場合に、自車の走行を抑制する走行抑制手段を設けておくと、衝突警戒車両を優先させる状況下で合流地点内に高速で進入してしまう不具合をより確実に予防することができる。特に、自動車に前述の電子エンジン制御装置が搭載されている場合、走行抑制手段は、アクセルペダルの踏下量に応じたエンジン出力を通常時よりも制限するエンジン出力制限手段を有するものとして構成できる。これにより、アクセルペダルを大きく踏み込んでもエンジン出力は通常時よりも小さくなり、加速が鈍るので上記不具合を効果的に抑制できる。   And when the driving guidance content determining means determines the entry restriction to the junction as the driving guidance content, if the traveling suppression means for suppressing the traveling of the own vehicle is provided, the situation in which priority is given to the collision warning vehicle It is possible to more reliably prevent problems that enter the junction at high speed. In particular, when the above-described electronic engine control device is mounted on an automobile, the travel suppression means can be configured to have an engine output restriction means for restricting the engine output corresponding to the amount of depression of the accelerator pedal than normal. . As a result, even if the accelerator pedal is largely depressed, the engine output becomes smaller than normal and the acceleration is slow, so that the above problem can be effectively suppressed.

電子スロットル制御装置を搭載した自動車の場合、上記のエンジン出力制限手段は、アクセルペダルの踏下に応じたスロットルバルブの開度増加を通常時よりも制限するスロットルバルブ制限手段を有するものとして構成できる。また、電子燃焼噴射制御装置が搭載されている場合は、燃焼噴射を中断ないし抑制する燃焼噴射制限手段を有するものとして構成できる。   In the case of an automobile equipped with an electronic throttle control device, the engine output restriction means can be configured to have a throttle valve restriction means for restricting an increase in the opening of the throttle valve in response to the depression of the accelerator pedal from the normal time. . Further, when the electronic combustion injection control device is mounted, it can be configured to have a combustion injection limiting means for interrupting or suppressing the combustion injection.

運転誘導内容決定手段が合流地点内への進入を制限する運転誘導内容を決定した場合に、自動車の制動を支援する制動支援手段が設けておくこともできる。エンジン出力を制限しても、既に車速が一定以上に上がってしまった場合は、如何に制動を早く行なうかが衝突警戒車両との干渉回避を行なう上での鍵となる。従って、上記のような制動支援手段を設けることで、衝突警戒車両との干渉を効果的に防止又は抑制できる。制動支援手段は、例えば制動支援時において、ブレーキペダルの踏下反力を通常時よりも増加させる踏下反力制御手段と、ブレーキペダルの踏下量に対するブレーキ圧の増加率を通常時よりも増加させるブレーキ圧制御手段とを有するものとして構成することができる。制動支援時において、ブレーキペダルの踏下量に対するブレーキ圧の増加率を通常時よりも増加させつつ、ブレーキペダルの踏下反力を通常時よりも増加させると、ブレーキ踏下力がほぼ同等であれば、制動支援を特に行なわない場合と比較して、少ない踏下量でほぼ同等の制動効果が得られる。ところが、運転者は、ブレーキペダルの踏下反力が普段よりも大きい分、急ブレーキのために踏み込み量が不足していると感じてさらにブレーキペダルを踏み込もうとする。その結果、制動効果が増強され、衝突警戒車両との干渉回避ないし抑制をより確実に行なうことができる。もちろん、アクセルペダルの踏下量に応じたエンジン出力を通常時よりも制限する処理と併用すれば、さらに効果的であることはいうまでもない。   When the driving guidance content determination means determines the driving guidance content that restricts entry into the merging point, a braking support means that supports braking of the automobile may be provided. Even if the engine output is limited, if the vehicle speed has already risen above a certain level, the key to avoiding interference with the collision-preventing vehicle is how quickly the braking is performed. Therefore, by providing the braking support means as described above, it is possible to effectively prevent or suppress the interference with the collision warning vehicle. The braking support means includes, for example, a stepping reaction force control means for increasing the brake pedal stepping reaction force during normal braking, and a rate of increase of the brake pressure with respect to the brake pedal stepping amount than during normal time. The brake pressure control means can be configured to increase. During braking support, if the brake pedal depression reaction force is increased more than usual while the brake pressure increase rate with respect to the brake pedal depression amount is increased more than usual, the brake depression force will be approximately equal. If so, compared to the case where no braking assistance is particularly performed, a substantially equivalent braking effect can be obtained with a small amount of stepping. However, the driver feels that the stepping amount of the brake pedal is greater than usual and that the amount of depression is insufficient due to sudden braking, and further attempts to depress the brake pedal. As a result, the braking effect is enhanced, and it is possible to more reliably avoid or suppress interference with the collision warning vehicle. Of course, it is needless to say that it is more effective if used in combination with a process of limiting the engine output corresponding to the amount of depression of the accelerator pedal as compared with the normal time.

上記のような認知支援出力や運転誘導により、運転者に衝突警戒車両を優先させるための自発的な運転操作(以下、衝突警戒車両優先運転操作ともいう)を促すことができる。なお、衝突回避の運転操作を失念している状態で運転者が認知支援出力を受けると、アクセルペダルから足を離す→ブレーキペダルを踏み込む、という一連の動作流れにて衝突回避操作を行なおうとする。このとき、
A:ブレーキペダルを踏み込む。
B:ブレーキペダルと間違えてアクセルペダルを踏み込む。
の2つの可能性がある。後者に対応するためには、アクセルペダルの踏下量に応じたエンジン出力を通常時よりも制限する処理を併用することが効果的であり、前者においても、ブレーキペダルの踏下反力を通常時よりも増加させ、かつ、ブレーキペダルの踏下量に対するブレーキ圧の増加率を通常時よりも増加させる処理を併用すると効果的である。
By the above-described recognition support output and driving guidance, it is possible to prompt the driver to perform a voluntary driving operation (hereinafter also referred to as a collision warning vehicle priority driving operation) for giving priority to the collision warning vehicle. In addition, when the driver receives the recognition support output in the state of forgetting the collision avoidance driving operation, when trying to perform the collision avoiding operation by a series of operation flow of releasing the accelerator pedal and depressing the brake pedal. To do. At this time,
A: Depress the brake pedal.
B: Depress the accelerator pedal by mistake with the brake pedal.
There are two possibilities. In order to deal with the latter, it is effective to use a process that limits the engine output according to the amount of depression of the accelerator pedal compared to normal times. It is effective to use a process of increasing the brake pressure with respect to the amount of depression of the brake pedal and increasing the rate of increase of the brake pressure more than usual.

上記のような走行抑制処理や制動支援処理は、注意集中度が十分高い場合に発動すると、運転者による操作との競合により、却って効果が損なわれることもありえる。従って、注意集中度が低下し、運転者による自律的なアクセル操作あるいはブレーキ操作に何らかの支障が生ずることが予想される場合に限って発動することが望ましいといえる。   If the above-described travel suppression process and braking support process are activated when the attention concentration is sufficiently high, the effect may be lost due to competition with the operation by the driver. Therefore, it can be said that it is desirable to activate only when the degree of attention concentration decreases and it is expected that some trouble will occur in the autonomous accelerator operation or brake operation by the driver.

以下、本発明の実施の形態を添付の図面を用いて説明する。図1は、本発明の一実施形態を示す衝突警戒車両認知支援装置の電気的構成の一例を示すブロック図である。該衝突警戒車両認知支援装置1の制御主体をなすのはECU2である。ECU2は、CPU3、RAM4、ROM5及び入出力インターフェース6とを内部バスにて接続したマイクロプロセッサを主体に構成されている。   Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. FIG. 1 is a block diagram showing an example of an electrical configuration of a collision warning vehicle recognition support device showing an embodiment of the present invention. The ECU 2 is the controlling body of the collision warning vehicle recognition support device 1. The ECU 2 is mainly composed of a microprocessor in which the CPU 3, RAM 4, ROM 5, and input / output interface 6 are connected by an internal bus.

入出力インターフェース6には、発進設定方向特定手段ひいてはシフトポジション検出手段をなすシフトポジションセンサ7、アクセルペダル51の踏下量(踏下角度)を検出するアクセルセンサ8、ブレーキペダル61の踏下量(踏下角度)を検出するブレーキセンサ9、運転席に着座する運転者の顔を撮影する顔カメラ10及び該顔の両眼付近を拡大撮影し瞳孔位置により視線方向を特定するための視線カメラ11が接続されている(ただし、視線カメラ11は省略してもよい)。アクセルセンサ8は、アクセルペダルの踏下角度を検出する角度センサとして構成されている。また、ブレーキセンサ9もブレーキペダルの踏下角度を検出する角度センサとして構成されている(なお、ブレーキ踏下の有無のみを検出すればよい場合には、テールランプ駆動等に使用するブレーキスイッチを流用してもよい)。   The input / output interface 6 includes a shift position sensor 7 serving as a start setting direction specifying means, and thus a shift position detecting means, an accelerator sensor 8 for detecting a depression amount (stepping angle) of the accelerator pedal 51, and a depression amount of the brake pedal 61. Brake sensor 9 for detecting (stepping angle), face camera 10 for photographing the face of the driver sitting in the driver's seat, and a line-of-sight camera for enlarging and photographing the vicinity of both eyes of the face and specifying the line-of-sight direction by the pupil position 11 is connected (however, the visual camera 11 may be omitted). The accelerator sensor 8 is configured as an angle sensor that detects the depression angle of the accelerator pedal. The brake sensor 9 is also configured as an angle sensor that detects the depression angle of the brake pedal. (If only the presence or absence of the depression of the brake need only be detected, a brake switch used for driving the tail lamp or the like is used.) You may).

また、入出力インターフェース6には、エコー測定ユニット12、姿勢測定ユニット13、外部カメラ14及びカーナビゲーションシステム16が接続されている。外部カメラ14は、図3に示すように、自動車の進行方向の正面前方を撮影する前方撮影カメラ14(F)、同じく後方を撮影する後方撮影カメラ14(F)、右斜め前方を撮影する前方右撮影カメラ14(R)及び左斜め前方を撮影する前方左撮影カメラ14(L)とからなり、各撮影視野(図3にて破線で示す)に映り込む他車を、図4に示すように動画撮影するものである。   The input / output interface 6 is connected to an echo measurement unit 12, an attitude measurement unit 13, an external camera 14, and a car navigation system 16. As shown in FIG. 3, the external camera 14 has a front shooting camera 14 (F) for shooting the front front in the traveling direction of the automobile, a rear shooting camera 14 (F) for shooting the rear, and a front for shooting the right front. FIG. 4 shows another vehicle that includes a right camera 14 (R) and a front left camera 14 (L) that captures an image of the left front and is reflected in each field of view (shown by a broken line in FIG. 3). It is intended to shoot movies.

前方右撮影カメラ14(R)と前方左撮影カメラ14(L)とは、進行方向前方側に自車走行路と合流地点を生ずる合流路が撮影可能となるように、進行方向と所定の角度φをもって取り付けられ、該合流路上を走行する他車を動画撮影するものである。具体的には、これらカメラ14(R),14(L)は、自車走行方向に対し前方外向きに一定のカメラ取付角度φ(10゜以上80゜以下:望ましくは20゜以上70゜以下:例えば30゜〜50゜)だけ傾けて取り付けられている。図7Bに示すように、自車走行路R0に対し角度θにて合流する合流路RTが存在するとき、カメラ取付角度φは、この合流路に対する撮影方向を規定するものであり、φを上記のように鋭角に設定しておけば、自車走行路R0と合流路RTとの合流角度θが90゜であっても、合流路RT上の他車を前方右撮影カメラ14(R)及び前方左撮影カメラ14(L)の各視野に収めることができる。なお、左右いずれに合流路が存在するかに応じて前方右撮影カメラ14(R)と前方左撮影カメラ14(R)とは適宜使い分ける。   The front right photographing camera 14 (R) and the front left photographing camera 14 (L) have a predetermined angle with respect to the traveling direction so that it is possible to photograph a confluence that generates a merging point with the own vehicle traveling path on the front side in the traveling direction. It is attached with φ and takes a video of another vehicle traveling on the combined flow path. Specifically, these cameras 14 (R) and 14 (L) have a fixed camera mounting angle φ (10 ° or more and 80 ° or less: preferably 20 ° or more and 70 ° or less) in the outward direction with respect to the traveling direction of the vehicle. : For example 30 ° to 50 °). As shown in FIG. 7B, when there is a confluence channel RT that merges at an angle θ with respect to the host vehicle travel path R0, the camera mounting angle φ defines the shooting direction with respect to the confluence channel, and φ is the above-mentioned If the vehicle is set to an acute angle as described above, even if the merging angle θ between the host vehicle travel path R0 and the merging channel RT is 90 °, the other vehicle on the merging channel RT is moved to the front right photographing camera 14 (R) and It can be accommodated in each field of view of the front left camera 14 (L). Note that the front right photographing camera 14 (R) and the front left photographing camera 14 (R) are appropriately used depending on whether the right and left merge channels exist.

次に、入出力インターフェース6には、電子スロットル制御装置21(ドライバー21d)と燃料噴射制御装置25(ドライバー21d)とが接続されている。電子スロットル制御装置21は、アクセルセンサ8によるアクセルペダル踏下量(アクセル位置)を参照したECU2からの開度指示値により、スロットルバルブ23が指示開度となるように、その駆動モータ22を作動させる。燃料噴射制御装置25は、ECU2からの指示により、燃料噴射装置のソレノイド噴射バルブ26の噴射時間を調整する。   Next, an electronic throttle control device 21 (driver 21d) and a fuel injection control device 25 (driver 21d) are connected to the input / output interface 6. The electronic throttle control device 21 operates the drive motor 22 so that the throttle valve 23 reaches the indicated opening degree according to the opening degree instruction value from the ECU 2 referring to the accelerator pedal depression amount (accelerator position) by the accelerator sensor 8. Let The fuel injection control device 25 adjusts the injection time of the solenoid injection valve 26 of the fuel injection device according to an instruction from the ECU 2.

さらに、入出力インターフェース6には、衝突警戒車両の接近に対する認知支援出力を行なう認知支援出力手段として次のような種々のデバイスが対応するドライバーを介して接続されている。
・アクセルペダル振動部53(ドライバー51d):アクセルペダル51に乗っている運転者の足に向け振動を出力する。アクセルペダルに通常では有り得ないような振動を与え、咄嗟にペダルから足を離させる効果を有する。偏心式加振装置などの周知の振動発生器で構成される。このアクセルペダル振動部53の振動はアクセルペダル51に伝達されるが、電子スロットル制御装置21に受け渡されるアクセルセンサ8の角度出力に対しては不感となるように、その周波数ならびに振幅が設定される(アクセルセンサ8の角度出力に振動変位が重畳される場合は、フィルタリング等によりこれを除去してもよい。
Further, the following various devices are connected to the input / output interface 6 through corresponding drivers as recognition support output means for performing recognition support output for the approach of the collision warning vehicle.
Accelerator pedal vibration unit 53 (driver 51d): Outputs vibration toward the driver's feet riding on the accelerator pedal 51. It gives the accelerator pedal a vibration that would normally not be possible, and has the effect of separating the foot from the pedal. It is composed of a known vibration generator such as an eccentric type vibration exciter. The vibration of the accelerator pedal vibration unit 53 is transmitted to the accelerator pedal 51, but its frequency and amplitude are set so as to be insensitive to the angular output of the accelerator sensor 8 delivered to the electronic throttle control device 21. (If a vibration displacement is superimposed on the angular output of the accelerator sensor 8, it may be removed by filtering or the like.

・ブレーキ反力モータ62(ドライバー62d):ブレーキペダル61の旋回軸に取り付けられ、ブレーキペダル61に対し踏下方向と逆向きの反力を発生させる。
・シートバイブレータ71(ドライバー71d):運転席シート72に埋設され、衝突警戒車両接近認知を促すための振動出力を行なう。偏心式加振装置や圧電式加振装置などの周知の振動発生器で構成される。
Brake reaction force motor 62 (driver 62d): The brake reaction force motor 62 is attached to the turning shaft of the brake pedal 61 and generates a reaction force in the direction opposite to the step-down direction with respect to the brake pedal 61.
-Seat vibrator 71 (driver 71d): It is embedded in the driver's seat 72 and performs vibration output for promoting collision warning vehicle approach recognition. It is composed of a known vibration generator such as an eccentric type vibration device or a piezoelectric vibration device.

・メータ81M及びモニタ110(ドライバー81d)、ミラー内表示装置82(ドライバー82d)、ヘッドアップディスプレイ83(ドライバー83d):衝突警戒車両の認知を促すための表示を行なうことで、注意を喚起する。なお、モニタ110はカーナビゲーションシステム16の表示出力部に兼用される。 Meter 81M and monitor 110 (driver 81d), in-mirror display device 82 (driver 82d), head-up display 83 (driver 83d): alerts by giving a display to promote recognition of a collision warning vehicle. The monitor 110 is also used as a display output unit of the car navigation system 16.

インナーミラーとアウターミラーは、例えばハーフミラーとし、ミラー裏面よりLED等により表示を行なう。または、透明ELディスプレイをミラー表面に重畳させ、表示を行なってもよい。フロントウィンドウでは、ヘッドアップディスプレイ(透明ELディスプレイでもよい)により衝突警戒車両の認知支援表示を行なう。また、メータ81Mの場合、衝突警戒車両の接近をアイコン表示したり、文字盤や画面全体を赤系統の警告色で点滅させたりすることで、衝突警戒車両接近に対する注意喚起を行なう。メータ81MのバックライトがフルカラーLEDで構成されている場合は、その出力で警告色点灯出力を行なうこともできる。   The inner mirror and the outer mirror are, for example, half mirrors, and display is performed by LEDs or the like from the back of the mirror. Alternatively, the display may be performed by superimposing a transparent EL display on the mirror surface. On the front window, a head-up display (which may be a transparent EL display) is used to perform a collision assistance vehicle recognition support display. Further, in the case of the meter 81M, the approach to the collision warning vehicle is displayed as an icon, or the dial or the entire screen is flashed with a red warning color to alert the collision warning vehicle approach. When the backlight of the meter 81M is composed of a full color LED, a warning color lighting output can be performed with the output.

・スピーカー91(ドライバー91d):衝突警戒車両接近認知を促すための音声出力を行なう。
・匂い発生器93(ドライバー93d):危険を感じ、動作を止める香りを発生する。一瞬に、集中できる匂いを発生する。この場合、空気の流れに乗って香りは伝達されることから、空気砲または気流コントロールとセットで考慮するとよい。
Speaker 91 (driver 91d): performs sound output for promoting the collision warning vehicle approach recognition.
Odor generator 93 (driver 93d): Generates a scent that feels dangerous and stops operating. Generates a scent that can be concentrated in an instant. In this case, since the scent is transmitted along with the air flow, it is better to consider it in combination with the air cannon or air flow control.

ROM5には、衝突警戒車両認知支援装置1の主制御プログラム5mと、該主制御プログラム5mが使用する種々のエンジンが格納されている。
・活性度特定エンジン5a:エコー測定ユニット12の測定結果に基づき、運転者の精神活性度を特定する(精神活性度特定手段)。
・愉快度特定エンジン5b:顔カメラ10が検出する運転者の表情、視線カメラ11が検出する運転者の視線、及び姿勢測定ユニット13が検出する運転者の姿勢に基づいて精神愉快度を検出する(精神愉快度特定手段)。
The ROM 5 stores a main control program 5m of the collision warning vehicle recognition support apparatus 1 and various engines used by the main control program 5m.
Activity specifying engine 5a: specifies the driver's mental activity based on the measurement result of the echo measurement unit 12 (mental activity specifying means).
Pleasantness specification engine 5b: Detects mental pleasure based on the driver's facial expression detected by the face camera 10, the driver's line of sight detected by the visual camera 11, and the driver's posture detected by the posture measurement unit 13. (Mental pleasure identification means).

・視線特定エンジン5c:視線カメラ11が撮影する運転者の両眼の画像から、周知のアルゴリズムにより視線方向、具体的には車両周囲のどのエリアに視線が向いているかを特定する(視線方向検出手段)。視線カメラ11を省略する場合は、該エンジンは不要である。
・衝突警戒車両特定エンジン5d:図3のカメラ14(R)、14(L)が撮影する動画の視野上にて一定レベル未満の低速で移動する像領域を、合流地点に向けて接近中の衝突警戒車両の像領域として特定する(衝突警戒車両接近検出手段)。具体的には、動画のフレームを構成する各画素の出力波形を検出し(画素出力波形検出手段)、それら画素のうち、出力波形の周波数が予め定められた閾周波数未満となるものを衝突警戒車両の像領域構成画素として特定する(衝突警戒車両像領域構成画素特定手段)。
Gaze identification engine 5c: From the driver's binocular image captured by the gaze camera 11, the gaze direction, specifically to which area around the vehicle the gaze direction is identified by a well-known algorithm (gaze direction detection) means). When the line-of-sight camera 11 is omitted, the engine is unnecessary.
-Collision warning vehicle identification engine 5d: An image area moving at a low speed of less than a certain level on the field of view of the moving images captured by the cameras 14 (R) and 14 (L) in FIG. 3 is approaching the junction. It is specified as an image area of a collision warning vehicle (collision warning vehicle approach detection means). Specifically, the output waveform of each pixel constituting the frame of the moving image is detected (pixel output waveform detection means), and those pixels in which the frequency of the output waveform is less than a predetermined threshold frequency are warned of the collision. It is specified as the image area constituting pixel of the vehicle (collision warning vehicle image area constituting pixel specifying means).

・認知ミス判定エンジン5e:活性度特定エンジン5aと愉快度特定エンジン5bとが特定する運転者の精神活性度と精神愉快度とに基づいて、運転者の注意集中度を算出する。そして、衝突警戒車両特定エンジン5dが衝突警戒車両の接近を検知したとき、運転者の視線方向も考慮して、衝突警戒車両接近に対する認知ミスが発生しているかどうかを判定する。
・認知支援出力制御エンジン5e:衝突警戒車両接近に対する認知ミスが発生したと判定された場合に、前述の種々の認知支援出力手段に対し認知支援出力指令を行なう。
・運転誘導制御エンジン5g:衝突警戒車両の有無に応じて個別に運転誘導内容を決定する(運転誘導内容決定手段)。そして、該誘導内容を、スピーカー91から音声出力させる制御と、モニタ110、ミラー内表示装置82、あるいはヘッドアップディスプレイ83等の表示部に表示出力させる制御指令を行なう。
Cognitive error determination engine 5e: The driver's attention concentration degree is calculated based on the driver's mental activity level and mental pleasure level specified by the activity level specifying engine 5a and the pleasure level specifying engine 5b. Then, when the collision warning vehicle identification engine 5d detects the approach of the collision warning vehicle, it is determined whether or not a recognition error for the collision warning vehicle approach has occurred in consideration of the driver's line-of-sight direction.
-Cognitive support output control engine 5e: When it is determined that a recognition error has occurred with respect to the collision warning vehicle approach, a cognitive support output command is issued to the various cognitive support output means described above.
Driving guidance control engine 5g: The driving guidance content is individually determined according to the presence or absence of a collision warning vehicle (driving guidance content determination means). Then, a control command for outputting the guidance content as audio from the speaker 91 and a control command for displaying the guidance content on a display unit such as the monitor 110, the in-mirror display device 82, or the head-up display 83 is performed.

図2は、カーナビゲーションシステム16の構成例を示すブロック図である。該カーナビゲーションシステム16は、位置検出器101、地図データ入力器106、操作スイッチ群107、リモートコントロール(以下リモコンと称する)センサ111、音声案内等のための音声合成回路124、音声出力用のスピーカー115、不揮発メモリであるフラッシュメモリ109、LCD等からなるモニタ110、これらの接続された主制御部をなす情報系ECU51及び主記憶装置をなすHDD(ハードディスク装置)121等を備えるものである。   FIG. 2 is a block diagram illustrating a configuration example of the car navigation system 16. The car navigation system 16 includes a position detector 101, a map data input device 106, an operation switch group 107, a remote control (hereinafter referred to as remote control) sensor 111, a voice synthesizing circuit 124 for voice guidance, and a speaker for voice output. 115, a flash memory 109 which is a non-volatile memory, a monitor 110 made up of an LCD or the like, an information system ECU 51 which forms a main control unit connected thereto, an HDD (hard disk drive) 121 which forms a main storage device, and the like.

位置検出器101は、周知の地磁気センサ102、ジャイロスコープ103、距離センサ104、および衛星からの電波に基づいて車両の位置を検出するGPSのためのGPS受信機105を有している。これらのセンサ等102,103,104,105は各々が性質の異なる誤差を持っているため、複数のセンサにより各々補完しながら使用するように構成されている。なお、精度によっては前述したうちの一部のセンサで構成してもよく、さらに、ステアリングの回転センサや各転動輪の車輪センサ等を用いてもよい。   The position detector 101 includes a known geomagnetic sensor 102, a gyroscope 103, a distance sensor 104, and a GPS receiver 105 for GPS that detects the position of the vehicle based on radio waves from a satellite. Since these sensors 102, 103, 104, and 105 have errors of different properties, they are configured to be used while being complemented by a plurality of sensors. Depending on the accuracy, some of the sensors described above may be used, and further, a steering rotation sensor, a wheel sensor of each rolling wheel, or the like may be used.

操作スイッチ群107は、メカニカルなスイッチ等を使用できるが、本実施形態では、モニタ110と一体になったタッチパネル122を併用しており、モニタ110上に表示されるボタン画像に対応するタッチパネル領域を指で触れることにより、操作状態を認識できるようにしている(いわゆるソフトボタン)。これら操作スイッチ群107によって、種々の指示を入力することが可能である。   Although the operation switch group 107 can use a mechanical switch or the like, in this embodiment, the touch panel 122 integrated with the monitor 110 is used together, and a touch panel area corresponding to a button image displayed on the monitor 110 is displayed. The operation state can be recognized by touching with a finger (so-called soft button). Various instructions can be input by the operation switch group 107.

操作スイッチ群107の他に、音声認識ユニット130を用いて種々の指示を入力することも可能である。これは、音声認識ユニット130に接続される前述のマイク131(図2参照)から音声を入力することによって、その音声信号を周知の音声認識技術により音声認識処理して、その結果に応じた操作コマンドに変換するものである。   In addition to the operation switch group 107, it is also possible to input various instructions using the voice recognition unit 130. This is because, by inputting voice from the microphone 131 (see FIG. 2) connected to the voice recognition unit 130, the voice signal is subjected to voice recognition processing by a known voice recognition technique, and an operation corresponding to the result is performed. It is converted into a command.

情報系ECU51は、CPU181、ROM182、RAM183、前述のフラッシュメモリ109、入出力インターフェース184がバス515により接続されたマイコンハードウェアを主体とするものである。入出力インターフェース184には、位置検出器101、地図データ入力器106、操作スイッチ群107、車車間通信部108及びVICS受信部109が接続されている。   The information system ECU 51 is mainly composed of microcomputer hardware in which a CPU 181, ROM 182, RAM 183, the aforementioned flash memory 109, and an input / output interface 184 are connected by a bus 515. The input / output interface 184 is connected to the position detector 101, the map data input device 106, the operation switch group 107, the inter-vehicle communication unit 108 and the VICS receiving unit 109.

HDD121はインターフェース129fを介してバス接続されている。また、地図道路地図)やナビ操作画面を表示する描画情報に基づいて、モニタ110に画像出力する機能を担う描画LSI187と、描画処理用のグラフィックメモリ187Mとが同様にバス接続され、前述のモニタ110がこれに接続されている。CPU181は、フラッシュメモリ109に記憶されたナビソフトウェア109a(被提供情報収集手段)およびデータにより、目的地検索や経路案内に係る制御を行なう。また、HDD121へのデータの読み書きの制御はCPU181によって行なわれる。   The HDD 121 is bus-connected via the interface 129f. Further, the drawing LSI 187 responsible for outputting an image to the monitor 110 based on the drawing information for displaying the map road map and the navigation operation screen and the graphic memory 187M for drawing processing are similarly bus-connected, and the above-mentioned monitor 110 is connected to this. The CPU 181 performs control related to destination search and route guidance based on the navigation software 109a (provided information collecting means) and data stored in the flash memory 109. The CPU 181 controls the reading / writing of data to / from the HDD 121.

HDD121には、道路データを含む地図データ21mと、目的地データや目的地の案内情報からなるナビデータ21pとが記憶されている。また、出力履歴データ21dとコンテンツデータ21uも記憶されている。これらのデータは、操作スイッチ群107の操作あるいは音声入力によって内容の書き換えが可能である。また、外部情報入出力装置(地図データ入力器)106を用いて記憶媒体120からデータを読み込んでHDD121の内容を更新することも可能である。なお、本実施形態では、通信インターフェース126を介して、情報系ECU51が車内ネットワークをなすシリアル通信バス127に接続され、ボデー系ECUやエンジン制御ECU(図示せず)などの、車内の他の制御装置との間でデータの遣り取りを行なうようになっている。また、シリアル通信バス127にはインターネット1170に接続するための無線送受信部を有した通信ECU190(無線アクセス手段)が接続されており、更新用の地図データや、その他の情報を受信できるようになっている。   The HDD 121 stores map data 21m including road data and navigation data 21p including destination data and destination guidance information. Output history data 21d and content data 21u are also stored. These data can be rewritten by operating the operation switch group 107 or by voice input. It is also possible to update the contents of the HDD 121 by reading data from the storage medium 120 using the external information input / output device (map data input device) 106. In this embodiment, the information system ECU 51 is connected to the serial communication bus 127 forming the in-vehicle network via the communication interface 126, and other controls in the vehicle such as a body system ECU and an engine control ECU (not shown). Data is exchanged with the device. The serial communication bus 127 is connected to a communication ECU 190 (wireless access means) having a wireless transmission / reception unit for connecting to the Internet 1170, and can receive update map data and other information. ing.

車車間通信部108は、自車の周囲に存在する他車両と直接通信を行ない、周囲車両情報(車両位置、走行方向)、車両サイズ、速度、ブレーキ、アクセルなど)の送受信を行なうように構成されている。また、VICS受信部109は、図示しないVICS(Vehicle Information and Communication System:道路交通情報通信システム)センタから道路交通情報やFM多重放送を受信するための装置である。   The inter-vehicle communication unit 108 is configured to directly communicate with other vehicles existing around the own vehicle and transmit / receive surrounding vehicle information (vehicle position, traveling direction), vehicle size, speed, brake, accelerator, and the like). Has been. The VICS receiving unit 109 is a device for receiving road traffic information and FM multiplex broadcasting from a VICS (Vehicle Information and Communication System) center (not shown).

モニタ110(被提供情報出力手段)はカラー液晶表示器により構成されており、その画面には位置検出器101から入力された車両の現在位置マークと、HDD121から入力された地図データ21mと、さらに地図上に表示する誘導経路等付加データとを重ね合わせて表示する。また、前述のごとくタッチパネル122が重ね合わされており、必要に応じて、目的地設定、表示設定、種々の機能呼び出し、画面切替操作等のための機能ボタンも表示する。   The monitor 110 (provided information output means) is composed of a color liquid crystal display, and the current position mark of the vehicle input from the position detector 101, the map data 21m input from the HDD 121, and the screen are displayed on the screen. The additional data such as the guide route displayed on the map is superimposed and displayed. Further, as described above, the touch panel 122 is superimposed, and function buttons for destination setting, display setting, various function calls, screen switching operations, and the like are displayed as necessary.

カーナビゲーションシステム16は、情報系ECU51のCPU181によりナビプログラム21pが起動される。運転者は、操作スイッチ群107の操作あるいはマイク131からの音声入力によって、目的地データベース21dから所望の目的地を選択する。例えば、モニタ110上に表示されるメニューから目的地経路をモニタ110に表示させるための経路案内処理を選択した場合、次のような処理を実施する。即ち、運転者がモニタ110上の地図あるいは目的地選択画面に基づいて目的地を入力すると、GPS受信機105から得られる衛星のデータに基づき車両の現在位置が求められ、該現在位置から目的地までの最適な経路を求める処理が行われる。そして、モニタ110上の道路地図に誘導経路を重ねて表示し、運転者に適切な経路を案内する。このような自動的に最適な経路を設定する手法は、ダイクストラ法等の手法が知られている。また、モニタ110およびスピーカー115の少なくとも一方によって、操作時のガイダンスや動作状態に応じたメッセージの報知を行なう。なお、経路案内を行なわない場合は、地図上の走行路を特定し、周知のマップマッチング処理により該走行路上に自車の現在位置を表示・更新する処理を行なう。   In the car navigation system 16, the navigation program 21p is activated by the CPU 181 of the information system ECU 51. The driver selects a desired destination from the destination database 21d by operating the operation switch group 107 or inputting voice from the microphone 131. For example, when the route guidance process for displaying the destination route on the monitor 110 is selected from the menu displayed on the monitor 110, the following process is performed. That is, when the driver inputs a destination based on the map on the monitor 110 or the destination selection screen, the current position of the vehicle is obtained based on the satellite data obtained from the GPS receiver 105, and the destination is determined from the current position. The process for obtaining the optimum route to is performed. Then, the guidance route is displayed superimposed on the road map on the monitor 110, and an appropriate route is guided to the driver. As a method for automatically setting an optimal route, a method such as the Dijkstra method is known. In addition, at least one of the monitor 110 and the speaker 115 notifies a message according to an operation guidance or an operation state. When route guidance is not performed, a travel route on the map is specified, and the current position of the vehicle is displayed / updated on the travel route by a well-known map matching process.

以下、衝突警戒車両認知支援装置1の制御の流れを、フローチャートを用いて説明する。図22は、主制御プログラム5m(図1)の処理の流れを示すものである。まず、S100では、車両使用状況に係る現在シーンを推定する。図23は、該シーン推定処理の流れを示すものであり、S201では、運転席に人が着座したかどうかを顔カメラ10(図1)により撮影判定する。また、S202では、イグニッションスイッチの操作状態を参照し、車両の現在操作状態を特定する。そして、S203で、現在操作状態が運転状態であるか否かを判定し、運転状態であれば現在シーンを運転シーンとして特定する。   Hereinafter, the flow of control of the collision warning vehicle recognition support apparatus 1 will be described using a flowchart. FIG. 22 shows the flow of processing of the main control program 5m (FIG. 1). First, in S100, the current scene related to the vehicle usage status is estimated. FIG. 23 shows the flow of the scene estimation process. In S201, it is determined whether or not a person is seated in the driver's seat using the face camera 10 (FIG. 1). In S202, the current operation state of the vehicle is specified with reference to the operation state of the ignition switch. In S203, it is determined whether or not the current operation state is a driving state. If the current operating state is a driving state, the current scene is specified as a driving scene.

図22に戻り、S101で現在シーンが運転シーンであればS102に進み、外部カメラ14、特に前方右撮影カメラ14(R)及び前方左撮影カメラ14(L)を用いた衝突警戒車両特定処理となる。以下、その詳細について説明する。なお、前方右撮影カメラ14(R)及び前方左撮影カメラ14(L)の使用形態は全く同じなので、以下、前方右撮影カメラ14(R)で代表させ、以下、単に車両撮影カメラ14とも記す。   Returning to FIG. 22, if the current scene is a driving scene in S101, the process proceeds to S102, and a collision warning vehicle specifying process using the external camera 14, particularly the front right camera 14 (R) and the front left camera 14 (L). Become. The details will be described below. Since the front right camera 14 (R) and the front left camera 14 (L) are used in exactly the same manner, the front right camera 14 (R) will be represented below, and will be simply referred to as the vehicle camera 14 hereinafter. .

図7Bに示すように、自車走行路R0に対し角度θにて合流する合流路RTが存在するとき、カメラ取付角度φにて取り付けられた車両撮影カメラ14は、合流地点に到達するまで、合流路RTを斜めから継続的に撮影する。走行路R0上の自車MCから見た、合流路RT上の(つまり、コリジョンコース上の)他車TCは、自車MCに対する相対速度が大きければ移動速度が大きく見え、逆に相対速度が小さければ移動速度は小さく見える。合流路RT上の他車TCと合流地点CRで衝突する可能性があるのは後者の場合である。すなわち、コリジョンコースをなす合流路RTを見込む角度φで自車MCに車両撮影カメラ14を取り付けておくと、コリジョンコースの先にある合流点に向け、自車MCと衝突するタイミングで接近しつつある他車TCがそのカメラの視野に入った場合、図7A(1)に示すように、接近に伴なう像拡大を除けば、該視野MF上での他車像FIは止まっているか、図7A(2)に示すように、移動していても視野MF上での重心点G0の移動速度は相応に小さくなる。逆に、他車TCがコリジョンコース上にあっても、合流地点CRまでの距離差が大きいか、あるいは自車MCとの速度差が大きく、合流地点CRでの衝突危険性の低い他車TCは、視野MFに最初から入らないか、入っても速やかに視野MF外に去る形となる。従って、一定レベル未満の低速で移動する像領域MIを動画の視野上にて検出することで、合流地点CRに向けて接近中の衝突警戒車両を特定することができる。   As shown in FIG. 7B, when there is a merge channel RT that merges at an angle θ with respect to the host vehicle travel path R0, the vehicle photographing camera 14 that is mounted at the camera mounting angle φ has reached the merge point. The joint channel RT is continuously photographed from an oblique direction. The other vehicle TC on the combined flow path RT (that is, on the collision course) seen from the host vehicle MC on the travel route R0 appears to move faster if the relative speed with respect to the host vehicle MC is large, and conversely the relative speed is higher. If it is small, the moving speed looks small. In the latter case, there is a possibility of colliding with another vehicle TC on the merge channel RT at the merge point CR. In other words, if the vehicle photographing camera 14 is attached to the host vehicle MC at an angle φ at which the junction channel RT that forms the collision course is viewed, the vehicle is approaching at the timing of the collision with the host vehicle MC toward the junction point ahead of the collision course. When a certain other vehicle TC enters the field of view of the camera, as shown in FIG. 7A (1), the other vehicle image FI on the field of view MF is stopped except for the image enlargement accompanying the approach. As shown in FIG. 7A (2), the moving speed of the center of gravity G0 on the field of view MF is correspondingly reduced even if it is moving. On the other hand, even if the other vehicle TC is on the collision course, the distance difference to the junction point CR is large, or the speed difference from the own vehicle MC is large, and the other vehicle TC having a low collision risk at the junction point CR. Does not enter the field of view MF from the beginning, or even if it enters, quickly leaves the field of view MF. Therefore, by detecting the image area MI that moves at a low speed below a certain level on the field of view of the moving image, it is possible to identify the collision warning vehicle that is approaching toward the junction CR.

図4に示すように、コリジョンコース上の衝突警戒車両は、自車MCとの相対速度が低い関係上、車両撮影カメラ14の視野では低速移動するように見えるが、路面や背景に対しては該他車固有の走行速度で移動している。従って、衝突警戒車両の背景領域(路面含む)は画像上を高速で流れ去り、該背景領域をなす画素PXの出力変動は非常に大きく、その変動の周波数は高い。一方、衝突警戒車両(移動物)の像は低速でしか移動しないので、画素の出力変動は小さくその変動の周波数も低い。   As shown in FIG. 4, the collision warning vehicle on the collision course seems to move at a low speed in the field of view of the vehicle photographing camera 14 due to the low relative speed with the host vehicle MC. The vehicle travels at a travel speed unique to the other vehicle. Accordingly, the background area (including the road surface) of the collision warning vehicle flows away on the image at a high speed, the output fluctuation of the pixel PX forming the background area is very large, and the frequency of the fluctuation is high. On the other hand, since the image of the collision warning vehicle (moving object) moves only at a low speed, the output fluctuation of the pixel is small and the frequency of the fluctuation is low.

例えば、画素の出力として明度(輝度)を採用すれば、図5の左に示すように、背景領域の画素は、流れ去る風景に対応して明度の変化振幅が大きく周波数も高い。他方、衝突警戒車両の画素は、衝突警戒車両の外観塗装色に対応して明度の変化振幅が小さく周波数も低い。明るい塗装色の車両であれば、各画素の波形出力を、それぞれ背景領域画素の周波数よりも低い適当なカットオフ周波数(閾周波数)を有したローパスフィルタ(周知のフィルタ回路又はデジタルフィルタで構成する)を通すことで、図5の右に示すように、背景領域の画素出力は減衰して通過出力が小さくなり、衝突警戒車両の画素出力は減衰が小さいので通過出力が大きくなる。そこで、このフィルタ通過後の画素出力を、適当な閾値で二値化することで、図6に示すように、衝突警戒車両の像領域MIなす画素を抽出できる(なお、ノイズ等による散点的な画素は、周知の画像処理により除去できる)。   For example, if brightness (luminance) is adopted as the pixel output, the pixels in the background area have a large brightness change amplitude and a high frequency corresponding to the flowing scenery, as shown on the left in FIG. On the other hand, the pixels of the collision warning vehicle have a small change amplitude of lightness and a low frequency corresponding to the appearance paint color of the collision warning vehicle. If the vehicle has a bright paint color, the waveform output of each pixel is constituted by a low-pass filter (a well-known filter circuit or digital filter) having an appropriate cutoff frequency (threshold frequency) lower than the frequency of the background region pixel. ), The pixel output in the background region is attenuated and the passing output is reduced, and the pixel output of the collision warning vehicle is small in attenuation and the passing output is increased, as shown on the right of FIG. Therefore, by binarizing the pixel output after passing through this filter with an appropriate threshold value, as shown in FIG. 6, pixels formed by the image area MI of the collision-preventing vehicle can be extracted (note that it is scattered due to noise or the like). Such pixels can be removed by well-known image processing).

なお、明度の低い塗装色の車両の場合は、画素の明度出力の絶対値が低いため、ローパスフィルタ通過出力レベルも低くなり、背景領域画素との区別が難しい場合がある。この場合は、フィルタ通過前の画素出力と、フィルタ通過後の画素出力との各積分平均値U,Uを求め(例えば、フィルタ通過前及び通過後の画素出力を、それぞれ積分器に分配入力すればよい)、フィルタ通過前後の積分値の差分|U−U|を演算する。|U−U|の値は、背景領域画素ではフィルタリングによる減衰により大きくなり逆に減衰の小さい両領域画素では|U−U|の値は(塗装色によらず)小さくなる。従って、|U−U|の出力を適当な閾値で二値化することで、図6に示すように、衝突警戒車両の像領域MIなす画素を抽出できる。 In addition, in the case of a vehicle with a paint color with low lightness, since the absolute value of the lightness output of the pixel is low, the output level passing through the low-pass filter is also low, and it may be difficult to distinguish it from the background region pixel. In this case, integrated average values U 0 and U F of the pixel output before passing through the filter and the pixel output after passing through the filter are obtained (for example, the pixel outputs before and after passing through the filter are respectively distributed to the integrators). The difference | U 0 −U F | between the integrated values before and after passing through the filter is calculated. The value of | U 0 −U F | increases in the background region pixels due to attenuation by filtering, and conversely, the value of | U 0 −U F | decreases in both of the region pixels having small attenuation (regardless of the paint color). Therefore, by binarizing the output of | U 0 −U F | with an appropriate threshold, it is possible to extract pixels formed by the image area MI of the collision warning vehicle as shown in FIG.

車両撮影カメラ14の視野内に、上記の方法で抽出される車両の像領域MIが、予め定められた時間以上継続的に検出された場合は、その総領域MIが示す他車TCが、合流路RT上で自車MCとほぼ同じタイミングで合流地点に向かっていることを意味し、この段階で、該他車TCを、合流地点に向けて接近する衝突警戒車両と判定することが可能である。また、像領域MIの視野上での移動速度が小さいほど、自車MCと合流地点で出会う確率は高い。従って、図7A(2)に示すように、像領域MIの例えば重心位置(像領域MIの各画素のx座標値及びy座標値を加算平均することで演算できる)G0を視野上で特定し、その重心位置G0の動画フレーム間での変化量ΔGから上記移動速度を特定し、これが閾値より小さければ、該他車TCを、合流地点に向けて接近する衝突警戒車両と判定することも可能である。   When the image area MI of the vehicle extracted by the above method is continuously detected in the field of view of the vehicle photographing camera 14 for a predetermined time or more, the other vehicle TC indicated by the total area MI is joined. It means that you are heading to the merge point on the road RT at almost the same timing as your own vehicle MC. At this stage, it is possible to determine that the other vehicle TC is a collision warning vehicle approaching the merge point. is there. Further, the smaller the moving speed of the image area MI in the field of view, the higher the probability that the vehicle MC will meet at the junction. Therefore, as shown in FIG. 7A (2), for example, the center of gravity of the image area MI (which can be calculated by averaging the x coordinate value and y coordinate value of each pixel of the image area MI) G0 is specified on the visual field. The moving speed is identified from the change amount ΔG between the moving image frames of the center of gravity position G0, and if this is smaller than the threshold value, the other vehicle TC can be determined as a collision warning vehicle approaching toward the junction. It is.

一方、さらに精密な衝突判定を行なうために、以下のような方法を採用可能である。基本的には、図7Bにおいて、上記車両撮影カメラ14による他車の撮影画像とカーナビゲーションシステム16による自車現在地(及び走行路)の情報とから合流地点CRへの他車走行速度Vを測定し、また、カーナビゲーションシステム16の地図情報から他車TCの合流地点CRまでの距離CB、及び自車MCの合流地点CRまでの距離CAを推定する。また、図1の車速センサ15の検出値から、自車走行速度V0を測定する。そして、他車走行速度V、衝突警戒車両合流距離CB、自車走行速度V及び自車合流距離CAに基づいて、該他車TCが合流地点CRにて自車MCに向けて接近する衝突警戒車両であるか否かを判定する。具体的には、他車TC及び自車MCの合流地点CRまでの到達時間を、CB/V及びCA/Vにて計算できるので、該到達時間が一定の範囲内で一致していれば、衝突可能性が高いものとして判定できる。 On the other hand, in order to perform a more precise collision determination, the following method can be employed. Basically, in FIG. 7B, the other vehicle running speed V T to confluence CR from the above information of the vehicle photographing camera 14 another vehicle of the captured image and the car navigation system 16 according to the vehicle current position by (and traveling path) Further, the distance CB from the map information of the car navigation system 16 to the junction point CR of the other vehicle TC and the distance CA to the junction point CR of the host vehicle MC are estimated. Further, the host vehicle traveling speed V0 is measured from the detection value of the vehicle speed sensor 15 in FIG. Then, based on the other vehicle travel speed V T , the collision warning vehicle merge distance CB, the own vehicle travel speed V 0, and the own vehicle merge distance CA, the other vehicle TC approaches the own vehicle MC at the merge point CR. It is determined whether the vehicle is a collision warning vehicle. Specifically, since the arrival time of the other vehicle TC and the own vehicle MC to the junction point CR can be calculated by CB / V T and CA / V 0 , the arrival times must be consistent within a certain range. For example, it can be determined that the possibility of collision is high.

図8に示すように、自車に搭載された車両撮影カメラ14は、合流路RT上の他車をカメラ光軸に対して斜めから撮影する。そこで、合流路RT上の実長Lを、このカメラ光軸と直交する投影面へ投影した正射影実長をWとする。また、撮影光学系の焦点距離をλとし、焦点から撮影物までの距離をDとすると、正射影実長Wのカメラ撮像面(センサ面)に対する投影縮小率ξは(1)式で表される。

Figure 2010083205
As shown in FIG. 8, the vehicle photographing camera 14 mounted on the own vehicle photographs the other vehicle on the joint channel RT from an oblique direction with respect to the camera optical axis. Therefore, an orthogonal projection actual length obtained by projecting the actual length L on the confluence channel RT onto a projection plane orthogonal to the camera optical axis is defined as W. Further, assuming that the focal length of the photographing optical system is λ and the distance from the focal point to the object to be photographed is D, the projection reduction ratio ξ with respect to the camera imaging surface (sensor surface) of the orthogonal projection real length W is expressed by the following equation (1) The
Figure 2010083205

合流路RTは、カーナビゲーションシステム16の道路地図上にて、自車走行路R及び自車現在位置Aとを特定すれば、カメラ取付方向(角度)φの向きは自車走行路Rに対して一定なので、その角度φの方向にある道路のうち、自車走行路Rに対し進行方向前方に合流地点(交差点)を有する道路を検索することで特定できる。合流路RTが特定できれば、自車走行路Rと合流路Rのなす角θも上記道路地図上で幾何学的に計算できる。前述の正射影実長Wは、上記φ及びθを用いて幾何学的に下記(2)式で表される。

Figure 2010083205
If the joint path RT identifies the host vehicle travel path R 0 and the host vehicle current position A on the road map of the car navigation system 16, the direction of the camera mounting direction (angle) φ is the host vehicle travel path R 0. Therefore, it can be specified by searching for a road having a merging point (intersection) ahead in the traveling direction with respect to the own vehicle traveling path R0 among roads in the direction of the angle φ. If it identified combined channel RT, the angle between the combined channel R T and the vehicle travel path R 0 theta may calculated geometrically on the road map. The above-mentioned orthographic real length W is geometrically expressed by the following equation (2) using the above φ and θ.
Figure 2010083205

車両撮影カメラ14上で他車の像領域FIが検出されるに伴い、測定時間τの計測を開始する。この他車は、その計測開始時点での自車走行路R上での自車現在位置Aから、カメラ取付方向φに規定される撮影視野内に存在することを意味するから、カーナビゲーションシステム16により道路地図上にて、該カメラ取付方向φにおける合流路RTまでの距離Dを初期距離Dとして測定する。 As the image area FI of the other vehicle is detected on the vehicle photographing camera 14, measurement of the measurement time τ is started. This means that the other vehicle is present in the field of view defined in the camera mounting direction φ from the current position A of the own vehicle on the own vehicle travel route R 0 at the time of starting the measurement. 16, the distance D to the combined flow path RT in the camera mounting direction φ is measured as an initial distance D 0 on the road map.

次に、他車の像領域FIの重心位置を、図7A(2)に示すように、各動画フレーム上で特定すれば、測定時間τが満了するまでの画像重心のカメラ撮像面上での総移動距離εを算出することができる。この総移動距離εから、車両撮影カメラ14に対する撮像面方向の他車TCの相対移動速度を算出する方法を考える。まず、時間t経過後のカメラ取付方向φにおける合流路Rまでの距離Dは、図8の下を参照して、下記(3)式により表わすことができる。

Figure 2010083205
他方、他車のカメラ光軸と直交する方向への正射影速度をV’とすると、(2)式と同様に、下記(4)式により表わすことができる。
Figure 2010083205
VT’を一定とすると、対象車の撮像面上の移動速度は、(1)(3)より、下記(5)式により表わすことができる。
Figure 2010083205
Next, if the position of the center of gravity of the image area FI of the other vehicle is specified on each moving image frame as shown in FIG. 7A (2), the center of gravity of the image until the measurement time τ expires on the camera imaging surface. The total moving distance ε can be calculated. A method of calculating the relative movement speed of the other vehicle TC in the imaging plane direction with respect to the vehicle photographing camera 14 from the total movement distance ε will be considered. First, the distance D to the combined flow path RT in the camera mounting direction φ after the elapse of time t can be expressed by the following equation (3) with reference to the lower part of FIG.
Figure 2010083205
On the other hand, when the orthogonal projection speed in the direction orthogonal to the camera optical axis of the other vehicle is V T ′, it can be expressed by the following equation (4), as in the equation (2).
Figure 2010083205
Assuming that VT ′ is constant, the moving speed of the target vehicle on the imaging surface can be expressed by the following equation (5) from (1) and (3).
Figure 2010083205

上記(5)式は、他車速度Vが一定であっても、撮像面上(つまり撮影視野上)では、見かけの移動速度V’が時間tとともに変化することを意味している。従って測定時間τの間の、画像重心の総移距離εは、上記(5)式を0からτまで積分することにより、下記(6)にて表される。

Figure 2010083205
(6)式を、置換積分を用いて計算した結果が下記(7)式である。
Figure 2010083205
The above equation (5) means that the apparent moving speed V T ′ changes with time t on the imaging surface (that is, on the imaging field of view) even if the other vehicle speed V T is constant. Therefore, the total moving distance ε of the image centroid during the measurement time τ is expressed by the following (6) by integrating the above equation (5) from 0 to τ.
Figure 2010083205
The following equation (7) is the result of calculating equation (6) using substitution integration.
Figure 2010083205

これをV’について解くと、下記(8)式が得られる。

Figure 2010083205
(4)(8)式より、他車速度Vは、下記(9)式により計算することができる。
Figure 2010083205
なお、自車走行路Rに合流路Rが直交する普通の交差点ならば、θ=90゜なので、(9)式はより簡略化された(10)式となる。
Figure 2010083205
When this is solved for V T ′, the following equation (8) is obtained.
Figure 2010083205
(4) from equation (8), the other vehicle speed V T, can be calculated by the following equation (9).
Figure 2010083205
Note that if it is an ordinary intersection where the combined flow path RT is orthogonal to the own vehicle travel path R 0 , θ = 90 °, and therefore the expression (9) becomes a more simplified expression (10).
Figure 2010083205

以上算出された他車速度Vは、自車速度Vで移動する自車から測定された相対速度であるから、これに、自車速度Vからの速度寄与VTBを加算した値が最終的に算出する他車速度VTAとなる。図9に示す幾何学的関係から、VTBは下記(11)式で表される。

Figure 2010083205
従って、最終的に算出する他車速度VTAは、下記(12)式で表される。
Figure 2010083205
Other vehicle speed V T which is calculated above, since the relative speed measured from the vehicle traveling at the vehicle speed V 0, to a value obtained by adding the velocity contributions V TB from the vehicle speed V 0 is The other vehicle speed VTA finally calculated is obtained. From the geometrical relationship shown in FIG. 9, V TB is expressed by the following equation (11).
Figure 2010083205
Therefore, the other vehicle speed VTA to be finally calculated is expressed by the following equation (12).
Figure 2010083205

こうして自車速度Vと他車速度VTが特定されれば、図10に示すように、測定時間τの計測開始時における、自車位置Aからカメラ取付方向φに引いた直線と合流路RTとの交点を、その時点の他車位置Bとして求めれば、各々合流地点Cまでの距離CA,CBは、道路地図上の座標を用いて計算でき、それぞれ自車速度Vと他車速度VTAとで除することにより、自車及び他車の合流地点Cまでの予想到達時間t、tを(13)(14)式により計算できる。

Figure 2010083205
Figure 2010083205
When the own vehicle speed V 0 and the other vehicle speed VT A are specified in this way, as shown in FIG. 10, a straight line drawn from the own vehicle position A in the camera mounting direction φ and the combined flow path at the start of measurement of the measurement time τ. If the intersection with RT is determined as the other vehicle position B at that time, the distances CA and CB to the junction C can be calculated using the coordinates on the road map, and the own vehicle speed V 0 and the other vehicle speed, respectively. by dividing the V TA, the expected arrival time t 0, t 1 until junction C of the own vehicle and other vehicles (13) (14) can be calculated by the equation.
Figure 2010083205
Figure 2010083205

そして、例えば、自車の予想到達時間tを基準として、両予想到達時間t,tの差分が一定範囲内(例えば、10%以内なら(12)式)に収まっていれば、上記他車を衝突警戒車両接近中として判定できる。

Figure 2010083205
For example, if the difference between the two predicted arrival times t 0 and t 1 is within a certain range (for example, if the difference is within 10%, using the expected arrival time t 0 of the vehicle), It is possible to determine that another vehicle is approaching the collision warning vehicle.
Figure 2010083205

図22に戻り、S103で衝突警戒車両接近中であればS104に進み、運転者がこれを認知可能な状態になっているか否かを判定する処理を行なう。その詳細を図24に示す。S301では、運手者の視線方向を視線カメラ11の撮影結果に基づいて特定する。図17に示すように、フロントウィンドウFW上及びサイドウィンドウSW上の領域を見込む向きに視線方向EDが現れていれば、運転者の視線が車両の前方エリアと側方(左右)エリアに向けられていると判定できる。他方、バックミラーBMを見込む向きに視線方向EDが現れていれば、運転者の視線が車両の直後方に向けられていると判定できる。さらに、サイドミラーSMを見込む向きに視線方向EDが現れていれば、運転者の視線が車両の左右斜め後方に向けられていると判定できる。   Returning to FIG. 22, if the collision warning vehicle is approaching in S103, the process proceeds to S104 to determine whether or not the driver can recognize this. The details are shown in FIG. In S301, the line-of-sight direction of the driver is specified based on the photographing result of the line-of-sight camera 11. As shown in FIG. 17, if the line-of-sight direction ED appears in the direction of looking at the area on the front window FW and the side window SW, the driver's line of sight is directed to the front area and the side (left and right) area of the vehicle. Can be determined. On the other hand, if the line-of-sight direction ED appears in the direction of looking at the rearview mirror BM, it can be determined that the driver's line of sight is directed immediately behind the vehicle. Furthermore, if the line-of-sight direction ED appears in the direction of looking at the side mirror SM, it can be determined that the driver's line of sight is directed diagonally rearward to the left and right of the vehicle.

S302では、運転者が図17の特定エリア(方向)を注視するに伴い視線方向EDの位置変動が一定レベル未満となる特定エリア視線滞在時間を計測し、該滞在時間が一定時間以上となる視線方向EDを、運転者の現在の注視方向として特定する。S303では、運転者の精神状態、具体的には注意集中度を特定する。前述のごとく、運転者の精神活性度と精神愉快度とをそれぞれ生体情報に基づいて特定し、その精神活性度と精神愉快度と組合せに基づいて注意集中度が特定されることとなる。   In S302, as the driver gazes at the specific area (direction) in FIG. 17, the specific area line-of-sight stay time in which the position fluctuation in the line-of-sight direction ED becomes less than a certain level is measured, and The direction ED is specified as the current gaze direction of the driver. In S303, the mental state of the driver, specifically, the attention concentration is specified. As described above, the driver's mental activity level and mental pleasure level are specified based on the biometric information, and the attention concentration level is specified based on the combination of the mental activity level and the mental pleasure level.

本実施形態では、運転者の精神活性度は、図1のエコー測定ユニット12を用いた臓器(心臓ないし肺)のエコー測定により特定する。図11に示すように、エコー測定ユニット12は座席に着座する運転者の心臓Hのエコー測定を行なう。エコー測定波形(測定結果)は、図1の活性度特定エンジン5aの実行により解析され、その解析結果に基づいて精神活性度が検出される。心臓は鼓動に伴なう動きが顕著であり、超音波を検出プローブとして入射することにより、その動きによりドップラー効果を生じた形で反射波を生ずる。そして、心臓は精神活性度を反映して挙動を明瞭かつ速やかに変化させるので、上記反射波を解析することにより精神活性度をリアルタイムにて精度よく検出することができる。   In the present embodiment, the mental activity level of the driver is specified by echo measurement of an organ (heart or lung) using the echo measurement unit 12 of FIG. As shown in FIG. 11, the echo measurement unit 12 performs echo measurement of the heart H of the driver sitting on the seat. The echo measurement waveform (measurement result) is analyzed by the execution of the activity specifying engine 5a in FIG. 1, and the mental activity is detected based on the analysis result. The heart is remarkably moved along with the heartbeat, and when an ultrasonic wave is incident as a detection probe, a reflected wave is generated in a form in which a Doppler effect is generated by the movement. Since the heart changes its behavior clearly and promptly reflecting the mental activity level, the mental activity level can be accurately detected in real time by analyzing the reflected wave.

図11に示すように、エコー測定ユニット12は、座席の背もたれ部150に埋設される測定用超音波送信部1070,1080と反射超音波受信部1090,1100とを有する。超音波送信部は周知の超音波トランスジューサで構成される。また、反射超音波受信部は一般的なマイクを使用することも可能であるが、音響特性の整合を考慮すれば、測定用超音波送信部と同種の超音波トランスジューサを使用することが望ましい。   As shown in FIG. 11, the echo measurement unit 12 includes measurement ultrasonic transmitters 1070 and 1080 and reflected ultrasonic receivers 1090 and 1100 that are embedded in the backrest 150 of the seat. The ultrasonic transmission unit is constituted by a known ultrasonic transducer. The reflected ultrasonic receiving unit can use a general microphone, but it is desirable to use an ultrasonic transducer of the same type as the measurement ultrasonic transmitting unit in consideration of matching of acoustic characteristics.

具体的には、心臓Hを測定対象とした測定用超音波送信部1070と反射超音波受信部1090とからなる第一エコー測定部と、心臓H(及び肺)から外れた人体部分(この実施形態では横隔膜よりも下側の脊椎付近)を測定対象とした測定用超音波送信部1080と反射超音波受信部1100とからなる第二エコー測定部と、第一エコー測定部の反射超音波受信部1090の出力波形と、第二エコー測定部の反射超音波受信部1100の出力波形との差分波形を演算・出力する差分演算部と1040,1050,1060とを有する。   Specifically, a first echo measurement unit including a measurement ultrasonic transmission unit 1070 and a reflected ultrasonic reception unit 1090 with the heart H as a measurement target, and a human body part that is out of the heart H (and lungs) (this implementation) In the embodiment, a second echo measurement unit including a measurement ultrasonic transmission unit 1080 and a reflected ultrasonic reception unit 1100 with a measurement target in the vicinity of the spine below the diaphragm) and reflected ultrasonic reception of the first echo measurement unit. A difference calculation unit for calculating and outputting a difference waveform between the output waveform of the unit 1090 and the output waveform of the reflected ultrasonic wave reception unit 1100 of the second echo measurement unit, and 1040, 1050, and 1060.

人体外から超音波を入射して心臓H(あるいは肺)に到達させれば、その反射波から心臓H(あるいは肺)の運動を反映したドップラーシフトを観測することができる。しかし、運転者の姿勢変化、運転者人体に作用する車両振動や、上記臓器以外の人体組織内の血流など、心臓ないし肺の運動以外にもドップラーシフト要因は存在し誤差要因となりうる。そこで、心臓H(あるいは肺)を測定対象とした第一エコー測定部の反射超音波受信部1090の出力波形から、心臓H(あるいは肺)から外れた位置にある人体部分を測定対象とした第二エコー測定部の反射超音波受信部1100の出力波形を減算することで、上記心臓H(あるいは肺)の運動以外のドップラーシフト要因を効果的に排除することができる。具体的には、差分演算部において、第一エコー測定部の反射超音波受信部1090の出力波形と第二エコー測定部の反射超音波受信部1100の出力波形とのどちらかが反転増幅部1040で反転され、また、両出力波形のどちらかが位相器1050で位相調整され(この実施形態では、第一エコー測定部の反射超音波受信部1090の出力が反転増幅部1040に入力され、第二エコー測定部の反射超音波受信部1100の出力が位相器1050に入力され、加算器1060にて合成される。なお、加算器1060を差動増幅器にて置き換えれば反転増幅部1040は不要である。また、位相器1050の位相シフト量は、例えば、加算器1060の出力波形の積分振幅が最小化されるようにフィードバック制御される。   When an ultrasonic wave is incident from outside the human body and reaches the heart H (or lung), a Doppler shift reflecting the motion of the heart H (or lung) can be observed from the reflected wave. However, there are Doppler shift factors other than heart or lung motion, such as changes in the driver's posture, vehicle vibrations acting on the driver's body, and blood flow in human tissues other than the above organs, which can be error factors. Accordingly, the human body part located at a position away from the heart H (or lung) is measured from the output waveform of the reflected ultrasound receiving unit 1090 of the first echo measuring unit with the heart H (or lung) as the measurement target. By subtracting the output waveform of the reflected ultrasound receiving unit 1100 of the two-echo measurement unit, Doppler shift factors other than the heart H (or lung) motion can be effectively eliminated. Specifically, in the difference calculation unit, one of the output waveform of the reflected ultrasound receiving unit 1090 of the first echo measuring unit and the output waveform of the reflected ultrasound receiving unit 1100 of the second echo measuring unit is the inverting amplification unit 1040. In addition, one of the two output waveforms is phase-adjusted by the phase shifter 1050 (in this embodiment, the output of the reflected ultrasonic receiving unit 1090 of the first echo measurement unit is input to the inverting amplification unit 1040, The output of the reflected ultrasound receiving unit 1100 of the two-echo measurement unit is input to the phase shifter 1050 and synthesized by the adder 1060. Note that if the adder 1060 is replaced with a differential amplifier, the inverting amplification unit 1040 is unnecessary. The phase shift amount of the phase shifter 1050 is feedback controlled so that, for example, the integrated amplitude of the output waveform of the adder 1060 is minimized.

なお、図11では、第一エコー測定部をなす測定用超音波送信部1070と反射超音波受信部1090との組を、心臓を見込む位置に設けられたものを1つのみ描いているが、例えば、肺を見込む位置に別の第一エコー測定部を設けてもよい。この肺を見込む第一エコー測定部は呼吸に伴なう肺の動きを検出するものとなる。また、運転者毎に心臓や肺の位置は異なるので、心臓や肺の動きを検出するためのエコー測定位置を最適化するために、各々、心臓ないし肺に対応した複数箇所に第一エコー測定部を分散して設けてもよい。これら複数の第一エコー測定部は、測定用超音波送信部の駆動源となるアンプ102を共用する形で制御ユニット1010からの指令に従い、スイッチ1030により適宜切り替えて使用される。   In FIG. 11, only one set of the measurement ultrasonic transmission unit 1070 and the reflected ultrasonic reception unit 1090 that form the first echo measurement unit is provided at a position where the heart is viewed. For example, another first echo measurement unit may be provided at a position where the lung is expected. The first echo measurement unit that anticipates the lung detects the movement of the lung accompanying breathing. In addition, since the position of the heart and lungs is different for each driver, the first echo measurement is performed at multiple locations corresponding to the heart or lung, respectively, in order to optimize the echo measurement position for detecting the movement of the heart and lungs. The parts may be provided in a distributed manner. The plurality of first echo measurement units are used by being appropriately switched by a switch 1030 in accordance with a command from the control unit 1010 in the form of sharing an amplifier 102 serving as a drive source of the measurement ultrasonic transmission unit.

心臓ないし肺のエコー測定により、運転者の心拍数、呼吸数及び血流速度の少なくともいずれかを特定することが可能であり、CPU181は、精神活性度分析ソフトウェア109eは、その特定結果に基づいて運転者の精神活性度を特定する。例えば、心鼓動の場合、反射超音波波形である心臓エコー波形には該心鼓動に由来した周波数ドップラーシフトが生ずる。心筋の膨張ないし収縮方向の変位が最大となるとき心筋の移動速度は最小となってドップラーシフトは最小となり、心筋が中立位置を通過するときドップラーシフトは最大となるから、心臓エコー波形を周波数時間変化波形に変換すれば、その周期から心拍数を、振幅から鼓動の強さを読み取ることができる。同様に、肺エコー波形を周波数時間変化波形に変換することにより、その周期から呼吸数を、振幅から呼吸の深さが演算される。図4の構成では、制御ユニット1010内のDSP等を主体に構成された波形演算部が、加算器1060からの入力波形を周波数時間変化波形にリアルタイム変換するとともに、該周波数時間変化波形のピーク解析により心拍数と鼓動の強さ、ないし呼吸数と呼吸の深さを演算し、CPU181側に演算結果を送信するようになっている。   It is possible to specify at least one of the heart rate, respiration rate and blood flow velocity of the driver by echo measurement of the heart or lung, and the CPU 181 determines that the psychoactivity analysis software 109e is based on the identification result. Identify the driver's mental activity. For example, in the case of a heartbeat, a frequency Doppler shift derived from the heartbeat occurs in a cardiac echo waveform that is a reflected ultrasonic waveform. When the displacement in the direction of myocardial expansion or contraction is maximized, the movement speed of the myocardium is minimized and the Doppler shift is minimized, and when the myocardium passes through the neutral position, the Doppler shift is maximized. If converted into a change waveform, the heart rate can be read from the period, and the strength of the heartbeat can be read from the amplitude. Similarly, by converting the lung echo waveform into a frequency time change waveform, the respiration rate is calculated from the cycle, and the respiration depth is calculated from the amplitude. In the configuration of FIG. 4, a waveform calculation unit mainly configured by a DSP or the like in the control unit 1010 converts the input waveform from the adder 1060 into a frequency time change waveform in real time, and performs peak analysis of the frequency time change waveform. Thus, the heart rate and the strength of the heartbeat, or the respiration rate and the respiration depth are calculated, and the calculation result is transmitted to the CPU 181 side.

なお、心臓内を運動する血流も心臓エコー波形に対するドップラーシフト要因となる。入力する超音波ビームの波長を調整することにより、心臓エコー波形から血流速度を算出することも可能である。例えば、心鼓動の検出を行なう場合は、心臓の外表面とこれに接する人体組織との音響インピーダンス差にて反射が最大化されるように超音波ビームの波長を調整し、血流速度を算出する場合は、心室内壁面とこれに接する血液との音響インピーダンス差にて反射が最大化されるように超音波ビームの波長を調整すればよい。   The blood flow that moves in the heart is also a factor of Doppler shift with respect to the cardiac echo waveform. It is also possible to calculate the blood flow velocity from the cardiac echo waveform by adjusting the wavelength of the input ultrasonic beam. For example, when detecting heartbeats, the blood flow velocity is calculated by adjusting the wavelength of the ultrasonic beam so that reflection is maximized by the acoustic impedance difference between the outer surface of the heart and the human tissue in contact with it. In this case, the wavelength of the ultrasonic beam may be adjusted so that the reflection is maximized by the acoustic impedance difference between the intraventricular wall and blood in contact therewith.

図12は、エコー測定の流れを示すものである。S601では、超音波の照射時間を設定する。照射時間は、例えば測定する心拍数または呼吸数の一周期分以上の時間が確保されていればよい(例えば、2〜5秒)。その後、S602で特定した測定用超音波送信部1070が動作するようにスイッチ1030(図11)を切り替えた後、超音波を発射する。そして、S603でエコー波形を測定する。S604では経過時間を判断し、S601で設定済の測定時間が経過したかを判断し、経過していればS605に進み、同じ処理が次に起動されるタイミング(例えば1〜60秒)を設定して終了する。   FIG. 12 shows the flow of echo measurement. In S601, an ultrasonic irradiation time is set. The irradiation time should just ensure the time more than one period of the heart rate or respiration rate to measure, for example (for example, 2-5 seconds). After that, the switch 1030 (FIG. 11) is switched so that the measurement ultrasonic transmission unit 1070 specified in S602 operates, and then ultrasonic waves are emitted. In step S603, the echo waveform is measured. In step S604, the elapsed time is determined. In step S601, it is determined whether the set measurement time has elapsed. If the elapsed time has elapsed, the process proceeds to step S605 to set a timing (for example, 1 to 60 seconds) at which the same process is started next. And exit.

怒った(不愉快方向)り、逆に陽気に盛り上がたり(愉快方向)して活性度が高ければ、心拍数Hと呼吸数Bとはいずれも上昇する傾向にあり、逆に疲れ・倦怠や落胆状態(不愉快方向)となっていたり、のんびり癒されてリラックスしている状態(愉快方向)では、心拍数Hと呼吸数Bとはいずれも低下傾向となる。従って、精神活性度Jは、心臓エコー測定により得られる運転者の心拍数H(あるいは血流速度)、あるいは肺エコー測定により得られる運転者の呼吸数Bに基づいて特定できる。   If you get angry (unpleasant direction) or cheerfully swell (pleasant direction) and have high activity, both heart rate H and respiratory rate B tend to increase, conversely fatigue and fatigue In a state of being discouraged (unpleasant direction) or in a state of being relaxed and relaxed (pleasant direction), both heart rate H and respiratory rate B tend to decrease. Therefore, the mental activity J can be specified based on the driver's heart rate H (or blood flow velocity) obtained by echocardiography or the driver's respiratory rate B obtained by lung echo measurement.

本実施形態では、平常時に0となり、平常時よりも高い場合に正の値、同じく低い場合に負の値となるように活性度Jを定めている。例えば、平常時の心拍数及び呼吸数を予め測定しておき、その値をそれぞれHm及びBmとすれば、J=(H−Hm)/Hm、あるいはB=(B−Bm)/Bmとして算出できる。本実施形態では心拍数及び呼吸数の双方を用い、具体的には心拍数と呼吸数との積の平方根の形で活性度Jを算出している。   In the present embodiment, the activity J is determined so that it is 0 at normal time, a positive value when it is higher than normal, and a negative value when it is lower. For example, if the normal heart rate and respiration rate are measured in advance and the values are Hm and Bm, respectively, J = (H−Hm) / Hm or B = (B−Bm) / Bm. it can. In the present embodiment, both the heart rate and the respiration rate are used, and specifically, the activity J is calculated in the form of the square root of the product of the heart rate and the respiration rate.

次に、愉快度Iについては、心拍数や呼吸数のみでは、愉快側に傾いているのかあるいは不愉快側に傾いているのかが必ずしも正確に判定できない場合が多い。そこで、愉快度Iを、エコー測定以外の生体パラメータにより別途特定するようにしている。例えば、同じ活性度の高い状態でも、イライラしたり怒ったりしているときは運転者の姿勢が頻繁に変化するようになる一方、視線方向の変化は逆に減少し、いわゆる「目が据わった」状態になる。また、顔の表情には怒りの表情が顕著に表れる。視線と表情については顔カメラ521が撮影する顔画像から特定でき、姿勢については、姿勢測定ユニット13(図14)により特定できる。   Next, with respect to the pleasantness degree I, it is often not always possible to accurately determine whether the person is leaning toward the pleasant side or the unpleasant side based on only the heart rate and the respiratory rate. Therefore, the pleasantness degree I is separately specified by biological parameters other than the echo measurement. For example, even when the activity level is the same, when the driver is frustrated or angry, the driver's posture changes frequently, while the change in the gaze direction decreases, so-called State. In addition, an angry expression appears prominently in the facial expression. The line of sight and expression can be specified from the face image captured by the face camera 521, and the posture can be specified by the posture measurement unit 13 (FIG. 14).

図13は、表情変化解析処理のフローチャートの一例を示すものであり、SS151で変化カウンタNをリセットし、SS152でサンプリングタイミングが到来すればSS153に進み、顔画像を撮影する。顔画像は表情特定が可能な正面画像が得られるまで繰り返す(SS154→SS153)。正面画像が得られたら、マスター画像(記憶装置535内)と順次比較することにより、表情種別を特定する(SS155)。特定された表情種別が「不愉快」なら、愉快度Iを「−1」にセットする(SS156→SS157)。特定された表情種別が「安定」なら、愉快度Iに「0」をセットする(SS158→SS159)。特定された表情種別が「不愉快」なら、愉快度Iに「+1」をセットする(SS160→SS161)。以上の処理を、定められたサンプリング期間が満了するまで繰り返す(SS164→SS152)。サンプリング期間が満了すればSS165へ進み、愉快度Iの平均値I(整数化する)を算出する。   FIG. 13 shows an example of a flowchart of facial expression change analysis processing. The change counter N is reset in SS151, and if the sampling timing comes in SS152, the process proceeds to SS153 to capture a face image. The face image is repeated until a front image capable of specifying an expression is obtained (SS154 → SS153). When the front image is obtained, the facial expression type is specified by sequentially comparing with the master image (in the storage device 535) (SS155). If the specified facial expression type is “unpleasant”, the pleasantness degree I is set to “−1” (SS156 → SS157). If the specified facial expression type is “stable”, “0” is set in the pleasantness degree I (SS158 → SS159). If the specified facial expression type is “unpleasant”, “+1” is set to the pleasantness degree I (SS160 → SS161). The above processing is repeated until a predetermined sampling period expires (SS164 → SS152). If the sampling period has expired, the process proceeds to SS165, and the average value I (to make an integer) of the pleasantness degree I is calculated.

また、本実施形態では、図14に示すように姿勢測定ユニット13を、シートの座部及び背もたれ部に複数分散埋設された着座センサ520A,520B,520Cの検知出力に基づいて、着座した運転者(運転者)の姿勢変化を波形検出するように構成している。着座センサは、いずれも着座圧力を検出する圧力センサで構成され、具体的には、正面を向いて着座した運転者の背中の中心に基準センサ520Aが配置される。残部のセンサは、それよりもシート左側に偏って配置された左側センサ520Bと、シート右側に偏って配置された右側センサ520Cとからなる。基準センサ520Aの出力は、差動アンプ603及び604にて、それぞれ右側センサ520Cの出力及び左側センサ520Bの出力との差分が演算され、さらにそれらの差分出力同士が、姿勢信号出力用の差動アンプ605に入力される。その、姿勢信号出力Vout(第二種生体状態パラメータ)は、運転者が正面を向いて着座しているときほぼ基準値(ここではゼロV)となり、姿勢が右に偏ると右側センサ520Cの出力が増加し、左側センサ520Cの出力が減少するので負側にシフトし、姿勢が左に偏るとその逆となって正側にシフトする。なお、右側センサ520C及び左側センサ520Bは、いずれも加算器601,602により、座部側のセンサ出力と背もたれ側のセンサ出力との加算値として出力されているが、残部センサ出力と背もたれセンサ出力の差分値を出力するようにしてもよい(このようにすると、運転者が前のめりになったとき背もたれセンサ側の出力が減少し、その差分値が増大するので、より大きな姿勢の崩れとして検出することができる)。   Further, in the present embodiment, as shown in FIG. 14, the posture measurement unit 13 is seated on the basis of detection outputs of the seating sensors 520A, 520B, and 520C that are embedded in a distributed manner in the seat portion and the backrest portion of the seat. (Driver) is configured to detect a change in posture. Each of the seating sensors includes a pressure sensor that detects a seating pressure, and specifically, a reference sensor 520A is disposed at the center of the back of the driver who is seated facing the front. The remaining sensor is composed of a left sensor 520B arranged to be deviated to the left side of the seat and a right sensor 520C arranged to be deviated to the right side of the seat. The difference between the output of the reference sensor 520A and the output of the right sensor 520C and the output of the left sensor 520B is calculated by the differential amplifiers 603 and 604, respectively. Input to the amplifier 605. The posture signal output Vout (second-type biological condition parameter) is substantially a reference value (here, zero V) when the driver is sitting facing the front, and when the posture is biased to the right, the output of the right sensor 520C. Increases and the output of the left sensor 520C decreases, so it shifts to the negative side. Note that the right sensor 520C and the left sensor 520B are output by the adders 601 and 602 as an added value of the sensor output on the seat side and the sensor output on the back side, but the remaining sensor output and the back sensor output are output. (When doing so, the output on the backrest sensor side decreases when the driver turns forward, and the difference value increases, so this is detected as a larger posture collapse.) be able to).

次に、図15は、姿勢信号波形解析処理のフローチャートの一例を示すものであり、サンプリングルーチンでは、一定時間間隔で定められたサンプリングタイミングが到来する毎に、図14を用いて説明した姿勢信号値(Vout)をサンプリングし、波形記録するSS201,SS202)。そして、波形解析ルーチンでは、SS203にて直近の一定期間にサンプリングされた姿勢信号値を波形として取得し、SS204で該波形に周知の高速フーリエ変換処理を行なって周波数スペクトラムを求め、SS205で、そのスペクトラムの中心周波数(あるいはピーク周波数)fを演算する。また、SS206では、波形を一定数の区間に分割し、SS207で区間別の姿勢信号平均値を演算する。そして、SS259では、区間毎に、平均姿勢信号値を波形中心線として、積分振幅を演算し、その平均値を波形振幅の代表値Aとして決定する。   Next, FIG. 15 shows an example of a flowchart of posture signal waveform analysis processing. In the sampling routine, the posture signal described with reference to FIG. The value (Vout) is sampled and the waveform is recorded (SS201, SS202). Then, in the waveform analysis routine, the attitude signal value sampled in the latest fixed period in SS203 is acquired as a waveform, and in SS204, a known fast Fourier transform process is performed on the waveform to obtain a frequency spectrum. The center frequency (or peak frequency) f of the spectrum is calculated. In SS206, the waveform is divided into a certain number of sections, and in SS207, the attitude signal average value for each section is calculated. In SS259, the integral amplitude is calculated for each section using the average posture signal value as the waveform center line, and the average value is determined as the representative value A of the waveform amplitude.

視線の場合とは逆に、感情が不愉快側に傾いていれば姿勢変化の振幅Aは比較的大きくなり、変動(つまり周波数f)が激しくなる。逆に愉快側に傾いていれば姿勢変化の振幅Aは小さくなり、変動(つまり周波数f)は緩やかとなる。前述のごとく、平常時に0となり、平常時よりも高い場合に正の値、同じく低い場合に負の値となるように愉快度Iを定める。例えば、平常時の姿勢変化の振幅A及び周波数fを予め測定しておき、その値をそれぞれAm及びfmとすれば、J=−(A−Am)/Am、あるいはJ=−(f−fm)/fmとして算出できる。本実施形態では、振幅A及び周波数fの愉快度Iを算出している(SS209)。   Contrary to the case of the line of sight, if the emotion is inclined to the unpleasant side, the amplitude A of the posture change becomes relatively large and the fluctuation (that is, the frequency f) becomes intense. On the contrary, if it is inclined to the pleasant side, the amplitude A of the posture change becomes small and the fluctuation (that is, the frequency f) becomes gentle. As described above, the pleasantness degree I is determined so that it is 0 in normal times, a positive value when higher than normal, and a negative value when lower than normal. For example, if the amplitude A and the frequency f of the normal posture change are measured in advance and the values are Am and fm, respectively, J = − (A−Am) / Am or J = − (f−fm ) / Fm. In the present embodiment, the pleasantness I of the amplitude A and the frequency f is calculated (SS209).

上記3通りの方法による愉快度Iはそれぞれ単独で用いてもよいが、本実施形態では、愉快度特定の精度を高めるため、複数の異なる方法で特定された愉快度の平均値(例えば相乗平均)を使用する。また、愉快度特定に際しては、上記以外にも、感情に応じて身体に生ずるノンバーバルな身振りや手振りなどを参照することができる。   Although the degree of pleasure I by the above three methods may be used independently, in this embodiment, in order to improve the accuracy of specifying the degree of pleasure, an average value of the degree of pleasure specified by a plurality of different methods (for example, geometric average) ). In addition to specifying the pleasantness, in addition to the above, it is possible to refer to non-verbal gestures and hand gestures that occur in the body according to emotions.

ラッセル・メーラビアンが提唱する感情平面の概念によれば、図16に示すように、特定の感情状態のいずれにも偏らない中庸の精神状態、すなわちニュートラル状態を基準として、精神の活性度Jと愉快度Iとは、いずれも、正と負の2状態(活性度Jであれば活性/不活性、愉快度Iであれば愉快/不愉快)を定義できる。そして、精神活性度(覚醒度)Jを縦軸に、愉快度Iを横軸に定めた感情平面上の4つの象限に、人間の「喜」「怒」「哀」「楽」の4つの感情状態、具体的には、盛り上がり状態(「喜」に対応、精神活性度:正/愉快度:正)、怒り・興奮状態(「怒」に対応、精神活性度:正/愉快度:負)、落胆・倦怠状態(「哀」に対応、精神活性度小/不愉快)、癒し・リラックス状態(「楽」に対応、精神活性度:負/愉快度:正))を対応付けることができる。   According to the concept of emotional plane proposed by Russell Meravian, as shown in FIG. 16, the mental activity J and the pleasantness are based on the neutral mental state that is not biased to any specific emotional state, that is, the neutral state. The degree I can define both positive and negative states (active / inactive if activity J, pleasant / unpleasant if pleasantness I). And in the four quadrants on the emotion plane with mental activity (wakefulness) J on the vertical axis and pleasantness I on the horizontal axis, there are four human “joy”, “anger”, “sorrow” and “easy”. Emotional state, specifically, state of excitement (corresponding to “joy”, mental activity: positive / joyfulness: positive), anger / excited state (corresponding to “anger”, mental activity: positive / pleasantness: negative ), Disappointment / malaise state (corresponding to “sorrow”, low mental activity / unpleasant), healing / relaxed state (corresponding to “easy”, mental activity: negative / pleasure: positive)).

上記のごとく、運転者の精神活性度Jと精神愉快度Iとがそれぞれ特定できれば、それら活性度Jと愉快度Iとの値の組を図16の感情平面上にプロットできる。そして、プロット点Qが感情平面のどの象限に属するかにより運転者の感情種別を特定でき、原点Oからプロット点Qまでの距離により感情の強さを特定できる。換言すれば、感情平面の原点近傍のエリアは、前述の中庸の精神状態(ニュートラル状態)を表わすものであり、各象限にてこのニュートラル状態から遠ざかるにつれ、個々の象限に特徴的な感情ひいては欲求により強く支配された状態へと推移する。   As described above, if the driver's mental activity level J and mental pleasure level I can each be specified, a set of values of the activity level J and pleasure level I can be plotted on the emotion plane of FIG. The driver's emotion type can be specified depending on which quadrant of the emotion plane the plot point Q belongs to, and the emotion strength can be specified by the distance from the origin O to the plot point Q. In other words, the area near the origin of the emotion plane represents the above-mentioned mental state (neutral state), and as each quadrant moves away from this neutral state, the emotions and desires that are characteristic of each quadrant To a state that is strongly controlled by

運転者の精神状態が余計な感情にとらわれて波立っている場合、つまり、ニュートラル状態から遠い精神状態では、その感情発生の要因と直接関係のない外的刺激、つまり衝突警戒車両の接近に対しては認知が鈍感になるのは経験則から明らかであり、逆にニュートラル状態に近ければ認知感度は高くなる。従って、精神活性度Jと精神愉快度Iとの組合せで表現される感情平面上のプロット点Qの原点Oからの距離が大きいほど注意集中度は低くなり、逆に小さいほど注意集中度は高くなる。そして、プロット点Qの原点Oからの距離が一定半径内、つまり、図16に「集中」と表示されたニュートラル領域に属していれば、衝突警戒車両の接近を十分認知できる注意集中状態にあると判定できる。一方、プロット点Q’の原点Oからの距離が閾半径を超えて大きくなった場合は、衝突警戒車両に対する認知に支障をきたす不注意状態と判定できる。最も簡単な方式としては、閾半径を一段階とし、集中/不注意の2レベルにて判定を行なう形であるが、図16に示すように、上記閾半径を複数段階に設定し、例えば、後述の認知支援出力を段階的に増強できるように、不注意度のレベルをさらに細分化することももちろん可能である。   When the driver's mental state is swayed by extra emotions, that is, in a mental state far from the neutral state, external stimuli that are not directly related to the cause of the emotion generation, that is, the collision warning vehicle approach It is clear from the empirical rule that cognition becomes insensitive, and conversely, the cognitive sensitivity is higher when it is close to the neutral state. Accordingly, the greater the distance from the origin O of the plot point Q on the emotion plane expressed by the combination of the mental activity J and the mental pleasure I, the lower the attention concentration, and vice versa. Become. Then, if the distance from the origin O of the plot point Q is within a certain radius, that is, belongs to the neutral region displayed as “concentration” in FIG. 16, it is in the attention concentration state that can sufficiently recognize the approach of the collision warning vehicle. Can be determined. On the other hand, when the distance from the origin point O of the plot point Q ′ exceeds the threshold radius, it can be determined that the careless state impedes the recognition of the collision warning vehicle. As the simplest method, the threshold radius is set to one step and the determination is made at two levels of concentration / carelessness. As shown in FIG. 16, the threshold radius is set to a plurality of steps, for example, It is of course possible to further subdivide the level of inattention so that the later-described cognitive support output can be increased step by step.

図24に戻り、S304では、衝突警戒車両の接近方向周辺の一定領域内に運転者の注視方向が入っていれば衝突警戒車両への注意があり、逆に入っていなければ衝突警戒車両への注意がないと判断する一方、上記の注意集中度が集中領域に入っていれば衝突警戒車両認識への注意集中レベルが高く、入っていなければ注意集中レベルが低いと判断する。そして、図21に示すように、両判断結果の組合せにより、衝突警戒車両への認知状況は4つのパターンに分かれる。
パターン1:衝突警戒車両への視線があり(衝突警戒車両認識への)注意集中レベルも高い。認知支援の必要性がほとんどない。
パターン2:衝突警戒車両への視線があり注意集中レベルが低い。しかし、視覚的には衝突警戒車両を捕らえられている可能性が十分にあるため、認知支援の必要性はパターン1に準じて低い。
パターン3:注意集中レベルは高いが、衝突警戒車両の接近方向から注視方向が外れており、咄嗟の対応にはやや不安があり、認知支援を行なう。
パターン4:衝突警戒車両への視線もなく注意集中レベルも低い。衝突警戒車両の接近にはほとんど無頓着な状態であり、認知支援が不可欠であるとともに、状況に応じた運転誘導も行なう。
Returning to FIG. 24, in S304, if the driver's gaze direction is within a certain area around the approach direction of the collision warning vehicle, attention is given to the collision warning vehicle. On the other hand, if it is determined that there is no attention, it is determined that the attention concentration level for collision warning vehicle recognition is high if the attention concentration level is within the concentration area, and that the attention concentration level is low if it is not included. And as shown in FIG. 21, the recognition condition to a collision alert vehicle is divided into four patterns by the combination of both judgment results.
Pattern 1: There is a line of sight to the collision warning vehicle (to the collision warning vehicle recognition) and the attention concentration level is high. There is almost no need for cognitive support.
Pattern 2: There is a line of sight to the collision warning vehicle and the attention concentration level is low. However, since there is a possibility that a collision-warning vehicle is captured visually, the need for cognitive support is low according to Pattern 1.
Pattern 3: Although the attention concentration level is high, the gaze direction is deviated from the approach direction of the collision warning vehicle, and there is some anxiety about the response of the heel, and cognitive support is provided.
Pattern 4: There is no line of sight to the collision warning vehicle and the attention concentration level is low. It is almost involuntary for the approach of collision-sensitive vehicles, and cognitive support is indispensable, and driving guidance according to the situation is also performed.

図22に戻り、S105で、上記の判定結果が認知支援を要求する場合(パターン3又は4)はS106に進み、衝突警戒車両の認知支援出力ないし運転誘導出力を行なう。認知支援出力として最も簡単なものは、図25に示すように、衝突警戒車両が接近してくることを、モニタ100Nに報知メッセージを文字表示したり、あるいは図26に示すように音声出力する方式である。音声出力の場合は、報知メッセージ(「他車接近中です」)の出力に先立って、アラーム音(「POON」)を出力すれば注意を促す効果が高められる。このとき、図27に示すように、図3の前方右撮影カメラ14(R)及び前方左撮影カメラ14(L)のいずれが衝突警戒車両を検出しているかに応じて、その接近方向も合わせて報知するとより有効である。   Returning to FIG. 22, when the determination result requests recognition support in S105 (pattern 3 or 4), the process proceeds to S106, where a recognition support output or a driving guidance output of the collision warning vehicle is performed. As the simplest recognition support output, as shown in FIG. 25, a notification message is displayed in text on the monitor 100N, or a voice is output as shown in FIG. It is. In the case of audio output, the effect of calling attention is enhanced by outputting an alarm sound (“POON”) prior to the output of the notification message (“Other vehicle approaching”). At this time, as shown in FIG. 27, depending on which of the front right camera 14 (R) and the front left camera 14 (L) in FIG. It is more effective to inform them.

なお、図3の前方撮影カメラ14(F)の撮影画像を用いれば対向車や後続車の接近検知を行なうことができ、例えば、ステアリングやウィンカー操作の方向により、それら対向車や後続車を衝突警戒車両として特定し、認知支援を行なうことが可能であるが、この場合の対向車や後続車の検出方法は周知であるため、詳細な説明は略する。   3 can be used to detect the approach of the oncoming vehicle and the following vehicle, for example, the oncoming vehicle and the following vehicle collide with each other depending on the direction of the steering or winker operation. Although it is possible to identify the vehicle as a warning vehicle and perform cognitive support, the detection method of the oncoming vehicle and the following vehicle in this case is well known, and detailed description thereof will be omitted.

また、上記の報知メッセージ出力を主体とした基本認知支援出力に対し、以下のものから選ばれる1ないし2以上の強調認知支援出力を組み合わせて実施することも効果的である。
・衝突警戒車両接近時は徐行を促すことが効果的だから、図1のアクセルペダル振動部53によりアクセルペダル51に乗っている運転者の足に向け振動を出力する。アクセルペダルに通常では有り得ないような振動を与え、咄嗟にペダルから足を離させる効果を有する。
・運転席シート72に埋設されたシートバイブレータ71(ドライバー71d)に、衝突警戒車両接近認知を促すための振動出力を行なわせる。
・メータ81M、ミラー内表示装置82、ヘッドアップディスプレイ83の少なくともいずれかに、赤や黄色などの警告色の光を出力させ、注意を喚起する。また、バックミラーとサイドミラーを、例えばハーフミラーとし、ミラー裏面よりLED等により警告点灯表示を行なう。透明ELディスプレイをミラー表面に重畳させ、表示を行なってもよい。フロントウィンドウでは、ヘッドアップディスプレイ(透明ELディスプレイでもよい)により衝突警戒車両の認知支援表示を行なう。また、メータ81Mの場合、衝突警戒車両の接近をアイコン表示したり、文字盤や画面全体を赤系統の警告色で点滅させることで、衝突警戒車両接近に対する注意喚起を行なう。メータ81MのバックライトがフルカラーLEDで構成されている場合は、その出力で警告色点灯出力を行なうこともできる。
・匂い発生器93から、危険を感じ、動作を止める香りを発生する。一瞬に、集中できる匂いを発生する。この場合、空気の流れに乗って香りは伝達されることから、空気砲または気流コントロールとセットで考慮するとよい。
It is also effective to combine one or more emphasized recognition support outputs selected from the following with the basic recognition support output mainly composed of the notification message output.
Since it is effective to encourage slowing down when approaching a collision warning vehicle, the accelerator pedal vibration unit 53 of FIG. 1 outputs vibrations toward the driver's feet riding on the accelerator pedal 51. It gives the accelerator pedal a vibration that would normally not be possible, and has the effect of separating the foot from the pedal.
The vibration output for encouraging the collision warning vehicle approach recognition is performed by the seat vibrator 71 (driver 71d) embedded in the driver seat 72.
At least one of the meter 81M, the in-mirror display device 82, and the head-up display 83 outputs warning light such as red or yellow to call attention. Further, the rearview mirror and the side mirror are, for example, half mirrors, and warning lights are displayed by LEDs or the like from the rear surface of the mirror. A transparent EL display may be superimposed on the mirror surface for display. On the front window, a head-up display (which may be a transparent EL display) is used to display a collision warning vehicle. Further, in the case of the meter 81M, the approach of the collision warning vehicle is displayed as an icon, or the dial or the entire screen is flashed with a red warning color to alert the collision warning vehicle approach. When the backlight of the meter 81M is composed of a full color LED, a warning color lighting output can be performed with the output.
From the odor generator 93, a scent that feels dangerous and stops operation is generated. Generates a scent that can be concentrated in an instant. In this case, since the scent is transmitted along with the air flow, it is better to consider it in combination with the air cannon or air flow control.

ここで重要な点は、図24のS304で、衝突警戒車両に対する認知可能度が比較的高く、認知支援出力が特に必要でないと判定された場合(パターン1又は2)は、衝突警戒車両の接近中であっても認知支援出力を敢えて行なわないか、仮に行なっても、具体的には、認知支援レベルの低い定常的な処理(バックグラウンド認知支援出力)とすることで、S304で衝突警戒車両の認知レベルが低いと判定された場合を受けてS106で実行される特有の認知支援出力がより目立つように、メリハリを持たせることが肝要である。バックグラウンド認知支援出力としては次のようなものがある。
・図1のマイク15で取り込んだ車外音に衝突警戒車両のサイレン音が含まれていた場合、これを増幅してスピーカー91から車内に出力する。また、車外音の増幅出力に代え、合成サイレン音をスピーカー91から出力するようにしてもよい。
・S106で実行される特有の認知支援出力にて、基本認知支援出力と併用されていた前述の強調認知支援出力を、バックグラウンド認知支援出力においては休止する。
The important point here is that in S304 of FIG. 24, when it is determined that the recognition possibility for the collision warning vehicle is relatively high and the recognition support output is not particularly necessary (pattern 1 or 2), the collision warning vehicle approaches. Even if the vehicle is in the middle, the recognition support output is not performed intentionally, or even if it is performed, the collision warning vehicle in step S304 is specifically performed by performing a steady process with low recognition support level (background recognition support output). It is important to provide sharpness so that the specific recognition support output executed in S106 is more noticeable when it is determined that the recognition level of the image is low. The background recognition support output includes the following.
If the outside sound captured by the microphone 15 in FIG. 1 includes a siren sound of a collision-preventing vehicle, it is amplified and output from the speaker 91 into the vehicle. Further, a synthetic siren sound may be output from the speaker 91 instead of the amplified output of the vehicle exterior sound.
In the specific recognition support output executed in S106, the above-described enhanced recognition support output that was used in combination with the basic recognition support output is paused in the background recognition support output.

また、図27に示すように、合流地点への進入禁止あるいは一旦停止を促す運転誘導メッセージを出力するようにしてもよいそして、このような運転誘導を行なった場合、これに引き続いて、自車の加速(走行)を抑制する走行抑制制御、あるいは制動を支援する制動支援制御を行なうことができる。   In addition, as shown in FIG. 27, a driving guidance message for urging entry to the junction or for urging to stop may be output. It is possible to perform travel suppression control that suppresses acceleration (travel) of the vehicle or braking support control that assists braking.

走行抑制制御は、例えば次のようにして実施できる。まず、図1の電子スロットル制御装置21は、アクセルセンサ8によるアクセルペダル踏下量(アクセル位置)に応じた開度指示値を受け、スロットルバルブ23が指示開度となるように、駆動モータ22を作動制御する。図18に示すように、アクセル位置に応じてスロットル開度は破線のように変化するが、走行抑制処理時には、実線で示すごとく、アクセル位置に応じたスロットル開度の増加率を上記通常時よりも縮小し、アクセルを踏み込んでもスロットルバルブが大きく開かないようにする。なお、図18では、走行抑制処理時においても微動発進は可能となるよう、アクセルペダルを踏み込んだとき、通常時よりは小さい開度にてスロットルバルブが開くように制御しているが、自動車が全く進まなくなるように、走行抑制処理時においてはアクセルペダルの踏下量と無関係にスロットルバルブの開度がゼロとなるように制御してもよい。   The travel suppression control can be implemented as follows, for example. First, the electronic throttle control device 21 in FIG. 1 receives an opening instruction value corresponding to the accelerator pedal depression amount (accelerator position) by the accelerator sensor 8, and the drive motor 22 so that the throttle valve 23 becomes the instruction opening. To control the operation. As shown in FIG. 18, the throttle opening changes as shown by a broken line in accordance with the accelerator position. However, during the travel suppression process, as shown by the solid line, the increase rate of the throttle opening in accordance with the accelerator position is higher than that in the normal time. The throttle valve will not open greatly even if the accelerator is depressed. In FIG. 18, the throttle valve is controlled to be opened with a smaller opening than normal when the accelerator pedal is depressed so that the fine movement start is possible even during the travel suppression process. In order to prevent the vehicle from proceeding at all, the throttle valve opening may be controlled to be zero regardless of the amount of depression of the accelerator pedal during the travel suppression process.

また、燃料噴射制御装置25による走行抑制制御を行なうことも可能である。具体的には、走行抑制制御時には、ソレノイド噴射時間を通常時よりも短縮し、アクセルを踏み込んだときの燃料噴射を禁止又は噴射量を低くする。なお、衝突警戒車両接近予防時に走行抑制手段として機能させるのは、電子スロットル制御装置21と燃料噴射制御装置25との双方としても良いし、電子スロットル制御装置21のみ、あるいは燃料噴射制御装置25のみとすることも可能である。   It is also possible to perform travel suppression control by the fuel injection control device 25. Specifically, during the travel suppression control, the solenoid injection time is shortened from the normal time, and fuel injection when the accelerator is depressed is prohibited or the injection amount is reduced. It should be noted that the electronic throttle control device 21 and the fuel injection control device 25 may function both as the travel suppression means when preventing the collision warning vehicle approach, or only the electronic throttle control device 21 or only the fuel injection control device 25. It is also possible.

次に、制動支援制御は、例えば次のようにして実施できる。すなわち、ブレーキペダル61に対する踏下反力は、通常時はペダルバックアップスプリング61sにより発生するが、衝突警戒車両接近予防時にはブレーキ反力モータ62を作動させ、ブレーキペダル61の踏下反力を通常時よりも増加させる(踏下反力制御手段)。また、これと合わせ、ECU2は、ブレーキペダル61の踏下量に対するブレーキ圧の増加率を通常時よりも増加させるよう、ブレーキ圧指示値を変更する(ブレーキ圧制御手段)。   Next, the braking support control can be performed as follows, for example. That is, the stepping reaction force against the brake pedal 61 is normally generated by the pedal backup spring 61s, but the brake reaction force motor 62 is operated to prevent the collision warning vehicle approaching and the stepping reaction force of the brake pedal 61 is set to the normal state. (Stepping reaction force control means). At the same time, the ECU 2 changes the brake pressure instruction value so as to increase the rate of increase of the brake pressure with respect to the amount of depression of the brake pedal 61 from the normal time (brake pressure control means).

ブレーキペダル61の踏下量に対するブレーキ圧の増加率を通常時よりも増加させつつ、ブレーキペダル61の踏下反力を通常時よりも増加させると、ブレーキ踏下力がほぼ同等であれば、制動支援を特に行なわない場合と比較して、少ない踏下量で通常時に近い制動効果が得られる。ところが、ブレーキペダル61の踏下反力が普段より大きくなっているので踏み込み不足の違和感を生じ、運転者はブレーキペダル61をさらに踏み込もうとする。その結果、ブレーキ圧が上昇し制動支援効果が得られる。   While increasing the brake pressure increase rate with respect to the depression amount of the brake pedal 61 more than usual and increasing the depression reaction force of the brake pedal 61 more than usual, if the brake depression force is almost equal, Compared to a case where braking assistance is not particularly performed, a braking effect close to normal can be obtained with a small amount of stepping. However, since the stepping reaction force of the brake pedal 61 is larger than usual, the driver feels uncomfortable with insufficient depression, and the driver tries to depress the brake pedal 61 further. As a result, the brake pressure increases and a braking support effect is obtained.

理解を容易にするために、図19に示すように、ブレーキ位置θ,θ,‥に対して、ブレーキ圧指示値が通常時はπ,π,‥となるように設定されているところ、制動支援時には、同じブレーキθ,θ,‥に対して、ブレーキ圧指示値が通常時の2倍の2π,2π,‥に設定されているとする。また、ブレーキ位置θ,θ,‥に対するブレーキ反力の値も通常時の2倍になっているとする(つまり、制動支援時のブレーキ圧指示値の拡大倍率がブレーキ反力の拡大倍率と等しくなっている)。 In order to facilitate understanding, as shown in FIG. 19, the brake pressure instruction values are set to be π 1 , π 2 ,... At normal times with respect to the brake positions θ 1 , θ 2 ,. However, at the time of braking assistance, it is assumed that the brake pressure instruction value is set to 2π 1 , 2π 2 ,... Twice that of the normal time for the same brakes θ 1 , θ 2 ,. It is also assumed that the value of the brake reaction force for the brake positions θ 1 , θ 2 ,... Is twice that of the normal time (that is, the magnification of the brake pressure command value at the time of braking support is the magnification of the brake reaction force). Is equal).

図20に示すごとく、ある踏力fでブレーキペダルを踏下した場合の、通常時(つまり、ブレーキ反力モータ62による反力増加なし:実線)のブレーキ位置をθとし、このときのブレーキ圧指示値をπとする。他方、上記のパラメータ設定で制動支援を行なう場合、反力が増加しているので破線のごとく踏力fに対するブレーキ位置θの増加率が半分に縮小し、他方、ブレーキ位置θに対するブレーキ圧の増加率は倍に拡大している。従って、同じ踏力fでのブレーキ位置は半分のθとなるが、ブレーキ圧の増加率拡大により相殺され、ブレーキ圧指示値は同じπとなる。しかし、運転者は、普段と同じ力でブレーキペダルを踏んでいるのにペダルが下がらず、これを踏み込み不足と感じする。そこで、いつもの踏み込み量に近づくよう踏力をfに増加させる(一点鎖線)。その結果、ブレーキ位置はθからθに増加し、ブレーキ圧指示値もπに増加する。 As shown in FIG. 20, in the case of stepping-on of the brake pedal at a certain depression force f 0, normal (i.e., no reaction force increment by the brake reaction motor 62: solid line) of the braking position of the theta A, the brake in this case the pressure command value to [pi 0. On the other hand, when the braking support is performed with the above parameter setting, the reaction force increases, so that the increase rate of the brake position θ with respect to the pedaling force f is reduced by half as shown by the broken line, and on the other hand, the increase rate of the brake pressure with respect to the brake position θ. Has doubled. Accordingly, the brake position at the same pedaling force f 0 is half θ B , but is canceled by the increase in the increase rate of the brake pressure, and the brake pressure instruction value is the same π 0 . However, the driver feels that the pedal is not fully depressed even though the brake pedal is depressed with the same force as usual, and the pedal is not depressed. Therefore, increasing the pedal force as approaching the usual amount of depression to f 1 (dashed line). As a result, the brake position increases from θ B to θ C , and the brake pressure command value also increases to π 1 .

なお、制動支援処理として、反力拡大処理を行なわず、ブレーキ位置に対するブレーキ圧指示値の拡大のみを行なうことも可能である。しかし、この場合は制動支援時において通常の踏下力でブレーキ圧が急激に増大することになり、過剰制動につながる懸念もある。他方、上記のように反力拡大処理を行なえば、通常の踏下力ではブレーキの効きにそれほど変化が生じず、踏み込み不足を感じてそこからブレーキを増し踏みする形になるので、制動力も段階的に増加し、過剰制動を抑制できる利点がある。   Note that, as the braking support process, it is possible to perform only the expansion of the brake pressure instruction value for the brake position without performing the reaction force expansion process. However, in this case, the brake pressure suddenly increases with a normal stepping force at the time of braking assistance, which may lead to excessive braking. On the other hand, if the reaction force expansion process is performed as described above, the normal braking force does not change much in the braking effectiveness, and it feels that the braking is insufficient and the brakes are stepped on. There is an advantage that it increases in stages and can suppress excessive braking.

なお、上記の運転誘導出力、走行抑制処理及び制動支援処理は、その少なくともいずれかを省略してもよい。   Note that at least one of the driving guidance output, the travel suppression process, and the braking support process may be omitted.

本発明の衝突警戒車両認知支援装置に係る一実施例の電気的構成を示すブロック図。The block diagram which shows the electric constitution of one Example which concerns on the collision warning vehicle recognition assistance apparatus of this invention. 図1の衝突警戒車両認知支援装置に組み込まれたカーナビゲーションシステムの電気的構成を示すブロック図。The block diagram which shows the electric constitution of the car navigation system integrated in the collision warning vehicle recognition assistance apparatus of FIG. 車両撮影カメラの取付形態を示す斜視図。The perspective view which shows the attachment form of a vehicle photographing camera. 車両撮影カメラによる他車(衝突警戒車両)の動画撮影状況の一例を示す図。The figure which shows an example of the video recording condition of the other vehicle (collision warning vehicle) by a vehicle imaging camera. 動画上にて他車の像領域を周波数抽出するための原理説明図。The principle explanatory drawing for extracting the frequency of the image area | region of another vehicle on a moving image. その抽出結果の一例を示す模式図。The schematic diagram which shows an example of the extraction result. 他車の像領域抽出による画像重心の移動形態を説明する図。The figure explaining the movement form of the image gravity center by image area extraction of another vehicle. 合流路上の他車と自車との接近状況を、その撮影位置関係とともに示す説明図。Explanatory drawing which shows the approach condition of the other vehicle and own vehicle on a combined flow path with the imaging | photography positional relationship. カメラ光学系と合流路との位置関係を示す模式図。The schematic diagram which shows the positional relationship of a camera optical system and a combined flow path. 他車と自車との速度方向関係を示す説明図。Explanatory drawing which shows the speed direction relationship between another vehicle and the own vehicle. 他車と自車との合流地点への到達時間の算出方法を説明する図。The figure explaining the calculation method of the arrival time to the confluence | merging point of another vehicle and the own vehicle. エコー測定ユニットの構成例を示す簡易ブロック図。The simple block diagram which shows the structural example of an echo measurement unit. エコー測定ユニットの設定処理の流れを示すフローチャート。The flowchart which shows the flow of a setting process of an echo measurement unit. 精神愉快度を特定するための表情変化解析処理例を示すフローチャート。The flowchart which shows the example of facial expression change analysis processing for specifying mental pleasure. 姿勢測定ユニットの一例を示す回路図。The circuit diagram which shows an example of an attitude | position measurement unit. 精神愉快度を特定するための姿勢変化解析処理例を示すフローチャート。The flowchart which shows the example of an attitude | position change analysis process for specifying mental pleasure. 感情平面を用いて注意集中判定を行なう原理説明図。Explanatory drawing which performs attention concentration determination using an emotion plane. 車両前方及び車両側方の視線特定状況を説明する図。The figure explaining the gaze specific condition of a vehicle front and a vehicle side. スロットル開度制限により走行抑制を行なう事例を示す説明図。Explanatory drawing which shows the example which performs driving | running | working suppression by throttle opening restriction | limiting. 制動支援処理の第一の説明図。The 1st explanatory view of braking assistance processing. 同じく第二の説明図。Similarly second explanatory diagram. 視線と注意集中度とによる衝突警戒車両認知状況の類型パターンを説明する図。The figure explaining the type pattern of the collision warning vehicle recognition situation by a gaze and attention concentration. 衝突警戒車両認知支援装置の主処理の流れを示すフローチャート。The flowchart which shows the flow of the main process of a collision warning vehicle recognition assistance apparatus. シーン推定処理の流れを示すフローチャート。The flowchart which shows the flow of a scene estimation process. 衝突警戒車両特定処理の流れを示すフローチャート。The flowchart which shows the flow of a collision warning vehicle specific process. 表示による認知支援出力の一例を示す図。The figure which shows an example of the recognition assistance output by a display. 音声による認知支援出力の一例を示す図。The figure which shows an example of the recognition assistance output by an audio | voice. 衝突警戒車両の接近方向を特定する概念を説明する図。The figure explaining the concept which specifies the approach direction of a collision warning vehicle.

符号の説明Explanation of symbols

1 衝突警戒車両認知支援装置
2 ECU(認知可能度特定手段、注意集中度特定手段、衝突警戒車両接近検出手段、衝突警戒車両像領域特定手段、画素出力波形検出手段、衝突警戒車両像領域構成画素特定手段、他車走行速度測定手段、他車合流距離推定手段、衝突警戒車両判定手段、動画上移動特性解析手段、他車走行速度算出手段)
10 顔カメラ(生体情報検出手段、精神愉快度特定手段)
11 視線カメラ(視線方向検出手段)
12 エコー測定ユニット(注意集中度特定手段、エコー測定装置)
13 姿勢測定ユニット(精神愉快度特定手段)
14 外部カメラ(車両撮影カメラ:衝突警戒車両接近検出手段、衝突警戒車両接近方向検出手段)
15 車速センサ(自車走行速度測定手段)
16 カーナビゲーションシステム(自車合流距離推定手段、現在位置特定手段、合流路特定手段、自車位置マッピング手段、撮影方向距離算出手段)
21 電子スロットル制御装置(走行抑制手段)
23 スロットルバルブ
51 アクセルペダル
53 アクセルペダル振動部(認知支援出力手段)
61 ブレーキペダル
62 ブレーキ反力モータ(制動支援手段、踏下反力制御手段)
71 シートバイブレータ(認知支援出力手段)
91 スピーカー(認知支援出力手段)
93 匂い発生器(認知支援出力手段)
110 モニタ(認知支援出力手段)
MC 自車
TC 他車(衝突警戒車両)
DESCRIPTION OF SYMBOLS 1 Collision warning vehicle recognition assistance apparatus 2 ECU (recognition degree identification means, attention concentration degree identification means, collision warning vehicle approach detection means, collision warning vehicle image area identification means, pixel output waveform detection means, collision warning vehicle image area constituting pixel Identification means, other vehicle travel speed measurement means, other vehicle merging distance estimation means, collision warning vehicle determination means, moving image moving characteristic analysis means, other vehicle travel speed calculation means)
10 face camera (biological information detection means, mental pleasure identification means)
11 Gaze Camera (Gaze Direction Detection Means)
12 Echo measurement unit (attention concentration level identification means, echo measurement device)
13 Posture measurement unit (mental pleasure level identification means)
14 External camera (vehicle shooting camera: collision warning vehicle approach detection means, collision warning vehicle approach direction detection means)
15 Vehicle speed sensor (Vehicle speed measurement means)
16 Car navigation system (own vehicle merging distance estimating means, current position identifying means, merging path identifying means, own vehicle position mapping means, photographing direction distance calculating means)
21 Electronic throttle control device (running suppression means)
23 Throttle valve 51 Accelerator pedal 53 Accelerator pedal vibration section (recognition support output means)
61 Brake pedal 62 Brake reaction force motor (braking support means, stepping reaction force control means)
71 Seat vibrator (recognition support output means)
91 Speaker (Cognitive support output means)
93 Odor generator (cognitive support output means)
110 monitor (recognition support output means)
MC own vehicle TC other vehicle (collision warning vehicle)

Claims (27)

自車走行路の走行方向前方に存在する合流路との合流地点に向け、前記合流路上を走行・接近する衝突警戒車両を検出する衝突警戒車両接近検出手段と、
前記自車の運転者の生体情報を検出する生体情報検出手段と、
前記生体情報に基づいて前記運転者の前記衝突警戒車両に対する認知可能度を特定する認知可能度特定手段と、
前記衝突警戒車両の前記合流地点への接近が検出され、かつ、特定された前記認知可能度が予め定められたレベルよりも低下した場合に、前記衝突警戒車両の接近に対する当該場合に特有の認知支援出力を行なう認知支援出力手段と、
を有することを特徴とする衝突警戒車両認知支援装置。
A collision warning vehicle approach detection means for detecting a collision warning vehicle traveling and approaching on the joint path toward the junction with the joint path existing in the traveling direction forward of the host vehicle traveling path;
Biological information detecting means for detecting biological information of the driver of the own vehicle;
Recognizability specifying means for specifying the recognizability of the driver with respect to the collision warning vehicle based on the biometric information;
When the collision warning vehicle approaching to the junction is detected, and the identified recognizability falls below a predetermined level, the specific recognition of the collision warning vehicle approach in this case Cognitive support output means for performing support output;
A collision warning vehicle recognition support device characterized by comprising:
前記認知可能度特定手段は、前記認知可能度の一つとして、前記衝突警戒車両に対する注意集中度を前記生体情報に基づいて特定する注意集中度特定手段を有し、
前記認知支援出力手段は、少なくとも前記注意集中度が予め定められたレベルよりも低下したときに、前記衝突警戒車両の接近に対する認知支援出力を行なう請求項1記載の衝突警戒車両認知支援装置。
The recognizable degree specifying means has attention concentration degree specifying means for specifying the attention concentration degree with respect to the collision warning vehicle based on the biological information as one of the recognizable degrees,
The collision warning vehicle recognition support device according to claim 1, wherein the recognition support output unit performs a recognition support output with respect to the approach of the collision warning vehicle when at least the attention concentration is lower than a predetermined level.
前記注意集中度特定手段は、前記生体情報に基づいて前記運転者の精神活性度を特定する精神活性度特定手段と、前記生体情報に基づいて前記運転者の精神愉快度を特定する精神愉快度特定手段とを有し、前記注意集中度を前記精神活性度と前記精神愉快度との組合せに基づいて特定する請求項1記載の衝突警戒車両認知支援装置。   The attention concentration degree specifying means includes a mental activity specifying means for specifying the driver's mental activity based on the biometric information, and a mental enjoyment for specifying the driver's mental enjoyment based on the biometric information. The collision warning vehicle recognition support device according to claim 1, further comprising: specifying means, wherein the attention concentration level is specified based on a combination of the mental activity level and the mental pleasure level. 前記注意集中度特定手段は、前記精神活性度と前記精神愉快度との少なくともいずれかが、予め定められた中立範囲を逸脱した場合に前記注意集中度が低下したと判定する請求項3記載の衝突警戒車両認知支援装置。   The attention concentration degree specifying means determines that the attention concentration has decreased when at least one of the mental activity level and the mental pleasure level deviates from a predetermined neutral range. Collision warning vehicle recognition support device. 前記生体情報検出手段は、前記自動車の座席に着座する前記運転者の心臓又は肺のエコー測定を行なうエコー測定ユニットを含み、前記注意集中度特定手段は、該エコー測定結果に基づいて前記注意集中度を特定するものである請求項2ないし請求項4のいずれか1項に記載の衝突警戒車両認知支援装置。   The biological information detection means includes an echo measurement unit that performs echo measurement of the driver's heart or lungs seated on the seat of the automobile, and the attention concentration specifying means is based on the echo measurement result. The collision warning vehicle recognition support apparatus according to any one of claims 2 to 4, wherein the degree is specified. 前記エコー測定ユニットは前記座席の背もたれ部に埋設されるエコー測定用の超音波送信部と反射超音波受信部とを有する請求項5記載の衝突警戒車両認知支援装置。   6. The collision warning vehicle recognition support apparatus according to claim 5, wherein the echo measurement unit includes an echo measurement ultrasonic transmission unit and a reflected ultrasonic reception unit embedded in a backrest portion of the seat. 前記注意集中度特定手段は、前記エコー測定により前記運転者の心拍数、呼吸数及び血流速度の少なくともいずれかを特定し、その特定結果に基づいて前記注意集中度を特定するものである請求項6記載の衝突警戒車両認知支援装置。   The attention concentration specifying means specifies at least one of a heart rate, a respiration rate, and a blood flow velocity of the driver by the echo measurement, and specifies the attention concentration based on the specification result. Item 6. The collision warning vehicle recognition support device according to Item 6. 前記注意集中度特定手段は、心臓又は肺を測定対象とした測定用超音波送信部と反射超音波受信部とからなる第一エコー測定部と、該測定対象以外の人体部分を測定対象とした測定用超音波送信部と反射超音波受信部とからなる第二エコー測定部と、前記第一エコー測定部の反射超音波受信部出力波形と、前記第二エコー測定部の反射超音波受信部出力波形との差分波形を演算・出力する差分演算部とを有し、該差分波形に基づいて前記心拍数、呼吸数及び血流速度の少なくともいずれかを特定するものである請求項7に記載の衝突警戒車両認知支援装置。   The attention concentration degree specifying means uses a first echo measurement unit including a measurement ultrasonic transmission unit and a reflected ultrasonic reception unit as a measurement target for a heart or a lung, and a human body part other than the measurement target as a measurement target. A second echo measurement unit comprising a measurement ultrasonic transmission unit and a reflected ultrasonic reception unit; a reflected ultrasonic reception unit output waveform of the first echo measurement unit; and a reflected ultrasonic reception unit of the second echo measurement unit 8. A difference calculation unit that calculates and outputs a difference waveform from the output waveform, and specifies at least one of the heart rate, the respiration rate, and the blood flow velocity based on the difference waveform. Collision warning vehicle recognition support device. 前記注意集中度特定手段は、前記エコー測定ユニットの測定結果に基づいて前記運転者の精神活性度を特定する精神活性度手段と、該エコー測定ユニットとは別に設けられた前記運転者の精神愉快度を特定する精神愉快度特定手段とを備え、前記注意集中度を前記精神活性度と前記精神愉快度との組合せに基づいて特定する請求項5ないし請求項8のいずれか1項に記載の衝突警戒車両認知支援装置。   The attention concentration degree specifying means includes a mental activity degree means for specifying the driver's mental activity based on the measurement result of the echo measurement unit, and the driver's mental pleasure provided separately from the echo measurement unit. The mental pleasure degree specifying means for specifying a degree is provided, and the attention concentration degree is specified based on a combination of the mental activity level and the mental pleasure level. Collision warning vehicle recognition support device. 前記精神愉快度特定手段は、前記運転者の表情及び姿勢のいずれかに基づいて精神愉快度を検出するものである請求項9記載の衝突警戒車両認知支援装置。   10. The collision warning vehicle recognition support device according to claim 9, wherein the mental pleasantness level specifying means detects a mental pleasantness level based on either the driver's facial expression or posture. 前記生体情報検出手段は、前記生体情報として前記運転者の視線方向を特定する視線方向特定手段を有し、
また、自車に対する前記衝突警戒車両の接近方向を検出する衝突警戒車両接近方向検出手段を備え、
前記認知可能度特定手段は、前記認知可能度の一つとして、前記運転者の視線方向と前記衝突警戒車両の接近方向との一致度を特定するものであり、
前記認知支援出力手段は、前記一致度が予め定められた許容範囲を逸脱することを条件として、前記衝突警戒車両の接近に対する認知支援出力を行なう請求項1ないし請求項10のいずれか1項に記載の衝突警戒車両認知支援装置。
The biometric information detection means includes gaze direction specifying means for specifying the gaze direction of the driver as the biometric information,
In addition, a collision warning vehicle approach direction detection means for detecting the approach direction of the collision warning vehicle relative to the own vehicle,
The recognizable degree specifying means specifies the degree of coincidence between the driver's line-of-sight direction and the approach direction of the collision warning vehicle as one of the recognizable degrees,
11. The recognition support output means according to any one of claims 1 to 10, wherein the recognition support output means performs a recognition support output for the approach of the collision warning vehicle on condition that the degree of coincidence deviates from a predetermined allowable range. The collision warning vehicle recognition support apparatus described.
前記認知可能度特定手段は、前記認知可能度の一つとして、前記衝突警戒車両に対する注意集中度を前記生体情報に基づいて特定する注意集中度特定手段を有し、
前記認知支援出力手段は、前記注意集中度が予め定められたレベルよりも低下し、かつ、前記一致度が予め定められた許容範囲を逸脱した場合に、前記衝突警戒車両の接近に対する認知支援出力を行なう請求項11記載の衝突警戒車両認知支援装置。
The recognizable degree specifying means has attention concentration degree specifying means for specifying the attention concentration degree with respect to the collision warning vehicle based on the biological information as one of the recognizable degrees,
The cognitive support output means outputs a cognitive support output for the approach of the collision warning vehicle when the degree of attention concentration falls below a predetermined level and the degree of coincidence deviates from a predetermined allowable range. The collision warning vehicle recognition support apparatus of Claim 11 which performs.
前記認知支援出力手段は、音声、光、画像、振動ないしそれらの2以上の組合せにより、前記衝突警戒車両の接近を報知する出力を行なう請求項1ないし請求項12のいずれか1項に記載の衝突警戒車両認知支援装置。   The said recognition assistance output means performs the output which alert | reports the approach of the said collision warning vehicle by an audio | voice, light, an image, a vibration, or the combination of 2 or more thereof, It is any one of Claim 1 thru | or 12 Collision warning vehicle recognition support device. 前記衝突警戒車両接近検出手段は、進行方向前方側に自車走行路と前記合流地点を生ずる合流路が撮影可能となるように、前記進行方向と所定の角度をもって前記自車に取り付けられ、該合流路上を走行する前記他車を動画撮影する車両撮影カメラと、該動画の視野上にて一定レベル未満の低速で移動する像領域を、前記合流地点に向けて接近中の前記衝突警戒車両の像領域として特定する衝突警戒車両像領域特定手段とを有する請求項1ないし請求項13のいずれか1項に記載の衝突警戒車両認知支援装置。   The collision warning vehicle approach detection means is attached to the host vehicle at a predetermined angle with respect to the traveling direction so as to enable photographing of the host vehicle traveling path and the merging point on the front side in the traveling direction. A vehicle photographing camera that captures a moving image of the other vehicle traveling on the merge path, and an image area that moves at a low speed below a certain level on the field of view of the moving image of the collision warning vehicle that is approaching the merge point The collision warning vehicle recognition support apparatus according to any one of claims 1 to 13, further comprising a collision warning vehicle image area specifying unit that specifies the image area. 前記衝突警戒車両像領域特定手段は、
撮影される前記動画のフレームを構成する各画素の出力波形を検出する画素出力波形検出手段と、
前記画素のうち、前記出力波形の周波数が予め定められた閾周波数未満となるものを前記衝突警戒車両の像領域構成画素として特定する衝突警戒車両像領域構成画素特定手段と、
を有する請求項14記載の衝突警戒車両認知支援装置。
The collision warning vehicle image area specifying means is:
Pixel output waveform detection means for detecting an output waveform of each pixel constituting the frame of the moving image to be photographed;
A collision warning vehicle image area constituting pixel specifying means for specifying, as the image area constituting pixel of the collision warning vehicle, a pixel whose frequency of the output waveform is less than a predetermined threshold frequency among the pixels;
15. The collision warning vehicle recognition support device according to claim 14.
前記衝突警戒車両接近検出手段は、
前記合流地点に向かう他車の走行速度を測定する他車速度測定手段と、
前記他車の前記合流地点までの距離を推定する他車合流距離推定手段と、
前記自車の走行速度を測定する自車走行速度測定手段と、
前記自車の前記合流地点までの距離を推定する自車合流距離推定手段と、
前記他車速度、前記衝突警戒車両合流距離、前記自車走行速度及び前記自車合流距離に基づいて、該他車が前記合流地点にて前記自車に向けて接近する衝突警戒車両であるか否かを判定する衝突警戒車両判定手段と、
を有する請求項1ないし請求項15のいずれか1項に記載の衝突警戒車両認知支援装置。
The collision warning vehicle approach detection means is
Other vehicle speed measuring means for measuring the traveling speed of the other vehicle heading to the junction point;
Other vehicle merging distance estimation means for estimating the distance to the merging point of the other vehicle;
Own vehicle running speed measuring means for measuring the running speed of the own vehicle;
Own vehicle merging distance estimating means for estimating a distance of the own vehicle to the merging point;
Based on the other vehicle speed, the collision warning vehicle merging distance, the own vehicle traveling speed, and the own vehicle merging distance, is the other vehicle a collision caution vehicle approaching the own vehicle at the merging point? Collision warning vehicle determination means for determining whether or not,
The collision warning vehicle recognition support device according to any one of claims 1 to 15.
前記他車速度測定手段は、
進行方向前方側に自車走行路と前記合流地点を生ずる合流路が撮影可能となるように、前記進行方向と所定の角度をもって前記自車に取り付けられ、該合流路上を走行する前記他車を動画撮影する車両撮影カメラと、
前記他車の前記動画上での移動特性を解析する動画上移動特性解析手段と、
道路地図のデータを記憶した地図データ記憶手段と、
前記自車の現在位置を前記自車走行路とともに前記道路地図上にて特定する現在位置特定手段と、
前記合流路を前記道路地図上にて特定する合流路特定手段と、
前記他車の動画上移動特性の解析結果と、前記合流路及び前記自車走行路の幾何学的位置関係と、前記自車走行速度とに基づいて前記他車走行速度を算出する他車走行速度算出手段と、を有するものである請求項16記載の衝突警戒車両認知支援装置。
The other vehicle speed measuring means includes
The other vehicle that is attached to the host vehicle at a predetermined angle with the traveling direction and that travels on the combined channel so that the combined channel that generates the host vehicle traveling path and the merging point can be photographed in front of the traveling direction. A vehicle camera that shoots videos,
A moving characteristic analysis unit on a moving image for analyzing a moving characteristic on the moving image of the other vehicle;
Map data storage means for storing road map data;
Current position specifying means for specifying the current position of the own vehicle on the road map together with the own vehicle traveling path;
A combined flow path specifying means for specifying the combined flow path on the road map;
The other vehicle travel that calculates the other vehicle travel speed based on the analysis result of the moving characteristics on the moving image of the other vehicle, the geometric positional relationship between the joint path and the host vehicle travel path, and the host vehicle travel speed The collision warning vehicle recognition support apparatus according to claim 16, further comprising: a speed calculation unit.
前記車両撮影カメラは前記自車走行方向に対し前方側に傾けて取り付けられてなる請求項17記載の衝突警戒車両認知支援装置。   18. The collision warning vehicle recognition support device according to claim 17, wherein the vehicle photographing camera is attached to be tilted forward with respect to the traveling direction of the host vehicle. 前記車両撮影カメラは、前記合流路上を走行する前記他車を予め定められた測定期間にて動画撮影するものであり、
前記動画上移動特性解析手段は、前記測定期間内における前記他車の前記動画上での総移動距離を前記動画上移動特性として算出するものであり、
前記現在位置特定手段は、前記自車の前記現在位置に基づいて前記自車走行路を前記道路地図上にて特定し、自車現在位置を該自車走行路上にマッピングする自車位置マッピング手段を有し、
前記合流路特定手段は、前記自車の走行方向に対する前記車両撮影カメラの撮影方向を前記地図上にて特定し、該カメラ撮影方向に存在する前記合流路を前記道路地図上にて特定するものであり、
また、前記自車現在位置から前記合流路までの前記カメラ撮影方向における距離を撮影方向距離として前記道路地図上にて算出する撮影方向距離算出手段を有し、
前記他車速度測定手段は、前記測定期間長と、前記他車の動画上総移動距離と、前記撮影方向距離と、前記自車走行速度とに基づいて前記他車走行速度を算出するものである請求項17又は請求項18に記載の衝突警戒車両認知支援装置。
The vehicle photographing camera is to shoot a video of the other vehicle traveling on the joint path in a predetermined measurement period,
The moving characteristic analysis unit on the moving image calculates a total moving distance on the moving image of the other vehicle in the measurement period as the moving characteristic on the moving image.
The current position specifying means specifies the own vehicle traveling path on the road map based on the current position of the own vehicle, and maps the current position of the own vehicle on the own vehicle traveling path. Have
The joint flow path specifying unit specifies the shooting direction of the vehicle shooting camera with respect to the traveling direction of the own vehicle on the map, and specifies the joint path existing in the camera shooting direction on the road map. And
Further, it has a shooting direction distance calculating means for calculating on the road map as a shooting direction distance a distance in the camera shooting direction from the current position of the vehicle to the joint channel,
The other vehicle speed measuring means calculates the other vehicle traveling speed based on the measurement period length, the total moving distance on the moving image of the other vehicle, the shooting direction distance, and the own vehicle traveling speed. The collision warning vehicle recognition support apparatus of Claim 17 or Claim 18.
前記自車走行路と前記合流路との交差角度を前記道路地図上にて特定する道路交差角度特定手段を備え、
前記他車速度測定手段は、前記道路交差角度と、前記自車走行方向に対する前記車両撮影カメラの撮影方向角度と、前記測定期間長と、前記他車の動画上総移動距離と、前記撮影方向距離と、前記自車走行速度とに基づいて前記他車の前記自車に対する相対走行速度を算出し、該相対走行速度に前記自車走行速度を加味して前記他車走行速度を算出する請求項19記載の衝突警戒車両認知支援装置。
Road crossing angle specifying means for specifying the crossing angle between the own vehicle traveling path and the joint path on the road map;
The other vehicle speed measuring means includes the road intersection angle, the shooting direction angle of the vehicle shooting camera with respect to the traveling direction of the host vehicle, the measurement period length, the total moving distance on the moving image of the other vehicle, and the shooting direction distance. And calculating the relative travel speed of the other vehicle relative to the host vehicle based on the host vehicle travel speed, and calculating the other vehicle travel speed by adding the host vehicle travel speed to the relative travel speed. 19. A collision warning vehicle recognition support device according to 19.
前記衝突警戒車両の検出状況に応じて運転誘導内容を決定する運転誘導内容決定手段と、
決定された前記運転誘導内容を出力する運転誘導出力手段と、
を有する請求項1ないし請求項20のいずれか1項に記載の衝突警戒車両認知支援装置。
Driving guidance content determining means for determining driving guidance content according to the detection situation of the collision warning vehicle;
Driving guidance output means for outputting the determined driving guidance content;
The collision warning vehicle recognition support device according to any one of claims 1 to 20.
前記運転誘導内容決定手段は、前記合流地点内への進入制限を前記運転誘導内容として決定する請求項21記載の衝突警戒車両認知支援装置。   The collision warning vehicle recognition support device according to claim 21, wherein the driving guidance content determination means determines an entry restriction into the junction as the driving guidance content. 前記運転誘導出力手段は、前記運転誘導内容を音声、画像又はそれらの組合せにより出力するものである請求項21又は請求項22に記載の衝突警戒車両認知支援装置。   The collision warning vehicle recognition support device according to claim 21 or 22, wherein the driving guidance output means outputs the driving guidance content by voice, an image, or a combination thereof. 前記運転誘導内容決定手段が合流地点内への進入を制限する運転誘導内容を決定した場合に、前記自車の走行を抑制する走行抑制手段が設けられている請求項21ないし請求項23のいずれか1項に記載の衝突警戒車両認知支援装置。   24. Any one of claims 21 to 23, wherein when the driving guidance content determining means determines driving guidance contents for restricting entry into a junction, traveling suppression means is provided for suppressing traveling of the host vehicle. The collision warning vehicle recognition support apparatus of Claim 1. 前記自動車は、前記アクセルペダルの踏下位置を検出するアクセルペダル踏下位置検出手段と、検出された踏下位置に応じてエンジン出力を電子制御するエンジン出力制御手段とを備えた電子エンジン制御装置を有するものであり、
前記走行抑制手段は、前記アクセルペダルの踏下量に応じたエンジン出力を通常時よりも制限するエンジン出力制限手段を有する請求項24記載の衝突警戒車両認知支援装置。
The automobile has an accelerator pedal depression position detecting means for detecting a depression position of the accelerator pedal, and an engine output control means for electronically controlling an engine output in accordance with the detected depression position. Having
25. The collision warning vehicle recognition support device according to claim 24, wherein the travel suppression unit includes an engine output limiting unit that limits an engine output corresponding to a depression amount of the accelerator pedal, compared to a normal time.
前記運転誘導内容決定手段が合流地点内への進入を制限する運転誘導内容を決定した場合に、前記自動車の制動を支援する制動支援手段が設けられている請求項21ないし請求項25のいずれか1項に記載の衝突警戒車両認知支援装置。   26. The brake assisting means according to any one of claims 21 to 25, wherein when the driving guidance content determining means determines driving guidance contents that restrict entry into a junction, braking assistance means for assisting braking of the automobile is provided. 2. The collision warning vehicle recognition support apparatus according to item 1. 前記制動支援手段は、制動支援時において、前記ブレーキペダルの踏下反力を通常時よりも増加させる踏下反力制御手段と、前記ブレーキペダルの踏下量に対するブレーキ圧の増加率を通常時よりも増加させるブレーキ圧制御手段とを有する請求項26記載の衝突警戒車両認知支援装置。   The braking support means includes a stepping reaction force control means for increasing the stepping reaction force of the brake pedal more than normal during braking assistance, and a rate of increase in brake pressure with respect to the amount of depression of the brake pedal during normal time. 27. The collision warning vehicle recognition support apparatus according to claim 26, further comprising a brake pressure control means for increasing the brake warning control means.
JP2008251782A 2008-09-29 2008-09-29 Device for supporting recognition of collision warning vehicle Pending JP2010083205A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008251782A JP2010083205A (en) 2008-09-29 2008-09-29 Device for supporting recognition of collision warning vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008251782A JP2010083205A (en) 2008-09-29 2008-09-29 Device for supporting recognition of collision warning vehicle

Publications (1)

Publication Number Publication Date
JP2010083205A true JP2010083205A (en) 2010-04-15

Family

ID=42247610

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008251782A Pending JP2010083205A (en) 2008-09-29 2008-09-29 Device for supporting recognition of collision warning vehicle

Country Status (1)

Country Link
JP (1) JP2010083205A (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012058827A (en) * 2010-09-06 2012-03-22 Denso Corp Driving support device
WO2012042776A1 (en) * 2010-10-01 2012-04-05 パナソニック株式会社 Accident/near-miss factor area specifying device and accident/near-miss factor area specifying method
JP2013526890A (en) * 2009-10-27 2013-06-27 パルティ、ヨーラム Transthoracic lung Doppler ultrasound
JP2013186728A (en) * 2012-03-08 2013-09-19 Mitsubishi Motors Corp Warning system
JP2015118332A (en) * 2013-12-19 2015-06-25 ソニー株式会社 Image display device and image display method
WO2016113687A1 (en) * 2015-01-14 2016-07-21 Palti Yoram Prof Wearable doppler ultrasound based cardiac monitoring
JP2018081539A (en) * 2016-11-17 2018-05-24 パイオニア株式会社 Controller, control method, and program
WO2018221102A1 (en) * 2017-06-02 2018-12-06 株式会社デンソー Warming device
JPWO2018073939A1 (en) * 2016-10-20 2019-06-24 富士通株式会社 Measurement program, measurement method and measurement apparatus
CN111284498A (en) * 2018-12-10 2020-06-16 丰田自动车株式会社 Driving support device, driving support system, driving support method, wearable device, and storage medium
WO2020194686A1 (en) * 2019-03-28 2020-10-01 本田技研工業株式会社 Driving assistance system for saddle-ride type vehicles
US11020095B2 (en) 2015-01-14 2021-06-01 Echosense Jersey Limited Data compression to facilitate remote medical analysis and diagnosis

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005289357A (en) * 2005-03-07 2005-10-20 Equos Research Co Ltd Safe drive assisting apparatus for vehicle
JP2006185137A (en) * 2004-12-27 2006-07-13 Nissan Motor Co Ltd Information providing device for vehicle
JP2006293683A (en) * 2005-04-11 2006-10-26 Denso Corp Operator support device for vehicle
JP2007183824A (en) * 2006-01-06 2007-07-19 Advanced Telecommunication Research Institute International Driving-support device
JP2007323598A (en) * 2006-06-05 2007-12-13 Denso Corp Driving support system for vehicle
JP2008065480A (en) * 2006-09-05 2008-03-21 Mazda Motor Corp Driving support system for vehicle
JP2008217274A (en) * 2007-03-01 2008-09-18 Equos Research Co Ltd Driver status determination device and operation support device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006185137A (en) * 2004-12-27 2006-07-13 Nissan Motor Co Ltd Information providing device for vehicle
JP2005289357A (en) * 2005-03-07 2005-10-20 Equos Research Co Ltd Safe drive assisting apparatus for vehicle
JP2006293683A (en) * 2005-04-11 2006-10-26 Denso Corp Operator support device for vehicle
JP2007183824A (en) * 2006-01-06 2007-07-19 Advanced Telecommunication Research Institute International Driving-support device
JP2007323598A (en) * 2006-06-05 2007-12-13 Denso Corp Driving support system for vehicle
JP2008065480A (en) * 2006-09-05 2008-03-21 Mazda Motor Corp Driving support system for vehicle
JP2008217274A (en) * 2007-03-01 2008-09-18 Equos Research Co Ltd Driver status determination device and operation support device

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013526890A (en) * 2009-10-27 2013-06-27 パルティ、ヨーラム Transthoracic lung Doppler ultrasound
JP2012058827A (en) * 2010-09-06 2012-03-22 Denso Corp Driving support device
WO2012042776A1 (en) * 2010-10-01 2012-04-05 パナソニック株式会社 Accident/near-miss factor area specifying device and accident/near-miss factor area specifying method
JP2012079105A (en) * 2010-10-01 2012-04-19 Panasonic Corp Accident factor area specification device, and accident factor area specification method
US8981963B2 (en) 2010-10-01 2015-03-17 Panasonic Intellectual Property Management Co., Ltd. Accident/near-miss factor area specifying device and accident/near-miss factor area specifying method
JP2013186728A (en) * 2012-03-08 2013-09-19 Mitsubishi Motors Corp Warning system
US9964766B2 (en) 2013-12-19 2018-05-08 Sony Corporation Controlling reproduction of content in a head-mounted display
JP2015118332A (en) * 2013-12-19 2015-06-25 ソニー株式会社 Image display device and image display method
WO2016113687A1 (en) * 2015-01-14 2016-07-21 Palti Yoram Prof Wearable doppler ultrasound based cardiac monitoring
US11020095B2 (en) 2015-01-14 2021-06-01 Echosense Jersey Limited Data compression to facilitate remote medical analysis and diagnosis
JPWO2018073939A1 (en) * 2016-10-20 2019-06-24 富士通株式会社 Measurement program, measurement method and measurement apparatus
JP2018081539A (en) * 2016-11-17 2018-05-24 パイオニア株式会社 Controller, control method, and program
WO2018221102A1 (en) * 2017-06-02 2018-12-06 株式会社デンソー Warming device
CN111284498A (en) * 2018-12-10 2020-06-16 丰田自动车株式会社 Driving support device, driving support system, driving support method, wearable device, and storage medium
WO2020194686A1 (en) * 2019-03-28 2020-10-01 本田技研工業株式会社 Driving assistance system for saddle-ride type vehicles
JPWO2020194686A1 (en) * 2019-03-28 2021-12-09 本田技研工業株式会社 Driving support system for saddle-riding vehicles
JP7232320B2 (en) 2019-03-28 2023-03-02 本田技研工業株式会社 Driving support system for saddle type vehicle

Similar Documents

Publication Publication Date Title
JP2010083205A (en) Device for supporting recognition of collision warning vehicle
JP5088669B2 (en) Vehicle periphery monitoring device
CN109791739B (en) Carsickness estimation device, carsickness prevention device, and carsickness estimation method
JP5397735B2 (en) Emergency vehicle approach detection system for vehicles
WO2016013153A1 (en) Notification system for vehicle, notification control device, and notification device
WO2016035268A1 (en) Travel control system for vehicle
JP6565408B2 (en) Vehicle control apparatus and vehicle control method
JP2016052881A (en) Travel control system for vehicle
JP5618138B2 (en) Parking assistance device
JP2014167438A (en) Information notification device
JP5288251B2 (en) Emergency vehicle recognition support device
JP2017182776A (en) Vehicle periphery monitoring apparatus and computer program
KR20210113070A (en) Attention-based notifications
US20240000354A1 (en) Driving characteristic determination device, driving characteristic determination method, and recording medium
JP2018038553A (en) On-vehicle display device, control method of on-vehicle display device, and program
JP2005253590A (en) Driving support apparatus
WO2019155914A1 (en) Data processing device, monitoring system, alertness system, data processing method, data processing program, and storage medium
JP6811743B2 (en) Safe driving support device
CN113276821B (en) Driver state estimating device
JP2018139070A (en) Vehicle display control device
CN113276822B (en) Driver state estimating device
JP2018194961A (en) Driver monitoring device, driver monitoring method, and driver monitoring program
JP2008117303A (en) Driving support apparatus and evaluation apparatus
JP6418341B1 (en) Data processing apparatus, monitoring system, awakening system, data processing method, and data processing program
JP2018013811A (en) Driver state determination device and driver state determination program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110809

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20121003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131030

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140324