JP2005134971A - Driving support apparatus - Google Patents
Driving support apparatus Download PDFInfo
- Publication number
- JP2005134971A JP2005134971A JP2003367243A JP2003367243A JP2005134971A JP 2005134971 A JP2005134971 A JP 2005134971A JP 2003367243 A JP2003367243 A JP 2003367243A JP 2003367243 A JP2003367243 A JP 2003367243A JP 2005134971 A JP2005134971 A JP 2005134971A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- risk factor
- voice
- vehicle
- driving support
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、車両の走行にかかる情報を取得し、取得した情報に基づいて運転者に対する報知や車両操作への介入を行う運転支援装置に関し、特に危険要因の方向を特定して運転者に効果的に注意を促すことのできる運転支援装置に関するものである。 The present invention relates to a driving support device that acquires information related to traveling of a vehicle and performs notification to a driver and intervention in vehicle operation based on the acquired information, and in particular, identifies the direction of a risk factor and is effective for the driver. In particular, the present invention relates to a driving support device that can prompt attention.
近年、車両の走行にかかる各種情報を取得し、運転者に対する報知や運転の補助、さらには運転への介入を行うことで車両事故を防止し、また事故の被害を低減する技術が考案されている。 In recent years, a technology has been devised to prevent vehicle accidents and reduce accident damage by acquiring various information related to vehicle travel, providing notifications to drivers, assisting driving, and intervening in driving. Yes.
例えば、特許文献１は、ステアリング操作を支援して所定の走行軌跡を走行させる運転支援装置において、運転者の運転操作に対する集中度合いを判定し、その度合いをステアリング支援の制御ゲインに反映する技術を開示している。 For example, Patent Document 1 discloses a technology for determining a degree of concentration of a driver with respect to a driving operation in a driving assistance device that supports a steering operation and travels a predetermined traveling locus, and reflects the degree to a steering assist control gain. Disclosure.
また、特許文献２は、カーナビゲーションシステムの画面を水平方向に３分割し、通常の画面に加え、車両の右斜め後方の画像と車両の左斜め後方の画像とを表示することで、自車両周辺の安全に関する情報を提供する技術を開示している。
Further,
さらに、特許文献３は、車両が後退して駐車場を進行する際に、ステアリング角によって進路を予測するとともに、カメラユニットを用いて目標駐車位置を検出し、予測進路と目標駐車位置に基づいてディスプレイに情報表示を行ったり、スピーカから音声案内を出力して運転操作を支援する技術を開示している。
Furthermore,
また、特許文献４は、自車両前後の画像を撮像して後続車両が自車両に対して危険であるか否かを判定し、その危険度が高いほど間隔の短い警告音を出力することで運転者の前方に対する注意をできるだけ妨げずに警告をおこなう技術を開示している。 Patent Document 4 captures images before and after the host vehicle to determine whether the following vehicle is dangerous to the host vehicle, and outputs a warning sound with a shorter interval as the risk level increases. It discloses a technique for giving a warning without disturbing the driver's attention to the front as much as possible.
ところで、車両の運転は、基本的に運転者の操作によるものであり、上述したような技術は運転の支援を行うものである。しかしながら、上述した従来の技術では、運転支援は独立して危険の度合いを判断して運転者への報知や操作への介入を行っていたために、運転者が既に察知している危険と運転者が察知していない危険とを同様に処理していた。 By the way, the driving of the vehicle is basically based on the operation of the driver, and the technology as described above provides driving support. However, in the conventional technology described above, since the driving assistance independently determines the degree of danger and performs notification to the driver and intervention in the operation, the driver has already detected the danger and the driver. Was treated in the same way as the dangers that did not detect.
そのため、運転者は既に察知している危険について再三警告を受けるという煩雑さを感じるという問題があり、さらに重要な問題としては、必要な警告、すなわち運転者が察知していない危険についての警告が遅れる可能性がある。 Therefore, there is a problem that the driver feels complicated to receive repeated warnings about dangers already detected, and more important problem is a warning about necessary warnings, that is, warnings about dangers that the driver does not detect. There is a possibility of being late.
すなわち、従来の運転支援装置では、運転者と支援装置の協働がなされていないという問題点があり、運転者に真に必要な警告や補助を優先的に実行する運転支援装置の実現が重要な課題であった。 That is, in the conventional driving support device, there is a problem that the driver and the support device do not cooperate, and it is important to realize a driving support device that preferentially executes warnings and assistance that are really necessary for the driver. It was a difficult task.
また、運転者に対して警告をおこなう場合、危険要因がどの方向に存在するかが重要な情報となる。しかし、従来の警告方法では、運転者に危険要因の方向を伝えるためにはモニタに表示するか、音声で説明を行う必要があった。このように運転者にモニタ表示や音声に注意を払わせ、その意味を認識させることで危険を報知する方法では、認識すること自体に時間を要してその分対応が遅れる要因があるため、より迅速な対応がとれるような工夫が望まれている。 Further, when warning is given to the driver, important information is in which direction the risk factor exists. However, in the conventional warning method, in order to inform the driver of the direction of the risk factor, it is necessary to display it on a monitor or to explain by voice. Thus, in the method of notifying the danger by letting the driver pay attention to the monitor display and voice and recognizing its meaning, it takes time to recognize itself and there is a factor that delays the response accordingly, A device that can take a quicker response is desired.
すなわち、従来の運転支援装置では、危険についての情報提供の方法が効率的ではなく、十分な支援ができないという問題点があった。そこで、運転者に対して危険の方向を直感的に報知することで運転者による迅速な対応を可能とし、運転の安全性をより高めることが重要な課題であった。 In other words, the conventional driving support apparatus has a problem that the method of providing information about danger is not efficient and cannot provide sufficient support. Therefore, it has been an important issue to make it possible for the driver to respond quickly by intuitively informing the driver of the direction of danger and to further improve driving safety.
本発明は、上記に鑑みてなされたものであって、運転者と協働し、運転者が認識していない危険に対する警告や補助を優先的かつ効果的に実行可能な運転支援装置を提供することを目的とする。 The present invention has been made in view of the above, and provides a driving support device capable of preferentially and effectively executing warnings and assistance for dangers that are not recognized by the driver in cooperation with the driver. For the purpose.
上述した課題を解決し、目的を達成するため、請求項１の発明に係る運転支援装置は、車両の走行にかかる情報を取得し、取得した情報に基づいて運転者に対する報知および／または車両操作への介入を行う運転支援装置であって、車両に対する危険要因を検出し、該検出された危険要因の自車両に対する相対方向を特定する危険要因判定手段と、前記危険要因判定手段が特定した前記危険要因の相対方向をもとに、前記運転者に対する報知内容および／または前記車両操作への介入内容を決定する支援内容決定手段と、を備えたことを特徴とする。 In order to solve the above-described problems and achieve the object, the driving support apparatus according to the first aspect of the present invention acquires information relating to the traveling of the vehicle, and notifies the driver and / or vehicle operation based on the acquired information. A driving support device for performing an intervention on a vehicle, the risk factor determining means for detecting a risk factor for the vehicle and identifying the relative direction of the detected risk factor with respect to the own vehicle, and the risk factor determination means Support content determination means for determining the content of notification to the driver and / or the content of intervention in the vehicle operation based on the relative direction of the risk factor is provided.
この請求項１の発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因の相対方向をもとに、運転者に対する報知内容や前記車両操作への介入内容を決定する。 According to the first aspect of the present invention, the driving support device detects a risk factor for the vehicle, identifies a relative direction with respect to the own vehicle, and based on the relative direction of the risk factor, informs the driver of the notification content and the vehicle. Determine the intervention for the operation.
また、請求項２の発明に係る運転支援装置は、請求項１の発明において、前記運転者の視線方向を検出する視線方向検出手段をさらに備え、前記支援内容決定手段は、前記視線方向検出手段によって検出された運転者の視界外に危険要因が存在する場合に、当該危険要因に関する情報を優先的に運転者に報知することを特徴とする。 The driving support device according to a second aspect of the present invention is the driving support device according to the first aspect of the present invention, further comprising gaze direction detection means for detecting the gaze direction of the driver, wherein the support content determination means is the gaze direction detection means. When a risk factor exists outside the driver's field of view detected by the above, information regarding the risk factor is preferentially notified to the driver.
この請求項２の発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定するとともに運転者の視線方向を検出し、運転者の視界外に存在する危険要因についての情報を優先的に運転者に報知する。
According to the invention of
また、請求項３の発明に係る運転支援装置は、請求項１または２の発明において、前記危険要因に関する情報を音声によって報知する音声報知手段をさらに備え、前記音声報知手段は、前記危険要因判定手段が特定した危険要因の相対方向と、運転者に対する音声の出力方向とを一致させることを特徴とする。 The driving support device according to a third aspect of the present invention is the driving support device according to the first or second aspect of the present invention, further comprising voice notification means for notifying information on the risk factor by voice, wherein the voice notification means is configured to determine the risk factor. The relative direction of the risk factor specified by the means is matched with the output direction of the voice to the driver.
この請求項３の発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、危険要因の相対方向と運転者に対する音声の出力方向とを一致させる。 According to the third aspect of the present invention, the driving support device detects the risk factor for the vehicle, identifies the relative direction to the host vehicle, and informs the information about the risk factor by voice. Match the direction of voice output to the driver.
また、請求項４の発明に係る運転支援装置は、請求項３の発明において、前記音声報知手段は、複数のスピーカを備え、該複数のスピーカの選択、組み合わせ、出力の制御、および出力タイミングの制御によって前記音声の出力方向を決定することを特徴とする。 According to a fourth aspect of the present invention, in the driving support apparatus according to the third aspect of the present invention, the voice notification means includes a plurality of speakers, and the selection, combination, output control, and output timing of the plurality of speakers. The output direction of the sound is determined by control.
この請求項４の発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、複数のスピーカの選択、組み合わせ、出力の制御、および出力タイミングの制御によって運転者に対する音声の出力方向と危険要因の相対方向とを一致させる。 According to the fourth aspect of the present invention, the driving support device detects a risk factor for the vehicle, specifies a relative direction with respect to the host vehicle, and informs the information about the risk factor by voice. The output direction of the voice to the driver is matched with the relative direction of the risk factor by combination, output control, and output timing control.
また、請求項５の発明に係る運転支援装置は、請求項３または４の発明において、前記音声報知手段は、１００Ｈｚ以上の音を使用して音声による報知を実行することを特徴とする。 According to a fifth aspect of the present invention, in the driving support apparatus according to the third or fourth aspect of the invention, the voice notification means performs a voice notification using a sound of 100 Hz or higher.
この請求項５の発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、危険要因の相対方向と運転者に対する音声の出力方向とを一致させて１００Ｈｚ以上の音で報知処理を行う。 According to the fifth aspect of the present invention, when the driving support device detects the risk factor for the vehicle, identifies the relative direction with respect to the own vehicle, and informs the information regarding the risk factor by voice, the relative direction of the risk factor is determined. The notification process is performed with a sound of 100 Hz or more by matching the voice output direction to the driver.
また、請求項６の発明に係る運転支援装置は、請求項４の発明において、前記音声報知手段は、４００Ｈｚ以上５０００Ｈｚ未満の音声を使用して音声による報知を実行することを特徴とする。 According to a sixth aspect of the present invention, the driving support apparatus according to the fourth aspect of the invention is characterized in that the voice notification means performs voice notification using a voice of 400 Hz to less than 5000 Hz.
この請求項６の発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、危険要因の相対方向と運転者に対する音声の出力方向とを一致させて４００Ｈｚ以上５０００Ｈｚ未満の音で報知処理を行う。 According to the sixth aspect of the present invention, the driving support device detects the risk factor for the vehicle, identifies the relative direction with respect to the host vehicle, and informs the information about the risk factor by voice. The notification process is performed with a sound of 400 Hz or more and less than 5000 Hz by matching the output direction of the voice to the driver.
また、請求項７の発明に係る運転支援装置は、請求項３〜６の発明において、前記音声報知手段は、前記危険要因の内容に対応して出力する音声の種別を選択することを特徴とする。 According to a seventh aspect of the present invention, in the driving support apparatus according to the third to sixth aspects of the present invention, the voice notification means selects a type of voice to be output corresponding to the content of the risk factor. To do.
この請求項７の発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、危険要因の相対方向と運転者に対する音声の出力方向とを一致させて危険要因の内容に対応した音声で報知処理を行う。 According to the seventh aspect of the invention, the driving support device detects the risk factor for the vehicle, identifies the relative direction with respect to the host vehicle, and informs the information about the risk factor by voice. The notification process is performed with the voice corresponding to the content of the risk factor by matching the output direction of the voice to the driver.
また、請求項８の発明に係る運転支援装置は、請求項３〜７の発明において、前記音声報知手段は、前記運転者の年齢に対応して出力する音声の周波数帯を選択することを特徴とする。 According to an eighth aspect of the present invention, in the driving support apparatus according to the third to seventh aspects of the present invention, the voice notification means selects a frequency band of voice to be output corresponding to the age of the driver. And
この請求項８の発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、危険要因の相対方向と運転者に対する音声の出力方向とを一致させ、運転者の年齢に応じた周波数の音で報知処理を行う。 According to the eighth aspect of the invention, the driving support device detects the risk factor for the vehicle, identifies the relative direction with respect to the host vehicle, and informs the information about the risk factor by voice. The notification process is performed with a sound having a frequency according to the age of the driver by matching the output direction of the voice to the driver.
また、請求項９の発明に係る運転支援装置は、請求項３〜８の発明において、前記音声報知手段は、外部に接続されたオーディオ装置とスピーカを共用し、前記危険要因が存在する場合に前記オーディオ装置からの出力音声の音量を下げて前記音声による報知を行うことを特徴とする。
Further, the driving support apparatus according to the invention of claim 9 is the invention according to
この請求項９の発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、スピーカを共用して出力中のオーディオ装置からの音声の音量を下げて報知処理を行う。 According to the ninth aspect of the present invention, the driving support device detects the risk factor for the vehicle, specifies the relative direction to the own vehicle, and outputs the information about the risk factor by sharing the speaker. The notification process is performed by lowering the volume of the sound from the internal audio device.
また、請求項１０の発明に係る運転支援装置は、請求項３〜９の発明において、前記危険要因に関する情報を表示する表示手段をさらに備え、前記音声報知手段は、前記危険要因判定手段が特定した危険要因の相対方向が運転者の死角である場合に、前記表示手段の方向と音声の出力方向とを一致させることを特徴とする。 The driving support apparatus according to a tenth aspect of the present invention is the driving support device according to any of the third to ninth aspects, further comprising display means for displaying information on the risk factor, wherein the voice notification means is specified by the risk factor determination means. When the relative direction of the risk factor is the driver's blind spot, the direction of the display means and the output direction of the voice are made to coincide.
この請求項１０の発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、危険要因の相対方向が運転者の死角であれば、表示手段の方向と運転者に対する音声の出力方向とを一致させる。
According to the invention of
また、請求項１１の発明に係る運転支援装置は、請求項２〜１０の発明において、前記危険要因に関する情報を表示する複数の表示手段と、前記視線方向検出手段によって検出された運転者の視線方向に基づいて前記複数の表示手段のいずれに情報表示を行うかを選択する表示制御手段と、をさらに備えたことを特徴とする。 A driving support apparatus according to an eleventh aspect of the present invention is the driving support device according to the second to tenth aspects of the present invention, wherein a plurality of display means for displaying information on the risk factor and the driver's line of sight detected by the line-of-sight direction detecting means. Display control means for selecting which of the plurality of display means to display information based on the direction is further provided.
この請求項１１の発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定するとともに運転者の視線方向を検出し、危険要因についての情報を運転者の視界に近い表示手段に表示する。 According to the eleventh aspect of the invention, the driving support device detects the risk factor for the vehicle, specifies the relative direction with respect to the host vehicle, detects the driver's gaze direction, and provides information on the risk factor to the driver. Display on display means close to the field of view.
また、請求項１２の発明に係る運転支援装置は、請求項２〜１１の発明において、前記視線方向特定手段は、運転者を撮影する撮影手段と、前記撮影手段が撮影した画像に対して画像処理を実行して前記視線方向を特定する画像処理手段と、を備えたことを特徴とする。 According to a twelfth aspect of the present invention, in the driving support apparatus according to the second to eleventh aspects of the present invention, the line-of-sight direction specifying means includes: an imaging means for photographing a driver; and an image taken by the photographing means. Image processing means for executing processing and specifying the line-of-sight direction.
この請求項１２の発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定するとともに、運転者の画像を撮影し、撮影した画像に対して画像処理を行うことで運転者の視線方向を検出する。 According to the twelfth aspect of the present invention, the driving support device detects a risk factor for the vehicle, specifies a relative direction with respect to the own vehicle, captures an image of the driver, and performs image processing on the captured image. By doing so, the direction of the driver's line of sight is detected.
請求項１の発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因の相対方向をもとに、運転者に対する報知内容や前記車両操作への介入内容を決定するので、危険要因の方向に基づいて運転者への支援を効果的に実行可能な運転支援装置を得ることができるという効果を奏する。 According to the first aspect of the present invention, the driving support device detects a risk factor for the vehicle, identifies a relative direction with respect to the own vehicle, and based on the relative direction of the risk factor, notifies the driver of the content of the notification and the vehicle operation. Since the content of intervention is determined, there is an effect that it is possible to obtain a driving assistance device that can effectively perform assistance to the driver based on the direction of the risk factor.
また、請求項２の発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定するとともに運転者の視線方向を検出し、運転者の視界外に存在する危険要因についての情報を優先的に運転者に報知するので、運転者と協働し、運転者が認識していない危険に対する真に必要な支援を行う運転支援装置を得ることができるという効果を奏する。
According to the invention of
また、請求項３の発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、危険要因の相対方向と運転者に対する音声の出力方向とを一致させるので、危険要因の方向を運転者に直感的に報知して迅速な対応を行わせ、運転の安全性を向上可能な運転支援装置を得ることができるという効果を奏する。
According to the invention of
また、請求項４の発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、複数のスピーカの選択、組み合わせ、出力の制御、および出力タイミングの制御によって運転者に対する音声の出力方向と危険要因の相対方向とを一致させるので、運転者に危険要因の方向を直感的に報知する、簡易な構成の運転支援装置を得ることができるという効果を奏する。 According to a fourth aspect of the present invention, the driving support device selects a plurality of speakers when detecting a risk factor for the vehicle, specifying a relative direction with respect to the host vehicle, and notifying information about the risk factor by voice. The combination of output, control of output, and control of output timing make the voice output direction to the driver coincide with the relative direction of the risk factor, so that the driver can intuitively inform the driver of the direction of the risk factor. There exists an effect that a driving assistance device can be obtained.
また、請求項５の発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、危険要因の相対方向と運転者に対する音声の出力方向とを一致させて１００Ｈｚ以上の音で報知処理を行うので、運転者に危険要因の方向を直感的にかつ効果的に報知する運転支援装置を得ることができるという効果を奏する。
According to the invention of
また、請求項６の発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、危険要因の相対方向と運転者に対する音声の出力方向とを一致させて４００Ｈｚ以上５０００Ｈｚ未満の音で報知処理を行うので、運転者に危険要因の方向を直感的に、かつ走行ノイズに影響されることなく報知可能な運転支援装置を得ることができるという効果を奏する。
According to the invention of
また、請求項７の発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、危険要因の相対方向と運転者に対する音声の出力方向とを一致させて危険要因の内容に対応した音声で報知処理を行うので、危険要因の方向および内容を直感的に報知可能な運転支援装置を得ることができるという効果を奏する。 According to the seventh aspect of the present invention, when the driving support device detects the risk factor for the vehicle, identifies the relative direction with respect to the host vehicle, and informs the information about the risk factor by voice, the relative direction of the risk factor And the voice output direction to the driver are matched and the notification process is performed with the voice corresponding to the content of the risk factor, so that it is possible to obtain a driving support device capable of intuitively reporting the direction and content of the risk factor There is an effect.
また、請求項８の発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、危険要因の相対方向と運転者に対する音声の出力方向とを一致させ、運転者の年齢に応じた周波数の音で報知処理を行うので、危険要因の方向を直感的に、かつ効果的に報知可能な運転支援装置を得ることができるという効果を奏する。
According to the invention of
また、請求項９の発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、スピーカを共用して出力中のオーディオ装置からの音声の音量を下げて報知処理を行うので、オーディオ装置からの出力の音質を低下させることなく、危険要因についての情報を効果的に報知可能な運転支援装置を得ることができるという効果を奏する。 According to the ninth aspect of the present invention, the driving support device detects the risk factor for the vehicle, specifies the relative direction with respect to the own vehicle, and shares the speaker when the information about the risk factor is notified by voice. Since the notification process is performed by lowering the volume of the sound from the audio device being output, a driving support device capable of effectively informing information about the risk factor without degrading the sound quality of the output from the audio device is obtained. There is an effect that can be.
また、請求項１０の発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定し、危険要因に関する情報を音声によって報知する場合に、危険要因の相対方向が運転者の死角であれば、表示手段の方向と運転者に対する音声の出力方向とを一致させるので、運転者に危険要因の方向を直感的に伝達し、かつ死角に存在する危険要因に対して効果的な情報提供をおこなう運転支援装置を得ることができるという効果を奏する。
According to the invention of
また、請求項１１の発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定するとともに運転者の視線方向を検出し、危険要因についての情報を運転者の視界に近い表示手段に表示するので、運転操作を阻害することなく、危険要因についての情報を効果的に表示可能な運転支援装置を得ることができるという効果を奏する。
According to the invention of
また、請求項１２の発明によれば、運転支援装置は、車両に対する危険要因を検出して自車両に対する相対方向を特定するとともに、運転者の画像を撮影し、撮影した画像に対して画像処理を行うことで運転者の視線方向を検出するので、簡易な構成で運転者の視線方向を検出して運転者と協働し、運転者が認識していない危険に対する支援を行う運転支援装置を得ることができるという効果を奏する。 According to the twelfth aspect of the present invention, the driving support device detects a risk factor for the vehicle to identify the relative direction with respect to the own vehicle, captures an image of the driver, and performs image processing on the captured image. By detecting the driver's line-of-sight direction, a driver assistance device that detects the driver's line-of-sight direction with a simple configuration and cooperates with the driver to support dangers that are not recognized by the driver. There is an effect that it can be obtained.
以下に添付図面を参照して、この発明に係る運転支援装置の好適な実施例を詳細に説明する。 Exemplary embodiments of a driving support apparatus according to the present invention will be described below in detail with reference to the accompanying drawings.
本発明の実施例にかかる運転支援装置の概要構成を図１に示す。同図に示すように、運転支援装置１は、自車両の経路誘導を行うナビゲーションシステム２、および通信や記憶媒体からの読み出しによって取得した音楽情報などを出力するオーディオ装置３と接続する。
FIG. 1 shows a schematic configuration of a driving support apparatus according to an embodiment of the present invention. As shown in the figure, the driving assistance device 1 is connected to a
また、運転支援装置１は、その内部に車内カメラ１１、車外マイク１２、通信処理部１３、レーダ１４、車外カメラ１５、画像処理部２１、運転者状態判定部２２、危険判定部２３、位置情報取得部２４、支援内容決定部２５、動作制御部３１、警告制御部３２、表示制御部３３、音声制御部３４、モニタｍ１，ｍ２、スピーカＳ１〜Ｓ６を有する。尚、画像処理部２１、運転者状態判定部２２、危険判定部２３、位置情報取得部２４、支援内容決定部２５、動作制御部３１、警告制御部３２、表示制御部３３および音声制御部３４は、マイクロコンピュータにより実現され、入力信号に基づき演算処理を行って動作制御用の信号等を出力して各種動作を実現する。ここで、各手段はそれぞれ独立したマイク六コンピュータによって実現しても良いし、複数の手段を単一のマイクロコンピュータ内で実現しても良い。
In addition, the driving support apparatus 1 includes an in-
車内カメラ１１は自車両内、主に運転手の顔近傍を撮像する撮像手段であり、撮像した画像を画像処理部２１に出力する。画像処理部２１は、車内カメラ１１が撮像した画像に対して画像処理をおこなって運転者の頭部の画像を抽出し、運転者状態判定部２２に出力する。運転者状態判定部２２は、画像処理部２１が抽出した運転者の頭部の画像をもとに、運転者の視線方向を判定し、支援内容決定部２５に出力する。
The in-
車外マイク１２は、車両外の音声を取得して危険判定部２３に出力する。また、通信処理部１３は、路車間通信や、車両間通信などの通信を行う処理部であり、受信した情報を危険判定部２３に出力する。
The vehicle outside
さらに、レーダ１４は自車両周辺を走査して走査結果を危険判定部２３に出力し、車外カメラ１５は自車両周辺の画像を撮像して危険判定部２３に出力する。また、位置情報取得部２４は、ナビゲーションシステム２から自車両の位置情報や経路情報を取得して危険判定部２３に出力する。
Further, the
危険判定部２３は、車外マイク１２、通信処理部１３、レーダ１４、車外カメラ１５、位置情報取得部２４などが出力する情報を用いて、自車両に対する危険の有無を判定する。なお、これらの情報は自車両の危険判定に使用可能な情報の一例であり、他の情報を用いてもよいことは言うまでもない。具体的には、自車両周辺の情報を取得する他の手段や、自車両の動作を制御するエンジン、ブレーキ、ステアリングなどの情報、さらには自車両の運転者や、周辺車両の運転者に関する情報を使用することができる。
The
危険判定部２３は、その内部に危険内容判定部２３ａ、危険方向判定部２３ｂ、危険度合判定部２３ｃ、危険時刻判定部２３ｄを有する。危険内容判定部２３は、危険判定部２３に入力された情報をもとに、危険の内容を判定する。例えば、自車両の近傍に危険要因が存在する場合、その危険要因が車両であるのか、自転車であるのか、歩行者であるのかなどを判定する。
The
また、危険方向判定部２３ｂは、危険判定部２３に入力された情報をもとに、危険要因の自車両に対する相対方向を判定する。さらに、危険度合判定部２３ｃは、危険の度合い、すなわちその危険がどれほどの被害をもたらすのかを判定する。例えば、接触事故が発生する危険があるのか、衝突事故が発生する危険があるのか、人身事故が発生する危険があるのかなどを判定する。また、危険時刻判定部は、事故が発生する時刻を予測する処理部であり、危険の回避にどれほどの猶予があるのかを示すものである。
Moreover, the danger
危険判定部２３は、危険内容判定部２３ａ、危険方向判定部２３ｂ、危険度合判定部２３ｃおよび危険時刻判定部２３ｄの判定結果を、支援内容決定部２５に出力する。
The
支援内容決定部２５は、危険判定部２３からの出力と、運転者状態判定部２２からの出力とをもとに、支援の内容を決定して動作制御部３１や警告制御部３２に出力する。ここで運転の支援には、運転者に対して危険要因の存在を報知する「警告」と運転操作への補助や介入を行う「動作制御」とがある。
The support
支援内容決定部２５は、危険時刻判定部２３ｄによる判定結果、すなわち危険の回避までの猶予時間をもとに、「警告」のみを行うのか「動作制御」を行うのかを決定する。さらに、支援内容決定部２５は、運転者の視線方向をもとに、警告の内容および動作制御の内容を決定する。
The support
具体的には、運転者の視界外の危険要因に対する警告は、運転者の視界内の危険要因に対する警告に比して優先して実行する。すなわち、運転者の視界外の危険要因に対する警告はより早いタイミングで行い、また、運転者の視界外と視界内に同時に危険要因を発見した場合には、視界外の危険要因を先に警告する。同様に、運転者の視界外の危険要因を回避するための動作制御は、運転者の視界内の危険要因に対する回避動作に比して優先し、より早いタイミングで実行する。 Specifically, the warning for the risk factor outside the driver's field of view is executed in preference to the warning for the risk factor in the driver's field of view. In other words, warnings for risk factors outside the driver's sight are given at an earlier timing, and when a risk factor is simultaneously found in and outside the driver's sight, the risk factor outside the sight is warned first. . Similarly, the operation control for avoiding the risk factor outside the driver's field of view has priority over the avoidance operation for the risk factor within the driver's field of view and is executed at an earlier timing.
また、支援内容決定部２５は、音声によって警告を行う場合に、危険要因の方向と警告音の方向とを一致させる。すなわち、自車両の左後方に危険要因が存在する場合には、運転手の左後方から警告音が聞こえるように制御する。
Further, when the warning is given by voice, the support
動作制御部３１は、支援内容決定部２５が決定した支援内容をもとに、「動作制御」を実行する。具体的には、動作制御部３１は、車両に搭載された各種制御危機、例えばエンジン電子制御装置、ブレーキ電子制御装置、ステアリング電子制御装置などと接続しており、これらの電子制御装置を操作して運転操作の支援や、動作への介入を行う。
The
警告制御部３２は、支援内容決定部２５が決定した支援内容をもとに、「警告」を実行する。具体的には、警告制御部３３は、表示制御部３３および音声制御部３４と接続している。
The
表示制御部３３は、モニタｍ１，ｍ２に表示する表示内容を制御する処理部である。また、表示制御部３３は、その内部に表示合成部３３ａを有する。モニタｍ１，ｍ２は、運転者への警告のみに用いるものではなく、ナビゲーションシステム２による予定経路の表示や指示と共用される。そこで、表示合成部３３ａは、警告制御部３２によって指示された警告の内容と、ナビゲーションシステム２によって指示された経路表示とを切り替えて、もしくは同時に表示させる処理を行う。
The
なお、モニタｍ１，ｍ２に表示する内容は、警告制御部３２による警告や、ナビゲーションシステムによる経路情報に限定されるものではなく、他の電子機器とも共用可能である。例えば、オーディオ装置３による音声出力に関し、曲名や受信しているラジオ局などを表示するために用いても良い。また、モニタｍ１，ｍ２がスイッチやタッチパネルを備えている場合、これらの入力インタフェースも各電子機器で共用することが可能である。
The contents displayed on the monitors m1 and m2 are not limited to warnings by the
音声制御部３４は、スピーカＳ１〜Ｓ６から出力する音声の内容を制御する処理部である。また、音声制御部３４は、その内部に音声方向制御部３４ａおよび音声合成部３４ｂを有する。
The
スピーカＳ１〜Ｓ６は、運転者への警告のみに用いるものではなく、ナビゲーションシステム２による経路の指示や、オーディオ装置３からの音声出力と共用される。そこで、音声合成部３４ｂは、警告制御部３２によって指示された警告の内容と、ナビゲーションシステム２やオーディオ装置３に指示された経路表示とを切り替えて、もしくは同時に出力する処理を行う。
The speakers S <b> 1 to S <b> 6 are not used only for warning to the driver, but are shared with the route instruction by the
一般に、オーディオ装置３による演奏などの音声出力中に警告音を出力する場合、特定のスピーカを警告音の出力に切り替えて割り当てるので、警告音を出力しているスピーカからは演奏などの出力はなされない。しかしながら、このようにスピーカからの出力を切り替えることとすると、オーディオ装置の出力の質が低下してユーザに不満を感じさせるのみならず、警告音の出力に使用しないスピーカでは、他のスピーカで警告音が出力されているか否かに関わらずに同一の音量で出力がなされるので、運転者による警告音の認識率が低下するという問題がある。
In general, when a warning sound is output during audio output such as a performance by the
そこで、音声合成部３４ｂでは、警告音の出力をする場合に複数のスピーカを総合的に制御し、オーディオ装置３からの出力に供する音量を全体的に低下するとともに警告音を合成して出力する。そのため、オーディオ装置３の出力の質を下げることなく、運転者に効果的に警告をおこなうことができる。
Therefore, the
さらに、音声合成部３２ｂでは、自車両が繁華街など人通りの多い場所を走行する場合に、オーディオ装置３からの出力に供する音量を低下させて車両外部の音声を聞きやすくし、運転者の安全運転を支援する。ここで、車外マイク１２が集音した車両外部の音声をスピーカから出力することで、運転者に対してさらに効率的に車両外の様子を伝えることができる。
Furthermore, in the voice synthesizer 32b, when the host vehicle travels in a busy place such as a busy street, the volume provided for the output from the
音声方向制御部３４ａは、スピーカＳ１〜Ｓ６の選択、組み合わせ、出力音量の制御、および出力タイミングの制御によって警告音声の出力方向が危険要因の方向に一致するように制御する。
The sound
すなわち、危険要因と同一方向にスピーカＳ１〜Ｓ６のいずれかがあれば、同一方向のスピーカから警告音を出力することで、運転者はどの方向に危険要因が存在するのかを直感的に知ることができる。 That is, if any of the speakers S1 to S6 is in the same direction as the risk factor, the driver can intuitively know in which direction the risk factor exists by outputting a warning sound from the speaker in the same direction. Can do.
また、危険要因と同一方向にスピーカが存在しない場合、複数のスピーカを組み合わせて使用し、その出力音量や出力タイミングを制御することでスピーカ間の特定方向から音声が聞こえるように制御することができる。 In addition, when there is no speaker in the same direction as the risk factor, it can be controlled so that sound can be heard from a specific direction between the speakers by using a combination of multiple speakers and controlling their output volume and output timing. .
このとき、それぞれのスピーカについて、どの程度の音量の差や出力タイミングの差を設けるかは、出力させたい方向とスピーカの配置、出力する警告音の周波数によって決定される。 At this time, how much volume difference or output timing difference is provided for each speaker is determined by the direction to be output, the arrangement of the speakers, and the frequency of the warning sound to be output.
ところで、スピーカＳ１〜Ｓ６から出力する警告音は、任意に設定することができる。例えば、危険要因に対する情報を読み上げる声を使用しても良いし、危険要因の種類（車、単車、自転車、人）などに対応する模式的な音を使用しても良い。危険要因の種類に対応する模式的な音としては、エンジン音、クラクション音、ベル音などを利用することができる。 By the way, the warning sound output from the speakers S1 to S6 can be arbitrarily set. For example, a voice that reads out information on the risk factor may be used, or a schematic sound corresponding to the type of risk factor (car, motorcycle, bicycle, person) may be used. As a typical sound corresponding to the type of risk factor, an engine sound, a horn sound, a bell sound, or the like can be used.
さらに、警告音の周波数帯は、音の方向性を感じることのできる１００Ｈｚ以上が望ましく、さらには４００Ｈｚ以上５０００Ｈｚ未満であることが望ましい。この４００Ｈｚ〜５０００Ｈｚは、人間の耳に聞きやすく、かつ車両走行によるノイズが発生することの少ない周波数帯であり、運転者への効果的な警告に適する。 Furthermore, the frequency band of the warning sound is preferably 100 Hz or more where the directionality of the sound can be sensed, and more preferably 400 Hz or more and less than 5000 Hz. This 400 Hz to 5000 Hz is a frequency band that is easily heard by human ears and is less likely to generate noise due to vehicle running, and is suitable for effective warning to the driver.
また、人間の可聴範囲は年齢と共に変化するので、運転者の年齢などの情報がある場合には、年齢に応じて異なる警告音を使用することがさらに好適である。 Moreover, since the human audible range changes with age, it is more preferable to use different warning sounds depending on the age when there is information such as the age of the driver.
つぎに、車両の居室について説明する。図２は、車両の居室について説明する説明図である。同図に示すように、自車両３０の運転席近傍には、室内カメラ１１およびモニタｍ１を配置している。また、助手席前方にスピーカＳ１を、運転席前方にスピーカＳ２を配置し、運転席側のドアにスピーカＳ４を、助手席側のドアにスピーカＳ３を配置している。さらに、後部座席左側にスピーカＳ５を、後部座席右側にスピーカＳ６を配置している。また、後部座席と運転席・助手席との間にモニタｍ２を配置している。
Next, the vehicle room will be described. FIG. 2 is an explanatory diagram for explaining the room of the vehicle. As shown in the figure, an
スピーカＳ１〜Ｓ６は、音声制御部３４によって制御され、運転者に対して任意の方向から警告を発することができる。例えば、車両の右側に危険要因が存在する場合、スピーカＳ４から警告を発し、車両の後方に危険要因が存在する場合にはスピーカＳ５およびスピーカＳ６を協働させて警告音を発する。また、車両の左前方に危険要因が存在する場合には、スピーカＳ１〜Ｓ３を協働させ、その出力のバランスによって危険要因の方向からの警告出力を実現する。
The speakers S <b> 1 to S <b> 6 are controlled by the
なお、スピーカの数および配置は必ずしもこの図２に示した配置に限定されるものではなく、任意の方向からの警告を行うことができればどのような数および配置であっても良い。運転者を中心として３以上のスピーカを備えれば、その配置と出力制御によって任意方向からの音声を作成可能である。 Note that the number and arrangement of speakers are not necessarily limited to the arrangement shown in FIG. 2, and any number and arrangement may be used as long as warning can be given from any direction. If there are three or more speakers centered on the driver, it is possible to create sound from any direction by the arrangement and output control.
ところで、このように危険要因の方向と警告音の出力方向とを一致させるのは、運転者に直感的に危険要因の方向を察知させ、運転者が必要に応じてその方向を視認できるようにする効果がある。しかし、車両には構成上の死角、すなわち運転者が視認不可能な方向が存在する。例えば、運転席が右側であれば、車両の左後方が死角になることが多い。また、車両の上方も死角である。駐車場など高さ制限のある場所で、車高の高い車やアンテナを伸ばした車では、上方を十分に確認できない場合が多い。 By the way, matching the direction of the risk factor and the output direction of the warning sound in this way allows the driver to intuitively detect the direction of the risk factor so that the driver can visually recognize the direction as necessary. There is an effect to. However, there are structural blind spots, that is, directions in which the driver cannot visually recognize the vehicle. For example, if the driver's seat is on the right side, the left rear of the vehicle often becomes a blind spot. Also, the top of the vehicle is a blind spot. In places where there is a height restriction such as a parking lot, a car with a high car height or a car with an extended antenna often cannot fully confirm the upper part.
そこで、危険要因の方向が車両の死角である場合には、モニタに情報を表示すると共にモニタ方向から警告音を出力するように構成してもよい。このように構成したならば、危険要因が視認可能であれば運転者に直接に目視させ、危険要因が視認不可能であれば（危険要因が死角に存在すれば）、運転者にモニタの確認を促すことができる。また、死角方向を車外カメラにて撮像し、撮像した画像をモニタに表示したならば、モニタの確認によって直接目視の代替をおこなうことが可能となる。 Therefore, when the direction of the risk factor is a blind spot of the vehicle, information may be displayed on the monitor and a warning sound may be output from the monitor direction. If configured in this way, if the risk factor is visible, the driver can see it directly. If the risk factor is not visible (if the risk factor is in the blind spot), the driver should check the monitor. Can be encouraged. Moreover, if the blind spot direction is imaged by the camera outside the vehicle and the captured image is displayed on the monitor, it is possible to perform direct visual substitution by checking the monitor.
また、情報を表示するモニタは、運転席用に配置されたモニタｍ１に限定されるものではない。例えば、車両を後退させて駐車する場合など、運転者が後方を目視しながら運転操作をおこなっている場合、モニタｍ２に情報を表示することで、運転操作を中断させることなく必要な情報を提示することができる。 The monitor that displays information is not limited to the monitor m1 arranged for the driver's seat. For example, when the driver is performing a driving operation while viewing the back, such as when the vehicle is parked backward, the necessary information can be presented without interrupting the driving operation by displaying information on the monitor m2. can do.
なお、運転者が前方を目視しているか、後方を目視しているか、すなわちモニタｍ１とモニタｍ２のどちらが運転者にとって確認が容易であるかは、運転者状態判定部２２が判定した運転者の視線方向に基づいて判断すれば良い。
Note that whether the driver is viewing the front or the rear, that is, which of the monitor m1 and the monitor m2 is easier for the driver to confirm is determined by the driver
ここでモニタｍ２は、運転者への情報提供のために専用に設けても良いし、後部座席に座ったユーザに音楽情報や動画などを供するモニタと共用しても良い。モニタｍ２を運転席と後部座席とで共用する場合には、モニタｍ２を回動可能とし、運転者の使用に供する場合と後部座席での使用に供する場合とで表示面の方向を変更するようにすればよい。 Here, the monitor m2 may be provided exclusively for providing information to the driver, or may be shared with a monitor that provides music information, video, etc. to the user sitting on the rear seat. When the monitor m2 is shared by the driver's seat and the rear seat, the monitor m2 can be rotated so that the direction of the display surface is changed depending on whether it is used by the driver or used by the rear seat. You can do it.
つぎに、運転支援装置１による支援の具体例について説明する。図３および図４は、運転支援装置１による支援の具体例を説明する説明図であり、図３は運転者が左前方を目視している状態を、図４は運転者が右前方を目視している状態を示す。 Next, a specific example of assistance by the driving assistance apparatus 1 will be described. 3 and 4 are explanatory diagrams for explaining a specific example of assistance by the driving assistance device 1. FIG. 3 shows a state in which the driver is viewing the left front, and FIG. 4 is a view of the driver in the right front. Indicates the state of
図３および図４では、自車両Ｃ０が走行している道路において、左前方から他車両Ｃ１が道路に進入中であり、右前方から他車両Ｃ３が道路に進入中である。ここで、他車両Ｃ１，Ｃ２は自車両Ｃ０に対する危険要因として作用する。 3 and 4, on the road on which the host vehicle C0 is traveling, the other vehicle C1 is entering the road from the left front, and the other vehicle C3 is entering the road from the right front. Here, the other vehicles C1 and C2 act as a risk factor for the host vehicle C0.
運転支援装置１は、自車両Ｃ０の周囲に判定領域Ｒ１および判定領域Ｒ２を設定している。この判定領域Ｒ１，Ｒ２は、危険判定部２３による危険判定を模式化したものであり、判定領域Ｒ２内に危険要因を検出したならば「警告」を実行する必要があり、判定領域Ｒ１内に危険要因を検出したならば「動作制御」を実行する必要があることを示す。
The driving support device 1 sets a determination region R1 and a determination region R2 around the host vehicle C0. The determination areas R1 and R2 are schematic representations of the risk determination by the
図３および図４では、他車両Ｃ１，Ｃ２はそれぞれ判定領域Ｒ２に入っており、判定領域Ｒ１には入っていない。そこで、運転支援装置１は、他車両Ｃ１，Ｃ２について運転者に対して「警告」を行う必要があると判断する。 In FIG. 3 and FIG. 4, the other vehicles C1 and C2 are in the determination area R2, but are not in the determination area R1. Therefore, the driving assistance device 1 determines that it is necessary to “warn” the driver about the other vehicles C1 and C2.
ここで、図３では、運転者状態判定部２２は、運転者は左前方を見ていると判定しており、運転者の視界Ｖ１に他車両Ｃ１が存在する。そこで、運転者は他車両Ｃ１の存在を認識していると推測できる。従って、運転支援装置１は、運転者の視界Ｖ１の外に存在する他車両Ｃ２についての警告を選択的に、もしくは優先的に実行する。
Here, in FIG. 3, the driver
一方、図４では、運転者状態判定部２２は、運転者は右前方を見ていると判定しており、運転者の視界Ｖ２に他車両Ｃ２が存在する。そこで、運転者は他車両Ｃ２の存在を認識していると推測できる。従って、運転支援装置１は、運転者の視界Ｖ２の外に存在する他車両Ｃ１についての警告を選択的に、もしくは優先的に実行する。
On the other hand, in FIG. 4, the driver
つぎに、運転支援装置１による処理動作について説明する。図５は、運転支援装置１の処理動作を説明するフローチャートである。この図５に示したフローは、自車両の走行中に繰り返し実行される。同図に示すように、まず、危険判定部２３は、自車両および周辺の各種情報を取得し、危険判断をおこなう（ステップＳ１０１）。その結果、自車両に危険がなければ（ステップＳ１０２，Ｙｅｓ）、運転支援装置１は処理を終了する。
Next, a processing operation by the driving support device 1 will be described. FIG. 5 is a flowchart for explaining the processing operation of the driving support device 1. The flow shown in FIG. 5 is repeatedly executed while the host vehicle is traveling. As shown in the figure, first, the
一方、自車両に危険があれば（ステップＳ１０２，Ｎｏ）、支援内容決定部２５は、動作制御が必要であるか否かを判定する（ステップＳ１０３）。動作制御が必要である場合（ステップＳ１０３，Ｙｅｓ）、動作制御３１によって自車両の動作を制御し（ステップＳ１０５）、処理を終了する。
On the other hand, if the host vehicle is dangerous (step S102, No), the support
一方、動作制御が必要でなければ（ステップＳ１０３，Ｎｏ）、運転者状態判定部２２が運転者の視線方向を検出する（ステップＳ１０４）。その結果、運転者の視界の外に危険要因が存在しなければ（ステップＳ１０６，Ｎｏ）、すなわち運転者が既に危険要因を認識していれば、運転支援装置１は処理を終了する。
On the other hand, if operation control is not necessary (No at Step S103), the driver
しかし、運転者の視界の外に危険要因が存在するならば（ステップＳ１０６，Ｙｅｓ）、警告制御部３２は運転者に対する警告処理を実行して（ステップＳ１０７）、処理を終了する。
However, if there is a risk factor outside the driver's field of view (Yes in step S106), the
なお、このフローは運転支援装置１で実行可能な処理フローの一例であり、他のフローを使用しても良い。たとえば、このフローでは警告時に運転者の視線方向を加味しているが、動作制御においても運転者の視線方向を加味するようにしてもよい。また、運転者の視界内に危険要因が存在する場合にも警告を実行するようにし、危険要因が運転者の視界内に存在するか視界外に存在するかで警告内容を異ならせても良い。 This flow is an example of a processing flow that can be executed by the driving support device 1, and other flows may be used. For example, in this flow, the driver's line-of-sight direction is taken into account at the time of warning, but the driver's line-of-sight direction may also be taken into account in the operation control. In addition, a warning may be executed even when a risk factor exists in the driver's field of view, and the content of the warning may differ depending on whether the risk factor exists in the driver's field of view or outside the field of view. .
つぎに、運転者に対する警告処理（図５に示したステップＳ１０７）についてさらに詳細に説明する。上述したように、運転者に警告音を出力する場合、常に危険要因の方向から警告音を出力する方法と、危険要因の方向が死角である場合にはモニタ方向から警告音を出力する方法とがある。 Next, warning processing for the driver (step S107 shown in FIG. 5) will be described in more detail. As described above, when outputting a warning sound to the driver, a method of always outputting a warning sound from the direction of the risk factor, and a method of outputting a warning sound from the monitor direction when the direction of the risk factor is a blind spot, There is.
まず、常に危険要因の方向から警告音を出力する場合について説明する。図６は、常に危険要因の方向から警告音を出力する場合の処理動作について説明するフローチャートである。この警告処理フローでは、まず、危険方向判定部２３ｂが判定した危険要因の方向を取得し（ステップＳ２０１）、その後、スピーカＳ１〜Ｓ６の音量（ボリューム）や出力タイミング（遅れ）を制御して警告音の方向と危険要因の方向とを一致させる（ステップＳ２０２）。
First, a case where a warning sound is always output from the direction of a risk factor will be described. FIG. 6 is a flowchart for explaining the processing operation when the warning sound is always output from the direction of the risk factor. In this warning processing flow, first, the direction of the risk factor determined by the danger
そして、スピーカＳ１〜Ｓ６から警告音を出力する（ステップＳ２０３）とともに、運転者の視界に近いモニタに危険要因に関する情報を表示して（ステップＳ２０４）、処理を終了する。 And while outputting a warning sound from speaker S1-S6 (step S203), the information regarding a risk factor is displayed on the monitor near a driver | operator's visual field (step S204), and a process is complete | finished.
つぎに、危険要因の方向が死角である場合にはモニタ方向から警告音を出力する場合について説明する。図７は、危険要因の方向が死角である場合にはモニタ方向から警告音を出力する場合の処理動作について説明するフローチャートである。この警告処理フローでは、まず、危険方向判定部２３ｂが判定した危険要因の方向を取得し（ステップＳ３０１）、その後、危険要因の方向が運転者の死角であるか否かを判定する（ステップＳ３０２）。
Next, a case where a warning sound is output from the monitor direction when the direction of the risk factor is a blind spot will be described. FIG. 7 is a flowchart for explaining the processing operation when a warning sound is output from the monitor direction when the direction of the risk factor is a blind spot. In this warning processing flow, first, the direction of the risk factor determined by the risk
危険要因の方向が運転者の死角ではない場合（ステップＳ３０２，Ｎｏ）、音声方向制御部３４ａは、スピーカＳ１〜Ｓ６の音量（ボリューム）や出力タイミング（遅れ）を制御して警告音の方向と危険要因の方向とを一致させる（ステップＳ３０４）。
If the direction of the risk factor is not the driver's blind spot (No in step S302), the voice
一方、危険要因の方向が運転者の死角である場合（ステップＳ３０２，Ｙｅｓ）、音声方向制御部３４ａは、スピーカＳ１〜Ｓ６の音量（ボリューム）や出力タイミング（遅れ）を制御して警告音の方向とモニタの方向とを一致させる（ステップＳ３０３）。ここで、モニタは運転者の視界に近いモニタを使用する。
On the other hand, when the direction of the risk factor is the driver's blind spot (step S302, Yes), the voice
ステップＳ３０３終了後、もしくはステップＳ３０４終了後、音声制御部３４は、スピーカＳ１〜Ｓ６から警告音を出力する（ステップＳ３０５）とともに、運転者の視界に近いモニタに危険要因に関する情報を表示して（ステップＳ３０６）、処理を終了する。
After step S303 or step S304, the
つぎに、モニタへの具体的な表示例について説明する。図８−１および図８−２は、それぞれモニタｍ１，ｍ２に表示する警告表示の具体例を示す図である。図８−１に示した表示画面４０は、その表示画面上に方向表示領域４１、情報表示領域４２および画像表示領域４３を作成している。
Next, a specific display example on the monitor will be described. FIGS. 8A and 8B are diagrams illustrating specific examples of warning displays displayed on the monitors m1 and m2, respectively. The
方向表示領域４１は、自車両の模式図を表示するとともに、自車両の模式図に対する危険要因の方向を表示することで、運転者が簡易に危険要因の方向を認識できるようにしている。また、情報表示領域４２は、危険要因に関する情報を文字などで表示する領域であり、画像表示領域４３は、車外カメラなどで撮像した危険要因の画像を表示する領域である。
The
また、図８−２に示した表示画面５０は、その表示画面上に方向表示記号５１、情報表示領域５２および画像表示領域５３を作成している。方向表示記号５１は、表示画面全体を自車両に見立て、自車両対する危険要因の方向を表示することで、運転者が簡易に危険要因の方向を認識できるようにしている。また、情報表示領域５２は、危険要因に関する情報を文字などで表示する領域であり、画像表示領域５３は、車外カメラなどで撮像した危険要因の画像を表示する領域である。
Further, the
このように表示画面４０，５０では、危険要因の方向、危険要因の詳細な情報、および危険要因の画像を表示することで、運転者に対して簡易かつ詳細に報知を行うことができる。 In this way, the display screens 40 and 50 display the direction of the risk factor, detailed information on the risk factor, and the image of the risk factor, so that the driver can be notified easily and in detail.
上述したように、本実施例では、自車両に対する危険要因の方向を判定し、運転者が危険要因の方向を見ていない場合に、その危険要因についての警告や動作介入を優先的に行うので、運転者と協働し、運転者に真に必要な警告や補助を優先的に実行することができる。 As described above, in the present embodiment, the direction of the risk factor with respect to the host vehicle is determined, and when the driver does not look at the direction of the risk factor, warning and action intervention regarding the risk factor are given priority. In cooperation with the driver, warnings and assistance that are truly necessary for the driver can be preferentially executed.
また、運転者に警告を行う場合に、スピーカの音量や出力タイミングを制御して、危険要因の方向と警告音の出力方向とを一致させるので、危険要因の方向を運転者に直感的に認識させて迅速な対応を可能とし、運転の安全性を飛躍的に高めることができる。 In addition, when warning the driver, the volume of the speaker and the output timing are controlled so that the direction of the risk factor matches the output direction of the warning sound, so the driver can intuitively recognize the direction of the risk factor This makes it possible to respond quickly and dramatically improve driving safety.
以上のように、本発明にかかる運転支援装置は、安全な車両走行の実現に有用であり、特に、運転者に真に必要な支援を選択し、効果的に実行することに適している。 As described above, the driving assistance device according to the present invention is useful for realizing safe vehicle travel, and is particularly suitable for selecting and effectively executing assistance that is truly necessary for the driver.
１ 運転支援装置
２ ナビゲーションシステム
３ オーディオ装置
１１ 車内カメラ
１２ 車外マイク
１３ 通信処理部
１４ レーダ
１５ 車外カメラ
２１ 画像処理部
２２ 運転状態判定部
２３ 危険判定部
２３ａ 危険内容判定部
２３ｂ 危険方向判定部
２３ｃ 危険度合判定部
２３ｄ 危険時刻判定部
２４ 位置情報取得部
２５ 支援内容決定部
３１ 動作制御部
３２ 警告制御部
３３ 表示制御部
３３ａ 表示合成部
３４ 音声制御部
３４ａ 音声方向制御部
３４ｂ 音声合成部
４０，５０ 表示画面
４１ 方向表示領域
４２，５２ 情報表示領域
４３，５３ 画像表示領域
５１ 方向表示記号
ｍ１，ｍ２ モニタ
Ｓ１〜Ｓ６ スピーカ
Ｃ０ 自車両
Ｃ１，Ｃ２ 他車両
Ｒ１，Ｒ２ 判定領域
Ｖ１，Ｖ２ 視界
DESCRIPTION OF SYMBOLS 1
Claims (12)
車両に対する危険要因を検出し、該検出された危険要因の自車両に対する相対方向を特定する危険要因判定手段と、
前記危険要因判定手段が特定した前記危険要因の相対方向をもとに、前記運転者に対する報知内容および／または前記車両操作への介入内容を決定する支援内容決定手段と、
を備えたことを特徴とする運転支援装置。 A driving support device that acquires information related to traveling of a vehicle, performs notification to a driver and / or intervention in vehicle operation based on the acquired information,
A risk factor determination means for detecting a risk factor for the vehicle and identifying a relative direction of the detected risk factor with respect to the own vehicle;
Based on the relative direction of the risk factor specified by the risk factor determination means, support content determination means for determining the content of notification to the driver and / or the content of intervention in the vehicle operation,
A driving support apparatus comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003367243A JP4275507B2 (en) | 2003-10-28 | 2003-10-28 | Driving assistance device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003367243A JP4275507B2 (en) | 2003-10-28 | 2003-10-28 | Driving assistance device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005134971A true JP2005134971A (en) | 2005-05-26 |
| JP4275507B2 JP4275507B2 (en) | 2009-06-10 |
Family
ID=34645303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003367243A Expired - Fee Related JP4275507B2 (en) | 2003-10-28 | 2003-10-28 | Driving assistance device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4275507B2 (en) |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005292881A (en) * | 2004-03-31 | 2005-10-20 | Clarion Co Ltd | Vehicle location reporting device and vehicle location reporting system |
| JP2007008297A (en) * | 2005-06-30 | 2007-01-18 | Yamaha Corp | Vehicular warning device |
| JP2007065704A (en) * | 2005-08-29 | 2007-03-15 | Alpine Electronics Inc | Alarm device for vehicle |
| JP2008040977A (en) * | 2006-08-09 | 2008-02-21 | Denso Corp | Information providing device for vehicle |
| WO2008032220A2 (en) | 2006-09-14 | 2008-03-20 | Toyota Jidosha Kabushiki Kaisha | Sight-line end estimation device and driving assist device |
| JP2008310806A (en) * | 2007-06-12 | 2008-12-25 | Palo Alto Research Center Inc | Two-level grouping of principals for collision warning system |
| JP2008310804A (en) * | 2007-06-12 | 2008-12-25 | Palo Alto Research Center Inc | Using long-range dynamics and mental-state models to assess collision risk for early warning |
| JP2009211628A (en) * | 2008-03-06 | 2009-09-17 | Aisin Aw Co Ltd | Obstacle warning device, obstacle warning method, and computer program |
| JP2009301123A (en) * | 2008-06-10 | 2009-12-24 | Fuji Heavy Ind Ltd | Vehicle driving support device |
| JP2010030513A (en) * | 2008-07-30 | 2010-02-12 | Fuji Heavy Ind Ltd | Driving support apparatus for vehicle |
| JP2010087861A (en) * | 2008-09-30 | 2010-04-15 | Nissan Motor Co Ltd | Dead-angle image display and dead-angle image display method |
| JP2010173366A (en) * | 2009-01-27 | 2010-08-12 | Mitsubishi Electric Corp | On-vehicle network device |
| EP2513882A1 (en) * | 2009-12-18 | 2012-10-24 | Honda Motor Co., Ltd. | A predictive human-machine interface using eye gaze technology, blind spot indicators and driver experience |
| JP2012212351A (en) * | 2011-03-31 | 2012-11-01 | Mazda Motor Corp | Vehicle information providing device |
| JP2013182585A (en) * | 2012-03-05 | 2013-09-12 | Denso Corp | Operation support device and program |
| JP2013257769A (en) * | 2012-06-13 | 2013-12-26 | Toyota Motor Corp | Drive support device |
| JP2014106805A (en) * | 2012-11-28 | 2014-06-09 | Fuji Heavy Ind Ltd | Vehicle driving support control device |
| JP2015232859A (en) * | 2014-06-11 | 2015-12-24 | 株式会社デンソー | Safety confirmation support system and safety confirmation support method |
| US9536402B2 (en) | 2014-06-26 | 2017-01-03 | Kyocera Document Solutions Inc. | Electronic device that outputs easily recognizable notification sound and recording medium |
| JP2019202772A (en) * | 2019-07-01 | 2019-11-28 | 株式会社デンソー | Drive support device and drive support program |
| JP2020047128A (en) * | 2018-09-21 | 2020-03-26 | パイオニア株式会社 | Information processor, information processing method, information processing program, and storage medium |
| WO2020170870A1 (en) * | 2019-02-20 | 2020-08-27 | 日本電信電話株式会社 | Event occurrence time learning device, event occurrence time estimation device, event occurrence time estimation method, event occurrence time learning program, and event occurrence time estimation program |
| JP2020172396A (en) * | 2019-04-11 | 2020-10-22 | 三菱ロジスネクスト株式会社 | Control device, control method, and program |
| CN112046497A (en) * | 2019-06-07 | 2020-12-08 | 富士通株式会社 | Driving assistance apparatus, driving assistance method, and driving assistance program |
| CN112289245A (en) * | 2019-07-22 | 2021-01-29 | 乐金显示有限公司 | Display device and vehicle including the same |
| JP2021018436A (en) * | 2019-07-22 | 2021-02-15 | エルジー ディスプレイ カンパニー リミテッド | Display device and vehicle including the same |
| JPWO2020026461A1 (en) * | 2018-08-03 | 2021-08-02 | 日本電気株式会社 | Information processing equipment, information processing methods and information processing programs |
| JPWO2020213022A1 (en) * | 2019-04-15 | 2021-10-14 | 三菱電機株式会社 | Line-of-sight monitoring device and line-of-sight monitoring method |
| US11173925B2 (en) | 2016-04-01 | 2021-11-16 | Denso Corporation | Driving assistance device and driving assistance program product |
| US11544937B2 (en) | 2019-04-11 | 2023-01-03 | Mitsubishi Logisnext Co., LTD. | Control device, control method, and computer readable medium |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5590747B2 (en) | 2012-11-29 | 2014-09-17 | 株式会社ホンダアクセス | Driver dangerous driving notification device |
| US10540557B2 (en) | 2016-08-10 | 2020-01-21 | Xevo Inc. | Method and apparatus for providing driver information via audio and video metadata extraction |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06230132A (en) * | 1993-02-03 | 1994-08-19 | Nissan Motor Co Ltd | Obstacle detector for vehicle |
| JPH1142988A (en) * | 1997-07-25 | 1999-02-16 | Yazaki Corp | Vehicle rear monitoring method and vehicle rear monitoring device |
| JP2001199296A (en) * | 2000-01-17 | 2001-07-24 | Matsushita Electric Ind Co Ltd | Warning device, driver's seat having vibrating body, and mobile body equipped with warning device on vehicle |
| JP2001357498A (en) * | 2000-06-15 | 2001-12-26 | Mazda Motor Corp | Information providing device for vehicle |
-
2003
- 2003-10-28 JP JP2003367243A patent/JP4275507B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06230132A (en) * | 1993-02-03 | 1994-08-19 | Nissan Motor Co Ltd | Obstacle detector for vehicle |
| JPH1142988A (en) * | 1997-07-25 | 1999-02-16 | Yazaki Corp | Vehicle rear monitoring method and vehicle rear monitoring device |
| JP2001199296A (en) * | 2000-01-17 | 2001-07-24 | Matsushita Electric Ind Co Ltd | Warning device, driver's seat having vibrating body, and mobile body equipped with warning device on vehicle |
| JP2001357498A (en) * | 2000-06-15 | 2001-12-26 | Mazda Motor Corp | Information providing device for vehicle |
Cited By (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005292881A (en) * | 2004-03-31 | 2005-10-20 | Clarion Co Ltd | Vehicle location reporting device and vehicle location reporting system |
| JP2007008297A (en) * | 2005-06-30 | 2007-01-18 | Yamaha Corp | Vehicular warning device |
| JP4692106B2 (en) * | 2005-06-30 | 2011-06-01 | ヤマハ株式会社 | Warning device for vehicle |
| JP2007065704A (en) * | 2005-08-29 | 2007-03-15 | Alpine Electronics Inc | Alarm device for vehicle |
| JP2008040977A (en) * | 2006-08-09 | 2008-02-21 | Denso Corp | Information providing device for vehicle |
| US7859652B2 (en) | 2006-09-14 | 2010-12-28 | Toyota Jidosha Kabushiki Kaisha | Sight-line end estimation device and driving assist device |
| WO2008032220A2 (en) | 2006-09-14 | 2008-03-20 | Toyota Jidosha Kabushiki Kaisha | Sight-line end estimation device and driving assist device |
| JP2008310804A (en) * | 2007-06-12 | 2008-12-25 | Palo Alto Research Center Inc | Using long-range dynamics and mental-state models to assess collision risk for early warning |
| JP2008310806A (en) * | 2007-06-12 | 2008-12-25 | Palo Alto Research Center Inc | Two-level grouping of principals for collision warning system |
| JP2009211628A (en) * | 2008-03-06 | 2009-09-17 | Aisin Aw Co Ltd | Obstacle warning device, obstacle warning method, and computer program |
| JP2009301123A (en) * | 2008-06-10 | 2009-12-24 | Fuji Heavy Ind Ltd | Vehicle driving support device |
| JP2010030513A (en) * | 2008-07-30 | 2010-02-12 | Fuji Heavy Ind Ltd | Driving support apparatus for vehicle |
| JP2010087861A (en) * | 2008-09-30 | 2010-04-15 | Nissan Motor Co Ltd | Dead-angle image display and dead-angle image display method |
| JP2010173366A (en) * | 2009-01-27 | 2010-08-12 | Mitsubishi Electric Corp | On-vehicle network device |
| EP2513882A1 (en) * | 2009-12-18 | 2012-10-24 | Honda Motor Co., Ltd. | A predictive human-machine interface using eye gaze technology, blind spot indicators and driver experience |
| EP2513882A4 (en) * | 2009-12-18 | 2013-05-29 | Honda Motor Co Ltd | A predictive human-machine interface using eye gaze technology, blind spot indicators and driver experience |
| JP2012212351A (en) * | 2011-03-31 | 2012-11-01 | Mazda Motor Corp | Vehicle information providing device |
| JP2013182585A (en) * | 2012-03-05 | 2013-09-12 | Denso Corp | Operation support device and program |
| JP2013257769A (en) * | 2012-06-13 | 2013-12-26 | Toyota Motor Corp | Drive support device |
| JP2014106805A (en) * | 2012-11-28 | 2014-06-09 | Fuji Heavy Ind Ltd | Vehicle driving support control device |
| US9493072B2 (en) | 2014-06-11 | 2016-11-15 | Denso Corporation | Safety confirmation support system for vehicle driver and method for supporting safety confirmation of vehicle driver |
| JP2015232859A (en) * | 2014-06-11 | 2015-12-24 | 株式会社デンソー | Safety confirmation support system and safety confirmation support method |
| US9536402B2 (en) | 2014-06-26 | 2017-01-03 | Kyocera Document Solutions Inc. | Electronic device that outputs easily recognizable notification sound and recording medium |
| US11845462B2 (en) | 2016-04-01 | 2023-12-19 | Denso Corporation | Driving assistance device and driving assistance program product |
| US11173925B2 (en) | 2016-04-01 | 2021-11-16 | Denso Corporation | Driving assistance device and driving assistance program product |
| US11475773B2 (en) | 2018-08-03 | 2022-10-18 | Nec Corporation | Alert of occurrence of pre-dangerous state of vehicle |
| JPWO2020026461A1 (en) * | 2018-08-03 | 2021-08-02 | 日本電気株式会社 | Information processing equipment, information processing methods and information processing programs |
| JP7081669B2 (en) | 2018-08-03 | 2022-06-07 | 日本電気株式会社 | Information processing equipment, information processing methods and information processing programs |
| JP2020047128A (en) * | 2018-09-21 | 2020-03-26 | パイオニア株式会社 | Information processor, information processing method, information processing program, and storage medium |
| JP2020135482A (en) * | 2019-02-20 | 2020-08-31 | 日本電信電話株式会社 | Event occurrence time learning device, event occurrence time estimation device, event occurrence time estimation method, event occurrence time learning program, and event occurrence time estimation program |
| WO2020170870A1 (en) * | 2019-02-20 | 2020-08-27 | 日本電信電話株式会社 | Event occurrence time learning device, event occurrence time estimation device, event occurrence time estimation method, event occurrence time learning program, and event occurrence time estimation program |
| JP7092062B2 (en) | 2019-02-20 | 2022-06-28 | 日本電信電話株式会社 | Event occurrence time learning device, event occurrence time estimation device, event occurrence time estimation method, event occurrence time learning program, and event occurrence time estimation program |
| JP7016900B2 (en) | 2019-04-11 | 2022-02-07 | 三菱ロジスネクスト株式会社 | Controls, control methods and programs |
| US11544937B2 (en) | 2019-04-11 | 2023-01-03 | Mitsubishi Logisnext Co., LTD. | Control device, control method, and computer readable medium |
| JP2020172396A (en) * | 2019-04-11 | 2020-10-22 | 三菱ロジスネクスト株式会社 | Control device, control method, and program |
| JPWO2020213022A1 (en) * | 2019-04-15 | 2021-10-14 | 三菱電機株式会社 | Line-of-sight monitoring device and line-of-sight monitoring method |
| CN112046497A (en) * | 2019-06-07 | 2020-12-08 | 富士通株式会社 | Driving assistance apparatus, driving assistance method, and driving assistance program |
| CN112046497B (en) * | 2019-06-07 | 2024-03-15 | 本田技研工业株式会社 | Driving support apparatus, driving support method, and driving support program |
| JP2019202772A (en) * | 2019-07-01 | 2019-11-28 | 株式会社デンソー | Drive support device and drive support program |
| CN112289245A (en) * | 2019-07-22 | 2021-01-29 | 乐金显示有限公司 | Display device and vehicle including the same |
| JP2021018436A (en) * | 2019-07-22 | 2021-02-15 | エルジー ディスプレイ カンパニー リミテッド | Display device and vehicle including the same |
| JP2022078143A (en) * | 2019-07-22 | 2022-05-24 | エルジー ディスプレイ カンパニー リミテッド | Display device and vehicle including the same |
| JP2021018437A (en) * | 2019-07-22 | 2021-02-15 | エルジー ディスプレイ カンパニー リミテッド | Display device and vehicle including the same |
| JP2022095684A (en) * | 2019-07-22 | 2022-06-28 | エルジー ディスプレイ カンパニー リミテッド | Display device and vehicle including the same |
| US11082762B2 (en) | 2019-07-22 | 2021-08-03 | Lg Display Co., Ltd. | Display apparatus and vehicle including the same |
| US11256468B2 (en) | 2019-07-22 | 2022-02-22 | Lg Display Co., Ltd. | Display apparatus and vehicle including the same |
| CN114501244A (en) * | 2019-07-22 | 2022-05-13 | 乐金显示有限公司 | Display device and vehicle including the same |
| US11689835B2 (en) | 2019-07-22 | 2023-06-27 | Lg Display Co., Ltd. | Display apparatus and vehicle including the same |
| JP7336558B2 (en) | 2019-07-22 | 2023-08-31 | エルジー ディスプレイ カンパニー リミテッド | Display device and vehicle including the same |
| JP7348978B2 (en) | 2019-07-22 | 2023-09-21 | エルジー ディスプレイ カンパニー リミテッド | Display device and vehicle including it |
| JP7045420B2 (en) | 2019-07-22 | 2022-03-31 | エルジー ディスプレイ カンパニー リミテッド | Display device and vehicle including it |
| JP7032486B2 (en) | 2019-07-22 | 2022-03-08 | エルジー ディスプレイ カンパニー リミテッド | Display device and vehicle including it |
| CN112289245B (en) * | 2019-07-22 | 2024-04-05 | 乐金显示有限公司 | Display device and vehicle including the same |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4275507B2 (en) | 2009-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4275507B2 (en) | Driving assistance device | |
| JP4846426B2 (en) | Vehicle perimeter monitoring device | |
| JP5741173B2 (en) | Image display device and image display method | |
| US10882538B1 (en) | System and method for a combined visual and audible spatial warning system | |
| JP5082834B2 (en) | Aside look detection device and method, and program | |
| JP6205640B2 (en) | Warning device for vehicle | |
| JP2003291688A (en) | Display method, driving support device and program | |
| JP2008062762A (en) | Drive assist device and drive assist method | |
| JP2007141223A (en) | Information processing apparatus and method, recording medium, and program | |
| JP2005328181A (en) | Periphery confirming apparatus | |
| JP2020067979A (en) | Obstacle notification device for vehicle | |
| JP2007304712A (en) | Operation support device | |
| JP2012038138A (en) | Display device for vehicle | |
| JP2007133732A (en) | Safe travel support device | |
| JP2013191050A (en) | Vehicle periphery monitoring device | |
| JP5054555B2 (en) | Vehicle peripheral image display device | |
| JP2008257636A (en) | Driving support device | |
| JP4873255B2 (en) | Vehicle notification system | |
| JP2013161440A (en) | Vehicle surroundings monitoring device | |
| JP2015008453A (en) | Camera device and warning method | |
| JP5281421B2 (en) | In-vehicle system | |
| JP2008310690A (en) | Recognition support device for vehicle | |
| JP2007182117A (en) | Perimeter monitoring device for vehicle | |
| JP2023002810A (en) | output device | |
| JP5529097B2 (en) | Vehicle driving support device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061020 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081202 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090303 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090304 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4275507 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130313 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130313 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140313 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140313 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |