JP2009217692A - Driving support device - Google Patents

Driving support device Download PDF

Info

Publication number
JP2009217692A
JP2009217692A JP2008062553A JP2008062553A JP2009217692A JP 2009217692 A JP2009217692 A JP 2009217692A JP 2008062553 A JP2008062553 A JP 2008062553A JP 2008062553 A JP2008062553 A JP 2008062553A JP 2009217692 A JP2009217692 A JP 2009217692A
Authority
JP
Japan
Prior art keywords
risk
vehicle
estimated
risk factor
collision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008062553A
Other languages
Japanese (ja)
Other versions
JP5035040B2 (en
Inventor
Yoshiko Ohama
吉紘 大濱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Priority to JP2008062553A priority Critical patent/JP5035040B2/en
Publication of JP2009217692A publication Critical patent/JP2009217692A/en
Application granted granted Critical
Publication of JP5035040B2 publication Critical patent/JP5035040B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To output warning information by precisely determining a hazardous condition. <P>SOLUTION: A one's own vehicle state recognition part 46 recognizes the traveling state and location of a one's own vehicle, and an object state recognition part 44 recognizes the moving state and location of an object around the one's own vehicle. A hazardous factor estimation part 48 estimates a hazardous factor with respect to the object based on the recognized traveling state of the one's own vehicle, the recognized moving state of the object and the collision risk of the collision between the one's own vehicle and the object by using the collision risk estimated by a collision risk estimation part 50, The collision risk estimation part 50 estimates the collision risk of the collision between the one's own vehicle and the object based on the recognized traveling state and location of the one's own vehicle, the recognized moving state and location of the object and the risk factor of the one's own vehicle with respect to the object by using the risk factor estimated by the risk factor estimation part 48. When the estimated collision risk is equal to or more than a threshold, warning information is output by an output part 16. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

この発明は、運転支援装置に係り、特に、自車両が周辺に存在する物体と衝突しないように警告情報を出力する運転支援装置に関する。   The present invention relates to a driving support device, and more particularly, to a driving support device that outputs warning information so that a host vehicle does not collide with an object existing in the vicinity.

従来より、走行環境において自車から見た危険とは、顕在化した衝突対象物である顕在危険、顕在化した移動物であって行動次第で衝突対象物となりうる行動予測危険、及び顕在化していない移動物であって行動次第で衝突対象物となりうる潜在危険の3つが定義されている(非特許文献1)。行動予測危険について、車外センサを用いた認識手段をもとに、移動物の行動を確定的・確率的に予測して衝突を防止する方法が知られている(例えば、特許文献1)。例えば、移動体の行動を確率的に取り扱うことで、結果的に衝突可能性があることを判定している。
古西浩之、國分三輝、樋口和則、倉橋哲郎、梅村祥之、「ハザード情報を利用した運転時のリスク推定」、電子情報通信学会ヒューマンコミュニケーション基礎研究会ヒューマン情報処理研究会福祉情報工学研究会ヒューマンインタフェース学会研究会共催研究会(2004) 特開2007−233646号公報
Conventionally, the dangers seen from the vehicle in the driving environment are the actual danger that is an actual collision object, the behavior prediction risk that is an actual moving object that can become a collision object depending on the action, and the actual danger. There are three potential hazards that are non-moving objects and can be a collision object depending on the behavior (Non-Patent Document 1). Regarding behavior prediction danger, there is known a method for preventing a collision by predicting the behavior of a moving object deterministically and probabilistically based on recognition means using a sensor outside the vehicle (for example, Patent Document 1). For example, it is determined that there is a possibility of collision as a result of probabilistic handling of the behavior of the moving object.
Hiroyuki Konishi, Sanki Kokubun, Kazunori Higuchi, Tetsuro Kurahashi, Yoshiyuki Umemura, "Risk Estimation during Operation Using Hazard Information", IEICE Human Communication Fundamental Study Group Human Information Processing Study Group Study Group for Interface Society (2004) JP 2007-233646 A

しかしながら、上記の特許文献1に記載の技術では、危険の理由を説明する危険要因を考慮せずに危険判定を行っているため、精度よく危険判定を行なうことができない、という問題がある。   However, the technique described in Patent Literature 1 has a problem that the risk determination cannot be performed with high accuracy because the risk determination is performed without considering the risk factor explaining the reason for the risk.

本発明は、上記の問題点を解決するためになされたもので、精度よく危険判定を行なって警告情報を出力することができる運転支援装置を提供することを目的とする。   The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a driving support device capable of accurately determining a danger and outputting warning information.

上記の目的を達成するために本発明に係る運転支援装置は、自車両の走行状態及び位置を検出する自車両検出手段と、自車両の周囲に存在する物体の移動状態及び位置を検出する物体検出手段と、前記自車両検出手段によって検出された前記自車両の走行状態と、前記物体検出手段によって検出された前記物体の移動状態と、自車両が前記物体と衝突する危険度とに基づいて、自車両の前記物体に対する危険要因を推定する危険要因推定手段と、前記自車両検出手段によって検出された自車両の走行状態及び位置と、前記物体検出手段によって検出された前記物体の移動状態及び位置と、自車両の前記物体に対する危険要因とに基づいて、自車両が前記物体と衝突する危険度を推定する危険度推定手段と、前記危険度推定手段によって推定された危険度が所定値以上であるときに、警告情報を出力する出力手段と、を含む運転支援装置であって、前記危険要因推定手段は、自車両が前記物体と衝突する危険度として、前記危険度推定手段によって推定された危険度を用いて、前記危険要因を推定し、前記危険度推定手段は、自車両の前記物体に対する危険要因として、前記危険要因推定手段によって推定された危険要因を用いて、前記危険度を推定することを特徴としている。   In order to achieve the above object, a driving support apparatus according to the present invention includes an own vehicle detection unit that detects a traveling state and a position of the own vehicle, and an object that detects a moving state and a position of an object existing around the own vehicle. Based on the detection means, the running state of the own vehicle detected by the own vehicle detection means, the moving state of the object detected by the object detection means, and the risk of collision of the own vehicle with the object A risk factor estimating means for estimating a risk factor for the object of the own vehicle, a traveling state and a position of the own vehicle detected by the own vehicle detecting means, a moving state of the object detected by the object detecting means, and Based on the position and the risk factor for the object of the host vehicle, the risk level estimation means for estimating the risk level of the host vehicle colliding with the object is estimated by the risk level estimation means. Output means for outputting warning information when the degree of danger is equal to or greater than a predetermined value, wherein the risk factor estimating means is configured as the degree of danger that the own vehicle collides with the object. The risk factor is estimated using the risk level estimated by the risk level estimation means, and the risk level estimation means uses the risk factor estimated by the risk factor estimation means as a risk factor for the object of the host vehicle. And the degree of risk is estimated.

本発明に係る運転支援装置によれば、自車両検出手段によって、自車両の走行状態及び位置を検出し、物体検出手段によって、自車両の周囲に存在する物体の移動状態及び位置を検出する。   According to the driving support apparatus of the present invention, the traveling state and position of the own vehicle are detected by the own vehicle detecting means, and the moving state and position of an object existing around the own vehicle are detected by the object detecting means.

そして、危険要因推定手段によって、危険度推定手段によって推定された危険度を用いて、自車両検出手段によって検出された自車両の走行状態と、物体検出手段によって検出された物体の移動状態と、自車両が物体と衝突する危険度とに基づいて、自車両の前記物体に対する危険要因を推定する。   Then, the risk factor estimating means uses the risk degree estimated by the risk degree estimating means, the traveling state of the own vehicle detected by the own vehicle detecting means, the moving state of the object detected by the object detecting means, Based on the degree of risk that the host vehicle collides with an object, a risk factor for the object of the host vehicle is estimated.

また、危険度推定手段によって、危険要因推定手段によって推定された危険要因を用いて、自車両検出手段によって検出された自車両の走行状態及び位置と、物体検出手段によって検出された物体の移動状態及び位置と、自車両の物体に対する危険要因とに基づいて、自車両が物体と衝突する危険度を推定する。   Further, the travel state and position of the host vehicle detected by the host vehicle detection unit and the movement state of the object detected by the object detection unit using the risk factor estimated by the risk factor estimation unit by the risk level estimation unit. The risk of collision of the host vehicle with the object is estimated based on the position and the risk factor for the object of the host vehicle.

そして、出力手段によって、危険度推定手段によって推定された危険度が所定値以上であるときに、警告情報を出力する。   Then, the warning information is output by the output means when the risk estimated by the risk estimation means is a predetermined value or more.

このように、危険要因の推定及び危険度の推定において、相互に各推定値を用いることにより、精度よく危険判定を行なって警告情報を出力することができる。   As described above, in the risk factor estimation and the risk level estimation, by using each estimated value mutually, it is possible to accurately perform the risk determination and output the warning information.

本発明に係る出力手段は、警告情報と共に、危険要因推定手段によって推定された危険要因を出力することができる。これによって、危険要因もドライバに知らせることができるため、周辺の物体との衝突を適切に回避させることができる。   The output means according to the present invention can output the risk factor estimated by the risk factor estimation means together with the warning information. As a result, the driver can be informed of the risk factor, so that collisions with surrounding objects can be appropriately avoided.

本発明に係る危険要因推定手段は、予め学習された、自車両の走行状態と、物体の移動状態と、危険度と、該走行状態、該移動状態、及び該危険度が得られる状況において生じる危険要因との関係に基づいて、危険要因を推定することができる。   The risk factor estimating means according to the present invention occurs in a situation in which the traveling state of the host vehicle, the moving state of the object, the degree of danger, the traveling state, the moving state, and the degree of risk are obtained in advance. The risk factor can be estimated based on the relationship with the risk factor.

以上説明したように、本発明の運転支援装置によれば、危険要因の推定及び危険度の推定において、相互に各推定値を用いることにより、精度よく危険判定を行なって警告情報を出力することができる、という効果が得られる。   As described above, according to the driving support device of the present invention, in the risk factor estimation and the risk level estimation, by using each estimated value mutually, it is possible to accurately perform the risk determination and output the warning information. The effect of being able to be obtained.

以下、図面を参照して、本発明の好適な実施の形態について説明する。なお、本実施の形態では、車両に搭載された運転支援装置に本発明を適用した場合について説明する。   Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. In the present embodiment, a case where the present invention is applied to a driving support device mounted on a vehicle will be described.

図1に示すように、第1の実施の形態に係る運転支援装置10は、車両内外の物体の状態と車両の運動状態及び操作状態とを検出するセンシング部12と、センシング部12の検出結果に基づいて、出力部16によって警告情報を表示させると共に音声出力させるコンピュータ14とを備えている。   As shown in FIG. 1, the driving support device 10 according to the first embodiment includes a sensing unit 12 that detects the state of an object inside and outside the vehicle, the motion state and the operation state of the vehicle, and the detection result of the sensing unit 12. And a computer 14 for displaying warning information and outputting sound by the output unit 16.

センシング部12は、自車両のドライバを撮像する車室内画像センサ18と、自車両の外を撮像する車室外画像センサ20と、自車両の周辺の物体を検出する電磁波センサ22と、ドライバによるペダル操作の状態を検出するペダル状態検出器24と、ドライバによる方向指示器や灯火器のスイッチ操作の状態を検出するスイッチ状態検出器26と、速度センサや、舵角センサ、姿勢角センサなどから構成され、かつ、自車両の車速や操舵、姿勢角を検出する車速操舵センサ28と、自車両の位置を取得するGPS30とを備えている。   The sensing unit 12 includes a vehicle interior image sensor 18 that captures an image of the driver of the host vehicle, an image sensor 20 that detects the outside of the host vehicle, an electromagnetic wave sensor 22 that detects an object around the host vehicle, and a pedal by the driver. A pedal state detector 24 for detecting an operation state, a switch state detector 26 for detecting a switch operation state of a direction indicator and a lighting device by a driver, a speed sensor, a steering angle sensor, an attitude angle sensor, and the like. In addition, a vehicle speed steering sensor 28 that detects the vehicle speed, steering, and attitude angle of the host vehicle, and a GPS 30 that acquires the position of the host vehicle are provided.

出力部16は、例えば、自車両に搭載されたカーナビゲーションシステムのディスプレイと、スピーカとで構成されている。   The output unit 16 includes, for example, a display of a car navigation system mounted on the host vehicle and a speaker.

コンピュータ14は、CPUと、RAMと、後述する運転支援処理ルーチンを実行するためのプログラムを記憶したROMとを備え、機能的には次に示すように構成されている。コンピュータ14は、センシング部12の各センサからの出力に基づいて、運転行動状態(ペダル操作状態、スイッチ操作状態、視線など)と、物体状態(車両、歩行者、二輪車等の種別、相対位置、及び移動速度)と、自車両状態(車速、加速度、操舵角、ヨーレート)とを認識する状態認識部32と、状態認識部32の認識結果に基づいて、自車両の周囲に存在する物体に対する危険を推定する危険推定部34と、危険推定部34の推定結果に基づいて、自車両が危険な状況であるか否かを判定する危険判定部36と、自車両が危険な状況である場合に、危険推定部34の推定結果と共に警告情報を出力部16に出力させる出力制御部38とを備えている。   The computer 14 includes a CPU, a RAM, and a ROM that stores a program for executing a driving support processing routine to be described later, and is functionally configured as follows. Based on the output from each sensor of the sensing unit 12, the computer 14 determines the driving behavior state (pedal operation state, switch operation state, line of sight, etc.) and object state (type of vehicle, pedestrian, motorcycle, relative position, And the movement speed) and the state recognition unit 32 for recognizing the own vehicle state (vehicle speed, acceleration, steering angle, yaw rate), and the danger to objects existing around the own vehicle based on the recognition result of the state recognition unit 32 A risk estimation unit 34 for estimating the risk, a risk determination unit 36 for determining whether or not the host vehicle is in a dangerous situation based on the estimation result of the risk estimation unit 34, and a case in which the host vehicle is in a dangerous situation And an output control unit 38 that causes the output unit 16 to output warning information together with the estimation result of the risk estimation unit 34.

走路状態認識部40は、走路状態として、車室外画像センサからの撮像画像に基づいて、白線を認識することにより走行可能領域(例えば、車線幅)を認識し、また、自車両に搭載されたナビゲーションシステム(図示省略)の電子地図情報に基づいて、走路状態として、道路曲率、交差点か否か、交通ルール(制限速度や車線はみだし許可等)、信号機の有無などを認識する。   The running road state recognition unit 40 recognizes a white line as a running road state based on a captured image from an image sensor outside the vehicle cabin, thereby recognizing a travelable area (for example, a lane width), and is mounted on the host vehicle. Based on the electronic map information of the navigation system (not shown), it recognizes the road condition, whether it is a road curvature, whether it is an intersection, traffic rules (such as speed limit and lane sticking permission), and the presence of traffic lights.

運転行動認識部42は、自車両のドライバの運転行動として、ペダル状態検出器24の検出結果に基づいて、ペダル操作の状態を認識し、車室内画像センサ18からの撮像画像に基づいて、ドライバの視線方向やステアリング保持状態を認識する。   The driving behavior recognition unit 42 recognizes the pedal operation state based on the detection result of the pedal state detector 24 as the driving behavior of the driver of the host vehicle, and based on the captured image from the vehicle interior image sensor 18, the driver. Recognize the gaze direction and steering holding state.

物体状態認識部44は、車室外画像センサ20からの撮像画像や電磁波センサ22からの出力に基づいて、自車両の周辺に存在する物体の位置及び移動状態(移動速度、移動方向)を認識し、車室外画像センサ20からの撮像画像に基づいて、物体の状態として、方向指示器状態、灯火状態、及び乗員有無を認識する。   The object state recognition unit 44 recognizes the position and moving state (moving speed and moving direction) of an object existing around the host vehicle based on a captured image from the vehicle exterior image sensor 20 and an output from the electromagnetic wave sensor 22. Based on the captured image from the vehicle exterior image sensor 20, the direction indicator state, the lighting state, and the presence or absence of an occupant are recognized as the state of the object.

自車両状態認識部46は、自車両の状態として、GPS30からの出力に基づいて、自車両の位置を認識し、車速操舵センサ28からの出力に基づいて、自車両の走行状態(速度、操舵角、ヨーレート)を認識し、スイッチ状態検出器26の検出結果に基づいて、方向指示器状態や灯火状態を認識する。   The own vehicle state recognition unit 46 recognizes the position of the own vehicle based on the output from the GPS 30 as the state of the own vehicle, and based on the output from the vehicle speed steering sensor 28, the traveling state (speed, steering) of the own vehicle. Angle, yaw rate), and based on the detection result of the switch state detector 26, the direction indicator state and the lighting state are recognized.

危険推定部34は、自車両が危険な状態になる場合に生じることが想定される、周辺の物体に対する危険要因を推定する危険要因推定部48と、自車両と周辺の物体とが衝突する衝突危険度を推定する衝突危険度推定部50とを備え、危険要因推定部48と衝突危険度推定部50とが相互結合する構成となっている。   The risk estimating unit 34 is assumed to occur when the host vehicle is in a dangerous state, and a risk factor estimating unit 48 that estimates a risk factor for a surrounding object and a collision in which the host vehicle and the surrounding object collide with each other. A collision risk estimation unit 50 that estimates the risk is provided, and the risk factor estimation unit 48 and the collision risk estimation unit 50 are coupled to each other.

危険要因推定部48は、走路状態認識部40、運転行動認識部42、物体状態認識部44、及び自車両状態認識部46の各々の認識結果と、衝突危険度推定部50によって推定された衝突危険度とに基づいて、与えられた状況のもとで発生し得る危険要因(潜在危険の存在や行動予測危険の種類)を推定する。   The risk factor estimating unit 48 recognizes each recognition result of the road condition recognition unit 40, the driving action recognition unit 42, the object state recognition unit 44, and the host vehicle state recognition unit 46, and the collision estimated by the collision risk estimation unit 50. Based on the risk level, risk factors (existence of potential danger and type of behavior prediction risk) that can occur under a given situation are estimated.

ここで、物体に対する危険要因とは、物体が主因となる危険要因であり、自車両と物体とが衝突するときに生じている危険要因や、自車両と物体の影に潜在する物体とが衝突するときに生じている危険要因が含まれる。   Here, the risk factor for an object is a risk factor that is mainly caused by the object. The risk factor that occurs when the host vehicle and the object collide with each other, or the host vehicle and the object that is hidden in the shadow of the object collide. The risk factors that are incurred when doing this are included.

コンピュータ14のメモリ(図示省略)には、図2に示すような危険要因を推定するための危険要因推定テーブルが記憶されており、この危険要因推定テーブルを用いて、与えられた状況のもとで発生し得る危険要因を推定する。   The memory (not shown) of the computer 14 stores a risk factor estimation table for estimating risk factors as shown in FIG. 2, and this risk factor estimation table is used to give a given situation. Estimate the risk factors that can occur in

危険要因推定テーブルは、例えば、道路規模、制限速度、バリアの有無(例えば、ガードレールの有無)、物体行動(方向指示器の灯火状態から判断される駐車、直進、右折、又は左折)、自車速度、自車行動(方向指示器の灯火状態から判断される直進、右折、又は左折)、衝突危険度、及び危険要因の関係を表わしている。また、以下に説明するように、予め設計段階において、学習によって危険要因推定テーブルが生成される。   The risk factor estimation table includes, for example, road size, speed limit, presence / absence of a barrier (for example, presence / absence of a guardrail), object behavior (parking, straight ahead, right turn, or left turn determined from the lighting state of the direction indicator), own vehicle It represents the relationship between speed, host vehicle behavior (straight forward, right turn or left turn determined from the lighting state of the direction indicator), collision risk, and risk factors. Further, as will be described below, a risk factor estimation table is generated by learning in advance at the design stage.

まず、数多くの走行シーンにおける状態認識部32の認識結果を収集して、すべての危険要因が等確率に発生すると仮定した場合に推定される衝突危険度推定値を付与するとともに、運転指導員等の専門家により危険要因のラベルを付与して、データベース(道路規模、制限速度、バリアの有無、物体行動、自車速度、自車行動、衝突危険度、及びこれらが得られる状況において生じた危険要因の項目からなるデータベース)を構築する。そして、構築されたデータベースをもとに、危険要因推定テーブルの各項目の内容を学習して、危険要因推定テーブルを生成する。なお、上記の学習処理において、走行環境の複雑さを表す値として、衝突危険度を、専門家の危険評定値で置き換えても良い。   First, the recognition results of the state recognition unit 32 in a number of driving scenes are collected, and an estimated collision risk is estimated when all risk factors are assumed to occur with equal probability. Risk labels generated by experts with risk factor labels and databases (road size, speed limit, presence of barriers, object behavior, vehicle speed, vehicle behavior, collision risk, and situations where these are obtained) A database consisting of the following items). Then, based on the constructed database, the contents of each item in the risk factor estimation table are learned to generate a risk factor estimation table. In the above learning process, the risk of collision may be replaced with an expert's risk rating value as a value representing the complexity of the driving environment.

上記の学習では、危険要因の頻度に関して正規化し、ある条件(道路規模、制限速度、バリアの有無、物体行動、自車速度、自車行動、及び衝突危険度に関する条件)のもとで最も頻度の高い危険要因が出力されるように、危険要因推定テーブルが生成される。   In the above learning, the frequency of risk factors is normalized, and the frequency is highest under certain conditions (conditions regarding road scale, speed limit, presence of barriers, object behavior, vehicle speed, vehicle behavior, and collision risk). A risk factor estimation table is generated so that a high risk factor is output.

また、道路規模、制限速度、バリアの有無、物体行動、自車速度、自車行動、及び衝突危険度が与えられると、テーブルルックアップにより、対応する危険要因が読み出される。また、危険要因推定テーブルは、物体の種別毎に用意され、ある物体に対する危険要因を推定する場合には、物体の種別に対応する危険要因推定テーブルを用いて、物体に対する危険要因を推定する。なお、上記図2に示す危険要因推定テーブルは、車両に対する危険要因推定テーブルを表わしている。   Further, given the road scale, speed limit, presence / absence of a barrier, object behavior, own vehicle speed, own vehicle behavior, and collision risk, the corresponding risk factors are read out by table lookup. A risk factor estimation table is prepared for each object type, and when a risk factor for an object is estimated, the risk factor for the object is estimated using the risk factor estimation table corresponding to the object type. The risk factor estimation table shown in FIG. 2 represents a risk factor estimation table for the vehicle.

衝突危険度推定部50は、走路状態認識部40、運転行動認識部42、物体状態認識部44、及び自車両状態認識部46の各々の認識結果と、危険要因推定部48によって推定された危険要因とに基づいて、運動方程式とMonteCarlo積分法とによる確率的推定法(Broadhurst,A.,Baker,S.,Kanade,T:Monte Carlo Road Safety Reasoning,IEEE Intelligent Vehicle Symposium (IV2005))を用いて、以下に説明するように、推定された危険要因が生じ得る状況における自車両と周辺の物体とが衝突する衝突危険度を推定する。なお、本実施の形態で推定される衝突危険度は、走行環境全体における衝突危険度である。   The collision risk degree estimation unit 50 includes the recognition results of the road condition recognition unit 40, the driving action recognition unit 42, the object state recognition unit 44, and the host vehicle state recognition unit 46, and the risk estimated by the risk factor estimation unit 48. Based on the factors, a stochastic estimation method based on the equation of motion and the Monte Carlo integration method (Broadhurst, A., Baker, S., Kanade, T: Monte Carlo Road Safety Reasing, IEEE Intelligent Vehicle Symposium (200) using IV Intelligent Vehicle Symposium (200)) As will be described below, the collision risk of collision between the host vehicle and surrounding objects in a situation where the estimated risk factor may occur is estimated. Note that the collision risk estimated in the present embodiment is a collision risk in the entire traveling environment.

まず、状態認識部32の各認識結果に基づいて、計算機上で自車両を中心に仮想的な物体を配置する。そして、危険要因推定部48の推定結果または危険要因の仮設定値に基づいて、各物体の危険要因を確率的に生成し、各物体の確率的行動生成器によって、各物体の行動を生成する。なお、各物体の確率的行動生成器は、生成行動の傾向を調整するパラメータを持っており、危険要因が生成される確率として、推定された少なくとも一つの危険要因が等確率で発生するとした場合の確率を設定しておけばよい。また、確率的行動生成器は、乱数発生器を用いて、各物体の行動を生成すればよい。   First, based on each recognition result of the state recognition part 32, a virtual object is arrange | positioned centering | focusing on the own vehicle on a computer. Then, based on the estimation result of the risk factor estimation unit 48 or the temporary setting value of the risk factor, the risk factor of each object is generated probabilistically, and the behavior of each object is generated by the probabilistic behavior generator of each object. . The probabilistic behavior generator for each object has a parameter that adjusts the tendency of the generated behavior, and at least one estimated risk factor is generated with equal probability as the probability that a risk factor will be generated. Set the probability of. The probabilistic behavior generator may generate the behavior of each object using a random number generator.

そして、各物体の種類毎に設計した運動方程式に基づき、数秒後までの状態変化をシミュレートし、自車両と物体との衝突発生を数え上げる。数え上げた頻度に応じて、衝突の発生し得る確率を求める(MonteCarlo積分)。
上記の衝突発生確率を求める処理は、図3に示すように、以下の(1)式によって表わすことができる。
Based on the equation of motion designed for each type of object, the state change until after a few seconds is simulated, and the occurrence of collision between the host vehicle and the object is counted. The probability of occurrence of a collision is determined according to the counted frequency (MonteCarlo integration).
The process for obtaining the collision occurrence probability can be expressed by the following equation (1) as shown in FIG.

Figure 2009217692
Figure 2009217692

ただし、Cは、時刻Tから数秒間における衝突発生の有無を表し、衝突が発生すれば0であり、衝突が発生しなければ1である。Xは、相対状態を表し、Ωは、選択行動を表わしている。また、Aは、危険要因を表わし、Sは走路状態を表している。 However, C T represents the presence or absence of a collision in a few seconds from the time T, 0 if a collision occurs, a 1 if a collision occurs. X 0 represents a relative state, and Ω represents a selection action. A represents a risk factor, and S represents a running road condition.

上記のように求められた衝突の発生し得る確率を、自車両と周辺の物体とが衝突する衝突危険度の推定値とする。また、複数の物体について、上記のように衝突の発生し得る確率が求められた場合には、確率の合計値を、自車両と周辺の物体とが衝突する衝突危険度の推定値とする。   The probability of occurrence of a collision obtained as described above is set as an estimated value of the collision risk that the host vehicle and a surrounding object collide. Further, when the probability that a collision may occur is obtained for a plurality of objects as described above, the total probability is set as an estimated value of the collision risk of collision between the host vehicle and surrounding objects.

なお、危険要因推定部48や衝突危険度推定部50において、状態認識部32の認識結果を直接的に扱えない場合には、適切な信号処理を行えばよい。例えば、衝突危険度が連続値で推定されるとき、危険要因推定部48が離散値しか扱えない実装である場合には、衝突危険度を、連続値から離散値に変換してから、危険要因推定部48に入力するようにすればよい。   If the risk factor estimation unit 48 and the collision risk estimation unit 50 cannot directly handle the recognition result of the state recognition unit 32, appropriate signal processing may be performed. For example, when the collision risk is estimated as a continuous value and the risk factor estimator 48 is an implementation that can handle only discrete values, the risk factor is calculated after converting the collision risk from a continuous value to a discrete value. What is necessary is just to make it input into the estimation part 48. FIG.

ここで、本実施の形態の原理について説明する。衝突危険度推定部50の出力である衝突危険度を、自車両の走行環境に存在する物体間の時間的関係及び空間的関係の複雑さを表す量として、危険要因推定部48に入力する。したがって、危険要因推定部48に含まれる個別の物体に対する危険要因の推定では、他の物体との位置関係や将来的な移動軌道について定義せずに、環境の複雑さという意味で衝突危険度を用いることにより、危険要因を推定することができる。   Here, the principle of the present embodiment will be described. The collision risk, which is the output of the collision risk estimation unit 50, is input to the risk factor estimation unit 48 as an amount representing the complexity of the temporal relationship and the spatial relationship between objects existing in the traveling environment of the host vehicle. Therefore, in the risk factor estimation for individual objects included in the risk factor estimation unit 48, the risk of collision is defined in terms of the complexity of the environment without defining the positional relationship with other objects and the future movement trajectory. By using it, a risk factor can be estimated.

この結果、自車両の走行環境中に存在する物体の数が増大しても、それらの関係性を表現する状態数を増大させなくてもよい、という効果が得られる。   As a result, even if the number of objects existing in the traveling environment of the host vehicle increases, an effect that the number of states expressing the relationship need not be increased can be obtained.

また、従来の衝突危険度の推定手法では、顕在化している物体の衝突危険度のみしか算出できないが、危険要因推定部48が顕在化していない物体の状態を危険要因として出力することができるので、衝突危険度推定部50では、推定された危険要因を利用して顕在化していない物体も考慮に入れた衝突危険度を算出することができる。   In addition, the conventional collision risk estimation method can calculate only the collision risk of an object that has been revealed, but the risk factor estimation unit 48 can output the state of an object that has not been realized as a risk factor. The collision risk estimation unit 50 can calculate the collision risk taking into account an object that has not been revealed using the estimated risk factor.

危険判定部36は、衝突危険度推定部50によって推定された衝突危険度が閾値以上である場合に、自車両が危険な状況であると判定する。   The danger determination unit 36 determines that the host vehicle is in a dangerous situation when the collision risk estimated by the collision risk estimation unit 50 is greater than or equal to a threshold value.

出力制御部38は、危険判定部36によって自車両が危険な状況であると判定された場合に、「何」(周辺の物体)が「何故」(危険要因)、「どの程度」(衝突危険度)危険であるかを示す警告情報を、出力部16のディスプレイに表示させると共に、スピーカから音声出力させて、ドライバに警告情報を報知する。例えば、前方の映像と、付近の鳥瞰映像とを、電子地図上で合成描画して、ディスプレイ上に表示すると共に、危険であると判定された物体を危険要因と共に強調表示する。   When the risk determination unit 36 determines that the host vehicle is in a dangerous situation, the output control unit 38 determines “what” (peripheral object) is “why” (risk factor) and “how much” (collision risk). Warning information indicating whether or not it is dangerous is displayed on the display of the output unit 16 and is also output as a voice from a speaker to notify the driver of the warning information. For example, a front image and a nearby bird's-eye image are synthesized and drawn on an electronic map and displayed on a display, and an object determined to be dangerous is highlighted with a risk factor.

次に、第1の実施の形態に係る運転支援装置10の作用について説明する。自車両のイグニッションスイッチ(図示省略)がオンされたときに、コンピュータ14において、図4に示す運転支援処理ルーチンが実行される。   Next, the operation of the driving support apparatus 10 according to the first embodiment will be described. When an ignition switch (not shown) of the host vehicle is turned on, a driving support processing routine shown in FIG.

まず、ステップ100において、センシング部12の各センサからの出力を取得する。ステップ102において、上記ステップ100で取得した各センサからの出力に基づいて、走路状態、運転行動、周辺の物体の位置や移動状態、周辺の物体の状態(方向指示器状態、灯火状態、及び乗員有無)、自車両の走行状態、及び自車両の方向指示器状態や灯火状態を認識する。   First, in step 100, the output from each sensor of the sensing unit 12 is acquired. In step 102, based on the output from each sensor acquired in step 100, the running state, driving behavior, the position and movement state of the surrounding object, the state of the surrounding object (the direction indicator state, the lighting state, and the occupant) Presence / absence), the traveling state of the host vehicle, and the direction indicator state and lighting state of the host vehicle.

そして、ステップ104において、衝突危険度がすでに推定されているか否かを判定し、後述するステップ110における衝突危険度の推定が一度も行われていない場合には、ステップ106において、衝突危険度のパラメータの仮設定を行って、ステップ108へ移行する。例えば、衝突危険度として、最大値、もしくは最小値を仮設定する。なお、仮設定する衝突危険度を、外部パラメータとして用意しておいてもよい。   In step 104, it is determined whether or not the collision risk has been estimated. If the collision risk has not been estimated in step 110 to be described later, the collision risk is determined in step 106. The parameter is temporarily set and the process proceeds to step 108. For example, the maximum value or the minimum value is temporarily set as the collision risk. Note that the collision risk level that is temporarily set may be prepared as an external parameter.

上記ステップ104において、衝突危険度がすでに推定されていると判定された場合には、ステップ108へ移行する。ステップ108では、上記ステップ102で認識された各種状態と、推定された衝突危険度とに基づいて、危険要因推定テーブルを用いて、現在の状況で発生し得る危険要因を推定する。   If it is determined in step 104 that the collision risk has already been estimated, the process proceeds to step 108. In step 108, risk factors that can occur in the current situation are estimated using the risk factor estimation table based on the various states recognized in step 102 and the estimated collision risk.

そして、ステップ110において、上記ステップ102で認識された各種状態と、推定された危険要因とに基づいて、上記(1)式に従って、推定された危険要因が生じ得る状況における衝突危険度を推定する。   In step 110, based on the various states recognized in step 102 and the estimated risk factors, the collision risk level in a situation where the estimated risk factors can occur is estimated according to the above equation (1). .

次のステップ112では、推定終了条件を満たすか否かを判定する。例えば、上記ステップ108、110の各々の推定処理を一定回数繰り返したか否かを判定し、一定回数繰り返していない場合には、ステップ108へ戻る。一方、上記ステップ108、110の推定処理を一定回数繰り返した場合には、ステップ114へ進む。   In the next step 112, it is determined whether an estimation end condition is satisfied. For example, it is determined whether or not each of the estimation processes in steps 108 and 110 has been repeated a predetermined number of times. On the other hand, if the estimation process in steps 108 and 110 is repeated a certain number of times, the process proceeds to step 114.

このとき、各繰り返しにおける危険要因推定値及び衝突危険度推定値をメモリに記録しておき、その平均値もしくは最後の繰り返しの推定値を、最終推定値とすればよい。   At this time, the risk factor estimated value and the collision risk estimated value at each iteration may be recorded in the memory, and the average value or the estimated value at the last iteration may be set as the final estimated value.

ステップ114では、推定された衝突危険度の最終推定値が、閾値以上であるか否かを判定し、衝突危険度が閾値未満である場合には、自車両が危険な状況でないと判断し、警告情報を出力せずに、ステップ100へ戻る。一方、上記ステップ114で、衝突危険度が閾値以上である場合には、自車両が危険な状況であると判断し、ステップ116へ移行する。   In step 114, it is determined whether or not the final estimated value of the estimated collision risk is greater than or equal to a threshold. If the collision risk is less than the threshold, it is determined that the host vehicle is not in a dangerous situation. Return to step 100 without outputting the warning information. On the other hand, if the collision risk is equal to or greater than the threshold value in step 114, it is determined that the host vehicle is in a dangerous situation, and the process proceeds to step 116.

ステップ116では、最終的に推定された危険要因及び衝突危険度を含む警告情報を出力部16に表示させて、ステップ100へ戻る。   In step 116, warning information including the finally estimated risk factor and collision risk is displayed on the output unit 16, and the process returns to step 100.

上記のように、運転支援処理ルーチンを実行した場合のシミュレーション結果について説明する。   As described above, the simulation result when the driving support processing routine is executed will be described.

まず、図5(A)〜(C)に示すように、自車両の周辺に存在する物体(例えば、駐車車両や静止物、走行車両)の存在、位置、及び移動状態を認識した場合に、衝突危険度が推定される。なお、上記図5(A)〜(C)では、各位置に自車両が存在する場合に推定される衝突危険度を示した危険度マップを表している。   First, as shown in FIGS. 5A to 5C, when the presence, position, and movement state of an object (for example, a parked vehicle, a stationary object, or a traveling vehicle) existing around the host vehicle are recognized, The collision risk is estimated. Note that FIGS. 5A to 5C show a risk map indicating a collision risk estimated when the host vehicle is present at each position.

そして、図6(A)〜(C)に示すように、認識された各種の状態、及び推定された衝突危険度に基づいて、各物体に対応する危険要因推定テーブルを用いて、各物体に対する危険要因(例えば、「ドアが開く」、「潜在する歩行者の飛び出し」、「急発進」など)が推定される。   Then, as shown in FIGS. 6 (A) to (C), based on the various recognized states and the estimated collision risk, the risk factor estimation table corresponding to each object is used. Risk factors (for example, “door opens”, “potential pedestrian jumps out”, “sudden start”, etc.) are estimated.

ここで、上記図5(A)、図6(A)に示すような前方に駐車車両が存在する状況において、自車両の走行位置が時系列に変化すると、図7(A)〜(C)に示すように、衝突危険度及び危険要因の各々の推定結果が変化する。   Here, in a situation where a parked vehicle is present ahead as shown in FIGS. 5 (A) and 6 (A), when the traveling position of the host vehicle changes in time series, FIGS. 7 (A) to (C). As shown in FIG. 4, the estimation results of the collision risk and the risk factor change.

上記図7(A)〜(C)に示される危険要因の推定結果を用いて、衝突危険度を推定すると、図8(A)〜(C)に示すように、衝突危険度の推定結果が更新される。また、更新された衝突危険度の推定結果を用いて、危険要因を推定すると、図8(A)〜(C)に示すように、危険要因の顕在化領域が修正される。   When the risk of collision is estimated using the risk factor estimation results shown in FIGS. 7A to 7C, as shown in FIGS. 8A to 8C, the risk of collision risk estimation results. Updated. Further, when the risk factor is estimated using the updated estimation result of the collision risk degree, as shown in FIGS. 8A to 8C, the risk factor manifesting region is corrected.

上記のように、衝突危険度の推定値を用いて、危険要因を推定し、また、危険要因の推定値を用いて、衝突危険度を推定すると、図9(A)、(B)に示すように、衝突危険度が閾値以上である場合に、危険要因の推定結果を含む警告情報が時系列的に変化して出力される(例えば、「先行駐車車両の急発進に注意!」というメッセージが出力された後に、「駐車車両の陰に歩行者存在の恐れ!」というメッセージが出力される。)。また、図9(C)に示すように、衝突危険度が閾値未満である場合には、警告情報が出力されない。   As described above, when the risk factor is estimated using the estimated value of the collision risk level, and the collision risk level is estimated using the estimated value of the risk factor, it is shown in FIGS. 9A and 9B. As described above, when the collision risk is equal to or higher than the threshold, warning information including the risk factor estimation result changes in time series and is output (for example, a message “Beware of sudden start of a preceding parked vehicle!”). Is output after the message “There is a fear of pedestrians behind a parked vehicle!”). As shown in FIG. 9C, when the collision risk is less than the threshold, no warning information is output.

以上説明したように、第1の実施の形態に係る運転支援装置によれば、危険要因の推定及び衝突危険度の推定において、相互に各推定値を用いることにより、精度よく衝突危険度を推定することができ、衝突危険度に基づいて精度よく危険判定を行なって警告情報をドライバに対して出力することができる。   As explained above, according to the driving support apparatus according to the first embodiment, the risk of collision and the risk of collision are estimated by using each estimated value mutually in the estimation of the risk factor and the risk of collision. Therefore, it is possible to accurately determine the risk based on the collision risk and output warning information to the driver.

また、衝突危険度を用いて危険要因を推定することにより、自車両の周辺の物体の数が増大しても、危険要因推定部における物体間の時間的・空間的状態表現のための状態数を増大させることなく、状況に応じた危険要因を推定することができる。   Also, by estimating the risk factor using the collision risk level, even if the number of objects around the host vehicle increases, the number of states for expressing the temporal and spatial states between the objects in the risk factor estimation unit The risk factor corresponding to the situation can be estimated without increasing the value.

また、自車両が危険な状況であると判定されたときに、警告情報と共に危険要因及び衝突危険度を出力するため、危険要因と危険の程度とをドライバに対して報知することができ、周辺の物体との衝突を適切に回避させることができる。   In addition, when it is determined that the host vehicle is in a dangerous situation, the risk factor and the risk of collision are output together with the warning information, so the driver can be notified of the risk factor and the degree of danger. It is possible to appropriately avoid a collision with the object.

また、衝突危険度が低い場合には、警告情報の出力を抑制するため、警告情報の出力によるわずらわしさを防止することができる。   Further, when the collision risk is low, the output of the warning information is suppressed, so that the troublesomeness caused by the output of the warning information can be prevented.

なお、上記の実施の形態では、運動方程式とMonteCarlo積分法とによる確率的推定法を用いて、衝突危険度を推定する場合を例に説明したが、これに限定されるものではなく、運動方程式を用いて、自車両と周辺の物体との将来的な衝突のみを予測し、予測結果から衝突危険度を推定するようにしてもよい。この場合には、運動方程式と移動体は最も滑らかな軌道を選択すること(意思決定の知識)とを拘束条件として、物体の位置及び移動速度に基づいて、現在の状態から将来的に発生する衝突を予測し、予測結果から衝突危険度を推定するようにすればよい。   In the above embodiment, the case where the collision risk is estimated using the stochastic estimation method based on the equation of motion and the Monte Carlo integration method has been described as an example. However, the present invention is not limited to this. May be used to predict only future collisions between the host vehicle and surrounding objects, and the collision risk may be estimated from the prediction results. In this case, the equation of motion and the moving object will be generated from the current state in the future based on the position and moving speed of the object, with the constraint that the smoothest trajectory is selected (knowledge of decision making). A collision may be predicted, and the collision risk may be estimated from the prediction result.

次に、第2の実施の形態に係る運転支援装置について説明する。なお、第2の実施の形態に係る運転支援装置は、第1の実施の形態と同様の構成となるため、同一符号を付して、説明を省略する。   Next, a driving support apparatus according to a second embodiment will be described. In addition, since the driving assistance apparatus which concerns on 2nd Embodiment becomes the structure similar to 1st Embodiment, it attaches | subjects the same code | symbol and abbreviate | omits description.

第2の実施の形態では、推定処理が一度も行われていない場合に、危険要因を仮設定している点が第1の実施の形態と異なっている。   The second embodiment is different from the first embodiment in that a risk factor is temporarily set when the estimation process has never been performed.

第2の実施の形態に係る運転支援処理ルーチンについて図10を用いて説明する。なお、第1の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。   A driving support processing routine according to the second embodiment will be described with reference to FIG. In addition, about the process similar to 1st Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.

まず、ステップ100において、センシング部12の各センサからの出力を取得する。ステップ102において、上記ステップ100で取得した各センサからの出力に基づいて、各種状態を認識する。   First, in step 100, the output from each sensor of the sensing unit 12 is acquired. In step 102, various states are recognized based on the output from each sensor acquired in step 100.

そして、ステップ200において、危険要因がすでに推定されているか否かを判定し、後述するステップ108における危険要因の推定が一度も行われていない場合には、ステップ202において、危険要因のパラメータの仮設定を行って、ステップ110へ移行する。例えば、すべての危険要因が等確率で生じるように、もしくはいずれの危険要因も生じる確率が0となるように仮設定を行う。なお、設定する確率値を外部パラメータとして用意しておいてもよい。   Then, in step 200, it is determined whether or not the risk factor has been estimated. If the risk factor has not been estimated in step 108, which will be described later, the parameter of the risk factor is temporarily determined in step 202. After setting, go to step 110. For example, provisional setting is performed so that all risk factors occur with equal probability, or the probability that any risk factor occurs is zero. Note that the probability value to be set may be prepared as an external parameter.

上記ステップ200において、危険要因がすでに推定されていると判定された場合には、ステップ110へ移行し、上記ステップ102で認識された各種状態と、推定された危険要因とに基づいて、上記(1)式に従って、衝突危険度を推定する。   If it is determined in step 200 that the risk factor has already been estimated, the process proceeds to step 110, and based on the various states recognized in step 102 and the estimated risk factor, 1) Estimate the collision risk according to the equation.

そして、ステップ108において、上記ステップ102で認識された各種状態と、推定された衝突危険度とに基づいて、危険要因推定テーブルを用いて、危険要因を推定する。   In step 108, the risk factor is estimated using the risk factor estimation table based on the various states recognized in step 102 and the estimated collision risk.

次のステップ112では、推定終了条件を満たすか否かを判定し、推定終了条件を満たさない場合には、ステップ110へ戻り、一方、推定終了条件を満たした場合には、ステップ114へ進む。   In the next step 112, it is determined whether or not the estimated end condition is satisfied. If the estimated end condition is not satisfied, the process returns to step 110. On the other hand, if the estimated end condition is satisfied, the process proceeds to step 114.

ステップ114では、推定された衝突危険度の最終推定値が、閾値以上であるか否かを判定し、衝突危険度が閾値未満である場合には、ステップ100へ戻る。一方、上記ステップ114で、衝突危険度が閾値以上である場合には、ステップ116へ移行し、推定された危険要因及び衝突危険度を含む警告情報を出力部16に出力させて、ステップ100へ戻る。   In step 114, it is determined whether or not the final estimated value of the estimated collision risk is greater than or equal to a threshold. If the collision risk is less than the threshold, the process returns to step 100. On the other hand, if the collision risk is greater than or equal to the threshold value in step 114, the process proceeds to step 116, where warning information including the estimated risk factor and collision risk is output to the output unit 16, and the process proceeds to step 100. Return.

次に、第3の実施の形態に係る運転支援装置について説明する。なお、第3の実施の形態に係る運転支援装置は、第1の実施の形態と同様の構成となるため、同一符号を付して、説明を省略する。   Next, a driving support apparatus according to a third embodiment will be described. In addition, since the driving assistance apparatus which concerns on 3rd Embodiment becomes the structure similar to 1st Embodiment, it attaches | subjects the same code | symbol and abbreviate | omits description.

第3の実施の形態では、ニューラルネットワークを用いて、危険要因を推定している点が第1の実施の形態と異なっている。   The third embodiment is different from the first embodiment in that risk factors are estimated using a neural network.

第3の実施の形態に係る運転支援装置の危険要因推定部48は、走路状態認識部40、運転行動認識部42、物体状態認識部44、及び自車両状態認識部46の各々の認識結果と、衝突危険度推定部50によって推定された衝突危険度とに基づいて、ニューラルネットワークとして、例えば、ベイジアンネットワークを用いて、与えられた状況のもとで発生し得る危険要因を推定する。   The risk factor estimation unit 48 of the driving support device according to the third embodiment includes the recognition results of the road condition recognition unit 40, the driving action recognition unit 42, the object state recognition unit 44, and the host vehicle state recognition unit 46. Based on the collision risk estimated by the collision risk estimation unit 50, for example, a Bayesian network is used as a neural network to estimate risk factors that can occur under a given situation.

ここで、以下に説明するように、予め設計段階において、学習によってベイジアンネットワークが構成される。   Here, as will be described below, a Bayesian network is configured by learning in the design stage in advance.

まず、数多くの走行シーンにおける状態認識部32の認識結果を収集して、すべての危険要因が等確率に発生すると仮定した場合に推定される衝突危険度の推定値を付与するとともに、運転指導員等の専門家により危険要因のラベルを付与して、データベース(道路規模、制限速度、バリアの有無、物体行動、自車速度、自車行動、衝突危険度、及びこれらが得られる状況において生じた危険要因の項目からなるデータベース)を構築する。そして、構築されたデータベースをもとに学習して、ベイジアンネットワークを構成する。   First, the recognition results of the state recognition unit 32 in a number of driving scenes are collected, and an estimated value of the collision risk estimated when all the risk factors are generated with equal probability is given. Risk factor labels created by experts in the database (road scale, speed limit, presence / absence of barriers, object behavior, vehicle speed, vehicle behavior, collision risk, and the risks that can be obtained) Database of factors). Then, learning is performed based on the constructed database, and a Bayesian network is configured.

ベイジアンネットワークは、走行中には構造学習を行わず、証拠推論のみを行う。ベイジアンネットワークを用いることにより、各種の状態の認識において一部の情報が欠落していたとしても、妥当な危険要因推定を行うことができる。   The Bayesian network does not perform structural learning while driving, but performs only evidence reasoning. By using a Bayesian network, it is possible to estimate a reasonable risk factor even if some information is missing in recognition of various states.

また、認識された各種状態及び衝突危険度が与えられると、ベイジアンネットワークにより、状況に応じた危険要因と共に危険要因の発生確率とが出力される。また、ベイジアンネットワークは、物体の種別毎に用意され、物体に対する危険要因を推定する場合には、物体の種別に対応するベイジアンネットワークを用いて、物体に対する危険要因を推定する。   Also, given various recognized states and collision risk, the Bayesian network outputs the risk factor occurrence probability together with the risk factor according to the situation. In addition, a Bayesian network is prepared for each type of object, and when a risk factor for an object is estimated, the risk factor for the object is estimated using a Bayesian network corresponding to the type of object.

衝突危険度推定部50は、走路状態認識部40、運転行動認識部42、物体状態認識部44、及び自車両状態認識部46の各々の認識結果と、危険要因推定部48によって推定された危険要因及び発生確率とに基づいて、運動方程式とMonteCarlo積分法による確率的推定法とを用いて、危険要因が生じ得る状況における自車両と周辺の物体とが衝突する衝突危険度を推定する。   The collision risk degree estimation unit 50 includes the recognition results of the road condition recognition unit 40, the driving action recognition unit 42, the object state recognition unit 44, and the host vehicle state recognition unit 46, and the risk estimated by the risk factor estimation unit 48. Based on the factor and the occurrence probability, the collision risk of collision between the host vehicle and the surrounding object in a situation where a risk factor may occur is estimated using an equation of motion and a probabilistic estimation method using the Monte Carlo integration method.

第3の実施の形態に係る運転支援処理ルーチンでは、図11に示すように、自車両の周辺に複数の移動体(車両や自転車)が存在する場合には、複数の移動体の各々に対する危険要因(例えば、自転車に対する危険要因である「ふらつき」や「不停止」)と危険要因の発生確率とが推定される。   In the driving support processing routine according to the third embodiment, as shown in FIG. 11, when there are a plurality of moving bodies (vehicles or bicycles) around the host vehicle, the danger to each of the plurality of moving bodies. Factors (for example, “fluctuation” and “non-stop” that are risk factors for bicycles) and the probability of occurrence of the risk factors are estimated.

また、推定された危険要因と危険要因の発生確率とを用いて、各移動体との衝突する確率を推定し、推定された衝突確率の総和を、衝突危険度の推定値とする。   Further, the estimated risk factor and the probability of occurrence of the risk factor are used to estimate the probability of collision with each moving object, and the sum of the estimated collision probabilities is used as the estimated value of the risk of collision.

なお、運転支援装置の他の構成や処理については、第1の実施の形態と同様であるため、説明を省略する。   Note that other configurations and processing of the driving assistance device are the same as those in the first embodiment, and thus description thereof is omitted.

このように、ニューラルネットワークを用いて、認識された状況において生じ得る危険要因と発生確率とを推定し、推定された危険要因と発生確率とを用いて、衝突危険度を推定することにより、危険要因の不確実性を考慮して、精度よく衝突危険度を推定することができる。   In this way, by using a neural network, risk factors and occurrence probabilities that can occur in a recognized situation are estimated, and by using the estimated risk factors and occurrence probabilities, the risk of collision is estimated. The risk of collision can be accurately estimated in consideration of the uncertainty of the factor.

次に、第4の実施の形態に係る運転支援装置について説明する。なお、第1の実施の形態と同様の構成となる部分については、同一符号を付して、説明を省略する。   Next, a driving assistance apparatus according to a fourth embodiment will be described. In addition, about the part which becomes the structure similar to 1st Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.

第4の実施の形態では、衝突危険度が閾値以上である場合に、ヘッドライトの灯火制御を行って、危険要因の顕在化領域を照らしている点が第1の実施の形態と異なっている。   The fourth embodiment is different from the first embodiment in that, when the collision risk is equal to or higher than the threshold, the headlight lighting control is performed to illuminate the area where the risk factor is manifested. .

図12に示すように、第4の実施の形態に係る運転支援装置410は、センシング部12と、センシング部12の検出結果に基づいて、出力部16に警告情報を出力させると共に、ヘッドライト416の灯火制御を行うコンピュータ414とを備えている。   As illustrated in FIG. 12, the driving support device 410 according to the fourth embodiment causes the output unit 16 to output warning information and the headlight 416 based on the sensing unit 12 and the detection result of the sensing unit 12. And a computer 414 for performing the lighting control.

コンピュータ414の出力制御部438は、危険判定部36によって自車両が危険な状況であると判定された場合に、出力部16に、推定された危険要因及び衝突危険度を含む警告情報を出力させると共に、ヘッドライト416によって、推定された危険要因の顕在化領域を照らすように、灯火制御を行う。   The output control unit 438 of the computer 414 causes the output unit 16 to output warning information including the estimated risk factor and the collision risk level when the risk determination unit 36 determines that the host vehicle is in a dangerous situation. At the same time, the lighting control is performed by the headlight 416 so as to illuminate the area where the estimated risk factor is exposed.

なお、夜間の運転支援が行なえるように、車室内画像センサ18や車室外画像センサ20を、近赤外光を受光する近赤外カメラで構成することが好ましい。   In addition, it is preferable that the vehicle interior image sensor 18 and the vehicle exterior image sensor 20 are configured with a near-infrared camera that receives near-infrared light so that nighttime driving assistance can be performed.

次に、第5の実施の形態に係る運転支援装置について説明する。なお、第5の実施の形態に係る運転支援装置は、第1の実施の形態と同様の構成となるため、同一符号を付して、説明を省略する。   Next, a driving support apparatus according to a fifth embodiment will be described. In addition, since the driving assistance device according to the fifth embodiment has the same configuration as that of the first embodiment, the same reference numerals are given and description thereof is omitted.

第5の実施の形態では、周辺の物体の各々について衝突危険度を推定し、物体毎の衝突危険度を用いて、危険要因を推定している点と、物体毎の衝突危険度を用いて、危険判定を行なっている点とが、第1の実施の形態と主に異なっている。   In the fifth embodiment, the collision risk is estimated for each of the surrounding objects, the risk factor is estimated using the collision risk for each object, and the collision risk for each object is used. The point that the risk determination is performed is mainly different from the first embodiment.

第5の実施の形態に係る運転支援装置では、衝突危険度推定部50によって、走路状態認識部40、運転行動認識部42、物体状態認識部44、及び自車両状態認識部46の各々の認識結果と、危険要因推定部48によって推定された危険要因とに基づいて、運動方程式とMonteCarlo積分法とによる確率的推定法を用いて、推定された危険要因が生じ得る状況における自車両と周辺の物体とが衝突する衝突危険度を、物体毎に推定する。   In the driving support apparatus according to the fifth embodiment, the collision risk estimation unit 50 recognizes each of the lane state recognition unit 40, the driving behavior recognition unit 42, the object state recognition unit 44, and the host vehicle state recognition unit 46. Based on the result and the risk factor estimated by the risk factor estimation unit 48, using the stochastic estimation method based on the equation of motion and the Monte Carlo integration method, the vehicle and the surroundings in the situation where the estimated risk factor may occur The collision risk with which an object collides is estimated for each object.

また、危険要因推定部48は、周辺の物体の各々について、走路状態認識部40、運転行動認識部42、物体状態認識部44、及び自車両状態認識部46の各々の認識結果と、衝突危険度推定部50によって推定された物体に対する衝突危険度とに基づいて、与えられた状況のもとで発生し得る危険要因を、周辺の物体毎に推定する。   In addition, the risk factor estimating unit 48 recognizes the recognition results of the road state recognition unit 40, the driving behavior recognition unit 42, the object state recognition unit 44, and the host vehicle state recognition unit 46 for each of the surrounding objects, and the collision risk. Based on the collision risk with respect to the object estimated by the degree estimation unit 50, a risk factor that may occur under a given situation is estimated for each surrounding object.

なお、危険要因推定テーブルの衝突危険度の項目には、該当する物体に対する衝突危険度が登録されている。   In addition, the collision risk level for the corresponding object is registered in the item of the collision risk level of the risk factor estimation table.

危険判定部36は、衝突危険度推定部50によって推定された物体毎の衝突危険度が閾値以上であるか否かを、周辺の物体毎に判定する。   The danger determination unit 36 determines, for each surrounding object, whether or not the collision risk for each object estimated by the collision risk estimation unit 50 is equal to or greater than a threshold value.

出力制御部38は、危険判定部36によって衝突危険度が閾値以上であると判定された周辺の物体について、出力部16に、「何故」(危険要因)、「どの程度」(衝突危険度)危険であるかを示す警告情報を出力させて、ドライバに報知する。   The output control unit 38 sends to the output unit 16 “why” (risk factor) and “how much” (collision risk) for surrounding objects for which the risk determination unit 36 has determined that the risk of collision is equal to or greater than the threshold. Warning information indicating whether it is dangerous is output and notified to the driver.

本発明の第1の実施の形態に係る運転支援装置の構成を示す概略図である。It is the schematic which shows the structure of the driving assistance device which concerns on the 1st Embodiment of this invention. 危険要因推定テーブルの具体例を示す図である。It is a figure which shows the specific example of a risk factor estimation table. 衝突危険度の推定方法を説明するためのイメージ図である。It is an image figure for demonstrating the estimation method of a collision risk. 本発明の第1の実施の形態に係る運転支援装置における運転支援処理ルーチンの内容を示すフローチャートである。It is a flowchart which shows the content of the driving assistance processing routine in the driving assistance device which concerns on the 1st Embodiment of this invention. 推定される衝突危険度のマップを示すイメージ図である。It is an image figure which shows the map of the estimated collision risk. 推定される衝突危険度のマップ、及び推定される危険要因を示すイメージ図である。It is an image figure which shows the map of the estimated collision risk, and the estimated risk factor. 自車両の走行位置が時系列に変化した場合に推定される衝突危険度のマップ、及び推定される危険要因を示すイメージ図である。It is an image figure which shows the map of the collision risk estimated when the driving position of the own vehicle changes in time series, and the estimated risk factor. 自車両の走行位置が時系列に変化した場合に推定される衝突危険度のマップの更新結果、及び推定される危険要因の更新結果を示すイメージ図である。It is an image figure which shows the update result of the map of the collision risk estimated when the driving position of the own vehicle changes in time series, and the update result of the estimated risk factor. 自車両の走行位置が時系列に変化した場合に警告情報が出力される様子を示したイメージ図である。It is the image figure which showed a mode that warning information was output when the driving position of the own vehicle changed in time series. 本発明の第2の実施の形態に係る運転支援装置における運転支援処理ルーチンの内容を示すフローチャートである。It is a flowchart which shows the content of the driving assistance processing routine in the driving assistance device which concerns on the 2nd Embodiment of this invention. 自車両の周辺に存在する物体に対して推定される危険要因及び発生確率と、推定される衝突危険度とを示したイメージ図である。It is an image figure which showed the risk factor and occurrence probability estimated with respect to the object which exists in the circumference | surroundings of the own vehicle, and the estimated collision risk. 本発明の第4の実施の形態に係る運転支援装置の構成を示す概略図である。It is the schematic which shows the structure of the driving assistance device which concerns on the 4th Embodiment of this invention.

符号の説明Explanation of symbols

10、410 運転支援装置
12 センシング部
14、414 コンピュータ
16 出力部
32 状態認識部
34 危険推定部
36 危険判定部
38、438 出力制御部
40 走路状態認識部
42 運転行動認識部
44 物体状態認識部
46 自車両状態認識部
48 危険要因推定部
50 衝突危険度推定部
416 ヘッドライト
DESCRIPTION OF SYMBOLS 10,410 Driving assistance device 12 Sensing part 14, 414 Computer 16 Output part 32 State recognition part 34 Risk estimation part 36 Risk judgment part 38, 438 Output control part 40 Road condition recognition part 42 Driving action recognition part 44 Object state recognition part 46 Own vehicle state recognition unit 48 Risk factor estimation unit 50 Collision risk estimation unit 416 Headlight

Claims (3)

自車両の走行状態及び位置を検出する自車両検出手段と、
自車両の周囲に存在する物体の移動状態及び位置を検出する物体検出手段と、
前記自車両検出手段によって検出された前記自車両の走行状態と、前記物体検出手段によって検出された前記物体の移動状態と、自車両が前記物体と衝突する危険度とに基づいて、自車両の前記物体に対する危険要因を推定する危険要因推定手段と、
前記自車両検出手段によって検出された自車両の走行状態及び位置と、前記物体検出手段によって検出された前記物体の移動状態及び位置と、自車両の前記物体に対する危険要因とに基づいて、自車両が前記物体と衝突する危険度を推定する危険度推定手段と、
前記危険度推定手段によって推定された危険度が所定値以上であるときに、警告情報を出力する出力手段と、
を含む運転支援装置であって、
前記危険要因推定手段は、自車両が前記物体と衝突する危険度として、前記危険度推定手段によって推定された危険度を用いて、前記危険要因を推定し、
前記危険度推定手段は、自車両の前記物体に対する危険要因として、前記危険要因推定手段によって推定された危険要因を用いて、前記危険度を推定する
ことを特徴とする運転支援装置。
Own vehicle detection means for detecting the running state and position of the own vehicle;
Object detection means for detecting the movement state and position of an object existing around the host vehicle;
Based on the traveling state of the own vehicle detected by the own vehicle detecting unit, the moving state of the object detected by the object detecting unit, and the risk of the own vehicle colliding with the object, A risk factor estimating means for estimating a risk factor for the object;
Based on the traveling state and position of the own vehicle detected by the own vehicle detecting means, the moving state and position of the object detected by the object detecting means, and the risk factor for the object of the own vehicle. A risk estimation means for estimating a risk of collision with the object;
Output means for outputting warning information when the degree of risk estimated by the degree of risk estimation means is a predetermined value or more;
A driving support device including:
The risk factor estimating means estimates the risk factor using the risk level estimated by the risk level estimation means as the risk level of collision of the host vehicle with the object,
The driving assistance apparatus, wherein the risk level estimation unit estimates the risk level using a risk factor estimated by the risk factor estimation unit as a risk factor for the object of the host vehicle.
前記出力手段は、前記警告情報と共に、前記危険要因推定手段によって推定された危険要因を出力する請求項1記載の運転支援装置。   The driving support device according to claim 1, wherein the output unit outputs the risk factor estimated by the risk factor estimation unit together with the warning information. 前記危険要因推定手段は、予め学習された、前記自車両の走行状態と、前記物体の移動状態と、前記危険度と、該走行状態、該移動状態、及び該危険度が得られる状況において生じる前記危険要因との関係に基づいて、前記危険要因を推定する請求項1又は2記載の運転支援装置。   The risk factor estimating means occurs in a situation in which the traveling state of the host vehicle, the moving state of the object, the risk level, the driving state, the moving state, and the risk level are obtained in advance. The driving support device according to claim 1, wherein the risk factor is estimated based on a relationship with the risk factor.
JP2008062553A 2008-03-12 2008-03-12 Driving assistance device Expired - Fee Related JP5035040B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008062553A JP5035040B2 (en) 2008-03-12 2008-03-12 Driving assistance device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008062553A JP5035040B2 (en) 2008-03-12 2008-03-12 Driving assistance device

Publications (2)

Publication Number Publication Date
JP2009217692A true JP2009217692A (en) 2009-09-24
JP5035040B2 JP5035040B2 (en) 2012-09-26

Family

ID=41189443

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008062553A Expired - Fee Related JP5035040B2 (en) 2008-03-12 2008-03-12 Driving assistance device

Country Status (1)

Country Link
JP (1) JP5035040B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011248445A (en) * 2010-05-24 2011-12-08 Toyota Central R&D Labs Inc Moving object prediction device and program
EP2979948A2 (en) 2014-07-28 2016-02-03 Renesas Electronics Corporation Control system and semiconductor device
JP2016536731A (en) * 2013-10-31 2016-11-24 インリア・インスティテュート・ナショナル・ドゥ・ルシェルチェ・アン・インフォマティック・エ・アン・アートマティックInria Institut National De Recherche En Informatique Et En Automatique Driving assistance system and method for collision prevention
JP2019179554A (en) * 2014-12-26 2019-10-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Information processing method and server device
JP2019214318A (en) * 2018-06-13 2019-12-19 本田技研工業株式会社 Vehicle control device, vehicle control method and program
WO2020026459A1 (en) * 2018-08-03 2020-02-06 日本電気株式会社 Information processing device, information processing method, and information processing program
JP2022542277A (en) * 2019-07-31 2022-09-30 ニッサン ノース アメリカ,インク Contingency plans and security
JP7440298B2 (en) 2020-03-02 2024-02-28 株式会社トヨタマップマスター Information processing device, information processing method, and information processing program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107180220B (en) * 2016-03-11 2023-10-31 松下电器(美国)知识产权公司 Dangerous prediction method

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0554291A (en) * 1991-08-21 1993-03-05 Mazda Motor Corp Danger evaluation device for vehicle
JPH06215300A (en) * 1993-01-19 1994-08-05 Mitsubishi Electric Corp Dangerous status alarming device
JP2001082966A (en) * 1999-05-06 2001-03-30 Nissan Motor Co Ltd Reporting device for vehicle
JP2002310680A (en) * 2001-04-09 2002-10-23 Asia Air Survey Co Ltd Traffic safety information providing method and program for providing traffic safety information
JP2003081039A (en) * 2001-09-12 2003-03-19 Toyota Central Res & Dev Lab Inc Environment risk arithmetic unit
JP2004215300A (en) * 2004-03-02 2004-07-29 Fujitsu Ltd Correlation energy detector
JP2004348254A (en) * 2003-05-20 2004-12-09 Mitsubishi Electric Corp On-vehicle device, center device, and preventive safety system using them
JP2006330833A (en) * 2005-05-23 2006-12-07 Sky Kk Warning notification system
JP2007233646A (en) * 2006-02-28 2007-09-13 Toyota Motor Corp Object track prediction method, device, and program
JP2007290539A (en) * 2006-04-25 2007-11-08 Denso Corp Driving support apparatus for vehicle

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0554291A (en) * 1991-08-21 1993-03-05 Mazda Motor Corp Danger evaluation device for vehicle
JPH06215300A (en) * 1993-01-19 1994-08-05 Mitsubishi Electric Corp Dangerous status alarming device
JP2001082966A (en) * 1999-05-06 2001-03-30 Nissan Motor Co Ltd Reporting device for vehicle
JP2002310680A (en) * 2001-04-09 2002-10-23 Asia Air Survey Co Ltd Traffic safety information providing method and program for providing traffic safety information
JP2003081039A (en) * 2001-09-12 2003-03-19 Toyota Central Res & Dev Lab Inc Environment risk arithmetic unit
JP2004348254A (en) * 2003-05-20 2004-12-09 Mitsubishi Electric Corp On-vehicle device, center device, and preventive safety system using them
JP2004215300A (en) * 2004-03-02 2004-07-29 Fujitsu Ltd Correlation energy detector
JP2006330833A (en) * 2005-05-23 2006-12-07 Sky Kk Warning notification system
JP2007233646A (en) * 2006-02-28 2007-09-13 Toyota Motor Corp Object track prediction method, device, and program
JP2007290539A (en) * 2006-04-25 2007-11-08 Denso Corp Driving support apparatus for vehicle

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011248445A (en) * 2010-05-24 2011-12-08 Toyota Central R&D Labs Inc Moving object prediction device and program
JP2016536731A (en) * 2013-10-31 2016-11-24 インリア・インスティテュート・ナショナル・ドゥ・ルシェルチェ・アン・インフォマティック・エ・アン・アートマティックInria Institut National De Recherche En Informatique Et En Automatique Driving assistance system and method for collision prevention
US10654427B2 (en) 2014-07-28 2020-05-19 Renesas Electronics Corporation Control system and semiconductor device
EP2979948A2 (en) 2014-07-28 2016-02-03 Renesas Electronics Corporation Control system and semiconductor device
US9834159B2 (en) 2014-07-28 2017-12-05 Renesas Electronics Corporation Control system and semiconductor device
JP2019179554A (en) * 2014-12-26 2019-10-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Information processing method and server device
CN110588642A (en) * 2018-06-13 2019-12-20 本田技研工业株式会社 Vehicle control device, vehicle control method, and storage medium
JP2019214318A (en) * 2018-06-13 2019-12-19 本田技研工業株式会社 Vehicle control device, vehicle control method and program
JP7120820B2 (en) 2018-06-13 2022-08-17 本田技研工業株式会社 VEHICLE CONTROL DEVICE, VEHICLE CONTROL METHOD, AND PROGRAM
WO2020026459A1 (en) * 2018-08-03 2020-02-06 日本電気株式会社 Information processing device, information processing method, and information processing program
JPWO2020026459A1 (en) * 2018-08-03 2021-08-05 日本電気株式会社 Information processing equipment, information processing methods and information processing programs
US20210309234A1 (en) * 2018-08-03 2021-10-07 Nec Corporation Information processing apparatus, information processing method, and information processing program
JP7459794B2 (en) 2018-08-03 2024-04-02 日本電気株式会社 Information processing device, information processing method, and information processing program
JP2022542277A (en) * 2019-07-31 2022-09-30 ニッサン ノース アメリカ,インク Contingency plans and security
JP7401650B2 (en) 2019-07-31 2023-12-19 ニッサン ノース アメリカ,インク Contingency planning and security
JP7440298B2 (en) 2020-03-02 2024-02-28 株式会社トヨタマップマスター Information processing device, information processing method, and information processing program

Also Published As

Publication number Publication date
JP5035040B2 (en) 2012-09-26

Similar Documents

Publication Publication Date Title
JP5035040B2 (en) Driving assistance device
CN108693541B (en) Obstacle detection system and method
CN110001643B (en) Vehicle control device, vehicle control method, storage medium, and information acquisition device
JP5167051B2 (en) Vehicle driving support device
US9731718B2 (en) Route evaluation device
US8949018B2 (en) Driving assistance device and driving assistance method
EP2549456B1 (en) Driving assistance device
JP6428928B2 (en) Occlusion controller
US10336252B2 (en) Long term driving danger prediction system
EP2865575A1 (en) Confidence estimation for predictive driver assistance systems based on plausibility rules
JP4670805B2 (en) Driving support device and program
JP4691993B2 (en) Collision risk determination device and method, collision risk determination program, collision risk notification device and method, and collision risk notification program
JP4442520B2 (en) Course estimation device for vehicle
CN113442917B (en) Warning system for a host motor vehicle
JP2009282702A (en) Driving support device
JP2008186170A (en) Driving support system and driving support method
US20210163009A1 (en) Method and device for assisting a driver in a vehicle
JP2007219836A (en) Vehicle travel support device
JP6330868B2 (en) Vehicle control device
KR20160089933A (en) Apparatus and method for preventing vehicle collision
JP2007164525A (en) Safe driving support apparatus
JP6057660B2 (en) Lane monitoring system and lane monitoring method
CN115107641A (en) Light projection device, method and storage medium
JP2010224786A (en) Collision risk degree estimating device and program
Otto et al. A strategy on situation evaluation for driver assistance systems in commercial vehicles considering pedestrians in urban traffic

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120605

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120618

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5035040

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees