JP4998745B2 - Collision prevention device and collision prevention method - Google Patents
Collision prevention device and collision prevention method Download PDFInfo
- Publication number
- JP4998745B2 JP4998745B2 JP2008110533A JP2008110533A JP4998745B2 JP 4998745 B2 JP4998745 B2 JP 4998745B2 JP 2008110533 A JP2008110533 A JP 2008110533A JP 2008110533 A JP2008110533 A JP 2008110533A JP 4998745 B2 JP4998745 B2 JP 4998745B2
- Authority
- JP
- Japan
- Prior art keywords
- lane
- virtual
- vehicle
- virtual departure
- traveling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Emergency Alarm Devices (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、衝突防止装置、及び衝突防止方法に関し、より特定的には、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止装置、及び衝突防止方法に関する。 The present invention relates to a collision prevention device and a collision prevention method, and more specifically, to a collision prevention device and a collision prevention method that can prevent a host vehicle from deviating from a traveling lane and colliding with an object. .
従来、自車が走行車線から逸脱して対象物と衝突することを防止する技術として以下のような技術が存在した。この技術は、自車が走行車線から逸脱することを早期に防止するために、仮想逸脱ラインを走行車線上に設定する。この仮想逸脱ラインから自車が逸脱したときに、警報により走行車線から逸脱する可能性が高い状態であることをドライバに知らせる。 Conventionally, the following techniques exist as techniques for preventing the own vehicle from deviating from the traveling lane and colliding with an object. This technology sets a virtual departure line on the traveling lane in order to prevent the own vehicle from deviating from the traveling lane at an early stage. When the vehicle deviates from the virtual departure line, the driver is informed that there is a high possibility of deviating from the traveling lane by an alarm.
このように、仮想逸脱ラインから逸脱したときに、警報により走行車線から逸脱する可能性が高い状態であることをドライバに知らせることで、走行車線から自車が逸脱して対象物に衝突する手前でその危険を回避できる。 In this way, when the vehicle deviates from the virtual departure line, the driver is informed that the vehicle is likely to deviate from the traveling lane, so that the vehicle deviates from the traveling lane and collides with the object. Can avoid that danger.
この技術では、例えば、ドライバの覚醒状態を判定して、眠っていると判定したときに、仮想逸脱ラインをデフォルトの位置よりも内側に設定し、走行車線から逸脱する可能性が高い状態であることをより早期にドライバに知らせることを行っている(例えば、特許文献1参照)。
しかしながら、上述した技術は、覚醒状態の判定は、自車の変位量に基づいて行われるため、例えばドライバが眠っているために自車が右側へ変位したのか、ドライバが眠っておらず車線変更のために右側へ自車が変位したのか区別がつかないことがある。 However, in the above-described technology, since the determination of the awake state is performed based on the displacement amount of the own vehicle, for example, the driver is sleeping or the vehicle is displaced to the right side, or the driver is not sleeping and the lane is changed. Because of this, it may not be possible to distinguish whether the vehicle has been displaced to the right.
従って、自車の変位量に基づく覚醒状態の判定は判定精度が低いため、ドライバが眠っているのに、眠っていないと誤判定する可能性が高い。そのため、ドライバが眠っているのに、眠っていないと誤判定された場合、仮想逸脱ラインはデフォルトの位置よりも内側に設定されない。 Therefore, since the determination accuracy of the wakefulness state based on the displacement amount of the own vehicle is low, there is a high possibility of erroneous determination that the driver is sleeping but not sleeping. Therefore, if it is erroneously determined that the driver is sleeping but not sleeping, the virtual departure line is not set inside the default position.
すなわち、上述した技術では、ドライバが眠っているのに、眠っていないと誤判定された場合には、走行車線の側方に対象物が存在する場合であっても、走行車線から逸脱する可能性が高い状態であることをより早期にドライバに知らせることができない。その結果、ドライバは、自車が走行車線から逸脱して対象物に衝突する手前でその危険を回避することができなくなってしまう。 In other words, in the above-described technique, when it is erroneously determined that the driver is sleeping but not sleeping, it is possible to deviate from the traveling lane even if there is an object on the side of the traveling lane. It is not possible to inform the driver earlier that the condition is high. As a result, the driver cannot avoid the danger before the vehicle deviates from the traveling lane and collides with the object.
そこで、本発明は、上記問題に鑑みてなされた。すなわち、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止装置、及び衝突防止方法を提供することを目的とする。 Therefore, the present invention has been made in view of the above problems. That is, an object of the present invention is to provide a collision prevention device and a collision prevention method that can prevent the own vehicle from deviating from the traveling lane and colliding with an object.
本発明の第1の局面は、自車が走行車線から逸脱して対象物と衝突することを防止する衝突防止装置に向けられている。本発明は、自車の走行車線を認識する走行車線認識部と、走行車線認識部が認識した走行車線上に仮想逸脱ラインを設定する仮想逸脱ライン設定部と、仮想逸脱ライン設定部が設定した仮想逸脱ラインから自車が逸脱したときに、逸脱していることを警報によりユーザに知らせる逸脱警報部と、ドライバの閉眼状態を検知する閉眼状態検知部とを備え、仮想逸脱ライン設定部は、閉眼状態検知部がドライバの閉眼状態を検知しなかったときに、走行車線上のデフォルトの位置に仮想逸脱ラインを設定し、閉眼状態検知部が閉眼状態を検知した場合、前記走行車線上のデフォルトの位置よりも内側に仮想逸脱ラインを設定する。これにより、ドライバが眠っている場合は、仮想逸脱ラインを走行車線上のデフォルトの位置よりも内側に設定するため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止装置を提供することができる。 A first aspect of the present invention is directed to a collision preventing apparatus that prevents the own vehicle from deviating from the traveling lane and colliding with an object. The present invention sets a traveling lane recognition unit that recognizes the traveling lane of the host vehicle, a virtual departure line setting unit that sets a virtual departure line on the traveling lane recognized by the traveling lane recognition unit, and a virtual departure line setting unit. When the vehicle deviates from the virtual departure line, the vehicle includes a departure warning unit that notifies the user of the departure by an alarm, and a closed eye state detection unit that detects the closed eye state of the driver. When the closed eye state detection unit does not detect the driver's closed eye state, a virtual departure line is set at the default position on the driving lane, and the closed eye state detection unit detects the closed eye state, the default on the driving lane A virtual departure line is set inside the position of. As a result, when the driver is asleep, the virtual departure line is set on the inner side of the default position on the traveling lane, so that the vehicle can be prevented from deviating from the traveling lane and colliding with an object. An anti-collision device that can be provided can be provided.
また、走行車線認識部が認識した走行車線の側方に対象物があることを検知する対象物検知部を更に備え、仮想逸脱ライン設定部は、対象物検知部が対象物を検知しなかった場合、前記走行車線上のデフォルトの位置に仮想逸脱ラインを設定し、対象物検知部が対象物を検知した場合、走行車線上のデフォルトの位置よりも内側に仮想逸脱ラインを設定することが好ましい。これにより、走行車線の側方に対象物がある場合は、仮想逸脱ラインを走行車線上のデフォルトの位置よりも内側に設定するため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止装置を提供することができる。 The vehicle lane recognition unit further includes an object detection unit that detects that there is an object on the side of the travel lane, and the virtual departure line setting unit does not detect the object. In this case, it is preferable that a virtual departure line is set at a default position on the travel lane and the virtual departure line is set on the inner side of the default position on the travel lane when the object detection unit detects the object. . As a result, when there is an object on the side of the driving lane, the virtual departure line is set to the inner side of the default position on the driving lane, so that the vehicle deviates from the driving lane and collides with the object. It is possible to provide a collision prevention device that can prevent the above-described problem.
また、仮想逸脱ライン設定部は、自車の進行方向に対して走行車線上の右側、及び左側に仮想逸脱ラインを設定し、対象物検知部が対象物を検知した場合、自車の進行方向に対して当該対象物が検知された左右いずれか、又は双方に対応する側の仮想逸脱ラインを当該走行車線上のデフォルトの位置よりも内側に設定することが好ましい。これにより、走行車線の側方に対象物がある場合は、当該対象物のある側の仮想逸脱ラインを走行車線上のデフォルトの位置よりも内側に設定するため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止装置を提供することができる。 The virtual departure line setting unit sets virtual departure lines on the right side and left side of the traveling lane with respect to the traveling direction of the host vehicle, and when the target detection unit detects the target, the traveling direction of the host vehicle On the other hand, it is preferable to set the virtual departure line on the side corresponding to either the left or right where the object is detected or both to the inside of the default position on the travel lane. As a result, when there is an object on the side of the traveling lane, the virtual departure line on the side where the object is located is set inside the default position on the traveling lane, so that the vehicle deviates from the traveling lane. Thus, it is possible to provide a collision prevention device that can prevent a collision with an object.
また、仮想逸脱ライン設定部は、走行車線が対向車線に近い車線であるときほど、仮想逸脱ラインを走行車線上のデフォルトの位置よりも内側に設定することが好ましい。これにより、走行車線が対向車線に近い車線であるほど、仮想逸脱ラインを走行車線上のデフォルトの位置よりも内側に設定するため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止装置を提供することができる。 Moreover, it is preferable that the virtual departure line setting unit sets the virtual departure line closer to the default position on the traveling lane as the traveling lane is closer to the opposite lane. As a result, the closer the driving lane is to the opposite lane, the virtual departure line is set to the inner side of the default position on the driving lane, so that the own vehicle deviates from the driving lane and collides with the object. It is possible to provide an anti-collision device that can be prevented.
また、仮想逸脱ライン設定部は、走行車線が右側の車線であるときほど、仮想逸脱ラインを走行車線上のデフォルトの位置よりも内側に設定することが好ましい。これにより、走行車線がより右側の車線であるときほど、仮想逸脱ラインを走行車線上のデフォルトの位置よりも内側に設定するため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止装置を提供することができる。 The virtual departure line setting unit preferably sets the virtual departure line to the inner side of the default position on the traveling lane as the traveling lane is the right lane. As a result, the virtual departure line is set to the inner side of the default position on the traveling lane when the traveling lane is on the right side, so that the own vehicle deviates from the traveling lane and collides with the object. It is possible to provide an anti-collision device that can be prevented.
また、走行車線認識部は、カメラによって取得した画像を画像認識することによって走行車線を認識することが好ましい。これにより、画像認識によって走行車線が認識され、当該走行車線上に仮想逸脱ラインが設定されるため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止装置を提供することができる。 The travel lane recognition unit preferably recognizes the travel lane by recognizing an image acquired by the camera. As a result, the travel lane is recognized by image recognition, and a virtual departure line is set on the travel lane, so that the own vehicle can be prevented from deviating from the travel lane and colliding with an object. Can be provided.
また、逸脱警報部は、走行車線認識部がカメラによって取得した画像の走行車線上の仮想逸脱ラインの位置に基づき、自車が当該走行車線から逸脱したか否かを判定することが好ましい。これにより、画像認識によって仮想逸脱ラインから自車が逸脱したか否かを判定できるため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止装置を提供することができる。 The departure warning unit preferably determines whether or not the own vehicle has deviated from the traveling lane based on the position of the virtual departure line on the traveling lane of the image acquired by the traveling lane recognition unit with the camera. Accordingly, it is possible to determine whether or not the vehicle has deviated from the virtual departure line by image recognition, and therefore, a collision prevention device that can prevent the vehicle from deviating from the traveling lane and colliding with an object is provided. be able to.
また、走行車線認識部は、ナビゲーション情報により走行車線を認識することが好ましい。これにより、ナビゲーション情報によって走行車線が認識され、当該走行車線上に仮想逸脱ラインが設定されるため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止装置を提供することができる。 Moreover, it is preferable that the traveling lane recognition unit recognizes the traveling lane based on the navigation information. Accordingly, the travel lane is recognized by the navigation information, and the virtual departure line is set on the travel lane, so that the collision prevention device can prevent the vehicle from deviating from the travel lane and colliding with the object. Can be provided.
また、逸脱警報部は、ナビゲーション情報により認識した走行車線上の自車の位置と仮想逸脱ラインの位置とに基づき、自車が当該走行車線から逸脱したか否かを判定することが好ましい。これにより、ナビゲーション情報によって仮想逸脱ラインから自車が逸脱したか否かを判定できるため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止装置を提供することができる。 The departure warning unit preferably determines whether or not the own vehicle has deviated from the travel lane based on the position of the own vehicle on the travel lane recognized from the navigation information and the position of the virtual departure line. Accordingly, since it is possible to determine whether or not the vehicle has deviated from the virtual departure line based on the navigation information, a collision prevention device that can prevent the vehicle from deviating from the traveling lane and colliding with an object is provided. be able to.
また、対象物検知部は、カメラによって取得した画像を画像認識することによって対象物を検知することが好ましい。これにより、画像認識によって対象物を検知できるため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止装置を提供することができる。 Moreover, it is preferable that a target object detection part detects a target object by image-recognizing the image acquired with the camera. Thereby, since an object can be detected by image recognition, it is possible to provide a collision prevention device that can prevent the host vehicle from deviating from the traveling lane and colliding with the object.
また、対象物検知部は、レーダによって対象物を検知することが好ましい。これにより、レーダによって対象物を検知できるため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止装置を提供することができる。 Moreover, it is preferable that a target object detection part detects a target object by radar. Thereby, since the object can be detected by the radar, it is possible to provide a collision prevention device that can prevent the own vehicle from deviating from the traveling lane and colliding with the object.
また、走行車線上のデフォルトの位置は、当該走行車線上の白線の位置であることが好ましい。これにより、仮想逸脱ラインを白線の位置に設定できるため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止装置を提供することができる。 The default position on the travel lane is preferably the position of the white line on the travel lane. Accordingly, since the virtual departure line can be set at the position of the white line, it is possible to provide a collision prevention device that can prevent the own vehicle from deviating from the traveling lane and colliding with the object.
また、対象物検知部は、他車を検知することが好ましい。これにより、他車を検知できるため、自車が走行車線から逸脱して他車に衝突することを防止することができる衝突防止装置を提供することができる。 Moreover, it is preferable that a target object detection part detects another vehicle. Thereby, since the other vehicle can be detected, it is possible to provide a collision prevention device that can prevent the own vehicle from departing from the traveling lane and colliding with the other vehicle.
本発明の第2の局面は、自車が走行車線から逸脱して対象物と衝突することを防止する衝突防止方法に向けられている。本発明は、自車の走行車線を認識する走行車線認識ステップと、走行車線認識ステップで認識した走行車線上に仮想逸脱ラインを設定する仮想逸脱ライン設定ステップと、仮想逸脱ライン設定ステップで設定した仮想逸脱ラインから自車が逸脱したときに、逸脱していることを警報によりユーザに知らせる逸脱警報ステップと、ドライバの閉眼状態を検知する閉眼状態検知ステップとを備え、仮想逸脱ライン設定ステップでは、閉眼状態検知ステップでドライバの閉眼状態を検知しなかったときに、走行車線上のデフォルトの位置に仮想逸脱ラインを設定し、閉眼状態検知ステップで閉眼状態を検知した場合、走行車線上のデフォルトの位置よりも内側に仮想逸脱ラインを設定する。これにより、ドライバが眠っている場合は、仮想逸脱ラインを走行車線上のデフォルトの位置よりも内側に設定するため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止方法を提供することができる。 The second aspect of the present invention is directed to a collision prevention method for preventing the own vehicle from deviating from the traveling lane and colliding with an object. The present invention is set in a travel lane recognition step for recognizing the travel lane of the host vehicle, a virtual departure line setting step for setting a virtual departure line on the travel lane recognized in the travel lane recognition step, and a virtual departure line setting step. When the vehicle deviates from the virtual departure line, the vehicle has a departure warning step for notifying the user of the departure by an alarm, and a closed eye state detection step for detecting the closed eye state of the driver. When the driver's closed eye state is not detected in the closed eye state detection step, a virtual departure line is set at the default position on the driving lane, and when the closed eye state is detected in the closed eye state detecting step, the default on the driving lane is A virtual departure line is set inside the position. As a result, when the driver is asleep, the virtual departure line is set on the inner side of the default position on the traveling lane, so that the vehicle can be prevented from deviating from the traveling lane and colliding with an object. A possible collision prevention method can be provided.
また、走行車線認識ステップで認識した走行車線の側方に対象物があることを検知する対象物検知ステップを更に備え、仮想逸脱ライン設定ステップでは、対象物検知ステップで対象物を検知しなかった場合、走行車線上のデフォルトの位置に仮想逸脱ラインを設定し、対象物検知ステップで対象物を検知した場合、走行車線上のデフォルトの位置よりも内側に仮想逸脱ラインを設定する。これにより、走行車線の側方に対象物がある場合は、仮想逸脱ラインを走行車線上のデフォルトの位置よりも内側に設定するため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止方法を提供することができる。 The vehicle further includes an object detection step for detecting that there is an object on the side of the travel lane recognized in the travel lane recognition step, and the object is not detected in the object detection step in the virtual departure line setting step. In this case, a virtual departure line is set at a default position on the travel lane, and when an object is detected in the object detection step, a virtual departure line is set on the inner side of the default position on the travel lane. As a result, when there is an object on the side of the driving lane, the virtual departure line is set to the inner side of the default position on the driving lane, so that the vehicle deviates from the driving lane and collides with the object. It is possible to provide a collision prevention method capable of preventing the occurrence of a collision.
また、仮想逸脱ライン設定ステップでは、自車の進行方向に対して走行車線上の右側、及び左側に仮想逸脱ラインを設定し、対象物検知ステップで対象物を検知した場合、自車の進行方向に対して当該対象物が検知された左右いずれか、又は双方に対応する側の仮想逸脱ラインを当該走行車線上のデフォルトの位置よりも内側に設定することが好ましい。これにより、走行車線の側方に対象物がある場合は、当該対象物のある側の仮想逸脱ラインを走行車線上のデフォルトの位置よりも内側に設定するため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止方法を提供することができる。 In the virtual departure line setting step, virtual departure lines are set on the right and left sides of the traveling lane with respect to the traveling direction of the host vehicle, and when the target is detected in the target detecting step, the traveling direction of the host vehicle On the other hand, it is preferable to set the virtual departure line on the side corresponding to either the left or right where the object is detected or both to the inside of the default position on the travel lane. As a result, when there is an object on the side of the traveling lane, the virtual departure line on the side where the object is located is set inside the default position on the traveling lane, so that the vehicle deviates from the traveling lane. Thus, it is possible to provide a collision prevention method capable of preventing a collision with an object.
また、仮想逸脱ライン設定ステップでは、走行車線が対向車線に近い車線であるときほど、仮想逸脱ラインを走行車線上のデフォルトの位置よりも内側に設定することが好ましい。これにより、走行車線が対向車線に近い車線であるほど、仮想逸脱ラインを走行車線上のデフォルトの位置よりも内側に設定するため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止方法を提供することができる。 In the virtual departure line setting step, it is preferable that the virtual departure line is set more inside the default position on the traveling lane as the traveling lane is closer to the opposite lane. As a result, the closer the driving lane is to the opposite lane, the virtual departure line is set to the inner side of the default position on the driving lane, so that the own vehicle deviates from the driving lane and collides with the object. A collision prevention method that can be prevented can be provided.
また、仮想逸脱ライン設定ステップでは、走行車線が右側の車線であるときほど、仮想逸脱ラインを走行車線上のデフォルトの位置よりも内側に設定することが好ましい。これにより、走行車線がより右側の車線であるときほど、仮想逸脱ラインを走行車線上のデフォルトの位置よりも内側に設定するため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止方法を提供することができる。 In the virtual departure line setting step, it is preferable that the virtual departure line is set more inside the default position on the traveling lane when the traveling lane is the right lane. As a result, the virtual departure line is set to the inner side of the default position on the traveling lane when the traveling lane is on the right side, so that the own vehicle deviates from the traveling lane and collides with the object. A collision prevention method that can be prevented can be provided.
また、走行車線認識ステップでは、カメラによって取得した画像を画像認識することによって走行車線を認識することが好ましい。これにより、画像認識によって走行車線が認識され、当該走行車線上に仮想逸脱ラインが設定されるため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止方法を提供することができる。 In the travel lane recognition step, it is preferable to recognize the travel lane by recognizing an image acquired by the camera. Thereby, the traveling lane is recognized by image recognition, and the virtual departure line is set on the traveling lane, so that the collision prevention method can prevent the own vehicle from deviating from the traveling lane and colliding with the object. Can be provided.
また、逸脱警報ステップでは、走行車線認識ステップでカメラによって取得した画像の走行車線上の仮想逸脱ラインの位置に基づき、自車が当該走行車線から逸脱したか否かを判定することが好ましい。これにより、画像認識によって仮想逸脱ラインから自車が逸脱したか否かを判定できるため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止方法を提供することができる。 In the departure warning step, it is preferable to determine whether or not the own vehicle has deviated from the traveling lane based on the position of the virtual departure line on the traveling lane of the image acquired by the camera in the traveling lane recognition step. Thus, it is possible to determine whether or not the vehicle has deviated from the virtual departure line by image recognition, and thus a collision prevention method that can prevent the vehicle from deviating from the traveling lane and colliding with an object is provided. be able to.
また、走行車線認識ステップでは、ナビゲーション情報により走行車線を認識することが好ましい。これにより、ナビゲーション情報によって走行車線が認識され、当該走行車線上に仮想逸脱ラインが設定されるため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止方法を提供することができる。 In the travel lane recognition step, it is preferable to recognize the travel lane from the navigation information. Thus, the travel lane is recognized by the navigation information, and the virtual departure line is set on the travel lane, so that the collision prevention method can prevent the own vehicle from deviating from the travel lane and colliding with the object. Can be provided.
また、逸脱警報ステップでは、ナビゲーション情報により認識した走行車線上の自車の位置と仮想逸脱ラインの位置とに基づき、自車が当該走行車線から逸脱したか否かを判定することが好ましい。これにより、ナビゲーション情報によって仮想逸脱ラインから自車が逸脱したか否かを判定できるため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止方法を提供することができる。 In the departure warning step, it is preferable to determine whether or not the own vehicle has deviated from the traveling lane based on the position of the own vehicle on the traveling lane recognized from the navigation information and the position of the virtual departure line. Accordingly, since it is possible to determine whether or not the vehicle has deviated from the virtual departure line based on the navigation information, a collision prevention method capable of preventing the vehicle from deviating from the traveling lane and colliding with an object is provided. be able to.
また、対象物検知ステップでは、カメラによって取得した画像を画像認識することによって対象物を検知することが好ましい。これにより、画像認識によって対象物を検知できるため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止方法を提供することができる。 In the object detection step, it is preferable to detect the object by recognizing an image acquired by the camera. Thereby, since an object can be detected by image recognition, the collision prevention method which can prevent that the own vehicle deviates from a traveling lane and collides with an object can be provided.
また、対象物検知ステップでは、レーダによって対象物を検知することが好ましい。これにより、レーダによって対象物を検知できるため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止方法を提供することができる。 In the object detection step, it is preferable that the object is detected by a radar. Thereby, since the object can be detected by the radar, it is possible to provide a collision prevention method capable of preventing the own vehicle from deviating from the traveling lane and colliding with the object.
また、走行車線上のデフォルトの位置は、当該走行車線上の白線の位置であることが好ましい。これにより、仮想逸脱ラインを白線の位置に設定できるため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止方法を提供することができる。 The default position on the travel lane is preferably the position of the white line on the travel lane. Thereby, since the virtual departure line can be set at the position of the white line, it is possible to provide a collision prevention method capable of preventing the own vehicle from deviating from the traveling lane and colliding with the object.
また、対象物検知ステップでは、他車を検知することが好ましい。これにより、他車を検知できるため、自車が走行車線から逸脱して他車に衝突することを防止することができる衝突防止方法を提供することができる。 In the object detection step, it is preferable to detect another vehicle. Thereby, since the other vehicle can be detected, it is possible to provide a collision prevention method capable of preventing the own vehicle from deviating from the traveling lane and colliding with the other vehicle.
自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止装置、及び衝突防止方法を提供することができる。 It is possible to provide a collision prevention device and a collision prevention method that can prevent the host vehicle from deviating from the traveling lane and colliding with an object.
(第1の実施形態)
以下、本発明の第1の実施の形態に係る衝突防止装置について図面に従って詳細に説明する。
(First embodiment)
Hereinafter, a collision preventing apparatus according to a first embodiment of the present invention will be described in detail with reference to the drawings.
図1は、本発明の第1の実施の形態に係る衝突防止装置100の全体構成を示すブロック図である。図1において、衝突防止装置100は、走行車線認識部110、仮想逸脱ライン設定部120、逸脱警報部130、対象物検知部140、及び閉眼状態検知部150を備える。
FIG. 1 is a block diagram showing the overall configuration of a
走行車線認識部110は、自車前方を撮像するカメラを備えており、当該カメラによって撮像された実写画像から白線認識等の画像認識を行い、自車が走行している走行車線を認識する。
The traveling
仮想逸脱ライン設定部120は、自車が走行車線から逸脱することを早期に防止するために、実写画像上の走行車線の白線の位置をデフォルトの位置として仮想逸脱ラインを設定する。
The virtual departure
逸脱警報部130は、実写画像上の走行車線に設定された仮想逸脱ラインの位置変化に基づき、自車が仮想逸脱ラインから逸脱したか否かを判定し、逸脱したと判定したときに、警報により自車が走行車線から逸脱する可能性が高い状態であることをドライバに知らせる。
The
対象物検知部140は、自車前方、側方、及び後方を撮像するカメラを備えており、当該カメラによって撮像された自車前方、側方、及び後方画像からパターンマッチング等の画像認識を行い、自車が走行している走行車線の側方に物体があることを検知する。なお、レーダによって対象物を検知する構成としてもよい。また、対象物検知部140は、対象物として他車、中央分離帯、及び/又は側壁等を検知する構成としてもよい。
The
閉眼状態検知部150は、ドライバの顔を撮像し、撮像した上瞼画像と下瞼画像との間の最大距離が所定距離以下である場合に、ドライバが閉眼状態であることを検出する。
The closed eye
以下、本発明の第1の実施の形態に係る衝突防止装置100の動作について図2のフロー図に従って説明する。
Hereinafter, the operation of the
まず、走行車線認識部110は、自車前方を撮像するカメラによって撮像された撮像画像から白線認識等の画像認識を行い、自車が走行している走行車線を認識する(ステップS201)。
First, the travel
次に、仮想逸脱ライン設定部120は、図3に示すように、実写画像上の走行車線の白線の位置をデフォルトの位置として仮想逸脱ラインを設定する(ステップS202)。
Next, as shown in FIG. 3, the virtual departure
次に、仮想逸脱ライン設定部120は、閉眼状態検知部150がドライバが閉眼状態であることを検知したか否かを判定する(ステップS203)。
Next, the virtual departure
ステップS203において、ドライバが閉眼状態であることが検知されたと判定された場合、仮想逸脱ライン設定部120は、仮想逸脱ラインを走行車線上のデフォルトの位置よりも内側に設定する(ステップS203→S205)。一方、ステップS203において、ドライバが閉眼状態であることが検知されなかった場合、仮想逸脱ライン設定部120は、対象物検知部140が自車の走行している走行車線の側方に物体があることを検知したか否かを判定する(ステップS203→S204)。
If it is determined in step S203 that the driver is detected to be in the closed state, the virtual departure
ステップS204において、仮想逸脱ライン設定部120は、対象物検知部140が自車の走行している走行車線の側方に対象物があると検知しなかったと判定した場合、ステップS206に処理を移す。一方、ステップS204において、仮想逸脱ライン設定部120は、対象物検知部140が自車の走行している走行車線の側方に対象物があると検知したと判定した場合、仮想逸脱ラインを走行車線上のデフォルトの位置よりも内側に設定する(ステップS205)。なお、図4に示すように、自車の進行方向に対して右側の他車が検知された場合、検知された右側に対応する側の仮想逸脱ラインを当該走行車線上のデフォルトの位置よりも内側に設定するようにしてもよい。また、走行車線が対向車線に近い車線であるときほど、仮想逸脱ラインを走行車線上のデフォルトの位置よりも内側に設定する構成としてもよい。なお、図5に示すように、走行車線が右側の車線であるときほど、仮想逸脱ラインを走行車線上のデフォルトの位置よりも内側に設定する構成としてもよい。また、自車の進行方向に対して他車が左右双方に検知された場合、検知された左右双方に対応する側の仮想逸脱ラインを当該走行車線上のデフォルトの位置よりも内側に設定する構成としてもよい。
In step S204, if the virtual departure
次に、逸脱警報部130は、実写画像上の走行車線に設定された仮想逸脱ラインの位置変化に基づき、自車が仮想逸脱ラインから逸脱したか否かを判定する(ステップS206)。
Next, the
ステップS206において、逸脱警報部130は、自車が仮想逸脱ラインから逸脱していないと判定した場合、待機する。一方、ステップS206において、逸脱警報部130は、自車が仮想逸脱ラインから逸脱したと判定した場合、警報により自車が走行車線から逸脱する可能性が高い状態であることをドライバに知らせる(ステップS207)。
In step S206, the
このように、本発明によれば、ドライバが眠っている場合は、仮想逸脱ラインを走行車線上のデフォルトの位置よりも内側に設定するため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止装置、及び衝突防止方法を提供することができる。また、本願では、覚醒状態の判定は、自車の変位量に基づいて行われるのではなく、閉眼状態であるか否かに基づいて行われるため、眠っているのに、眠っていないと誤って判定することがなくなる。 As described above, according to the present invention, when the driver is sleeping, the virtual departure line is set to the inner side of the default position on the traveling lane, so the own vehicle deviates from the traveling lane and collides with the object. It is possible to provide a collision prevention device and a collision prevention method that can prevent the occurrence of the collision. Further, in the present application, the determination of the awake state is not performed based on the displacement amount of the own vehicle, but based on whether or not the vehicle is in the closed eye state. Will not be judged.
また、走行車線の側方に対象物がある場合は、当該対象物のある側の仮想逸脱ラインを走行車線上のデフォルトの位置よりも内側に設定するため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止装置、及び衝突防止方法を提供することができる。 Also, if there is an object on the side of the driving lane, the virtual departure line on the side where the object is located is set inside the default position on the driving lane. A collision prevention apparatus and a collision prevention method that can prevent a collision with an object can be provided.
また、走行車線が対向車線に近い車線であるほど、仮想逸脱ラインを走行車線上のデフォルトの位置よりも内側に設定するため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止装置、及び衝突防止方法を提供することができる。 In addition, the closer the lane is to the opposite lane, the virtual departure line is set to the inner side of the default position on the lane, preventing the vehicle from deviating from the lane and colliding with the object. It is possible to provide a collision prevention apparatus and a collision prevention method that can be performed.
また、走行車線がより右側の車線であるときほど、仮想逸脱ラインを走行車線上のデフォルトの位置よりも内側に設定するため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止装置、及び衝突防止方法を提供することができる。 In addition, when the driving lane is the lane on the right side, the virtual departure line is set to the inner side of the default position on the driving lane, preventing the vehicle from deviating from the driving lane and colliding with an object. It is possible to provide a collision prevention apparatus and a collision prevention method that can be performed.
(第2の実施形態)
以下、本発明の第2の実施の形態に係る衝突防止装置について図面に従って詳細に説明する。なお、第1の実施の形態と同一の構成については説明を省略する。
(Second Embodiment)
Hereinafter, a collision preventing apparatus according to a second embodiment of the present invention will be described in detail with reference to the drawings. The description of the same configuration as that of the first embodiment is omitted.
走行車線認識部110は、自車の現在位置を計測し、当該現在位置、及び地図データベース中の地図画像に基づいて最適経路を案内するナビゲーション装置を備えており、当該現在位置に基づき、地図画像上の自車が走行している走行車線を認識する。
The traveling
仮想逸脱ライン設定部120は、自車が走行車線から逸脱することを早期に防止するために、地図画像上の走行車線の端部をデフォルトの位置として仮想逸脱ラインを設定する。
The virtual departure
逸脱警報部130は、地図画像上の走行車線に設定された仮想逸脱ラインの位置と現在位置に基づいて、自車が仮想逸脱ラインから逸脱したか否かを判定し、逸脱したと判定したときに、警報により自車が走行車線から逸脱する可能性が高い状態であることをドライバに知らせる。
The
以下、本発明の第2の実施の形態に係る衝突防止装置100の動作について図6のフロー図に従って説明する。
Hereinafter, the operation of the
まず、走行車線認識部110は、ナビゲーション装置が計測した現在位置に基づき、地図画像上の自車が走行している走行車線を認識する(ステップS601)。
First, the traveling
次に、仮想逸脱ライン設定部120は、地図画像上の走行車線の端部の位置をデフォルトの位置として仮想逸脱ラインを設定する(ステップS602)。
Next, the virtual departure
次に、仮想逸脱ライン設定部120は、閉眼状態検知部150がドライバが閉眼状態であることを検知したか否かを判定する(ステップS603)。
Next, the virtual departure
ステップS603において、ドライバが閉眼状態であることが検知されたと判定された場合、仮想逸脱ライン設定部120は、仮想逸脱ラインを走行車線上のデフォルトの位置よりも内側に設定する(ステップS603→S605)。一方、ステップS603において、ドライバが閉眼状態であることが検知されなかった場合、仮想逸脱ライン設定部120は、対象物検知部140が自車の走行している走行車線の側方に物体があることを検知したか否かを判定する(ステップS603→S604)。
If it is determined in step S603 that the driver is detected to be in an eye-closed state, the virtual departure
ステップS604において、仮想逸脱ライン設定部120は、対象物検知部140が自車の走行している走行車線の側方に対象物があると検知しなかったと判定した場合、ステップS606に処理を移す。一方、ステップS604において、仮想逸脱ライン設定部120は、対象物検知部140が自車の走行している走行車線の側方に対象物があると検知したと判定した場合、仮想逸脱ラインを走行車線上のデフォルトの位置よりも内側に設定する(ステップS605)。
In step S604, when the virtual departure
次に、逸脱警報部130は、地図画像上の走行車線に設定された仮想逸脱ラインの位置と現在位置に基づいて、自車が仮想逸脱ラインから逸脱したか否かを判定する(ステップS606)。
Next, the
ステップS606において、逸脱警報部130は、自車が仮想逸脱ラインから逸脱していないと判定した場合、待機する。一方、ステップS606において、逸脱警報部130は、自車が仮想逸脱ラインから逸脱したと判定した場合、警報により自車が走行車線から逸脱する可能性が高い状態であることをドライバに知らせる(ステップS607)。
In step S606, the
このように、本発明によれば、ドライバが眠っている場合は、仮想逸脱ラインを走行車線上のデフォルトの位置よりも内側に設定するため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止装置、及び衝突防止方法を提供することができる。また、本願では、覚醒状態の判定は、自車の変位量に基づいて行われるのではなく、閉眼状態であるか否かに基づいて行われるため、眠っているのに、眠っていないと誤って判定することがなくなる。 As described above, according to the present invention, when the driver is sleeping, the virtual departure line is set to the inner side of the default position on the traveling lane, so the own vehicle deviates from the traveling lane and collides with the object. It is possible to provide a collision prevention device and a collision prevention method that can prevent the occurrence of the collision. Further, in the present application, the determination of the awake state is not performed based on the displacement amount of the own vehicle, but based on whether or not the vehicle is in the closed eye state. Will not be judged.
また、走行車線の側方に対象物がある場合は、仮想逸脱ラインを走行車線上のデフォルトの位置よりも内側に設定するため、自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止装置、及び衝突防止方法を提供することができる。 Also, if there is an object on the side of the driving lane, the virtual departure line is set to the inner side of the default position on the driving lane, so that the host vehicle deviates from the driving lane and collides with the object. A collision prevention device and a collision prevention method that can be prevented can be provided.
上記実施の形態で説明した構成は、単に具体例を示すものであり、本願発明の技術的範囲を制限するものではない。本願の効果を奏する範囲において、任意の構成を採用することが可能である。 The configuration described in the above embodiment is merely a specific example and does not limit the technical scope of the present invention. Any configuration can be employed within the scope of the effects of the present application.
自車が走行車線から逸脱して対象物に衝突することを防止することができる衝突防止装置、及び衝突防止方法等として有用である。 The present invention is useful as a collision prevention device, a collision prevention method, and the like that can prevent the host vehicle from deviating from the traveling lane and colliding with an object.
100 衝突防止装置
110 走行車線認識部
120 仮想逸脱ライン設定部
130 逸脱警報部
140 対象物検知部
150 閉眼状態検知部
DESCRIPTION OF
Claims (25)
自車の走行車線を認識する走行車線認識部と、
前記走行車線認識部が認識した走行車線上に仮想逸脱ラインを設定する仮想逸脱ライン設定部と、
前記仮想逸脱ライン設定部が設定した仮想逸脱ラインから自車が逸脱したときに、逸脱していることを警報によりユーザに知らせる逸脱警報部と、
ドライバの閉眼状態を検知する閉眼状態検知部とを備え、
前記仮想逸脱ライン設定部は、前記閉眼状態検知部がドライバの閉眼状態を検知しなかったときに、前記走行車線上のデフォルトの位置に仮想逸脱ラインを設定し、前記閉眼状態検知部が閉眼状態を検知した場合、前記走行車線上のデフォルトの位置よりも内側に仮想逸脱ラインを設定し、
前記走行車線認識部が認識した走行車線の側方に対象物があることを検知する対象物検知部を更に備え、
前記仮想逸脱ライン設定部は、
前記対象物検知部が対象物を検知しなかった場合、前記走行車線上のデフォルトの位置に仮想逸脱ラインを設定し、前記対象物検知部が対象物を検知した場合、前記走行車線上のデフォルトの位置よりも内側に仮想逸脱ラインを設定する、衝突防止装置。 A collision prevention device for preventing the own vehicle from deviating from the driving lane and colliding with an object,
A traveling lane recognition unit that recognizes the traveling lane of the vehicle;
A virtual departure line setting unit that sets a virtual departure line on the traveling lane recognized by the traveling lane recognition unit;
A departure warning unit for notifying the user by a warning when the vehicle deviates from the virtual departure line set by the virtual departure line setting unit; and
An eye-closing state detection unit that detects the driver's eye-closing state,
The virtual departure line setting unit sets a virtual departure line at a default position on the travel lane when the closed eye state detection unit does not detect a closed eye state of the driver, and the closed eye state detection unit is closed. Is detected, a virtual departure line is set inside the default position on the travel lane ,
An object detection unit for detecting that there is an object on the side of the travel lane recognized by the travel lane recognition unit;
The virtual departure line setting unit is
When the object detection unit does not detect the object, a virtual departure line is set at a default position on the travel lane, and when the object detection unit detects the object, the default on the travel lane An anti-collision device that sets a virtual departure line on the inner side of the position .
前記閉眼状態検知部が閉眼状態を検知した場合、前記対象物検知部が対象物を検知したか否かを判定せずに、前記走行車線上のデフォルトの位置よりも内側に仮想逸脱ラインを設定し、
前記閉眼状態検知部が閉眼状態を検知しなかった場合、前記対象物検知部が対象物を検知したか否かを判定し、前記対象物検知部が対象物を検知しなかった場合、前記走行車線上のデフォルトの位置に仮想逸脱ラインを設定し、前記対象物検知部が対象物を検知した場合、前記走行車線上のデフォルトの位置よりも内側に仮想逸脱ラインを設定することを特徴とする、請求項1に記載の衝突防止装置。 Before Symbol virtual deviation line setting section,
When the closed-eye detection unit detects the closed-eye state, a virtual departure line is set on the inner side of the default position on the travel lane without determining whether the target detection unit has detected the target. And
When the closed eye state detection unit does not detect the closed eye state, it is determined whether or not the object detection unit detects the object, and when the object detection unit does not detect the object, the traveling A virtual departure line is set at a default position on a lane, and a virtual departure line is set inside a default position on the travel lane when the object detection unit detects an object. The collision preventing apparatus according to claim 1.
自車の走行車線を認識する走行車線認識ステップと、
前記走行車線認識ステップで認識した走行車線上に仮想逸脱ラインを設定する仮想逸脱ライン設定ステップと、
前記仮想逸脱ライン設定ステップで設定した仮想逸脱ラインから自車が逸脱したときに、逸脱していることを警報によりユーザに知らせる逸脱警報ステップと、
ドライバの閉眼状態を検知する閉眼状態検知ステップと、
前記走行車線認識ステップで認識した走行車線の側方に対象物があることを検知する対象物検知ステップとを備え、
前記仮想逸脱ライン設定ステップでは、前記閉眼状態検知ステップでドライバの閉眼状態を検知しなかったときに、前記対象物検知ステップで対象物を検知しなかった場合、前記走行車線上のデフォルトの位置に仮想逸脱ラインを設定する一方、前記対象物検知ステップで対象物を検知した場合、前記走行車線上のデフォルトの位置よりも内側に仮想逸脱ラインを設定し、前記閉眼状態検知ステップで閉眼状態を検知した場合、前記走行車線上のデフォルトの位置よりも内側に仮想逸脱ラインを設定する、衝突防止方法。 A collision prevention method for preventing the own vehicle from deviating from the driving lane and colliding with an object,
A travel lane recognition step for recognizing the travel lane of the vehicle;
A virtual departure line setting step for setting a virtual departure line on the travel lane recognized in the travel lane recognition step;
A departure warning step for notifying the user by a warning when the vehicle deviates from the virtual departure line set in the virtual departure line setting step;
A closed eye state detecting step for detecting a closed eye state of the driver ;
An object detection step for detecting that there is an object on the side of the travel lane recognized in the travel lane recognition step ,
In the virtual departure line setting step, when a closed eye state of the driver is not detected in the closed eye state detection step, and an object is not detected in the target object detection step, a default position on the traveling lane is set. While a virtual departure line is set, when an object is detected in the object detection step, a virtual departure line is set inside a default position on the travel lane, and a closed eye state is detected in the closed eye state detection step. If this is the case, a collision prevention method of setting a virtual departure line inside a default position on the travel lane.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008110533A JP4998745B2 (en) | 2008-04-21 | 2008-04-21 | Collision prevention device and collision prevention method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008110533A JP4998745B2 (en) | 2008-04-21 | 2008-04-21 | Collision prevention device and collision prevention method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009265684A JP2009265684A (en) | 2009-11-12 |
JP4998745B2 true JP4998745B2 (en) | 2012-08-15 |
Family
ID=41391506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008110533A Active JP4998745B2 (en) | 2008-04-21 | 2008-04-21 | Collision prevention device and collision prevention method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4998745B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3470559B2 (en) * | 1997-07-10 | 2003-11-25 | トヨタ自動車株式会社 | Travel lane departure warning device |
JP3358709B2 (en) * | 1997-08-11 | 2002-12-24 | 富士重工業株式会社 | Driving support device for vehicles |
JP2006335174A (en) * | 2005-06-01 | 2006-12-14 | Nissan Motor Co Ltd | Traveling control device for vehicle |
JP4677963B2 (en) * | 2006-09-11 | 2011-04-27 | トヨタ自動車株式会社 | Dozing detection device, dozing detection method |
-
2008
- 2008-04-21 JP JP2008110533A patent/JP4998745B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009265684A (en) | 2009-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4558758B2 (en) | Obstacle recognition device for vehicles | |
JP5938569B2 (en) | Advanced driver support system considering azimuth information and operation method thereof | |
JP6450294B2 (en) | Object detection apparatus, object detection method, and program | |
JP2017529517A (en) | Method of tracking a target vehicle approaching a car by a car camera system, a camera system, and a car | |
JP5863607B2 (en) | Pedestrian warning device | |
JP4901275B2 (en) | Travel guidance obstacle detection device and vehicle control device | |
US20140002658A1 (en) | Overtaking vehicle warning system and overtaking vehicle warning method | |
JP2011180982A (en) | Lane marker detecting apparatus | |
JP2013225295A5 (en) | ||
JP2016029553A (en) | Travel section line recognition device and travel section line recognition program | |
CN111886166A (en) | Parking assist apparatus | |
JP2018101200A (en) | Object detection device | |
KR20130134197A (en) | A display device of assistance information for driving and a display method of assistance information for driving | |
CN108027237B (en) | Periphery recognition device | |
KR101628547B1 (en) | Apparatus and Method for Checking of Driving Load | |
JP5997962B2 (en) | In-vehicle lane marker recognition device | |
JP5097681B2 (en) | Feature position recognition device | |
JP4762830B2 (en) | Perimeter monitoring system | |
JP2009298362A (en) | Lane departure warning device of vehicle | |
JP2011103058A (en) | Erroneous recognition prevention device | |
JP5931691B2 (en) | White line detection device and white line detection method | |
JP2016162130A (en) | Device and method for detecting pedestrian crossing and computer for pedestrian crossing detection | |
JP4998745B2 (en) | Collision prevention device and collision prevention method | |
JP4768499B2 (en) | In-vehicle peripheral other vehicle detection device | |
JP2007240316A (en) | On-board distance measuring device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100920 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110901 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120215 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120418 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120501 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4998745 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150525 Year of fee payment: 3 |