JP4891745B2 - Exit detection device - Google Patents

Exit detection device Download PDF

Info

Publication number
JP4891745B2
JP4891745B2 JP2006324143A JP2006324143A JP4891745B2 JP 4891745 B2 JP4891745 B2 JP 4891745B2 JP 2006324143 A JP2006324143 A JP 2006324143A JP 2006324143 A JP2006324143 A JP 2006324143A JP 4891745 B2 JP4891745 B2 JP 4891745B2
Authority
JP
Japan
Prior art keywords
vehicle
road
exit
lane
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006324143A
Other languages
Japanese (ja)
Other versions
JP2008139104A (en
Inventor
陽介 和田
昌俊 高原
輝 小西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Toyota Motor Corp
Original Assignee
Aisin AW Co Ltd
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd, Toyota Motor Corp filed Critical Aisin AW Co Ltd
Priority to JP2006324143A priority Critical patent/JP4891745B2/en
Publication of JP2008139104A publication Critical patent/JP2008139104A/en
Application granted granted Critical
Publication of JP4891745B2 publication Critical patent/JP4891745B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、車両の本線道路から退出路への退出を検出する退出検出装置に関する。   The present invention relates to an exit detection device that detects an exit of a vehicle from a main road to an exit road.

従来から、道路情報を記憶した道路情報記憶手段と、道路上の自車位置を検出する自車位置検出手段と、車速を検出する車速検出手段と、記憶されている道路情報から属性の異なる道路を接続する接続路（ランプウェイ）を検出する接続路検出手段と、自車位置と検出された接続路に基づき、制御区間を設定する制御区間設定手段と、自動的に変速比を選択する自動変速装置と、前記制御区間内において、車速から変速比を変更し得る範囲を決定する変速比規制手段と、運転者の運転操作を検出する運転操作検出手段と、前記自動変速装置の選択する変速比を、所定の運転操作に基づき、決定された範囲内とするように設定する変速比設定手段とを有することを特徴とする車両制御装置が知られている（例えば、特許文献１参照）。
特開平１０−１４１４９１号公報 Conventionally, road information storage means for storing road information, own vehicle position detection means for detecting the own vehicle position on the road, vehicle speed detection means for detecting the vehicle speed, and roads having different attributes from the stored road information A connection path detection means for detecting a connection path (rampway) for connecting the vehicle, a control section setting means for setting a control section based on the vehicle position and the detected connection path, and automatic selection of a gear ratio A transmission, a transmission ratio regulating means for determining a range in which the transmission ratio can be changed from the vehicle speed within the control section, a driving operation detecting means for detecting a driving operation of the driver, and a shift selected by the automatic transmission 2. Description of the Related Art A vehicle control device is known that includes a gear ratio setting unit that sets a ratio to be within a determined range based on a predetermined driving operation (see, for example, Patent Document 1).
JP-A-10-141491

ところで、上述の従来技術では、上述の従来技術では、記憶されている道路情報から接続路を検出しているので、道路情報の精度や自車位置の検出精度によっては、接続路を精度良く検出できない虞がある。   By the way, in the above-mentioned prior art, since the connecting path is detected from the stored road information in the above-described conventional technique, the connecting path is detected with high accuracy depending on the accuracy of the road information and the detection accuracy of the vehicle position. There is a possibility that it cannot be done.

そこで、本発明は、車両の本線道路から退出路への退出を精度良く検出することができる退出検出装置の提供を目的とする。   Accordingly, an object of the present invention is to provide an exit detection device that can accurately detect the exit of a vehicle from a main road to an exit road.

上記目的を達成するため、第１の発明は、車両の本線道路から退出路への退出を検出する退出検出装置において、
車両に搭載され、車両周辺の道路区画線を検出する道路区画線検出手段と、
前記道路区画線検出手段の検出結果に基づいて、車両が本線道路の登坂車線を走行している状態を検出する登坂車線走行状態検出手段とを備え、
前記道路区画線検出手段及び前記登坂車線走行状態検出手段の検出結果に基づいて、車両が本線道路の登坂車線を走行している状態から、本線道路と退出路を区分ける破線を跨いだと判定した場合に、前記車両の退出路への退出を検出することを特徴とする。 In order to achieve the above object, a first invention is an exit detection device for detecting exit of a vehicle from a main road to an exit road.
Mounted on a vehicle, the road-ku streak detection means for detecting a road-ku streaking around the vehicle,
Based on the detection result of the road lane marking detection means, comprising a climbing lane traveling state detection means for detecting a state in which the vehicle is traveling on the uphill lane of the main road,
Based on the detection result of the road-ku picture ray detecting means and the climbing lane running state detecting means, from a state in which the vehicle is traveling on an uphill lane main road, and straddles the dashed Ru partition the exit road and the main road When the determination is made, the exit of the vehicle to the exit path is detected.

第２の発明は、第１の発明に係る退出検出装置において、
前記登坂車線走行状態検出手段は、前記道路区画線検出手段の検出結果に基づいて、車両の左側の道路区画線が実線であり、且つ、右側の道路区画線が破線である場合、あるいは、車両の両側の道路区画線が破線である場合に、前記車両が登坂車線を走行している状態を検出することを特徴とする。 A second invention is the exit detection device according to the first invention,
The uphill lane running state detection means is based on the detection result of the road lane marking detection means, when the left road lane marking of the vehicle is a solid line and the right road lane marking is a broken line, or the vehicle When the road lane markings on both sides of the vehicle are broken lines, a state in which the vehicle is traveling on an uphill lane is detected .

第３の発明は、第１〜２のうちの何れかの発明に係る退出検出装置において、
前記道路区画線検出手段は、車体後部に取り付けられ車両後方の路面を撮像するバックカメラを含むことを特徴とする。 The third invention is the exit detection device according to any of the of the first to 2
The road ku picture ray detecting means is characterized in that it includes a back camera for imaging a road surface behind the vehicle attached to the vehicle body rear portion.

本発明によれば、車両の本線道路から退出路への退出を精度良く検出することができる退出検出装置が得られる。   ADVANTAGE OF THE INVENTION According to this invention, the exit detection apparatus which can detect the exit to the exit path from the main road of a vehicle accurately is obtained.

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。   The best mode for carrying out the present invention will be described below with reference to the drawings.

図１は、本発明による退出検出装置の一実施例を含む退出路制御システムのシステム構成図である。本実施例の退出検出装置は、ナビゲーション装置の主要機能を実現するナビゲーションＥＣＵ２０を中心に構成される。ナビゲーションＥＣＵ２０は、通常的なＥＣＵ（電子制御ユニット）と同様、図示しないバスを介して互いに接続されたＣＰＵ、ＲＯＭ、及びＲＡＭ等からなるマイクロコンピュータとして構成されている。   FIG. 1 is a system configuration diagram of an exit route control system including an embodiment of an exit detection device according to the present invention. The exit detection device of the present embodiment is mainly configured by a navigation ECU 20 that realizes the main functions of the navigation device. The navigation ECU 20 is configured as a microcomputer including a CPU, a ROM, a RAM, and the like that are connected to each other via a bus (not shown), like a normal ECU (electronic control unit).

ナビゲーションＥＣＵ２０は、通常的なナビゲーション機能（例えば経路検索機能や経路案内機能）の他、以下で詳説する如く、後述する地図データ及び画像認識結果に基づいて、有料道路の退出路を検出する機能を有する。   The navigation ECU 20 has a function of detecting a leaving road on a toll road based on map data and an image recognition result, which will be described later, as well as a normal navigation function (for example, a route search function and a route guidance function). Have.

ナビゲーションＥＣＵ２０には、ＤＶＤ、ＣＤ−ＲＯＭ等の記録媒体上に地図データを保有する地図データベース２２や、地図表示や経路案内表示を映像により出力する液晶ディスプレイ等の表示装置２４、ユーザインターフェースとなるタッチパネル等の操作入力部２６等が接続されている。   The navigation ECU 20 includes a map database 22 that holds map data on a recording medium such as a DVD or a CD-ROM, a display device 24 such as a liquid crystal display that outputs a map display or route guidance display as a video, and a touch panel that serves as a user interface. The operation input unit 26 and the like are connected.

地図データベース２２には、地図データには、通常的な道路情報と同様、有料道路の合流点／分岐点（本線道路に対する退出路の退出地点）に各々対応する各ノードの座標情報、隣接するノードを接続するリンク情報、各リンクに対応する道路の幅員情報、各リンクのレーン情報（走行車線数や、例えば登坂車線の有無のような走行車線の種別）、各リンクに対応する国道・県道・高速道路等の道路種別、各リンクの通行規制情報及び各リンク間の通行規制情報等が含まれている。尚、退出路の退出地点の位置情報は、後述の如く、画像処理装置１６の破線の検出結果（破線認識結果）に基づいて補正されてもよいし、新たに生成されて地図データベースに事後的に格納されてもよい。この目的のため、地図データベースはハードディスクのような書き込み可能な記録媒体により構成されるのが好ましい。   In the map database 22, the map data includes the coordinate information of each node corresponding to the junction / branch point of the toll road (exit point of the exit road with respect to the main road), as well as normal road information, Link information, road width information corresponding to each link, lane information for each link (number of lanes, type of lane such as whether there is a climbing lane, etc.), national roads / prefectural roads corresponding to each link The road type such as an expressway, the traffic regulation information of each link, the traffic regulation information between the links, and the like are included. As will be described later, the position information of the exit point of the exit path may be corrected based on the detection result (dashed line recognition result) of the broken line of the image processing device 16, or may be newly generated and added to the map database. May be stored. For this purpose, the map database is preferably composed of a writable recording medium such as a hard disk.

ナビゲーションＥＣＵ２０は、自車位置検出手段２８を備えている。自車位置検出手段２８は、ＧＰＳ（Global Positioning System）受信機、ビーコン受信機及びＦＭ多重受信機や、車速センサやジャイロセンサ等の各種センサを含む。自車位置は、ＧＰＳ受信機によりＧＰＳアンテナを介してＧＰＳ衛星が出力するＧＰＳ信号に基づいて測位・演算される。測位方法は、単独測位や相対測位（干渉測位を含む。）等の如何なる方法であってもよいが、好ましくは精度の高い相対測位が用いられる。この際、自車位置は、車速センサやジャイロセンサ等の各種センサの出力や、ビーコン受信機及びＦＭ多重受信機を介して受信される各種情報に基づいて補正されてよい。また、自車位置は、公知のマップマッチング技術により、不定期的に、地図データベース２２内の地図データを用いて適宜補正されてよい。
また、ナビゲーションＥＣＵ２０には、画像処理装置１６が接続されている。この画像処理装置１６には、バックカメラ１２が接続される。バックカメラ１２は、車両後方の風景を下向きに撮像するように搭載され、例えば車両の背面のバックドアパネルに下向きに固定される。尚、バックカメラ１２は、後述する破線認識のためのみならず、他の用途、例えば駐車時の後方視界を支援するために利用されてもよい。 The navigation ECU 20 includes a vehicle position detection means 28. The own vehicle position detection means 28 includes a GPS (Global Positioning System) receiver, a beacon receiver, an FM multiplex receiver, and various sensors such as a vehicle speed sensor and a gyro sensor. The own vehicle position is measured and calculated based on a GPS signal output from a GPS satellite via a GPS antenna by a GPS receiver. The positioning method may be any method such as independent positioning or relative positioning (including interference positioning), but preferably relative positioning with high accuracy is used. At this time, the vehicle position may be corrected based on outputs from various sensors such as a vehicle speed sensor and a gyro sensor, and various information received via the beacon receiver and the FM multiplex receiver. Further, the vehicle position may be appropriately corrected using the map data in the map database 22 irregularly by a known map matching technique.
In addition, an image processing device 16 is connected to the navigation ECU 20. A back camera 12 is connected to the image processing device 16. The back camera 12 is mounted so as to capture the scenery behind the vehicle downward, and is fixed downward, for example, on a back door panel on the back of the vehicle. The back camera 12 may be used not only for recognition of a broken line, which will be described later, but also for other purposes, for example, for supporting a rear view during parking.

画像処理装置１６は、ナビゲーションＥＣＵ２０からの破線認識指示に応答して動作し、バックカメラ１２の撮像画像を受信及び処理することにより、本線道路と退出路を区分ける道路上にペイントされた太い破線（図３，図４参照）の存在を認識・検出する。この破線は、２以上の車線数がある本線道路で隣り合う走行車線を区分ける線７０（図３，図４参照）とは、太さと各線分の長さが異なる。以下、破線という用語は、特に言及しない限り、本線道路と退出路を区分ける破線（図３，図４参照）を意味する。この破線は、その長手方向において所定間隔で特徴点を有するので、画像処理装置１６においてパターンマッチング等により例えば線の太さや、破線の長さ、破線間の間隔などの既知の特徴に基づいて検出されてよい。画像処理装置１６による破線の検出結果（破線認識結果）は、ナビゲーションＥＣＵ２０に供給される。   The image processing device 16 operates in response to a broken line recognition instruction from the navigation ECU 20 and receives and processes a captured image of the back camera 12 to thereby paint a thick broken line painted on the road that separates the main road and the exit road. Recognize and detect the presence (see FIGS. 3 and 4). This broken line is different in thickness and length of each line segment from the line 70 (see FIGS. 3 and 4) that separates adjacent traveling lanes on a main road having two or more lanes. Hereinafter, the term “broken line” means a broken line (see FIGS. 3 and 4) that separates the main road and the exit road unless otherwise specified. Since this broken line has feature points at a predetermined interval in the longitudinal direction, it is detected based on known features such as the thickness of the line, the length of the broken line, and the interval between the broken lines by pattern matching in the image processing device 16. May be. A detection result (broken line recognition result) of a broken line by the image processing device 16 is supplied to the navigation ECU 20.

画像処理装置１６は、また、ナビゲーションＥＣＵ２０からのレーン認識指示に応答して動作し、バックカメラ１２の撮像画像を受信及び処理することにより、車両の走行道路における車両両側の道路区画線を検出・認識する。画像処理装置１６によるレーンの検出結果（道路区画線認識結果）は、ナビゲーションＥＣＵ２０に供給される。ナビゲーションＥＣＵ２０は、道路区画線認識結果と地図データベース２２内のレーン情報とに基づいて、車両が複数の走行車線のうちのどの走行車線を走行しているかを検出することができる。   The image processing device 16 also operates in response to a lane recognition instruction from the navigation ECU 20, and receives and processes the captured image of the back camera 12, thereby detecting road lane markings on both sides of the vehicle on the traveling road of the vehicle. recognize. The lane detection result (road lane marking recognition result) by the image processing device 16 is supplied to the navigation ECU 20. The navigation ECU 20 can detect which traveling lane of the plurality of traveling lanes the vehicle is traveling on the basis of the road lane marking recognition result and the lane information in the map database 22.

ナビゲーションＥＣＵ２０には、車両制御ＥＣＵ１０が接続される。ナビゲーションＥＣＵ２０は、有料道路における退出路への車両の退出が検出された場合には、その旨を表す信号（退出検出信号）を車両制御ＥＣＵ１０に供給する。   A vehicle control ECU 10 is connected to the navigation ECU 20. When the exit of the vehicle to the exit road on the toll road is detected, the navigation ECU 20 supplies a signal (exit detection signal) indicating that to the vehicle control ECU 10.

車両制御ＥＣＵ１０は、退出検出信号を受信すると、退出路を車両が適切に走行できるように、必要に応じて各種制御対象デバイスに各種制御指示を出して退出路制御を行う。   Upon receiving the exit detection signal, the vehicle control ECU 10 performs exit path control by issuing various control instructions to various devices to be controlled as necessary so that the vehicle can appropriately travel on the exit path.

上記の制御対象デバイスは、ブレーキ、エンジンやトランスミッションのような車両の運動を制御する運動制御装置のみならず、インジケータや、ディスプレイ、オーディオのような警報装置として機能できる装置を含む。   The device to be controlled includes not only a motion control device that controls the motion of the vehicle such as a brake, an engine or a transmission, but also a device that can function as an alarm device such as an indicator, a display, or an audio.

車両制御ＥＣＵ１０には、ＣＡＮ（controller area network）などの適切な通信ネットワークを介して、上記の制御デバイスの他、車両内の各種の電子部品（車速センサのような各種センサや各種ＥＣＵ）が接続される。   In addition to the control device described above, various electronic components in the vehicle (various sensors such as a vehicle speed sensor and various ECUs) are connected to the vehicle control ECU 10 via an appropriate communication network such as a CAN (controller area network). Is done.

車両制御ＥＣＵ１０は、これら各種の電子部品との通信を介して、退出路制御の実行に必要な各種情報を取得する。例えば、運転操作情報を提供する各種電子部品として、例えばアクセルペダルの操作態様を検出するアクセル開度センサ（アクセルポジションセンサ）、シフトの操作位置を検出するシフトポジションセンサ、ブレーキペダルの操作態様を検出するブレーキストロークセンサ（ブレーキ踏力センサ、マスタシリンダ圧センサ）、及び、ステアリングハンドルの操作態様を検出するステアリングセンサ等がある。また、走行状態情報を提供する各種電子部品として、車速を検出する車輪速センサ、加速度センサ、ヨーレートセンサ等がある。   The vehicle control ECU 10 acquires various information necessary for executing the exit path control through communication with these various electronic components. For example, as various electronic components that provide driving operation information, for example, an accelerator opening sensor (accelerator position sensor) that detects an operation mode of an accelerator pedal, a shift position sensor that detects a shift operation position, and an operation mode of a brake pedal are detected. There are a brake stroke sensor (brake pedal force sensor, master cylinder pressure sensor) and a steering sensor for detecting an operation mode of the steering wheel. Examples of various electronic components that provide running state information include wheel speed sensors that detect vehicle speed, acceleration sensors, and yaw rate sensors.

退出路制御は、退出路を車両が適切に走行できるように行う減速支援であるが、同趣旨の警報出力を含んでもよい。例えば、退出路制御は、車両の減速能力が通常時に比べて高くなるように、エンジン、トランスミッションなどの制御態様（エンジンブレーキ領域や変速比）を変更するものであってよい。或いは、退出路制御は、車両の現在の走行状態（車速等）に基づいて必要に応じてエンジン、トランスミッション、ブレーキを制御して（例えば、スロットル開度を強制的に小さくしたり、強制的にシフトダウンをしたり、ブレーキアクチュエータによりホイールシリンダ圧を強制的に高めたりする制御を行って）、車両の減速を強制的に実現するものであってもよい。また、警報装置による警報の出力態様は、減速を促すような態様で、音響的、視覚的、触覚的（例えば振動発生）を含む如何なる態様で実施されてもよい。尚、退出路制御は、退出路の区間長や形状等に応じて制御態様（例えば減速能力）が可変とされてもよい。   The exit route control is deceleration support performed so that the vehicle can appropriately travel on the exit route, but may include an alarm output having the same meaning. For example, the exit path control may change the control mode (engine brake region and gear ratio) of the engine, the transmission, etc. so that the deceleration capability of the vehicle is higher than normal. Alternatively, the exit path control is performed by controlling the engine, transmission, and brake as necessary based on the current running state (vehicle speed, etc.) of the vehicle (for example, forcibly reducing the throttle opening, For example, the vehicle may be forcibly decelerated by shifting down or by forcibly increasing the wheel cylinder pressure with a brake actuator). Further, the alarm output mode by the alarm device may be implemented in any mode including acoustic, visual, and tactile (for example, vibration generation) in a mode that promotes deceleration. In the exit path control, the control mode (for example, deceleration capability) may be variable in accordance with the section length or shape of the exit path.

次に、図２以降を参照して、ナビゲーションＥＣＵ２０により実現される退出検出方法について説明する。   Next, the exit detection method realized by the navigation ECU 20 will be described with reference to FIG.

図２は、ナビゲーションＥＣＵ２０により実行される退出検出処理の主要部を示すフローチャートである。図２に示す処理ルーチンは、例えば地図データベース２２内の地図データ（退出路位置情報）と自車位置検出手段２８により得られる自車位置情報とに基づいて、車両前方に退出路が検出された場合に、起動されてよい。尚、ナビゲーションＥＣＵ２０は、図２に示す処理ルーチンを起動する際に、画像処理装置１６に対してレーン認識指示及び破線認識指示を出力する。画像処理装置１６からの認識結果は、随時、ナビゲーションＥＣＵ２０に供給される。   FIG. 2 is a flowchart showing a main part of the exit detection process executed by the navigation ECU 20. In the processing routine shown in FIG. 2, for example, the exit path is detected in front of the vehicle based on the map data (exit path position information) in the map database 22 and the own vehicle position information obtained by the own vehicle position detecting means 28. In some cases, it may be activated. The navigation ECU 20 outputs a lane recognition instruction and a broken line recognition instruction to the image processing device 16 when starting the processing routine shown in FIG. The recognition result from the image processing device 16 is supplied to the navigation ECU 20 as needed.

図３及び図４は、図２の退出検出方法の説明図であり、図３は、本線道路に登坂車線が存在しない状況を示し、図４は、本線道路に登坂車線が存在する状況を示している。   3 and 4 are explanatory diagrams of the exit detection method of FIG. 2, FIG. 3 shows a situation where no climbing lane exists on the main road, and FIG. 4 shows a situation where an uphill lane exists on the main road. ing.

図２を参照するに、ステップ１００では、ナビゲーションＥＣＵ２０は、前方に検出された退出路の退出パターンが、図４に示すような登坂車線から退出路があるタイプの退出パターンであるか否かを判定する。この退出パターンの判定は、例えば地図データベース２２内の地図データのレーン情報（登坂車線の有無に関する情報）に基づいて実行されてもよい。この場合、ナビゲーションＥＣＵ２０は、レーン情報が登坂車線の存在を示す場合に、図４に示すような登坂車線から退出路があるタイプの退出パターンであると判定してよい。また、地図データのレーン情報として、登坂車線の有無に関する情報が収録されていない場合であって、道路形状を表す情報が収録されている場合には、当該道路形状情報とレーン情報（車線数等）に基づいて、本ステップ１００の退出パターン判定が実現されてもよい。これは、登坂車線から退出路があるタイプの退出パターンと、通常走行車線から退出路があるタイプの退出パターンとでは、図３及び図４に示すように、道路形状が異なることを利用するものである。   Referring to FIG. 2, in step 100, the navigation ECU 20 determines whether or not the exit pattern of the exit path detected ahead is a type of exit pattern having an exit path from the uphill lane as shown in FIG. judge. This determination of the exit pattern may be executed based on, for example, lane information of map data in the map database 22 (information regarding the presence or absence of a climbing lane). In this case, when the lane information indicates the presence of the uphill lane, the navigation ECU 20 may determine that the exit pattern has a type of exit from the uphill lane as shown in FIG. In addition, when the information about the presence or absence of the uphill lane is not recorded as the lane information of the map data and the information indicating the road shape is recorded, the road shape information and the lane information (the number of lanes, etc.) ), The exit pattern determination of this step 100 may be realized. This utilizes the fact that the exit pattern of the type with the exit road from the uphill lane and the exit pattern of the type with the exit path from the normal driving lane have different road shapes as shown in FIGS. 3 and 4. It is.

本ステップ１００において、前方に検出された退出路の退出パターンが、図４に示すような登坂車線から退出路があるタイプの退出パターンであると判定された場合には、ステップ１１０に進み、それ以外の場合、例えば図３に示すような通常走行車線から退出路があるタイプの退出パターンである場合には、ステップ１３０に進む。   If it is determined in this step 100 that the exit pattern of the exit path detected ahead is a type of exit pattern from the uphill lane as shown in FIG. 4, the process proceeds to step 110. In other cases, for example, when the exit pattern is a type of exit path from the normal lane as shown in FIG.

ステップ１１０では、ナビゲーションＥＣＵ２０は、現在走行中の車線（レーン）の種別を判定する。即ち、ナビゲーションＥＣＵ２０は、現在走行中の車線が、登坂車線であるか若しくは通常走行車線（追い越し車線等を含む）であるかを判定する。この走行レーン判定は、画像処理装置１６から得られる道路区画線認識結果に基づいて実現されてよい。例えば、日本のような左車線を走行する国においては、車両の左側の道路区画線が実線であり、且つ、右側の道路区画線が破線である場合、あるいは、車両の両側の道路区画線が破線である場合に、登坂車線を走行中であると判定してよい。また、車両の左側の道路区画線が破線であり、且つ、右側の道路区画線が実線（参照符号７０で図示するような線を含む）である場合には、１つ左側の車線が登坂車線であると判定してよい（即ち、登坂車線の１つ右側の通常走行車線を走行中である判定してよい）。   In step 110, the navigation ECU 20 determines the type of lane (lane) that is currently traveling. That is, the navigation ECU 20 determines whether the currently traveling lane is an uphill lane or a normal traveling lane (including an overtaking lane). This travel lane determination may be realized based on the road lane marking recognition result obtained from the image processing device 16. For example, in a country that travels in a left lane such as Japan, the road marking on the left side of the vehicle is a solid line and the road marking line on the right side is a broken line, or the road markings on both sides of the vehicle are If it is a broken line, it may be determined that the vehicle is traveling on an uphill lane. Further, when the left road lane marking of the vehicle is a broken line and the right road lane marking is a solid line (including a line as illustrated by reference numeral 70), the left lane is an uphill lane. (That is, it may be determined that the vehicle is traveling in the normal lane on the right side of the uphill lane).

ステップ１２０では、ナビゲーションＥＣＵ２０は、上記のステップ１１０の判定結果と、画像処理装置１６から得られる破線認識結果とに基づいて、現在登坂車線走行中であり、且つ、車両が破線を跨いだか否かを判定する。後者について、具体的には、ナビゲーションＥＣＵ２０は、画像処理装置１６からバックカメラ１２の画像内に破線が認識されたことを表す破線認識結果が得られた場合に、車両が当該破線を跨いだと判定する。これにより、図４に示すような状況で、車両が車両位置Ｃから車両位置Ｄへと移動した場合（路肩側の通常走行車線から退出路に入った場合）には、その際に車両が破線を跨ぐことになるので、本ステップ１２０において車両が破線を跨いだと判定されることになる。   In step 120, the navigation ECU 20 determines whether or not the vehicle is currently traveling on an uphill lane and the vehicle straddles the broken line based on the determination result in step 110 and the broken line recognition result obtained from the image processing device 16. Determine. Regarding the latter, specifically, when the navigation ECU 20 obtains a broken line recognition result indicating that a broken line has been recognized in the image of the back camera 12 from the image processing device 16, the vehicle has straddled the broken line. judge. Thus, in the situation shown in FIG. 4, when the vehicle moves from the vehicle position C to the vehicle position D (when entering the exit road from the normal travel lane on the shoulder side), the vehicle is broken at that time. Therefore, it is determined in step 120 that the vehicle has crossed the broken line.

本ステップ１２０において、上記の２つの条件の何れも満たされた場合には、ステップ１４０に進み、何れか一方若しくは双方が満たされない場合には、ステップ１３０に進む。   In step 120, if both of the above two conditions are satisfied, the process proceeds to step 140, and if either one or both are not satisfied, the process proceeds to step 130.

ステップ１３０では、ナビゲーションＥＣＵ２０は、退出検出処理の終了条件を判定する。例えば、ナビゲーションＥＣＵ２０は、地図データベース２２内の地図データ（退出路位置情報）と自車位置検出手段２８により得られる自車位置情報とに基づいて、車両が退出路から退出できないような位置に至った（退出路の入口を通り過ぎた）と判断される場合に、退出検出処理の終了条件が満たされたと判断する。退出検出処理の終了条件が満たされた場合には、今回検出された退出路に対する退出検出処理が終了される。一方、退出検出処理の終了条件が満たされていない場合には、ステップ１００に戻る。尚、この場合のステップ１００の判定は、前回の判定結果がそのまま利用されてよい。   In step 130, the navigation ECU 20 determines an end condition for the exit detection process. For example, the navigation ECU 20 reaches a position where the vehicle cannot exit from the exit path based on the map data (exit path position information) in the map database 22 and the own vehicle position information obtained by the own vehicle position detection means 28. When it is determined that the vehicle has passed the entrance of the exit path, it is determined that the exit detection process end condition is satisfied. If the exit detection process end condition is satisfied, the exit detection process for the exit path detected this time is terminated. On the other hand, if the termination condition for the exit detection process is not satisfied, the process returns to step 100. In this case, for the determination in step 100, the previous determination result may be used as it is.

ステップ１４０では、ナビゲーションＥＣＵ２０は、車両が退出路上を走行していると判定する（即ち、車両が登坂車線若しくは通常走行車線から退出路に入ったと判断する）。即ち、ナビゲーションＥＣＵ２０は、車両の退出路への退出を検出する。この場合、ナビゲーションＥＣＵ２０は、退出検出信号を車両制御ＥＣＵ１０に供給する。この結果、車両制御ＥＣＵ１０により上述の退出路制御が実行されることになる。   In step 140, the navigation ECU 20 determines that the vehicle is traveling on the exit road (that is, determines that the vehicle has entered the exit path from the uphill lane or the normal travel lane). That is, the navigation ECU 20 detects the exit of the vehicle to the exit path. In this case, the navigation ECU 20 supplies an exit detection signal to the vehicle control ECU 10. As a result, the above-described exit path control is executed by the vehicle control ECU 10.

ステップ１５０では、ナビゲーションＥＣＵ２０は、画像処理装置１６から得られる破線認識結果に基づいて、車両が破線を跨いだか否かを判定する。具体的には、ナビゲーションＥＣＵ２０は、画像処理装置１６からバックカメラ１２の画像内に破線が認識されたことを表す破線認識結果が得られた場合に、車両が当該破線を跨いだと判定する。これにより、図３に示すような状況で、車両が車両位置Ａから車両位置Ｂへと移動した場合（路肩側の通常走行車線から退出路に入った場合）には、その際に車両が破線を跨ぐことになるので、本ステップ１５０において車両が破線を跨いだと判定されることになる。   In step 150, the navigation ECU 20 determines whether or not the vehicle straddles the broken line based on the broken line recognition result obtained from the image processing device 16. Specifically, the navigation ECU 20 determines that the vehicle has crossed the broken line when a broken line recognition result indicating that the broken line is recognized in the image of the back camera 12 is obtained from the image processing device 16. Accordingly, when the vehicle moves from the vehicle position A to the vehicle position B in the situation shown in FIG. 3 (when entering the exit road from the normal travel lane on the shoulder side), the vehicle is broken at that time. Therefore, it is determined in step 150 that the vehicle has crossed the broken line.

本ステップ１５０において、車両が破線を跨いだと判定した場合には、ステップ１４０に進み、ステップ１４０では、車両が退出路上を走行していると判定する。即ち、ナビゲーションＥＣＵ２０は、車両の退出路への退出を検出する。この結果、車両制御ＥＣＵ１０により上述の退出路制御が実行されることになる。車両が破線を跨いでいないと判定した場合には、ステップ１３０に進み、上述の終了条件が判定されることになる。   If it is determined in step 150 that the vehicle has crossed the broken line, the process proceeds to step 140. In step 140, it is determined that the vehicle is traveling on the exit road. That is, the navigation ECU 20 detects the exit of the vehicle to the exit path. As a result, the above-described exit path control is executed by the vehicle control ECU 10. When it is determined that the vehicle does not straddle the broken line, the process proceeds to step 130, and the above-described end condition is determined.

ところで、図４に示すような登坂車線のある本線道路には、通常走行車線と登坂車線との区分ける道路区画線として、本線道路と退出路を区分け破線と同様の特徴を持つ破線８０が存在する。従って、単に車両が破線を跨いだか否かで退出路を検出するような比較構成では、図５に示すように、車両が車両位置Ｅから車両位置Ｆへと移動した場合（通常走行車線から登坂車線に車線変更しただけの場合）にも、通常走行車線と登坂車線との区分ける破線８０が検出されることにより、車両が退出路に入ったと誤判定する虞がある。   By the way, in the main road with the uphill lane as shown in FIG. 4, there is a broken line 80 having the same characteristics as the broken line by dividing the main road and the exit road as a road dividing line that separates the normal driving lane and the uphill lane. To do. Therefore, in the comparative configuration in which the exit path is detected simply by whether the vehicle crosses the broken line, as shown in FIG. 5, when the vehicle moves from the vehicle position E to the vehicle position F (uphill from the normal travel lane). Even when the lane is simply changed to a lane), there is a risk of erroneously determining that the vehicle has entered the exit road by detecting the broken line 80 that separates the normal traveling lane from the uphill lane.

これに対して、本実施例による退出検出処理によれば、図５に示すように、車両が車両位置Ｅから車両位置Ｆへと移動した場合でも、上記のステップ１２０にて登坂車線走行中であるという条件を満たさないが故に否定判定されるので、車両が退出路に入ったと誤判定することが防止される。即ち、本実施例による退出検出処理によれば、図４に示すような道路環境では、車両が登坂車線を走行（図６にて車両位置Ｇのような登坂車線を横切るような走行を含む。）している状態から破線跨ぎが検出された場合に限り、車両が退出路に入ったと判定するので、図５に示すような状況において上述の比較構成で生ずるような誤判定を防止することができる。   On the other hand, according to the exit detection process according to the present embodiment, even when the vehicle moves from the vehicle position E to the vehicle position F as shown in FIG. Since a negative determination is made because the condition that there is a certain condition is not satisfied, erroneous determination that the vehicle has entered the exit path is prevented. That is, according to the exit detection process according to the present embodiment, in the road environment as shown in FIG. 4, the vehicle travels on the uphill lane (including traveling on the uphill lane such as the vehicle position G in FIG. 6). Only when a broken-line straddle is detected from the current state, it is determined that the vehicle has entered the exit path, so that it is possible to prevent erroneous determination that may occur in the above-described comparison configuration in the situation shown in FIG. it can.

以上の通り、本実施例による退出検出処理によれば、退出路付近の本線道路に登坂車線が存在するか否かを考慮することで、単に車両が破線を跨いだか否かで退出路を検出する構成に比べて、退出路を精度良く検出することができる。   As described above, according to the exit detection processing according to the present embodiment, by considering whether or not there is a climbing lane on the main road near the exit road, the exit path is detected simply by whether or not the vehicle crosses the broken line. The exit path can be detected with higher accuracy than the configuration to be performed.

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。   The preferred embodiments of the present invention have been described in detail above. However, the present invention is not limited to the above-described embodiments, and various modifications and substitutions can be made to the above-described embodiments without departing from the scope of the present invention. Can be added.

例えば、上述の実施例は、有料道路における退出路への退出の検出方法に関するものであったが、本発明は、有料道路に限られず、高速道路や自動車専用道路、都市間道路等のような、本線道路と速度差のある道路が接続された如何なる退出路への退出の検出に対しても適用可能である。   For example, the above-described embodiment relates to a method for detecting exit to an exit road on a toll road. However, the present invention is not limited to a toll road, such as an expressway, an automobile-only road, an intercity road, and the like. The present invention can be applied to detection of exit to any exit road in which a main road and a road having a speed difference are connected.

また、上述の実施例では、破線跨ぎ検出に好適なバックカメラ１２の画像を用いているが、左右のドアミラーに下向きにセットされたサイドカメラ等を適切に用いて破線跨ぎ検出を実現することも可能である。   Further, in the above-described embodiment, the image of the back camera 12 suitable for detecting the broken line is used, but the broken line detection may be realized by appropriately using a side camera or the like set downward on the left and right door mirrors. Is possible.

また、上述の実施例では、バックカメラ１２により破線が捕捉された場合に破線跨ぎが検出されているが、より高い精度を実現するために、画像中の破線の長手方向が画像縦方向でない（即ち、実質的に横方向又は斜め横方向である）場合に、破線跨ぎを検出することとしてもよい。或いは、同様の観点から、破線跨ぎ時には車両の向きの変化が伴われることを利用し、舵角センサの出力値やターニングランプの点灯状態を考慮して、破線跨ぎの検出精度を高めることとしてもよい。   Further, in the above-described embodiment, the broken line straddling is detected when the broken line is captured by the back camera 12, but in order to realize higher accuracy, the longitudinal direction of the broken line in the image is not the image vertical direction ( That is, the crossing of the broken line may be detected in the case of the horizontal direction or the oblique horizontal direction. Alternatively, from the same point of view, it is possible to use the fact that a change in the direction of the vehicle is accompanied when crossing the broken line, and to increase the detection accuracy of the broken line in consideration of the output value of the rudder angle sensor and the lighting state of the turning lamp. Good.

また、上述の実施例において、現在車両が走行している車線の種別（通常走行車線、登坂車線の種別）は、地図データベース２２内の地図データ（レーン情報及び幅員情報）と、自車位置検出手段２８により得られる自車位置情報とに基づいて、車両が道路幅方向のどの位置に位置するかを検出することにより、特定されてもよい。また、現在車両が走行している車線は、バックカメラ１２により取得される画像に代えて若しくはそれに加えて、前方監視カメラのような他の撮像手段により取得される画像を用いて認識・特定されてもよい。   Further, in the above-described embodiment, the type of the lane in which the vehicle is currently traveling (the type of the normal traveling lane and the uphill lane) is the map data (lane information and width information) in the map database 22 and the vehicle position detection. Based on the vehicle position information obtained by the means 28, the vehicle may be specified by detecting at which position in the road width direction the vehicle is located. Further, the lane in which the vehicle is currently traveling is recognized and specified by using an image acquired by another imaging means such as a front monitoring camera instead of or in addition to the image acquired by the back camera 12. May be.

また、上述の実施例では、登坂車線の存在する道路環境は、地図データベース２２内の地図データに基づいて検出されているが、例えば登坂車線が前方に存在する場合に設置されている看板を利用し、当該看板に示された情報を画像認識することにより検出されてもよい。   Further, in the above-described embodiment, the road environment where the uphill lane exists is detected based on the map data in the map database 22, but for example, a signboard installed when the uphill lane exists ahead is used. Then, the information shown on the sign may be detected by recognizing the image.

また、上述の実施例において、現在走行中の車線が登坂車線であることは、他の方法により検出されてもよい。例えば、登坂車線の存在する環境下で車両が通常走行車線を走行している状態から上述と同様の破線跨ぎが検出された場合に（例えば、図６に示すように、通常走行車線から車両位置Ｇに至った場合に）、現在走行中の車線が登坂車線に変化した（現在登坂車線走行中である）と判定することとしてもよい。   In the above-described embodiment, it may be detected by another method that the currently running lane is an uphill lane. For example, when the same broken line straddle as described above is detected from the state where the vehicle is traveling in the normal traveling lane in an environment where the uphill lane exists (for example, as shown in FIG. 6, the vehicle position from the normal traveling lane When the vehicle reaches G), it may be determined that the currently traveling lane has changed to an uphill lane (currently on an uphill lane).

また、上述の実施例では、ナビゲーションＥＣＵ２０と車両制御ＥＣＵ１０は、互いに異なるＥＣＵとして構成されているが、１つのＥＣＵに統合されてもよいし、また、何れか一方の機能の一部が他方により実現されてもよい。また、ナビゲーションＥＣＵ２０に画像処理装置１６の機能が組み込まれてもよい。   In the above-described embodiment, the navigation ECU 20 and the vehicle control ECU 10 are configured as different ECUs. However, the navigation ECU 20 and the vehicle control ECU 10 may be integrated into one ECU. It may be realized. Further, the function of the image processing device 16 may be incorporated in the navigation ECU 20.

本発明による退出検出装置の一実施例を含む退出路制御システムのシステム構成図である。1 is a system configuration diagram of an exit route control system including an embodiment of an exit detection device according to the present invention. FIG. ナビゲーションＥＣＵ２０により実行される退出検出処理の主要部を示すフローチャートである。It is a flowchart which shows the principal part of the exit detection process performed by navigation ECU20. 本線道路に登坂車線が存在しない状況下での退出検出方法の説明図である。It is explanatory drawing of the exit detection method in the condition where an uphill lane does not exist on a main road. 本線道路に登坂車線が存在する状況下での退出検出方法の説明図である。It is explanatory drawing of the exit detection method in the condition where an uphill lane exists on a main road. 図４と同様の道路環境において、車両の進路が図４とは異なる状況を示す図である。FIG. 5 is a diagram showing a situation where the course of a vehicle is different from that in FIG. 図４と同様の道路環境において、車両の退出路への進入態様が図４とは異なる状況を示す図である。FIG. 5 is a diagram showing a situation in which the approach mode of the vehicle to the exit road is different from that in FIG. 4 in the same road environment as in FIG. 4.

符号の説明Explanation of symbols

１０ 車両制御ＥＣＵ
１２ バックカメラ
１６ 画像処理装置
２０ ナビゲーションＥＣＵ
２２ 地図データベース
２４ 表示装置
２６ 操作入力部
２８ 自車位置検出手段 10 Vehicle control ECU
12 Back camera 16 Image processing device 20 Navigation ECU
22 map database 24 display device 26 operation input unit 28 vehicle position detection means

Claims (3)

車両の本線道路から退出路への退出を検出する退出検出装置において、
車両に搭載され、車両周辺の道路区画線を検出する道路区画線検出手段と、
前記道路区画線検出手段の検出結果に基づいて、車両が本線道路の登坂車線を走行している状態を検出する登坂車線走行状態検出手段とを備え、
前記道路区画線検出手段及び前記登坂車線走行状態検出手段の検出結果に基づいて、車両が本線道路の登坂車線を走行している状態から、本線道路と退出路を区分ける破線を跨いだと判定した場合に、前記車両の退出路への退出を検出することを特徴とする、退出検出装置。 In the exit detection device that detects the exit of the vehicle from the main road to the exit road,
Mounted on a vehicle, the road-ku streak detection means for detecting a road-ku streaking around the vehicle,
Based on the detection result of the road lane marking detection means, comprising a climbing lane traveling state detection means for detecting a state in which the vehicle is traveling on the uphill lane of the main road,
Based on the detection result of the road-ku picture ray detecting means and the climbing lane running state detecting means, from a state in which the vehicle is traveling on an uphill lane main road, and straddles the dashed Ru partition the exit road and the main road An exit detection device that detects exit of the vehicle to the exit path when it is determined. 前記登坂車線走行状態検出手段は、前記道路区画線検出手段の検出結果に基づいて、車両の左側の道路区画線が実線であり、且つ、右側の道路区画線が破線である場合、あるいは、車両の両側の道路区画線が破線である場合に、前記車両が登坂車線を走行している状態を検出する、請求項１に記載の退出検出装置。The uphill lane running state detection means is based on the detection result of the road lane marking detection means, when the left road lane marking of the vehicle is a solid line and the right road lane marking is a broken line, or the vehicle The exit detection device according to claim 1, wherein a state in which the vehicle is traveling on an uphill lane is detected when road marking lines on both sides of the vehicle are broken lines. 前記道路区画線検出手段は、車体後部に取り付けられ車両後方の路面を撮像するバックカメラを含む、請求項１〜２のうちの何れか１項に記載の退出検出装置。 The road ku picture ray detecting means comprises a back camera for imaging the rear of the vehicle of a road surface attached to the vehicle body rear portion, exit detecting apparatus according to any one of claims 1-2.
JP2006324143A 2006-11-30 2006-11-30 Exit detection device Expired - Fee Related JP4891745B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006324143A JP4891745B2 (en) 2006-11-30 2006-11-30 Exit detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006324143A JP4891745B2 (en) 2006-11-30 2006-11-30 Exit detection device

Publications (2)

Publication Number Publication Date
JP2008139104A JP2008139104A (en) 2008-06-19
JP4891745B2 true JP4891745B2 (en) 2012-03-07

Family

ID=39600739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006324143A Expired - Fee Related JP4891745B2 (en) 2006-11-30 2006-11-30 Exit detection device

Country Status (1)

Country Link
JP (1) JP4891745B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103954293B (en) * 2012-05-30 2016-10-05 常州市新科汽车电子有限公司 The method of work of navigator

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102227609B (en) 2008-11-28 2014-06-18 三菱电机株式会社 Navigation device
JP5202741B2 (en) * 2012-01-04 2013-06-05 富士重工業株式会社 Branch entry judgment device
CN103954292B (en) * 2012-05-30 2017-02-22 常州市新科汽车电子有限公司 Navigator-based method for matching main road and side road of road according to traffic lane line
CN104296761B (en) * 2012-05-30 2017-04-19 常州市新科汽车电子有限公司 Method for matching main and side roads by navigator with high real-time performance
CN104316069A (en) * 2012-06-26 2015-01-28 上海安悦四维信息技术有限公司 Vehicle-mounted navigation device and navigation method for recognizing main road and auxiliary road
US9470537B2 (en) * 2014-10-22 2016-10-18 Volkswagen Ag Accurate position determination near exit lanes

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3227247B2 (en) * 1993-01-27 2001-11-12 マツダ株式会社 Roadway detection device
JP2746168B2 (en) * 1995-01-27 1998-04-28 住友電気工業株式会社 Route guidance device
JP3858313B2 (en) * 1996-11-07 2006-12-13 株式会社エクォス・リサーチ Vehicle control device
JPH10329576A (en) * 1997-06-04 1998-12-15 Toyota Motor Corp Traveling control device of vehicle
JPH1137776A (en) * 1997-07-24 1999-02-12 Denso Corp Navigation apparatus for vehicle
JP3412553B2 (en) * 1999-04-09 2003-06-03 株式会社デンソー Automatic driving control device
JP4055650B2 (en) * 2003-05-16 2008-03-05 株式会社デンソー Branch approach estimation device, vehicle speed control device, and program
JP2005182407A (en) * 2003-12-18 2005-07-07 Nissan Motor Co Ltd Traffic lane deviation prevention device
JP4720383B2 (en) * 2005-09-01 2011-07-13 トヨタ自動車株式会社 Vehicle control device
JP4816104B2 (en) * 2006-01-26 2011-11-16 トヨタ自動車株式会社 Vehicle position determination device and vehicle driving force control device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103954293B (en) * 2012-05-30 2016-10-05 常州市新科汽车电子有限公司 The method of work of navigator

Also Published As

Publication number Publication date
JP2008139104A (en) 2008-06-19

Similar Documents

Publication Publication Date Title
JP4720383B2 (en) Vehicle control device
JP6036371B2 (en) Vehicle driving support system and driving support method
US7930096B2 (en) Navigation systems, methods, and programs
US9070293B2 (en) Device and method for traffic sign recognition
EP2065679B1 (en) Navigation device, navigation method and navigation program
US8886364B2 (en) Method and apparatus for determining traveling condition of vehicle
US20100315217A1 (en) Driving support device and program
US20100169013A1 (en) Vehicle positioning device
EP2017774A2 (en) Vehicle behavior learning apparatus and vehicle behavior learning program
JP7047824B2 (en) Vehicle control unit
WO2010035781A1 (en) Lane determining device and navigation system
US20100262327A1 (en) Driving support systems, methods, and programs
JP4891745B2 (en) Exit detection device
WO2007132860A1 (en) Object recognition device
JP4055650B2 (en) Branch approach estimation device, vehicle speed control device, and program
JP7163614B2 (en) DRIVER ASSISTANCE DEVICE, PROGRAM, AND CONTROL METHOD
JP2009255639A (en) Automatic lighting device for vehicle
GB2488015A (en) Vehicle navigation system including a camera for determining a lane of travel
JPWO2020003452A1 (en) Driving support method and driving support device
JP2006277548A (en) Vehicular controller
JP2019209763A (en) Control device for vehicle
JP2022041244A (en) On-vehicle display device, method, and program
JP6650635B2 (en) Determination apparatus, determination method, and determination program
JP2006306164A (en) Running control device of vehicle
JP2006224904A (en) Vehicle control device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111206

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111216

R151 Written notification of patent or utility model registration

Ref document number: 4891745

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141222

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees