JP5402983B2 - Vehicular road shape recognition method and apparatus, and recording medium - Google Patents
Vehicular road shape recognition method and apparatus, and recording medium Download PDFInfo
- Publication number
- JP5402983B2 JP5402983B2 JP2011110222A JP2011110222A JP5402983B2 JP 5402983 B2 JP5402983 B2 JP 5402983B2 JP 2011110222 A JP2011110222 A JP 2011110222A JP 2011110222 A JP2011110222 A JP 2011110222A JP 5402983 B2 JP5402983 B2 JP 5402983B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- data
- recognition
- road
- preceding vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 20
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 6
- 238000012217 deletion Methods 0.000 claims description 5
- 230000037430 deletion Effects 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000013075 data extraction Methods 0.000 claims description 2
- 230000001678 irradiating effect Effects 0.000 claims 2
- 230000007717 exclusion Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 239000000470 constituent Substances 0.000 description 6
- 238000005259 measurement Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Description
本発明は、車両用道路形状認識方法及び装置、記録媒体に関する。 The present invention relates to a vehicle road shape recognition method and apparatus, and a recording medium.
従来より、制御対象物を判断するため、センサが検出した前方物標の位置(距離、横位置)と操舵角やヨーレートに基づいて得た自車の旋回状態と自車速とに基づいて、自車走行路のカーブ半径からその走行路上に認識物標が存在する確率である自車線確率瞬時値を算出する方法が知られている。そして、補正された自車線確率瞬時値を用いて所定のフィルタ処理などを施して自車線確率を算出し、その自車線確率に基づいて先行車を選択する。 Conventionally, in order to determine the object to be controlled, based on the position (distance, lateral position) of the forward target detected by the sensor, the turning state of the own vehicle obtained based on the steering angle and the yaw rate, and the own vehicle speed. There is known a method of calculating an own lane probability instantaneous value that is a probability that a recognition target exists on a travel path from a curve radius of the vehicle travel path. Then, a predetermined filter process is performed using the corrected instantaneous value of the own lane probability to calculate the own lane probability, and a preceding vehicle is selected based on the own lane probability.
しかしながら、実際の制御対象物が走行している道路形状と自車の旋回状態とはずれがある。そこで、例えば特許文献1では、道路形状を認識することにより、自車の旋回状態のカーブ半径Rを補正し、その道路形状に基づいて自車線確率瞬時値を補正し、補正された自車線確率瞬時値を用いて、所定のフィルタ処理などを施して自車線確率を算出しその自車線確率に基づいて先行車を選択することを実施している。
However, there is a difference between the shape of the road on which the actual control object is traveling and the turning state of the host vehicle. Therefore, in
また、特許文献1では、道路形状認識の際に、物体が移動物体か停止物体であるかを判定し、停止物体を結ぶことによって停止物体のグルーピングを行うことにより、道路端を認識している。
In
しかしながら、上記従来の技術では、路側物でない停止物体をグルーピングに使用している場合やグループ化する基点が正しくない場合があり、路側物群のグループピングを精度良くできない場合がある。その結果、道路端をより正確に頻度良く算出できず、ひいてはより正確な道路形状を認識できない可能性がある。 However, in the above-described conventional technique, there are cases where a stationary object that is not a roadside object is used for grouping, or a grouping base point is not correct, and grouping of roadside object groups may not be accurate. As a result, the road edge cannot be calculated more accurately and frequently, and as a result, a more accurate road shape may not be recognized.
本発明は上記点に鑑み、より正確な道路形状を頻度良く算出することができる車両用道路形状認識方法及び装置、記録媒体を提供することを目的とする。 In view of the above points, an object of the present invention is to provide a vehicular road shape recognition method and apparatus, and a recording medium that can calculate a more accurate road shape frequently.
上記目的を達成するため、請求項1に記載の発明では、車幅方向の所定角度範囲内に渡り送信波を照射し、その反射波に基づいて車両周囲の道路形状を認識するにあたり、次のように認識を行う。つまり、反射波に基づいて、少なくとも物体までの距離を含む物体単位データを車幅方向角度に対応して取得すると共に、反射波に基づいて得た物体の相対速度及び自車速に基づいて移動物体か停止物体という認識種別を判定する。そして、この認識種別の判定結果に基づいて、道路形状を認識するために有効な物体単位データを抽出する。ここで、自車と先行車との間における自車の走行路上および先行車と先々行車との間における先行車の走行路上のいずれかに停止物体が存在する場合、抽出した物体単位データの中から走行路上の停止物体に該当するデータを削除する。この後、この物体単位データを用い、左角度方向から右角度方向及び右角度方向から左角度方向の両方向についてそれぞれ、接続条件として距離が単調増加であるデータ同士をグルーピングして路側物群のデータを形成し、その形成された路側物群のデータに基づき道路端を認識する。 In order to achieve the above object, according to the first aspect of the present invention, when transmitting a transmission wave over a predetermined angle range in the vehicle width direction and recognizing the road shape around the vehicle based on the reflected wave, To recognize. That is, based on the reflected wave, object unit data including at least the distance to the object is acquired corresponding to the vehicle width direction angle, and the moving object is obtained based on the relative speed of the object obtained based on the reflected wave and the own vehicle speed. Or the recognition type of stop object. Then, based on the determination result of the recognition type, object unit data effective for recognizing the road shape is extracted. Here, if there is a stop object on the traveling path of the own vehicle between the own vehicle and the preceding vehicle and on the traveling path of the preceding vehicle between the preceding vehicle and the preceding vehicle, the extracted object unit data The data corresponding to the stopped object on the travel path is deleted. After that, using this object unit data, the data of the roadside group is obtained by grouping the data whose distance is monotonously increasing as the connection condition in both the left angle direction to the right angle direction and the right angle direction to the left angle direction. And the road edge is recognized based on the data of the formed roadside object group.
このように、自車や先行車の走行路上に位置する停止物体を物体単位データから除外することにより、データをグルーピングしたときの路側物群を実際の道路形状により近づけることができる。このため、道路端の認識の精度が向上するので、より正確な道路形状を頻度良く算出することができる。 In this way, by removing the stop object located on the traveling road of the own vehicle or the preceding vehicle from the object unit data, the roadside object group when the data is grouped can be made closer to the actual road shape. For this reason, since the accuracy of recognition of the road edge is improved, a more accurate road shape can be calculated frequently.
請求項2に記載の発明では、請求項1に示した車両用道路形状認識方法を実現するための装置としての一例であり、この車両用道路形状認識装置においても、自車と先行車との間における自車の走行路上および先行車と先々行車との間における先行車の走行路上のいずれかに停止物体が存在する場合、抽出した物体単位データの中から走行路上の停止物体に該当するデータを削除することを特徴としている。これにより、請求項1と同様に、より正確な道路形状を頻度良く算出することができる。
The invention according to claim 2 is an example of an apparatus for realizing the vehicular road shape recognition method according to
そして、請求項3に記載の発明のように、車両用道路形状認識装置の認識手段をコンピュータシステムにて実現する機能は、例えば、コンピュータシステム側で起動するプログラムとして備えることができる。このようなプログラムの場合、例えば、光磁気ディスク、CD−ROM、ハードディスク、フラッシュメモリ等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータシステムにロードして起動することにより用いることができる。この他、ROMやバックアップRAMをコンピュータ読み取り可能な記録媒体として前記プログラムを記録しておき、このROMあるいはバックアップRAMをコンピュータシステムに組み込んで用いても良い。 Further, as in the invention described in claim 3, the function of realizing the recognition means of the vehicle road shape recognition apparatus by the computer system can be provided as a program that is activated on the computer system side, for example. In the case of such a program, for example, it is recorded on a computer-readable recording medium such as a magneto-optical disk, a CD-ROM, a hard disk, a flash memory, etc., and is used by being loaded into a computer system and started as required. it can. In addition, the ROM or backup RAM may be recorded as a computer-readable recording medium, and the ROM or backup RAM may be incorporated into a computer system and used.
なお、この欄および特許請求の範囲で記載した各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。 In addition, the code | symbol in the bracket | parenthesis of each means described in this column and the claim shows the correspondence with the specific means as described in embodiment mentioned later.
次に、本発明が適用された車両制御装置1について、図面と共に説明する。この車両制御装置1は、自動車に搭載され、警報すべき領域に障害物が所定の状況で存在する場合に警報を出力したり、前車(先行車両)に合わせて車速を制御したりする装置である。
Next, a
図1は、そのシステムブロック図である。車両制御装置1はコンピュータ3を中心に構成されている。コンピュータ3はマイクロコンピュータを主な構成として入出力インターフェース(I/O)および各種の駆動回路や検出回路を備えている。これらのハード構成は一般的なものであるので詳細な説明は省略する。
FIG. 1 is a block diagram of the system. The
コンピュータ3は、車両用障害物検出装置としての距離・角度測定器5、車速センサ7、ブレーキスイッチ9、スロットル開度センサ11から各々所定の検出データを入力している。またコンピュータ3は、警報音発生器13、距離表示器15、センサ異常表示器17、ブレーキ駆動器19、スロットル駆動器21および自動変速機制御器23に所定の駆動信号を出力している。
The computer 3 inputs predetermined detection data from a distance / angle measuring device 5, a vehicle speed sensor 7, a
更にコンピュータ3は、警報音量を設定する警報音量設定器24、後述の警報判定処理における感度を設定する警報感度設定器25、クルーズコントロールスイッチ26、図示しないステアリングホイールの操作量を検出するステアリングセンサ27及びヨーレートセンサ28を備えている。またコンピュータ3は、電源スイッチ29を備え、その「オン」により、所定の処理を開始する。
The computer 3 further includes an alarm
ここで、距離・角度測定器5は、送受信部5aおよび距離・角度演算部5bを備え、送受信部5aからは所定の光軸(中心軸)を中心にして車両前方へレーザ光を車幅方向の所定角度の範囲で不連続に掃引照射(スキャン)して出力し、かつ反射光を検出すると共に、距離・角度演算部5bにて反射光を捉えるまでの時間に基づき、前方の物体までの距離rを検出する装置である。なお、レーザ光を用いるものの他に、ミリ波等の電波や超音波等を用いるものであってもよいし、走査方法についても、送信部をスキャンさせるものに限られるものではなく、例えば受信部をスキャンするものであってもよい。
Here, the distance / angle measuring device 5 includes a transmission /
コンピュータ3は、このように構成されていることにより、障害物が所定の警報領域に所定時間存在した場合等に警報する警報判定処理を実施している。障害物としては、自車の前方を走行する前車やまたは停止している前車あるいは路側にある物体(ガードレールや支柱物体等)等が該当する。また、コンピュータ3は、ブレーキ駆動器19、スロットル駆動器21および自動変速機制御器23に駆動信号を出力することにより、前車の状況に合わせて車速を制御する、いわゆる車間制御も同時に実施している。
With this configuration, the computer 3 performs an alarm determination process for alarming when an obstacle exists in a predetermined alarm area for a predetermined time. Examples of the obstacle include a front vehicle traveling in front of the host vehicle, a front vehicle that is stopped, or an object on the roadside (a guard rail, a pillar object, or the like). The computer 3 also performs so-called inter-vehicle control, which controls the vehicle speed according to the situation of the preceding vehicle by outputting drive signals to the
続いてコンピュータ3の内部構成について制御ブロックとして説明する。距離・角度測定器5の距離・角度演算部5bから出力された距離rとスキャン角度θとのデータは、データのグルーピングブロック41に送られ、レーザレーダ中心を原点(0,0)とし、車幅方向をX軸、車両前方方向をZ軸とするXZ直交座標に変換された後、その変換後のデータをグルーピングしてセグメントを形成する。このセグメント化の様子は後述する。なお、データのグルーピングブロック41にてセグメント化された物体単位のデータは、物体認識ブロック43及び道路形状認識ブロック45へ出力される。
Next, the internal configuration of the computer 3 will be described as a control block. The data of the distance r and the scan angle θ output from the distance /
物体認識ブロック43では、上記データのグルーピングブロック41から出力された上記物体の中心位置の時間的変化に基づいて、自車位置を基準とする前車等の障害物の相対速度(Vx,Vz)が求められる。さらに物体認識ブロック43では、車速センサ7の検出値に基づいて車速演算ブロック47から出力される車速(自車速)Vと上記求められた相対速度(Vx,Vz)とから物体が停止物体であるか移動物体であるかの認識種別が求められ、この認識種別と物体の中心位置とに基づいて自車両の走行に影響する物体が選択され、その距離が距離表示器15により表示される。なお、物体の大きさを示す(W,D)は、それぞれ(横幅,奥行き)である。
In the
この物体認識ブロック43にて求めたデータが異常な範囲の値かどうかがセンサ異常検出ブロック44にて検出され、異常な範囲の値である場合には、センサ異常表示器17にその旨の表示がなされる。一方、道路形状認識ブロック45では、グルーピングブロック41から出力された上記物体の中心位置のデータと、物体認識ブロック43にて求めたデータとに基づいて道路形状の認識を行う。この道路形状の認識処理の詳細は後述する。なお、道路形状認識ブロック45にて得られたデータは先行車判定ブロック53へ出力される。
Whether or not the data obtained in the
また、ステアリングセンサ27からの信号に基づいて操舵角演算ブロック49にて操舵角が求められ、ヨーレートセンサ28からの信号に基づいてヨーレート演算ブロック51にてヨーレートが演算される。カーブ半径(曲率半径)算出ブロック63では、車速演算ブロック47からの車速と操舵角演算ブロック49からの操舵角とヨーレート演算ブロック51からのヨーレートとに基づいて、カーブ半径(曲率半径)Rを算出する。先行車判定ブロック53では、このカーブ半径Rおよび物体認識ブロック43にて求められた認識種別、中心位置座標(X,Z)、物体の大きさ(W,D)、相対速度(Vx,Vz)及び道路形状認識ブロック45にて得られた道路形状データに基づいて先行車を選択し、その先行車に対する距離Zおよび相対速度Vzを求める。
Further, the steering angle is calculated by the steering
そして、車間制御部及び警報判定部ブロック55が、この先行車との距離Z、相対速度Vz、自車速Vn、先行車加速度、物体中心位置、物体幅、認識種別、クルーズコントロールスイッチ26の設定状態およびブレーキスイッチ9の踏み込み状態、スロットル開度センサ11からの開度および警報感度設定器25による感度設定値に基づいて、警報判定ならば警報するか否かを判定し、クルーズ判定ならば車速制御の内容を決定する。その結果、警報が必要ならば、警報発生信号を警報音発生器13に出力する。また、クルーズ判定ならば、自動変速機制御器23、ブレーキ駆動器19およびスロットル駆動器21に制御信号を出力して、必要な制御を実施する。そして、これらの制御実行時には、距離表示器15に対して必要な表示信号を出力して、状況をドライバーに告知している。
Then, the inter-vehicle distance control unit and the alarm
次に、以上のように構成される車両制御装置1において実行される道路形状の認識にかかる動作について、図2のフローチャートに従って説明する。図2の最初のステップであるS1000では、距離・角度計測データの読み込みを行う。この処理は距離・角度測定器5にて実行されるのであるが、1スキャン分の距離・角度計測データを取り込む。このスキャン周期は100msecとし、100msec毎にデータを取り込むこととする。
Next, the operation | movement concerning recognition of the road shape performed in the
続くS2000では、データ(物体単位データ)のセグメント化を行う。このセグメント化はデータのグルーピングブロック41にて実行されるのであるが、上述したように、距離・角度計測データを極座標系からXZ直交座標系に変換し、その変換後のデータをグルーピングしてセグメントを形成する。
In subsequent S2000, data (object unit data) is segmented. This segmentation is executed by the
この様子を図3(a)に示す。本実施形態では、点認識されたデータ同士のX軸方向の距離△Xが0.2m以下、Z軸方向の距離△Zが2m以下という2条件を共に満たす場合に、その点集合を一体化してセグメントデータを求める。このセグメントデータは、一体化された点集合を含むような大きさに設定された、X軸及びZ軸に平行な2辺を持つ長方形の領域であり、中心座標(X,Z)と大きさを示すための2辺のデータ(W,D)をデータ内容とする。なお、この領域の左右両端の座標もデータとして持っておく。 This is shown in FIG. In the present embodiment, when the two conditions that the distance ΔX in the X-axis direction between the point-recognized data is 0.2 m or less and the distance ΔZ in the Z-axis direction are 2 m or less are satisfied, the point set is integrated. Segment data. This segment data is a rectangular area having two sides parallel to the X-axis and the Z-axis, which is set to a size including an integrated point set, and has the size of the center coordinate (X, Z). Data of two sides (W, D) for indicating Note that the coordinates of the left and right ends of this area are also stored as data.
続くS3000では物体認識を行う。この物体認識は物体認識ブロック43で実行され、その内容は上述した通りである。先行車および先々行車は移動物体であると共にこの物体認識によって識別される。
In subsequent S3000, object recognition is performed. This object recognition is executed by the
続いて、S3100では停止物体削除処理を行う。自車−先行車間における自車の走行路上や、先行車−先々行車間における先行車の走行路上に存在する停止物体は路面の反射物や、看板の場合が高く、道路の形状が認識できる路側物でない可能性が高い。そのためこの停止物体削除処理によりS3000で認識した停止物体の中から該当する停止物体を除外する。 Subsequently, in S3100, a stopped object deletion process is performed. Stop objects that exist on the road of the vehicle between the host vehicle and the preceding vehicle or on the road of the preceding vehicle between the preceding vehicle and the preceding vehicle are often road surface reflectors or signboards, and roadside objects that can recognize the shape of the road. It is likely not. Therefore, the corresponding stop object is excluded from the stop objects recognized in S3000 by this stop object deletion process.
このため、まず、先行車や先々行車の存在を確認する。先行車条件として、
・トラッキングフラグがON、かつ、自車線確率≧70%
とする。自車線確率は、物標が自車と同一レーンを走行している車両である確からしさを表すパラメータである。自車線確率の算出については周知であるため、説明を省略する。
For this reason, first, the presence of a preceding vehicle or a preceding vehicle is confirmed. As the preceding vehicle condition,
・ Tracking flag is ON and own lane probability ≧ 70%
And The own lane probability is a parameter representing the probability that the target is a vehicle traveling on the same lane as the own vehicle. Since the calculation of the own lane probability is well known, a description thereof will be omitted.
また、先々行車条件として、
・トラッキングフラグON、かつ、先行車より遠距離
とする。
In addition, as a vehicle condition ahead of time,
・ The tracking flag is ON and the distance is longer than the preceding vehicle.
先行車または先々行車のこれらの条件を満たさない場合すなわち先行車や先々行車が存在しない場合、本ステップの処理は特に行う必要はない。もちろん、上記の先行車および先々行車の条件は一例であり、どのように先行車および先々行車を決定するかは適宜設定すればよい。 When these conditions for the preceding vehicle or the preceding vehicle are not satisfied, that is, when the preceding vehicle or the preceding vehicle does not exist, the processing of this step is not particularly required. Of course, the conditions for the preceding vehicle and the preceding vehicle are examples, and how to determine the preceding vehicle and the preceding vehicle may be appropriately set.
この後、自車−先行車間の走行路や先行車−先々行車間の走行路に存在する停止物体を認識物体の中から除外する。図4は、自車、先行車、および先々行車と自車の周囲の停止物体をそれぞれ示した図である。この図4の「○」はマンホールや看板等の停止物体を示しており、点ハッチングが付けられた部分は自車や先行車の走行路を示している。このような状況において、例えば、先行車と先々行車との間の走行路に×が付けられた停止物体が存在しているとする。この停止物体に該当するデータ(物体単位データ)をセグメントデータの中から削除する。 Thereafter, stop objects existing on the traveling path between the own vehicle and the preceding vehicle and the traveling path between the preceding vehicle and the preceding vehicle are excluded from the recognition objects. FIG. 4 is a diagram illustrating the own vehicle, the preceding vehicle, and the stop object around the preceding vehicle and the own vehicle. In FIG. 4, “◯” indicates a stop object such as a manhole or a signboard, and a portion with dot hatching indicates a traveling path of the own vehicle or a preceding vehicle. In such a situation, for example, it is assumed that there is a stop object marked with “X” on the travel path between the preceding vehicle and the preceding vehicle. Data corresponding to the stopped object (object unit data) is deleted from the segment data.
続くS4000以降の処理は、道路形状認識ブロック45にて実行される処理であり、S4000では、S2000で得られたセグメントの中心位置を極座標に変換して角度順にソートする。
The subsequent processing after S4000 is processing executed by the road
続くS5000では、S4000で得た角度に基づいて、左角度方向から右角度方向へと、条件に合うセグメントをグルーピングし、路側物群(左)を形成する。この様子を図3(b)も参照しながら説明する。本実施形態では、道路形状の認識を路側に設置されたデリニエータに基づいて行うため、まず、例えば余計な看板や車両などのデリニエータ以外のセグメントデータを排除するために、次の、いずれか一方の排除条件でも満たすセグメントを看板や車両などと判断して排除する。 In subsequent S5000, based on the angle obtained in S4000, segments meeting the conditions are grouped from the left angle direction to the right angle direction to form a roadside object group (left). This will be described with reference to FIG. In this embodiment, since the road shape is recognized based on the delineator installed on the roadside, first, for example, in order to eliminate segment data other than the delineator such as an extra signboard or a vehicle, either one of the following: Segments that satisfy the exclusion conditions are judged to be signs or vehicles and are eliminated.
横幅Wが大のセグメント
排除条件:横幅W≧1.2m且つ縦横比D/W<5
認識種別が移動物体の近傍のセグメント
排除条件:中心間距離がΔX≦2m,ΔZ≦2m
次に、この排除条件を用いて排除した後に残ったセグメントに対して、左角度方向から右角度方向へと、距離Zが単調増加で且つ次の接続条件を満たすものを、満たすセグメントが存在する間、順に接続してグルーピングし、路側物群(左)を形成する。
Segment exclusion condition with large width W: width W ≧ 1.2 m and aspect ratio D / W <5
Segment exclusion condition when recognition type is near moving object: center distance is ΔX ≦ 2m, ΔZ ≦ 2m
Next, there is a segment that satisfies the following connection condition that the distance Z is monotonically increasing and satisfies the following connection condition from the left angle direction to the right angle direction with respect to the segment remaining after being excluded using this exclusion condition. In the meantime, they are connected and grouped in order to form a roadside group (left).
接続条件:中心間距離がΔX≦3.5m,ΔZ≦55m
そして、距離が減少した場合、あるいは距離は単調増加であっても上記接続条件を満たさない場合には、別の新たな路側物群(左)を形成していく。なお、ここでは、構成セグメントが1つの場合であっても路側物群(左)とするが、道路端の認識に際しては、構成セグメントが3つ以上の路側物群(左)のみを使用する。したがって、図3(b)に示す状況であれば、上記,の排除条件にて排除した後に残ったデータをグルーピングした結果、No.1〜No.4の路側物群(左)が得られたが、構成セグメントが3つ以上の路側物群(左)はNo.1の場合だけであるので、この路側物群(左)No.1を道路端認識に用いる。
Connection conditions: Center-to-center distance is ΔX ≦ 3.5m, ΔZ ≦ 55m
When the distance decreases or when the distance does not satisfy the connection condition even if the distance increases monotonically, another new roadside object group (left) is formed. Here, even if there is only one component segment, the roadside object group (left) is used. However, when the road edge is recognized, only the roadside object group (left) having three or more component segments is used. Accordingly, in the situation shown in FIG. 3 (b), No. 1 to No. 4 roadside object groups (left) were obtained as a result of grouping the data remaining after exclusion under the above exclusion conditions. However, since the roadside group (left) having three or more constituent segments is only No.1, this roadside group (left) No.1 is used for road edge recognition.
このように選択した路側物群(左)No.1には、上述のS3100の停止物体削除処理によって排除された、走行路上の停止物体はもちろん含まれていない。すなわち、当該走行路上の停止物体は本ステップでいう「条件に合うセグメント」に該当せず、当然グルーピングの対象になっていない。このため、路側物群(左)No.1の精度は向上している。 The roadside object group (left) No. 1 selected in this way does not include, of course, the stopped object on the traveling road that has been excluded by the above-described stopped object deletion process in S3100. In other words, the stopped object on the travel road does not correspond to the “segment that meets the condition” in this step, and is naturally not a grouping target. For this reason, the accuracy of the roadside group (left) No. 1 is improved.
続くS5100では、路側物群(左)(この場合は当然であるが路側物群(左)No.1を意味する)を構成するセグメントの中で、距離Zが最も大きい、つまり最遠セグメントについては、それが道路の左側のものか右側のものかを判断する。この判断の詳細は後述するが、道路右側のものであると判断した場合には、路側物群(左)から除外する。構成セグメント数が3つ以上の路側物群(左)で、道路右側のセグメントが混じっている例を図5(a)に示す。この図からも判るように、左角度方向から右角度方向へと距離が単調増加の間グルーピングしていくときには、最遠セグメントだけ本当に道路の左側か否かを判断すれば、ほとんどの場合は問題ない。最遠セグメントの一つ手前のセグメント(以下「第2最遠セグメント」と称す。)も右側である状況がほとんど想定できないからである。 In S5100, the distance Z is the largest among the segments constituting the roadside object group (left) (in this case, the roadside object group (left) means No. 1), that is, the farthest segment. Determines if it is on the left or right side of the road. Although details of this determination will be described later, if it is determined that the road is on the right side, it is excluded from the roadside object group (left). FIG. 5A shows an example of a roadside object group (left) having three or more constituent segments and a segment on the right side of the road mixed. As you can see from this figure, when grouping from the left angle direction to the right angle direction while the distance increases monotonically, it is almost always a problem if you determine whether the farthest segment is really the left side of the road. Absent. This is because it is almost impossible to assume a situation in which the segment immediately before the farthest segment (hereinafter referred to as “second farthest segment”) is also on the right side.
そこで、この最遠セグメントについて、次のような判断を行う。図5(b)に示すように、まず、最遠セグメントを除いた残りの構成セグメントを滑らかな曲線で結び、この曲線近傍に最遠セグメントが存在するか否かで判断する。曲線は、ここでは距離Zが最も小さい「最近セグメント」と第2最遠セグメントの2点を通り、X軸に直交する円を求める。X軸に直交するための中心がX軸上に存在し、円周上の2点が判っているので、円の方程式を導くことができる。 Therefore, the following determination is made for this farthest segment. As shown in FIG. 5B, first, the remaining constituent segments excluding the farthest segment are connected by a smooth curve, and it is determined whether or not the farthest segment exists in the vicinity of this curve. Here, the curve passes through two points of the “most recent segment” having the smallest distance Z and the second farthest segment, and obtains a circle orthogonal to the X axis. Since the center for orthogonal to the X-axis exists on the X-axis and two points on the circumference are known, a circle equation can be derived.
そして、その円と最遠セグメントのX軸方向への距離ΔXが1.5m未満であれば道路左側のセグメントであると判断して路側物群(左)に含めたままにし、逆に距離ΔXが1.5以上の場合には、道路右側のセグメントであると判断して路側物群(左)から除外する。なお、最遠セグメントと円との最も近い距離、すなわち、最遠セグメントから円に下した垂線の長さで判断してもよいが、現実的には、上述したようにX軸方向への距離ΔXのみ考えれば特段問題はない。 If the distance ΔX between the circle and the farthest segment in the X-axis direction is less than 1.5 m, it is determined that the segment is on the left side of the road and is included in the roadside object group (left). Is 1.5 or more, it is determined that the segment is on the right side of the road, and is excluded from the roadside object group (left). The distance between the farthest segment and the circle, that is, the length of the perpendicular line from the farthest segment to the circle, may be determined, but in reality, the distance in the X-axis direction as described above. There is no particular problem if only ΔX is considered.
続くS6000,S6100では、S5000,S5100にて実行した内容を、左右逆にして実行する。つまり、S6000では、S4000で得た角度に基づいて、右角度方向から左角度方向へと条件に合うセグメントをグルーピングして路側物群(右)を形成する。余計な看板などを排除する条件は左の場合と同じである。そして、排除した後に残ったセグメントに対して、右角度方向から左角度方向へと、距離Zが単調増加で且つ接続条件を満たすものを順に接続してグルーピングし、路側物群(右)を形成する。接続条件も左の場合と同じであり、また構成セグメントが3つ以上の路側物群(右)のものだけを道路端認識に用いる点も同じである。 In subsequent S6000 and S6100, the contents executed in S5000 and S5100 are executed in the left-right direction. That is, in S6000, the roadside object group (right) is formed by grouping segments that meet conditions from the right angle direction to the left angle direction based on the angle obtained in S4000. The conditions for excluding unnecessary signs are the same as those on the left. Then, from the right angle direction to the left angle direction with respect to the segment remaining after exclusion, the distance Z monotonically increasing and sequentially satisfying the connection condition are connected and grouped to form a roadside object group (right) To do. The connection conditions are the same as in the left case, and only the road segment group (right) having three or more constituent segments is used for road edge recognition.
また、S6100では、路側物群(右)中の最遠セグメントについては、左の場合と同様の手法で、道路の左側のものか右側のものかを判断し、左側のセグメントであれば路側物群(右)から除外する。このようにして、路側物群(左)と路側物群(右)とが得られたら、続くS7000では、路側物群(左)における最遠セグメントと路側物群(右)における最遠セグメントが同じ場合、つまり、図6(a)に示すように、1つの最遠セグメントが路側物群(左)にも属し、路側物群(右)にも属するという競合状態にある場合には、図6(b)に示すように、その最遠セグメントは排除する。もちろん、重複していない場合にはこのような処理は行わない。 In S6100, for the farthest segment in the roadside object group (right), the left side or right side of the road is determined in the same manner as in the left side. Exclude from group (right). When the roadside object group (left) and the roadside object group (right) are obtained in this way, in the subsequent S7000, the farthest segment in the roadside object group (left) and the farthest segment in the roadside object group (right) are determined. In the same case, that is, as shown in FIG. 6 (a), when one farthest segment belongs to the roadside object group (left) and also belongs to the roadside object group (right), As shown in 6 (b), the farthest segment is excluded. Of course, if there is no overlap, such processing is not performed.
そして、S8000では、構成セグメントが3つ以上の路側物群(左)と路側物群(右)とに基づいて、道路の左右端をそれぞれ認識する。なお、本実施形態においては、図7に示すように、各路側物群の構成セグメント間を補間することで道路左右端を線分の集合として認識する。さらに、路側物群データ間の補間結果を利用し、X軸との交点を算出し、この交点までの間も補間することによって、自車位置近傍からの道路形状を線分の集合として認識するようにしている。 In S8000, the right and left ends of the road are recognized based on the roadside object group (left) and the roadside object group (right) having three or more constituent segments. In the present embodiment, as shown in FIG. 7, the left and right ends of the road are recognized as a set of line segments by interpolating between the constituent segments of each roadside object group. Furthermore, by calculating the intersection with the X-axis using the interpolation result between roadside object group data, and interpolating to this intersection, the road shape from the vicinity of the vehicle position is recognized as a set of line segments. I am doing so.
以上説明したように、本実施形態の車両制御装置1では、その道路形状認識処理において、自車と先行車との間における自車の走行路上や先行車と先々行車との間における先行車の走行路上に停止物体が存在する場合、この停止物体のデータをセグメントデータから削除することが特徴となっている。これにより、セグメントデータの右端または左端の位置が自車や先行車の走行路上に位置することはないので、セグメントをグルーピングしたときの路側物群を実際の道路形状により近づけることができる。このため、道路端の認識の精度が向上し、ひいてはより正確な道路形状を頻度良く算出することができる。
As described above, in the
そして、このように良好に認識された道路形状を用いて先行車を判定し、車間制御や車間警報を行うので、これらの制御が良好に実施されることとなる。 And since a preceding vehicle is determined using the road shape recognized well in this way and the inter-vehicle distance control and the inter-vehicle distance warning are performed, these controls will be carried out satisfactorily.
なお、本実施形態においては、距離・角度測定器5がレーダ手段に相当し、コンピュータ3のデータのグルーピングブロック41、物体認識ブロック43及び道路形状認識ブロック45が認識手段に相当する。但し、その内のデータのグルーピングブロック41及び物体認識ブロック43が物体認識手段に相当し、道路形状認識ブロック45が有効データ抽出手段、停止物体削除手段、路側物群データ形成手段、道路端認識手段に相当する。
In the present embodiment, the distance / angle measuring device 5 corresponds to a radar unit, and the
(他の実施形態)
本発明は上記の実施形態に何等限定されるものではなく、本発明の主旨を逸脱しない範囲において種々なる形態で実施し得る。例えば、自車と先行車との間における自車の走行路上および先行車と先々行車との間における先行車の走行路上の両方に停止物体が存在する必要はなく、少なくともいずれかの走行路上に停止物体が存在する場合はデータを削除すれば良い。その他、下記の(1)〜(4)のように変更可能である。
(Other embodiments)
The present invention is not limited to the above embodiment, and can be implemented in various forms without departing from the gist of the present invention. For example, there is no need for a stop object to exist both on the traveling path of the own vehicle between the own vehicle and the preceding vehicle and on the traveling path of the preceding vehicle between the preceding vehicle and the preceding vehicle, and on at least one of the traveling paths. If there is a stop object, the data may be deleted. In addition, it can be changed as the following (1) to (4).
(1)例えば、上記実施形態では、S7000にて両路側物群に属する最遠セグメントについては除外したが、その重複した最遠セグメントについて、左右両方向の路側物群データのいずれにより属する可能性が高いかを判定し属する可能性が高い側の路側物群データに含めてもよい。このようにすれば、重複した最遠データもできるだけ生かすことができる。なお、判定に際しては、例えばS5100,S6100での手法を援用してもよい。すなわち、最遠セグメントの位置と、両路側物群に対応する各円とのX軸方向への距離ΔXの大小を判定し、距離ΔXが小さい方に含めるといったことである。なお、例えば両方の円の間には不感帯を設け、その不感帯を超えて近い方の路側物群に含めるようにしてもよい。 (1) For example, in the above embodiment, the farthest segment belonging to both roadside object groups is excluded in S7000, but there is a possibility that the overlapping farthest segment may belong to any of the roadside object group data in both the left and right directions. You may determine whether it is high and may include it in the roadside thing group data of the side with high possibility of belonging. In this way, the duplicated farthest data can be utilized as much as possible. For the determination, for example, the technique in S5100 and S6100 may be used. That is, the magnitude of the distance ΔX in the X-axis direction between the position of the farthest segment and each circle corresponding to both roadside object groups is determined, and included in the smaller distance ΔX. For example, a dead zone may be provided between both circles, and may be included in the roadside object group closer to the dead zone.
(2)上記実施形態あるいは上記(1)の内容は、最遠データをなるべく生かそうという観点からの対処であったが、誤判定をなるべく回避するという観点であれば、S5100,S6100において最遠セグメントを無条件に除外することも考えられる。このようにすれば、その最遠データを用いることによる誤判定は確実に回避できる。 (2) The content of the above embodiment or the above (1) is a countermeasure from the viewpoint of utilizing the farthest data as much as possible. However, from the viewpoint of avoiding erroneous determination as much as possible, the farthest in S5100 and S6100 It is also possible to exclude a segment unconditionally. In this way, erroneous determination due to using the farthest data can be reliably avoided.
(3)上記実施形態では、路側物群を構成するセグメント間を補間することで道路端を線分の集合として認識しているが、補間の方法としてはこれに限られることはなく、例えばセグメント間を曲線によって補間し、道路端を滑らかな曲線として認識してもよい。 (3) In the above embodiment, the road edges are recognized as a set of line segments by interpolating between the segments constituting the roadside object group. However, the interpolation method is not limited to this, for example, the segment It is also possible to interpolate between them with a curve and recognize the road edge as a smooth curve.
(4)上記実施例形態では「レーダ手段」としてレーザ光を用いた距離・角度測定器5を採用したが、ミリ波等を用いてもよいことは既に述べた。そして、例えばミリ波のFMCWレーダやドップラーレーダを用いた場合には、反射波(受信波)から先行車までの距離情報と先行車の相対速度情報が一度に得られるため、レーザ光を用いた場合のように、距離情報に基づいて相対速度を算出するという過程は不要となる。 (4) In the above embodiment, the distance / angle measuring device 5 using laser light is employed as the “radar means”, but it has already been described that a millimeter wave or the like may be used. For example, when a millimeter wave FMCW radar or Doppler radar is used, the distance information from the reflected wave (received wave) to the preceding vehicle and the relative speed information of the preceding vehicle can be obtained at a time. As in the case, the process of calculating the relative speed based on the distance information becomes unnecessary.
1 車両制御装置
3 コンピュータ
5 距離・角度測定器
41 グルーピングブロック
43 物体認識ブロック
45 道路形状認識ブロック
DESCRIPTION OF
Claims (3)
前記反射波に基づいて、少なくとも物体までの距離を含む物体単位データを車幅方向角度に対応して取得し、
前記反射波に基づいて得た物体の相対速度及び自車速に基づいて移動物体か停止物体という認識種別を判定し、この認識種別の判定結果に基づいて、道路形状を認識するために有効な前記物体単位データを抽出し、
自車と先行車との間における自車の走行路上および先行車と先々行車との間における先行車の走行路上のいずれかに停止物体が存在する場合、抽出した物体単位データの中から前記走行路上の停止物体に該当するデータを削除し、
前記走行路上の停止物体に該当するデータを削除した物体単位データを用い、左角度方向から右角度方向及び右角度方向から左角度方向の両方向についてそれぞれ、接続条件として距離が単調増加であるデータ同士をグルーピングして路側物群のデータを形成し、その形成された路側物群のデータに基づき道路端を認識することを特徴とする車両用道路形状認識方法。 A vehicle road shape recognition method for irradiating a transmission wave over a predetermined angle range in the vehicle width direction and recognizing a road shape around the vehicle based on the reflected wave,
Based on the reflected wave, object unit data including at least the distance to the object is acquired corresponding to the vehicle width direction angle,
Effective for recognizing a road shape based on a determination result of the recognition type based on a determination result of the recognition type by determining a recognition type of a moving object or a stopped object based on the relative speed of the object obtained based on the reflected wave and the own vehicle speed. Extract object unit data,
When there is a stop object on the traveling path of the own vehicle between the own vehicle and the preceding vehicle and on the traveling path of the preceding vehicle between the preceding vehicle and the preceding vehicle, the traveling is performed from the extracted object unit data. Delete the data corresponding to the stopped object on the road,
Using object unit data from which the data corresponding to the stopped object on the road is deleted, data in which the distance is monotonously increasing as a connection condition in both the left angle direction to the right angle direction and the right angle direction to the left angle direction, respectively. A road shape recognition method for a vehicle, characterized in that roadside object group data is formed by grouping roadside object groups and road edges are recognized based on the formed roadside object group data.
当該レーダ手段(5)による検出結果に基づき、車両前方の道路形状を認識する認識手段(41、43、45)と、を備えた車両用道路形状認識装置であって、
前記レーダ手段(5)は、前記反射波に基づいて、少なくとも物体までの距離を含む物体単位データを車幅方向角度に対応して取得し、
前記認識手段(41、43、45)は、
前記反射波に基づいて得た物体の相対速度及び自車速に基づいて移動物体か停止物体という認識種別を判定する物体認識手段(41、43)と、
当該物体認識手段(41、43)による認識結果に基づき、道路形状を認識するために有効な前記物体単位データを抽出する有効データ抽出手段(45)と、
自車と先行車との間における自車の走行路上および先行車と先々行車との間における先行車の走行路上のいずれかに停止物体が存在する場合、抽出した物体単位データの中から前記走行路上の停止物体に該当するデータを削除する停止物体削除手段(45)と、
前記停止物体削除手段(45)で得られた物体単位データを用い、左角度方向から右角度方向及び右角度方向から左角度方向の両方向についてそれぞれ、少なくとも距離が単調増加であるという接続条件を満たすデータ同士をグルーピングし、路側物群のデータを形成する路側物群データ形成手段(45)と、
前記路側物群データ形成手段(45)にて形成された前記両方向の路側物群のデータに基づき道路端を認識する道路端認識手段(41、43、45)と、を備えていることを特徴とする車両用道路形状認識装置。 Radar means (5) for irradiating a transmission wave within a predetermined angle range in the vehicle width direction and detecting an object based on the reflected wave;
Recognizing means (41, 43, 45) for recognizing the road shape ahead of the vehicle based on the detection result by the radar means (5),
The radar means (5) acquires object unit data including at least a distance to the object based on the reflected wave, corresponding to the vehicle width direction angle,
The recognition means (41, 43, 45)
Object recognition means (41, 43) for determining a recognition type of a moving object or a stopped object based on the relative speed of the object obtained based on the reflected wave and the own vehicle speed;
Effective data extraction means (45) for extracting the object unit data effective for recognizing the road shape based on the recognition result by the object recognition means (41, 43);
When there is a stop object on the traveling path of the own vehicle between the own vehicle and the preceding vehicle and on the traveling path of the preceding vehicle between the preceding vehicle and the preceding vehicle, the traveling is performed from the extracted object unit data. Stop object deletion means (45) for deleting data corresponding to a stop object on the road;
Using the object unit data obtained by the stop object deleting means (45), the connection condition that at least the distance is monotonically increasing in both the left angle direction to the right angle direction and the right angle direction to the left angle direction is satisfied. Roadside object group data forming means (45) for grouping data and forming roadside object group data;
Road edge recognition means (41, 43, 45) for recognizing the road edge based on the roadside object group data in both directions formed by the roadside object group data formation means (45). A vehicle road shape recognition device.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011110222A JP5402983B2 (en) | 2011-05-17 | 2011-05-17 | Vehicular road shape recognition method and apparatus, and recording medium |
US13/424,735 US8781644B2 (en) | 2011-03-21 | 2012-03-20 | Method and apparatus for recognizing shape of road for vehicles |
DE102012204441A DE102012204441A1 (en) | 2011-03-21 | 2012-03-20 | Method and device for detecting a course of a road for vehicles |
CN201210076608.3A CN102693645B (en) | 2011-03-21 | 2012-03-21 | Method and apparatus for recognizing shape of road for vehicles |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011110222A JP5402983B2 (en) | 2011-05-17 | 2011-05-17 | Vehicular road shape recognition method and apparatus, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012242935A JP2012242935A (en) | 2012-12-10 |
JP5402983B2 true JP5402983B2 (en) | 2014-01-29 |
Family
ID=47464617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011110222A Active JP5402983B2 (en) | 2011-03-21 | 2011-05-17 | Vehicular road shape recognition method and apparatus, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5402983B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11042759B2 (en) | 2017-12-13 | 2021-06-22 | Denso Corporation | Roadside object recognition apparatus |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6369035B2 (en) * | 2013-02-05 | 2018-08-08 | 株式会社デンソー | Target detection device |
JP5892129B2 (en) | 2013-08-29 | 2016-03-23 | 株式会社デンソー | Road shape recognition method, road shape recognition device, program, and recording medium |
KR101886566B1 (en) * | 2017-03-21 | 2018-08-07 | 연세대학교 산학협력단 | Method and apparatus for providing image of road configuration using radar |
JP6941404B2 (en) * | 2017-03-30 | 2021-09-29 | 大同信号株式会社 | Railroad crossing obstacle detection device |
JP7417465B2 (en) | 2020-05-07 | 2024-01-18 | 株式会社トヨタマップマスター | Information processing device, information processing method, and information processing program |
CN115331482B (en) * | 2021-05-10 | 2024-05-28 | 北京万集科技股份有限公司 | Vehicle early warning prompting method, device, base station and storage medium |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3417375B2 (en) * | 2000-03-06 | 2003-06-16 | 株式会社デンソー | Vehicle road shape recognition method and apparatus, recording medium |
JP3427809B2 (en) * | 2000-03-09 | 2003-07-22 | 株式会社デンソー | Vehicle road shape recognition method and apparatus, recording medium |
JP4210640B2 (en) * | 2004-10-29 | 2009-01-21 | 本田技研工業株式会社 | Vehicle control object determination device and vehicle control device |
JP2009031053A (en) * | 2007-07-25 | 2009-02-12 | Fujitsu Ten Ltd | Device for detecting forward obstacle |
JP4807444B2 (en) * | 2009-07-09 | 2011-11-02 | 株式会社デンソー | Control object extraction device and vehicle control device |
-
2011
- 2011-05-17 JP JP2011110222A patent/JP5402983B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11042759B2 (en) | 2017-12-13 | 2021-06-22 | Denso Corporation | Roadside object recognition apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2012242935A (en) | 2012-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3427809B2 (en) | Vehicle road shape recognition method and apparatus, recording medium | |
JP5402983B2 (en) | Vehicular road shape recognition method and apparatus, and recording medium | |
JP3427815B2 (en) | Method and apparatus for selecting preceding vehicle, recording medium | |
US8781644B2 (en) | Method and apparatus for recognizing shape of road for vehicles | |
JP3684776B2 (en) | Obstacle recognition device for vehicles | |
JP3417375B2 (en) | Vehicle road shape recognition method and apparatus, recording medium | |
JP5402968B2 (en) | Vehicular road shape recognition method and apparatus, and recording medium | |
JP2012089114A (en) | Obstacle recognition device | |
CN111796286B (en) | Brake grade evaluation method and device, vehicle and storage medium | |
JP3427817B2 (en) | Vehicle obstacle recognition method and apparatus, recording medium | |
JP7028982B2 (en) | Radar processing device | |
JP2015069289A (en) | Lane recognition device | |
KR20200067506A (en) | Apparatus and method for performing omnidirectional sensor-fusion and vehicle including the same | |
JP5321640B2 (en) | Vehicular road shape recognition method and apparatus, and recording medium | |
JP5139744B2 (en) | Vehicle object detection device | |
US11307292B2 (en) | ODM information reliability determination system and method and vehicle using the same | |
KR20200070854A (en) | Apparatus and method for identificating short cut-in vehicle and vehicle including the same | |
JP4489815B2 (en) | Driving support system with a device that recognizes special situations | |
JP5353946B2 (en) | Vehicular road shape recognition method and apparatus, and recording medium | |
CN116148860A (en) | Method and device for identifying static obstacle, vehicle and storage medium | |
CN113879312B (en) | Forward target selection method and device based on multi-sensor fusion and storage medium | |
JP2012242936A (en) | Vehicular road shape recognition method and device and recording medium | |
KR102332509B1 (en) | Method and apparatus for rear cross collision warning | |
JP5327272B2 (en) | Vehicular road shape recognition method and apparatus, and recording medium | |
JP2010181246A (en) | Body recognizer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130423 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131001 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131014 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5402983 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |