JP6599075B2 - Obstacle detection device - Google Patents
Obstacle detection device Download PDFInfo
- Publication number
- JP6599075B2 JP6599075B2 JP2019541811A JP2019541811A JP6599075B2 JP 6599075 B2 JP6599075 B2 JP 6599075B2 JP 2019541811 A JP2019541811 A JP 2019541811A JP 2019541811 A JP2019541811 A JP 2019541811A JP 6599075 B2 JP6599075 B2 JP 6599075B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- distance sensor
- wave
- obstacle
- determination unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims description 28
- 238000000034 method Methods 0.000 claims description 32
- 230000005540 biological transmission Effects 0.000 claims description 26
- 238000009434 installation Methods 0.000 claims description 10
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
- G01S15/06—Systems determining the position data of a target
- G01S15/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Electromagnetism (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Description
この発明は、車両周辺の障害物を検出する障害物検出装置に関するものである。 The present invention relates to an obstacle detection equipment for detecting an obstacle around the vehicle.
距離センサを用いて車両周辺の障害物を検出する障害物検出装置は、壁等の車両が衝突する可能性のある高い障害物だけでなく、路面付近の段差等の車両が衝突する可能性のない低い障害物も検出してしまうことがある。このような障害物検出装置は、低い障害物を検出すると、運転者に対して不要な警告を行ってしまう等の問題があった。 Obstacle detection devices that detect obstacles around the vehicle using a distance sensor are not limited to obstacles that are likely to collide with vehicles such as walls, but may also collide with vehicles such as steps near the road surface. There may be no low obstacles detected. Such an obstacle detection device has a problem that, when a low obstacle is detected, an unnecessary warning is given to the driver.
上記問題の対策として、検出した障害物が低い障害物か高い障害物かを判定する技術が提案されている。例えば、特許文献1に係る障害物検出装置は、車両の後方に向けて超音波を送信して障害物からの反射波を受信し、反射波のピーク値を検出し、車両の後方移動に伴って変化するピーク値の差分が負の値であるときに低い障害物と判定し、正の値であるときに高い障害物と判定する。
As a countermeasure for the above problem, a technique for determining whether a detected obstacle is a low obstacle or a high obstacle has been proposed. For example, the obstacle detection device according to
従来の障害物検出装置は以上のように構成されているので、車両が停止している場合に障害物の高さを判定できないという課題があった。 Since the conventional obstacle detection apparatus is configured as described above, there is a problem that the height of the obstacle cannot be determined when the vehicle is stopped.
この発明は、上記のような課題を解決するためになされたもので、車両が走行している場合だけでなく停止している場合にも、障害物の高さを判定することを目的とする。 The present invention has been made to solve the above-described problems, and an object thereof is to determine the height of an obstacle not only when the vehicle is running but also when it is stopped. .
この発明に係る障害物検出装置は、車両に設置された第1の距離センサと、第1の距離センサの設置高さよりも低い位置に設置された第2の距離センサと、第1の距離センサおよび第2の距離センサから探査波を送信させ障害物で反射した探査波である反射波を受信させて距離情報および反射波の強度を取得する送受信部と、第1の距離センサの距離情報および第2の距離センサの距離情報に基づき、第1の距離センサの反射波および第2の距離センサの反射波が同一の障害物で反射した直接波であることを判定する同一性判定部と、同一性判定部により同一の障害物で反射した直接波であると特定された第1の距離センサの直接波と第2の距離センサの直接波との強度比に基づき、同一の障害物の高さを判定する高さ判定部とを備えるものである。
同一性判定部は、第1の距離センサの距離情報および第2の距離センサの距離情報を用いて、車両の前後左右方向の2次元座標において探査波が反射した反射点の位置を算出し、反射点の分布に基づいて第1の距離センサの反射波および第2の距離センサの反射波が同一の障害物で反射した直接波であることを判定する。
高さ判定部は、同一の障害物について、第1の距離センサの距離情報と第2の距離センサの距離情報との差分値が予め定められた閾値以下である場合に第1の距離センサまたは第2の距離センサの少なくとも一方により受信された直接波の強度を補正し、補正した強度を用いて高さ判定を行う。
The obstacle detection device according to the present invention includes a first distance sensor installed in a vehicle, a second distance sensor installed at a position lower than the installation height of the first distance sensor, and a first distance sensor. A transmission / reception unit that transmits a search wave from the second distance sensor and receives a reflected wave that is a search wave reflected by an obstacle to acquire distance information and the intensity of the reflected wave; distance information of the first distance sensor; An identity determination unit that determines that the reflected wave of the first distance sensor and the reflected wave of the second distance sensor are direct waves reflected by the same obstacle based on the distance information of the second distance sensor; Based on the intensity ratio between the direct wave of the first distance sensor and the direct wave of the second distance sensor identified as direct waves reflected by the same obstacle by the identity determination unit, the height of the same obstacle is determined. With a height judging section for judging the thickness A.
The identity determination unit uses the distance information of the first distance sensor and the distance information of the second distance sensor to calculate the position of the reflection point where the exploration wave is reflected in the two-dimensional coordinates in the front-rear and left-right directions of the vehicle, Based on the distribution of the reflection points, it is determined that the reflected wave of the first distance sensor and the reflected wave of the second distance sensor are direct waves reflected by the same obstacle.
When the difference value between the distance information of the first distance sensor and the distance information of the second distance sensor is equal to or less than a predetermined threshold for the same obstacle, the height determination unit The intensity of the direct wave received by at least one of the second distance sensors is corrected, and the height is determined using the corrected intensity.
この発明によれば、異なる高さに設置された第1の距離センサと第2の距離センサにより受信された直接波の強度比を用いるようにしたので、車両が走行している場合だけでなく停止している場合にも、障害物の高さを判定することができる。 According to the present invention, since the direct wave intensity ratio received by the first distance sensor and the second distance sensor installed at different heights is used, not only when the vehicle is traveling, Even when the vehicle is stopped, the height of the obstacle can be determined.
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、実施の形態1に係る障害物検出装置10の構成例を示すブロック図である。障害物検出装置10は、第1の距離センサ1−1〜1−i(i≧2)と、第2の距離センサ2−1〜2−iと、送受信部11と、同一性判定部12と、高さ判定部13とを備え、車両周辺に存在する障害物の高さを判定する。Hereinafter, in order to explain the present invention in more detail, modes for carrying out the present invention will be described with reference to the accompanying drawings.
FIG. 1 is a block diagram illustrating a configuration example of an
なお、実施の形態1に係る障害物検出装置10は、複数の第1の距離センサ1−1〜1−iおよび複数の第2の距離センサ2−1〜2−iを備える構成であるが、1つ以上の第1の距離センサ1−i(i≧1)および1つ以上の第2の距離センサ2−i(i≧1)を備える構成であればよい。また、第1の距離センサ1−iの個数と第2の距離センサ2−iの個数は、同一でもよいし異なってもよい。
The
図2Aおよび図2Bは、実施の形態1に係る障害物検出装置10の構成例を示すハードウェア構成図である。障害物検出装置10における送受信部11、同一性判定部12、および高さ判定部13の各機能は、処理回路により実現される。即ち、障害物検出装置10は、上記各機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路20であってもよいし、メモリ22に格納されるプログラムを実行するプロセッサ21であってもよい。処理回路20、または、プロセッサ21とメモリ22は、第1の距離センサ1−1〜1−iおよび第2の距離センサ2−1〜2−iに接続される。
2A and 2B are hardware configuration diagrams illustrating a configuration example of the
図2Aに示すように、処理回路が専用のハードウェアである場合、処理回路20は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、またはこれらを組み合わせたものが該当する。送受信部11、同一性判定部12、および高さ判定部13の機能を複数の処理回路20で実現してもよいし、各部の機能をまとめて1つの処理回路20で実現してもよい。
As shown in FIG. 2A, when the processing circuit is dedicated hardware, the
図2Bに示すように、処理回路がプロセッサ21である場合、送受信部11、同一性判定部12、および高さ判定部13の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ22に格納される。プロセッサ21は、メモリ22に格納されたプログラムを読みだして実行することにより、各部の機能を実現する。即ち、障害物検出装置10は、プロセッサ21により実行されるときに、後述する図15のフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ22を備える。また、このプログラムは、送受信部11、同一性判定部12、および高さ判定部13の手順または方法をコンピュータに実行させるものであるとも言える。
As shown in FIG. 2B, when the processing circuit is a
ここで、プロセッサ21とは、CPU(Central Processing Unit)、処理装置、演算装置、マイクロプロセッサ、またはマイクロコンピュータ等のことである。
メモリ22は、RAM(Random Access Memory)、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、またはフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスクまたはフレキシブルディスク等の磁気ディスクであってもよいし、CD(Compact Disc)またはDVD(Digital Versatile Disc)等の光ディスクであってもよい。Here, the
The
なお、送受信部11、同一性判定部12、および高さ判定部13の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、障害物検出装置10における処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
In addition, about each function of the transmission /
図3は、実施の形態1における第1の距離センサ1−1,1−2および第2の距離センサ2−1,2−2の車両設置例を示す図である。車両の左右方向をX軸、上下方向をY軸、前後方向をZ軸とする。
第2の距離センサ2−1,2−2は、車両の前面または後面等に、横一列に並べて設置される。第2の距離センサ2−1,2−2は、縁石および車止め等の低い障害物を検出可能な高さに設置される。第1の距離センサ1−1,1−2は、第2の距離センサ2−1,2−2より高い位置に、横一列に並べて設置される。図3では、X軸方向において第1の距離センサ1−1,第2の距離センサ2−1、第2の距離センサ2−2、および第1の距離センサ1−2の順に並べて設置されているが、並び順は任意でよい。第1の距離センサ1−1,1−2および第2の距離センサ2−1,2−2は、探査波として超音波または電波等を送信し、車両周辺の障害物で反射した探査波である反射波を受信する。以下では、これらの距離センサが超音波センサであるものとする。FIG. 3 is a diagram illustrating a vehicle installation example of the first distance sensors 1-1 and 1-2 and the second distance sensors 2-1 and 2-2 in the first embodiment. The left-right direction of the vehicle is the X axis, the up-down direction is the Y-axis, and the front-rear direction is the Z-axis.
The second distance sensors 2-1 and 2-2 are installed side by side on the front or rear surface of the vehicle. The second distance sensors 2-1 and 2-2 are installed at a height at which low obstacles such as curbs and car stops can be detected. The first distance sensors 1-1 and 1-2 are installed side by side in a position higher than the second distance sensors 2-1 and 2-2. In FIG. 3, the first distance sensor 1-1, the second distance sensor 2-1, the second distance sensor 2-2, and the first distance sensor 1-2 are arranged in this order in the X-axis direction. However, the arrangement order may be arbitrary. The first distance sensors 1-1 and 1-2 and the second distance sensors 2-1 and 2-2 transmit ultrasonic waves or radio waves as exploration waves, and are exploration waves reflected by obstacles around the vehicle. Receive a reflected wave. Hereinafter, it is assumed that these distance sensors are ultrasonic sensors.
図4は、実施の形態1における直接波と間接波を説明する図である。ここでは、第1の距離センサ1−1と第2の距離センサ2−1の2個を例示する。
第1の距離センサ1−1が送信した超音波の反射波をこの第1の距離センサ1−1が受信する場合、第1の距離センサ1−1が受信した反射波を「直接波」と呼ぶ。一方、第1の距離センサ1−1と第2の距離センサ2−1のうち、第1の距離センサ1−1を送信用、第2の距離センサ2−1を受信用とする場合、第2の距離センサ2−1が受信した反射波を「間接波」と呼ぶ。なお、第1の距離センサ1−1〜1−iおよび第2の距離センサ2−1〜2−iのうち、送信用および受信用となる距離センサの組み合わせは自由である。例えば、時間の経過とともに、送信用および受信用となる距離センサの組み合わせが変更される。FIG. 4 is a diagram illustrating a direct wave and an indirect wave in the first embodiment. Here, two of the first distance sensor 1-1 and the second distance sensor 2-1 are illustrated.
When the first distance sensor 1-1 receives an ultrasonic reflected wave transmitted by the first distance sensor 1-1, the reflected wave received by the first distance sensor 1-1 is referred to as a “direct wave”. Call. On the other hand, of the first distance sensor 1-1 and the second distance sensor 2-1, when the first distance sensor 1-1 is for transmission and the second distance sensor 2-1 is for reception, The reflected wave received by the second distance sensor 2-1 is referred to as an “indirect wave”. Of the first distance sensors 1-1 to 1-i and the second distance sensors 2-1 to 2-i, combinations of distance sensors for transmission and reception are free. For example, with the passage of time, the combination of distance sensors for transmission and reception is changed.
送受信部11は、第1の距離センサ1−1〜1−iおよび第2の距離センサ2−1〜2−iの少なくとも1つから探査波を送信させ、この探査波が障害物で反射した反射波を第1の距離センサ1−1〜1−iおよび第2の距離センサ2−1〜2−iの少なくとも1つに受信させる。そして、送受信部11は、第1の距離センサ1−1〜1−iおよび第2の距離センサ2−1〜2−iから、超音波の送信から反射波の受信までの時間に基づく距離情報、および反射波の受信強度を取得し、同一性判定部12へ出力する。
The transmission /
図5は、実施の形態1の同一性判定部12による2円交点処理を説明する図であり、直接波の2円交点処理の例である。2円交点処理は、開口合成処理とも言う。
同一性判定部12は、送受信部11から受け取る直接波の距離情報を用いて2円交点処理を行い、超音波が反射した反射点のX−Z平面上の位置、つまり車両の前後左右方向の2次元座標上の位置を算出する。なお、X−Z平面が設定されるY軸位置は、例えば、第1の距離センサ1−1の高さと第2の距離センサ2−1の高さの中間の位置である。図5の例では、同一性判定部12は、第1の距離センサ1−1と第2の距離センサ2−1の各直接波の距離情報に基づいて、第1の距離センサ1−1を中心とする円A1と第2の距離センサ2−2を中心とする円A2との交点を求めて反射点A3とする。FIG. 5 is a diagram for explaining the two-circle intersection process by the
The
図6は、実施の形態1の同一性判定部12による2円交点処理を説明する図であり、直接波と間接波の2円交点処理の例である。
同一性判定部12は、送受信部11から受け取る直接波と間接波の距離情報を用いて2円交点処理を行い、X−Z平面上の反射点の位置を算出する。図6の例では、送受信部11は、第1の距離センサ1−1の直接波の距離情報と第1の距離センサ1−1および第2の距離センサ2−1間の間接波の距離情報とに基づいて、第1の距離センサ1−1を中心とする円A1と第1の距離センサ1−1および第2の距離センサ2−1を焦点とする楕円B1との交点を求めて反射点B2とする。また、同一性判定部12は、第2の距離センサ2−1の直接波の距離情報と第1の距離センサ1−1および第2の距離センサ2−1間の間接波の距離情報とに基づいて、第2の距離センサ2−1を中心とする円A2と第1の距離センサ1−1および第2の距離センサ2−1を焦点とする楕円B1との交点を求めて反射点B3とする。FIG. 6 is a diagram for explaining the two-circle intersection process by the
The
同一性判定部12は、隣り合う反射点A3から反射点B2までの反射点間距離L1が予め定められた距離以下である場合、反射点A3,B2は同一の障害物で反射したことを特定し、反射点A3,B2を同じグループに分類する。また、同一性判定部12は、隣り合う反射点A3から反射点B3までの反射点間距離L2が予め定められた距離以下である場合、反射点A3,B3は同一の障害物で反射したことを特定し、反射点A3,B3を同じグループに分類する。なお、予め定められた距離は、隣接する距離センサ間の距離などに基づいて設定された値である。
The
図7〜図9は、実施の形態1の同一性判定部12によるグルーピング処理結果を説明する図である。図7に示されるように障害物が壁または縁石等である場合、反射点が直線状に分布したグループC1が得られる。図8に示されるように障害物が車止めである場合、反射点が直線状に分布した2つのグループC2,C3が得られる。図9に示されるように障害物がポールである場合、反射点が1か所に集中したグループC4が得られる。なお、図7〜図9においてグループC1〜C4に分類されなかった反射点は図示されていない。
7 to 9 are diagrams for explaining the grouping processing results by the
以上のように、同一性判定部12は、直接波と間接波とを用いたグルーピング処理を行うことにより、障害物を検出する。
これ以降の処理では、同一性判定部12は、直接波のみを使用する。As described above, the
In subsequent processing, the
同一性判定部12は、第1の距離センサ1−1〜1−iの直接波と第2の距離センサ2−1〜2−iの直接波が同一の障害物で反射した直接波であるかどうかを判定する。同一性判定部12は、判定結果と直接波の強度とを高さ判定部13へ出力する。
The
例えば、図7に示されるグループC1には、直接波同士の2円交点処理によって算出された反射点と、直接波と間接波との2円交点処理によって算出された反射点とが混在している。同一性判定部12は、グループC1に含まれる反射点の中から直接波同士の2円交点処理によって算出された反射点を抽出し、抽出した反射点の算出に用いられた直接波をグループC1の障害物で反射した直接波であると判定する。
For example, the group C1 shown in FIG. 7 includes a mixture of reflection points calculated by the two-circle intersection process between direct waves and reflection points calculated by the two-circle intersection process of the direct wave and the indirect wave. Yes. The
また、例えば図8に示されるグループC2,C3の場合、同一性判定部12は、グループC2の障害物で反射した直接波と、グループC3の障害物で反射した直接波とを、互いに異なる障害物で反射した直接波であるものとして区別する。
Further, for example, in the case of the groups C2 and C3 shown in FIG. 8, the
さらに、例えば図9に示されるグループC4の場合、グループC4の障害物から離れた位置にある第1の距離センサ1−1の直接波の距離情報と、グループC4の障害物の正面にある第2の距離センサ2−2の直接波の距離情報とには差がある。しかしながら、第1の距離センサ1−1の直接波も第2の距離センサ2−2の直接波も反射点としてはグループC4に分類されているため、同一性判定部12は、いずれの直接波もグループC4の障害物で反射した直接波であると判定する。
Further, for example, in the case of the group C4 shown in FIG. 9, the distance information of the direct wave of the first distance sensor 1-1 located away from the obstacle of the group C4 and the first information in front of the obstacle of the group C4. There is a difference between the distance information of the direct wave of the distance sensor 2-2 of No. 2. However, since the direct wave of the first distance sensor 1-1 and the direct wave of the second distance sensor 2-2 are classified as the reflection points in the group C4, the
このように、同一性判定部12によれば、第1の距離センサ1−1〜1−iの直接波の距離情報と第2の距離センサ2−1〜2−iの直接波の距離情報との差が大きくなる場合でも、同一の障害物で反射した直接波であることを判定できる。これにより、障害物検出装置10は、後述する高さ判定部13による直接波を用いた障害物の高さ判定の精度を向上させることができる。距離センサ間での距離情報の差が大きくなる障害物の例としては、ポールのような幅が狭い障害物、ならびに、縁石および車止め等のような低い障害物等がある。
Thus, according to the
図10は、実施の形態1における直接波の強度の特性を示すグラフである。図10Aは、第1の距離センサ1−1〜1−iの直接波の強度の波形と第2の距離センサ2−1〜2−iの直接波の強度の波形を示すグラフである。グラフの縦軸は、距離センサが受信した直接波の強度であり、横軸は、距離センサから障害物までの距離dである。図10Bは、第1の距離センサ1−1〜1−iの直接波と第2の距離センサ2−1〜2−iの直接波との強度比の波形を示すグラフである。 FIG. 10 is a graph showing the characteristics of the direct wave intensity in the first embodiment. FIG. 10A is a graph showing the waveform of the direct wave intensity of the first distance sensors 1-1 to 1-i and the waveform of the direct wave intensity of the second distance sensors 2-1 to 2-i. The vertical axis of the graph is the intensity of the direct wave received by the distance sensor, and the horizontal axis is the distance d from the distance sensor to the obstacle. FIG. 10B is a graph showing a waveform of an intensity ratio between the direct waves of the first distance sensors 1-1 to 1-i and the direct waves of the second distance sensors 2-1 to 2-i.
図10Aに示されるように、ポールおよび壁等の高い障害物で反射した直接波は、距離dが大きくなる従って強度が小さくなる傾向があり、減衰係数は約12dB/mである。また、第1の距離センサ1−1〜1−iの直接波の強度と第2の距離センサ2−1〜2−iの直接波の強度は同等レベルになる。参考までに、第1の距離センサ1−1〜1−iと第2の距離センサ2−1〜2−iとは設置高さが異なるため、第1の距離センサ1−1〜1−iの直接波に比べて、第2の距離センサ2−1〜2−iの直接波のほうが、若干強度が大きい。
一方、縁石および車止め等の低い障害物で反射した直接波は、距離dに対して極大値をもつカーブを描き、距離dが小さくなると第1の距離センサ1−1〜1−iの直接波の強度と第2の距離センサ2−1〜2−iの直接波の強度とに差異が生じる。この差異の大きさは、距離センサの検出範囲の違い、つまり距離センサの設置位置および設置角度等により異なる。As shown in FIG. 10A, a direct wave reflected by a high obstacle such as a pole and a wall tends to decrease in intensity as the distance d increases, and the attenuation coefficient is about 12 dB / m. In addition, the direct wave intensity of the first distance sensors 1-1 to 1-i and the direct wave intensity of the second distance sensors 2-1 to 2-i are at the same level. For reference, the first distance sensors 1-1 to 1-i and the second distance sensors 2-1 to 2-i have different installation heights. Compared with the direct wave, the direct wave of the second distance sensors 2-1 to 2-i has a slightly higher intensity.
On the other hand, a direct wave reflected by a low obstacle such as a curb or a car stop draws a curve having a maximum value with respect to the distance d, and when the distance d decreases, the direct wave of the first distance sensors 1-1 to 1-i. And the intensity of the direct waves of the second distance sensors 2-1 to 2-i are different. The magnitude of this difference varies depending on the difference in the detection range of the distance sensor, that is, the installation position and installation angle of the distance sensor.
直接波の強度には上述したような特性があるため、第1の距離センサ1−1〜1−iの直接波の強度を第2の距離センサ2−1〜2−iの直接波の強度で除算した強度比は、図10Bに示されるように、高い障害物については距離dによらず約1となる。
一方、低い障害物については、距離dが大きいときは強度比が約1となり、距離dが小さいときは強度比が大幅に小さい値となる。Since the intensity of the direct wave has the characteristics as described above, the intensity of the direct wave of the first distance sensors 1-1 to 1-i is changed to the intensity of the direct wave of the second distance sensors 2-1 to 2-i. As shown in FIG. 10B, the intensity ratio divided by is about 1 for a high obstacle regardless of the distance d.
On the other hand, for a low obstacle, the intensity ratio is about 1 when the distance d is large, and the intensity ratio is a significantly small value when the distance d is small.
高さ判定部13は、強度比が約1である場合に、直接波を反射した障害物が高い障害物であると判定し、強度比が1未満である場合に、直接波を反射した障害物が低い障害物であると判定する。図10Bの例では、高さ判定部13は、距離dが判定距離内である場合に、予め定められた閾値TH1(例えば、0.8)と強度比とを比較し、強度比が閾値TH1以上である場合に直接波を反射した障害物が高い障害物であると判定し、強度比が閾値TH1未満である場合に直接波を反射した障害物が低い障害物であると判定する。閾値TH1は、距離センサの設置位置および設置角度等に基づいて予め設定される。
The
なお、高さ判定部13は、平均化処理した直接波の強度を用いて高さ判定を行ってもよい。
例えば、高さ判定部13は、第1の距離センサ1−1および第2の距離センサ2−1の直接波の強度比と、第1の距離センサ1−2と第2の距離センサ2−2の直接波の強度比とを用いて平均強度比を算出し、平均強度比を閾値TH1と比較してもよい。
あるいは、高さ判定部13は、第1の距離センサ1−1と第2の距離センサ2−2の直接波の強度比と、第1の距離センサ1−2と第2の距離センサ2−1の直接波の強度比とを用いて平均強度比を算出し、平均強度比を閾値TH1と比較してもよい。The
For example, the
Alternatively, the
また、高さ判定部13は、同一性判定部12により算出された直接波の反射点が、車両左右方向に分布している場合、つまり障害物が壁、縁石または車止め等である場合、障害物の高さ判定を行い、直接波の反射点が一点に集中している場合、つまり障害物がポール等である場合、直接波の強度を補正し、補正した強度を用いて障害物の高さ判定を行ってもよい。
In addition, the
具体的には、高さ判定部13は、第1の距離センサ1−1〜1−iの直接波の距離情報から第2の距離センサ2−1〜2−iの直接波の距離情報を減算し、距離差分値を算出する。高さ判定部13は、算出した距離差分値と予め定められた閾値TH2とを比較し、距離差分値が閾値TH2より大きい場合は強度を補正せず、距離差分値が閾値TH2以下の場合は強度を補正する。閾値TH2は、直接波の距離情報に基づいてポールのような幅の狭い障害物を判定するための値であり、高さ判定部13に対して予め与えられている。高さ判定部13は、第1の距離センサ1−iまたは第2の距離センサ2−iの少なくとも一方の直接波の強度に対して、第1の距離センサ1−iまたは第2の距離センサ2−iの少なくとも一方の直接波の距離情報に応じた減衰係数12dB/mの重み付け処理を行うことにより、強度を補正する。この補正により、高さ判定の信頼性を向上させることができる。
Specifically, the
なお、高さ判定部13は、平均化処理した距離差分値を用いて閾値との比較を行ってもよい。
例えば、高さ判定部13は、第1の距離センサ1−1および第2の距離センサ2−1の直接波の距離差分値と、第1の距離センサ1−2と第2の距離センサ2−2の直接波の距離差分値とを用いて平均距離差分値を算出し、平均距離差分値を閾値TH2と比較してもよい。
あるいは、高さ判定部13は、第1の距離センサ1−1と第2の距離センサ2−2の直接波の距離差分値と、第1の距離センサ1−2と第2の距離センサ2−1の直接波の距離差分値とを用いて平均距離差分値を算出し、平均距離差分値を閾値TH2と比較してもよい。The
For example, the
Alternatively, the
図11は、実施の形態1に係る障害物検出装置10の動作例を示すフローチャートである。障害物検出装置10は、車両の走行中および停止中にかかわらず図11のフローチャートに示される動作を繰り返し行う。
FIG. 11 is a flowchart illustrating an operation example of the
ステップST1において、第1の距離センサ1−1〜1−iおよび第2の距離センサ2−1〜2−iは、送受信部11からの指示に従って超音波を送受信する。
ステップST2において、送受信部11は、第1の距離センサ1−1〜1−iおよび第2の距離センサ2−1〜2−iが受信した反射波を収集し、第1の距離センサ1−1〜1−iおよび第2の距離センサ2−1〜2−iのどれが送信用でどれが受信用として使用されたかを示す情報を用いて、収集した反射波を直接波と間接波とに分別する。
ステップST3において、送受信部11は、第1の距離センサ1−1〜1−iおよび第2の距離センサ2−1〜2−iから反射波を収集できた場合(ステップST3“YES”)、車両周辺に障害物があると判定してステップST4へ進む。一方、送受信部11は、第1の距離センサ1−1〜1−iおよび第2の距離センサ2−1〜2−iから反射波を収集できなかった場合(ステップST3“NO”)、車両周辺に障害物が存在しないと判定して、図11のフローチャートに示される動作を終了する。In step ST <b> 1, the first distance sensors 1-1 to 1-i and the second distance sensors 2-1 to 2-i transmit and receive ultrasonic waves according to instructions from the transmission /
In step ST2, the transmission /
In step ST3, the transmission /
ステップST4において、同一性判定部12は、送受信部11により分別された直接波と間接波の距離情報を用いて2円交点処理を行い、反射点の位置を算出する。
ステップST5において、同一性判定部12は、算出した反射点の位置に基づいて反射点のグルーピング処理を行い、反射点を障害物ごとに分類する。
ステップST6において、同一性判定部12は、第1の距離センサ1−1〜1−iの直接波および第2の距離センサ2−1〜2−iの直接波を、同一の障害物で反射した直接波ごとに分別する。In step ST <b> 4, the
In step ST5, the
In step ST6, the
高さ判定部13は、以下に説明するステップST7〜ST15の処理を、同一性判定部12により分類された障害物の数だけ、繰り返し行う。
The
ステップST7において、高さ判定部13は、同一性判定部12により分類された同一の障害物について、距離センサからその障害物までの距離が図10Bに示される判定距離未満であるか否かを判定する。高さ判定部13は、その障害物までの距離が判定距離未満である場合(ステップST7“YES”)、ステップST8へ進み、判定距離以上である場合(ステップST7“NO”)、その障害物について図11のフローチャートに示される動作を終了する。
In step ST7, the
ステップST8において、高さ判定部13は、同一性判定部12が直接波の距離情報を用いて算出した反射点の分布に基づいて、以降の処理方法を判定する。高さ判定部13は、反射点が車両左右方向に分布している場合、つまり障害物が壁、縁石または車止め等である場合、ステップST9へ進み、反射点が一点に集中している場合、つまり障害物がポール等である場合、ステップST13へ進む。
In step ST8, the
ステップST9において、高さ判定部13は、上記障害物について、第1の距離センサ1−1〜1−iの直接波と第2の距離センサ2−1〜2−iの直接波との強度比を算出する。
ステップST10において、高さ判定部13は、算出した強度比が閾値TH1未満である場合(ステップST10“YES”)、ステップST11へ進み、強度比が閾値TH1以上である場合(ステップST10“NO”)、ステップST12へ進む。
ステップST11において、高さ判定部13は、上記障害物を、縁石等の低い障害物であると判定する。
ステップST12において、高さ判定部13は、上記障害物を、壁等の高い障害物であると判定する。In step ST9, the
In step ST10, when the calculated intensity ratio is less than the threshold value TH1 (step ST10 “YES”), the
In step ST11, the
In step ST12, the
ステップST13において、高さ判定部13は、上記障害物について、第1の距離センサ1−1〜1−iの直接波と第2の距離センサ2−1〜2−iの直接波との距離差分値を算出する。
ステップST14において、高さ判定部13は、算出した距離差分値が閾値TH2より大きい場合(ステップST14“YES”)、ステップST9へ進み、距離差分値が閾値TH2以下である場合(ステップST14“NO”)、つまり上記障害物がポール等の幅の狭い障害物である場合にステップST15へ進む。In step ST13, the
In step ST14, the
ステップST15において、高さ判定部13は、上記障害物について、第1の距離センサ1−1〜1−iが受信した直接波の強度または第2の距離センサ2−1〜2−iが受信した直接波の強度の少なくとも一方を補正し、ステップST9へ進む。
In step ST15, the
なお、ステップST8,ST13〜ST15の処理は必須ではない。 Note that the processing of steps ST8 and ST13 to ST15 is not essential.
以上のように、実施の形態1に係る障害物検出装置10は、第1の距離センサ1−1〜1−iと、第2の距離センサ2−1〜2−iと、送受信部11と、同一性判定部12と、高さ判定部13とを備える。第1の距離センサ1−1〜1−iは、車両に設置される。第2の距離センサ2−1〜2−iは、第1の距離センサ1−1〜1−iの設置高さよりも低い位置に設置される。送受信部11は、第1の距離センサ1−1〜1−iおよび第2の距離センサ2−1〜2−iから探査波を送信させ障害物で反射した探査波である反射波を受信させて距離情報および反射波の強度を取得する。同一性判定部12は、第1の距離センサ1−1〜1−iの距離情報および第2の距離センサ2−1〜2−iの距離情報に基づき、第1の距離センサ1−1〜1−iの反射波および第2の距離センサ2−1〜2−iの反射波が同一の障害物で反射した直接波であることを判定する。高さ判定部13は、同一性判定部12により同一の障害物で反射した直接波であると特定された第1の距離センサ1−1〜1−iの直接波と第2の距離センサ2−1〜2−iの直接波との強度比に基づき、同一の障害物の高さを判定する。異なる高さに設置された第1の距離センサ1−1〜1−iと第2の距離センサ2−1〜2−iにより受信された直接波の強度比を用いるようにしたので、車両が走行している場合だけでなく停止している場合にも、障害物の高さを判定することができる。また、同一の障害物で反射した直接波の強度を用いることにより、複数の障害物が存在する場合に障害物ごとに高さ判定を行うことができるため、高さの判定精度を上げることができる。さらに、強度比を用いるため、反射率のばらつき等の障害物の性状によって生じる反射波の強度のばらつきを抑制できる。そのため、強度を用いるよりも強度比を用いるほうが障害物の性状の影響を受けずに高さ判定を行うことができる。また、障害物の性状によって生じる強度のばらつきよりも強度比のばらつきのほうが小さいので、高さの誤判定を回避できる。
As described above, the
また、実施の形態1の同一性判定部12は、第1の距離センサ1−1〜1−iの距離情報および第2の距離センサ2−1〜2−iの距離情報を用いて、車両の前後左右方向の2次元座標において探査波が反射した反射点の位置を算出し、反射点の分布に基づいて第1の距離センサ1−1〜1−iの反射波および第2の距離センサ2−1〜2−iの反射波が同一の障害物で反射した直接波であることを判定する。第1の距離センサ1−1〜1−iと第2の距離センサ2−1〜2−iは異なる高さに設置されるため、1個の低い障害物であっても第1の距離センサ1−1〜1−iの距離情報と第2の距離センサ2−1〜2−iの距離情報とが異なるが、障害物の同一性を精度よく判定できる。そのため、高さの誤判定を回避できる。
In addition, the
また、実施の形態1の高さ判定部13は、同一の障害物について、第1の距離センサ1−1〜1−iの距離情報と第2の距離センサ2−1〜2−iの距離情報との差分値が予め定められた閾値TH2以下である場合に第1の距離センサ1−1〜1−iまたは第2の距離センサ2−1〜2−iの少なくとも一方により受信された直接波の強度を補正し、補正した強度を用いて高さ判定を行う。ポール等の幅が狭い障害物の場合、第1の距離センサ1−1〜1−iおよび第2の距離センサ2−1〜2−iの距離情報のばらつきが大きいが、反射点は特定領域に分布するので、この特徴を用いて反射点が集中する場合にその反射点は同一の障害物であるものとみなして強度を補正する。これにより、高さの判定精度を向上させることができる。
In addition, the
また、実施の形態1の高さ判定部13は、平均化処理した直接波の強度を用いて高さ判定を行う。これにより、ロバスト性を向上させることができる。
The
また、実施の形態1の高さ判定部13は、平均化処理した距離差分値を用いて閾値TH2との比較を行う。これにより、ロバスト性を向上させることができる。
In addition, the
なお、本発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、または実施の形態の任意の構成要素の省略が可能である。 In the present invention, any component of the embodiment can be modified or any component of the embodiment can be omitted within the scope of the invention.
この発明に係る障害物検出装置は、車両が走行中および停止中に障害物の高さを判定するようにしたので、運転支援システムなどに用いるのに適している。 The obstacle detection device according to the present invention is suitable for use in a driving support system or the like because the height of the obstacle is determined while the vehicle is running and stopped.
1−1〜1−i 第1の距離センサ、2−1〜2−i 第2の距離センサ、10 障害物検出装置、11 送受信部、12 同一性判定部、13 高さ判定部、20 処理回路、21 プロセッサ、22 メモリ、A1,A2 円、A3,B2,B3 反射点、B1 楕円、C1〜C4 グループ、L1,L2 反射点間距離。 1-1 to 1-i first distance sensor, 2-1 to 2-i second distance sensor, 10 obstacle detection device, 11 transmission / reception unit, 12 identity determination unit, 13 height determination unit, 20 processing Circuit, 21 processor, 22 memory, A1, A2 circle, A3, B2, B3 reflection point, B1 ellipse, C1-C4 group, L1, L2 distance between reflection points.
Claims (3)
前記第1の距離センサの設置高さよりも低い位置に設置された第2の距離センサと、
前記第1の距離センサおよび前記第2の距離センサから探査波を送信させ障害物で反射した前記探査波である反射波を受信させて距離情報および前記反射波の強度を取得する送受信部と、
前記第1の距離センサの距離情報および前記第2の距離センサの距離情報に基づき、前記第1の距離センサの反射波および前記第2の距離センサの反射波が同一の障害物で反射した直接波であることを判定する同一性判定部と、
前記同一性判定部により同一の障害物で反射した直接波であると特定された前記第1の距離センサの直接波と前記第2の距離センサの直接波との強度比に基づき、前記同一の障害物の高さを判定する高さ判定部とを備え、
前記同一性判定部は、前記第1の距離センサの距離情報および前記第2の距離センサの距離情報を用いて、前記車両の前後左右方向の2次元座標において探査波が反射した反射点の位置を算出し、反射点の分布に基づいて前記第1の距離センサの反射波および前記第2の距離センサの反射波が同一の障害物で反射した直接波であることを判定し、
前記高さ判定部は、前記同一の障害物について、前記第1の距離センサの距離情報と前記第2の距離センサの距離情報との差分値が予め定められた閾値以下である場合に前記第1の距離センサまたは前記第2の距離センサの少なくとも一方により受信された直接波の強度を補正し、補正した強度を用いて高さ判定を行うことを特徴とする障害物検出装置。 A first distance sensor installed in the vehicle;
A second distance sensor installed at a position lower than an installation height of the first distance sensor;
A transmission / reception unit that transmits a search wave from the first distance sensor and the second distance sensor and receives a reflected wave that is the search wave reflected by an obstacle to acquire distance information and the intensity of the reflected wave;
Based on the distance information of the first distance sensor and the distance information of the second distance sensor, the reflected wave of the first distance sensor and the reflected wave of the second distance sensor are directly reflected by the same obstacle. An identity determination unit that determines that the wave is a wave,
Based on the intensity ratio between the direct wave of the first distance sensor and the direct wave of the second distance sensor identified as the direct wave reflected by the same obstacle by the identity determination unit, the same A height determination unit for determining the height of the obstacle ,
The identity determination unit uses the distance information of the first distance sensor and the distance information of the second distance sensor to determine the position of the reflection point reflected by the exploration wave in the two-dimensional coordinates in the front-rear and left-right directions of the vehicle. And determining that the reflected wave of the first distance sensor and the reflected wave of the second distance sensor are direct waves reflected by the same obstacle based on the distribution of reflection points,
The height determining unit, when the difference value between the distance information of the first distance sensor and the distance information of the second distance sensor is equal to or less than a predetermined threshold for the same obstacle, An obstacle detection apparatus comprising: correcting an intensity of a direct wave received by at least one of the first distance sensor and the second distance sensor, and performing height determination using the corrected intensity .
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/034313 WO2019058507A1 (en) | 2017-09-22 | 2017-09-22 | Obstacle detection device and obstacle detection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6599075B2 true JP6599075B2 (en) | 2019-10-30 |
JPWO2019058507A1 JPWO2019058507A1 (en) | 2019-12-12 |
Family
ID=65810198
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019541811A Expired - Fee Related JP6599075B2 (en) | 2017-09-22 | 2017-09-22 | Obstacle detection device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6599075B2 (en) |
WO (1) | WO2019058507A1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7506551B2 (en) | 2020-08-04 | 2024-06-26 | パナソニックオートモーティブシステムズ株式会社 | Obstacle determination device, vehicle, and obstacle determination method |
KR102356497B1 (en) * | 2020-09-16 | 2022-02-07 | 현대모비스 주식회사 | Position detection system and method using sensor |
CN116400362B (en) * | 2023-06-08 | 2023-08-08 | 广汽埃安新能源汽车股份有限公司 | Driving boundary detection method, device, storage medium and equipment |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4293865B2 (en) * | 2003-09-02 | 2009-07-08 | 富士通テン株式会社 | Object detection device |
CN103348259B (en) * | 2011-03-04 | 2015-06-03 | 三菱电机株式会社 | Object detection device and navigation device |
JP6021755B2 (en) * | 2013-07-16 | 2016-11-09 | 三菱電機株式会社 | Obstacle detection device |
DE102014114999A1 (en) * | 2014-10-15 | 2016-04-21 | Valeo Schalter Und Sensoren Gmbh | Method for detecting at least one object in an environmental region of a motor vehicle, driver assistance system and motor vehicle |
JP6289338B2 (en) * | 2014-10-22 | 2018-03-07 | 株式会社デンソー | Object detection device, vehicle control device |
WO2016103464A1 (en) * | 2014-12-26 | 2016-06-30 | 三菱電機株式会社 | Obstacle detection device and obstacle detection method |
-
2017
- 2017-09-22 WO PCT/JP2017/034313 patent/WO2019058507A1/en active Application Filing
- 2017-09-22 JP JP2019541811A patent/JP6599075B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
WO2019058507A1 (en) | 2019-03-28 |
JPWO2019058507A1 (en) | 2019-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11161547B2 (en) | Parking assistance device | |
US10247825B2 (en) | Object detection device | |
JP4883246B2 (en) | Object detection apparatus and object detection method | |
JP6430777B2 (en) | Object detection device | |
JP6599075B2 (en) | Obstacle detection device | |
JP6788388B2 (en) | Radar device and control method of radar device | |
US20180015923A1 (en) | Vehicle control device and vehicle control method | |
WO2017104503A1 (en) | Traveling-body control device and traveling-body control method | |
JP6577767B2 (en) | Object detection apparatus and object detection method | |
JP6217349B2 (en) | Braking device | |
JP6442225B2 (en) | Object detection device | |
JP6811913B2 (en) | Obstacle detector | |
JP7127969B2 (en) | Radar device and signal processing method | |
WO2019053812A1 (en) | Obstacle detection device and obstacle detection method | |
JP4683910B2 (en) | Collision prevention support device | |
JP2019158787A (en) | Radar device and signal processing method | |
CN114556146A (en) | Method and device for classifying objects, in particular in the context of a motor vehicle | |
JP6992439B2 (en) | Object detector | |
JP7186925B2 (en) | Road shape estimation device, road shape estimation method and road shape estimation program | |
JP7064400B2 (en) | Object detection device | |
JP6818902B6 (en) | Vehicle detection system | |
WO2018150577A1 (en) | Parking assist device and parking assist method | |
JP6808113B2 (en) | Obstacle detector | |
JP6743665B2 (en) | Curve estimation device | |
WO2020008535A1 (en) | Obstacle detection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190801 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190801 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190809 |
|
TRDD | Decision of grant or rejection written | ||
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190821 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190903 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191001 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6599075 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |