JP2017151043A - 物体認識装置及びプログラム - Google Patents
物体認識装置及びプログラム Download PDFInfo
- Publication number
- JP2017151043A JP2017151043A JP2016036035A JP2016036035A JP2017151043A JP 2017151043 A JP2017151043 A JP 2017151043A JP 2016036035 A JP2016036035 A JP 2016036035A JP 2016036035 A JP2016036035 A JP 2016036035A JP 2017151043 A JP2017151043 A JP 2017151043A
- Authority
- JP
- Japan
- Prior art keywords
- point
- acquired
- cluster
- distance measuring
- point group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
[1.第1実施形態]
[1−1.構成]
図1は第1実施形態の物体認識装置が適用された運転支援システム1の概略構成を示す説明図、図2はレーザ光を照射する領域を示す模式図である。運転支援システム1は、例えば乗用車等の車両(以下「自車両」ともいう。)に搭載されており、図1に示すように、レーダ装置10と、車両制御部30と、を備えている。また、レーダ装置10は、レーダ制御部11と、走査駆動部12と、光学ユニット13とを備えている。
次に、車両制御部30においては、CPU,ROM,RAM等からなる周知のコンピュータとして構成されており、ROM等に記憶されたプログラムに従って、自車両の挙動を制御する処理や、運転者に対する報知を行う等の各種処理を実施する。例えば、車両制御部30は、自車両の挙動を変更するような(或いは挙動の変更を促すような)運転支援を行う旨の指令をレーダ装置10から受けると、この指令に応じた制御信号を表示装置、音声出力装置、制動装置、操舵装置等の何れかに出力するようにすればよい。
このように構成された運転支援システム1において、レーダ制御部11のCPU18は、メモリ19に記録されたプログラムに基づいて図3に示す物体認識処理を実施する。物体認識処理は、例えば1サイクル分の全ライン及び全方位の測距点群が取得される毎に実施される処理である。
ここで、図4に測距点群とクラスタリング結果の一例を示す。なお、本実施形態では、自車両の右方向をx軸の正とし、自車両の前方をy軸の正とする。また、鉛直方向の上方向をz軸の正とする。図4に示す例では、例えば、クラスタの左端と右端との中心におけるx座標をxk、クラスタの前端のy座標をykとする。
続いて実行されるS140以降の処理は、クラスタCk 毎に個々に並列して実行されるが、以下、説明の便宜上、単一のクラスタCのみが取得されているものとして説明する。S140では、処理対象のクラスタCに対して現時点(すなわち直近の時点)でデータが取得されている単一フレーム特徴(すなわち各時点のクラスタ点群に対して個々に取得可能な特徴量)が、フレーム毎に算出(すなわち取得)される。この処理では、図6に詳細に示すように、S142による領域分割処理、S143による重み付き重心算出処理、S144による測距点数の局所割合算出処理、S145〜S147による回転・位置補正処理、S148による幅算出処理が、順次実行される。
例えば、各測距点Pn (図8では単にPと記載)が、図8に例示するような下方へ行くほど大きい反射強度を有する場合、[数3]により算出される重み付き重心FW1は、重み付けを行わずに従来の方法で計算した重心FW0に比べて、白い矢印で示したように下方へずれる。図8の例では、歩行者に対応したクラスタCの脚部における反射強度が大きいためにこのような結果となる。
(1A)前記のように詳述した第1実施形態の運転支援システム1においてレーダ制御部11は、重み付き重心、ライン別重み付き重心、測距点数の局所割合、及び、クラスタCの幅をクラスタCの特徴量としてフレーム毎に算出する。また、レーダ制御部11は、それらの特徴量の時間的変動や、対応点の変動量も、クラスタCの特徴量として算出する。レーダ制御部11は、これらの特徴量に基づいて物体50を識別するので、物体の識別精度を良好に向上させることができる。また、前記第1実施形態において、各特徴量をライン毎に算出した場合には、物体の識別精度を一層良好に向上させることができる。
前記実施形態において、光学ユニット13が受信手段に対応し、レーダ制御部11が測距手段、クラスタリング手段、変動抽出手段、識別手段、特徴抽出手段、マッチング手段、及び、指標抽出手段に対応する。また、レーダ制御部11の処理のうち、S110が測距手段に、S120がクラスタリング手段に、S150が変動抽出手段に、S160及びS170が識別手段に、S140が特徴抽出手段に、S152がマッチング手段に、それぞれ対応する。また、時間的変動に係るいずれかの特徴量を算出するためのS150における処理を変動抽出手段とした場合、当該特徴量以外の特徴量は指標に対応する。そして、その特徴量を算出するためのS140又はS150における処理(例えば、S144)が指標抽出手段に対応する。また、データ取得サンプリング時間が時点に対応する。
以上、本発明を実施するための形態について説明したが、本発明は前述の実施形態に限定されることなく、種々変形して実施することができる。
13…光学ユニット 18…CPU 19…メモリ
50…物体 C…クラスタ FW0…通常の重心
FW1…重み付き重心 P…測距点 PP…対応点
Claims (19)
- 物体を検出するための対象となる検出領域に電磁波又は音波を照射してその電磁波又は音波に対する反射波を受けることにより、前記検出領域に存在する物体上の複数の点に対して、前記各点の反射信号を表す情報を取得する受信手段(13)と、
前記受信手段が取得した情報に基づき、前記各点の3次元空間上の位置を取得する測距手段(11,S110)と、
前記測距手段によって前記位置を取得された点を測距点として、前記各測距点に対し、クラスタリングを行ってクラスタ点群を取得するクラスタリング手段(11,S120)と、
前記クラスタリング手段が取得したクラスタ点群に係る測定量の時間的変動を取得する変動抽出手段(11,S150)と、
前記変動抽出手段が取得した時間的変動に基づき、前記クラスタ点群に対応する物体を識別する識別手段(11,S160,S170)と、
を備えた物体認識装置。 - 前記クラスタリング手段が各時点で取得したクラスタ点群に対して前記時点毎に取得可能な特徴量を、前記測定量として取得する特徴抽出手段(11,S140)を、
更に備え、
前記変動抽出手段(11,S151)は、前記特徴量の時間的変動を取得することを特徴とする請求項1に記載の物体認識装置。 - 前記特徴抽出手段は、前記クラスタ点群を複数領域に分割し、その領域毎に前記特徴量を取得し、
前記変動抽出手段は、前記領域毎に前記特徴量の時間的変動を取得することを特徴とする請求項2に記載の物体認識装置。 - 前記クラスタリング手段が複数の時点で取得したクラスタ点群において同一点とみなせる少なくとも1つの測距点を対応点として、前記対応点の位置を前記測定量として取得するマッチング手段(11,S152)を、
更に備え、
前記変動抽出手段(11,S153,S154)は、前記マッチング手段が取得した対応点の位置の時間的変動を取得することを特徴とする請求項1に記載の物体認識装置。 - 前記マッチング手段は、前記クラスタ点群を複数領域に分割し、その領域毎に前記対応点の位置を取得し、
前記変動抽出手段は、前記領域毎にその領域に属する前記対応点の位置の時間的変動を取得することを特徴とする請求項4に記載の物体認識装置。 - 前記変動抽出手段(11,S151,S154)とは異なる方法で、前記物体を識別するための指標を取得する指標抽出手段(11,S151,S154,S143,S144)を、
更に備え、
前記識別手段(11,S170)は、前記変動抽出手段が取得した時間的変動に基づく前記物体の識別結果と、前記指標抽出手段が取得した指標に基づく前記物体の識別結果とに応じて、前記物体を識別することを特徴とする請求項1〜5のいずれか1項に記載の物体認識装置。 - 前記受信手段は、前記複数の測距点に対して、前記電磁波又は音波に対する各測距点の反射強度も、前記情報と共に取得し、
前記指標抽出手段(11,S143)は、前記クラスタ点群に属する少なくとも一部の測距点に対して、その測距点の反射強度で重みづけされた前記位置に係る指標を取得することを特徴とする請求項6に記載の物体認識装置。 - 前記指標抽出手段は、前記クラスタ点群に属する全ての測距点に対して、その測距点の反射強度で重みづけされた重心位置を、前記指標として取得することを特徴とする請求項7に記載の物体認識装置。
- 前記指標抽出手段は、前記クラスタ点群を複数領域に分割し、前記領域毎に、各領域に属する全ての測距点に対して、その測距点の反射強度で重みづけされた重心位置を、前記指標として取得することを特徴とする請求項7に記載の物体認識装置。
- 前記指標抽出手段(11,S144)は、前記クラスタリング手段が各時点で取得したクラスタ点群を複数領域に分割し、前記各領域における前記各時点の前記クラスタ点群に対して前記時点毎に取得可能な特徴量を、前記領域毎に取得し、前記各時点における前記各領域の前記特徴量の分布を、前記指標として取得することを特徴とする請求項6に記載の物体認識装置。
- 前記指標抽出手段が取得する特徴量は、前記各領域の前記クラスタ点群に属する測距点数に応じた値であることを特徴とする請求項10に記載の物体認識装置。
- 物体を検出するための対象となる検出領域に電磁波又は音波を照射してその電磁波又は音波に対する反射波を受けることにより、前記検出領域に存在する物体上の複数の点に対して、前記各点の反射信号を表す情報を、前記電磁波又は音波に対する各点の反射強度と共に取得する受信手段(13)と、
前記受信手段が取得した情報に基づき、前記各点の3次元空間上の位置を取得する測距手段(11,S110)と、
前記測距手段によって前記位置を取得された点を測距点として、前記各測距点に対し、クラスタリングを行ってクラスタ点群を取得するクラスタリング手段(11,S120)と、
前記クラスタリング手段が取得したクラスタ点群に属する少なくとも一部の測距点に対して、その測距点の反射強度で重みづけされた当該測距点の位置に基づき、前記クラスタ点群に対応する物体を識別する識別手段(11,S160,S170)と、
を備えた物体認識装置。 - 前記識別手段は、前記クラスタ点群に属する全ての測距点に対して、その測距点の反射強度で重みづけされた重心位置に基づいて、前記クラスタ点群に対応する物体を識別することを特徴とする請求項12に記載の物体認識装置。
- 前記識別手段は、前記クラスタ点群を複数領域に分割し、前記領域毎に、各領域に属する全ての測距点に対して、その測距点の反射強度で重みづけされた重心位置を取得し、前記各領域の前記重心位置に基づいて、前記クラスタ点群に対応する物体を識別することを特徴とする請求項12に記載の物体認識装置。
- 物体を検出するための対象となる検出領域に電磁波又は音波を照射してその電磁波又は音波に対する反射波を受けることにより、前記検出領域に存在する物体上の複数の点に対して、前記各点の反射信号を表す情報を取得する受信手段(13)と、
前記受信手段が取得した情報に基づき、前記各点の3次元空間上の位置を取得する測距手段(11,S110)と、
前記測距手段によって前記位置を取得された点を測距点として、前記各測距点に対し、クラスタリングを行ってクラスタ点群を取得するクラスタリング手段(11,S120)と、
前記クラスタリング手段が各時点で取得したクラスタ点群を複数領域に分割し、前記各領域における前記各時点の前記クラスタ点群に対して前記時点毎に取得可能な特徴量を、前記領域毎に取得する特徴抽出手段(11,S140,S150)と、
前記特徴抽出手段が取得した特徴量の前記各時点における前記各領域の分布に基づき、前記クラスタ点群に対応する物体を識別する識別手段(11,S160,S170)と、
を備えた物体認識装置。 - 前記特徴抽出手段が取得する特徴量は、前記各領域の前記クラスタ点群に属する測距点数に応じた値であることを特徴とする請求項15に記載の物体認識装置。
- 物体を検出するための対象となる検出領域に電磁波又は音波を照射してその電磁波又は音波に対する反射波を受けることにより、前記検出領域に存在する物体上の複数の点に対して取得された前記各点の反射信号を表す情報を、処理するコンピュータ(11)に、
前記取得された情報に基づき、前記各点の3次元空間上の位置を取得させ(S110)、
前記位置を取得された点を測距点として、前記各測距点に対し、クラスタリングを行ってクラスタ点群を取得させ(S120)、
前記取得されたクラスタ点群に係る測定量の時間的変動を取得させ(S150)、
前記取得された時間的変動に基づき、前記クラスタ点群に対応する物体を識別(S160,S170)させるためのプログラム。 - 物体を検出するための対象となる検出領域に電磁波又は音波を照射してその電磁波又は音波に対する反射波を受けることにより、前記検出領域に存在する物体上の複数の点に対して取得された前記各点の反射信号を表す情報及び前記電磁波又は音波に対する前記各点の反射強度を、処理するコンピュータ(11)に、
前記取得された情報に基づき、前記各点の3次元空間上の位置を取得させ(S110)、
前記位置を取得された点を測距点として、前記各測距点に対し、クラスタリングを行ってクラスタ点群を取得させ(S120)、
前記取得されたクラスタ点群に属する少なくとも一部の測距点に対して、その測距点の反射強度で重みづけされた当該測距点の位置に基づき、前記クラスタ点群に対応する物体を識別(S160,S170)させるためのプログラム。 - 物体を検出するための対象となる検出領域に電磁波又は音波を照射してその電磁波又は音波に対する反射波を受けることにより、前記検出領域に存在する物体上の複数の点に対して取得された前記各点の反射信号を表す情報を、処理するコンピュータ(11)に、
前記取得された情報に基づき、前記各点の3次元空間上の位置を取得させ(S110)、
前記位置を取得された点を測距点として、前記各測距点に対し、クラスタリングを行ってクラスタ点群を取得させ(S120)、
各時点で取得された前記クラスタ点群を複数領域に分割させ、前記各領域における前記各時点の前記クラスタ点群に対して前記時点毎に取得可能な特徴量を、前記領域毎に取得させ(S140,S150)、
前記取得された特徴量の前記各時点における前記各領域の分布に基づき、前記クラスタ点群に対応する物体を識別させる(S160,S170)ためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016036035A JP6777403B2 (ja) | 2016-02-26 | 2016-02-26 | 物体認識装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016036035A JP6777403B2 (ja) | 2016-02-26 | 2016-02-26 | 物体認識装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017151043A true JP2017151043A (ja) | 2017-08-31 |
JP6777403B2 JP6777403B2 (ja) | 2020-10-28 |
Family
ID=59739018
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016036035A Active JP6777403B2 (ja) | 2016-02-26 | 2016-02-26 | 物体認識装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6777403B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109189876A (zh) * | 2018-08-31 | 2019-01-11 | 深圳市元征科技股份有限公司 | 一种数据处理方法及装置 |
JP2019144094A (ja) * | 2018-02-20 | 2019-08-29 | 株式会社デンソーテン | レーダ装置及び信号処理方法 |
JP2019196961A (ja) * | 2018-05-09 | 2019-11-14 | 国際航業株式会社 | 標識抽出プログラム、及び標識抽出装置 |
JP2020042800A (ja) * | 2018-09-07 | 2020-03-19 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | 物体検出枠を生成する方法とその装置、機器、記憶媒体及び車両 |
JP2020160024A (ja) * | 2019-03-28 | 2020-10-01 | 株式会社デンソーテン | 推定装置および推定方法 |
JPWO2020008537A1 (ja) * | 2018-07-03 | 2020-12-17 | 三菱電機株式会社 | 障害物検知装置又は運転支援装置 |
WO2022038757A1 (ja) * | 2020-08-21 | 2022-02-24 | 三菱電機株式会社 | 目標識別装置、目標識別方法及び目標識別プログラム |
JPWO2022059048A1 (ja) * | 2020-09-15 | 2022-03-24 | ||
JP2022552228A (ja) * | 2019-10-08 | 2022-12-15 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | 特に自動車周辺における、物体を分類するための方法及び装置 |
WO2023236989A1 (zh) * | 2022-06-10 | 2023-12-14 | 长沙莫之比智能科技有限公司 | 对象跌倒检测方法、装置、毫米波雷达和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002157697A (ja) * | 2000-11-21 | 2002-05-31 | Mazda Motor Corp | 車両の制御装置 |
JP2004144719A (ja) * | 2002-10-28 | 2004-05-20 | Matsushita Electric Works Ltd | 超音波アレイセンサによる物***置・形状の計測方法及びその計測装置 |
JP2005337854A (ja) * | 2004-05-26 | 2005-12-08 | Nec Corp | 目標類別方法および装置 |
JP2011186584A (ja) * | 2010-03-05 | 2011-09-22 | Daihatsu Motor Co Ltd | 物体認識装置 |
JP2012221456A (ja) * | 2011-04-14 | 2012-11-12 | Toyota Central R&D Labs Inc | 対象物識別装置及びプログラム |
US20150158489A1 (en) * | 2013-12-09 | 2015-06-11 | Hyundai Motor Company | Method for object processing and vehicle supporting the same |
JP2015152319A (ja) * | 2014-02-10 | 2015-08-24 | 株式会社デンソー | 物体識別方法、および物体識別装置 |
-
2016
- 2016-02-26 JP JP2016036035A patent/JP6777403B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002157697A (ja) * | 2000-11-21 | 2002-05-31 | Mazda Motor Corp | 車両の制御装置 |
JP2004144719A (ja) * | 2002-10-28 | 2004-05-20 | Matsushita Electric Works Ltd | 超音波アレイセンサによる物***置・形状の計測方法及びその計測装置 |
JP2005337854A (ja) * | 2004-05-26 | 2005-12-08 | Nec Corp | 目標類別方法および装置 |
JP2011186584A (ja) * | 2010-03-05 | 2011-09-22 | Daihatsu Motor Co Ltd | 物体認識装置 |
JP2012221456A (ja) * | 2011-04-14 | 2012-11-12 | Toyota Central R&D Labs Inc | 対象物識別装置及びプログラム |
US20150158489A1 (en) * | 2013-12-09 | 2015-06-11 | Hyundai Motor Company | Method for object processing and vehicle supporting the same |
JP2015152319A (ja) * | 2014-02-10 | 2015-08-24 | 株式会社デンソー | 物体識別方法、および物体識別装置 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019144094A (ja) * | 2018-02-20 | 2019-08-29 | 株式会社デンソーテン | レーダ装置及び信号処理方法 |
JP7173735B2 (ja) | 2018-02-20 | 2022-11-16 | 株式会社デンソー | レーダ装置及び信号処理方法 |
JP2019196961A (ja) * | 2018-05-09 | 2019-11-14 | 国際航業株式会社 | 標識抽出プログラム、及び標識抽出装置 |
JP7138473B2 (ja) | 2018-05-09 | 2022-09-16 | 国際航業株式会社 | 標識抽出プログラム、及び標識抽出装置 |
JPWO2020008537A1 (ja) * | 2018-07-03 | 2020-12-17 | 三菱電機株式会社 | 障害物検知装置又は運転支援装置 |
CN109189876A (zh) * | 2018-08-31 | 2019-01-11 | 深圳市元征科技股份有限公司 | 一种数据处理方法及装置 |
CN109189876B (zh) * | 2018-08-31 | 2021-09-10 | 深圳市元征科技股份有限公司 | 一种数据处理方法及装置 |
US11415672B2 (en) | 2018-09-07 | 2022-08-16 | Apollo Intelligent Driving (Beijing) Technology Co., Ltd. | Method and apparatus for generating object detection box, device, storage medium, and vehicle |
JP2020042800A (ja) * | 2018-09-07 | 2020-03-19 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | 物体検出枠を生成する方法とその装置、機器、記憶媒体及び車両 |
JP2020160024A (ja) * | 2019-03-28 | 2020-10-01 | 株式会社デンソーテン | 推定装置および推定方法 |
JP7260358B2 (ja) | 2019-03-28 | 2023-04-18 | 株式会社デンソーテン | 推定装置および推定方法 |
JP2022552228A (ja) * | 2019-10-08 | 2022-12-15 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | 特に自動車周辺における、物体を分類するための方法及び装置 |
JP7385026B2 (ja) | 2019-10-08 | 2023-11-21 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | 特に自動車周辺における、物体を分類するための方法及び装置 |
WO2022038757A1 (ja) * | 2020-08-21 | 2022-02-24 | 三菱電機株式会社 | 目標識別装置、目標識別方法及び目標識別プログラム |
WO2022059048A1 (ja) * | 2020-09-15 | 2022-03-24 | 三菱電機株式会社 | 目標識別装置、目標識別方法およびプログラム |
JPWO2022059048A1 (ja) * | 2020-09-15 | 2022-03-24 | ||
JP7221456B2 (ja) | 2020-09-15 | 2023-02-13 | 三菱電機株式会社 | 目標識別装置、目標識別方法およびプログラム |
WO2023236989A1 (zh) * | 2022-06-10 | 2023-12-14 | 长沙莫之比智能科技有限公司 | 对象跌倒检测方法、装置、毫米波雷达和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP6777403B2 (ja) | 2020-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6777403B2 (ja) | 物体認識装置及びプログラム | |
JP6411942B2 (ja) | 物体認識装置 | |
US11719788B2 (en) | Signal processing apparatus, signal processing method, and program | |
JP6301029B2 (ja) | 移動体に搭載されたレーザスキャンシステム、移動体に搭載されたレーザスキャナのレーザスキャン方法及びプログラム | |
JP6938846B2 (ja) | 物体認識装置 | |
US9990736B2 (en) | Robust anytime tracking combining 3D shape, color, and motion with annealed dynamic histograms | |
EP3229041B1 (en) | Object detection using radar and vision defined image detection zone | |
US11567496B2 (en) | Method and apparatus for optimizing scan data and method and apparatus for correcting trajectory | |
JP5822255B2 (ja) | 対象物識別装置及びプログラム | |
JP6505470B2 (ja) | ノイズ除去方法および物体認識装置 | |
KR102547274B1 (ko) | 이동 로봇 및 이의 위치 인식 방법 | |
WO2021134285A1 (zh) | 图像跟踪处理方法、装置、计算机设备和存储介质 | |
JP2019105654A (ja) | ノイズ除去方法および物体認識装置 | |
JP2019164098A (ja) | 路面形状推定装置、路面形状推定プログラム、及び移動体 | |
JP2007233440A (ja) | 車載用画像処理装置 | |
JP2019046147A (ja) | 走行環境認識装置、走行環境認識方法、プログラム | |
JP3969984B2 (ja) | 移動物体の認識方法 | |
JP2016004382A (ja) | 動き情報推定装置 | |
CN112286178A (zh) | 识别***、车辆控制***、识别方法及存储介质 | |
KR20160020620A (ko) | 무인 단말기 제어 방법 및 장치 | |
JP2018066679A (ja) | 位置認識装置 | |
JP2024080881A (ja) | 自己位置推定装置、自己位置推定方法および自己位置推定プログラム | |
JP2021103148A (ja) | 推定装置、推定方法、推定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180607 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190702 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200915 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201008 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6777403 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |