JP6888950B2 - 画像処理装置、外界認識装置 - Google Patents
画像処理装置、外界認識装置 Download PDFInfo
- Publication number
- JP6888950B2 JP6888950B2 JP2016244043A JP2016244043A JP6888950B2 JP 6888950 B2 JP6888950 B2 JP 6888950B2 JP 2016244043 A JP2016244043 A JP 2016244043A JP 2016244043 A JP2016244043 A JP 2016244043A JP 6888950 B2 JP6888950 B2 JP 6888950B2
- Authority
- JP
- Japan
- Prior art keywords
- feature map
- vehicle
- unit
- verification
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 71
- 238000012795 verification Methods 0.000 claims description 130
- 238000001514 detection method Methods 0.000 claims description 107
- 238000012937 correction Methods 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000002093 peripheral effect Effects 0.000 description 16
- 238000011176 pooling Methods 0.000 description 14
- 238000013135 deep learning Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 13
- 238000003702 image correction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 6
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Mechanical Engineering (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本発明による外界認識装置は、上記画像処理装置を備え、前記検出結果修正部により修正された他車両の検知結果に基づいて、自車両の運転者に対する警告を行うための警報信号および前記自車両の動作を制御するための車両制御信号のいずれか少なくとも一つを出力する。
以下、本発明の第1の実施形態に係る画像処理装置について、図面を参照して説明する。図1は、本発明の第1の実施形態に係る画像処理装置10の機能構成を示すブロック図である。図1に示す画像処理装置10は、車両に搭載されて用いられる。なお、以下の説明では、画像処理装置10が搭載されている車両を「自車両」と称し、自車両の周囲に存在する他の車両を「他車両」と称する。
ところで、各畳み込み層の畳み込み演算で使用するフィルタ係数とは、画像認識に重要な縦線、横線、斜め線または曲線などの画像特徴に強く反応して、その反応した画像特徴成分のみを抽出するように設定された画像特徴抽出のフィルタ数値群のことである。例えば、車両検知の例では入力画像に映る車両を構成する画像特徴成分(車両全体のアウトライン、ボンネット部分のライン、フロントウインドウ部分のライン、車両ボディーの濃淡状態など)を抽出できるようにフィルタ係数を設計する。機械学習を用いたフィルタ設計においては、入力した画像の大多数に含まれる共通な画像成分を獲得することができる。このため、準備段階である画像学習時に車両が映る複数の入力画像を学習させることで、車両を構成する代表的な画像特徴成分を自動的に抽出可能であり、これを畳み込み演算のフィルタ係数として用いる。
図9は、本発明の第2の実施形態に係る外界認識装置の一例を示す図である。図9に示すように、本実施形態の外界認識装置900は、第1の実施形態で説明した画像処理装置10と、周辺認識部901、信号処理部902およびドライバー通知部903とを備える。外界認識装置900は、画像処理装置10と同様に自車両に搭載されたカメラ20に接続されると共に、自車両に搭載された制御部911、メモリ912、自車両制御部913、LED914、スピーカ915、ディスプレイ916およびカーナビゲーション装置917にも接続されている。なお、画像処理装置10と他の各機器とは、自車両内の信号バスを介して互いに接続されている。
20 カメラ
101 画像補正部
102 優先方向選択部
103 車両検出部
104 特徴マップ検証部
105 時系列検証部
106 検出結果修正部
900 外界認識装置
901 周辺認識部
902 信号処理部
903 ドライバー通知部
Claims (8)
- カメラで撮影して得られた撮影画像に基づく入力画像に対して畳み込み演算を行い、対象物を検出する対象物検出部と、
前記畳み込み演算によって得られる特徴マップに基づいて、前記入力画像に前記対象物が含まれる確からしさを検証する特徴マップ検証を行う特徴マップ検証部と、
前記特徴マップ検証部による前記特徴マップ検証の結果を時系列で検証する時系列検証を行う時系列検証部と、
前記時系列検証部による前記時系列検証の結果に基づいて、前記対象物検出部による前記対象物の検出結果を修正する検出結果修正部と、を備え、
前記特徴マップは、複数のブロックで構成され、
前記特徴マップ検証部は、前記特徴マップを構成する前記複数のブロックの各々について前記対象物の特徴を示すか否かを判定し、前記特徴マップにおいて前記対象物の特徴を示すと判定されたブロックと、前記特徴マップにおいて前記対象物の特徴を示さないと判定されたブロックとの配置に基づいて、前記特徴マップ検証を行う画像処理装置。 - 請求項1に記載の画像処理装置において、
前記対象物検出部は、前記入力画像に対して前記畳み込み演算を複数回行い、
前記特徴マップ検証部は、複数回の前記畳み込み演算によって得られる複数の前記特徴マップの各々について前記特徴マップ検証を行う画像処理装置。 - 請求項1または2に記載の画像処理装置において、
前記特徴マップ検証部は、前記配置と予め記憶された配置パターンとの比較による比較結果に基づいて前記特徴マップ検証を行う画像処理装置。 - 請求項1または2に記載の画像処理装置において、
前記画像処理装置は自車両に搭載されており、
前記対象物は前記自車両の周囲に存在する他車両である画像処理装置。 - 請求項4に記載の画像処理装置において、
前記自車両の走行状態に基づいて前記対象物を優先的に検知すべき方向を設定する優先方向選択部をさらに備え、
前記特徴マップ検証部は、前記配置と予め記憶された配置パターンとの比較による比較結果に基づいて前記特徴マップ検証を行い、
前記特徴マップ検証部は、前記優先方向選択部により設定された方向に基づいて、前記比較に用いる前記配置パターンを決定する画像処理装置。 - 請求項3に記載の画像処理装置において、
前記画像処理装置は自車両に搭載されており、
前記対象物は前記自車両の周囲に存在する他車両である画像処理装置。 - 請求項4から請求項6までのいずれか一項に記載の画像処理装置を備え、
前記検出結果修正部により修正された前記他車両の検知結果に基づいて、前記自車両の運転者に対する警告を行うための警報信号および前記自車両の動作を制御するための車両制御信号のいずれか少なくとも一つを出力する外界認識装置。 - カメラで撮影して得られた撮影画像に基づく入力画像に対して畳み込み演算を行い、対象物を検出する対象物検出部と、
前記畳み込み演算によって得られる特徴マップと予め記憶された前記対象物に関する特徴マップのパターンと比較することにより、前記入力画像に前記対象物が含まれる確からしさを検証する特徴マップ検証を行う特徴マップ検証部と、
前記特徴マップ検証部による前記特徴マップ検証の結果を時系列に参照し、前記特徴マップ検証の結果の出力について時間方向の連続性を調べて、所定の設定回数以上に連続しているか否かの判断条件に基づいて、前記特徴マップ検証の結果を補正する時系列検証部と、
前記時系列検証部による前記特徴マップ検証の結果の補正結果に基づいて、前記対象物検出部による前記対象物の検出結果を修正する検出結果修正部と、を備える画像処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016244043A JP6888950B2 (ja) | 2016-12-16 | 2016-12-16 | 画像処理装置、外界認識装置 |
EP17879882.3A EP3557524A4 (en) | 2016-12-16 | 2017-12-13 | IMAGE PROCESSING DEVICE AND ENVIRONMENTAL DETECTION DEVICE |
PCT/JP2017/044759 WO2018110605A1 (ja) | 2016-12-16 | 2017-12-13 | 画像処理装置、外界認識装置 |
US16/469,770 US11461595B2 (en) | 2016-12-16 | 2017-12-13 | Image processing apparatus and external environment recognition apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016244043A JP6888950B2 (ja) | 2016-12-16 | 2016-12-16 | 画像処理装置、外界認識装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018097766A JP2018097766A (ja) | 2018-06-21 |
JP2018097766A5 JP2018097766A5 (ja) | 2019-08-22 |
JP6888950B2 true JP6888950B2 (ja) | 2021-06-18 |
Family
ID=62559529
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016244043A Active JP6888950B2 (ja) | 2016-12-16 | 2016-12-16 | 画像処理装置、外界認識装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11461595B2 (ja) |
EP (1) | EP3557524A4 (ja) |
JP (1) | JP6888950B2 (ja) |
WO (1) | WO2018110605A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6688277B2 (ja) * | 2017-12-27 | 2020-04-28 | 本田技研工業株式会社 | プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置 |
US10969237B1 (en) * | 2018-03-23 | 2021-04-06 | Apple Inc. | Distributed collection and verification of map information |
JP7028729B2 (ja) * | 2018-06-22 | 2022-03-02 | 株式会社 日立産業制御ソリューションズ | 物体追跡装置、物体追跡システム、および物体追跡方法 |
JP7010780B2 (ja) * | 2018-07-10 | 2022-01-26 | Kddi株式会社 | 物体領域抽出装置及び物体領域抽出方法 |
JP7203563B2 (ja) | 2018-10-29 | 2023-01-13 | 日立Astemo株式会社 | 移動体挙動予測装置 |
US10824947B2 (en) * | 2019-01-31 | 2020-11-03 | StradVision, Inc. | Learning method for supporting safer autonomous driving without danger of accident by estimating motions of surrounding objects through fusion of information from multiple sources, learning device, testing method and testing device using the same |
JP7006635B2 (ja) * | 2019-02-28 | 2022-01-24 | 株式会社豊田中央研究所 | 制御装置、移動体、および学習方法 |
JP6671603B1 (ja) * | 2019-03-01 | 2020-03-25 | KB−eye株式会社 | 管理サーバ、交通制御システム、交通制御方法および交通制御プログラム |
JP6820489B2 (ja) * | 2019-06-13 | 2021-01-27 | 富士通クライアントコンピューティング株式会社 | 画像処理装置、および、画像処理プログラム |
JP7145830B2 (ja) * | 2019-09-12 | 2022-10-03 | Kddi株式会社 | 符号化パラメータ特徴量を利用した対象識別方法、装置及びプログラム |
CN111186379B (zh) * | 2020-01-21 | 2021-12-03 | 武汉大学 | 一种基于深度学习的汽车盲区危险物报警方法 |
JP7396115B2 (ja) | 2020-02-26 | 2023-12-12 | 富士通株式会社 | テンプレート画像更新プログラム、テンプレート画像更新方法、及びテンプレート画像更新装置 |
US20210356953A1 (en) * | 2020-05-18 | 2021-11-18 | At&T Intellectual Property I, L.P. | Deviation detection for uncrewed vehicle navigation paths |
JP7244562B2 (ja) * | 2021-03-23 | 2023-03-22 | 本田技研工業株式会社 | 移動体の制御装置及び制御方法並びに車両 |
JP7467402B2 (ja) * | 2021-09-24 | 2024-04-15 | キヤノン株式会社 | 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム |
CN115512306B (zh) * | 2022-11-15 | 2023-04-25 | 成都睿瞳科技有限责任公司 | 基于图像处理来预警电梯内暴力事件的方法 |
CN116311361B (zh) * | 2023-03-02 | 2023-09-15 | 北京化工大学 | 一种基于像素级标注的危险源室内工作人员定位方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE60037360T2 (de) * | 1999-05-28 | 2008-12-04 | Nippon Telegraph And Telephone Corp. | Verfahren und Vorrichtung zur Geschwindigkeitsmessung von Fahrzeugen mit ein Bildverarbeitungssystem |
JP2001357396A (ja) * | 2000-06-16 | 2001-12-26 | Matsushita Electric Ind Co Ltd | 画像処理装置および画像認識装置 |
IL156250A0 (en) * | 2000-12-05 | 2004-01-04 | Yeda Res & Dev | Apparatus and method for alignment of spatial or temporal non-overlapping image sequences |
JP4357935B2 (ja) * | 2003-11-14 | 2009-11-04 | 株式会社東芝 | 情報処理装置およびサインデータ入力プログラム |
JP3910629B2 (ja) * | 2004-08-03 | 2007-04-25 | 松下電器産業株式会社 | 人物判定装置及び人物検索追跡装置 |
US8001062B1 (en) * | 2007-12-07 | 2011-08-16 | Google Inc. | Supervised learning using multi-scale features from time series events and scale space decompositions |
CN103679127B (zh) * | 2012-09-24 | 2017-08-04 | 株式会社理光 | 检测道路路面的可行驶区域的方法和装置 |
KR101716646B1 (ko) * | 2013-01-10 | 2017-03-15 | 한국전자통신연구원 | 국부이진패턴을 이용한 객체 검출 인식 방법 및 장치 |
KR20150108701A (ko) * | 2014-03-18 | 2015-09-30 | 삼성전자주식회사 | 의료 영상 내 해부학적 요소 시각화 시스템 및 방법 |
JP6593588B2 (ja) * | 2015-02-16 | 2019-10-23 | パナソニックIpマネジメント株式会社 | 物体検出装置および物体検出方法 |
US10061023B2 (en) | 2015-02-16 | 2018-08-28 | Panasonic Intellectual Property Management Co., Ltd. | Object detection apparatus and method |
US20170124409A1 (en) * | 2015-11-04 | 2017-05-04 | Nec Laboratories America, Inc. | Cascaded neural network with scale dependent pooling for object detection |
-
2016
- 2016-12-16 JP JP2016244043A patent/JP6888950B2/ja active Active
-
2017
- 2017-12-13 WO PCT/JP2017/044759 patent/WO2018110605A1/ja active Search and Examination
- 2017-12-13 US US16/469,770 patent/US11461595B2/en active Active
- 2017-12-13 EP EP17879882.3A patent/EP3557524A4/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
WO2018110605A1 (ja) | 2018-06-21 |
EP3557524A1 (en) | 2019-10-23 |
US20190370609A1 (en) | 2019-12-05 |
US11461595B2 (en) | 2022-10-04 |
EP3557524A4 (en) | 2020-08-12 |
JP2018097766A (ja) | 2018-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6888950B2 (ja) | 画像処理装置、外界認識装置 | |
CN109478324B (zh) | 图像处理装置、外界识别装置 | |
US10755384B2 (en) | Object detection method and object detection system | |
KR101362324B1 (ko) | 차선 이탈 경보 시스템 및 방법 | |
CN108162858B (zh) | 车载监控装置及其方法 | |
JP4425642B2 (ja) | 歩行者抽出装置 | |
JP4528283B2 (ja) | 車両周辺監視装置 | |
US20150169980A1 (en) | Object recognition device | |
JP2005309797A (ja) | 歩行者警報装置 | |
WO2017208601A1 (ja) | 画像処理装置、外界認識装置 | |
JP2017167608A (ja) | 物体認識装置、物体認識方法及び物体認識プログラム | |
JP2011103058A (ja) | 誤認識防止装置 | |
KR101680833B1 (ko) | 보행자 검출 경보 장치 및 방법 | |
JP6533244B2 (ja) | 対象物検知装置、対象物検知方法、及び対象物検知プログラム | |
US9881233B2 (en) | Image recognition apparatus | |
JP6891082B2 (ja) | 物体距離検出装置 | |
US20190188500A1 (en) | Apparatus for monitoring object in low light environment and monitoring method thereof | |
JP7005762B2 (ja) | カメラ装置の標識認識方法及び標識認識装置 | |
KR102322815B1 (ko) | 카메라 기반의 도로이벤트 점유차로 검출 장치 및 그 방법 | |
JP2011090490A (ja) | 障害物認識装置 | |
KR102039814B1 (ko) | 측후방 차량 검출 방법 및 그 장치 | |
KR101982091B1 (ko) | 서라운드 뷰 모니터링 시스템 | |
JP2018002007A (ja) | 鉄道用障害物検知システム | |
JPWO2020071133A1 (ja) | 標識認識装置 | |
KR20210032344A (ko) | 차선이탈 경보 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20170315 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170921 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190710 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200923 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210427 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210520 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6888950 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |