JP2018055322A - 画像処理装置、撮像装置 - Google Patents
画像処理装置、撮像装置 Download PDFInfo
- Publication number
- JP2018055322A JP2018055322A JP2016189307A JP2016189307A JP2018055322A JP 2018055322 A JP2018055322 A JP 2018055322A JP 2016189307 A JP2016189307 A JP 2016189307A JP 2016189307 A JP2016189307 A JP 2016189307A JP 2018055322 A JP2018055322 A JP 2018055322A
- Authority
- JP
- Japan
- Prior art keywords
- feature extraction
- vehicle
- extraction unit
- unit
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 claims abstract description 258
- 238000004364 calculation method Methods 0.000 claims description 201
- 238000013468 resource allocation Methods 0.000 claims description 95
- 238000003384 imaging method Methods 0.000 claims description 19
- 238000000034 method Methods 0.000 description 59
- 230000008569 process Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 3
- 230000009191 jumping Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/265—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network constructional aspects of navigation devices, e.g. housings, mountings, displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Automation & Control Theory (AREA)
- Geometry (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Navigation (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明による撮像装置は、画像処理装置と、前記画像処理装置に接続されて前記撮像画像を取得する1または2以上のカメラ部と、を備える。
図1は、本発明の第1の実施形態に係る撮像装置1Aの構成を示す図である。図1に示す撮像装置1Aは、画像処理装置10Aと、画像処理装置10Aに接続されたカメラ部20とを備えており、車両制御部60に接続されている。
図2は、本発明の第2の実施形態に係る撮像装置1Bの構成を示す図である。図2に示す撮像装置1Bは、画像処理装置10Bと、画像処理装置10Bに接続されたカメラ部20とを備えており、車両制御部60に接続されている。なお、カメラ部20および車両制御部60については、第1の実施形態で説明したものと同一であるため、以下では説明を省略する。
図8は、車速に基づく演算リソース割合の決定方法の一例を説明する図である。本例では、車両制御部60から供給される車両情報は、車両50の車速を表しているものとする。演算リソース割当決定部113は、この車両情報を入力として、たとえば図8に示す車速と演算リソース割当率との関係に従って、距離特徴抽出部110と動き特徴抽出部111の演算リソース割合をそれぞれ決定する。図8において、横軸は車速の大きさを表し、縦軸は動き特徴抽出部111に対する演算リソース割当率の大きさ、すなわち動き特徴抽出処理に対して割り当てる演算リソース割合の大きさを表している。
図10は、走行モードに基づく演算リソース割合の決定方法の一例を説明する図である。本例では、車両制御部60から供給される車両情報は、車両50の走行モードを表しているものとする。演算リソース割当決定部113は、この車両情報を入力として、たとえば図10に示す走行モードと演算リソース割当率との関係に従って、距離特徴抽出部110と動き特徴抽出部111の演算リソース割合をそれぞれ決定する。図10において、横軸は走行モードを表し、縦軸は動き特徴抽出部111に対する演算リソース割当率の大きさ、すなわち動き特徴抽出処理に対して割り当てる演算リソース割合の大きさを表している。
図11は、地図情報に基づく演算リソース割合の決定方法の一例を説明する図である。本例では、車両制御部60から供給される車両情報は、地図上の車両50の位置、すなわち自車位置に応じた地図情報を表しているものとする。演算リソース割当決定部113は、この車両情報を入力として、たとえば図11に示す自車位置の地図情報と演算リソース割当率との関係に従って、距離特徴抽出部110と動き特徴抽出部111の演算リソース割合をそれぞれ決定する。図11において、横軸は地図情報が示す自車位置の属性を表し、縦軸は動き特徴抽出部111に対する演算リソース割当率の大きさ、すなわち動き特徴抽出処理に対して割り当てる演算リソース割合の大きさを表している。
図12は、交通状況に基づく演算リソース割合の決定方法の一例を説明する図である。本例では、車両制御部60から供給される車両情報は、車両50が走行している道路、すなわち走行道路の交通状況を表しているものとする。演算リソース割当決定部113は、この車両情報を入力として、たとえば図12に示す交通状況と演算リソース割当率との関係に従って、距離特徴抽出部110と動き特徴抽出部111の演算リソース割合をそれぞれ決定する。図12において、横軸は走行道路の交通状況を表し、縦軸は動き特徴抽出部111に対する演算リソース割当率の大きさ、すなわち動き特徴抽出処理に対して割り当てる演算リソース割合の大きさを表している。
図13は、地図情報と車速に基づく演算リソース割合の決定方法の一例を説明する図である。本例では、車両制御部60から供給される車両情報は、車両50の車速に加えて、地図上の車両50の位置、すなわち自車位置に応じた地図情報を表しているものとする。演算リソース割当決定部113は、この車両情報を入力として、たとえば図13に示す車速と演算リソース割当率との関係に従って、距離特徴抽出部110と動き特徴抽出部111の演算リソース割合をそれぞれ決定する。図13において、横軸は車速の大きさを表し、縦軸は動き特徴抽出部111に対する演算リソース割当率の大きさ、すなわち動き特徴抽出処理に対して割り当てる演算リソース割合の大きさを表している。
図3は、本発明の第3の実施形態に係る撮像装置1Cの構成を示す図である。図3に示す撮像装置1Cは、画像処理装置10Cと、画像処理装置10Cに接続されたカメラ部20およびカメラ部30とを備えており、車両制御部60に接続されている。なお、カメラ部20および車両制御部60については、第1の実施形態で説明したものと同一であるため、以下では説明を省略する。
図4は、本発明の第4の実施形態に係る撮像装置1Dの構成を示す図である。図4に示す撮像装置1Dは、画像処理装置10Dと、画像処理装置10Dに接続されたカメラ部20、カメラ部30およびカメラ部40とを備えており、車両制御部60に接続されている。なお、カメラ部20および車両制御部60については、第1の実施形態で説明したものと同一であるため、以下では説明を省略する。
10A、10B、10C、10D 画像処理装置
20、20、40 カメラ部
50 車両
60 車両制御部
110 距離特徴抽出部
111 動き特徴抽出部
112 演算リソース部
113 演算リソース割当決定部
114 認識処理部
Claims (9)
- 車両に搭載される画像処理装置であって、
前記車両の周辺の観測対象物を含む撮像画像から前記観測対象物の動きを示す動き情報を生成する動き特徴抽出部と、
前記撮像画像に基づいて前記車両から前記観測対象物までの距離を算出する距離特徴抽出部と、
前記動き特徴抽出部と距離特徴抽出部の処理結果に基づいて前記観測対象物の認識処理を行う認識部と、を備え、
所定の車両状態に基づいて、前記動き特徴抽出部と前記距離特徴抽出部の演算処理量をそれぞれ変化させる画像処理装置。 - 請求項1に記載の画像処理装置において、
前記動き特徴抽出部および前記距離特徴抽出部が共通に利用する演算リソース部と、
前記所定の車両状態に基づいて、前記動き特徴抽出部と前記距離特徴抽出部とにそれぞれ割り当てる前記演算リソース部の割合を決定する演算リソース割当決定部と、をさらに備え、
前記演算リソース割当決定部が決定した前記演算リソース部の割合に応じて、前記動き特徴抽出部と前記距離特徴抽出部の演算処理量をそれぞれ変化させる画像処理装置。 - 請求項1または請求項2に記載の画像処理装置において、
前記画像処理装置は、複数のカメラ部に接続されており、
前記動き特徴抽出部は、前記複数のカメラ部のいずれかで取得された前記撮像画像に基づいて前記動き情報を生成し、
前記距離特徴抽出部は、前記複数のカメラ部のいずれか2以上でそれぞれ取得された前記撮像画像に基づいて前記観測対象物までの距離を算出する画像処理装置。 - 請求項1から3までのいずれか一項に記載の画像処理装置において、
前記所定の車両状態は、前記車両の車速を含む画像処理装置。 - 請求項1から4までのいずれか一項に記載の画像処理装置において、
前記所定の車両状態は、前記車両の走行モードを含む画像処理装置。 - 請求項1から5までのいずれか一項に記載の画像処理装置において、
前記所定の車両状態は、地図上の前記車両の位置に応じた地図情報を含む画像処理装置。 - 請求項1から6までのいずれか一項に記載の画像処理装置において、
前記所定の車両状態は、前記車両が走行している道路の交通状況を含む画像処理装置。 - 請求項2に記載の画像処理装置において、
前記所定の車両状態は、前記車両の車速を含み、
前記演算リソース割当決定部は、前記車両の車速が所定値を下回る場合に、前記車両の車速が前記所定値以上である場合と比較して、前記動き特徴抽出部に割り当てる前記演算リソース部の割合を相対的に高くする画像処理装置。 - 請求項1から8までのいずれか一項に記載の画像処理装置と、
前記画像処理装置に接続されて前記撮像画像を取得する1または2以上のカメラ部と、を備える撮像装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016189307A JP6656129B2 (ja) | 2016-09-28 | 2016-09-28 | 画像処理装置、撮像装置 |
CN201780051001.0A CN109643447B (zh) | 2016-09-28 | 2017-07-24 | 图像处理装置、摄像装置 |
EP17855386.3A EP3522111A4 (en) | 2016-09-28 | 2017-07-24 | IMAGE PROCESSING DEVICE AND IMAGE DETECTING DEVICE |
US16/331,799 US11042757B2 (en) | 2016-09-28 | 2017-07-24 | Image processing device and image capturing apparatus |
PCT/JP2017/026730 WO2018061428A1 (ja) | 2016-09-28 | 2017-07-24 | 画像処理装置、撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016189307A JP6656129B2 (ja) | 2016-09-28 | 2016-09-28 | 画像処理装置、撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018055322A true JP2018055322A (ja) | 2018-04-05 |
JP6656129B2 JP6656129B2 (ja) | 2020-03-04 |
Family
ID=61759520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016189307A Active JP6656129B2 (ja) | 2016-09-28 | 2016-09-28 | 画像処理装置、撮像装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11042757B2 (ja) |
EP (1) | EP3522111A4 (ja) |
JP (1) | JP6656129B2 (ja) |
CN (1) | CN109643447B (ja) |
WO (1) | WO2018061428A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019181623A1 (ja) | 2018-03-22 | 2019-09-26 | セントラル硝子株式会社 | 車両用窓ガラス |
CN111275056A (zh) * | 2020-02-12 | 2020-06-12 | 中国人民解放军海军航空大学 | 用于计算目标脱靶量的目标识别软件***及目标识别*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001099662A (ja) * | 1999-09-29 | 2001-04-13 | Matsushita Electric Ind Co Ltd | ナビゲーション装置 |
WO2011055581A1 (ja) * | 2009-11-06 | 2011-05-12 | 日立オートモティブシステムズ株式会社 | 車載用マルチアプリ実行装置 |
JP2011248640A (ja) * | 2010-05-27 | 2011-12-08 | Honda Motor Co Ltd | 車両の周辺監視装置 |
JP2014178836A (ja) * | 2013-03-14 | 2014-09-25 | Fuji Heavy Ind Ltd | 車両の外部環境認識装置 |
JP2014182602A (ja) * | 2013-03-19 | 2014-09-29 | Mitsubishi Electric Corp | 情報処理装置及び情報処理方法及びプログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4903426B2 (ja) * | 2005-11-30 | 2012-03-28 | アイシン・エィ・ダブリュ株式会社 | 画像認識装置及び方法、並びに自車位置認識装置及び方法 |
US9085301B2 (en) * | 2010-02-16 | 2015-07-21 | Toyota Jidosha Kabushiki Kaisha | Vehicle control device |
KR20110125128A (ko) * | 2010-05-12 | 2011-11-18 | 주식회사 만도 | 경사로의 적응 순항 제어 방법 |
CN103380033B (zh) * | 2011-02-03 | 2015-09-30 | 丰田自动车株式会社 | 车辆控制装置 |
CN103764448B (zh) * | 2011-09-05 | 2016-03-02 | 三菱电机株式会社 | 图像处理装置及图像处理方法 |
US20150363653A1 (en) * | 2013-01-25 | 2015-12-17 | Toyota Jidosha Kabushiki Kaisha | Road environment recognition system |
JP2015001812A (ja) * | 2013-06-14 | 2015-01-05 | パナソニック株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
KR101628503B1 (ko) * | 2014-10-27 | 2016-06-08 | 현대자동차주식회사 | 운전자 보조장치 및 그 작동 방법 |
KR101822892B1 (ko) * | 2014-12-10 | 2018-01-29 | 엘지전자 주식회사 | 차량 운전 보조 장치 및 차량 운전 보조 장치의 동작 방법 |
-
2016
- 2016-09-28 JP JP2016189307A patent/JP6656129B2/ja active Active
-
2017
- 2017-07-24 WO PCT/JP2017/026730 patent/WO2018061428A1/ja unknown
- 2017-07-24 US US16/331,799 patent/US11042757B2/en active Active
- 2017-07-24 CN CN201780051001.0A patent/CN109643447B/zh active Active
- 2017-07-24 EP EP17855386.3A patent/EP3522111A4/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001099662A (ja) * | 1999-09-29 | 2001-04-13 | Matsushita Electric Ind Co Ltd | ナビゲーション装置 |
WO2011055581A1 (ja) * | 2009-11-06 | 2011-05-12 | 日立オートモティブシステムズ株式会社 | 車載用マルチアプリ実行装置 |
JP2011248640A (ja) * | 2010-05-27 | 2011-12-08 | Honda Motor Co Ltd | 車両の周辺監視装置 |
JP2014178836A (ja) * | 2013-03-14 | 2014-09-25 | Fuji Heavy Ind Ltd | 車両の外部環境認識装置 |
JP2014182602A (ja) * | 2013-03-19 | 2014-09-29 | Mitsubishi Electric Corp | 情報処理装置及び情報処理方法及びプログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019181623A1 (ja) | 2018-03-22 | 2019-09-26 | セントラル硝子株式会社 | 車両用窓ガラス |
CN111275056A (zh) * | 2020-02-12 | 2020-06-12 | 中国人民解放军海军航空大学 | 用于计算目标脱靶量的目标识别软件***及目标识别*** |
Also Published As
Publication number | Publication date |
---|---|
EP3522111A4 (en) | 2020-06-17 |
CN109643447B (zh) | 2023-10-13 |
JP6656129B2 (ja) | 2020-03-04 |
WO2018061428A1 (ja) | 2018-04-05 |
US20190244037A1 (en) | 2019-08-08 |
US11042757B2 (en) | 2021-06-22 |
CN109643447A (zh) | 2019-04-16 |
EP3522111A1 (en) | 2019-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109313856B (zh) | 物体检测方法及物体检测装置 | |
JP6544444B2 (ja) | 運転支援方法及び装置 | |
CN109515434B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
JP6428928B2 (ja) | オクルージョン制御装置 | |
JP6597899B2 (ja) | 物体追跡方法及び物体追跡装置 | |
JP6801116B2 (ja) | 走行制御装置、車両および走行制御方法 | |
JP2017151541A (ja) | 情報処理装置 | |
WO2020008220A1 (ja) | 走行軌道生成方法及び走行軌道生成装置 | |
JP2019130995A (ja) | 車両制御装置 | |
JP6652024B2 (ja) | 車両制御方法及び車両制御装置 | |
JP6297956B2 (ja) | 経路生成装置 | |
JP2011118570A (ja) | 車両の衝突を回避するための装置 | |
JP7355001B2 (ja) | 運転支援システム、運転支援方法、及び運転支援プログラム | |
JP7042185B2 (ja) | 距離算出装置 | |
JP6654440B2 (ja) | 車両認識装置および車両認識方法 | |
JP2017001596A (ja) | 停車位置設定装置及び方法 | |
JP2020087267A (ja) | 経路候補設定システム及び経路候補設定方法 | |
WO2018061428A1 (ja) | 画像処理装置、撮像装置 | |
JP5452004B2 (ja) | 車両の運転支援装置 | |
WO2019008648A1 (ja) | 運転支援車両の目標車速生成方法及び目標車速生成装置 | |
JP2018138405A (ja) | 車両運転支援システム及び方法 | |
JP6838769B2 (ja) | 周辺環境認識装置、表示制御装置 | |
JP6650635B2 (ja) | 判定装置、判定方法、および判定プログラム | |
JP2020129331A (ja) | 逆走判定システム、逆走判定方法、及び逆走判定プログラム | |
JPWO2020075476A1 (ja) | 車載システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20170126 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170927 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6656129 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |