JP7183121B2 - 作業車 - Google Patents
作業車 Download PDFInfo
- Publication number
- JP7183121B2 JP7183121B2 JP2019117488A JP2019117488A JP7183121B2 JP 7183121 B2 JP7183121 B2 JP 7183121B2 JP 2019117488 A JP2019117488 A JP 2019117488A JP 2019117488 A JP2019117488 A JP 2019117488A JP 7183121 B2 JP7183121 B2 JP 7183121B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- detection
- travel
- obstacle
- work
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims description 86
- 230000002093 peripheral effect Effects 0.000 claims description 56
- 230000033001 locomotion Effects 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 claims description 23
- 230000007704 transition Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000003306 harvesting Methods 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 8
- 238000007599 discharging Methods 0.000 description 7
- 230000002194 synthesizing effect Effects 0.000 description 7
- 238000010191 image analysis Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- 241001124569 Lycaenidae Species 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
- A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
- A01B69/001—Steering by means of optical assistance, e.g. television cameras
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
- A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
- A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
- A01B69/008—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Environmental Sciences (AREA)
- Soil Sciences (AREA)
- Mechanical Engineering (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Guiding Agricultural Machines (AREA)
- Traffic Control Systems (AREA)
- Combines (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
また、検知用画像のデータ量を抑制しながら、効率的に最適な範囲の検知画像を選択することができ、より精度良く障害物の検知を行うことができる。
また、運転者や作業者は、機体の周囲の状況を容易に認知することができる。
まず、図1から図3を用いてコンバインの全体構成について説明する。コンバインは、クローラ式の走行装置11、運転部12、脱穀装置13、穀粒タンク14、収穫部H、搬送装置16、穀粒排出装置18、衛星測位モジュール80を備える。搬送装置16、脱穀装置13および収穫部Hは作業装置の一例である。
次に、図1を参照しながら図4を用いて、コンバインの制御系の構成を説明する。この実施形態の制御系は、制御ユニット6を含み、多数のECUと呼ばれる電子制御ユニット(プロセッサ)と、各種動作機器、センサ群やスイッチ群、それらの間のデータ伝送を行う車載LANなどの配線網から構成されている。なお、制御ユニット6はこのようなハードウェアで構成されても良いが、一部または全部の構成を、適当な手順が実行されるソフトウェアで構成されても良い。また、このような構成をプロセッサが実行するプログラムにより実現しても良い。この場合、プログラムはコンバインに搭載される任意の記憶装置に格納される。
(1)上述のように、自動走行による作業走行においては、ある動作から次の動作に移行しながら、あらかじめ設定された動作が順に行われる。この際、上記実施形態では、ある動作が行われている際の進行方向前方が撮影された画像に相当する周辺画像(進行方向前方を撮影するカメラ4が撮影した周辺画像)が検知用画像として選択される。動作が移行される際には、移行の前から、次の動作における進行方向前方が撮影される画像に相当する周辺画像が検知用画像として選択されても良い。例えば、動作の移行として、直進走行後に左旋回が行われる場合、直進走行の最終段階において、検知用画像として選択される周辺画像が、前カメラ41が撮影した前方周辺画像から、左カメラ44が撮影した左方周辺画像が切り替えられる。切り替えるタイミングは、次の動作が開始される所定時間前でも良いし、次の前記動作が開始される位置より所定の距離だけ手前にコンバインに到達した時でも良い。この際、障害物検出部5は、図4に示すように、方向検出部51と、画像選別部52と、検知部53とに加えて、動作開始時検出部54を備える。動作開始時検出部54は、動作が移行するタイミングに対して、所定時間前、あるいは所定の距離だけ手前にコンバインに到達した時を検出し、その旨を画像選別部52に送信する。そして、画像選別部52は、次の動作における進行方向前方の周辺画像を検出用画像として選択して取得する。なお、進行方向は、前進走行する場合の機体10前方に限らず、後進走行の場合は、機体10の後方が進行方向となる。また、左旋回の場合は機体10の左方向が進行方向となる。
4 カメラ(撮像装置)
10 機体
51 方向検出部
52 画像選別部
53 検知部
63 自動走行制御部
70 画像処理部
300 周囲画像
303 検知用画像
F1 雑草(障害物)
F2 倒伏した作物(障害物)
F3 人物(障害物)
Claims (7)
- 作業走行を行う作業車であって、
機体の周囲を撮影する複数の撮像装置と、
複数の前記撮像装置が撮影した周辺画像を合成して、前記機体の周囲全周の周囲画像を生成する画像処理部と、
前記周囲画像が表示される表示装置と、
作業走行の進行方向を検出する方向検出部と、
前記方向検出部が検出した進行方向前方を撮影する前記撮像装置が撮影する1つの前記周辺画像、または、進行方向前方を撮影する前記撮像装置が撮影する前記周辺画像および進行方向前方を撮影する前記撮像装置と隣接して配置される1または複数の前記撮像装置が撮影する前記周辺画像を検知用画像として取得する画像選別部と、
前記画像選別部が取得した前記検知用画像を解析して障害物を検知する検知部とを備える作業車。 - あらかじめ設定された動作を順に行うように前記作業走行を自動走行制御する自動走行制御部を備える請求項1に記載の作業車。
- 前記自動走行制御部は、前記検知部が前記障害物を検知した場合に、あらかじめ設定された次の前記動作を変更する請求項2に記載の作業車。
- 前記画像選別部は、次の前記動作が開始される所定時間前から、次の前記動作における進行方向前方を撮影する前記撮像装置が撮影する前記周辺画像を前記検知用画像として選択的に取得する請求項2または3に記載の作業車。
- 前記画像選別部は、次の前記動作が開始される位置より所定の距離だけ手前から、次の前記動作における進行方向前方を撮影する前記撮像装置が撮影する前記周辺画像を前記検知用画像として選択的に取得する請求項2または3に記載の作業車。
- 前記自動走行制御部は、前記検知部が前記障害物を検知すると、前記作業走行の停止または前記動作の移行の停止を行う請求項2から5のいずれか一項に記載の作業車。
- 前記検知部は、機械学習されたニューラルネットワークを用いて前記障害物の検知を行う請求項1から6のいずれか一項に記載の作業車。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019117488A JP7183121B2 (ja) | 2019-06-25 | 2019-06-25 | 作業車 |
CN202080040074.1A CN113874874A (zh) | 2019-06-25 | 2020-05-20 | 作业车辆、障碍物检测方法、以及障碍物检测程序 |
EP20833468.0A EP3991533A4 (en) | 2019-06-25 | 2020-05-20 | WORK VEHICLE, OBSTACLE DETECTION METHOD AND OBSTACLE DETECTION PROGRAM |
PCT/JP2020/019933 WO2020261824A1 (ja) | 2019-06-25 | 2020-05-20 | 作業車、障害物検知方法、および障害物検知プログラム |
US17/603,452 US20220207882A1 (en) | 2019-06-25 | 2020-05-20 | Working Vehicle, Obstacle Detection Method, and Obstacle Detection Program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019117488A JP7183121B2 (ja) | 2019-06-25 | 2019-06-25 | 作業車 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021003014A JP2021003014A (ja) | 2021-01-14 |
JP7183121B2 true JP7183121B2 (ja) | 2022-12-05 |
Family
ID=74060257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019117488A Active JP7183121B2 (ja) | 2019-06-25 | 2019-06-25 | 作業車 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220207882A1 (ja) |
EP (1) | EP3991533A4 (ja) |
JP (1) | JP7183121B2 (ja) |
CN (1) | CN113874874A (ja) |
WO (1) | WO2020261824A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023276340A1 (ja) * | 2021-06-29 | 2023-01-05 | 株式会社クボタ | 農業機械のための管理システム |
CN116691502B (zh) * | 2023-08-01 | 2023-11-10 | 北京芯驰半导体科技有限公司 | 车辆环境的安全检测方法、装置、电子设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014033469A (ja) | 2013-11-01 | 2014-02-20 | Aisin Seiki Co Ltd | 車両周辺監視装置 |
JP2014129093A (ja) | 2014-03-11 | 2014-07-10 | Clarion Co Ltd | 車両用周辺監視装置 |
JP2014180046A (ja) | 2011-06-07 | 2014-09-25 | Komatsu Ltd | 作業車両の周辺監視装置 |
US20170316692A1 (en) | 2016-05-02 | 2017-11-02 | Cnh Industrial America Llc | System For Avoiding Collisions Between Autonomous Vehicles Conducting Agricultural Operations |
JP2018014554A (ja) | 2016-07-19 | 2018-01-25 | 株式会社クボタ | 作業車 |
JP2018085960A (ja) | 2016-11-29 | 2018-06-07 | 井関農機株式会社 | 農用作業機 |
JP2018113937A (ja) | 2017-01-20 | 2018-07-26 | 株式会社クボタ | 自動走行作業車 |
JP2019004772A (ja) | 2017-06-23 | 2019-01-17 | 株式会社クボタ | 収穫機 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6878221B2 (ja) | 2017-09-12 | 2021-05-26 | 日立建機株式会社 | 作業機械の障害物検知システム |
US10788835B2 (en) * | 2017-11-13 | 2020-09-29 | Raven Industries, Inc. | Safety system for autonomous operation of off-road and agricultural vehicles using machine learning for detection and identification of obstacles |
US11277956B2 (en) * | 2018-07-26 | 2022-03-22 | Bear Flag Robotics, Inc. | Vehicle controllers for agricultural and industrial applications |
-
2019
- 2019-06-25 JP JP2019117488A patent/JP7183121B2/ja active Active
-
2020
- 2020-05-20 US US17/603,452 patent/US20220207882A1/en active Pending
- 2020-05-20 CN CN202080040074.1A patent/CN113874874A/zh active Pending
- 2020-05-20 EP EP20833468.0A patent/EP3991533A4/en active Pending
- 2020-05-20 WO PCT/JP2020/019933 patent/WO2020261824A1/ja unknown
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014180046A (ja) | 2011-06-07 | 2014-09-25 | Komatsu Ltd | 作業車両の周辺監視装置 |
JP2014033469A (ja) | 2013-11-01 | 2014-02-20 | Aisin Seiki Co Ltd | 車両周辺監視装置 |
JP2014129093A (ja) | 2014-03-11 | 2014-07-10 | Clarion Co Ltd | 車両用周辺監視装置 |
US20170316692A1 (en) | 2016-05-02 | 2017-11-02 | Cnh Industrial America Llc | System For Avoiding Collisions Between Autonomous Vehicles Conducting Agricultural Operations |
JP2018014554A (ja) | 2016-07-19 | 2018-01-25 | 株式会社クボタ | 作業車 |
JP2018085960A (ja) | 2016-11-29 | 2018-06-07 | 井関農機株式会社 | 農用作業機 |
JP2018113937A (ja) | 2017-01-20 | 2018-07-26 | 株式会社クボタ | 自動走行作業車 |
JP2019004772A (ja) | 2017-06-23 | 2019-01-17 | 株式会社クボタ | 収穫機 |
Also Published As
Publication number | Publication date |
---|---|
EP3991533A4 (en) | 2023-10-11 |
EP3991533A1 (en) | 2022-05-04 |
WO2020261824A1 (ja) | 2020-12-30 |
US20220207882A1 (en) | 2022-06-30 |
CN113874874A (zh) | 2021-12-31 |
JP2021003014A (ja) | 2021-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3991531A1 (en) | Obstacle detection system, agricultural work vehicle, obstacle detection program, recording medium on which obstacle detection program is recorded, and obstacle detection method | |
JP7034866B2 (ja) | 収穫機 | |
JP7029910B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN107627957B (zh) | 作业车 | |
CN112740895B (zh) | 车辆连接引导 | |
KR20210033536A (ko) | 수확기, 수확 시스템, 수확 방법, 수확 프로그램 및 기록 매체 | |
JP6854713B2 (ja) | コンバイン | |
JP7381402B2 (ja) | 自動走行システム | |
JP7195543B2 (ja) | 収穫機 | |
KR20200053659A (ko) | 작업 차량 제어 시스템 | |
JP7183121B2 (ja) | 作業車 | |
JP7068781B2 (ja) | 収穫機 | |
JP7470843B2 (ja) | 自動走行システム及び自動走行方法 | |
WO2020218464A1 (ja) | 収穫機、障害物判定プログラム、障害物判定プログラムを記録した記録媒体、障害物判定方法、農作業機、制御プログラム、制御プログラムを記録した記録媒体、制御方法 | |
JP2022103238A (ja) | 走行経路生成システム | |
JP6904539B2 (ja) | 収穫機 | |
JP7246641B2 (ja) | 農作業機 | |
JP7109300B2 (ja) | 収穫機 | |
WO2020262416A1 (ja) | 自動走行システム、農作業機、プログラム、プログラムを記録した記録媒体、及び方法 | |
JP2020178619A (ja) | 農作業機 | |
WO2020218528A1 (ja) | 収穫機等の農作業機 | |
JP7041889B2 (ja) | 自脱型コンバイン | |
JP6765349B2 (ja) | 収穫機 | |
JP2024082940A (ja) | 作業車 | |
JP2024082938A (ja) | 車両制御システム及び作業車 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220902 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7183121 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |