JP2020181290A - 物品認識システムおよび物品認識方法 - Google Patents
物品認識システムおよび物品認識方法 Download PDFInfo
- Publication number
- JP2020181290A JP2020181290A JP2019082646A JP2019082646A JP2020181290A JP 2020181290 A JP2020181290 A JP 2020181290A JP 2019082646 A JP2019082646 A JP 2019082646A JP 2019082646 A JP2019082646 A JP 2019082646A JP 2020181290 A JP2020181290 A JP 2020181290A
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- image
- unit
- article
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000011156 evaluation Methods 0.000 claims abstract description 44
- 238000003860 storage Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 32
- 230000008859 change Effects 0.000 claims description 25
- 230000007717 exclusion Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 2
- 238000000605 extraction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 230000010365 information processing Effects 0.000 description 7
- 230000036544 posture Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Image Analysis (AREA)
Abstract
Description
図1は、実施例の物品認識システムの構成例を示すブロック図である。物品認識システムは、一般的なサーバ等で構成される情報処理装置100と、物品を撮影するカメラ150およびユーザが操作する端末160を備える。
図2は、実施例の物品認識システムの認識処理を示すフローチャートである。本実施例では、物品の認識を行い、さらに認識した物品を機械的にピッキングする例を示している。
パラメータ調整は、パラメータ調整部113が実行する。
<3−1.調整対象パラメータ>
本実施例で調整可能なパラメータとしては、以下のものが考えられる。もっとも、これらの全てを調整する必要はない。また、これら以外のパラメータを含めることも可能である。後に図8で説明するように、オペレータが端末160からあらかじめ調整するパラメータを選択できるようにしてもよい。
図3はパラメータ調整部113が実行する、パラメータの調整処理を行うフローを示す図である。図2の判定S205、S210、S213のいずれかでYESに分岐した場合、パラメータ調整S206が開始される。なお、この分岐を以下「アラート」ということがある。
図4は、試行シーケンスS301の具体例を示すフロー図である。試行シーケンスでは、パラメータを変更して認識を行い、その結果を評価する。認識と認識評価の処理は、基本的に図2の処理と同様であり、同様の処理については同じ符号を付している。
図3に戻り、試行シーケンスS301が終わると、試行結果提示処理S302およびパラメータ変更処理S303が行われる。
図7は、物品認識システムの稼働前の初期設定において、端末160に示される設定画面の例を示す図である。この画面では、認識動作の評価の適用および評価のための閾値設定を行う。
Claims (15)
- 撮影した画像を入力する入力部と、
ユーザに情報を提示する出力部と、
認識対象の特徴を定義したマスタデータを記憶する記憶部と、
前記画像から抽出した情報と前記マスタデータに基づいて、前記画像の中の認識対象を検出する認識部と、
前記認識部の認識内容を評価し、評価結果に基づいて前記出力部にアラートを提示する認識評価部と、
を備える物品認識システム。 - 前記認識部は、前記画像の中の認識対象の特徴点を抽出し、
前記認識評価部は、抽出した前記特徴点の数あるいは抽出した前記特徴点の数の前記マスタデータの特徴点の数に対する割合が第1の警告閾値を下回った場合に、前記アラートとして第1の警告情報を提示する、
請求項1記載の物品認識システム。 - 前記認識部は、前記マスタデータの特徴点の特徴量と前記画像の中の認識対象の特徴点の特徴量を照合して対応付け、
前記認識評価部は、前記マスタデータの特徴点と前記画像の中の認識対象の特徴点が対応付けられる数あるいは割合が第2の警告閾値を下回った場合に、前記アラートとして第2の警告情報を提示する、
請求項1記載の物品認識システム。 - 前記認識部は、前記画像の中の認識対象の姿勢を推定する処理を行い、対応付けられる前記マスタデータの特徴点と前記画像の中の認識対象の特徴点の位置が所定以上離れた特徴点を排除し、排除後に残った特徴点を一致点とし、
前記認識評価部は、前記一致点の数あるいは前記一致点の前記マスタデータの特徴点の数に対する割合が第3の警告閾値を下回った場合に、前記アラートとして第3の警告情報を提示する、
請求項3記載の物品認識システム。 - 前記認識評価部は、抽出した前記特徴点の数あるいは抽出した前記特徴点の数の前記マスタデータの特徴点の数に対する割合が前記第1の警告閾値より低い第1の停止閾値を下回った場合に、システムに所定の動作を指示する、
請求項2記載の物品認識システム。 - 前記認識評価部は、前記マスタデータの特徴点と前記画像の中の認識対象の特徴点が対応付けられる数あるいは割合が前記第2の警告閾値より低い第2の停止閾値を下回った場合に、システムに所定の動作を指示する、
請求項3記載の物品認識システム。 - 前記認識評価部は、前記一致点の数あるいは前記一致点の前記マスタデータの特徴点の数に対する割合が前記第3の警告閾値より低い第3の停止閾値を下回った場合に、システムに所定の動作を指示する、
請求項4記載の物品認識システム。 - パラメータ調整部を備え、
前記認識評価部は、前記認識部の認識内容を評価し、評価結果に基づいて前記出力部にアラートを提示するとともに前記パラメータ調整部にパラメータ調整を指示し、
前記パラメータ調整部は、
前記画像の撮影のための撮影パラメータ、撮影した画像を処理する画像処理パラメータ、および前記認識部の処理に用いるパラメータの少なくとも一つを変化させ、
変化させたパラメータを使用して、前記認識部に前記画像の中の認識対象の検出を行わせて、前記認識評価部に前記認識部の認識内容を評価させる試行シーケンスを行い、
前記認識評価部の認識内容の評価結果に基づいて、前記出力部に変更すべきパラメータの候補を提示する、
請求項1記載の物品認識システム。 - 前記認識評価部の認識内容の評価結果に基づいて、前記出力部に変更すべきパラメータの候補を提示する際に、前記認識評価部の認識内容の評価結果を提示する、
請求項8記載の物品認識システム。 - 前記認識評価部の認識内容の評価結果に基づいて、前記出力部に変更すべきパラメータの候補を提示する際に、ユーザがパラメータの候補の提示条件あるいは提示方法を変更可能である、
請求項9記載の物品認識システム。 - 機械系制御部を備え、
前記機械系制御部は、前記認識部が前記画像の中の認識対象を検出した後、当該認識対象を機械的に操作する機械系を制御するものであり、
前記試行シーケンスを前記機械系の制御と並行して行う、
請求項8記載の物品認識システム。 - 前記出力部に前記試行シーケンスに必要な時間を提示し、ユーザが前記試行シーケンスで変化させるパラメータの数および内容の少なくとも一つを変更可能である、
請求項11記載の物品認識システム。 - 認識対象の特徴およびその配置をマスタデータとして記憶しておき、画像中の認識対象を検出する物品認識方法であって、
物品を撮影した画像を入力する第1のステップと、
前記画像から特徴を抽出し、前記マスタデータと特徴およびその配置が所定以上の照合度で対応付けられる物品を画像の中から検出する第2のステップと、
前記第2のステップにおいて、前記照合度が停止閾値を下回ったかどうかを判定する第3のステップと、
前記第2のステップにおいて、前記照合度が前記停止閾値より高いアラート閾値を下回ったかを判定する第4のステップと、
前記第4のステップにおいて、アラート閾値を下回ったと判定された場合、前記第2のステップで用いるパラメータを変更して前記第2のステップを試行する第5のステップと、
前記第5のステップによる、前記第2のステップの試行結果の照合度を評価する第6のステップと、
前記第6のステップによる評価の結果をユーザに提示する第7のステップと、
を備える物品認識方法。 - 前記第2のステップでは、
前記画像の中の特徴点を抽出し、前記マスタデータの特徴点の特徴量と前記画像の中の認識対象の特徴点の特徴量を照合して対応付け、前記画像の中の認識対象の姿勢を推定する処理を行い、対応付けられる前記マスタデータの特徴点と前記画像の中の認識対象の特徴点の位置が所定以上離れた特徴点を排除し、排除後に残った特徴点に基づいて前記照合度を計算する、
請求項13記載の物品認識方法。 - 前記第3のステップにおいて、停止閾値を下回ったと判定されない限り、前記第1乃至第4のステップが継続して行われ、前記第1乃至第4のステップのバックグラウンドで、前記第5乃至第7のステップが行われる、
請求項13記載の物品認識方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019082646A JP7186128B2 (ja) | 2019-04-24 | 2019-04-24 | 物品認識システムおよび物品認識方法 |
US16/851,647 US11244159B2 (en) | 2019-04-24 | 2020-04-17 | Article recognition system and article recognition method |
CN202010319980.7A CN111860099A (zh) | 2019-04-24 | 2020-04-22 | 物品识别***以及物品识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019082646A JP7186128B2 (ja) | 2019-04-24 | 2019-04-24 | 物品認識システムおよび物品認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020181290A true JP2020181290A (ja) | 2020-11-05 |
JP7186128B2 JP7186128B2 (ja) | 2022-12-08 |
Family
ID=72917068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019082646A Active JP7186128B2 (ja) | 2019-04-24 | 2019-04-24 | 物品認識システムおよび物品認識方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11244159B2 (ja) |
JP (1) | JP7186128B2 (ja) |
CN (1) | CN111860099A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022239202A1 (ja) * | 2021-05-13 | 2022-11-17 | ファナック株式会社 | 画像処理装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6967065B2 (ja) * | 2017-03-09 | 2021-11-17 | 株式会社 資生堂 | 情報処理装置、プログラム、及び、情報処理方法 |
JP7509245B2 (ja) * | 2021-01-21 | 2024-07-02 | 日本電気株式会社 | パラメータ最適化システム、パラメータ最適化方法、及びコンピュータプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001229341A (ja) * | 2000-02-14 | 2001-08-24 | Mitsubishi Electric Corp | 文字認識装置及び文字認識方法 |
JP2004326693A (ja) * | 2003-04-28 | 2004-11-18 | Sony Corp | 画像認識装置及び方法、並びにロボット装置 |
JP2006293600A (ja) * | 2005-04-08 | 2006-10-26 | Konica Minolta Photo Imaging Inc | 画像処理方法、画像処理装置及び画像合成処理装置 |
JP2011205282A (ja) * | 2010-03-25 | 2011-10-13 | Fujifilm Corp | 撮像装置及び画像処理方法 |
JP2016039390A (ja) * | 2014-08-05 | 2016-03-22 | 株式会社日立製作所 | 画像生成方法および装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4896363A (en) * | 1987-05-28 | 1990-01-23 | Thumbscan, Inc. | Apparatus and method for matching image characteristics such as fingerprint minutiae |
JP2001272994A (ja) | 2000-03-27 | 2001-10-05 | Ricoh Co Ltd | 学習装置および学習方法およびパターン認識装置およびパターン認識方法および記録媒体 |
JP5602184B2 (ja) | 2012-05-14 | 2014-10-08 | ヤフー株式会社 | 特徴量生成装置及び特徴量生成方法 |
EP3118813B1 (en) * | 2014-03-14 | 2021-06-02 | Omron Corporation | Image recognition device, image sensor, and image recognition method |
JP2015210651A (ja) * | 2014-04-25 | 2015-11-24 | サントリーシステムテクノロジー株式会社 | 商品識別システム |
JP2015226209A (ja) * | 2014-05-28 | 2015-12-14 | パナソニックIpマネジメント株式会社 | 情報提示装置、ステレオカメラシステム、及び情報提示方法 |
JP6117901B1 (ja) * | 2015-11-30 | 2017-04-19 | ファナック株式会社 | 複数の物品の位置姿勢計測装置及び該位置姿勢計測装置を含むロボットシステム |
US10740891B1 (en) * | 2016-05-20 | 2020-08-11 | Ccc Information Services Inc. | Technology for analyzing images depicting vehicles according to base image models |
CN105931276B (zh) * | 2016-06-15 | 2019-04-02 | 广州高新兴机器人有限公司 | 一种基于巡逻机器人智能云平台的长时间人脸跟踪方法 |
JP2018046337A (ja) * | 2016-09-12 | 2018-03-22 | キヤノン株式会社 | 情報処理装置、プログラム及び制御方法 |
JP6800743B2 (ja) * | 2016-12-27 | 2020-12-16 | リコーエレメックス株式会社 | マスタ画像データ作成装置 |
CN108229515A (zh) * | 2016-12-29 | 2018-06-29 | 北京市商汤科技开发有限公司 | 高光谱图像的对象分类方法和装置、电子设备 |
EP3606038B1 (en) * | 2017-03-31 | 2021-12-08 | Panasonic Intellectual Property Management Co., Ltd. | Imaging system and correction method |
CN110348428B (zh) * | 2017-11-01 | 2023-03-24 | 腾讯科技(深圳)有限公司 | 眼底图像分类方法、装置及计算机可读存储介质 |
US11068741B2 (en) * | 2017-12-28 | 2021-07-20 | Qualcomm Incorporated | Multi-resolution feature description for object recognition |
US20190294665A1 (en) * | 2018-03-23 | 2019-09-26 | Abbyy Production Llc | Training information extraction classifiers |
CN108875725A (zh) * | 2018-06-05 | 2018-11-23 | 华南理工大学 | 一种基于视觉识别的邮件自动分拣装置及方法 |
US10867210B2 (en) * | 2018-12-21 | 2020-12-15 | Waymo Llc | Neural networks for coarse- and fine-object classifications |
-
2019
- 2019-04-24 JP JP2019082646A patent/JP7186128B2/ja active Active
-
2020
- 2020-04-17 US US16/851,647 patent/US11244159B2/en active Active
- 2020-04-22 CN CN202010319980.7A patent/CN111860099A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001229341A (ja) * | 2000-02-14 | 2001-08-24 | Mitsubishi Electric Corp | 文字認識装置及び文字認識方法 |
JP2004326693A (ja) * | 2003-04-28 | 2004-11-18 | Sony Corp | 画像認識装置及び方法、並びにロボット装置 |
JP2006293600A (ja) * | 2005-04-08 | 2006-10-26 | Konica Minolta Photo Imaging Inc | 画像処理方法、画像処理装置及び画像合成処理装置 |
JP2011205282A (ja) * | 2010-03-25 | 2011-10-13 | Fujifilm Corp | 撮像装置及び画像処理方法 |
JP2016039390A (ja) * | 2014-08-05 | 2016-03-22 | 株式会社日立製作所 | 画像生成方法および装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022239202A1 (ja) * | 2021-05-13 | 2022-11-17 | ファナック株式会社 | 画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
US11244159B2 (en) | 2022-02-08 |
US20200342224A1 (en) | 2020-10-29 |
CN111860099A (zh) | 2020-10-30 |
JP7186128B2 (ja) | 2022-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11222239B2 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium | |
JP6482195B2 (ja) | 画像認識装置、画像認識方法及びプログラム | |
CN108090458A (zh) | 人体跌倒检测方法和装置 | |
JP2020181290A (ja) | 物品認識システムおよび物品認識方法 | |
JP6036824B2 (ja) | 画角変動検知装置、画角変動検知方法および画角変動検知プログラム | |
JP5455787B2 (ja) | 動作解析装置および動作解析方法 | |
US20210072734A1 (en) | Information processing apparatus and method, robot controlling apparatus and method, and non-transitory computer-readable storage medium | |
JP7222231B2 (ja) | 行動認識装置、行動認識方法及びプログラム | |
JP6240016B2 (ja) | 追跡装置および追尾システム | |
JP2020149111A (ja) | 物体追跡装置および物体追跡方法 | |
WO2018008702A1 (ja) | 振る舞い検知システム | |
US20230394792A1 (en) | Information processing device, information processing method, and program recording medium | |
CN111008954A (zh) | 一种信息处理方法及装置、电子设备和存储介质 | |
US11544926B2 (en) | Image processing apparatus, method of processing image, and storage medium | |
US20180205877A1 (en) | Information processing apparatus, information processing method, system, and non-transitory computer-readable storage medium | |
JP2019175268A (ja) | 行動認識装置、行動認識方法、そのプログラム及びそのプログラムを記録したコンピュータ読取り可能な記録媒体 | |
US11989928B2 (en) | Image processing system | |
JPWO2019215780A1 (ja) | 識別システム、モデル再学習方法およびプログラム | |
JP5310402B2 (ja) | 画像変換パラメータ算出装置、画像変換パラメータ算出方法およびプログラム | |
US11954865B2 (en) | Image processing apparatus, image processing method, and storage medium for foreground extraction | |
KR20230060439A (ko) | 실물 촬영 이미지 여부 식별 방법 및 시스템 | |
CN111767757B (zh) | 身份信息确定方法及装置 | |
KR20220083347A (ko) | 영상을 이용한 물건 부피의 측정 장치, 방법, 및 컴퓨터 프로그램 | |
JP7338182B2 (ja) | 行動認識装置、行動認識方法及びプログラム | |
CN118470005A (zh) | 一种基于视觉识别技术的缺陷检测*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221017 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221128 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7186128 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |