JP2019106173A - 画像処理方法、画像処理装置およびプログラム - Google Patents
画像処理方法、画像処理装置およびプログラム Download PDFInfo
- Publication number
- JP2019106173A JP2019106173A JP2018188180A JP2018188180A JP2019106173A JP 2019106173 A JP2019106173 A JP 2019106173A JP 2018188180 A JP2018188180 A JP 2018188180A JP 2018188180 A JP2018188180 A JP 2018188180A JP 2019106173 A JP2019106173 A JP 2019106173A
- Authority
- JP
- Japan
- Prior art keywords
- patch
- target
- similar
- patches
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 176
- 238000003672 processing method Methods 0.000 title claims abstract 6
- 230000009467 reduction Effects 0.000 claims abstract description 125
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims description 93
- 238000012937 correction Methods 0.000 claims description 35
- 238000011946 reduction process Methods 0.000 claims description 17
- 230000007547 defect Effects 0.000 claims description 7
- 239000006185 dispersion Substances 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 abstract description 2
- 238000003786 synthesis reaction Methods 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 15
- 239000013598 vector Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 229920006395 saturated elastomer Polymers 0.000 description 8
- 238000003860 storage Methods 0.000 description 6
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
Description
本実施形態では、パッチベースのノイズ低減処理を実行する画像処理装置について説明する。パッチベースのノイズ低減処理においては、着目パッチと類似している類似パッチを検出する工程と、検出した類似パッチを用いて各パッチのノイズを低減する工程とを含む。本実施形態では特に、類似パッチを検出する際に用いるパッチを構成する画素数と、各パッチのノイズを低減する際に用いるパッチを構成する画素数とを、それぞれ適切に設定する。図1は、本実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。画像処理装置は、CPU101、RAM102、記憶部103、汎用I/F(インタフェース)110、表示部108を有する。各構成は、メインバス108を介して相互に接続されている。画像処理装置は、汎用I/F110を介して、撮像装置105、入力装置106、外部メモリ107と接続されている。入力装置106は例えば、マウスやキーボードなどユーザが画像処理装置に指示するための装置である。
ノイズ低減処理部205は、式(4)を満たす固有値λjと固有ベクトルEjを算出する。ここで固有ベクトルEjは、互いに類似するパッチ集合において抽出されるテクスチャ成分に相当する。また固有値λjは、対応する固有ベクトルが表すテクスチャ成分が、ノイズによって生じたテクスチャである場合、画像におけるノイズの分散程度になる。固有値の値が、ノイズの分散より大きい値であるほど、その固有値に対応する固有ベクトルは、本来画像に残すべき被写体のテクスチャ成分であることを意味する。ノイズ低減処理部205は、被写体のテクスチャ成分を残し、ノイズによるテクスチャ成分を除去するように、各対象パッチをノイズ低減処理する。
基底行列BはK行M列の行列である。さらにノイズ低減処理205は、基底行列Bに基づいて各対象パッチに対して射影処理をする。係数Kは事前に設定しておく。係数Kは、0<K<Mを見たし、テクスチャとして残す主成分の数に対応する。ノイズ低減処理部205は、基底行列Bから式(6)により射影行列Hを導出する。
ノイズ低減処理部205は、射影行列Hを用いて、式(7)の通りに各対象パッチPiから平均パッチWを引いた差分パッチを、射影行列Hを用いて射影し、射影した結果に平均パッチに加算することで、対象パッチのノイズを低減する。このような補正により、主成分だけを残してノイズ低減したパッチOiが算出される。ノイズ低減処理205による処理は、以下の式(7)の通りに表される。
ノイズ低減処理部205は、ノイズ低減された各対象パッチに含まれる画素の画素値を蓄積する。
実施形態1では、類似パッチのサイズを調整することで、類似パッチの画素数とは異なる画素数を有する対象パッチを設定する方法について説明した。実施形態2では、パッチに対するノイズ低減処理において、類似パッチのサイズを調整しない場合と、類似パッチのサイズを調整する場合とを切り替える方法について説明する。なお、画像処理装置のハードウェア構成は実施形態1と同様である。実施形態1と同様の構成については、同一の符号を付し、詳細な説明を省略する。
実施形態2では、画素値の分散が大きい場合は、類似パッチの画素数よりも少ない画素数の対象パッチを設定し、画素値の分散が小さい場合は対象パッチを設定しない形態とした。一方、類似パッチを用いるノイズ低減処理と、類似パッチよりも画素数の多い対象パッチを用いるノイズ低減処理を切り替える形態としてもよい。この場合判定部501は、画素値の分散がノイズ分散より小さい場合には、類似パッチよりも画素数の多い対象パッチを設定すると判定する。画素値の分散がノイズ分散以上である場合、判定部501は、対象パッチを設定しない。類似パッチをできる領域においては、よりサイズの大きなパッチを用いてノイズ低減処理を実行することで、ノイズ低減処理の結果低周波ノイズが残留すること防げる。判定部501が、類似パッチを検出するために用いるパッチサイズ(画素数)と、ノイズ低減処理を実行する際のパッチサイズ(画素数)を異ならせるべきか否かを判定することで、それぞれの工程において適切なサイズのパッチを設定できる。
実施形態1および実施形態2では、パッチ群に対するノイズ低減処理として、パッチ群から算出される共分散行列の固有値および固有ベクトルから射影行列を導出し、射影行列を用いる方法を例に説明した。しかしながら、パッチベースのノイズ低減処理として、射影行列ではなく、共分散行列を用いてパッチに対してノイズ低減処理する方法がある。実施形態3では、共分散行列を用いてパッチベースのノイズ低減処理を行う場合に、対象パッチを設定する形態について説明する。
ここで算出される補正用行列Hは、共分散行列Cと同様に、一辺のサイズが対象パッチの画素数Mである正方行列である。ノイズ低減処理部205は、補正値行列Hに基づいて、対象パッチそれぞれを補正する。具体的には、平均パッチをQ、i番目の対象パッチをPiとしたとき、ノイズ低減処理部205は、以下の式(6)により補正した類似パッチOiを算出する。
すなわち、式(9)における第2項目のH(Pi−Q)が対象パッチPiに対する補正値である。この補正値を対象パッチPiから減算することで、各類似パッチのノイズが低減される。
上述の実施形態では、パッチ群に対するノイズ低減処理のため類似パッチとは異なる画素数の対象パッチを設定し、複数の対象パッチからなるパッチ群から共分散行列の固有値および固有ベクトルや、補正用行列を導出する方法を説明した。実施形態4では、類似パッチ群から共分散行列の固有値や固有ベクトルなどを算出した上で、類似パッチとは異なる画素数の対象パッチに対してノイズ低減処理を実行する方法について説明する。なお実施形態4において、画像処理装置の構成や処理の流れは、実施形態3と同様である。ただし、対象パッチ設定部204が実行するS304とノイズ低減処理部205が実行するS305における具体的な処理が異なる。
ここで算出される補正用行列候補Fは、共分散行列Cと同様に、一辺のサイズが類似パッチの画素数Rである正方行列である。さらにノイズ低減処理部205は、補正用行列候補Fに基づいて、補正用行列Hを算出する。補正用行列候補Fの一部分を抜き出したものが補正用行列Hである。対象パッチの画素数がM画素の場合には、補正用行列HもM×Mの正方行列である。
この後の処理は実施形態3と同様である。類似パッチ群に飽和画素が含まれる場合には、類似パッチ群におけるノイズ分散が著しく低下し、通常よりもパッチの画素数に対して多くのパッチ枚数を検出しないと、白とびや黒潰れによるアーティファクトが発生する場合がある。そこで本実施形態では、類似パッチから白とびや黒潰れをしている画素がある場合には、それらの飽和画素を除く対象パッチを設定する。これにより、アーティファクトの発生を抑制し、より高精度に各パッチのノイズ低減処理を実行することができる。
なお、上述の3つの実施形態では、コンピュータプログラムを動作させることで実現するソフトウェアを例に説明した。しかしながら、図2、図5に示したブロック図の各構成の一部、またはそのすべてを専用の画像処理回路によって実現してもよい。
202 着目パッチ設定部
204 対象パッチ設定部
205 ノイズ低減処理部
206 画像合成部
Claims (20)
- 入力画像に対してノイズを低減することで出力画像を生成する画像処理装置であって、前記入力画像において、第1の画素数を有する着目パッチを設定する着目パッチ設定手段と、
前記入力画像において、前記着目パッチと類似する複数の類似パッチを検出する検出手段と、
前記複数の類似パッチに基づいて、前記類似パッチに含まれる少なくとも1つの画素を含み、前記第1の画素数とは異なる第2の画素数を有する複数の対象パッチを設定する対象パッチ設定手段と、
前記複数の対象パッチに基づいて、前記対象パッチにノイズ低減処理を実行するノイズ低減処理手段と、
前記ノイズ低減処理手段によりノイズを低減された対象パッチを合成することで、前記出力画像を生成する合成手段と、を有することを特徴とする画像処理装置。 - 前記対象パッチ設定手段は、前記対象パッチとして、前記第1の画素数よりも少ない画素数のパッチを設定することを特徴とする請求項1に記載の画像処理装置。
- 前記対象パッチ設定手段は、前記類似パッチの一部領域を前記対象パッチとして設定することを特徴とする請求項1または2に記載の画像処理装置。
- さらに、前記ノイズ低減処理手段が処理の対象とするパッチとして、類似パッチを用いるか、対象パッチを用いるかを判定する判定手段を有し、
前記ノイズ低減処理手段は、前記判定手段により、類似パッチを用いると判定された場合は、前記複数の類似パッチに基づいて前記複数の類似パッチにノイズ低減処理を実行し、
前記判定手段により前記対象パッチを用いると判定された場合は、前記複数の対象パッチに基づいて、前記対象パッチにノイズ低減処理を実行することを特徴とする請求項1乃至3の何れか一項に記載の画像処理装置。 - 前記判定手段は、前記入力画像における領域に含まれる画素の画素値の分散に基づいて、類似パッチを用いるか、対象パッチを用いるかを判定することを特徴とする請求項4に記載の画像処理装置。
- 前記判定手段は、前記検出手段が検出した類似パッチの数に基づいて、類似パッチを用いるか、対象パッチを用いるかを判定することを特徴とする請求項4に記載の画像処理装置。
- 前記判定手段は、前記入力画像における領域に対してエッジを検出し、前記領域におけるエッジに基づいて、類似パッチを用いるか、対象パッチを用いるかを判定することを特徴とする請求項4に記載の画像処理装置。
- 前記ノイズ低減処理手段は、前記複数の対象パッチの平均パッチと共分散行列を算出し、前記共分散行列の固有値および固有ベクトルに基づいて基底行列を算出し、前記基底行列を用いて、前記複数の対象パッチを射影処理することで、前記複数の対象パッチに対してノイズ低減処理を実行することを特徴とする請求項1乃至7の何れか一項に記載の画像処理装置。
- 前記ノイズ低減処理手段は、前記複数の対象パッチの平均パッチと共分散行列を算出し、前記共分散行列の逆行列を用いて前記複数の対象パッチに対してノイズ低減処理を実行することを特徴とする請求項1乃至7の何れか一項に記載の画像処理装置。
- 前記対象パッチ設定手段は、画素毎に黒潰れまたは白飛びであるか否かを示す欠陥情報を取得し、前記欠陥情報に基づいて前記対象パッチを設定することを特徴とする請求項1乃至9の何れか一項に記載の画像処理装置。
- 前記対象パッチ設定手段は、前記複数の対象パッチに、前記欠陥情報が黒潰れまたは白飛びであることを示す画素が存在しないように、前記複数の対象パッチを設定することを特徴とする請求項10に記載の画像処理装置。
- 前記対象パッチ設定手段は、前記類似パッチを構成する画素群のうち、前記対象パッチとして設定された画素位置を示す画素位置情報を生成し、
前記ノイズ低減処理手段は、前記画素位置情報に基づいて、前記複数の対象パッチにノイズ低減処理を実行することを特徴とする請求項1乃至11の何れか一項に記載の画像処理装置。 - 前記ノイズ低減処理手段は、前記複数の類似パッチに基づいて第1の平均パッチおよび補正用行列の候補を算出し、さらに前記画素位置情報に基づいて前記第1の平均パッチおよび前記補正用行列の候補から第2の平均パッチおよび補正用行列を算出し、前記第2の平均パッチおよび前記補正用行列を用いて前記複数の対象パッチのノイズ低減処理を実行することを特徴とする請求項12に記載の画像処理装置。
- 前記ノイズ低減処理手段は、前記複数の類似パッチに基づいて第1の共分散行列を算出し、前記第1の共分散行列を用いて前記補正用行列の候補を算出することを特徴とする請求項13に記載の画像処理装置。
- 前記補正用行列の候補は、前記類似パッチを構成する画素数に応じたサイズの行列であり、前記補正用行列は、前記対象パッチを構成する画素数に応じたサイズの行列であることを特徴とする請求項13または14に記載の画像処理装置。
- 前記類似パッチおよび前記対象パッチは、複数の画素群かならう矩形の領域であることを特徴とする請求項1乃至15に記載の画像処理装置。
- コンピュータを請求項1乃至15の何れか一項に記載の画像処理装置として機能させるためのプログラム。
- 入力画像に対してノイズを低減することで出力画像を生成する画像処理方法であって、前記入力画像において、第1の画素数を有する着目パッチを設定し
前記入力画像において、前記着目パッチと類似する複数の類似パッチを検出し
前記複数の類似パッチに基づいて、前記類似パッチに含まれる少なくとも1つの画素を含み、前記第1の画素数とは異なる第2の画素数を有する複数の対象パッチを設定し
前記複数の対象パッチに基づいて、前記対象パッチにノイズ低減処理を実行し
前記ノイズを低減された対象パッチを合成することで、前記出力画像を生成することを特徴とする画像処理方法。 - 前記第2の画素数は、前記第1の画素数よりも少ないことを特徴とする請求項18に記載の画像処理方法。
- 前記複数の類似パッチそれぞれの一部領域が前記複数の対象パッチとして設定されることを特徴とする請求項18または19に記載の画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/044657 WO2019116975A1 (ja) | 2017-12-13 | 2018-12-05 | 画像処理方法、画像処理装置およびプログラム |
US16/893,455 US11301962B2 (en) | 2017-12-13 | 2020-06-05 | Image processing method, image processing apparatus, and medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017238229 | 2017-12-13 | ||
JP2017238229 | 2017-12-13 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019106173A true JP2019106173A (ja) | 2019-06-27 |
JP7114431B2 JP7114431B2 (ja) | 2022-08-08 |
Family
ID=67061556
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018188180A Active JP7114431B2 (ja) | 2017-12-13 | 2018-10-03 | 画像処理方法、画像処理装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7114431B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112435182A (zh) * | 2020-11-17 | 2021-03-02 | 浙江大华技术股份有限公司 | 图像降噪方法及装置 |
CN113256527A (zh) * | 2021-05-31 | 2021-08-13 | 广东联通通信建设有限公司 | 一种图像修复方法及装置 |
US11410279B2 (en) * | 2019-09-13 | 2022-08-09 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008026998A (ja) * | 2006-07-18 | 2008-02-07 | Sumitomo Electric Ind Ltd | 障害物位置算出システム、及び障害物位置算出方法 |
JP2013026669A (ja) * | 2011-07-15 | 2013-02-04 | Tokyo Institute Of Technology | ノイズ低減装置、ノイズ低減方法及びプログラム |
-
2018
- 2018-10-03 JP JP2018188180A patent/JP7114431B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008026998A (ja) * | 2006-07-18 | 2008-02-07 | Sumitomo Electric Ind Ltd | 障害物位置算出システム、及び障害物位置算出方法 |
JP2013026669A (ja) * | 2011-07-15 | 2013-02-04 | Tokyo Institute Of Technology | ノイズ低減装置、ノイズ低減方法及びプログラム |
Non-Patent Citations (3)
Title |
---|
大槻 盛一、中川 匡弘: ""ブロック領域分割を用いたフラクタル画像符号化"", 電子情報通信学会論文誌, vol. 87, no. 7, JPN6018052018, 1 July 2004 (2004-07-01), JP, pages 1027 - 1033, ISSN: 0004747794 * |
河嶋 和美、外5名: ""クロス形状フラクタルを用いた画像の高解像度化"", 電子情報通信学会論文誌, vol. 94, no. 4, JPN6018052016, 1 April 2011 (2011-04-01), JP, pages 742 - 745, ISSN: 0004747792 * |
角光 健太、藤尾 光彦: ""相似領域の重複度を考慮したIFS領域分割"", 電子情報通信学会技術研究報告, vol. 100, no. 566, JPN6018052017, 12 January 2001 (2001-01-12), JP, pages 117 - 122, ISSN: 0004747793 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11410279B2 (en) * | 2019-09-13 | 2022-08-09 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
US20220351338A1 (en) * | 2019-09-13 | 2022-11-03 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
US11734802B2 (en) * | 2019-09-13 | 2023-08-22 | Canon Kabushiki Kaisha | Image processing apparatus, method, and storage medium for patch-based noise reduction |
CN112435182A (zh) * | 2020-11-17 | 2021-03-02 | 浙江大华技术股份有限公司 | 图像降噪方法及装置 |
CN112435182B (zh) * | 2020-11-17 | 2024-05-10 | 浙江大华技术股份有限公司 | 图像降噪方法及装置 |
CN113256527A (zh) * | 2021-05-31 | 2021-08-13 | 广东联通通信建设有限公司 | 一种图像修复方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7114431B2 (ja) | 2022-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11055564B2 (en) | Image processing apparatus, image processing method, and storage medium | |
US10726539B2 (en) | Image processing apparatus, image processing method and storage medium | |
US9129414B2 (en) | Image compositing apparatus, image compositing method, image compositing program, and recording medium | |
KR101944208B1 (ko) | 색 보정을 위한 장치 및 방법 | |
US9767387B2 (en) | Predicting accuracy of object recognition in a stitched image | |
JP2012208553A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP7114431B2 (ja) | 画像処理方法、画像処理装置およびプログラム | |
US10740878B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP5610245B2 (ja) | 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体 | |
JP2016509805A (ja) | 画像ストリームの高フレームレート化 | |
JP6365355B2 (ja) | 画像生成装置および画像生成方法 | |
JP6388507B2 (ja) | 画像処理装置 | |
WO2019116975A1 (ja) | 画像処理方法、画像処理装置およびプログラム | |
US11798227B2 (en) | Image processing apparatus and image processing method | |
JP2016164709A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
WO2011086594A1 (ja) | 画像処理装置、及びその方法 | |
US11580620B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable medium | |
JP7409606B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2018160024A (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR101491334B1 (ko) | 영상에서 컬러차트 검출 방법 및 장치 | |
JP2021077037A (ja) | 画像処理装置、画像処理方法、及びプログラム。 | |
JP5364887B2 (ja) | 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体 | |
JP2018190201A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2021077038A (ja) | 画像処理装置、画像処理方法、及びプログラム。 | |
JP2007249836A (ja) | 画像処理装置、画像処理方法および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211001 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220412 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220610 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220727 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7114431 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |