JP7483030B2 - 潜在特徴領域におけるイントラ予測によるニューラル画像圧縮 - Google Patents
潜在特徴領域におけるイントラ予測によるニューラル画像圧縮 Download PDFInfo
- Publication number
- JP7483030B2 JP7483030B2 JP2022556241A JP2022556241A JP7483030B2 JP 7483030 B2 JP7483030 B2 JP 7483030B2 JP 2022556241 A JP2022556241 A JP 2022556241A JP 2022556241 A JP2022556241 A JP 2022556241A JP 7483030 B2 JP7483030 B2 JP 7483030B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- residual
- blocks
- latent
- reconstructed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001537 neural effect Effects 0.000 title claims description 17
- 230000006835 compression Effects 0.000 title claims description 16
- 238000007906 compression Methods 0.000 title claims description 16
- 238000000034 method Methods 0.000 claims description 76
- 238000013528 artificial neural network Methods 0.000 claims description 21
- 238000000638 solvent extraction Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims 1
- 238000012549 training Methods 0.000 description 46
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 11
- 238000012360 testing method Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000013139 quantization Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本願は、2021年1月4日に出願された米国仮特許出願第63/133,704号、及び2021年8月31日に出願された米国特許出願第17/462,287号に基づくものであり、それらの優先権を主張するものであり、それらの開示全体が参照により本明細書に組み込まれるものとする。
110 ユーザデバイス
120 プラットフォーム
122 クラウドコンピューティング環境
124 コンピューティングリソース
124-1 アプリケーション
124-2 仮想マシン
124-3 仮想化ストレージ
124-4 ハイパーバイザ
130 ネットワーク
200 デバイス
210 バス
220 プロセッサ
230 メモリ
240 ストレージコンポーネント
250 入力コンポーネント
260 出力コンポーネント
270 通信インタフェース
Claims (8)
- 少なくとも1つのプロセッサにより実行される、潜在特徴領域におけるイントラ予測による、ディープニューラルネットワークを使用したニューラル画像圧縮のための方法であって、
第3のニューラルネットワークを使用して、入力画像の潜在表現を生成するステップと、
前記潜在表現を潜在ブロックのセットに分割するステップと、
前記潜在ブロックのセットを受信するステップと、
前記潜在ブロックのセット内のブロックごとに、
第1のニューラルネットワークを使用して、以前復元されたブロックのセットに基づいてブロックを予測し、
現在復元されたブロックを示す選択信号を受信し、
前記受信された選択信号に基づいて、
(1)以前復元されたブロックと予測されたブロックとに基づいてコンパクト残差、残差コンテキストパラメータのセット及びデコードされた残差を生成し、前記予測されたブロック及び前記デコードされた残差に基づいて、第1のデコードされたブロックを生成することと、
(2)前記潜在ブロックに基づいてコンパクト表現ブロック及びコンテキストパラメータのセットを生成し、前記コンパクト表現ブロック、及び前記コンテキストパラメータのセットに基づいて、第2のデコードされたブロックを生成することと、
のうちの1つを実行するステップと、
前記現在復元されたブロックのそれぞれを含む、復元されたブロックのセットを生成するステップと、
前記復元されたブロックのセット内の全てのブロックをマージして、復元された潜像を生成するステップと、
第2のニューラルネットワークを使用して、前記生成された復元された潜像をデコードして、再構成された画像を取得するステップと、を含み、
前記第1のニューラルネットワークが以前復元されたブロックのセットに基づいてブロックを予測するようにトレーニングされ、前記第2のニューラルネットワークが生成された復元された潜像をデコードするようにトレーニングされ、前記第3のニューラルネットワークが入力画像から潜在表現を生成するようにトレーニングされ、それによって入力画像と再構成された画像との歪みまたはビット消費が小さくなるようにトレーニングされたニューラルネットワークである、方法。 - 前記コンパクト残差が、予測残差を量子化してからエントロピーエンコードすることにより生成され、
前記残差コンテキストパラメータのセットが、第4のニューラルネットワークを使用して、予測残差に基づいて生成され、
前記デコードされた残差が、前記コンパクト残差及び前記残差コンテキストパラメータをデコードしてから逆量子化することにより生成され、
前記コンパクト残差と前記残差コンテキストパラメータのセットとが同時に生成され、
前記第4のニューラルネットワークが、予測残差に基づいて残差コンテキストパラメータのセットを生成するようにトレーニングされ、それによって入力画像と再構成された画像との歪みまたはビット消費が小さくなるようにトレーニングされたニューラルネットワークである、請求項1に記載の方法。 - 前記コンパクト表現ブロックが、前記潜在ブロックのセット内の現在の潜在ブロックを量子化してからエントロピーエンコードすることにより生成され、
前記コンテキストパラメータのセットが、第5のニューラルネットワークを使用して、前記現在の潜在ブロックに基づいて生成され、
前記コンテキストパラメータのセットと前記コンパクト表現ブロックとが同時に生成され、
前記第5のニューラルネットワークが、現在の潜在ブロックに基づいてコンテキストパラメータのセットを生成するようにトレーニングされ、それによって入力画像と再構成された画像との歪みまたはビット消費が小さくなるようにトレーニングされたニューラルネットワークである、請求項2に記載の方法。 - 前記予測残差は、前記予測されたブロックと前記潜在ブロックのセット内の前記現在の潜在ブロックとの間の差分である、請求項3に記載の方法。
- 前記復元されたブロックのセットは、前記以前復元されたブロックのセットを更新するために使用される、請求項1に記載の方法。
- 前記選択信号が前記第1のデコードされたブロックと前記第2のデコードされたブロックとのうちの少なくとも1つを前記現在復元されたブロックとして選択するステップと、
前記第1のデコードされたブロックが選択された場合、前記コンパクト残差、前記残差コンテキストパラメータのセット及び前記選択信号を入力としてデコーダに送信するステップと、
前記第2のデコードされたブロックが選択された場合、前記コンパクト表現ブロック、前記コンテキストパラメータのセット及び前記選択信号を入力として前記デコーダに送信するステップと、を更に含む請求項1に記載の方法。 - 潜在特徴領域におけるイントラ予測によるニューラル画像圧縮のための装置であって、
プログラムコードを記憶するように構成された少なくとも1つのメモリと、
前記プログラムコードを読み取り、前記プログラムコードの命令どおりに動作するように構成された少なくとも1つのプロセッサとを含み、
前記プログラムコードは、
前記少なくとも1つのプロセッサに、請求項1~6のいずれか1項に記載の方法を実行させるように構成される、装置。 - 請求項1~6のいずれか1項に記載の方法を少なくとも1つのプロセッサに実行させるように構成されるコンピュータプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163133704P | 2021-01-04 | 2021-01-04 | |
US63/133,704 | 2021-01-04 | ||
US17/462,287 | 2021-08-31 | ||
US17/462,287 US11810331B2 (en) | 2021-01-04 | 2021-08-31 | Neural image compression with latent feature-domain intra-prediction |
PCT/US2021/049212 WO2022146501A1 (en) | 2021-01-04 | 2021-09-07 | Neural image compression with latent feature-domain intra-prediction |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023518542A JP2023518542A (ja) | 2023-05-02 |
JP7483030B2 true JP7483030B2 (ja) | 2024-05-14 |
Family
ID=82219774
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022556241A Active JP7483030B2 (ja) | 2021-01-04 | 2021-09-07 | 潜在特徴領域におけるイントラ予測によるニューラル画像圧縮 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11810331B2 (ja) |
EP (1) | EP4082192A4 (ja) |
JP (1) | JP7483030B2 (ja) |
KR (1) | KR20220123060A (ja) |
CN (1) | CN115299045A (ja) |
WO (1) | WO2022146501A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2022267299A1 (en) * | 2021-04-28 | 2023-11-16 | Insurance Services Office, Inc. | Systems and methods for machine learning from medical records |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2509311B (en) * | 2012-12-21 | 2016-12-14 | Canon Kk | Method and device for determining residual data for encoding or decoding at least part of an image |
US11159789B2 (en) * | 2018-10-24 | 2021-10-26 | City University Of Hong Kong | Generative adversarial network based intra prediction for video coding |
GB2581808B (en) | 2019-02-26 | 2022-08-10 | Imperial College Innovations Ltd | Scene representation using image processing |
US11705226B2 (en) * | 2019-09-19 | 2023-07-18 | Tempus Labs, Inc. | Data based cancer research and treatment systems and methods |
US11238650B2 (en) * | 2020-03-13 | 2022-02-01 | Nvidia Corporation | Self-supervised single-view 3D reconstruction via semantic consistency |
WO2021220008A1 (en) * | 2020-04-29 | 2021-11-04 | Deep Render Ltd | Image compression and decoding, video compression and decoding: methods and systems |
US20220084204A1 (en) * | 2020-09-11 | 2022-03-17 | Nvidia Corporation | Labeling images using a neural network |
-
2021
- 2021-08-31 US US17/462,287 patent/US11810331B2/en active Active
- 2021-09-07 CN CN202180021538.9A patent/CN115299045A/zh active Pending
- 2021-09-07 JP JP2022556241A patent/JP7483030B2/ja active Active
- 2021-09-07 KR KR1020227026114A patent/KR20220123060A/ko unknown
- 2021-09-07 WO PCT/US2021/049212 patent/WO2022146501A1/en unknown
- 2021-09-07 EP EP21916117.1A patent/EP4082192A4/en active Pending
Non-Patent Citations (1)
Title |
---|
CHOI, Hyomin and BAJIC, Ivan V.,Near-Lossless Deep Feature Compression for Collaborative Intelligence,2018 IEEE 20th International Workshop on Multimedia Signal Processing (MMSP),IEEE,2018年11月29日,pp.1-6,<URL:https://ieeexplore.ieee.org/document/8547134>,<DOI:10.1109/MMSP.2018.8547134> |
Also Published As
Publication number | Publication date |
---|---|
JP2023518542A (ja) | 2023-05-02 |
WO2022146501A1 (en) | 2022-07-07 |
EP4082192A1 (en) | 2022-11-02 |
KR20220123060A (ko) | 2022-09-05 |
US11810331B2 (en) | 2023-11-07 |
EP4082192A4 (en) | 2023-04-05 |
CN115299045A (zh) | 2022-11-04 |
US20220215592A1 (en) | 2022-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11582470B2 (en) | Method and apparatus for multi-scale neural image compression with intra-prediction residuals | |
JP7374340B2 (ja) | ニューラル画像圧縮のためのタスク適応型前処理のための方法、装置およびコンピュータプログラム | |
KR102633549B1 (ko) | 대체 신경 잔차 압축을 위한 방법 및 장치 | |
JP7483030B2 (ja) | 潜在特徴領域におけるイントラ予測によるニューラル画像圧縮 | |
US11652994B2 (en) | Neural image compression with adaptive intra-prediction | |
JP7471733B2 (ja) | 滑らかな品質制御による適応ニューラル画像圧縮のための代替の入力最適化 | |
JP2024518239A (ja) | ニューラル画像圧縮における反復的なコンテンツ適応型オンライントレーニングのためのシステム、方法、及びコンピュータプログラム | |
CN114930349A (zh) | 用于端到端图像压缩的特征替换的方法和装置 | |
JP7471730B2 (ja) | メタ学習によるレート制御を用いた適応ニューラル画像圧縮のための方法、装置及びプログラム | |
JP7493617B2 (ja) | ニューラル画像圧縮における置換の多学習率のための方法および装置 | |
JP7438611B2 (ja) | 品質適応型ニューラル・ネットワーク・ベースのループフィルタのための代替品質ファクター学習 | |
US20220405978A1 (en) | Non-linear quantization with substitution in neural image compression | |
JP2024513432A (ja) | ニューラルネットワークを使用する、エンドツーエンド(e2e)ニューラル画像圧縮(nic)用のコンテンツ適応型オンライン訓練の方法、装置及びコンピュータプログラム | |
KR20230145147A (ko) | 신경 이미지 압축에서 다수의 블록에 대한 콘텐츠 적응형 온라인 트레이닝을 위한 시스템, 방법 및 컴퓨터 프로그램 | |
CN115715463A (zh) | 用于神经图像压缩中的替代的动态学习率的方法和装置 | |
JP2023527655A (ja) | メタ学習による滑らかな品質管理を用いた品質適応型のニューラル・ネットワーク・ベースのループフィルタ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220916 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220916 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231023 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231030 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240415 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240430 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7483030 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |