JP6848071B2 - ニューラルネットワークを使用した繰り返しマルチスケール画像生成 - Google Patents
ニューラルネットワークを使用した繰り返しマルチスケール画像生成 Download PDFInfo
- Publication number
- JP6848071B2 JP6848071B2 JP2019538533A JP2019538533A JP6848071B2 JP 6848071 B2 JP6848071 B2 JP 6848071B2 JP 2019538533 A JP2019538533 A JP 2019538533A JP 2019538533 A JP2019538533 A JP 2019538533A JP 6848071 B2 JP6848071 B2 JP 6848071B2
- Authority
- JP
- Japan
- Prior art keywords
- output image
- version
- pixels
- generate
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 12
- 230000003252 repetitive effect Effects 0.000 title 1
- 238000013527 convolutional neural network Methods 0.000 claims description 110
- 238000000034 method Methods 0.000 claims description 60
- 238000012545 processing Methods 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 32
- 238000010801 machine learning Methods 0.000 claims description 18
- 230000006399 behavior Effects 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims 1
- 230000009471 action Effects 0.000 description 14
- 238000004590 computer program Methods 0.000 description 12
- 238000012549 training Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241000009334 Singa Species 0.000 description 1
- 210000003323 beak Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Color Image Communication Systems (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
本出願は、2017年2月24日に出願した米国仮出願第62/463,538号の優先権を主張するものである。先の出願の開示は、本出願の開示の一部と考えられ、本出願の開示に参照により組み込まれる。
102 自己回帰画像生成機械学習モデル
104 畳み込みニューラルネットワーク
106 入力コンテキスト
108 初期低解像度画像
110 出力画像
200 画像
202 グループ1ピクセル
204 グループ2ピクセル
206 グループ3ピクセル
208 グループ4ピクセル
300 プロセス
302 第1のCNN
304 第2の畳み込みニューラルネットワーク
306 現在のバージョン
308 第1の出力画像
310 ピクセルのK列
312 K×2Kバージョン
314 第2の出力画像
316 2K×2K画像
318 特徴ブロック
400 プロセス
Claims (18)
前記出力画像の低解像度バージョンを取得するステップと、
以下の動作、すなわち、
現在のK×Kの解像度を有する前記出力画像の現在のバージョンを取得する動作、および
2K×2Kの解像度を有する前記出力画像の更新されたバージョンを生成するために前記現在の解像度に固有である畳み込みニューラルネットワークの組を使用して前記出力画像の前記現在のバージョンを処理する動作
を繰り返し実行することによって前記出力解像度を有する前記出力画像を生成するために前記出力画像の前記低解像度バージョンをアップスケールするステップと
を含む、方法。
画像生成機械学習モデルを使用して前記低解像度バージョンを生成することを含む請求項1に記載の方法。
前記画像生成機械学習モデルが、前記入力コンテキストを条件として前記低解像度バージョンを生成するように構成される請求項2に記載の方法。
前記出力画像の前記現在のバージョンを含む第1の入力を受け取り、前記出力画像のK×2Kバージョンからのピクセルの列を含む第1の出力画像を生成するように構成される第1の畳み込みニューラルネットワークと、
前記出力画像の前記K×2Kバージョンを含む第2の入力を受け取り、前記出力画像の2K×2Kバージョンからのピクセルの行を含む第2の出力画像を生成するように構成される第2の畳み込みニューラルネットワークと
を含む請求項1に記載の方法。
前記第1の出力画像を生成するために前記第1の畳み込みニューラルネットワークを使用して前記出力画像の前記現在のバージョンを処理することと、
前記現在のバージョンおよび前記第1の出力画像をマージすることによって前記K×2Kバージョンを生成することと、
前記第2の出力画像を生成するために前記第2の畳み込みニューラルネットワークを使用して前記K×2Kバージョンを処理することと、
前記K×2Kバージョンおよび前記第2の出力画像をマージすることによって前記2K×2Kバージョンを生成することと
を含む請求項6に記載の方法。
前記現在のバージョンからのピクセルの列を前記第1の出力画像からのピクセルの列と互い違いにすることによって、前記現在の画像からのピクセルのK個の列および前記第1の出力画像からのピクセルのK個の列を含むK×2K画像を生成することを含む請求項7に記載の方法。
前記K×2Kバージョンからのピクセルの行を前記第2の出力画像からのピクセルの行と互い違いにすることによって、前記K×2KバージョンからのピクセルのK個の行および前記第2の出力画像からのピクセルのK個の行を含む2K×2K画像を生成することを含む請求項7に記載の方法。
前記第1の畳み込みニューラルネットワークが、前記カラーチャンネルの各々に関して、
(i)前記現在のバージョン、および(ii)前記チャンネルの順序で前記カラーチャンネルの前の任意のカラーチャンネルに関する前記第1の出力画像のピクセルのための色値を条件とし、かつ(iii)前記チャンネルの順序で前記カラーチャンネルの後にある任意のカラーチャンネルに関する前記第1の出力画像のピクセルのための色値を条件とせずに、前記第1の出力画像のピクセルのための前記カラーチャンネルに関する色値を生成するように構成され、
前記第2の畳み込みニューラルネットワークが、前記カラーチャンネルの各々に関して、
(i)前記K×2Kバージョン、および(ii)前記チャンネルの順序で前記カラーチャンネルの前の任意のカラーチャンネルに関する前記第2の出力画像のピクセルのための色値を条件とし、かつ(iii)前記チャンネルの順序で前記カラーチャンネルの後にある任意のカラーチャンネルに関する前記第2の出力画像のピクセルのための色値を条件とせずに、前記第2の出力画像のピクセルのための前記カラーチャンネルに関する色値を生成するように構成される請求項7に記載の方法。
前記現在のバージョンと、前記第1の出力画像を生成するために既に生成された前記第1の出力画像からの色値とを繰り返し処理することを含み、
前記第2の出力画像を生成するために前記第2の畳み込みニューラルネットワークを使用して前記K×2Kバージョンを処理することが、
前記K×2Kバージョンと、前記第2の出力画像を生成するために既に生成された前記第2の出力画像からの色値とを繰り返し処理することを含む請求項10に記載の方法。
前記出力画像の前記現在のバージョンを含む第1の入力を受け取り、前記出力画像の2K×Kバージョンからのピクセルの行を含む第1の出力画像を生成するように構成される第1の畳み込みニューラルネットワークと、
前記出力画像の前記2K×Kバージョンを含む第2の入力を受け取り、前記出力画像の2K×2Kバージョンからのピクセルの列を含む第2の出力画像を生成するように構成される第2の畳み込みニューラルネットワークと
を含む請求項1に記載の方法。
前記第1の出力画像を生成するために前記第1の畳み込みニューラルネットワークを使用して前記現在のバージョンを処理することと、
前記現在のバージョンおよび前記第1の出力画像をマージすることによって前記2K×Kバージョンを生成することと、
前記第2の出力画像を生成するために前記第2の畳み込みニューラルネットワークを使用して前記2K×Kバージョンを処理することと、
前記2K×Kバージョンおよび前記第2の出力画像をマージすることによって前記2K×2Kバージョンを生成することと
を含む請求項12に記載の方法。
前記現在のバージョンからのピクセルの行を前記第1の出力画像からのピクセルの行と互い違いにすることによって、前記現在の画像からのピクセルのK個の行および前記第1の出力画像からのピクセルのK個の行を含む2K×K画像を生成することを含む請求項13に記載の方法。
前記2K×Kバージョンからのピクセルの列を前記第2の出力画像からのピクセルの列と互い違いにすることによって、前記2K×KバージョンからのピクセルのK個の列および前記第2の出力画像からのピクセルのK個の列を含む2K×2K画像を生成することを含む請求項13に記載の方法。
前記第1の畳み込みニューラルネットワークが、前記カラーチャンネルの各々に関して、
(i)前記現在のバージョン、および(ii)前記チャンネルの順序で前記カラーチャンネルの前の任意のカラーチャンネルに関する前記第1の出力画像のピクセルのための色値を条件とし、かつ(iii)前記チャンネルの順序で前記カラーチャンネルの後にある任意のカラーチャンネルに関する前記第1の出力画像のピクセルのための色値を条件とせずに、前記第1の出力画像のピクセルのための前記カラーチャンネルに関する色値を生成するように構成され、
前記第2の畳み込みニューラルネットワークが、前記カラーチャンネルの各々に関して、
(i)前記2K×Kバージョン、および(ii)前記チャンネルの順序で前記カラーチャンネルの前の任意のカラーチャンネルに関する前記第2の出力画像のピクセルのための色値を条件とし、(iii)前記チャンネルの順序で前記カラーチャンネルの後にある任意のカラーチャンネルに関する前記第2の出力画像のピクセルのための色値を条件とせずに、前記第2の出力画像のピクセルのための前記カラーチャンネルに関する色値を生成するように構成される請求項12に記載の方法。
前記現在のバージョンと、前記第1の出力画像を生成するために既に生成された前記第1の出力画像からの色値とを繰り返し処理することを含み、
前記第2の出力画像を生成するために前記第2の畳み込みニューラルネットワークを使用して前記2K×Kバージョンを処理することが、
前記2K×Kバージョンと、前記第2の出力画像を生成するために既に生成された前記第2の出力画像からの色値とを繰り返し処理することを含む請求項16に記載の方法。
前記1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに、Nピクセル×Nピクセルの出力解像度を有する出力画像を生成するための動作を実行させる命令を記憶した1つまたは複数のストレージデバイスであって、
前記出力画像の各ピクセルが、複数のカラーチャンネルの各々に関するそれぞれの色値を有し、前記動作が、
前記出力画像の低解像度バージョンを取得するステップと、
以下の動作、すなわち、
現在のK×Kの解像度を有する前記出力画像の現在のバージョンを取得する動作、および
2K×2Kの解像度を有する前記出力画像の更新されたバージョンを生成するために前記現在の解像度に固有である畳み込みニューラルネットワークの組を使用して前記出力画像の前記現在のバージョンを処理する動作
を繰り返し実行することによって前記出力解像度を有する前記出力画像を生成するために前記出力画像の前記低解像度バージョンをアップスケールするステップと
を含む、ストレージデバイスと
を含むシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762463538P | 2017-02-24 | 2017-02-24 | |
US62/463,538 | 2017-02-24 | ||
PCT/EP2018/054614 WO2018154092A1 (en) | 2017-02-24 | 2018-02-26 | Multiscale image generation |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020508504A JP2020508504A (ja) | 2020-03-19 |
JP6848071B2 true JP6848071B2 (ja) | 2021-03-24 |
Family
ID=61386851
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019538533A Active JP6848071B2 (ja) | 2017-02-24 | 2018-02-26 | ニューラルネットワークを使用した繰り返しマルチスケール画像生成 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11361403B2 (ja) |
EP (1) | EP3526765B1 (ja) |
JP (1) | JP6848071B2 (ja) |
KR (1) | KR102253627B1 (ja) |
CN (1) | CN109997168B (ja) |
WO (1) | WO2018154092A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11966839B2 (en) * | 2017-10-25 | 2024-04-23 | Deepmind Technologies Limited | Auto-regressive neural network systems with a soft attention mechanism using support data patches |
EP3857514A1 (en) | 2018-09-27 | 2021-08-04 | DeepMind Technologies Limited | Image generation using subscaling and depth up-scaling |
US11301640B2 (en) * | 2018-10-24 | 2022-04-12 | International Business Machines Corporation | Cognitive assistant for co-generating creative content |
KR20210004702A (ko) * | 2019-07-05 | 2021-01-13 | 삼성전자주식회사 | Ai 프로세서 및 이의 신경망 연산 수행 방법 |
KR102676093B1 (ko) | 2019-11-28 | 2024-06-19 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
KR102141319B1 (ko) * | 2019-12-09 | 2020-08-04 | 이화여자대학교 산학협력단 | 다시점 360도 영상의 초해상화 방법 및 영상처리장치 |
US11494875B2 (en) * | 2020-03-25 | 2022-11-08 | Nintendo Co., Ltd. | Systems and methods for machine learned image conversion |
US11379951B2 (en) | 2020-03-25 | 2022-07-05 | Nintendo Co., Ltd. | Systems and methods for machine learned image conversion |
CN115668273A (zh) | 2020-09-15 | 2023-01-31 | 三星电子株式会社 | 电子装置、其控制方法和电子*** |
KR20220036061A (ko) * | 2020-09-15 | 2022-03-22 | 삼성전자주식회사 | 전자 장치, 그 제어 방법 및 전자 시스템 |
WO2022074878A1 (ja) * | 2020-10-08 | 2022-04-14 | パナソニックIpマネジメント株式会社 | 処理方法およびそれを利用した処理装置 |
US11893710B2 (en) * | 2020-11-16 | 2024-02-06 | Boe Technology Group Co., Ltd. | Image reconstruction method, electronic device and computer-readable storage medium |
KR20220102420A (ko) * | 2021-01-13 | 2022-07-20 | 삼성전자주식회사 | 이미지를 업스케일하는 전자 장치 및 이의 제어 방법 |
KR20240109381A (ko) * | 2023-01-04 | 2024-07-11 | 삼성전자주식회사 | 이미지를 업스케일링하기 위한 전자 장치 및 그 제어 방법 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002281294A (ja) | 2001-03-21 | 2002-09-27 | Matsushita Electric Ind Co Ltd | 画像処理装置および方法 |
JP4692401B2 (ja) | 2006-06-09 | 2011-06-01 | 日本ビクター株式会社 | 画像処理装置及び画像処理プログラム |
KR101070981B1 (ko) * | 2009-11-05 | 2011-10-06 | 홍익대학교 산학협력단 | 경계선 성분 분류 기반 신경회로망 모델을 이용한 영상 화질 개선방법 |
KR20130001213A (ko) * | 2010-01-28 | 2013-01-03 | 이섬 리서치 디벨러프먼트 컴파니 오브 더 히브루 유니버시티 오브 예루살렘 엘티디. | 입력 이미지로부터 증가된 픽셀 해상도의 출력 이미지를 생성하는 방법 및 시스템 |
JP5891702B2 (ja) | 2011-10-19 | 2016-03-23 | 沖電気工業株式会社 | 画像処理装置及びプログラム |
US9734558B2 (en) | 2014-03-20 | 2017-08-15 | Mitsubishi Electric Research Laboratories, Inc. | Method for generating high-resolution images using regression patterns |
WO2017015649A1 (en) | 2015-07-23 | 2017-01-26 | Mireplica Technology, Llc | Performance enhancement for two-dimensional array processor |
CN107124609A (zh) * | 2017-04-27 | 2017-09-01 | 京东方科技集团股份有限公司 | 一种视频图像的处理***、其处理方法及显示装置 |
CN108259997B (zh) * | 2018-04-02 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 图像相关处理方法及装置、智能终端、服务器、存储介质 |
CN112907449B (zh) * | 2021-02-22 | 2023-06-09 | 西南大学 | 一种基于深度卷积稀疏编码的图像超分辨率重建方法 |
-
2018
- 2018-02-26 WO PCT/EP2018/054614 patent/WO2018154092A1/en unknown
- 2018-02-26 JP JP2019538533A patent/JP6848071B2/ja active Active
- 2018-02-26 EP EP18707702.9A patent/EP3526765B1/en active Active
- 2018-02-26 US US16/324,061 patent/US11361403B2/en active Active
- 2018-02-26 KR KR1020197020922A patent/KR102253627B1/ko active IP Right Grant
- 2018-02-26 CN CN201880004376.6A patent/CN109997168B/zh active Active
-
2022
- 2022-05-23 US US17/751,359 patent/US11734797B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3526765A1 (en) | 2019-08-21 |
WO2018154092A1 (en) | 2018-08-30 |
EP3526765B1 (en) | 2024-04-17 |
US20220284546A1 (en) | 2022-09-08 |
CN109997168B (zh) | 2023-09-12 |
KR102253627B1 (ko) | 2021-05-18 |
CN109997168A (zh) | 2019-07-09 |
WO2018154092A8 (en) | 2019-05-16 |
US20210027425A1 (en) | 2021-01-28 |
US11361403B2 (en) | 2022-06-14 |
US11734797B2 (en) | 2023-08-22 |
KR20190097205A (ko) | 2019-08-20 |
JP2020508504A (ja) | 2020-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6848071B2 (ja) | ニューラルネットワークを使用した繰り返しマルチスケール画像生成 | |
US11462034B2 (en) | Generating images using neural networks | |
US11144782B2 (en) | Generating video frames using neural networks | |
CN112771578B (zh) | 使用细分缩放和深度上缩放的图像生成 | |
US11514694B2 (en) | Teaching GAN (generative adversarial networks) to generate per-pixel annotation | |
US20200250528A1 (en) | Auto-regressive neural network systems with a soft attention mechanism using support data patches | |
CN108701249B (zh) | 使用神经网络生成图像 | |
JP7403638B2 (ja) | 高速なスパースニューラルネットワーク | |
AU2021354030B2 (en) | Processing images using self-attention based neural networks | |
KR20200132682A (ko) | 이미지 최적화 방법, 장치, 디바이스 및 저장 매체 | |
JP7337937B2 (ja) | 拡大画像の取得およびストレージ | |
CN112419216A (zh) | 图像去干扰方法、装置、电子设备及计算机可读存储介质 | |
CN112861846B (zh) | 处理张量数据的方法和装置 | |
US20230124075A1 (en) | Methods, systems, and media for computer vision using 2d convolution of 4d video data tensors | |
WO2023225340A1 (en) | Performing computer vision tasks using guiding code sequences | |
CN114764806A (zh) | 基于搜索空间的图像分割模型生成方法、分割方法及装置 | |
CN110826713A (zh) | 一种获取专用卷积核的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190910 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190910 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200923 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210303 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6848071 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |