JP6885553B1 - ハードウェアとニューラルアーキテクチャとの共同探索 - Google Patents
ハードウェアとニューラルアーキテクチャとの共同探索 Download PDFInfo
- Publication number
- JP6885553B1 JP6885553B1 JP2020120906A JP2020120906A JP6885553B1 JP 6885553 B1 JP6885553 B1 JP 6885553B1 JP 2020120906 A JP2020120906 A JP 2020120906A JP 2020120906 A JP2020120906 A JP 2020120906A JP 6885553 B1 JP6885553 B1 JP 6885553B1
- Authority
- JP
- Japan
- Prior art keywords
- latency
- neural
- neural architecture
- architecture
- accuracy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001537 neural effect Effects 0.000 title claims abstract description 154
- 230000015654 memory Effects 0.000 claims abstract description 73
- 238000013461 design Methods 0.000 claims abstract description 50
- 230000006870 function Effects 0.000 claims abstract description 26
- 238000004891 communication Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 65
- 238000012549 training Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000006872 improvement Effects 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000002787 reinforcement Effects 0.000 claims description 4
- 230000000306 recurrent effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 abstract description 11
- 239000010410 layer Substances 0.000 description 36
- 238000013138 pruning Methods 0.000 description 20
- 230000006835 compression Effects 0.000 description 19
- 238000007906 compression Methods 0.000 description 19
- 238000003062 neural network model Methods 0.000 description 15
- 238000012360 testing method Methods 0.000 description 14
- 238000013139 quantization Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 5
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 4
- 238000003491 array Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 235000019800 disodium phosphate Nutrition 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 229910002092 carbon dioxide Inorganic materials 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 101150095230 SLC7A8 gene Proteins 0.000 description 1
- 101150044140 Slc7a5 gene Proteins 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 101150085091 lat-2 gene Proteins 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Complex Calculations (AREA)
Abstract
Description
ここで、ループタイリング設計は<Tm,Tn,Tr,Tc>によって表され、帯域幅割当は<Ib,Wb,Ob>によって表される。 特に、アーキテクチャ内のノードのペアvi→vjに関連する演算子に対して、Tm,Tn,Tr及びTcは出力特徴マップ(OFM)チャネルchj、入力特徴マップ(IFM)チャネルchi、行ri及び列ciのタイリングパラメータであり、一方、<Ib,Wb,Ob>はIFM(すなわちvi)、OFM(すなわちVj)及び重み付け(すなわちfk)を動かすのに割り当てられた帯域幅である。設計D及びアーキテクチャAに対し、okのような各演算子の待ち時間は、ハードウェアとニューラルアーキテクチャとの共同探索中に決定され得る。全演算子の和算はAの待ち時間であり、lat(A)で示されるであろう。
外部メモリ430とアクセラレータ420との間で転送されるデータの3つの型、すなわち、IFMデータ442、OFMデータ446及び重み付けデータ444、のうち、bI、bO及びbWで示される、各データの型に対するオンチップメモリのサイズは、外部メモリ430から決定され得る。一つのオンチップバッファ(BRAM)のサイズは制限されており、例えば、ZCU102FPGAに対してオンチップバッファごとに18Kである。 並列にアクセスされる必要があるデータの次元、例えば、Tnで示される、IFMデータ442のチャネル、は異なるBRAMに分けられる必要がある。従って、並列を要求しないデータの量は、IFMデータ442内のTr及びTcで示され、18Kに分割される。 結局、オンチップバッファのサイズはタイルサイズの2倍に等しく、ここで2は、計算によって通信を隠すために利用される倍増バッファを示す。これは以下の制約をもたらす:
Claims (18)
- コンピュータによって実行可能で前記コンピュータに操作を実行させる命令を含むコンピュータプログラムであって、前記操作は、
機能の仕様及び複数のハードウェア設計パラメータを取得することであって、前記ハードウェア設計パラメータはメモリ容量、計算リソースの数、通信帯域幅、及び、ニューラルアーキテクチャ推論を実行するためのテンプレート構成を含む、前記取得することと、
各ニューラルアーキテクチャはある精度で前記機能を実行するよう訓練されている、複数のニューラルアーキテクチャのうちの各ニューラルアーキテクチャに対して、前記ハードウェア設計パラメータ内でアクセラレータによる前記ニューラルアーキテクチャの推論の実行の全体の待ち時間を決定することと、
前記複数のニューラルアーキテクチャのうちから、前記全体の待ち時間及び前記精度に基づいてニューラルアーキテクチャを選択することと
を備え、前記全体の待ち時間を決定することは、活性化データを格納している外部メモリと相互作用しつつ前記アクセラレータによって前記ニューラルアーキテクチャの推論の前記実行を遂行するために複数のハイパー・パラメータの待ち時間モデルを決定することをさらに含む、コンピュータプログラム。 - 前記複数のハイパー・パラメータは、タイリング設計、及び、前記アクセラレータによる前記ニューラルアーキテクチャの推論の実行中の帯域幅の割当を含む請求項1に記載のコンピュータプログラム。
- 前記待ち時間モデルを決定することは、
各層に対して、待ち時間要因のうちの待ち時間ボトルネックを検出することをさらに含み、
前記待ち時間要因は、
外部メモリから前記アクセラレータの内部メモリへの活性化データのコピー、
前記外部メモリから前記内部メモリへの重み付け値のコピー、
前記活性化データに対しての計算の実行及び、
前記内部メモリから前記外部メモリへの前記活性化データのコピー、
である請求項1または2に記載のコンピュータプログラム。 - 前記待ち時間モデルを決定することは、前記選択されたニューラルアーキテクチャの少なくとも1つの層に対し、前記待ち時間ボトルネックに対応する待ち時間削減技術を割り当てることをさらに含み、
各待ち時間削減技術は前記複数のハイパー・パラメータのうちのあるハイパー・パラメータ及び範囲に関連付けられる請求項3に記載のコンピュータプログラム。 - 前記待ち時間モデル決定することは、前記選択されたニューラルアーキテクチャの少なくとも1つの層に対して、前記待ち時間ボトルネック以外の前記待ち時間要因のうちのいずれかに対応する精度向上技術を割り当てることをさらに含み、各待ち時間削減技術は前記複数のハイパー・パラメータのうちのあるハイパー・パラメータ及び範囲に関連付けられている、請求項3または4に記載のコンピュータプログラム。
- 前記全体の待ち時間を決定することは、前記待ち時間モデル内の前記ハイパー・パラメータの値の一意の組み合わせを複数生成することをさらに含む請求項1から5のいずれか1項に記載のコンピュータプログラム。
- 前記全体の待ち時間を決定することは、前記ハイパー・パラメータの値の一意の組み合わせの前記複数の各々に対し、結果として得られる待ち時間を計算することをさらに含む請求項6に記載のコンピュータプログラム。
- 前記待ち時間モデルの前記ハイパー・パラメータの値を決定することをさらに備える請求項1から7のいずれか1項に記載のコンピュータプログラム。
- 前記待ち時間モデルの前記ハイパー・パラメータの前記値を決定することは、前記待ち時間モデルに機能近似器を適用することをさらに含む請求項8に記載のコンピュータプログラム。
- 前記機能近似器は、待ち時間要素及び精度要素を含む報酬を用いた強化学習を有する再帰型ニューラルネットワークである請求項9に記載のコンピュータプログラム。
- 前記待ち時間モデルの前記ハイパー・パラメータの前記値を決定することは、ホールドアウト訓練データセットを用いた前記ニューラルアーキテクチャの訓練によって前記精度要素を決定することを含む請求項9に記載のコンピュータプログラム。
- 前記選択することは、待ち時間閾値より低い推論の実行の待ち時間を有する前記複数のニューラルアーキテクチャ内のニューラルアーキテクチャのうちから、最も高い精度で前記機能を実行するよう訓練されたニューラルアーキテクチャを選択することをさらに含む請求項1から11のいずれか1項に記載のコンピュータプログラム。
- 機能の仕様及び複数のハードウェア設計パラメータを取得する段階であって、前記ハードウェア設計パラメータは、メモリ容量、計算リソースの数、通信帯域幅及びニューラルアーキテクチャの推論を実行するためのテンプレート構成を含む、前記取得する段階と、
各ニューラルアーキテクチャがある精度で前記機能を実行するよう訓練されている複数のニューラルアーキテクチャのうちの各ニューラルアーキテクチャに対して、前記ハードウェア設計パラメータ内でアクセラレータによるニューラルアーキテクチャの推論の実行の全体の待ち時間を決定する段階と、
前記複数のニューラルアーキテクチャのうちから、前記全体の待ち時間及び前記精度に基づいてニューラルアーキテクチャを選択する段階と
を備え、前記全体の待ち時間を決定する段階は、活性化データを格納する外部メモリと相互作用しつつ前記アクセラレータによって前記ニューラルアーキテクチャの推論の前記実行を遂行するために複数のハイパー・パラメータの待ち時間モデルを決定する段階をさらに含む、方法。 - 前記複数のハイパー・パラメータは、前記アクセラレータによる前記ニューラルアーキテクチャの推論の実行中の、タイリング設計と帯域幅割当とを含む請求項13に記載の方法。
- 前記待ち時間モデルを決定する段階は、
各層に対して、待ち時間要因のうち待ち時間ボトルネックを検出する段階をさらに含み、
前記待ち時間要因は、
外部メモリから前記アクセラレータの内部メモリへの活性化データのコピー、
前記外部メモリから前記内部メモリへの重み付け値のコピー、
前記活性化データに対しての計算の実行、及び、
前記内部メモリから前記外部メモリへの前記活性化データのコピー
である請求項13または14に記載の方法。 - 前記待ち時間モデルを決定する段階は、前記選択されたニューラルアーキテクチャの少なくとも1つの層に対して、前記待ち時間ボトルネックに対応する待ち時間削減技術を割り当てる段階をさらに含み、各待ち時間削減技術は、前記複数のハイパー・パラメータのうちのあるハイパー・パラメータ及び範囲に関連付けられている、請求項15に記載の方法。
- 前記待ち時間モデルを決定する段階は、前記選択されたニューラルアーキテクチャの少なくとも1つの層に対して、前記待ち時間ボトルネック以外の前記待ち時間要因うちのいずれかに対応する精度向上技術を割り当てる段階をさらに含み、各待ち時間削減技術は前記複数のハイパー・パラメータのうちのあるハイパー・パラメータ及び範囲に関連付けられている、請求項15または16に記載の方法。
- 機能の仕様及び複数のハードウェア設計パラメータを取得するよう構成された取得部であって、前記ハードウェア設計パラメータは、メモリ容量、計算リソースの数、通信帯域幅及びニューラルアーキテクチャの推論を実行するためのテンプレート構成を含む、前記取得部と、
各ニューラルアーキテクチャがある精度で前記機能を実行するよう訓練されている複数のニューラルアーキテクチャのうちの各ニューラルアーキテクチャに対して、前記ハードウェア設計パラメータ内でアクセラレータによる前記ニューラルアーキテクチャの推論の実行の全体の待ち時間を決定するよう構成された決定部と、
前記複数のニューラルアーキテクチャのうちから、前記全体の待ち時間及び前記精度に基づいてニューラルアーキテクチャを選択するよう構成された選択部と
を備え、前記決定部は、活性化データを格納している外部メモリと相互作用しつつ前記アクセラレータによって前記ニューラルアーキテクチャの推論の前記実行を遂行するために複数のハイパー・パラメータの待ち時間モデルをさらに決定する、装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020120906A JP6885553B1 (ja) | 2020-07-14 | 2020-07-14 | ハードウェアとニューラルアーキテクチャとの共同探索 |
US17/362,997 US11521052B2 (en) | 2020-07-14 | 2021-06-30 | Hardware and neural architecture co-search |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020120906A JP6885553B1 (ja) | 2020-07-14 | 2020-07-14 | ハードウェアとニューラルアーキテクチャとの共同探索 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6885553B1 true JP6885553B1 (ja) | 2021-06-16 |
JP2022017993A JP2022017993A (ja) | 2022-01-26 |
Family
ID=76310141
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020120906A Active JP6885553B1 (ja) | 2020-07-14 | 2020-07-14 | ハードウェアとニューラルアーキテクチャとの共同探索 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11521052B2 (ja) |
JP (1) | JP6885553B1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7437277B2 (ja) * | 2020-09-18 | 2024-02-22 | 株式会社東芝 | 情報処理装置及び情報処理システム |
US20220147680A1 (en) * | 2020-11-12 | 2022-05-12 | Samsung Electronics Co., Ltd. | Method for co-design of hardware and neural network architectures using coarse-to-fine search, two-phased block distillation and neural hardware predictor |
US20220035878A1 (en) * | 2021-10-19 | 2022-02-03 | Intel Corporation | Framework for optimization of machine learning architectures |
US20230259716A1 (en) * | 2022-02-14 | 2023-08-17 | International Business Machines Corporation | Neural architecture search of language models using knowledge distillation |
KR102506622B1 (ko) * | 2022-04-01 | 2023-03-07 | 리벨리온 주식회사 | 뉴럴 프로세싱 장치의 퍼포먼스 측정 방법 및 퍼포먼스 측정 장치 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE202017106532U1 (de) * | 2016-10-28 | 2018-02-05 | Google Llc | Suche nach einer neuronalen Architektur |
JP6756661B2 (ja) | 2017-04-28 | 2020-09-16 | 日立オートモティブシステムズ株式会社 | 車両電子制御装置 |
US20200104715A1 (en) * | 2018-09-28 | 2020-04-02 | Xilinx, Inc. | Training of neural networks by including implementation cost as an objective |
-
2020
- 2020-07-14 JP JP2020120906A patent/JP6885553B1/ja active Active
-
2021
- 2021-06-30 US US17/362,997 patent/US11521052B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20220019880A1 (en) | 2022-01-20 |
US11521052B2 (en) | 2022-12-06 |
JP2022017993A (ja) | 2022-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6885553B1 (ja) | ハードウェアとニューラルアーキテクチャとの共同探索 | |
CN113703741B (zh) | 神经网络编译器配置方法、装置、计算机设备和存储介质 | |
US10699046B2 (en) | System and method for achieving functional coverage closure for electronic system verification | |
Češka et al. | PRISM-PSY: precise GPU-accelerated parameter synthesis for stochastic systems | |
Sarkar et al. | FlowGNN: A dataflow architecture for real-time workload-agnostic graph neural network inference | |
US20210124860A1 (en) | High-throughput computational material simulation optimisation method and apparatus based on time prediction | |
Sohrabizadeh et al. | Automated accelerator optimization aided by graph neural networks | |
Radiuk et al. | A framework for exploring and modeling neural architecture search methods | |
WO2021069211A1 (en) | Method of and apparatus for processing data of a deep neural network | |
Bai et al. | Improving GNN-based accelerator design automation with meta learning | |
AU2021285952B2 (en) | Streamlining data processing optimizations for machine learning workloads | |
Rosas et al. | Improving performance on data-intensive applications using a load balancing methodology based on divisible load theory | |
Ullah et al. | CLAppED: A design framework for implementing cross-layer approximation in FPGA-based embedded systems | |
Geng et al. | Techniques for CAD tool parameter auto-tuning in physical synthesis: A survey | |
EP3742354A1 (en) | Information processing apparatus, information processing method, and program | |
Violos et al. | Predicting resource usage in edge computing infrastructures with CNN and a hybrid Bayesian particle swarm hyper-parameter optimization model | |
Rorabaugh et al. | Building high-throughput neural architecture search workflows via a decoupled fitness prediction engine | |
Pham et al. | Agd: A learning-based optimization framework for eda and its application to gate sizing | |
Pal et al. | Machine learning for agile fpga design | |
Zhu et al. | A brief survey of quantum architecture search | |
US20210264085A1 (en) | A novel system and method for achieving functional coverage closure for electronic system verification | |
Czappa et al. | Design-time performance modeling of compositional parallel programs | |
Chen et al. | Bottleneck analysis of dynamic graph neural network inference on cpu and gpu | |
Abualigah et al. | Quantum approximate optimization algorithm: a review study and problems | |
Bettker et al. | Understanding sample generation strategies for learning heuristic functions in classical planning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200821 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200821 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200902 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210413 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210428 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6885553 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |