JP2023515901A - マルチレベル知識蒸留に基づく事前訓練言語モデルの自動圧縮方法およびプラットフォーム - Google Patents
マルチレベル知識蒸留に基づく事前訓練言語モデルの自動圧縮方法およびプラットフォーム Download PDFInfo
- Publication number
- JP2023515901A JP2023515901A JP2022566730A JP2022566730A JP2023515901A JP 2023515901 A JP2023515901 A JP 2023515901A JP 2022566730 A JP2022566730 A JP 2022566730A JP 2022566730 A JP2022566730 A JP 2022566730A JP 2023515901 A JP2023515901 A JP 2023515901A
- Authority
- JP
- Japan
- Prior art keywords
- distillation
- network
- model
- knowledge
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013140 knowledge distillation Methods 0.000 title claims abstract description 101
- 238000007906 compression Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000006835 compression Effects 0.000 title claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000005056 compaction Methods 0.000 claims abstract description 21
- 238000004821 distillation Methods 0.000 claims description 144
- 239000013598 vector Substances 0.000 claims description 115
- 108090000623 proteins and genes Proteins 0.000 claims description 62
- 239000011159 matrix material Substances 0.000 claims description 35
- 238000005070 sampling Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 27
- 230000009467 reduction Effects 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 13
- 238000003058 natural language processing Methods 0.000 claims description 13
- 238000013138 pruning Methods 0.000 claims description 12
- 238000010200 validation analysis Methods 0.000 claims description 12
- 230000006798 recombination Effects 0.000 claims description 9
- 238000013461 design Methods 0.000 claims description 6
- 230000035772 mutation Effects 0.000 claims description 5
- 230000000052 comparative effect Effects 0.000 claims 1
- 230000007704 transition Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 206010064571 Gene mutation Diseases 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Physiology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Feedback Control In General (AREA)
Abstract
Description
Claims (10)
- マルチレベル知識蒸留に基づく事前訓練言語モデルの自動圧縮方法であって、
マルチレベル知識蒸留を構築し、セルフ・アテンションユニット、隠れ層状態、及び埋め込み層の3つの異なるレベルで大モデルの知識構造を蒸留するステップ1と、
メタ学習の知識蒸留ネットワークを訓練し、複数の事前訓練言語モデルの汎用圧縮アーキテクチャを生成するステップ2と、
進化的アルゴリズムに基づいて最適な圧縮構造を検索するステップ3と、を含む
ことを特徴とするマルチレベル知識蒸留に基づく事前訓練言語モデルの自動圧縮方法。 - ステップ2では、構造生成器のメタネットワークを設計し、ステップ1のマルチレベル知識蒸留に基づいて、知識蒸留符号化ベクトルを構築し、構造生成器を用いて、現在入力されている符号化ベクトルに対応する蒸留構造モデルを生成し、同時に、ベルヌーイ分布サンプリング法を用いて構造生成器を訓練し、繰り返しごとに、ベルヌーイ分布を用いて各エンコーダの遷移したセルフ・アテンションユニットをサンプリングし、対応する符号化ベクトルを構成し、構造生成器に入力する符号化ベクトルと、小バッチの訓練データとを変更し、構造生成器と対応する蒸留構造とを共同訓練することにより、異なる蒸留構造に対する重みを生成する構造生成器を取得する
ことを特徴とする請求項1に記載のマルチレベル知識蒸留に基づく事前訓練言語モデルの自動圧縮方法。 - ステップ3では、訓練済みメタ学習ネットワークを基に、進化的アルゴリズムにより最適な圧縮アーキテクチャを検索することで、タスクに依存しない事前訓練言語モデルの最適な汎用圧縮アーキテクチャを取得する
ことを特徴とする請求項2に記載のマルチレベル知識蒸留に基づく事前訓練言語モデルの自動圧縮方法。 - ステップ1では、セルフ・アテンション知識と、隠れ状態知識と、埋め込み層知識とを蒸留ネットワークとして符号化し、知識蒸留を用いて、大モデルから小モデルへの圧縮を実現する
ことを特徴とする請求項1に記載のマルチレベル知識蒸留に基づく事前訓練言語モデルの自動圧縮方法。 - ステップ1では、セルフ・アテンション知識蒸留と、隠れ層状態知識蒸留と、埋め込み層知識蒸留とを含む
ことを特徴とする請求項4に記載のマルチレベル知識蒸留に基づく事前訓練言語モデルの自動圧縮方法。 - ステップ2における前記構造生成器のメタネットワークは、2つの全結合層から構成され、セルフ・アテンション知識蒸留符号化ベクトルを入力し、構造生成器の重み行列を出力するものであり、
構造生成器の訓練プロセスは、
知識蒸留符号化ベクトルを構築するステップであって、前記知識蒸留符号化ベクトルは、層サンプリングベクトル、マルチヘッドプルーニングベクトル、隠れ層次元削減ベクトル、及び埋め込み層次元削減ベクトルを含むステップ2.1と、
構造生成器に基づいて蒸留ネットワークアーキテクチャを構築し、当該構造生成器を用いて、現在入力されている符号化ベクトルに対応する蒸留構造モデルを構築し、構造生成器が出力する重み行列の形状を調整し、セルフ・アテンション符号化ベクトルに対応する蒸留構造の入出力するセルフ・アテンションユニットの数と一致させるステップ2.2と、
構造生成器と蒸留構造モデルとを共同訓練するステップであって、ベルヌーイ分布サンプリング法を用いて構造生成器を訓練し、構造生成器に入力する符号化ベクトルと、小バッチの訓練データとを変更し、構造生成器と対応する蒸留構造とを共同訓練することにより、異なる蒸留構造に対する重みを生成できる構造生成器を取得することを含むステップ2.3と、を含む
ことを特徴とする請求項2に記載のマルチレベル知識蒸留に基づく事前訓練言語モデルの自動圧縮方法。 - ステップ3では、ネットワーク符号化ベクトルを訓練済み構造生成器に入力し、蒸留ネットワークに対応する重みを生成し、検証セットで蒸留ネットワークを評価して、対応する蒸留ネットワークの精度を取得することであって、
特定の制約条件を満たした上で、蒸留ネットワークの遺伝子として一連の蒸留ネットワーク符号化ベクトルを選択し、検証セットで評価することで、対応する蒸留ネットワークの精度を取得することと、
最も精度の高い上位k個の遺伝子を選択し、遺伝子組換えと変異を用いて新しい遺伝子を生成し、さらに上位k個の最適遺伝子の選択過程と新しい遺伝子の生成過程とを繰り返すことで、制約条件を満たし、かつ最も精度の高い遺伝子を取得することと、含む
ことを特徴とする請求項6に記載のマルチレベル知識蒸留に基づく事前訓練言語モデルの自動圧縮方法。 - 前記進化的アルゴリズムの具体的なプロセスは、
知識蒸留符号化ベクトルを蒸留構造モデルの遺伝子Gと定義し、制約条件Cを満たす一連の遺伝子を、初期集団としてランダムに選択するステップ3.1と、
既存集団の各遺伝子Giに対応する蒸留構造モデルの検証セットにおける推論精度accuracyを評価し、最も精度の高い上位k個の遺伝子を選択するステップ3.2と、
ステップ3.2で選択された最も精度の高い上位k個の遺伝子を用いて、遺伝子組換えと遺伝子変異により新しい遺伝子を生成し、新しい遺伝子を既存集団に追加するステップ3.3と、
既存集団の中から精度の高い上位k個の遺伝子を選択して新しい遺伝子を生成して、制約条件Cを満たし、かつ精度が最も高い遺伝子を取得するまで、ステップ3.2とステップ3.3とをN回繰り返すステップ3.4と、を含む
ことを特徴とする請求項7に記載のマルチレベル知識蒸留に基づく事前訓練言語モデルの自動圧縮方法。 - マルチレベル知識蒸留に基づく事前訓練言語モデルの自動圧縮プラットフォームであって、
ログインユーザによってアップロードされた、特定の自然言語処理下流タスクのBERTモデルと、マルチタスクに対する事前訓練言語モデルとを含む圧縮すべき訓練サンプルを取得するためのデータ読み込みコンポーネントであって、前記訓練サンプルは教師あり学習タスクを満足する、ラベルを有するテキストサンプルであるデータ読み込みコンポーネントと、
マルチタスクに対する事前訓練言語モデルを自動的に圧縮するための自動圧縮コンポーネントであって、
Transformerの層サンプリングベクトル、セルフ・アテンションのマルチヘッドプルーニングベクトル、隠れ層次元削減ベクトル、及び埋め込み層次元削減ベクトルを含み、順伝播過程で蒸留ネットワーク符号化ベクトルを構造生成器に入力し、構造の対応する蒸留ネットワークと構造生成器の重み行列を生成する知識蒸留ベクトル符号化モジュールと
構造生成器に基づいて現在入力されている符号化ベクトルに対応する蒸留ネットワークを構築し、構造生成器が出力する重み行列の形状を調整し、セルフ・アテンション符号化ベクトルに対応する蒸留構造の入出力するセルフ・アテンションユニットの数と一致させる蒸留ネットワーク生成モジュールと、
構造生成器をエンドツーエンドで訓練し、マルチレベル知識蒸留符号化ベクトルと小バッチの訓練データとを蒸留ネットワークに入力し、蒸留構造の重みと構造生成器の重み行列を更新する構造生成器及び蒸留ネットワークの共同訓練モジュールと、
進化的アルゴリズムを用いて、特定の制約条件を満たす、最も精度の高い蒸留ネットワークを検索する蒸留ネットワーク検索モジュールと、
前記自動圧縮コンポーネントによって生成された事前訓練モデル蒸留ネットワーク上に下流タスクネットワークを構築し、蒸留ネットワークの特徴層と出力層を用いて下流タスクシーンを微調整し、最終微調整済みの学生モデル、すなわちログインユーザのニーズである下流タスクを含む事前訓練言語モデルの圧縮モデルを出力し、前記圧縮モデルを、前記ログインユーザがダウンロードできるように、指定されたコンテナに出力し、前記プラットフォームの圧縮モデルを出力するページで、圧縮前後のモデルのサイズの比較情報を表示する特定タスク微調整モジュールと、を含む自動圧縮コンポーネントと、
前記プラットフォームから訓練済み圧縮モデルはログインユーザにより取得され、前記自動圧縮コンポーネントにより出力された圧縮モデルを用いて、実際のシーンのデータセットでログインユーザがアップロードした自然言語処理下流タスクの新しいデータを推論し、前記プラットフォームの圧縮モデル推論ページで、圧縮前後の推論速度の比較情報を表示する推論コンポーネントと、を備える
ことを特徴とするマルチレベル知識蒸留に基づく事前訓練言語モデルの自動圧縮プラットフォーム。 - ログインユーザが直接ダウンロード可能な訓練された事前訓練言語モデルを提供し、ユーザの特定の自然言語処理下流タスクに対するニーズに従って、前記プラットフォームで生成された、圧縮された事前モデルのアーキテクチャを基にして、下流タスクネットワークを構築し、微調整し、最後に端末デバイスに配置するか、または前記プラットフォームで自然言語処理下流タスクを直接に推論する
ことを特徴とする請求項9に記載のマルチレベル知識蒸留に基づく事前訓練言語モデルの自動圧縮プラットフォーム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011498328.2A CN112241455B (zh) | 2020-12-17 | 2020-12-17 | 基于多层级知识蒸馏预训练语言模型自动压缩方法及平台 |
CN202011498328.2 | 2020-12-17 | ||
PCT/CN2020/142577 WO2022126797A1 (zh) | 2020-12-17 | 2020-12-31 | 基于多层级知识蒸馏预训练语言模型自动压缩方法及平台 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023515901A true JP2023515901A (ja) | 2023-04-14 |
JP7283835B2 JP7283835B2 (ja) | 2023-05-30 |
Family
ID=82021481
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022566730A Active JP7283835B2 (ja) | 2020-12-17 | 2020-12-31 | マルチレベル知識蒸留に基づく事前訓練言語モデルの自動圧縮方法およびプラットフォーム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11501171B2 (ja) |
JP (1) | JP7283835B2 (ja) |
GB (1) | GB2610319A (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230259716A1 (en) * | 2022-02-14 | 2023-08-17 | International Business Machines Corporation | Neural architecture search of language models using knowledge distillation |
CN115457006B (zh) * | 2022-09-23 | 2023-08-22 | 华能澜沧江水电股份有限公司 | 基于相似一致性自蒸馏的无人机巡检缺陷分类方法及装置 |
CN116152240B (zh) * | 2023-04-18 | 2023-07-25 | 厦门微图软件科技有限公司 | 一种基于知识蒸馏的工业缺陷检测模型压缩方法 |
CN116384439B (zh) * | 2023-06-06 | 2023-08-25 | 深圳市南方硅谷半导体股份有限公司 | 一种基于自蒸馏的目标检测方法 |
CN117332784A (zh) * | 2023-09-28 | 2024-01-02 | 卓世科技(海南)有限公司 | 一种基于分层图注意力与动态元学习的智能知识增强方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110766142A (zh) * | 2019-10-30 | 2020-02-07 | 北京百度网讯科技有限公司 | 模型生成方法和装置 |
CN111291836A (zh) * | 2020-03-31 | 2020-06-16 | 中国科学院计算技术研究所 | 一种生成学生网络模型的方法 |
CN111611377A (zh) * | 2020-04-22 | 2020-09-01 | 淮阴工学院 | 基于知识蒸馏的多层神经网络语言模型训练方法与装置 |
CN111767711A (zh) * | 2020-09-02 | 2020-10-13 | 之江实验室 | 基于知识蒸馏的预训练语言模型的压缩方法及平台 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3076424A1 (en) * | 2019-03-22 | 2020-09-22 | Royal Bank Of Canada | System and method for knowledge distillation between neural networks |
US11620515B2 (en) * | 2019-11-07 | 2023-04-04 | Salesforce.Com, Inc. | Multi-task knowledge distillation for language model |
CN111062489B (zh) * | 2019-12-11 | 2023-10-20 | 北京知道创宇信息技术股份有限公司 | 一种基于知识蒸馏的多语言模型压缩方法、装置 |
CN111506702A (zh) * | 2020-03-25 | 2020-08-07 | 北京万里红科技股份有限公司 | 基于知识蒸馏的语言模型训练方法、文本分类方法及装置 |
US11521075B2 (en) * | 2020-05-15 | 2022-12-06 | Microsoft Technology Licensing, Llc | Transfer learning system for automated software engineering tasks |
CN116075830A (zh) * | 2020-06-29 | 2023-05-05 | 巴黎欧莱雅 | 图像到图像转换中语义关系保留的知识提炼 |
CN111767110B (zh) * | 2020-07-01 | 2023-06-23 | 广州视源电子科技股份有限公司 | 图像处理方法、装置、***、电子设备及存储介质 |
CN112016674B (zh) | 2020-07-29 | 2024-06-18 | 魔门塔(苏州)科技有限公司 | 一种基于知识蒸馏的卷积神经网络的量化方法 |
-
2020
- 2020-12-31 JP JP2022566730A patent/JP7283835B2/ja active Active
- 2020-12-31 GB GB2214215.2A patent/GB2610319A/en active Pending
-
2021
- 2021-12-20 US US17/555,535 patent/US11501171B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110766142A (zh) * | 2019-10-30 | 2020-02-07 | 北京百度网讯科技有限公司 | 模型生成方法和装置 |
CN111291836A (zh) * | 2020-03-31 | 2020-06-16 | 中国科学院计算技术研究所 | 一种生成学生网络模型的方法 |
CN111611377A (zh) * | 2020-04-22 | 2020-09-01 | 淮阴工学院 | 基于知识蒸馏的多层神经网络语言模型训练方法与装置 |
CN111767711A (zh) * | 2020-09-02 | 2020-10-13 | 之江实验室 | 基于知识蒸馏的预训练语言模型的压缩方法及平台 |
Also Published As
Publication number | Publication date |
---|---|
US20220198276A1 (en) | 2022-06-23 |
GB202214215D0 (en) | 2022-11-09 |
US11501171B2 (en) | 2022-11-15 |
JP7283835B2 (ja) | 2023-05-30 |
GB2610319A (en) | 2023-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7283835B2 (ja) | マルチレベル知識蒸留に基づく事前訓練言語モデルの自動圧縮方法およびプラットフォーム | |
CN112241455B (zh) | 基于多层级知识蒸馏预训练语言模型自动压缩方法及平台 | |
CN111291836B (zh) | 一种生成学生网络模型的方法 | |
CN110534087B (zh) | 一种文本韵律层级结构预测方法、装置、设备及存储介质 | |
CN107844469B (zh) | 基于词向量查询模型的文本简化方法 | |
CN112396181A (zh) | 一种卷积神经网络通用压缩架构的自动剪枝方法及平台 | |
CN107836000A (zh) | 用于语言建模和预测的改进的人工神经网络 | |
CN111078866B (zh) | 一种基于序列到序列模型的中文文本摘要生成方法 | |
CN112328767A (zh) | 基于bert模型和比较聚合框架的问答匹配方法 | |
CN112232511B (zh) | 面向多任务的预训练语言模型自动压缩方法及平台 | |
CN107526725A (zh) | 基于人工智能的用于生成文本的方法和装置 | |
CN109165720A (zh) | 神经网络模型压缩方法、装置和计算机设备 | |
CN112000772B (zh) | 面向智能问答基于语义特征立方体的句子对语义匹配方法 | |
CN112732864B (zh) | 一种基于稠密伪查询向量表示的文档检索方法 | |
CN111274375A (zh) | 一种基于双向gru网络的多轮对话方法及*** | |
JP7381814B2 (ja) | マルチタスク向けの予めトレーニング言語モデルの自動圧縮方法及びプラットフォーム | |
CN110334196B (zh) | 基于笔画和自注意力机制的神经网络中文问题生成*** | |
CN113177141A (zh) | 基于语义嵌入软相似性的多标签视频哈希检索方法及设备 | |
CN111353313A (zh) | 基于进化神经网络架构搜索的情感分析模型构建方法 | |
CN111783423A (zh) | 解题模型的训练方法及装置、解题方法及装置 | |
CN110084250A (zh) | 一种图像描述的方法及*** | |
CN111882042A (zh) | 用于液体状态机的神经网络架构自动搜索方法、***及介质 | |
CN116543289B (zh) | 一种基于编码器-解码器及Bi-LSTM注意力模型的图像描述方法 | |
CN112417089B (zh) | 一种基于深度学习的高并行性阅读理解的方法 | |
CN115424663B (zh) | 一种基于attention的双向表示模型的RNA修饰位点预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221101 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221101 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230511 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7283835 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |