JP7361121B2 - デュアル・ネットワークと共に訓練された主ネットワークを介した多目的タスクの実行 - Google Patents
デュアル・ネットワークと共に訓練された主ネットワークを介した多目的タスクの実行 Download PDFInfo
- Publication number
- JP7361121B2 JP7361121B2 JP2021537204A JP2021537204A JP7361121B2 JP 7361121 B2 JP7361121 B2 JP 7361121B2 JP 2021537204 A JP2021537204 A JP 2021537204A JP 2021537204 A JP2021537204 A JP 2021537204A JP 7361121 B2 JP7361121 B2 JP 7361121B2
- Authority
- JP
- Japan
- Prior art keywords
- network
- computer
- training
- response
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Machine Translation (AREA)
- Information Transfer Between Computers (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
オンデマンド・セルフサービス:クラウド・コンシューマは、サービス・プロバイダとの間で人間の対話を必要とすることなく、必要に応じて自動的に、サーバ時間およびネットワーク・ストレージなどのコンピューティング機能を一方的にプロビジョニングすることができる。
広範なネットワーク・アクセス:機能は、ネットワーク上で利用可能であり、異種のシン・クライアント・プラットフォームまたはシック・クライアント・プラットフォーム(例えば、携帯電話、ラップトップ、およびPDA)による使用を促進する標準的なメカニズムを介してアクセスされる。
リソースのプール化:プロバイダのコンピューティング・リソースは、マルチテナント・モデルを使用して複数のコンシューマにサービス提供するようにプール化され、異なる物理リソースおよび仮想リソースが、要求に応じて動的に割当ておよび再割当てされる。コンシューマは一般に、提供されるリソースの正確な位置に対して制御も知識も有していないが、より高い抽象化レベルでは位置(例えば、国、州、またはデータセンター)を特定し得るという点で、位置の独立性があるといえる。
迅速な柔軟性:機能を、迅速かつ柔軟に、場合によっては自動的にプロビジョニングして素早くスケール・アウトし、迅速に解放して素早くスケール・インすることができる。コンシューマにとっては、プロビジョニングに利用可能な機能は、しばしば無制限であるように見え、いつでも任意の数量で購入することができる。
サービスの測定:クラウド・システムは、サービスのタイプ(例えば、ストレージ、処理、帯域幅、およびアクティブなユーザ・アカウント)に適した一定の抽象化レベルでの計量機能を活用することによって、リソースの使用を自動的に制御および最適化する。リソースの使用状況を監視、制御、および報告することができ、利用するサービスのプロバイダとコンシューマの両方に透明性を提供する。
ソフト・ウェア・アズ・ア・サービス(SaaS):クラウド・インフラストラクチャ上で動作しているプロバイダのアプリケーションを使用するために、コンシューマに提供される機能である。アプリケーションは、ウェブ・ブラウザ(例えば、ウェブ・ベースの電子メール)などのシン・クライアント・インターフェースを介して様々なクライアント・デバイスからアクセス可能である。限定されたユーザ固有のアプリケーション構成設定を想定される例外として、コンシューマは、ネットワーク、サーバ、オペレーティング・システム、ストレージ、または個々のアプリケーション機能を含む基礎となるクラウド・インフラストラクチャを管理も制御もしない。
プラットフォーム・アズ・ア・サービス(PaaS):プロバイダによってサポートされるプログラミング言語およびツールを使用して生成されたコンシューマが生成または取得したアプリケーションをクラウド・インフラストラクチャ上に展開するために、コンシューマに提供される機能である。コンシューマは、ネットワーク、サーバ、オペレーティング・システム、またはストレージなどの基礎となるクラウド・インフラストラクチャを管理も制御もしないが、展開されたアプリケーション、および場合によってはアプリケーションをホストする環境構成を制御する。
インフラストラクチャ・アズ・ア・サービス(IaaS):オペレーティング・システムおよびアプリケーションを含み得る任意のソフトウェアをコンシューマが展開および動作させることができる、処理、ストレージ、ネットワーク、および他の基本的なコンピューティング・リソースをプロビジョニングするために、コンシューマに提供される機能である。コンシューマは、基礎となるクラウド・インフラストラクチャを管理も制御もしないが、オペレーティング・システム、ストレージ、展開されたアプリケーションを制御し、場合によっては選択されたネットワーキング・コンポーネント(例えば、ホスト・ファイアウォール)を限定的に制御する。
プライベート・クラウド:クラウド・インフラストラクチャは、ある組織のためだけに運用される。このクラウド・インフラストラクチャは、組織または第三者によって管理されてもよく、オンプレミスまたはオフプレミスで存在してもよい。
コミュニティ・クラウド:クラウド・インフラストラクチャは複数の組織で共有され、関心事項(例えば、ミッション、セキュリティ要件、ポリシー、およびコンプライアンス上の考慮事項)を共有している特定のコミュニティをサポートする。このクラウド・インフラストラクチャは、組織または第三者によって管理されてもよく、オンプレミスまたはオフプレミスで存在してもよい。
パブリック・クラウド:クラウド・インフラストラクチャは、一般公衆または大規模な業界グループにとって利用可能であり、クラウド・サービスを販売する組織によって所有される。
ハイブリッド・クラウド:クラウド・インフラストラクチャは、固有のエンティティのままであるが、データおよびアプリケーションの移植性(例えば、クラウド間の負荷分散のためのクラウド・バースティング)を可能にする標準化された技術または専用の技術によって結び付けられる2つ以上のクラウド(プライベート、コミュニティ、またはパブリック)の合成である。
で表すことができ、式中、X={1,…,n,xTer}およびA={1,…,m}はそれぞれ、状態空間および行動空間であり、xTerは再帰的終了状態である。状態xおよび行動aの場合、R(x,a)を有界な報酬関数とすることができ、D1(x,a)、…、Dn(x,a)を制約コスト関数とすることができる。
を遷移確率分布とすることができ、P0(・)は初期状態分布となる。MDPの定常方策μ(・|x)は、現在の状態を条件とする行動全体の確率分布である。方策勾配法では、このような方策を、k次元ベクトルθによってパラメータ化することができ、この表記法を使用して、方策の空間を、
と記述することができる。この設定では、方策μがそのパラメータ・ベクトルθによって一意に定義されるので、方策依存関数を、μまたはθの関数として記述することができ、μ(・|x;θ)を使用して方策を示し、θを使用して方策(パラメータ)に対する依存関係を示す。多目的MDPの場合、最適化は次式を使用して表すことができる。
式中、γ1…γnはユーザ定義の閾値である。上記の問題を解くために、ラグランジュ緩和手順を使用して、式1を変換することができる。その結果、ラグランジュ関数の形式の制約のない問題、すなわち、
となり、本明細書ではラグランジュとも呼ぶ。式中、λiはラグランジュ乗数である。多目的の目標を達成するために、主ネットワークは、ミニマックス方策に収束するように訓練されてもよい。具体的には、方策に関する勾配降下法とラムダ乗数に関する勾配上昇法などの交互の方策勾配更新を使用して、最適な方策に収束することができる。さらに、ラグランジュ変数は、状態空間を条件としてもよい。言い換えると、双対変数は、以下の式4に示すように、
であるパラメータζを使用してパラメータ化された異なるデータ依存モデルとして扱われてもよい。
式3と式4の同等性は、拡大された探索空間から得られ、ラムダ変数が一定である場合を含む。
を使用して算出されてもよい。式中、NSはSの濃度を示し、Nsは応答sのトークンの数を示し、
は言語モデルの確率である。
、
を、符号器から取得された2つの連続するターンpiおよびpi+1に対する埋め込み表現とすると、次式に示すように、それらの間のコサイン類似度の負の対数によって、報酬を算出することができる。
式中、(・,・)はユークリッド内積であり、||・||はユークリッド・ノルムである。
式中、
は、前の対話発話[pi,qi]が与えられた場合に応答を生成する確率を示し、
は、応答aに基づいて前の対話発話qiを生成する後ろ向き確率を示す。このモデルを訓練するために、同じseq2seq(注意を用いたLSTMモデル)を、ソースとターゲットを交換して訓練することができる。損失をスケーリングするために、この報酬を、発話の長さで除算することができる。
である状態が与えられた場合の行動の確率分布によって定義されてもよい。いくつかの例において、この確率分布はSeq2SeqLSTMモデルを使用してモデル化される。いくつかの例において、LSTMモデルを、任意の他の適切な別の言語生成モデルに置き換えることができる。
Claims (30)
- プロセッサを含むシステムであって、前記プロセッサが、
多目的タスク用のデータを受信し、
訓練済みの主ネットワークを介して、受信した前記データに対して前記多目的タスクを実行し、前記主ネットワークおよびデュアル・ネットワークが、複数の目的を表すラグランジュ損失関数を使用して多目的タスク用に訓練され、前記主ネットワークが前記ラグランジュ損失関数を最小化するように訓練され、前記デュアル・ネットワークが前記ラグランジュ損失関数を最大化するように訓練される、システム。 - 前記多目的タスクが、有限状態空間および有限行動空間を含むマルコフ決定過程を含む、請求項1に記載のシステム。
- 前記主ネットワークが、別の設定から学習された一般的な方策またはランダムな初期化を使用して事前訓練される、請求項1に記載のシステム。
- 前記デュアル・ネットワークが、訓練中にランダムに初期化される、請求項1に記載のシステム。
- 前記主ネットワークが、訓練中の前記デュアル・ネットワークのステップ・サイズとは異なるステップ・サイズを含む、請求項1に記載のシステム。
- 前記プロセッサが、尤度比推定に基づいて勾配を推定するように動作可能である、請求項1に記載のシステム。
- 前記多目的タスクが、選択、分類、回帰、推奨、生成、または予測タスクを含む、請求項1に記載のシステム。
- 前記プロセッサが受信するように動作可能である前記データが、会話の接頭辞およびテキスト入力であり、前記プロセッサが、前記訓練済みの主ネットワークを介して前記会話の接頭辞および前記テキスト入力に基づいて完成応答を生成するように動作可能である、請求項1に記載のシステム。
- 前記プロセッサが、
複数の完成応答を生成し、
前記完成応答を含む前記複数の完成応答を選択用にユーザに提示し、
前記完成応答から選択された応答を受信し、
前記選択された応答を第2のユーザに送信する
ように動作可能である、請求項8に記載のシステム。 - 前記会話の接頭辞が第1のユーザと第2のユーザとの間の対話を含み、前記テキスト入力が前記完成応答の一部を含む、請求項8に記載のシステム。
- 前記主ネットワークおよび前記デュアル・ネットワークが、異なるパラメータおよび場合によっては追加のネットワーク要素を有する長短期記憶(LSTM)モデルを含む、請求項8に記載のシステム。
- 前記複数の目的が、パープレキシティの目的または関連性の目的を含む、請求項8に記載のシステム。
- 前記複数の目的が、冗長性非尤度の目的または意味的非類似度の目的を含む、請求項8に記載のシステム。
- 前記複数の目的が、意味的一貫性の目的を含む、請求項13に記載のシステム。
- コンピュータ実施方法であって、
複数の目的を表すラグランジュ損失関数を使用して主ネットワークおよびデュアル・ネットワークを多目的タスク用に訓練することであって、前記主ネットワークおよび前記デュアル・ネットワークを訓練することが、前記ラグランジュ損失関数を最小化するように前記主ネットワークを訓練し、前記ラグランジュ損失関数を最大化するように前記デュアル・ネットワークを訓練することを含む、前記訓練することと、
前記多目的タスク用のデータを受信することと、
前記訓練済みの主ネットワークを介して、受信した前記データに対して前記多目的タスクを実行することと
を含む、コンピュータ実施方法。 - 前記多目的タスクを、有限状態空間および有限動作空間を含むマルコフ決定過程として含む、請求項15に記載のコンピュータ実施方法。
- 別の設定から学習された一般的な方策を使用して、または訓練中に前記主ネットワークをランダムに初期化して、前記主ネットワークを事前訓練することを含む、請求項15に記載のコンピュータ実施方法。
- 訓練中に前記デュアル・ネットワークをランダムに初期化することを含む、請求項15に記載のコンピュータ実施方法。
- 前記主ネットワークおよび前記デュアル・ネットワークを訓練することが、尤度比に基づいて前記主ネットワークおよび前記デュアル・ネットワークの勾配を推定することを含む、請求項15に記載のコンピュータ実施方法。
- 前記主ネットワークおよび前記デュアル・ネットワークの異なるステップ・サイズに基づいて、前記主ネットワークおよび前記デュアル・ネットワークの方策勾配を更新することを含む、請求項15に記載のコンピュータ実施方法。
- 前記主ネットワークおよび前記デュアル・ネットワークを訓練することが、前記主ネットワークおよび前記デュアル・ネットワークを交互に訓練することを含む、請求項15に記載のコンピュータ実施方法。
- 受信される前記データが、会話の接頭辞およびテキスト入力であり、前記方法が、
前記訓練済みの主ネットワークを介して前記会話の接頭辞および前記テキスト入力に基づいて完成応答を生成すること含む、請求項15に記載のコンピュータ実施方法。 - 複数の完成応答を生成することと、
前記完成応答を含む前記複数の完成応答を選択用にユーザに提示することと、
前記完成応答から選択された応答を受信することと、
前記選択された応答を第2のユーザに送信することと
を含む、請求項22に記載のコンピュータ実施方法。 - 前記完成応答の信頼度スコアが閾値スコアを超えたことを検出したことに応答して、前記完成応答を問合せへの応答として送信すること
を含む、請求項22に記載のコンピュータ実施方法。 - 前記完成応答を生成することが、前記テキスト入力で始まる前記完成応答を単語単位で反復的に構築することを含む、請求項22に記載のコンピュータ実施方法。
- 前記完成応答を生成することが、複数の完成応答を生成するためのビーム探索を含む、請求項22に記載のコンピュータ実施方法。
- 会話のターンの第1の制限を使用し、前記第1の制限を会話のターンの第2の制限まで段階的に増加させて、主ネットワークを訓練することを含む、請求項22に記載のコンピュータ実施方法。
- 訓練データセット内のすべてのシーケンス間で冗長な応答を生成する尤度が低いシーケンスを使用して前記主ネットワークを訓練することを含む、請求項22に記載のコンピュータ実施方法。
- コンピュータ・プログラムであって、請求項15ないし28のいずれか1項に記載の方法の各ステップをコンピュータに実行させるための、コンピュータ・プログラム。
- 請求項29に記載のコンピュータ・プログラムを記録した、コンピュータ可読記録媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/266,080 US11151324B2 (en) | 2019-02-03 | 2019-02-03 | Generating completed responses via primal networks trained with dual networks |
US16/266,078 | 2019-02-03 | ||
US16/266,080 | 2019-02-03 | ||
US16/266,078 US11281867B2 (en) | 2019-02-03 | 2019-02-03 | Performing multi-objective tasks via primal networks trained with dual networks |
PCT/IB2020/050827 WO2020157731A1 (en) | 2019-02-03 | 2020-02-03 | Performing multi-objective tasks via primal networks trained with dual networks |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022518671A JP2022518671A (ja) | 2022-03-16 |
JPWO2020157731A5 JPWO2020157731A5 (ja) | 2022-06-07 |
JP7361121B2 true JP7361121B2 (ja) | 2023-10-13 |
Family
ID=71840289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021537204A Active JP7361121B2 (ja) | 2019-02-03 | 2020-02-03 | デュアル・ネットワークと共に訓練された主ネットワークを介した多目的タスクの実行 |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP7361121B2 (ja) |
CN (1) | CN113366510A (ja) |
GB (1) | GB2595123A (ja) |
WO (1) | WO2020157731A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113114585B (zh) * | 2021-04-13 | 2022-10-18 | 网络通信与安全紫金山实验室 | 任务迁移与网络传输联合优化的方法、设备及存储介质 |
CN117435928B (zh) * | 2023-12-20 | 2024-06-18 | 粤港澳大湾区数字经济研究院(福田) | 实体关系抽取模型的训练方法、实体关系抽取方法及设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180210874A1 (en) | 2017-01-25 | 2018-07-26 | Google Llc | Automatic suggested responses to images received in messages using language model |
US20180357566A1 (en) | 2017-06-13 | 2018-12-13 | Microsoft Technology Licensing, Llc | Unsupervised learning utilizing sequential output statistics |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8626677B2 (en) * | 2010-05-28 | 2014-01-07 | Microsoft Corporation | Training SVMs with parallelized stochastic gradient descent |
US10192551B2 (en) * | 2016-08-30 | 2019-01-29 | Google Llc | Using textual input and user state information to generate reply content to present in response to the textual input |
CN108804612B (zh) * | 2018-05-30 | 2021-11-02 | 武汉烽火普天信息技术有限公司 | 一种基于对偶神经网络模型的文本情感分类方法 |
-
2020
- 2020-02-03 CN CN202080010330.2A patent/CN113366510A/zh active Pending
- 2020-02-03 JP JP2021537204A patent/JP7361121B2/ja active Active
- 2020-02-03 GB GB2111303.0A patent/GB2595123A/en not_active Withdrawn
- 2020-02-03 WO PCT/IB2020/050827 patent/WO2020157731A1/en active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180210874A1 (en) | 2017-01-25 | 2018-07-26 | Google Llc | Automatic suggested responses to images received in messages using language model |
US20180357566A1 (en) | 2017-06-13 | 2018-12-13 | Microsoft Technology Licensing, Llc | Unsupervised learning utilizing sequential output statistics |
Non-Patent Citations (1)
Title |
---|
TESSLER, Chen et al.,"Reward Constrained Policy Optimization",arXiv [online],2018年12月,[2023年09月12日検索],インターネット<URL:https://arxiv.org/abs/1805.11074v3>,1805.11074v3 |
Also Published As
Publication number | Publication date |
---|---|
GB2595123A (en) | 2021-11-17 |
WO2020157731A1 (en) | 2020-08-06 |
JP2022518671A (ja) | 2022-03-16 |
CN113366510A (zh) | 2021-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11151324B2 (en) | Generating completed responses via primal networks trained with dual networks | |
US11501187B2 (en) | Opinion snippet detection for aspect-based sentiment analysis | |
US11100399B2 (en) | Feature extraction using multi-task learning | |
US20190318268A1 (en) | Distributed machine learning at edge nodes | |
US11314950B2 (en) | Text style transfer using reinforcement learning | |
US10503827B2 (en) | Supervised training for word embedding | |
US11182557B2 (en) | Driving intent expansion via anomaly detection in a modular conversational system | |
US9836695B2 (en) | Automated decision support provenance and simulation | |
US10621497B2 (en) | Iterative and targeted feature selection | |
US11281867B2 (en) | Performing multi-objective tasks via primal networks trained with dual networks | |
US10671928B2 (en) | Adaptive analytical modeling tool | |
JP7361121B2 (ja) | デュアル・ネットワークと共に訓練された主ネットワークを介した多目的タスクの実行 | |
US20170193391A1 (en) | Iterative interpolation of maximum entropy models | |
US20230177337A1 (en) | Multi-objective driven refactoring of a monolith application using reinforcement learning | |
US20230079879A1 (en) | Conversation generation using summary-grounded conversation generators | |
US11741296B2 (en) | Automatically modifying responses from generative models using artificial intelligence techniques | |
CN114424197A (zh) | 使用分层聚类的罕见主题检测 | |
US11410023B2 (en) | Lexicographic deep reinforcement learning using state constraints and conditional policies | |
WO2023077989A1 (en) | Incremental machine learning for a parametric machine learning model | |
US20210142180A1 (en) | Feedback discriminator | |
US11671385B1 (en) | Automated communication exchange programs for attended robotic process automation | |
WO2023100050A1 (en) | Conversational agent counterfactual simulation | |
US20220245460A1 (en) | Adaptive self-adversarial negative sampling for graph neural network training | |
JP2023002475A (ja) | コンピュータシステム、コンピュータプログラムおよびコンピュータで実装される方法(因果関係知識の識別および抽出) | |
US20220237415A1 (en) | Priority-based, accuracy-controlled individual fairness of unstructured text |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20220512 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220527 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231002 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7361121 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |