JP2022550326A - 言語タスクのための対照事前トレーニング - Google Patents
言語タスクのための対照事前トレーニング Download PDFInfo
- Publication number
- JP2022550326A JP2022550326A JP2022519013A JP2022519013A JP2022550326A JP 2022550326 A JP2022550326 A JP 2022550326A JP 2022519013 A JP2022519013 A JP 2022519013A JP 2022519013 A JP2022519013 A JP 2022519013A JP 2022550326 A JP2022550326 A JP 2022550326A
- Authority
- JP
- Japan
- Prior art keywords
- machine
- tokens
- computing system
- model
- learned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 84
- 230000001755 vocal effect Effects 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 79
- 230000006870 function Effects 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 14
- 238000007476 Maximum Likelihood Methods 0.000 claims description 4
- 230000002787 reinforcement Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 17
- 238000013528 artificial neural network Methods 0.000 description 15
- 230000015654 memory Effects 0.000 description 15
- 230000009471 action Effects 0.000 description 8
- 239000008186 active pharmaceutical agent Substances 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000003058 natural language processing Methods 0.000 description 5
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 4
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010422 painting Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
- Stored Programmes (AREA)
Abstract
Description
本出願は、その全体が参照により本明細書に組み込まれる、2019年9月25日に出願された米国仮特許出願第62/905,602号の優先権および利益を主張する。
一般に、本開示は、対照学習タスクを使用して機械学習言語符号化モデルをトレーニングするシステムおよび方法を対象とする。特に、本開示は、エンコーダが、入力トークンを妥当と思われる代替から区別することを学習する対照学習タスクについて説明する。いくつかの実装形態では、各トレーニング例において、提案された方法は、元の入力トークンの一部のサブセット(たとえば、15%)をマスクアウトし、マスキングされたトークンを「ジェネレータ」(たとえば、小さいマスキングされた言語モデルであってもよい)からのサンプルで置き換え、次いで、各トークンが元のデータから来たか、ジェネレータによって生成された置換であるかを予測するようにエンコーダをトレーニングする。米国仮特許出願第62/905,602号に含まれる例示的実験は、このタスクが、マスクアウトされたサブセットのみではなく、すべての入力トークンから損失が生じるので、マスキングされた言語モデリングよりも効率的なサンプルであることを示している。提案されたアプローチはまた、よりパラメータ効率が良く、収束するようにトレーニングされたときにより良い結果を生成する。
図1は、本開示の例示的実施形態による、機械学習済み言語エンコーダモデル12の例示的事前トレーニングプロセスにおけるデータフローを示す。
D(x,t)=sigmoid(wThD(x)t)
式中、wは、弁別器の学習された重みに対応する。
i=1~kの場合、mi~unif{1,n}
xmasked=REPLACE(x,m,[MASK])
図2Aは、本開示の例示的実施形態による例示的コンピューティングシステム100のブロック図を示す。システム100は、ネットワーク180を介して通信可能に結合されている、ユーザコンピューティングデバイス102、サーバコンピューティングシステム130、およびトレーニング用コンピューティングシステム150を含む。
本明細書において論じた技術は、サーバ、データベース、ソフトウェアアプリケーション、および他のコンピュータベースのシステム、ならびに行われるアクションおよびそのようなシステムとの間で送られる情報を参照する。コンピュータベースのシステムの固有柔軟性により、構成要素の間でのタスクおよび機能性の非常に様々な可能構成、組合せ、および分割ができるようになる。たとえば、本明細書において論じるプロセスは、組合せで動く、単一のデバイスもしくは構成要素または複数のデバイスもしくは構成要素を使って実装することができる。データベースおよびアプリケーションは、単一のシステム上で実装されるか、または複数のシステムに分散されてよい。分散構成要素は、順次、または並行して動作することができる。
12 機械学習済み言語エンコーダモデル
14 機械学習済み言語ジェネレータモデル
18 元の入力トークン
20a マスキングされたトークン
20b マスキングされたトークン
22 更新された入力トークン
23a 置換トークン
23b 置換トークン
24 予測
26 損失関数
28 第2の損失関数
50 コンピューティングデバイス
100 コンピューティングシステム
102 ユーザコンピューティングデバイス
112 プロセッサ
114 メモリ
116 データ
118 命令
120 機械学習済みモデル
122 ユーザ入力構成要素
130 サーバコンピューティングシステム
132 プロセッサ
134 メモリ
136 データ
138 命令
140 機械学習済みモデル
150 トレーニング用コンピューティングシステム
152 プロセッサ
154 メモリ
156 データ
158 命令
160 モデル訓練器
162 トレーニングデータのセット
180 ネットワーク
Claims (20)
- 機械学習済み言語エンコーダモデルをトレーニングするためのコンピュータ実装方法であって、
1つまたは複数のトレーニング反復の各々について、
1つまたは複数のコンピューティングデバイスを含むコンピューティングシステムによって、複数の元の入力トークンを含む元の言語入力を取得するステップと、
前記コンピューティングシステムによって、1つまたは複数のマスキングされたトークンとして働くように前記複数の元の入力トークンのうちの1つまたは複数を選択するステップと、
前記コンピューティングシステムによって、1つまたは複数の置換トークンを生成するステップと、
複数の更新された入力トークンを含むノイズのある言語入力を形成するために、前記コンピューティングシステムによって、前記元の言語入力内の前記1つまたは複数のマスキングされたトークンを、前記1つまたは複数の置換トークンでそれぞれ置換するステップと、
前記複数の更新された入力トークンについて複数の予測をそれぞれ生成するために、前記コンピューティングシステムによって、前記機械学習済み言語エンコーダモデルにより前記ノイズのある言語入力を処理するステップであり、各更新された入力トークンについて前記機械学習済み言語エンコーダモデルによって生成された前記予測が、そのような更新された入力トークンが前記元の入力トークンのうちの1つであるか、前記置換入力トークンのうちの1つであるかを予測する、処理するステップと、
前記コンピューティングシステムによって、前記機械学習済み言語エンコーダモデルによって生成された前記複数の予測を評価する損失関数に少なくとも部分的に基づいて、前記機械学習済み言語エンコーダモデルをトレーニングするステップと
を含む、コンピュータ実装方法。 - 前記コンピューティングシステムによって、前記1つまたは複数の置換トークンを生成するステップが、機械学習済み言語ジェネレータモデルを使用して、前記コンピューティングシステムによって、前記1つまたは複数の置換トークンを生成するステップを含む、請求項1に記載のコンピュータ実装方法。
- 機械学習済み言語ジェネレータモデルは、前記1つまたは複数のマスキングされたトークンを予測するようにトレーニングされたマスキングされた言語モデルを含む、請求項2に記載のコンピュータ実装方法。
- 前記コンピューティングシステムによって、前記1つまたは複数の置換トークンと、マスキングされたトークンとして働くように選択された前記1つまたは複数の元のトークンとの間の差を評価する第2の損失関数に少なくとも部分的に基づいて、前記機械学習済み言語ジェネレータモデルをトレーニングするステップ
をさらに含む、請求項2または3に記載のコンピュータ実装方法。 - 前記第2の損失関数が、最尤度推定関数を含む、請求項4に記載のコンピュータ実装方法。
- 前記コンピューティングシステムによって、機械学習済み言語ジェネレータモデルによって生成された前記置換トークンについて前記機械学習済み言語エンコーダモデルによって生成された前記予測を評価する第2の目的関数に基づいて、強化学習スキームにおける前記機械学習済み言語ジェネレータモデルをトレーニングするステップ
をさらに含む、請求項2から5のいずれか一項に記載のコンピュータ実装方法。 - 前記方法が、前記コンピューティングシステムによって、前記損失関数と前記第2の損失関数との組合せを含む組み合わせられた損失関数に基づいて、前記機械学習済み言語ジェネレータモデルと前記機械学習済み言語エンコーダモデルとのジョイントトレーニングを行うステップを含む、請求項4から6のいずれか一項に記載のコンピュータ実装方法。
- 前記方法が、前記1つまたは複数のトレーニング反復の前に、
前記コンピューティングシステムによって、前記第2の損失関数に関する前記機械学習済み言語ジェネレータモデルを個別にトレーニングするステップと、
前記コンピューティングシステムによって、前記機械学習済み言語ジェネレータモデルを個別にトレーニングした後、
前記コンピューティングシステムによって、前記機械学習済み言語ジェネレータモデルに基づいて、前記機械学習済み言語エンコーダモデルを重み値で初期化するステップと
をさらに含む、請求項4から6のいずれか一項に記載のコンピュータ実装方法。 - 1つまたは複数の重みが、前記機械学習済み言語ジェネレータモデルと前記機械学習済み言語エンコーダモデルとの間で共有される、請求項2から8のいずれか一項に記載のコンピュータ実装方法。
- 前記コンピューティングシステムによって、前記1つまたは複数の置換トークンを生成するステップが、前記コンピューティングシステムによって、ノイズ分布から前記1つまたは複数の置換トークンをサンプリングするステップを含む、請求項1に記載のコンピュータ実装方法。
- 前記機械学習済み言語エンコーダモデルが、トランスフォーマネットワークテキストエンコーダを含む、請求項1から10のいずれか一項に記載のコンピュータ実装方法。
- 前記置換トークンのうちの1つが、それが置換する前記元のトークンに等しいとき、前記損失関数は、そのような置換トークンを、それが前記元の入力トークンに含まれているかのように評価する、請求項1から11のいずれか一項に記載のコンピュータ実装方法。
- 前記1つまたは複数のトレーニング反復が、1つまたは複数の事前トレーニング反復を含み、
前記方法が、前記1つまたは複数の事前トレーニング反復の後、
前記機械学習済み言語エンコーダモデルが言語タスクを実行するようにトレーニングされる、1つまたは複数の微調整トレーニング反復を実行するステップ
をさらに含む、
請求項1から12のいずれか一項に記載のコンピュータ実装方法。 - 前記複数の元の入力トークンが、複数の元の単語を含む、請求項1から13のいずれか一項に記載のコンピュータ実装方法。
- コンピューティングシステムであって、
1つまたは複数のプロセッサと、
請求項1から14のいずれか一項に記載の方法を実行するための命令を記憶する1つまたは複数の非一時的コンピュータ可読媒体と
を含むコンピューティングシステム。 - 前記1つまたは複数の非一時的コンピュータ可読媒体が、前記機械学習済み言語エンコーダモデルをさらに記憶する、請求項15に記載のコンピューティングシステム。
- 前記1つまたは複数の非一時的コンピュータ可読媒体が、前記機械学習済み言語ジェネレータモデルをさらに記憶する、請求項15または16に記載のコンピューティングシステム。
- 請求項1から14のいずれか一項に記載の方法を実行するための命令を記憶する1つまたは複数の非一時的コンピュータ可読媒体。
- コンピューティングシステムであって、
1つまたは複数のプロセッサと、
請求項1から14のいずれか一項に記載の方法の実行を介して生成された機械学習済み言語エンコーダモデルを記憶する1つまたは複数の非一時的コンピュータ可読媒体と
を含むコンピューティングシステム。 - 請求項1から14のいずれか一項に記載の方法の実行を介して生成された機械学習済み言語エンコーダモデルを記憶する1つまたは複数の非一時的コンピュータ可読媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2024001862A JP2024036354A (ja) | 2019-09-25 | 2024-01-10 | 言語タスクのための対照事前トレーニング |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962905602P | 2019-09-25 | 2019-09-25 | |
US62/905,602 | 2019-09-25 | ||
PCT/US2020/051754 WO2021061555A1 (en) | 2019-09-25 | 2020-09-21 | Contrastive pre-training for language tasks |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024001862A Division JP2024036354A (ja) | 2019-09-25 | 2024-01-10 | 言語タスクのための対照事前トレーニング |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022550326A true JP2022550326A (ja) | 2022-12-01 |
JP7419508B2 JP7419508B2 (ja) | 2024-01-22 |
Family
ID=73030192
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022519013A Active JP7419508B2 (ja) | 2019-09-25 | 2020-09-21 | 言語タスクのための対照事前トレーニング |
JP2024001862A Pending JP2024036354A (ja) | 2019-09-25 | 2024-01-10 | 言語タスクのための対照事前トレーニング |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024001862A Pending JP2024036354A (ja) | 2019-09-25 | 2024-01-10 | 言語タスクのための対照事前トレーニング |
Country Status (5)
Country | Link |
---|---|
US (3) | US11449684B2 (ja) |
JP (2) | JP7419508B2 (ja) |
CN (1) | CN114514540A (ja) |
DE (1) | DE212020000731U1 (ja) |
WO (1) | WO2021061555A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11625535B1 (en) * | 2019-12-05 | 2023-04-11 | American Express Travel Related Services Company, Inc. | Computer-based systems having data structures configured to execute SIC4/SIC8 machine learning embedded classification of entities and methods of use thereof |
DE202020102105U1 (de) * | 2020-04-16 | 2020-04-29 | Robert Bosch Gmbh | Vorrichtung zum automatisierten Erzeugen eines Wissensgraphen |
CN112001181B (zh) * | 2020-07-17 | 2024-02-13 | 北京百度网讯科技有限公司 | 多语言语义表示模型的训练方法、装置、设备及存储介质 |
US20220229985A1 (en) * | 2021-01-21 | 2022-07-21 | Apple Inc. | Adversarial discriminative neural language model adaptation |
CN113094482B (zh) * | 2021-03-29 | 2023-10-17 | 中国地质大学(北京) | 轻量化语义智能服务适配训练演化方法及*** |
CN113312920B (zh) * | 2021-06-18 | 2024-02-02 | 中国人民解放军国防科技大学 | 基于图对比学习的验证方法、***、设备和存储介质 |
CN113257238B (zh) * | 2021-07-13 | 2021-10-01 | 北京世纪好未来教育科技有限公司 | 预训练模型的训练方法、编码特征获取方法及相关装置 |
CN113673201A (zh) * | 2021-07-15 | 2021-11-19 | 北京三快在线科技有限公司 | 一种文本表示向量生成方法、装置、存储介质及电子设备 |
US11914644B2 (en) * | 2021-10-11 | 2024-02-27 | Microsoft Technology Licensing, Llc | Suggested queries for transcript search |
CN114579699A (zh) * | 2022-02-18 | 2022-06-03 | 阿里巴巴(中国)有限公司 | 预训练语言模型的训练方法以及装置 |
CN114841282A (zh) * | 2022-05-20 | 2022-08-02 | 北京百度网讯科技有限公司 | 预训练模型的训练方法、求解模型的生成方法及装置 |
CN114970716A (zh) * | 2022-05-26 | 2022-08-30 | 支付宝(杭州)信息技术有限公司 | 表征模型的训练方法、装置、可读存储介质及计算设备 |
CN115098623A (zh) * | 2022-06-06 | 2022-09-23 | 中国船舶集团有限公司***工程研究院 | 一种基于bert的体能训练数据特征提取方法 |
CN115270988A (zh) * | 2022-08-10 | 2022-11-01 | 浙江大学 | 知识表征解耦的分类模型的微调方法、装置和应用 |
CN117807987A (zh) * | 2022-09-26 | 2024-04-02 | 马上消费金融股份有限公司 | 样本生成方法、装置、电子设备及存储介质 |
CN115294985B (zh) * | 2022-10-08 | 2022-12-09 | 北京信工博特智能科技有限公司 | 一种基于对比学习的多分类语音命令识别方法及识别*** |
US11907674B1 (en) * | 2023-08-08 | 2024-02-20 | Google Llc | Generating multi-modal response(s) through utilization of large language model(s) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018085728A1 (en) * | 2016-11-03 | 2018-05-11 | Salesforce.Com, Inc. | Joint many-task neural network model for multiple natural language processing (nlp) tasks |
US20190114348A1 (en) * | 2017-10-13 | 2019-04-18 | Microsoft Technology Licensing, Llc | Using a Generative Adversarial Network for Query-Keyword Matching |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102071582B1 (ko) * | 2017-05-16 | 2020-01-30 | 삼성전자주식회사 | 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 문장이 속하는 클래스(class)를 분류하는 방법 및 장치 |
US10607598B1 (en) * | 2019-04-05 | 2020-03-31 | Capital One Services, Llc | Determining input data for speech processing |
US11790171B2 (en) * | 2019-04-16 | 2023-10-17 | Covera Health | Computer-implemented natural language understanding of medical reports |
-
2020
- 2020-09-21 US US17/026,780 patent/US11449684B2/en active Active
- 2020-09-21 CN CN202080067604.1A patent/CN114514540A/zh active Pending
- 2020-09-21 JP JP2022519013A patent/JP7419508B2/ja active Active
- 2020-09-21 DE DE212020000731.4U patent/DE212020000731U1/de active Active
- 2020-09-21 WO PCT/US2020/051754 patent/WO2021061555A1/en active Application Filing
-
2022
- 2022-09-19 US US17/947,843 patent/US11914969B2/en active Active
-
2024
- 2024-01-10 JP JP2024001862A patent/JP2024036354A/ja active Pending
- 2024-01-25 US US18/422,856 patent/US20240160857A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018085728A1 (en) * | 2016-11-03 | 2018-05-11 | Salesforce.Com, Inc. | Joint many-task neural network model for multiple natural language processing (nlp) tasks |
US20190114348A1 (en) * | 2017-10-13 | 2019-04-18 | Microsoft Technology Licensing, Llc | Using a Generative Adversarial Network for Query-Keyword Matching |
Non-Patent Citations (2)
Title |
---|
JACOB DEVLIN 他3名, BERT: PRE-TRAINING OF DEEP BIDIRECTIONAL TRANSFORMERS FOR LANGUAGE UNDERSTANDING[ONLINE], JPN6023026277, 11 October 2018 (2018-10-11), ISSN: 0005097314 * |
WILLIAM FEDUS 他2名, MASKGAN: BETTER TEXT GENERATION VIA FILLING IN THE______[ONLINE], JPN6023026279, 1 March 2018 (2018-03-01), ISSN: 0005097313 * |
Also Published As
Publication number | Publication date |
---|---|
US11449684B2 (en) | 2022-09-20 |
US20210089724A1 (en) | 2021-03-25 |
US11914969B2 (en) | 2024-02-27 |
JP2024036354A (ja) | 2024-03-15 |
DE212020000731U1 (de) | 2022-09-28 |
CN114514540A (zh) | 2022-05-17 |
JP7419508B2 (ja) | 2024-01-22 |
US20240160857A1 (en) | 2024-05-16 |
WO2021061555A1 (en) | 2021-04-01 |
US20230015737A1 (en) | 2023-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7419508B2 (ja) | 言語タスクのための対照事前トレーニング | |
JP7483751B2 (ja) | 教師なしデータ拡張を使用した機械学習モデルのトレーニング | |
US20220383206A1 (en) | Task Augmentation and Self-Training for Improved Few-Shot Learning | |
US20230401382A1 (en) | Dynamic Language Models for Continuously Evolving Content | |
US20190228297A1 (en) | Artificial Intelligence Modelling Engine | |
JP2016218513A (ja) | ニューラルネットワーク及びそのためのコンピュータプログラム | |
WO2020118408A1 (en) | Regularization of recurrent machine-learned architectures | |
WO2023022727A1 (en) | Prompt tuning using one or more machine-learned models | |
CN115803806A (zh) | 用于训练双模式机器学习言语识别模型的***和方法 | |
US20220067304A1 (en) | Energy-Based Language Models | |
CN112183720A (zh) | 光滑连续分段构造的激活函数 | |
US20240104352A1 (en) | Contrastive Learning and Masked Modeling for End-To-End Self-Supervised Pre-Training | |
WO2023192632A1 (en) | Zero-shot multi-modal data processing via structured inter-model communication | |
US20240127586A1 (en) | Neural networks with adaptive gradient clipping | |
CN115589446A (zh) | 一种基于预训练与提示的会议摘要生成方法及*** | |
US11475296B2 (en) | Linear modeling of quality assurance variables | |
Lambert et al. | Flexible recurrent neural networks | |
US20220245432A1 (en) | Machine-Learned Attention Models Featuring Echo-Attention Layers | |
US20220245917A1 (en) | Systems and methods for nearest-neighbor prediction based machine learned models | |
US20240256964A1 (en) | Pretraining Already-Pretrained Models for Diverse Downstream Tasks | |
US20230316081A1 (en) | Meta-Learning Bi-Directional Gradient-Free Artificial Neural Networks | |
WO2023234944A1 (en) | Calibrated distillation | |
WO2024112887A1 (en) | Forward-forward training for machine learning | |
WO2024020107A1 (en) | Task-specific prompt recycling for machine-learned models that perform multiple tasks | |
WO2023172692A1 (en) | Maximizing generalizable performance by extraction of deep learned features while controlling for known variables |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220524 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230703 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231211 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7419508 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |