JP7109560B2 - グローバルローカルエンコーダを使用した対話状態追跡 - Google Patents
グローバルローカルエンコーダを使用した対話状態追跡 Download PDFInfo
- Publication number
- JP7109560B2 JP7109560B2 JP2020544529A JP2020544529A JP7109560B2 JP 7109560 B2 JP7109560 B2 JP 7109560B2 JP 2020544529 A JP2020544529 A JP 2020544529A JP 2020544529 A JP2020544529 A JP 2020544529A JP 7109560 B2 JP7109560 B2 JP 7109560B2
- Authority
- JP
- Japan
- Prior art keywords
- global
- local
- ontology
- encoded representation
- branch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
Description
本出願は、2018年2月22日に出願され「Dialogue State Tracking Using A Neural Network Model」と題された米国仮特許出願第62/634,130号、及び2018年5月14日に出願され「Dialogue State Tracking Using a Global-Local Encoder」と題された米国非仮特許出願第15/978,445号の利益を主張し、これらはその全体を参照により本明細書に組み込まれる。
[外1]
らによる「Neural Belief Tracker: Data-Driven Dialogue State Tracking」に記載されたものと同様の特徴を一般に含む。
yutt=Wuttqutt+butt
を評価することにより決定されてもよい。ここで、yuttは、ユーザコミュニケーションスコア255を示し、Wuttは、学習された重みを含むパラメータ行列を示し、buttは、学習されたバイアス値を示す。
yctx=qctx・cval
を評価することにより決定されてもよい。ここで、yctxは、文脈スコア265を示し、cvalは、エンコード表現242を示す。
y=σ(yutt+wyyctx)
を評価することにより決定されてもよい。ここで、yは、メンバスコア208を示し、σは、シグモイド関数を示し、wyは、学習された重み付けパラメータを示す。
f’(x)=σ(αs)fs(x)+(1-σ(αs))fg(x)
を評価することにより決定されてもよい。ここで、xは、入力表現402を示し、f’(x)は、エンコード表現404を示し、fs(x)は、ローカルエンコード表現425を示し、fg(x)は、グローバルエンコード表現415を示し、σは、シグモイド関数を示し、αsは、所与のオントロジメンバsについて決定される学習されたローカル重み付けパラメータを示す。
f’(x)=σ(αs)fs(x)+(1-σ(αs))fg(x)
を評価することにより決定されてもよい。ここで、xは、エンコード表現404を示し、f’(x)は、エンコード表現406を示し、fs(x)は、ローカルエンコード表現455を示し、fg(x)は、グローバルエンコード表現445を示し、σは、シグモイド関数を示し、αsは、所与のオントロジメンバsについて決定される学習されたローカル重み付けパラメータを示す。
Claims (20)
- ユーザとデジタルシステムとの間の対話に関連づけられた対話状態を維持する方法であって、
前記デジタルシステムに関連づけられた対話状態追跡器により、ユーザコミュニケーションの表現を受け取るステップと、
前記対話状態追跡器により、前記ユーザコミュニケーションの表現に基づいて、オントロジセットの複数のオントロジメンバに対応する複数のメンバスコアを評価することと、前記複数のメンバスコアに基づいて、前記対話状態に追加又は前記対話状態から除去すべき前記複数のオントロジメンバのうちゼロ個以上を選択することとにより、前記対話状態を更新するステップと、
前記更新された対話状態に基づいてシステム応答を提供するステップと、
を含み、
前記対話状態追跡器は、前記複数のメンバスコアの各々の評価の間にエンコード表現を生成するグローバルローカルエンコーダを含み、前記グローバルローカルエンコーダは、グローバル分岐及びローカル分岐を含み、前記グローバル分岐は、前記複数のオントロジメンバ間で共有されるグローバル訓練パラメータを有し、前記ローカル分岐は、前記複数のオントロジメンバの各々について別個に決定されるローカル訓練パラメータを有する、方法。 - 前記グローバル分岐及び前記ローカル分岐は、並列に配置される、請求項1に記載の方法。
- 前記グローバル分岐及び前記ローカル分岐は各々、それぞれのリカレントニューラルネットワークを含む、請求項1又は2に記載の方法。
- 前記グローバル分岐及び前記ローカル分岐は各々、それぞれの自己注目ネットワークを含む、請求項1乃至3のうちいずれか1項に記載の方法。
- 前記グローバルローカルエンコーダは、前記ユーザコミュニケーションに基づいて前記エンコード表現を生成する、請求項1乃至4のうちいずれか1項に記載の方法。
- 前記エンコード表現は、前記ユーザコミュニケーションと現在評価されている前記複数のオントロジメンバのうちのオントロジメンバとに基づいてコミュニケーションスコアを決定するコミュニケーションスコア付けモジュールに提供される、請求項5に記載の方法。
- 前記グローバルローカルエンコーダは、前記対話の1つ以上の前のターンで提供された1つ以上の前のシステム応答を示す文脈情報に基づいて前記エンコード表現を生成する、請求項1乃至6のうちいずれか1項に記載の方法。
- 前記エンコード表現は、前記文脈情報と現在評価されている前記複数のオントロジメンバのうちのオントロジメンバとに基づいて文脈スコアを決定する文脈スコア付けモデルに提供される、請求項7に記載の方法。
- 前記グローバルローカルエンコーダは、前記グローバル分岐及び前記ローカル分岐からのそれぞれのエンコード表現を組み合わせるマージノードをさらに含む、請求項1乃至8のうちいずれか1項に記載の方法。
- 前記マージノードは、前記複数のオントロジメンバの各々について別個に決定されるローカル重み付けパラメータを含む、請求項9に記載の方法。
- 前記グローバルローカルエンコーダは、順次配置された第1の段階及び第2の段階を含み、前記第1の段階は、前記グローバル分岐及び前記ローカル分岐を含み、前記第2の段階は、第2のグローバル分岐及び第2のローカル分岐を含む、請求項1乃至10のうちいずれか1項に記載の方法。
- 前記グローバルローカルエンコーダは、現在評価されている前記複数のオントロジメンバのうちのオントロジメンバに基づいて前記エンコード表現を生成する、請求項1乃至11のうちいずれか1項に記載の方法。
- システムであって、
ユーザコミュニケーションに基づいて、対話状態に追加又は対話状態から除去すべきオントロジセットの複数のオントロジメンバのうちゼロ個以上を、ニューラルネットワークを使用して前記複数のオントロジメンバに対応する複数のメンバスコアを評価することにより選択するように構成された対話状態追跡器、を含み、
前記ニューラルネットワークは、
グローバル分岐及びローカル分岐を含む第1のグローバルローカルエンコーダであり、前記グローバル分岐は、前記複数のオントロジメンバ間で共有されるグローバル訓練パラメータを有し、前記ローカル分岐は、前記複数のオントロジメンバの各々について別個に決定されるローカル訓練パラメータを有する、第1のグローバルローカルエンコーダ
を含む、システム。 - 前記ニューラルネットワークは、第2のグローバルローカルエンコーダ及びコミュニケーションスコア付けモジュールをさらに含み、
前記第1のグローバルローカルエンコーダは、現在評価されている前記複数のオントロジメンバのうち第1のオントロジメンバに対応するオントロジメンバシーケンスに基づいて第1のエンコード表現を生成し、
前記第2のグローバルローカルエンコーダは、前記ユーザコミュニケーションに対応するユーザコミュニケーションシーケンスに基づいて第2のエンコード表現を生成し、
前記コミュニケーションスコア付けモジュールは、前記第1のエンコード表現及び前記第2のエンコード表現に基づいてコミュニケーションスコアを生成し、前記第1のオントロジメンバに対応する第1のメンバスコアが、前記コミュニケーションスコアに基づいて決定される、請求項13に記載のシステム。 - 前記ニューラルネットワークは、第3のグローバルローカルエンコーダ及び文脈スコア付けモジュールをさらに含み、
前記第3のグローバルローカルエンコーダは、当該システムの前のアクションに関連づけられた文脈情報に対応する文脈情報シーケンスに基づいて第3のエンコード表現を生成し、
前記文脈スコア付けモジュールは、前記第1のエンコード表現と、前記第3のエンコード表現と、前記ユーザコミュニケーションシーケンスに基づいて前記第2のグローバルローカルエンコーダにより生成される第4のエンコード表現とに基づいて文脈スコアを生成し、前記第1のメンバスコアはさらに、前記文脈スコアに基づいて決定される、請求項14に記載のシステム。 - 前記ニューラルネットワークは、学習された重み付けパラメータに従って前記コミュニケーションスコアと前記文脈スコアを組み合わせることにより前記第1のメンバスコアを生成するスコアコンバイナモジュールをさらに含む、請求項15に記載のシステム。
- 前記第2のエンコード表現は、前記ユーザコミュニケーションシーケンスに基づいて前記第2のグローバルローカルエンコーダのリカレントニューラルネットワーク段階により生成され、前記第4のエンコード表現は、前記第2のエンコード表現に基づいて前記第2のグローバルローカルエンコーダの自己注目段階により生成される、請求項15に記載のシステム。
- システムに動作を実行させるように実行可能なマシン読取可能命令を記憶させた非一時的マシン読取可能媒体であって、前記動作は、
ユーザとの対話に関与するデジタルシステムを介して、ユーザのユーザコミュニケーションの表現を受け取ることと、
前記ユーザコミュニケーションの表現に基づいて、ニューラルネットワークを使用してオントロジセットの複数のオントロジメンバに対応する複数のメンバスコアを評価することと、前記複数のメンバスコアに基づいて、対話状態に追加又は対話状態から除去すべき前記複数のオントロジメンバのうちゼロ個以上を選択することとにより、前記対話に関連づけられた前記対話状態を更新することと、
前記更新された対話状態を前記デジタルシステムに提供して前記デジタルシステムが前記更新された対話状態に基づいてシステム応答を提供することを可能にすることと、を含み、
前記ニューラルネットワークは、
前記複数のオントロジメンバのうち第1のオントロジメンバに対応する第1のシーケンスに基づいて第1のエンコード表現を生成する第1のエンコーダと、
前記ユーザコミュニケーションの表現に対応する第2のシーケンスに基づいて第2のエンコード表現を生成する第2のエンコーダと、
前記第1のエンコード表現及び前記第2のエンコード表現に基づいてコミュニケーションスコアを生成するコミュニケーションスコア付けモジュールであり、前記第1のオントロジメンバに対応する第1のメンバスコアが、前記コミュニケーションスコアに基づいて決定される、コミュニケーションスコア付けモジュールと、を含み、
前記第1のエンコーダ及び前記第2のエンコーダのうち少なくとも1つが、グローバル分岐及びローカル分岐を含むグローバルローカルエンコーダとして構成され、前記グローバル分岐は、前記複数のオントロジメンバ間で共有されるグローバル訓練パラメータを有し、前記ローカル分岐は、前記複数のオントロジメンバの各々について別個に決定されるローカル訓練パラメータを有する、非一時的マシン読取可能媒体。 - 前記複数のオントロジメンバの各々は、前記オントロジセットのスロット‐値ペアを含む、請求項18に記載の非一時的マシン読取可能媒体。
- 前記対話状態は、前記対話に関連づけられた累積ゴールのセット又は前記ユーザコミュニケーションに関連づけられたターン要求のセットのうち1つ以上を含む、請求項18又は19に記載の非一時的マシン読取可能媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862634130P | 2018-02-22 | 2018-02-22 | |
US62/634,130 | 2018-02-22 | ||
US15/978,445 | 2018-05-14 | ||
US15/978,445 US10929607B2 (en) | 2018-02-22 | 2018-05-14 | Dialogue state tracking using a global-local encoder |
PCT/US2019/018014 WO2019164744A1 (en) | 2018-02-22 | 2019-02-14 | Dialogue state tracking using a global-local encoder |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021515269A JP2021515269A (ja) | 2021-06-17 |
JP7109560B2 true JP7109560B2 (ja) | 2022-07-29 |
Family
ID=67616466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020544529A Active JP7109560B2 (ja) | 2018-02-22 | 2019-02-14 | グローバルローカルエンコーダを使用した対話状態追跡 |
Country Status (4)
Country | Link |
---|---|
US (2) | US10929607B2 (ja) |
EP (1) | EP3756141A1 (ja) |
JP (1) | JP7109560B2 (ja) |
WO (1) | WO2019164744A1 (ja) |
Families Citing this family (67)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10558750B2 (en) | 2016-11-18 | 2020-02-11 | Salesforce.Com, Inc. | Spatial attention model for image captioning |
US11386327B2 (en) | 2017-05-18 | 2022-07-12 | Salesforce.Com, Inc. | Block-diagonal hessian-free optimization for recurrent and convolutional neural networks |
US10817650B2 (en) | 2017-05-19 | 2020-10-27 | Salesforce.Com, Inc. | Natural language processing using context specific word vectors |
US10542270B2 (en) | 2017-11-15 | 2020-01-21 | Salesforce.Com, Inc. | Dense video captioning |
US10929607B2 (en) | 2018-02-22 | 2021-02-23 | Salesforce.Com, Inc. | Dialogue state tracking using a global-local encoder |
US11227218B2 (en) | 2018-02-22 | 2022-01-18 | Salesforce.Com, Inc. | Question answering from minimal context over documents |
US11106182B2 (en) | 2018-03-16 | 2021-08-31 | Salesforce.Com, Inc. | Systems and methods for learning for domain adaptation |
US10783875B2 (en) | 2018-03-16 | 2020-09-22 | Salesforce.Com, Inc. | Unsupervised non-parallel speech domain adaptation using a multi-discriminator adversarial network |
US10909157B2 (en) | 2018-05-22 | 2021-02-02 | Salesforce.Com, Inc. | Abstraction of text summarization |
US11436481B2 (en) | 2018-09-18 | 2022-09-06 | Salesforce.Com, Inc. | Systems and methods for named entity recognition |
US10970486B2 (en) | 2018-09-18 | 2021-04-06 | Salesforce.Com, Inc. | Using unstructured input to update heterogeneous data stores |
US11514915B2 (en) | 2018-09-27 | 2022-11-29 | Salesforce.Com, Inc. | Global-to-local memory pointer networks for task-oriented dialogue |
US11087177B2 (en) | 2018-09-27 | 2021-08-10 | Salesforce.Com, Inc. | Prediction-correction approach to zero shot learning |
US11645509B2 (en) | 2018-09-27 | 2023-05-09 | Salesforce.Com, Inc. | Continual neural network learning via explicit structure learning |
US11029694B2 (en) | 2018-09-27 | 2021-06-08 | Salesforce.Com, Inc. | Self-aware visual-textual co-grounded navigation agent |
US10963652B2 (en) | 2018-12-11 | 2021-03-30 | Salesforce.Com, Inc. | Structured text translation |
US11822897B2 (en) | 2018-12-11 | 2023-11-21 | Salesforce.Com, Inc. | Systems and methods for structured text translation with tag alignment |
US11922323B2 (en) | 2019-01-17 | 2024-03-05 | Salesforce, Inc. | Meta-reinforcement learning gradient estimation with variance reduction |
US11568306B2 (en) | 2019-02-25 | 2023-01-31 | Salesforce.Com, Inc. | Data privacy protected machine learning systems |
US11366969B2 (en) | 2019-03-04 | 2022-06-21 | Salesforce.Com, Inc. | Leveraging language models for generating commonsense explanations |
US11003867B2 (en) | 2019-03-04 | 2021-05-11 | Salesforce.Com, Inc. | Cross-lingual regularization for multilingual generalization |
US11087092B2 (en) | 2019-03-05 | 2021-08-10 | Salesforce.Com, Inc. | Agent persona grounded chit-chat generation framework |
US11580445B2 (en) | 2019-03-05 | 2023-02-14 | Salesforce.Com, Inc. | Efficient off-policy credit assignment |
US11232308B2 (en) | 2019-03-22 | 2022-01-25 | Salesforce.Com, Inc. | Two-stage online detection of action start in untrimmed videos |
US11580970B2 (en) * | 2019-04-05 | 2023-02-14 | Samsung Electronics Co., Ltd. | System and method for context-enriched attentive memory network with global and local encoding for dialogue breakdown detection |
US12008459B2 (en) * | 2019-04-19 | 2024-06-11 | Microsoft Technology Licensing, Llc | Multi-task machine learning architectures and training procedures |
US11487939B2 (en) | 2019-05-15 | 2022-11-01 | Salesforce.Com, Inc. | Systems and methods for unsupervised autoregressive text compression |
US11604965B2 (en) | 2019-05-16 | 2023-03-14 | Salesforce.Com, Inc. | Private deep learning |
US11562251B2 (en) | 2019-05-16 | 2023-01-24 | Salesforce.Com, Inc. | Learning world graphs to accelerate hierarchical reinforcement learning |
US11620572B2 (en) | 2019-05-16 | 2023-04-04 | Salesforce.Com, Inc. | Solving sparse reward tasks using self-balancing shaped rewards |
US11669712B2 (en) | 2019-05-21 | 2023-06-06 | Salesforce.Com, Inc. | Robustness evaluation via natural typos |
US11687588B2 (en) | 2019-05-21 | 2023-06-27 | Salesforce.Com, Inc. | Weakly supervised natural language localization networks for video proposal prediction based on a text query |
US11775775B2 (en) | 2019-05-21 | 2023-10-03 | Salesforce.Com, Inc. | Systems and methods for reading comprehension for a question answering task |
US11657269B2 (en) | 2019-05-23 | 2023-05-23 | Salesforce.Com, Inc. | Systems and methods for verification of discriminative models |
US11615240B2 (en) | 2019-08-15 | 2023-03-28 | Salesforce.Com, Inc | Systems and methods for a transformer network with tree-based attention for natural language processing |
US11599792B2 (en) | 2019-09-24 | 2023-03-07 | Salesforce.Com, Inc. | System and method for learning with noisy labels as semi-supervised learning |
US11568000B2 (en) | 2019-09-24 | 2023-01-31 | Salesforce.Com, Inc. | System and method for automatic task-oriented dialog system |
US11640527B2 (en) | 2019-09-25 | 2023-05-02 | Salesforce.Com, Inc. | Near-zero-cost differentially private deep learning with teacher ensembles |
US11620515B2 (en) | 2019-11-07 | 2023-04-04 | Salesforce.Com, Inc. | Multi-task knowledge distillation for language model |
US11347708B2 (en) | 2019-11-11 | 2022-05-31 | Salesforce.Com, Inc. | System and method for unsupervised density based table structure identification |
US11288438B2 (en) | 2019-11-15 | 2022-03-29 | Salesforce.Com, Inc. | Bi-directional spatial-temporal reasoning for video-grounded dialogues |
US11334766B2 (en) | 2019-11-15 | 2022-05-17 | Salesforce.Com, Inc. | Noise-resistant object detection with noisy annotations |
US11537899B2 (en) | 2019-11-18 | 2022-12-27 | Salesforce.Com, Inc. | Systems and methods for out-of-distribution classification |
US11922303B2 (en) | 2019-11-18 | 2024-03-05 | Salesforce, Inc. | Systems and methods for distilled BERT-based training model for text classification |
US11640505B2 (en) | 2019-12-09 | 2023-05-02 | Salesforce.Com, Inc. | Systems and methods for explicit memory tracker with coarse-to-fine reasoning in conversational machine reading |
US11256754B2 (en) | 2019-12-09 | 2022-02-22 | Salesforce.Com, Inc. | Systems and methods for generating natural language processing training samples with inflectional perturbations |
US11416688B2 (en) | 2019-12-09 | 2022-08-16 | Salesforce.Com, Inc. | Learning dialogue state tracking with limited labeled data |
US11573957B2 (en) | 2019-12-09 | 2023-02-07 | Salesforce.Com, Inc. | Natural language processing engine for translating questions into executable database queries |
US11487999B2 (en) | 2019-12-09 | 2022-11-01 | Salesforce.Com, Inc. | Spatial-temporal reasoning through pretrained language models for video-grounded dialogues |
US11669745B2 (en) | 2020-01-13 | 2023-06-06 | Salesforce.Com, Inc. | Proposal learning for semi-supervised object detection |
CN111259114A (zh) * | 2020-01-15 | 2020-06-09 | 中国平安财产保险股份有限公司 | 多轮对话方法及装置、电子设备和存储介质 |
US11562147B2 (en) | 2020-01-23 | 2023-01-24 | Salesforce.Com, Inc. | Unified vision and dialogue transformer with BERT |
US20210249104A1 (en) | 2020-02-06 | 2021-08-12 | Salesforce.Com, Inc. | Systems and methods for language modeling of protein engineering |
US11263476B2 (en) | 2020-03-19 | 2022-03-01 | Salesforce.Com, Inc. | Unsupervised representation learning with contrastive prototypes |
US11328731B2 (en) | 2020-04-08 | 2022-05-10 | Salesforce.Com, Inc. | Phone-based sub-word units for end-to-end speech recognition |
US11669699B2 (en) | 2020-05-31 | 2023-06-06 | Saleforce.com, inc. | Systems and methods for composed variational natural language generation |
US11720559B2 (en) | 2020-06-02 | 2023-08-08 | Salesforce.Com, Inc. | Bridging textual and tabular data for cross domain text-to-query language semantic parsing with a pre-trained transformer language encoder and anchor text |
CN113761976A (zh) * | 2020-06-04 | 2021-12-07 | 华为技术有限公司 | 基于全局引导选择性上下文网络的场景语义解析方法 |
US11222075B2 (en) | 2020-06-12 | 2022-01-11 | Earley Information Science, Inc. | Digital data processing systems and methods for digital content retrieval and generation |
US20220050877A1 (en) | 2020-08-14 | 2022-02-17 | Salesforce.Com, Inc. | Systems and methods for query autocompletion |
US11934952B2 (en) | 2020-08-21 | 2024-03-19 | Salesforce, Inc. | Systems and methods for natural language processing using joint energy-based models |
US11934781B2 (en) | 2020-08-28 | 2024-03-19 | Salesforce, Inc. | Systems and methods for controllable text summarization |
GB2604317B (en) * | 2020-11-09 | 2024-03-27 | Toshiba Kk | Dialogue management |
US11829442B2 (en) | 2020-11-16 | 2023-11-28 | Salesforce.Com, Inc. | Methods and systems for efficient batch active learning of a deep neural network |
CN112347150B (zh) * | 2020-11-23 | 2021-08-31 | 北京智谱华章科技有限公司 | 一种学者学术标签标注方法、装置和电子设备 |
US20230011434A1 (en) * | 2021-07-08 | 2023-01-12 | T-Mobile Usa, Inc. | Customer care topic coverage determination and coaching |
CN116110076B (zh) * | 2023-02-09 | 2023-11-07 | 国网江苏省电力有限公司苏州供电分公司 | 基于混合粒度网络的输电高空作业人员身份重识别方法和*** |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017059205A (ja) | 2015-09-17 | 2017-03-23 | パナソニックIpマネジメント株式会社 | 主題推定システム、主題推定方法およびプログラム |
Family Cites Families (62)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997039417A2 (en) * | 1996-03-29 | 1997-10-23 | Sarnoff Corporation | Method and apparatus for training a neural network to use a fidelity metric |
US6075884A (en) * | 1996-03-29 | 2000-06-13 | Sarnoff Corporation | Method and apparatus for training a neural network to learn and use fidelity metric as a control mechanism |
US7127486B1 (en) * | 2000-07-24 | 2006-10-24 | Vignette Corporation | Method and system for facilitating marketing dialogues |
US20030079039A1 (en) * | 2001-10-16 | 2003-04-24 | Forkner Damien R. | Web server utilizing a state machine and user token |
US20070288734A1 (en) * | 2006-06-08 | 2007-12-13 | Luick David A | Double-Width Instruction Queue for Instruction Execution |
WO2011086066A1 (en) * | 2010-01-12 | 2011-07-21 | Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, audio decoder, method for encoding and audio information, method for decoding an audio information and computer program using a modification of a number representation of a numeric previous context value |
WO2012030838A1 (en) * | 2010-08-30 | 2012-03-08 | Honda Motor Co., Ltd. | Belief tracking and action selection in spoken dialog systems |
GB2505476B (en) * | 2012-08-31 | 2019-02-27 | Metaswitch Networks Ltd | Processing communication sessions |
US9466297B2 (en) * | 2014-12-09 | 2016-10-11 | Microsoft Technology Licensing, Llc | Communication system |
US20160350653A1 (en) | 2015-06-01 | 2016-12-01 | Salesforce.Com, Inc. | Dynamic Memory Network |
US11113598B2 (en) | 2015-06-01 | 2021-09-07 | Salesforce.Com, Inc. | Dynamic memory network |
US20170032280A1 (en) | 2015-07-27 | 2017-02-02 | Salesforce.Com, Inc. | Engagement estimator |
US20170140240A1 (en) | 2015-07-27 | 2017-05-18 | Salesforce.Com, Inc. | Neural network combined image and text evaluator and classifier |
US10282663B2 (en) | 2015-08-15 | 2019-05-07 | Salesforce.Com, Inc. | Three-dimensional (3D) convolution with 3D batch normalization |
WO2017112813A1 (en) * | 2015-12-22 | 2017-06-29 | Sri International | Multi-lingual virtual personal assistant |
US10055403B2 (en) * | 2016-02-05 | 2018-08-21 | Adobe Systems Incorporated | Rule-based dialog state tracking |
US9830709B2 (en) * | 2016-03-11 | 2017-11-28 | Qualcomm Incorporated | Video analysis with convolutional attention recurrent neural networks |
US11017767B2 (en) * | 2016-03-29 | 2021-05-25 | Microsoft Technology Licensing, Llc | Hierarchical attention for spoken dialogue state tracking |
US10565493B2 (en) | 2016-09-22 | 2020-02-18 | Salesforce.Com, Inc. | Pointer sentinel mixture architecture |
US20180096267A1 (en) | 2016-09-30 | 2018-04-05 | Salesforce.Com, Inc. | Single model-based behavior predictions in an on-demand environment |
US9977778B1 (en) * | 2016-11-03 | 2018-05-22 | Conduent Business Services, Llc | Probabilistic matching for dialog state tracking with limited training data |
US11042796B2 (en) | 2016-11-03 | 2021-06-22 | Salesforce.Com, Inc. | Training a joint many-task neural network model using successive regularization |
US11080595B2 (en) | 2016-11-04 | 2021-08-03 | Salesforce.Com, Inc. | Quasi-recurrent neural network based encoder-decoder model |
US10963782B2 (en) | 2016-11-04 | 2021-03-30 | Salesforce.Com, Inc. | Dynamic coattention network for question answering |
US10540967B2 (en) * | 2016-11-14 | 2020-01-21 | Xerox Corporation | Machine reading method for dialog state tracking |
US10558750B2 (en) | 2016-11-18 | 2020-02-11 | Salesforce.Com, Inc. | Spatial attention model for image captioning |
GB2559617B (en) * | 2017-02-13 | 2020-06-24 | Toshiba Kk | A dialogue system, a dialogue method and a method of adapting a dialogue system |
WO2018156373A1 (en) * | 2017-02-24 | 2018-08-30 | Google Llc | Sequence processing using online attention |
US11250311B2 (en) | 2017-03-15 | 2022-02-15 | Salesforce.Com, Inc. | Deep neural network-based decision network |
US10565318B2 (en) | 2017-04-14 | 2020-02-18 | Salesforce.Com, Inc. | Neural machine translation with latent tree attention |
US10474709B2 (en) | 2017-04-14 | 2019-11-12 | Salesforce.Com, Inc. | Deep reinforced model for abstractive summarization |
DK201770432A1 (en) * | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
US10747761B2 (en) | 2017-05-18 | 2020-08-18 | Salesforce.Com, Inc. | Neural network based translation of natural language queries to database queries |
US12014257B2 (en) | 2017-05-19 | 2024-06-18 | Salesforce, Inc. | Domain specific language for generation of recurrent neural network architectures |
CN109086282A (zh) * | 2017-06-14 | 2018-12-25 | 杭州方得智能科技有限公司 | 一种具备多任务驱动能力的多轮对话的方法和*** |
KR102342066B1 (ko) * | 2017-06-21 | 2021-12-22 | 삼성전자주식회사 | 뉴럴 네트워크 모델을 이용한 기계 번역 방법, 장치 및 그 장치를 학습시키기 위한 방법 |
US10515625B1 (en) * | 2017-08-31 | 2019-12-24 | Amazon Technologies, Inc. | Multi-modal natural language processing |
US11031135B2 (en) * | 2017-09-26 | 2021-06-08 | Edge2020 LLC | Determination of cybersecurity recommendations |
US11017556B2 (en) * | 2017-10-04 | 2021-05-25 | Nvidia Corporation | Iterative spatio-temporal action detection in video |
US11093816B2 (en) | 2017-10-05 | 2021-08-17 | Salesforce.Com, Inc. | Convolutional neural network (CNN)-based anomaly detection |
US11087211B2 (en) | 2017-10-05 | 2021-08-10 | Salesforce.Com, Inc. | Convolutional neural network (CNN)-based suggestions for anomaly input |
US10424302B2 (en) * | 2017-10-12 | 2019-09-24 | Google Llc | Turn-based reinforcement learning for dialog management |
US20190130896A1 (en) | 2017-10-26 | 2019-05-02 | Salesforce.Com, Inc. | Regularization Techniques for End-To-End Speech Recognition |
US10592767B2 (en) | 2017-10-27 | 2020-03-17 | Salesforce.Com, Inc. | Interpretable counting in visual question answering |
CN118194921A (zh) * | 2017-10-27 | 2024-06-14 | 谷歌有限责任公司 | 基于关注的图像生成神经网络 |
US11170287B2 (en) | 2017-10-27 | 2021-11-09 | Salesforce.Com, Inc. | Generating dual sequence inferences using a neural network model |
US11562287B2 (en) | 2017-10-27 | 2023-01-24 | Salesforce.Com, Inc. | Hierarchical and interpretable skill acquisition in multi-task reinforcement learning |
US11604956B2 (en) | 2017-10-27 | 2023-03-14 | Salesforce.Com, Inc. | Sequence-to-sequence prediction using a neural network model |
US11928600B2 (en) | 2017-10-27 | 2024-03-12 | Salesforce, Inc. | Sequence-to-sequence prediction using a neural network model |
US10573295B2 (en) | 2017-10-27 | 2020-02-25 | Salesforce.Com, Inc. | End-to-end speech recognition with policy learning |
CN107679525B (zh) * | 2017-11-01 | 2022-11-29 | 腾讯科技(深圳)有限公司 | 图像分类方法、装置及计算机可读存储介质 |
CN109753978B (zh) * | 2017-11-01 | 2023-02-17 | 腾讯科技(深圳)有限公司 | 图像分类方法、装置以及计算机可读存储介质 |
US10346721B2 (en) | 2017-11-01 | 2019-07-09 | Salesforce.Com, Inc. | Training a neural network using augmented training datasets |
US10542270B2 (en) | 2017-11-15 | 2020-01-21 | Salesforce.Com, Inc. | Dense video captioning |
US11562243B2 (en) * | 2017-11-17 | 2023-01-24 | Meta Platforms, Inc. | Machine-learning models based on non-local neural networks |
KR102424514B1 (ko) * | 2017-12-04 | 2022-07-25 | 삼성전자주식회사 | 언어 처리 방법 및 장치 |
US11276002B2 (en) | 2017-12-20 | 2022-03-15 | Salesforce.Com, Inc. | Hybrid training of deep networks |
US10878808B1 (en) * | 2018-01-09 | 2020-12-29 | Amazon Technologies, Inc. | Speech processing dialog management |
SG11202007234RA (en) * | 2018-01-29 | 2020-08-28 | Emergex Llc | System and method for facilitating affective-state-based artificial intelligence |
EP3732627A1 (en) * | 2018-02-09 | 2020-11-04 | Google LLC | Fast decoding in sequence models using discrete latent variables |
US10776581B2 (en) | 2018-02-09 | 2020-09-15 | Salesforce.Com, Inc. | Multitask learning as question answering |
US10929607B2 (en) | 2018-02-22 | 2021-02-23 | Salesforce.Com, Inc. | Dialogue state tracking using a global-local encoder |
-
2018
- 2018-05-14 US US15/978,445 patent/US10929607B2/en active Active
-
2019
- 2019-02-14 WO PCT/US2019/018014 patent/WO2019164744A1/en unknown
- 2019-02-14 JP JP2020544529A patent/JP7109560B2/ja active Active
- 2019-02-14 EP EP19707641.7A patent/EP3756141A1/en not_active Withdrawn
-
2021
- 2021-02-19 US US17/179,933 patent/US11836451B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017059205A (ja) | 2015-09-17 | 2017-03-23 | パナソニックIpマネジメント株式会社 | 主題推定システム、主題推定方法およびプログラム |
Non-Patent Citations (1)
Title |
---|
Nikola Mrksic et al.,Neural Belief Tracker: Data-Driven Dialogue State Tracking,Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics,2017年07月30日,pp.1777-1788,arXiv:1606.03777v2[cs.CL] 21. Apr 2017 で先行公開 |
Also Published As
Publication number | Publication date |
---|---|
WO2019164744A1 (en) | 2019-08-29 |
JP2021515269A (ja) | 2021-06-17 |
US11836451B2 (en) | 2023-12-05 |
US20210174028A1 (en) | 2021-06-10 |
US20190258714A1 (en) | 2019-08-22 |
US10929607B2 (en) | 2021-02-23 |
EP3756141A1 (en) | 2020-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7109560B2 (ja) | グローバルローカルエンコーダを使用した対話状態追跡 | |
US20220044093A1 (en) | Generating dual sequence inferences using a neural network model | |
US11604956B2 (en) | Sequence-to-sequence prediction using a neural network model | |
US10540967B2 (en) | Machine reading method for dialog state tracking | |
US11586880B2 (en) | System and method for multi-horizon time series forecasting with dynamic temporal context learning | |
US20200349450A1 (en) | Projection neural networks | |
CN113544703B (zh) | 高效的离策略信用分配 | |
US11928600B2 (en) | Sequence-to-sequence prediction using a neural network model | |
US11610064B2 (en) | Clarification of natural language requests using neural networks | |
US20220092416A1 (en) | Neural architecture search through a graph search space | |
US11093714B1 (en) | Dynamic transfer learning for neural network modeling | |
Kim et al. | A Bi-LSTM memory network for end-to-end goal-oriented dialog learning | |
CN113826125A (zh) | 使用无监督数据增强来训练机器学习模型 | |
US20230029590A1 (en) | Evaluating output sequences using an auto-regressive language model neural network | |
JP2019095600A (ja) | 音響モデル学習装置、音声認識装置、それらの方法、及びプログラム | |
US20220383119A1 (en) | Granular neural network architecture search over low-level primitives | |
US20220391706A1 (en) | Training neural networks using learned optimizers | |
US20240005131A1 (en) | Attention neural networks with tree attention mechanisms | |
JP2020155010A (ja) | ニューラルネットワークのモデル縮約装置 | |
US20240005129A1 (en) | Neural architecture and hardware accelerator search | |
US20230206030A1 (en) | Hyperparameter neural network ensembles | |
WO2024138177A1 (en) | Recurrent interface networks | |
WO2024159132A1 (en) | Lifelong pretraining of mixture-of-experts neural networks | |
CA3160910A1 (en) | Systems and methods for semi-supervised active learning | |
JP2022051113A (ja) | 情報出力装置、質問生成装置、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201019 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211019 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220614 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220713 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220719 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7109560 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |