JP6921022B2 - 傾聴、インタラクト、及びトーク:インタラクションを介するスピーキング学習 - Google Patents
傾聴、インタラクト、及びトーク:インタラクションを介するスピーキング学習 Download PDFInfo
- Publication number
- JP6921022B2 JP6921022B2 JP2018049699A JP2018049699A JP6921022B2 JP 6921022 B2 JP6921022 B2 JP 6921022B2 JP 2018049699 A JP2018049699 A JP 2018049699A JP 2018049699 A JP2018049699 A JP 2018049699A JP 6921022 B2 JP6921022 B2 JP 6921022B2
- Authority
- JP
- Japan
- Prior art keywords
- rnn
- vector
- teacher
- natural language
- feedback
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims description 30
- 239000013598 vector Substances 0.000 claims description 90
- 230000000007 visual effect Effects 0.000 claims description 58
- 238000000034 method Methods 0.000 claims description 46
- 230000004044 response Effects 0.000 claims description 37
- 230000009471 action Effects 0.000 claims description 31
- 230000002452 interceptive effect Effects 0.000 claims description 23
- 230000006399 behavior Effects 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 230000003542 behavioural effect Effects 0.000 claims description 11
- 230000000306 recurrent effect Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 9
- 230000002787 reinforcement Effects 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 230000001143 conditioned effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims 1
- 238000012549 training Methods 0.000 description 31
- 239000003795 chemical substances by application Substances 0.000 description 26
- 238000013459 approach Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 12
- 241000282412 Homo Species 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000001755 vocal effect Effects 0.000 description 8
- 241000220225 Malus Species 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 6
- 230000010365 information processing Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000012800 visualization Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 244000025272 Persea americana Species 0.000 description 2
- 235000008673 Persea americana Nutrition 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000167854 Bourreria succulenta Species 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 240000008790 Musa x paradisiaca Species 0.000 description 1
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 1
- 241000287531 Psittacidae Species 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 235000019693 cherries Nutrition 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/151—Transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/55—Rule-based translation
- G06F40/56—Natural language generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/04—Speaking
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
- G09B5/12—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
- G09B5/12—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously
- G09B5/125—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously the stations being mobile
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
- G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
- G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
- G09B7/04—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying a further explanation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Probability & Statistics with Applications (AREA)
- Entrepreneurship & Innovation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Machine Translation (AREA)
- Electrically Operated Instructional Devices (AREA)
Description
本願は、米国特許法第119条(e)の下で、2017年5月25日に提出された、Haichao Zhang、Haonan Yu、及びWei Xuが発明者とする「Listen,Interact,and Talk:Learning to Speak via Interaction」を名称とする米国仮特許出願第62/511,295号(整理番号28888−2149P)の優先権を主張する。前記特許書類は、参照によりその全体を本願に取り込む。
A.序言
B.関連仕事
C.インタラクションに基づく言語学習の実施形態
1.問題の公式化
2.アプローチ
に符号化する(505)。複数の実施形態において、自然言語入力は自然言語センテンスである。複数の実施形態において、符号化RNN220は、状態ベクトル
を生成するために、視覚エンコーダ210から、視覚特徴ベクトルの出力をさらに受信する。視覚エンコーダの追加の詳細は、図3に記載される。
を生成する。ステップ525で、行動コントローラへの入力として用いられることに加え、状態ベクトルは、次の時間ステップに伝送され、wt+1から学習するための次のステップ
における符号化RNNの初期状態として用いることにより、時間ステップのスケールでもう1つの繰り返しレベルを形成する。
2.1 階層RNNに基づく言語モデル化を用いる模倣の実施形態
2.2 シーケンス行動に対する強化を介する学習の実施形態
D.様々な実験結果
F.システムの実施形態
Claims (16)
- インタラクションに基づく言語学習のためのコンピュータによって実現される方法であって、
一の時間ステップにおいて、階層再帰型ニューラルネットワーク(RNN)モデルにおける符号化RNNで、視覚画像に関する1つ又は複数の単語を含む教師からの自然言語入力と初期状態とを、状態ベクトルに符号化することであって、前記階層RNNモデルは、前記符号化RNN、コントローラネットワーク、行動RNNを含むものであり、前記教師は、自然言語で会話可能なバーチャル教師又は人間であることと、
コントローラネットワークで、前記状態ベクトルに基づいて、所定の方策に従って状態ベクトルの内容を変換して、変換された状態ベクトルに基づいて出力制御ベクトルを生成することと、
行動RNNで、前記出力制御ベクトルに基づいて、前記自然言語入力への応答を生成することと、
前記自然言語入力と生成された前記応答とに基づいて、前記教師から、前記応答に対するフィードバックを生成することと
を含み、
前記教師からの前記フィードバックは、次の時間ステップにおける次の自然言語入力と、現在の時間ステップに生成された前記応答に対するリワードとを含み、
前記方策は、前記教師からのフィードバックによって調整される、コンピュータによって実現される方法。 - 次の時間ステップにおける符号化処理のために、前記状態ベクトルを次の時間ステップにおける初期状態として用いることをさらに含む請求項1に記載のコンピュータによって実現される方法。
- 前記リワードは、前記応答の正確さにより、正値を激励とし、負値を激励しないとする前記教師からのスカラー値のフィードバックである請求項1に記載のコンピュータによって実現される方法。
- 前記符号化RNNは、視覚エンコーダから出力した視覚特徴ベクトルをさらに受信し、前記符号化は、前記自然言語入力及び前記視覚特徴ベクトルに基づいて行われる請求項1に記載のコンピュータによって実現される方法。
- 前記視覚エンコーダから前記視覚特徴ベクトルを出力することは、
前記視覚エンコーダにおける畳み込みニューラルネットワーク(CNN)により、視覚入力を符号化することにより視覚特徴マップを得ることと、
前記視覚特徴マップに、学習可能なパラメータを備えるマップのセットを付加することにより、縦続特徴マップを生成することと、
前記初期状態から生成された空間的フィルタで前記縦続特徴マップを畳み込むことにより、注意マップを得ることと、
前記注意マップと前記視覚特徴マップとの間で空間的加重を実施することにより、空間集約ベクトルを生成することと、
前記初期状態から生成された注意マスクと前記空間集約ベクトルとのアダマール積を実施することにより、前記視覚特徴ベクトルを生成することと
を含む請求項4に記載のコンピュータによって実現される方法。 - 前記階層RNNモデルは、環境とのインタラクション及び教師からのフィードバックに応じて行動を調整するための学習可能なパラメータを含むトランスフォーマーネットワークを更に含み、
前記コントローラネットワークは、残差構造ネットワーク及びガウス方策モジュールをさらに含み、
前記状態ベクトルに基づいて前記出力制御ベクトルを生成することは、
前記残差構造ネットワークにおいて、前記トランスフォーマーネットワークを前記状態ベクトルに加えることにより、制御ベクトルを生成することと、
前記ガウス方策モジュールにおいて、生成された前記制御ベクトルを条件とするガウス分布により、生成された前記制御ベクトルに基づいて前記出力制御ベクトルを生成することと
を含む請求項1に記載のコンピュータによって実現される方法。 - 前記出力制御ベクトルを、行動RNNのための初期状態として用いることをさらに含む請求項6に記載のコンピュータによって実現される方法。
- コンピュータによって、基本的な自然言語学習用のインタラクティブ環境を実現する方法であって、
一の時間ステップにおいて、視覚画像に関する1つ又は複数の単語を含む教師からの自然言語入力を受信することであって、前記教師は、自然言語で会話可能なバーチャル教師又は人間であることと、
少なくとも前記視覚画像に基づいて、視覚特徴ベクトルを生成することと、
階層再帰型ニューラルネットワーク(RNN)モデルにおける符号化RNNにより、前記自然言語入力と前記生成された視覚特徴ベクトルとに基づいて、前記時間ステップに対応する状態ベクトルを生成することであって、前記階層RNNモデルは、前記符号化RNN、コントローラネットワーク、行動RNNを含むことと、
少なくとも前記状態ベクトルに基づいて、コントローラネットワークにより、所定の方策に従って前記状態ベクトルの内容を変換して、変換された状態ベクトルに基づいて、出力制御ベクトルを生成することと、
前記行動RNNにおいて、前記行動RNNの初期状態として用いられる前記出力制御ベクトルにより、前記自然言語入力への応答を生成することと、
前記自然言語入力及び生成された応答に基づいて、前記応答に対するフィードバックを前記教師から生成することであって、前記フィードバックは、次の時間ステップにおける他の自然言語入力と、現在の時間ステップに生成された前記応答に対するスカラー値のリワードとを含むことと、
生成された前記フィードバックにより、前記符号化RNN及び前記行動RNNの少なくとも1つを訓練することと、
を含む、方法。 - 前記時間ステップに対応する前記状態ベクトルを生成することは、さらに前記時間ステップにおける前記符号化RNNの初期状態に基づいて行い、前記初期状態は、前の時間ステップで取得した状態ベクトルである請求項8に記載の方法。
- 前記スカラー値のリワードは、前記応答の正確さにより、激励とする正値、激励しないとする負値を有する請求項8に記載のコンピュータによって実現される方法。
- 前記教師からの、前記他の自然言語入力を含むフィードバックに基づいて、前記符号化RNNを訓練するために確率的勾配降下法を使用し、前記コントローラネットワークは、前記教師からの、前記スカラー値のリワードを含むフィードバックに基づいて、強化学習を用いて訓練される請求項8に記載の方法。
- 前記階層RNNモデルは、環境とのインタラクション及び教師からのフィードバックに応じて行動を調整するための学習可能なパラメータを含むトランスフォーマーネットワークを更に含み、
前記状態ベクトルに基づいて前記出力制御ベクトルを生成することは、
前記状態ベクトルに対し前記トランスフォーマーネットワークを加えることにより、変換された状態ベクトルを生成することと、
変換された前記状態ベクトルを条件とするガウス分布により前記出力制御ベクトルを生成することと
を含む請求項8に記載の方法。 - 前記トランスフォーマーネットワークは、ReLU活性を有する1つ又は複数の全結合層として実装される請求項12に記載の方法。
- 前記トランスフォーマーネットワークは、前記フィードバックとのインタラクションを調整するための学習可能なパラメータを含む請求項12に記載の方法。
- インタラクティブ言語学習のためのコンピュータによって実現される方法であって、
階層再帰型ニューラルネットワーク(RNN)モデルにより、一の時間ステップにおいて、視覚画像に関する1つ又は複数の単語を含む自然言語入力を受信することと、
前記階層RNNモデルにより、前記自然言語入力への応答を生成することと、
前記自然言語入力と前記生成された応答に応じた、他の自然言語入力と、スカラー値のリワードとを含むフィードバックを受信することと
を含み、
前記階層RNNモデルは、
少なくとも前記自然言語入力と前記視覚画像から抽出された視覚特徴ベクトルとに基づいて、前記時間ステップに対応する状態ベクトルを生成するための符号化RNNと、
少なくとも前記状態ベクトルに基づいて、所定の方策に従って前記状態ベクトルの内容を変換して、変換された状態ベクトルに基づいて出力制御ベクトルを生成するためのコントローラネットワークと、
前記出力制御ベクトルが初期状態として用いられる行動RNNであって、前記自然言語入力への応答を生成するための行動RNNと
を含み、
前記方策は、前記フィードバックによって調整される、コンピュータによって実現される方法。 - 前記階層RNNモデルは、環境とのインタラクション及び教師からのフィードバックに応じて行動を調整するための学習可能なパラメータを含むトランスフォーマーネットワークを更に含み、
前記コントローラネットワークは、
前記状態ベクトルに対してトランスフォーマーネットワークを加えることにより変換された状態ベクトルを生成するように構成され、
変換された前記状態ベクトルを条件とするガウス分布により前記出力制御ベクトルを生成するように構成される請求項15に記載のコンピュータによって実現される方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762511295P | 2017-05-25 | 2017-05-25 | |
US62/511,295 | 2017-05-25 | ||
US15/821,452 US11417235B2 (en) | 2017-05-25 | 2017-11-22 | Listen, interact, and talk: learning to speak via interaction |
US15/821,452 | 2017-11-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019023717A JP2019023717A (ja) | 2019-02-14 |
JP6921022B2 true JP6921022B2 (ja) | 2021-08-18 |
Family
ID=61691330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018049699A Active JP6921022B2 (ja) | 2017-05-25 | 2018-03-16 | 傾聴、インタラクト、及びトーク:インタラクションを介するスピーキング学習 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11417235B2 (ja) |
EP (1) | EP3407264B1 (ja) |
JP (1) | JP6921022B2 (ja) |
CN (1) | CN108932549B (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8577671B1 (en) | 2012-07-20 | 2013-11-05 | Veveo, Inc. | Method of and system for using conversation state information in a conversational interaction system |
US9465833B2 (en) | 2012-07-31 | 2016-10-11 | Veveo, Inc. | Disambiguating user intent in conversational interaction system for large corpus information retrieval |
US9852136B2 (en) | 2014-12-23 | 2017-12-26 | Rovi Guides, Inc. | Systems and methods for determining whether a negation statement applies to a current or past query |
US9854049B2 (en) | 2015-01-30 | 2017-12-26 | Rovi Guides, Inc. | Systems and methods for resolving ambiguous terms in social chatter based on a user profile |
US20180197438A1 (en) * | 2017-01-10 | 2018-07-12 | International Business Machines Corporation | System for enhancing speech performance via pattern detection and learning |
CN112771542B (zh) * | 2018-09-27 | 2024-03-05 | 渊慧科技有限公司 | 以学习的视觉实体为基础的强化学习神经网络 |
US10929392B1 (en) * | 2018-11-16 | 2021-02-23 | Amazon Technologies, Inc. | Artificial intelligence system for automated generation of realistic question and answer pairs |
CN110070185A (zh) * | 2019-04-09 | 2019-07-30 | 中国海洋大学 | 一种从演示和人类评估反馈进行交互强化学习的方法 |
US10783257B1 (en) * | 2019-12-20 | 2020-09-22 | Capital One Services, Llc | Use of word embeddings to locate sensitive text in computer programming scripts |
US11586830B2 (en) | 2020-06-03 | 2023-02-21 | PM Labs, Inc. | System and method for reinforcement learning based controlled natural language generation |
US20230222319A1 (en) | 2020-06-08 | 2023-07-13 | Nippon Telegraph And Telephone Corporation | Learning method, learning apparatus and program |
CN111833660B (zh) * | 2020-06-17 | 2023-01-31 | 胡屹 | 一种汉字学习实现*** |
JP2022082238A (ja) * | 2020-11-20 | 2022-06-01 | 富士通株式会社 | 機械学習プログラム,機械学習方法および出力装置 |
US11883746B2 (en) * | 2021-02-23 | 2024-01-30 | Electronic Arts Inc. | Adversarial reinforcement learning for procedural content generation and improved generalization |
CN114913403B (zh) * | 2022-07-18 | 2022-09-20 | 南京信息工程大学 | 基于度量学习的视觉问答方法 |
CN115470381A (zh) * | 2022-08-16 | 2022-12-13 | 北京百度网讯科技有限公司 | 信息交互方法、装置、设备及介质 |
CN116049397B (zh) * | 2022-12-29 | 2024-01-02 | 北京霍因科技有限公司 | 基于多模态融合的敏感信息发现并自动分类分级方法 |
CN116892932B (zh) * | 2023-05-31 | 2024-04-30 | 三峡大学 | 一种结合好奇心机制与自模仿学习的导航决策方法 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7152051B1 (en) * | 2002-09-30 | 2006-12-19 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
CN103942990A (zh) | 2013-01-23 | 2014-07-23 | 郭毓斌 | 一种语言学习装置 |
US9679258B2 (en) * | 2013-10-08 | 2017-06-13 | Google Inc. | Methods and apparatus for reinforcement learning |
US9659384B2 (en) * | 2014-10-03 | 2017-05-23 | EyeEm Mobile GmbH. | Systems, methods, and computer program products for searching and sorting images by aesthetic quality |
US10909329B2 (en) * | 2015-05-21 | 2021-02-02 | Baidu Usa Llc | Multilingual image question answering |
US10504010B2 (en) * | 2015-10-02 | 2019-12-10 | Baidu Usa Llc | Systems and methods for fast novel visual concept learning from sentence descriptions of images |
US10395118B2 (en) * | 2015-10-29 | 2019-08-27 | Baidu Usa Llc | Systems and methods for video paragraph captioning using hierarchical recurrent neural networks |
US9965705B2 (en) * | 2015-11-03 | 2018-05-08 | Baidu Usa Llc | Systems and methods for attention-based configurable convolutional neural networks (ABC-CNN) for visual question answering |
US9811765B2 (en) * | 2016-01-13 | 2017-11-07 | Adobe Systems Incorporated | Image captioning with weak supervision |
US10546066B2 (en) * | 2016-08-31 | 2020-01-28 | Microsoft Technology Licensing, Llc | End-to-end learning of dialogue agents for information access |
US10354159B2 (en) * | 2016-09-06 | 2019-07-16 | Carnegie Mellon University | Methods and software for detecting objects in an image using a contextual multiscale fast region-based convolutional neural network |
US11748978B2 (en) * | 2016-10-16 | 2023-09-05 | Ebay Inc. | Intelligent online personal assistant with offline visual search database |
US10467274B1 (en) * | 2016-11-10 | 2019-11-05 | Snap Inc. | Deep reinforcement learning-based captioning with embedding reward |
US10398319B2 (en) * | 2016-11-22 | 2019-09-03 | Huami Inc. | Adverse physiological events detection |
US20180157747A1 (en) * | 2016-12-02 | 2018-06-07 | Microsoft Technology Licensing, Llc | Systems and methods for automated query answer generation |
CN106611048A (zh) | 2016-12-20 | 2017-05-03 | 李坤 | 一种具有在线语音测评及语音交互功能的语言学习*** |
US11010431B2 (en) * | 2016-12-30 | 2021-05-18 | Samsung Electronics Co., Ltd. | Method and apparatus for supporting machine learning algorithms and data pattern matching in ethernet SSD |
US10366166B2 (en) * | 2017-09-07 | 2019-07-30 | Baidu Usa Llc | Deep compositional frameworks for human-like language acquisition in virtual environments |
US10592767B2 (en) * | 2017-10-27 | 2020-03-17 | Salesforce.Com, Inc. | Interpretable counting in visual question answering |
US20190147355A1 (en) * | 2017-11-14 | 2019-05-16 | International Business Machines Corporation | Self-critical sequence training of multimodal systems |
US10726206B2 (en) * | 2018-01-30 | 2020-07-28 | Disney Enterprises, Inc. | Visual reference resolution using attention memory for visual dialog |
US10860629B1 (en) * | 2018-04-02 | 2020-12-08 | Amazon Technologies, Inc. | Task-oriented dialog systems utilizing combined supervised and reinforcement learning |
US11074829B2 (en) * | 2018-04-12 | 2021-07-27 | Baidu Usa Llc | Systems and methods for interactive language acquisition with one-shot visual concept learning through a conversational game |
US10885345B2 (en) * | 2019-04-29 | 2021-01-05 | Tencent America LLC | End-to-end video captioning with multi-task reinforcement learning |
US11663814B2 (en) * | 2019-08-23 | 2023-05-30 | Arm Limited | Skip predictor for pre-trained recurrent neural networks |
US10699129B1 (en) * | 2019-11-15 | 2020-06-30 | Fudan University | System and method for video captioning |
-
2017
- 2017-11-22 US US15/821,452 patent/US11417235B2/en active Active
-
2018
- 2018-03-07 CN CN201810188188.5A patent/CN108932549B/zh active Active
- 2018-03-16 JP JP2018049699A patent/JP6921022B2/ja active Active
- 2018-03-16 EP EP18162246.5A patent/EP3407264B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11417235B2 (en) | 2022-08-16 |
CN108932549A (zh) | 2018-12-04 |
EP3407264A1 (en) | 2018-11-28 |
US20180342174A1 (en) | 2018-11-29 |
EP3407264B1 (en) | 2022-03-02 |
CN108932549B (zh) | 2022-08-02 |
JP2019023717A (ja) | 2019-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6921022B2 (ja) | 傾聴、インタラクト、及びトーク:インタラクションを介するスピーキング学習 | |
Shidiq | The use of artificial intelligence-based chat-gpt and its challenges for the world of education; from the viewpoint of the development of creative writing skills | |
JP6722789B2 (ja) | インタラクティブ言語習得のシステム、及び方法 | |
Eager et al. | Prompting higher education towards AI-augmented teaching and learning practice | |
Luckin et al. | Intelligence unleashed: An argument for AI in education | |
Alepis et al. | Automatic generation of emotions in tutoring agents for affective e-learning in medical education | |
Tafazoli et al. | Robot-assisted language learning: Artificial intelligence in second language acquisition | |
Sajja et al. | Artificial Intelligence-Enabled Intelligent Assistant for Personalized and Adaptive Learning in Higher Education | |
Zhang et al. | Listen, interact and talk: Learning to speak via interaction | |
Spaulding et al. | Affect and inference in Bayesian knowledge tracing with a robot tutor | |
Nassiri-Mofakham | Current and future developments in artificial intelligence | |
Yu | AI-empowered metaverse learning simulation technology application | |
Yorganci et al. | Avatar-based sign language training interface for primary school education | |
Auflem et al. | Facing the facs—using ai to evaluate and control facial action units in humanoid robot face development | |
Jeon et al. | Deep reinforcement learning for cooperative robots based on adaptive sentiment feedback | |
Magyar et al. | Towards adaptive cloud-based platform for robotic assistants in education | |
Zhou et al. | Application of large language models in professional fields | |
Hosseini et al. | “Let There Be Intelligence!”-A Novel Cognitive Architecture for Teaching Assistant Social Robots | |
Yahyaeian | Enhancing Mechanical Engineering Education Through a Virtual Instructor in an Ai-Driven Virtual Reality Fatigue Test Lab | |
Sun et al. | Investigating the effects of robot engagement communication on learning from demonstration | |
Shibberu | Introduction to deep learning: A first course in machine learning | |
Law | From computational thinking to thoughtful computing: perspectives on physical computing in maker-centered education | |
Shakerimov et al. | Qwriter: Technology-enhanced alphabet acquisition based on reinforcement learning | |
Kocher | Better together: designing for child-robot collaboration | |
Silverman et al. | Reinforcement Learning to Generate 3D Shapes: Towards a Spatial Visualization VR Application |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180801 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180801 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191029 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200128 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200821 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200821 |
|
C11 | Written invitation by the commissioner to file amendments |
Free format text: JAPANESE INTERMEDIATE CODE: C11 Effective date: 20200901 |
|
C27A | Decision to dismiss |
Free format text: JAPANESE INTERMEDIATE CODE: C2711 Effective date: 20201020 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201021 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20201022 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20201027 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20201113 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20201117 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210323 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20210525 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20210629 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20210629 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210727 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6921022 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |