JP2020537223A - 質問と要求とを自律エージェントが区別できるようにすること - Google Patents
質問と要求とを自律エージェントが区別できるようにすること Download PDFInfo
- Publication number
- JP2020537223A JP2020537223A JP2020517888A JP2020517888A JP2020537223A JP 2020537223 A JP2020537223 A JP 2020537223A JP 2020517888 A JP2020517888 A JP 2020517888A JP 2020517888 A JP2020517888 A JP 2020517888A JP 2020537223 A JP2020537223 A JP 2020537223A
- Authority
- JP
- Japan
- Prior art keywords
- utterance
- classification
- request
- question
- classifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000004458 analytical method Methods 0.000 claims abstract description 54
- 238000012549 training Methods 0.000 claims description 49
- 238000013145 classification model Methods 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 31
- 230000004044 response Effects 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 16
- 239000003795 chemical substances by application Substances 0.000 description 46
- 238000007726 management method Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 22
- 238000004891 communication Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 8
- 238000012546 transfer Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 241000699670 Mus sp. Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 241000136406 Comones Species 0.000 description 1
- 241000238558 Eucarida Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/253—Grammatical analysis; Style critique
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本願は、2017年9月28日に出願された米国仮出願第62/564,868号の利益を主張するものであり、そのすべての記載内容を引用により本明細書に援用する。
本開示は、全体的に、言語学に関する。より具体的には、本開示は、発話を質問または自律エージェントに操作を実行させる要求として分類するための言語学を利用することに関する。
なし
自律エージェントを利用して、様々なユーザの質問に対処することができる。たとえば、自律エージェントは、「what are the fees associated with a checking account(当座預金に関連する手数料はいくらですか)」など、情報の要求をユーザから受け付ける。次に、ユーザは、「please open a new bank account for me(新しい銀行口座を開設してください)」と要求する可能性がある。
一般に、本発明のシステム、装置、および方法は、テキスト分類に関する。一態様において、システムは、言語エンジンと、ルールエンジンとを備える。言語エンジンは、少なくとも1つの単語を含む発話にアクセスするように構成される。言語エンジンは、さらに、この発話の解析木を生成するように構成される。解析木は、品詞を含む少なくとも1つの非終端ノードと、種類を含む少なくとも1つの終端ノードとを含む。各終端ノードは、発話の単語または句を表す。言語エンジンは、さらに、解析木に1つ以上の品詞を含む1つ以上の言語テンプレートを適用するように構成される。ルールエンジンは、言語エンジンから取得される1つ以上の照合結果を生成し、ルールを適用することによってテキストの分類を判断するように構成される。ルールは、言語テンプレート照合を判断することに応答して、発話を要求として分類することを含む。ルールは、発話が最初の単語として命令形動詞を含むと判断することに応答して、発話を要求として分類することをさらに含む。ルールは、さらに、発話に1つ以上の定義済みの要求キーワードを確認することに応答して、発話を要求として分類することを含む。ルールは、さらに、発話に1つ以上の定義済みの質問キーワードを確認することに応答して、発話を質問として分類することを含む。システムは、さらに、分類に基づいて、メッセージをユーザデバイスに送るまたは外部装置の構成を調整するように構成される。
一態様において、ルールは、発話が最初の単語の位置に質問接頭辞を含んでいると判断することに応答して、発話を質問として分類することをさらに含む。
一態様において、ルールは、発話が最後の単語の位置に要求の接尾辞を含んでいると判断することに応答して、発話を要求として分類することをさらに含む。
上記方法は、有形のコンピュータ読み取り可能な媒体上で実行され得る、および/または、コンピュータプロセッサおよび付属のメモリ内で動作し得る。
本明細書に開示の態様は、テキストの分類を向上させることによって、コンピュータで実行される言語学の分野に対する技術改良を提供する。より具体的には、特定の態様は、言語学を用いて、テキストが質問であるか操作を実行させる要求であるかを判断する。上述したように、自律エージェントについての既存のソリューションでは、質問とトランザクション要求とを区別することができず、これによって、エージェントとユーザとのやり取りが失敗に終わってしまう。
本明細書において使用するとき、「発話」は、口頭または文書など、任意の形式の1つ以上の単語である。発話として、「please turn on the lights(照明を点けてください)」、「what’s the weather?(どんな天気ですか?)」などが挙げられる。
本明細書において使用するとき、「品詞」は、単語の属性を指す。動詞、名詞、名詞句、前置詞などが挙げられる。
自律エージェントの開発者またはベンダーは、両方のクラスのサンプルを含んだ訓練セットを提供することによって、デフォルトの訓練セットまたはルール(すなわち、質問とトランザクション要求との関係)を上書きしてもよい。分類モデル150の再訓練は、使用前またはランタイムに生じ得る。たとえば、新たな発話を受け付けると、分類アプリケーション102は、下記の処理を実行できる。
(2)両方のクラスからのすべてのサンプルを反復処理し、クエリを作成してインスタントインデックスに対する検索を発行する。
分類アプリケーション102の機能を実装するコード例を以下に示す。
// TRANSACTIONALである場合、trueを返し、QUESTIONである場合、falseを返す
// explanationMapが<説明(explanations)を付けた決定(decision)>を格納する
public Boolean isARequestUtteranceKeywordBased(String utteranceOrig, Map<String, Object> explanationMap) {
String utterance = utteranceOrig.toLowerCase();
Boolean matchedWithTrainingSet =
lingRecognizer.matchWithTrainingSet(utteranceOrig);
if (matchedWithTrainingSet != null) {
explanationMap.put("ling_match_recognizer", true);
explanationMap.putAll(lingRecognizer.getExplanationMap());
return matchedWithTrainingSet;
}
List<String> tokens = TextProcessor.fastTokenize(utterance, false);
if (tokens.size() < 2) {
explanationMap.put("analysis is rejected", "single token utterance");
return null;
}
// 前方のストップワードを取り除く
if (tokens.get(0).equals("please") || tokens.get(0).equals("i") || tokens.get(0).equals("we"))
tokens.remove(0);
// ストップ句を取り除く
try {
if (tokens.get(0).equals("this") && (tokens.size() > 2 && tokens.get(1).equals("is")) || (tokens.size() > 2 && tokens.get(2).equals("a"))) {
tokens.remove(0);
tokens.remove(1);
tokens.remove(2);
}
} catch (Exception e) {
}
// パース処理によって動詞を適切に見つけられなかった場合、動詞+動詞接頭辞のルックアップを確認する
if (requestVerbsCached.contains(tokens.get(0))) {
explanationMap.put("check verb + verb prefixes lookup, in case parsing will not find verbs properly. Found leading verb: ", tokens.get(0));
explanationMap.put("reduced sentence for analysis", tokens.toString());
return true;
}
// 最初の単語が(命令形の)動詞であるかどうかを確認する
if (lingRecognizer.isARequestUtteranceKeywordBased(utteranceOrig)) {
explanationMap.put("ling_recognizer", true);
explanationMap.put("why transactional", "leading verb");
explanationMap.putAll(lingRecognizer.getExplanationMap());
return true;
}
// 要求用の接頭辞+動詞
for (String prefix : requestVerbsPrefix) {
if (utterance.startsWith(prefix)) {
String utteranceRemainder = utterance.replace(prefix, "");
List<String> tokensRemainder = TextProcessor.fastTokenize(utteranceRemainder, false);
if (tokensRemainder.isEmpty()) {
explanationMap.put("why transactional", "leading verb");
explanationMap.put("all non-verbs are removed", "remained empty");
return true;
}
if (requestVerbsCached.contains(tokensRemainder.get(0))) {
explanationMap.put("why transactional", "leading verb");
explanationMap.put("leading verb", tokensRemainder.get(0));
return true;
}
}
}
// 要求でない接頭辞
for (String prefix : faqVerbsPrefix) {
if (utterance.startsWith(prefix)) {
explanationMap.put("whyQnA", "QnA prefix");
explanationMap.put("QnA prefix", prefix);
return false;
}
}
// 要求用の接頭辞+動詞
for (String prefix : requestVerbsPrefix) {
if (utterance.startsWith(prefix)) {
explanationMap.put("why transactional", "transactional prefix");
explanationMap.put("transactional prefix", prefix);
return true;
}
}
for (String suffix : this.requestWordSuffix) {
if (utterance.endsWith(suffix)) {
explanationMap.put("why transactional", "transactional suffix");
explanationMap.put("transactional suffix", suffix);
return true;
}
}
explanationMap.put("neither QnA nor Transactional rule fired", "");
return null;
}
// これは、機械学習によって発話を分類するために使う
// TRANSACTIONALである場合、trueを返し、QUESTIONである場合、falseを返す
// explanationMapが<説明(explanations)を付けた決定(decision)>を格納する
public Boolean matchWithTrainingSet(String utterance) {
int count = 0, bestScoreIndex = -1;
double bestScore = 0;
Boolean bestDecision = null;
for (String[] line : nearestNeighborTrainingSet) {
List<List<ParseTreeChunk>> res = matcher.assessRelevanceCache(utterance, line[0]);
double syntacticScore = parseTreeChunkListScorer.getParseTreeChunkListScoreAggregPhraseType(res);
if (syntacticScore > bestScore && syntacticScore > MIN_SCORE_TO_MATCH) {
bestScore = syntacticScore;
try {
bestDecision = Boolean.parseBoolean(line[1]);
} catch (Exception e) {
e.printStackTrace();
}
bestScoreIndex = count;
}
count++;
}
explanationMap.put("found decision via matching phrase", bestDecision);
if (!nearestNeighborTrainingSet.isEmpty())
explanationMap.put("found matching phrase", nearestNeighborTrainingSet.get(bestScoreIndex)[0]);
return bestDecision;
}
Claims (20)
- テキストを質問または要求として分類するためのシステムであって、
言語エンジンを備え、前記言語エンジンは、
少なくとも1つの単語を含む発話にアクセスし、
前記発話の解析木を生成するように構成され、前記解析木は、品詞を含む少なくとも1つの終端ノードを含み、各終端ノードは、前記発話の単語または句を表し、前記言語エンジンは、さらに、
前記解析木に1つ以上の品詞を含む1つ以上の言語テンプレートを適用するように構成され、前記システムは、さらに、
前記言語エンジンから取得される1つ以上の照合結果を生成し、ルールを適用することによって前記テキストの分類を判断するように構成されるルールエンジンを備え、前記ルールは、
(i)言語テンプレート照合を判断することに応答して、前記発話を要求として分類することと、
(ii)前記発話が最初の単語として命令形動詞を含むと判断することに応答して、前記発話を要求として分類することと、
(iii)前記発話に1つ以上の定義済みの要求キーワードを確認することに応答して、前記発話を要求として分類することと、
(iv)前記発話に1つ以上の定義済みの質問キーワードを確認することに応答して、前記発話を質問として分類することとを含み、
前記システムは、さらに、前記分類に基づいて、メッセージをユーザデバイスに送るまたは外部装置の構成を調整するように構成される、システム。 - 前記ルールは、(v)前記発話を質問または要求として識別できないことに応答して、前記発話を不明として分類することをさらに含む、請求項1に記載のシステム。
- 前記言語テンプレートは、一人称代名詞および名詞を含む、請求項1に記載のシステム。
- 前記ルールは、(v)前記発話が最初の単語の位置に質問接頭辞を含んでいると判断することに応答して、前記発話を質問として分類することをさらに含む、請求項1に記載のシステム。
- 前記1つ以上の定義済みの質問ワードは、内的動詞を含む、請求項1に記載のシステム。
- 前記ルールは、(v)前記発話が最後の単語の位置に要求の接尾辞を含んでいると判断することに応答して、前記発話を要求として分類することをさらに含む、請求項1に記載のシステム。
- 前記ルールは、(v)前記発話がトランザクション動詞を含んでいると判断することに応答して、前記発話を要求として分類することをさらに含む、請求項1に記載のシステム。
- 前記言語エンジンは、前記解析木を決定する前に、前記発話から1つ以上のストップワードを取り除くように構成される、請求項1に記載のシステム。
- 分類モデルを利用して発話を質問または要求として分類するための方法であって、
テキストの発話にアクセスするステップを含み、前記発話は、少なくとも1つの単語を含み、前記方法は、さらに、
前記発話の解析木を生成するステップを含み、前記解析木は、品詞を含む最低1つの終端ノードを含み、各終端ノードは、前記発話の単語または句を表し、前記方法は、さらに、
前記解析木に分類モデルを適用することによって、前記発話の分類を判断するステップを含み、前記適用することは、
前記解析木について、前記発話と質問として識別された訓練クラスとの第1の一致を示す第1の類似度スコアを決定することと、
前記解析木について、前記発話と要求として識別された訓練クラスとの第2の一致を示す第2の類似度スコアを決定することとを含み、前記方法は、さらに、
前記分類モデルから、前記発話の分類を受け付けるステップを含み、前記発話の分類は、(i)前記判断されたクラスの類似度スコアがその他の類似度スコアよりも高いことに基づくまたは(ii)不明である、方法。 - 訓練データペアのセットを含む訓練データのセットにアクセスするステップをさらに含み、各訓練データペアは、テキストと予想分類とを含み、前記訓練データのセットは、(i)質問を含む第1の訓練データペアおよび(ii)要求を含む第2の訓練データペアを含み、前記方法は、さらに、
前記訓練データペアのうちの1つを前記分類モデルに提供し、
判断された分類を前記分類モデルから受け付け、
前記判断された分類と前記予想分類との差を算出することによって損失関数を算出し、
前記分類モデルの内部パラメータを調整して前記損失関数を最小化する、ことを反復して行うことによって、分類モデルを訓練するステップを含む、請求項9に記載の方法。 - 前記分類は、前記発話への類似度が最も高い分類である、請求項9に記載の方法。
- 発話を質問または要求として分類する方法であって、
テキストの発話にアクセスするステップを含み、前記発話は、少なくとも1つの単語を含み、前記方法は、さらに、
前記発話の解析木を生成するステップを含み、前記解析木は、品詞を含む少なくとも1つの終端ノードを含み、各終端ノードは、前記発話の単語を表し、前記方法は、さらに、
(i)前記解析木の最初の終端ノードが命令形動詞を含むと判断することに応答して、前記発話を要求として分類することと、
(ii)前記解析木において、1つ以上の定義済みの質問キーワードを分類することに応答して、前記発話を質問として分類することとを含む動作のセットのうちの1つ以上の動作を実行するステップを含む、方法。 - 前記動作は、
1つ以上の品詞を含む1つ以上の言語テンプレートを前記解析木に適用するステップと、
言語テンプレート照合を判断することに応答して、前記発話を要求として分類するステップとをさらに含む、請求項12に記載の方法。 - 前記品詞は、第一人称形の代名詞、および名詞を含む、請求項12に記載の方法。
- 前記動作は、前記発話を質問または要求として識別できないことに応答して、前記発話を不明として分類することをさらに含む、請求項12に記載の方法。
- 前記動作は、(iii)前記発話において1つ以上の定義済みの要求キーワードを分類することに応答して、前記発話を要求として分類することをさらに含む、請求項12に記載の方法。
- 前記動作は、(iii)前記発話が質問接頭辞を含むと判断することと、前記発話を質問として分類することとをさらに含む、請求項12に記載の方法。
- 前記1つ以上の定義済みの質問ワードは、内的動詞を含む、請求項12に記載の方法。
- 前記1つ以上の定義済みの要求キーワードは、トランザクション接尾辞またはトランザクション動詞を含む、請求項12に記載の方法。
- システムであって、
非一時的なコンピュータによって実行可能なプログラム命令を格納した、コンピュータ読み取り可能な媒体と、
前記非一時的なコンピュータによって実行可能なプログラム命令を実行するための前記コンピュータ読み取り可能な媒体に通信可能に連結された処理装置とを備え、前記非一時的なコンピュータによって実行可能なプログラム命令を実行することによって、前記処理装置に動作を実行させ、前記動作は、
テキストの発話にアクセスすることを含み、前記発話は、少なくとも1つの単語を含み、前記動作は、さらに、
前記発話の解析木を生成することを含み、前記解析木は、品詞を含む少なくとも1つの終端ノードを含み、各終端ノードは、前記発話の単語または句を表し、前記動作は、さらに、
前記解析木に分類モデルを適用することによって前記発話の分類を判断することを含み、前記適用することは、
前記解析木について、前記発話と発話として識別された訓練クラスとの第1の一致を示す第1の類似度スコアを決定することと、
前記解析木について、前記発話と要求として識別された訓練クラスとの第2の一致を示す第2の類似度スコアを決定することとを含み、前記動作は、さらに、
前記分類モデルから、前記発話の分類を受け付けることを含み、前記発話の分類は、(i)前記判断されたクラスの類似度スコアがその他の類似度スコアよりも高いことに基づくまたは(ii)不明である、システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023006146A JP7519476B2 (ja) | 2017-09-28 | 2023-01-18 | 質問と要求とを自律エージェントが区別できるようにすること |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762564868P | 2017-09-28 | 2017-09-28 | |
US62/564,868 | 2017-09-28 | ||
PCT/US2018/053392 WO2019067878A1 (en) | 2017-09-28 | 2018-09-28 | ACTIVATION OF AUTONOMOUS AGENTS TO DISTINGUISH QUESTIONS AND DEMANDS |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023006146A Division JP7519476B2 (ja) | 2017-09-28 | 2023-01-18 | 質問と要求とを自律エージェントが区別できるようにすること |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020537223A true JP2020537223A (ja) | 2020-12-17 |
JP2020537223A5 JP2020537223A5 (ja) | 2021-07-26 |
JP7214719B2 JP7214719B2 (ja) | 2023-01-30 |
Family
ID=63858216
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020517888A Active JP7214719B2 (ja) | 2017-09-28 | 2018-09-28 | 質問と要求とを自律エージェントが区別できるようにすること |
JP2023006146A Active JP7519476B2 (ja) | 2017-09-28 | 2023-01-18 | 質問と要求とを自律エージェントが区別できるようにすること |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023006146A Active JP7519476B2 (ja) | 2017-09-28 | 2023-01-18 | 質問と要求とを自律エージェントが区別できるようにすること |
Country Status (5)
Country | Link |
---|---|
US (2) | US10796099B2 (ja) |
EP (1) | EP3688626A1 (ja) |
JP (2) | JP7214719B2 (ja) |
CN (2) | CN116992859A (ja) |
WO (1) | WO2019067878A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11373632B2 (en) | 2017-05-10 | 2022-06-28 | Oracle International Corporation | Using communicative discourse trees to create a virtual persuasive dialogue |
US11586827B2 (en) | 2017-05-10 | 2023-02-21 | Oracle International Corporation | Generating desired discourse structure from an arbitrary text |
US10599885B2 (en) | 2017-05-10 | 2020-03-24 | Oracle International Corporation | Utilizing discourse structure of noisy user-generated content for chatbot learning |
US11100144B2 (en) | 2017-06-15 | 2021-08-24 | Oracle International Corporation | Data loss prevention system for cloud security based on document discourse analysis |
EP3688626A1 (en) * | 2017-09-28 | 2020-08-05 | Oracle International Corporation | Enabling autonomous agents to discriminate between questions and requests |
CN111149100B (zh) | 2017-09-28 | 2023-08-29 | 甲骨文国际公司 | 基于命名实体的解析和识别确定跨文档的修辞相互关系 |
US10832658B2 (en) * | 2017-11-15 | 2020-11-10 | International Business Machines Corporation | Quantized dialog language model for dialog systems |
US11537645B2 (en) | 2018-01-30 | 2022-12-27 | Oracle International Corporation | Building dialogue structure by using communicative discourse trees |
EP3791292A1 (en) | 2018-05-09 | 2021-03-17 | Oracle International Corporation | Constructing imaginary discourse trees to improve answering convergent questions |
US11455494B2 (en) | 2018-05-30 | 2022-09-27 | Oracle International Corporation | Automated building of expanded datasets for training of autonomous agents |
US11258902B2 (en) | 2018-10-02 | 2022-02-22 | Verint Americas Inc. | Partial automation of text chat conversations |
US11586980B2 (en) | 2019-01-18 | 2023-02-21 | Verint Americas Inc. | IVA performance dashboard and interactive model and method |
US11467817B2 (en) * | 2019-01-28 | 2022-10-11 | Adobe Inc. | Software component defect prediction using classification models that generate hierarchical component classifications |
KR20210015234A (ko) * | 2019-08-01 | 2021-02-10 | 삼성전자주식회사 | 전자 장치, 및 그의 음성 명령에 따른 기능이 실행되도록 제어하는 방법 |
US11184298B2 (en) * | 2019-08-28 | 2021-11-23 | International Business Machines Corporation | Methods and systems for improving chatbot intent training by correlating user feedback provided subsequent to a failed response to an initial user intent |
US11741308B2 (en) | 2020-05-14 | 2023-08-29 | Oracle International Corporation | Method and system for constructing data queries from conversational input |
CN112380344B (zh) * | 2020-11-19 | 2023-08-22 | 平安科技(深圳)有限公司 | 文本分类的方法、话题生成的方法、装置、设备及介质 |
CN112395394B (zh) * | 2020-11-27 | 2024-04-26 | 安徽迪科数金科技有限公司 | 短文本语义理解模板检验方法、模板生成方法及装置 |
US11321289B1 (en) * | 2021-06-10 | 2022-05-03 | Prime Research Solutions LLC | Digital screening platform with framework accuracy questions |
US20230025709A1 (en) * | 2021-07-21 | 2023-01-26 | Google Llc | Transferring dialog data from an initially invoked automated assistant to a subsequently invoked automated assistant |
US20230410190A1 (en) * | 2022-06-17 | 2023-12-21 | Truist Bank | User interface experience with different representations of banking functions |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07160717A (ja) * | 1993-12-13 | 1995-06-23 | Matsushita Electric Ind Co Ltd | 隣接発話間関係認識装置 |
JP2008165718A (ja) * | 2007-01-05 | 2008-07-17 | Toyota Central R&D Labs Inc | 意図判定装置、意図判定方法、及びプログラム |
JP2010020420A (ja) * | 2008-07-08 | 2010-01-28 | Omron Corp | 会話文解析方法、会話文解析装置、会話文解析プログラム、および、コンピュータ読取り可能記録媒体 |
JP2015045833A (ja) * | 2013-07-31 | 2015-03-12 | 日本電信電話株式会社 | 発話文生成装置とその方法とプログラム |
JP2015225415A (ja) * | 2014-05-26 | 2015-12-14 | 日本電信電話株式会社 | 結束性判定装置、モデル学習装置、方法、及びプログラム |
US20160055240A1 (en) * | 2014-08-22 | 2016-02-25 | Microsoft Corporation | Orphaned utterance detection system and method |
Family Cites Families (75)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2696853B1 (fr) | 1992-10-12 | 1994-12-23 | Bull Sa | Procédé d'aide à l'optimisation d'une requête d'un système de gestion, de base de données relationnel et procédé d'analyse syntaxique en résultant. |
US5715468A (en) * | 1994-09-30 | 1998-02-03 | Budzinski; Robert Lucius | Memory system for storing and retrieving experience and knowledge with natural language |
US8725493B2 (en) | 2004-01-06 | 2014-05-13 | Neuric Llc | Natural language parsing method to provide conceptual flow |
US6112168A (en) | 1997-10-20 | 2000-08-29 | Microsoft Corporation | Automatically recognizing the discourse structure of a body of text |
US20070294229A1 (en) | 1998-05-28 | 2007-12-20 | Q-Phrase Llc | Chat conversation methods traversing a provisional scaffold of meanings |
US7152031B1 (en) | 2000-02-25 | 2006-12-19 | Novell, Inc. | Construction, manipulation, and comparison of a multi-dimensional semantic space |
JP2001167087A (ja) | 1999-12-14 | 2001-06-22 | Fujitsu Ltd | 構造化文書検索装置,構造化文書検索方法,構造化文書検索用プログラム記録媒体および構造化文書検索用インデックス作成方法 |
US20010053968A1 (en) | 2000-01-10 | 2001-12-20 | Iaskweb, Inc. | System, method, and computer program product for responding to natural language queries |
AU2001261506A1 (en) | 2000-05-11 | 2001-11-20 | University Of Southern California | Discourse parsing and summarization |
US6731307B1 (en) | 2000-10-30 | 2004-05-04 | Koninklije Philips Electronics N.V. | User interface/entertainment device that simulates personal interaction and responds to user's mental state and/or personality |
US7519529B1 (en) | 2001-06-29 | 2009-04-14 | Microsoft Corporation | System and methods for inferring informational goals and preferred level of detail of results in response to questions posed to an automated information-retrieval or question-answering service |
US7127208B2 (en) | 2002-01-23 | 2006-10-24 | Educational Testing Service | Automated annotation |
US7305336B2 (en) | 2002-08-30 | 2007-12-04 | Fuji Xerox Co., Ltd. | System and method for summarization combining natural language generation with structural analysis |
US20040148170A1 (en) * | 2003-01-23 | 2004-07-29 | Alejandro Acero | Statistical classifiers for spoken language understanding and command/control scenarios |
US8335683B2 (en) * | 2003-01-23 | 2012-12-18 | Microsoft Corporation | System for using statistical classifiers for spoken language understanding |
US7610190B2 (en) | 2003-10-15 | 2009-10-27 | Fuji Xerox Co., Ltd. | Systems and methods for hybrid text summarization |
US9646107B2 (en) | 2004-05-28 | 2017-05-09 | Robert T. and Virginia T. Jenkins as Trustee of the Jenkins Family Trust | Method and/or system for simplifying tree expressions such as for query reduction |
US7698267B2 (en) | 2004-08-27 | 2010-04-13 | The Regents Of The University Of California | Searching digital information and databases |
US8700404B1 (en) * | 2005-08-27 | 2014-04-15 | At&T Intellectual Property Ii, L.P. | System and method for using semantic and syntactic graphs for utterance classification |
US20070073533A1 (en) | 2005-09-23 | 2007-03-29 | Fuji Xerox Co., Ltd. | Systems and methods for structural indexing of natural language text |
US20070136284A1 (en) | 2005-12-12 | 2007-06-14 | Sbc Knowledge Ventures Lp | Method for constructing and repurposing rhetorical content |
US7925678B2 (en) | 2007-01-12 | 2011-04-12 | Loglogic, Inc. | Customized reporting and mining of event data |
US8639509B2 (en) * | 2007-07-27 | 2014-01-28 | Robert Bosch Gmbh | Method and system for computing or determining confidence scores for parse trees at all levels |
US7840556B1 (en) | 2007-07-31 | 2010-11-23 | Hewlett-Packard Development Company, L.P. | Managing performance of a database query |
CN101118554A (zh) * | 2007-09-14 | 2008-02-06 | 中兴通讯股份有限公司 | 智能交互式问答***及其处理方法 |
US8306967B2 (en) | 2007-10-02 | 2012-11-06 | Loglogic, Inc. | Searching for associated events in log data |
US7890539B2 (en) | 2007-10-10 | 2011-02-15 | Raytheon Bbn Technologies Corp. | Semantic matching using predicate-argument structure |
US8463594B2 (en) | 2008-03-21 | 2013-06-11 | Sauriel Llc | System and method for analyzing text using emotional intelligence factors |
US9646078B2 (en) | 2008-05-12 | 2017-05-09 | Groupon, Inc. | Sentiment extraction from consumer reviews for providing product recommendations |
US20100169359A1 (en) | 2008-12-30 | 2010-07-01 | Barrett Leslie A | System, Method, and Apparatus for Information Extraction of Textual Documents |
JP5426292B2 (ja) | 2009-09-16 | 2014-02-26 | 日本放送協会 | 意見分類装置およびプログラム |
US8712759B2 (en) | 2009-11-13 | 2014-04-29 | Clausal Computing Oy | Specializing disambiguation of a natural language expression |
US8355997B2 (en) * | 2009-11-13 | 2013-01-15 | Hewlett-Packard Development Company, L.P. | Method and system for developing a classification tool |
WO2011100474A2 (en) | 2010-02-10 | 2011-08-18 | Multimodal Technologies, Inc. | Providing computable guidance to relevant evidence in question-answering systems |
US9449080B1 (en) | 2010-05-18 | 2016-09-20 | Guangsheng Zhang | System, methods, and user interface for information searching, tagging, organization, and display |
WO2012040356A1 (en) | 2010-09-24 | 2012-03-29 | International Business Machines Corporation | Providing question and answers with deferred type evaluation using text with limited structure |
US11222052B2 (en) | 2011-02-22 | 2022-01-11 | Refinitiv Us Organization Llc | Machine learning-based relationship association and related discovery and |
US20130046757A1 (en) | 2011-08-17 | 2013-02-21 | Microsoft Corporation | Indicating relationship closeness between subsnippets of a search result |
SG188994A1 (en) | 2011-10-20 | 2013-05-31 | Nec Corp | Textual entailment recognition apparatus, textual entailment recognition method, and computer-readable recording medium |
WO2013091075A1 (en) | 2011-12-20 | 2013-06-27 | Soschen Alona | Natural language processor |
JP2013190985A (ja) | 2012-03-13 | 2013-09-26 | Sakae Takeuchi | 知識応答システム、方法およびコンピュータプログラム |
US9336297B2 (en) | 2012-08-02 | 2016-05-10 | Paypal, Inc. | Content inversion for user searches and product recommendations systems and methods |
US20140122083A1 (en) | 2012-10-26 | 2014-05-01 | Duan Xiaojiang | Chatbot system and method with contextual input and output messages |
US9152623B2 (en) | 2012-11-02 | 2015-10-06 | Fido Labs, Inc. | Natural language processing system and method |
CN103871286A (zh) * | 2012-12-07 | 2014-06-18 | 大连联达科技有限公司 | 一种用于互动教学平台的互动问答*** |
US10452779B2 (en) | 2013-05-07 | 2019-10-22 | Paul V. Haley | System for knowledge acquisition |
US9317260B2 (en) | 2013-08-09 | 2016-04-19 | Vmware, Inc. | Query-by-example in large-scale code repositories |
US9292490B2 (en) | 2013-08-16 | 2016-03-22 | International Business Machines Corporation | Unsupervised learning of deep patterns for semantic parsing |
CN104598445B (zh) | 2013-11-01 | 2019-05-10 | 腾讯科技(深圳)有限公司 | 自动问答***和方法 |
US10019716B1 (en) * | 2013-11-21 | 2018-07-10 | Google Llc | Method for feedback submission resolution |
US20150149461A1 (en) | 2013-11-24 | 2015-05-28 | Interstack, Inc | System and method for analyzing unstructured data on applications, devices or networks |
US9471874B2 (en) | 2013-12-07 | 2016-10-18 | International Business Machines Corporation | Mining forums for solutions to questions and scoring candidate answers |
WO2015159133A1 (en) | 2014-04-18 | 2015-10-22 | Arria Data2Text Limited | Method and apparatus for document planning |
US9934306B2 (en) * | 2014-05-12 | 2018-04-03 | Microsoft Technology Licensing, Llc | Identifying query intent |
US10726831B2 (en) * | 2014-05-20 | 2020-07-28 | Amazon Technologies, Inc. | Context interpretation in natural language processing using previous dialog acts |
US9582501B1 (en) | 2014-06-16 | 2017-02-28 | Yseop Sa | Techniques for automatic generation of natural language text |
MX2016015358A (es) | 2014-07-11 | 2017-03-03 | Halliburton Energy Services Inc | Herramienta de evaluacion para tuberias de revestimiento de pozos concentricas. |
US9619513B2 (en) | 2014-07-29 | 2017-04-11 | International Business Machines Corporation | Changed answer notification in a question and answer system |
US9559993B2 (en) | 2014-10-02 | 2017-01-31 | Oracle International Corporation | Virtual agent proxy in a real-time chat service |
US10019437B2 (en) | 2015-02-23 | 2018-07-10 | International Business Machines Corporation | Facilitating information extraction via semantic abstraction |
KR20170033722A (ko) * | 2015-09-17 | 2017-03-27 | 삼성전자주식회사 | 사용자의 발화 처리 장치 및 방법과, 음성 대화 관리 장치 |
KR102189855B1 (ko) | 2015-10-21 | 2020-12-11 | 구글 엘엘씨 | 다이얼로그 시스템들에서의 파라미터 수집 및 자동 다이얼로그 생성 |
US20170161372A1 (en) * | 2015-12-04 | 2017-06-08 | Codeq Llc | Method and system for summarizing emails and extracting tasks |
WO2017112813A1 (en) | 2015-12-22 | 2017-06-29 | Sri International | Multi-lingual virtual personal assistant |
US11042702B2 (en) | 2016-02-04 | 2021-06-22 | International Business Machines Corporation | Solving textual logic problems using a statistical approach and natural language processing |
US20170286390A1 (en) * | 2016-04-04 | 2017-10-05 | Contextors Ltd. | Dynamic and automatic generation of interactive text related objects |
CN106649768B (zh) | 2016-12-27 | 2021-03-16 | 北京百度网讯科技有限公司 | 基于深度问答的问答澄清方法和装置 |
CN106682194B (zh) | 2016-12-29 | 2020-05-22 | 北京百度网讯科技有限公司 | 基于深度问答的答案定位方法及装置 |
US10599885B2 (en) | 2017-05-10 | 2020-03-24 | Oracle International Corporation | Utilizing discourse structure of noisy user-generated content for chatbot learning |
US10679011B2 (en) | 2017-05-10 | 2020-06-09 | Oracle International Corporation | Enabling chatbots by detecting and supporting argumentation |
US10839154B2 (en) | 2017-05-10 | 2020-11-17 | Oracle International Corporation | Enabling chatbots by detecting and supporting affective argumentation |
US10839161B2 (en) | 2017-06-15 | 2020-11-17 | Oracle International Corporation | Tree kernel learning for text classification into classes of intent |
US11176325B2 (en) | 2017-06-26 | 2021-11-16 | International Business Machines Corporation | Adaptive evaluation of meta-relationships in semantic graphs |
EP3688626A1 (en) * | 2017-09-28 | 2020-08-05 | Oracle International Corporation | Enabling autonomous agents to discriminate between questions and requests |
US20190163756A1 (en) | 2017-11-29 | 2019-05-30 | International Business Machines Corporation | Hierarchical question answering system |
-
2018
- 2018-09-28 EP EP18786640.5A patent/EP3688626A1/en not_active Withdrawn
- 2018-09-28 US US16/145,702 patent/US10796099B2/en active Active
- 2018-09-28 CN CN202311014380.XA patent/CN116992859A/zh active Pending
- 2018-09-28 WO PCT/US2018/053392 patent/WO2019067878A1/en unknown
- 2018-09-28 JP JP2020517888A patent/JP7214719B2/ja active Active
- 2018-09-28 CN CN201880062963.0A patent/CN111149107B/zh active Active
-
2020
- 2020-08-13 US US16/992,794 patent/US11599724B2/en active Active
-
2023
- 2023-01-18 JP JP2023006146A patent/JP7519476B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07160717A (ja) * | 1993-12-13 | 1995-06-23 | Matsushita Electric Ind Co Ltd | 隣接発話間関係認識装置 |
JP2008165718A (ja) * | 2007-01-05 | 2008-07-17 | Toyota Central R&D Labs Inc | 意図判定装置、意図判定方法、及びプログラム |
JP2010020420A (ja) * | 2008-07-08 | 2010-01-28 | Omron Corp | 会話文解析方法、会話文解析装置、会話文解析プログラム、および、コンピュータ読取り可能記録媒体 |
JP2015045833A (ja) * | 2013-07-31 | 2015-03-12 | 日本電信電話株式会社 | 発話文生成装置とその方法とプログラム |
JP2015225415A (ja) * | 2014-05-26 | 2015-12-14 | 日本電信電話株式会社 | 結束性判定装置、モデル学習装置、方法、及びプログラム |
US20160055240A1 (en) * | 2014-08-22 | 2016-02-25 | Microsoft Corporation | Orphaned utterance detection system and method |
Also Published As
Publication number | Publication date |
---|---|
US11599724B2 (en) | 2023-03-07 |
CN116992859A (zh) | 2023-11-03 |
CN111149107B (zh) | 2023-08-22 |
EP3688626A1 (en) | 2020-08-05 |
US10796099B2 (en) | 2020-10-06 |
JP2023052487A (ja) | 2023-04-11 |
WO2019067878A1 (en) | 2019-04-04 |
US20200372223A1 (en) | 2020-11-26 |
JP7214719B2 (ja) | 2023-01-30 |
US20190095425A1 (en) | 2019-03-28 |
JP7519476B2 (ja) | 2024-07-19 |
CN111149107A (zh) | 2020-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7519476B2 (ja) | 質問と要求とを自律エージェントが区別できるようにすること | |
US11978452B2 (en) | Handling explicit invocation of chatbots | |
US11694032B2 (en) | Template-based intent classification for chatbots | |
US20220138432A1 (en) | Relying on discourse analysis to answer complex questions by neural machine reading comprehension | |
CN114424185A (zh) | 用于自然语言处理的停用词数据扩充 | |
US11556698B2 (en) | Augmenting textual explanations with complete discourse trees | |
JP2023520416A (ja) | ドメイン外(ood)検出のための改良された技術 | |
US11449682B2 (en) | Adjusting chatbot conversation to user personality and mood | |
JP2021523464A (ja) | 収束質問に対する回答を改善するための仮想談話ツリーの構築 | |
US11847420B2 (en) | Conversational explainability | |
US11538457B2 (en) | Noise data augmentation for natural language processing | |
US20210191938A1 (en) | Summarized logical forms based on abstract meaning representation and discourse trees | |
CN116547676A (zh) | 用于自然语言处理的增强型logit | |
JP2023551322A (ja) | 自然言語処理のためのキーワードデータ拡張ツール | |
JP2023551860A (ja) | 自然言語処理のためのドメイン外データ拡張 | |
CN117296058A (zh) | 作为简单有效的对抗攻击方法的变体不一致攻击(via) | |
US20220229991A1 (en) | Multi-feature balancing for natural language processors | |
US20240169161A1 (en) | Automating large-scale data collection | |
US20230141853A1 (en) | Wide and deep network for language detection using hash embeddings |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210524 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220719 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7214719 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |