JP2023520420A - チャットボットのために不均衡なトレーニングデータを取り扱うためのバッチング技術 - Google Patents
チャットボットのために不均衡なトレーニングデータを取り扱うためのバッチング技術 Download PDFInfo
- Publication number
- JP2023520420A JP2023520420A JP2022559638A JP2022559638A JP2023520420A JP 2023520420 A JP2023520420 A JP 2023520420A JP 2022559638 A JP2022559638 A JP 2022559638A JP 2022559638 A JP2022559638 A JP 2022559638A JP 2023520420 A JP2023520420 A JP 2023520420A
- Authority
- JP
- Japan
- Prior art keywords
- intent
- utterances
- batch
- proportions
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 252
- 238000000034 method Methods 0.000 title claims description 144
- 238000009826 distribution Methods 0.000 claims abstract description 75
- 230000004044 response Effects 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 23
- 238000009827 uniform distribution Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims 1
- 238000010801 machine learning Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000007717 exclusion Effects 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 69
- 238000004891 communication Methods 0.000 description 36
- 230000008569 process Effects 0.000 description 30
- 230000009471 action Effects 0.000 description 22
- 238000004458 analytical method Methods 0.000 description 16
- 230000003993 interaction Effects 0.000 description 14
- 238000007726 management method Methods 0.000 description 13
- 235000013550 pizza Nutrition 0.000 description 11
- 230000006399 behavior Effects 0.000 description 9
- 230000007704 transition Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000006855 networking Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000013439 planning Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000699670 Mus sp. Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010367 cloning Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013068 supply chain management Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 240000005020 Acaciella glauca Species 0.000 description 1
- 229930091051 Arenine Natural products 0.000 description 1
- 241000238558 Eucarida Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012517 data analytics Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000011067 equilibration Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 235000003499 redwood Nutrition 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
- G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
- G10L15/197—Probabilistic grammars, e.g. word n-grams
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本開示は、チャットボットシステムに関し、より詳細には、推論を実行するときに、トレーニングされた機械学習モデルから偏りが除去されるように、モデルをトレーニングするときに不均衡なトレーニングデータを扱うためのバッチング技術に関する。ある実施形態では、複数の生の発話が取得される。偏り排除分布が決定され、複数の生発話のサブセットが、偏り低減分布に従ってバッチングがなされる。結果として生じる偏りのないトレーニングデータは、予測モデルをトレーニングするために予測モデルに入力されてもよい。トレーニングされた予測モデルは、トレーニングされた予測モデルによって受信される新たな入力から偏りのない結果を予測するために取得および利用されてもよい。
Description
関連出願への相互参照
本出願は、「チャットボットのために不均衡なトレーニングデータを取り扱うためのバッチング技術(“BATCHING TECHNIQUES FOR HANDLING UNBALANCED TRAINING DATA FOR A CHATBOT”)」と題される2020年3月30日に出願された米国仮特許出願第62/002,151号の利益および優先権を主張する。上記出願の全内容は、あらゆる目的のためにその全体が参照によりここに組み込まれる。
本出願は、「チャットボットのために不均衡なトレーニングデータを取り扱うためのバッチング技術(“BATCHING TECHNIQUES FOR HANDLING UNBALANCED TRAINING DATA FOR A CHATBOT”)」と題される2020年3月30日に出願された米国仮特許出願第62/002,151号の利益および優先権を主張する。上記出願の全内容は、あらゆる目的のためにその全体が参照によりここに組み込まれる。
著作権
この特許出願の開示の一部は、著作権保護の対象となる資料を含む。著作権保有者は、この特許出願または特許開示の、それが特許商標庁の包袋または記録に現れているとおりの、何人による複写複製にも異議を唱えないが、それ以外の場合にはすべての著作権をどのようなものであろうと所有する。
この特許出願の開示の一部は、著作権保護の対象となる資料を含む。著作権保有者は、この特許出願または特許開示の、それが特許商標庁の包袋または記録に現れているとおりの、何人による複写複製にも異議を唱えないが、それ以外の場合にはすべての著作権をどのようなものであろうと所有する。
技術分野
本開示は、チャットボットシステムに関し、より詳細には、推論決定を実行するときに、トレーニングされた機械学習モデルから偏りが低減または除去されるように、モデルをトレーニングするときに不均衡なトレーニングデータを扱うためのバッチ化技術に関する。
本開示は、チャットボットシステムに関し、より詳細には、推論決定を実行するときに、トレーニングされた機械学習モデルから偏りが低減または除去されるように、モデルをトレーニングするときに不均衡なトレーニングデータを扱うためのバッチ化技術に関する。
背景
世界中のサービスプロバイダは、彼らのサービスの顧客と通信するためにインスタントメッセージングチャットプラットフォームを利用する。プロバイダはしばしば、これらのインスタントメッセージングチャットプラットフォームを使用して、顧客に関与し、問題を解決し、または要求を満たす。例えば、あるサービスのある顧客は、顧客が経験している問題を記述してもよく、そのサービスに対する応答者は、ライブ会話中に問題を改善するステップを記述してもよい。別の例では、ある顧客は、サービスの何らかの局面を利用するために、ライブ会話の一部として応答者に要求を出してもよい。顧客またはエンドユーザとのライブ通信を容易にするために人間の応答者を使用することは、プロバイダにとって非常に費用がかかり得る。プロバイダによって提供される様々な特徴を取り扱うように人間の従業員をトレーニングすることは、時間がかかり、顧客とライブで会話する能力は、特定の期間中、特にサービスが1日中実行される場合、制限され得る。
世界中のサービスプロバイダは、彼らのサービスの顧客と通信するためにインスタントメッセージングチャットプラットフォームを利用する。プロバイダはしばしば、これらのインスタントメッセージングチャットプラットフォームを使用して、顧客に関与し、問題を解決し、または要求を満たす。例えば、あるサービスのある顧客は、顧客が経験している問題を記述してもよく、そのサービスに対する応答者は、ライブ会話中に問題を改善するステップを記述してもよい。別の例では、ある顧客は、サービスの何らかの局面を利用するために、ライブ会話の一部として応答者に要求を出してもよい。顧客またはエンドユーザとのライブ通信を容易にするために人間の応答者を使用することは、プロバイダにとって非常に費用がかかり得る。プロバイダによって提供される様々な特徴を取り扱うように人間の従業員をトレーニングすることは、時間がかかり、顧客とライブで会話する能力は、特定の期間中、特にサービスが1日中実行される場合、制限され得る。
チャットボットシステムは、顧客などのエンティティとサービスとの間の対話を管理するための様々な技術を提供する。サービスプロバイダは、顧客エンティティと通信するためにチャットボットを利用して、2人の人の間で典型的に行われる、費用および時間のかかる手動対話を排除してもよい。チャットボットシステムは、テキスト認識技術を利用して、顧客エンティティとのライブ会話に固有の特定の手掛かりおよびコンテキストを識別し、それに応答してもよい。典型的にはトレーニングを通じて高度に洗練されたインテリジェントチャットボットは、ライブ会話中に顧客とより自然に通信することができる。これは、サービスのリソースを効率的に利用しながら、顧客に合理的で快適な会話体験を提供する。インテリジェントチャットボットシステムは、チャットボットを包括的なトレーニング入力で定期的にトレーニングすることによって、継続的に改善されてもよい。チャットボットの連続トレーニングは、ボットに顧客エンティティと対話する能力を絶えず改善させ、また、新鮮かつ関連するユースケースでのトレーニングを通してボットが柔軟なままであることを可能にする。
チャットボットシステムは、それがトレーニングされるデータの質によって大きく影響される。例えば、より大量のトレーニングデータでチャットボットシステムをトレーニングすることは、典型的には、チャットボットが、より文脈的に複雑な挙動を学習し、より広い範囲の対話型状況に応答することを可能にする。高品質トレーニングデータのグループ化または「バッチ」は、チャットボットが機能を効率的に学習し、顧客エンティティとのより高品質の対話を提供することを可能にする。しかしながら、チャットボットは、より最適でないトレーニングデータが提供される場合、不良な挙動を学習することもあり得る。例えば、ある対話型コンテキストに向かって有意に偏った多数のトレーニング例を有するトレーニングデータ等の不均衡なフィードバックのバッチをチャットボットシステムに提供することは、チャットボットシステムに、偏った挙動を経時的に学習させることになる。偏った挙動は、チャットボットシステムを、エンティティとの非効率的または不正確な対話に関与させ得る。これらのアクションは、エンティティと間違ったコンテキストで対話すること、顧客エンティティに役立たない解決策を推奨すること、および/またはサービスの無関係な要素と間違って関与することによって重要なリソースを浪費することを含む。これらおよび他の偏ったチャットボット対話は、サービスプロバイダおよび対話するエンティティの両方にとって有害である。したがって、チャットボットシステムの対話モデルをトレーニングするときに、チャットボットシステムに偏りのない効率的なトレーニングデータバッチを提供することが重要である。
概要
ここに開示される技術は、概して、チャットボットに関する。より具体的には、限定されないが、ここに開示される技術は、チャットボットシステムをトレーニングするためにトレーニングデータをバッチング(batching)するための技術に関する。チャットボットは、ユーザ発話を、対話するユーザ/顧客の事前定義されたインテントなどの、異なるクラスに分類することができる。チャットボットの分類部は、入力(たとえば、ユーザ発話)に基づいて出力(たとえば、インテント)を生成するトレーニングされた機械学習(ML)モデルを含んでもよい。MLモデルをトレーニングするために使用されるトレーニングデータが適切でない場合、チャットボットは、誤ったインテントをより頻繁に判定し得る。具体的には、偏ったトレーニングデータは、チャットボットシステムをトレーニングするために使用されると、チャットボットに、偏った無効な挙動を引き起こさせる。ここに開示される技術は、バッチを用いてチャットボットをトレーニングしてもよいように、効果的かつ偏りのないトレーニングデータをともにバッチングすることを可能する。偏りのないトレーニングバッチの生成は、さもなければチャットボットの学習された挙動に深く染みこむであろう偏りを大幅に低減または排除する。チャットボットモデルにおける偏りの排除は、チャットボットシステムが最も効果的でリソース効率の良い態様でトレーニングされることを可能にする。例えば、トレーニングレベルにおいて偏りを排除することによって、チャットボットを利用するサービスは、貧弱な対話挙動を、当該挙動が学習される前に防止し、そうでなければチャットボットを再トレーニングするのに費やされる貴重な時間およびリソースを節約し得る。トレーニングレベルにおける偏った挙動の排除はまた、そうでなければ、あまりトレーニングされていないチャットボットが動作しているときに結果として生じるであろう、顧客紛糾も防止するであろう。
ここに開示される技術は、概して、チャットボットに関する。より具体的には、限定されないが、ここに開示される技術は、チャットボットシステムをトレーニングするためにトレーニングデータをバッチング(batching)するための技術に関する。チャットボットは、ユーザ発話を、対話するユーザ/顧客の事前定義されたインテントなどの、異なるクラスに分類することができる。チャットボットの分類部は、入力(たとえば、ユーザ発話)に基づいて出力(たとえば、インテント)を生成するトレーニングされた機械学習(ML)モデルを含んでもよい。MLモデルをトレーニングするために使用されるトレーニングデータが適切でない場合、チャットボットは、誤ったインテントをより頻繁に判定し得る。具体的には、偏ったトレーニングデータは、チャットボットシステムをトレーニングするために使用されると、チャットボットに、偏った無効な挙動を引き起こさせる。ここに開示される技術は、バッチを用いてチャットボットをトレーニングしてもよいように、効果的かつ偏りのないトレーニングデータをともにバッチングすることを可能する。偏りのないトレーニングバッチの生成は、さもなければチャットボットの学習された挙動に深く染みこむであろう偏りを大幅に低減または排除する。チャットボットモデルにおける偏りの排除は、チャットボットシステムが最も効果的でリソース効率の良い態様でトレーニングされることを可能にする。例えば、トレーニングレベルにおいて偏りを排除することによって、チャットボットを利用するサービスは、貧弱な対話挙動を、当該挙動が学習される前に防止し、そうでなければチャットボットを再トレーニングするのに費やされる貴重な時間およびリソースを節約し得る。トレーニングレベルにおける偏った挙動の排除はまた、そうでなければ、あまりトレーニングされていないチャットボットが動作しているときに結果として生じるであろう、顧客紛糾も防止するであろう。
ここでは、方法、システム、1つ以上のプロセッサによって実行可能なプログラム、コード、または命令を記憶する非一時的なコンピュータ可読記憶媒体などを含む様々な実施形態について説明する。チャットボットシステムでは、1つ以上の発話について1つ以上のインテントを識別するためにインテント分類部をトレーニングするために、発話のトレーニングセットを用いる。発話は、会話の単語のストリングなどの、エンティティとの予想される対話であってもよい。インテントは、発話に固有である対話のコンテキスト的カテゴリであってもよい。インテント分類部は、発話とカテゴリ的インテントとの間の対応を識別するためのツールであってもよい。インテント分類部は、特定の発話の対応するインテントをより効率的に識別するために反復的にトレーニングされるように設計されたモデルであってもよい。発話のトレーニングセットは、典型的には特定のサイズの、生発話データのセットから選択される発話のバッチとして提供される。そのようなトレーニングバッチを生成するためにランダムサンプリングを使用するシステムでは、より多くのトレーニング発話でトレーニングされたインテント分類部の出力カテゴリ(たとえば、特定のインテント)は、より少ないトレーニング発話での出力カテゴリと比較して、たとえ両方のカテゴリが入力発話に等しくよくマッチするとしても、より頻繁にインテント分類部によって選択される。
したがって、そのようなシステムは、将来のトレーニング中にインテント分類部をトレーニングするとき、およびエンティティと対話するときにも、偏りを被り得る。これらの偏りは、トレーニングデータが、他の出力カテゴリと比較して、特定の出力カテゴリに対して、均衡を失した量のトレーニング発話を含む場合に生じることが多い。本開示は、インテント分類部をトレーニングするために使用されるトレーニングバッチを均衡させるための技術を使用して、この偏りを解決する。より具体的には、本システムは、インテント分布を利用して、分散された偏りのないトレーニングバッチを生成する。これは、分散された偏りのないトレーニングバッチ上でトレーニングされたインテント分類部が、各出力カテゴリをより等しく利用し、以前のランダムサンプリング法に固有の非効率的な偏りを低減することを保証する。
一実施形態は、方法に向けられ、本方法は、複数の発話を含むトレーニングデータを取得することを含み、各発話は、複数のインテントのうちのあるインテントに対応し、複数のインテントの各インテントは、1つ以上のスキルのうちのあるスキルに対応し、本方法はさらに、複数の発話にわたってインテント分布を判断することを含み、インテント分布は複数のインテント割合を含み、インテント割合の各々は複数のインテントのうちのあるインテントに対応し、本方法はさらに、複数のインテント割合に基づいて複数の発話から選択されるバッチ数の発話を含むバッチを生成することと、バッチからトレーニングデータのセットを1つ以上のスキルのための予測モデルに反復的に入力することとを含み、予測モデルは、目的関数の使用によって学習される複数のモデルパラメータを含むインテント分類部として構築され、本方法はさらに、目的関数を最小化または最大化することによって、トレーニングデータのセットで予測モデルをトレーニングすることを含み、それは、予測されるインテントとグラウンドトゥルースインテントとの間の差を測定し、本方法はさらに、トレーニングに応答して、予測されるインテントを生成するために予測モデルによって使用されるトレーニングデータのセット内の関係を学習することと、学習された関係に関連付けられる複数のモデルパラメータを含むトレーニングされた予測モデルを取得することとを含む。別の実施形態は、上記で説明した方法を含む動作を実行するよう、1つ以上のデータプロセッサと、非一時的なコンピュータ可読記憶媒体とを備えるシステムを対象とする。さらに別の実施形態は、1つ以上のプロセッサによって実行可能な複数の命令を記憶する非一時的なコンピュータ可読記憶媒体を対象とし、命令は、1つ以上のプロセッサによって実行されると、上述の方法のステップの実施を引き起こす。
これらの例示的な実施形態は、本開示を限定または定義するためではなく、その理解を助けるための例を提供するために言及される。前述は、他の特徴および実施形態とともに、以下の明細書、請求項、および添付の図面を参照すると、より明白となるであろう。
詳細な説明
以下の説明では、説明の目的のために、特定の詳細が、特定の実施形態の完全な理解を促すために記載される。しかしながら、様々な実施形態がこれらの具体的な詳細なしに実施されてもよいことは明らかであろう。図および記載は、限定することを意図したものではない。「例示的」という文言は、ここでは、「例、事例、または例示として供される」ことを意味するために用いられる。「例示的」としてここに記載される任意の実施形態または設計は、必ずしも、他の実施形態または設計よりも好ましいまたは有利であると解釈されるべきではない。ここで使用される「~に基づく」という文言は、必ずしもアクションについての排他的要件を意味すると解釈されるべきではなく、任意のそのようなアクションは、排他的ではなく、この文言に続く要件に少なくとも部分的に基づく、と解釈され得る。
以下の説明では、説明の目的のために、特定の詳細が、特定の実施形態の完全な理解を促すために記載される。しかしながら、様々な実施形態がこれらの具体的な詳細なしに実施されてもよいことは明らかであろう。図および記載は、限定することを意図したものではない。「例示的」という文言は、ここでは、「例、事例、または例示として供される」ことを意味するために用いられる。「例示的」としてここに記載される任意の実施形態または設計は、必ずしも、他の実施形態または設計よりも好ましいまたは有利であると解釈されるべきではない。ここで使用される「~に基づく」という文言は、必ずしもアクションについての排他的要件を意味すると解釈されるべきではなく、任意のそのようなアクションは、排他的ではなく、この文言に続く要件に少なくとも部分的に基づく、と解釈され得る。
1.0 例示的なチャットボットシステム概要
図1は、特定の実施形態によるチャットボットシステムを組み込んだ環境100の簡略ブロック図である。環境100は、デジタルアシスタントビルダプラットフォーム(DABP)102を含み、DABP102のユーザがデジタルアシスタントまたはチャットボットシステムを作成および展開することを可能にする。DABP102は、1つ以上のデジタルアシスタント(またはDA)またはチャットボットシステムを作成するために使用することができる。例えば、図1に示すように、特定の企業を表すユーザ104は、DABP102を使用して、特定の企業のユーザ用のデジタルアシスタント106を作成および展開することができる。例えば、銀行が、DABP102を使用して、銀行の顧客による使用のために1つ以上のデジタルアシスタントを作成することができる。複数の企業が、同じDABP102プラットフォームを使用して、デジタルアシスタントを作成することができる。別の例として、レストラン(例えば、ピザショップ)の所有者は、DABP102を用いて、レストランの顧客が食べ物を注文すること(例えば、ピザを注文すること)を可能にするデジタルアシスタントを作成および展開することができる。
図1は、特定の実施形態によるチャットボットシステムを組み込んだ環境100の簡略ブロック図である。環境100は、デジタルアシスタントビルダプラットフォーム(DABP)102を含み、DABP102のユーザがデジタルアシスタントまたはチャットボットシステムを作成および展開することを可能にする。DABP102は、1つ以上のデジタルアシスタント(またはDA)またはチャットボットシステムを作成するために使用することができる。例えば、図1に示すように、特定の企業を表すユーザ104は、DABP102を使用して、特定の企業のユーザ用のデジタルアシスタント106を作成および展開することができる。例えば、銀行が、DABP102を使用して、銀行の顧客による使用のために1つ以上のデジタルアシスタントを作成することができる。複数の企業が、同じDABP102プラットフォームを使用して、デジタルアシスタントを作成することができる。別の例として、レストラン(例えば、ピザショップ)の所有者は、DABP102を用いて、レストランの顧客が食べ物を注文すること(例えば、ピザを注文すること)を可能にするデジタルアシスタントを作成および展開することができる。
本開示の目的のために、「デジタルアシスタント」は、デジタルアシスタントのユーザが自然言語会話を通じて様々なタスクを達成するのに役立つエンティティである。デジタルアシスタントは、ソフトウェア(たとえば、デジタルアシスタントは、1つ以上のプロセッサによって実行可能なプログラム、コード、または命令を用いて実現されるデジタルエンティティである)のみを用いて、ハードウェアを用いて、またはハードウェアとソフトウェアとの組み合わせを用いて、実現されてもよい。デジタルアシスタントは、コンピュータ、携帯電話、腕時計、器具、車両など、様々な物理的システムもしくはデバイスにおいて具現化または実現されてもよい。デジタルアシスタントは、チャットボットシステムとも称されることもある。したがって、本開示の目的のために、デジタルアシスタントおよびチャットボットシステムという文言は交換可能である。
DABP102を使用して構築されるデジタルアシスタント106等のデジタルアシスタントは、デジタルアシスタントとそのユーザ108との間の自然言語ベースの会話を介して、種々のタスクを行うために使用されることができる。会話の一部として、ユーザは、1つ以上のユーザ入力110をデジタルアシスタント106に提供し、デジタルアシスタント106から応答112を得てもよい。会話は、入力110および応答112のうちの1つ以上を含むことができる。これらの会話を介して、ユーザは、1つ以上のタスクがデジタルアシスタント106によって実行されるよう要求することができ、それに応答して、デジタルアシスタント106は、ユーザ要求タスクを実行し、ユーザに適切な応答で応答するよう構成される。
ユーザ入力110は、概して自然言語形式であり、発話と呼ばれる。ユーザ発話110は、ユーザが文、質問、テキスト片、または単一の単語でさえタイプし、それを入力としてデジタルアシスタント106に提供するときなどの、テキスト形式であり得る。いくつかの実施形態では、ユーザ発話110は、ユーザがデジタルアシスタント106に入力として提供される何かを言うかまたは話すときなどの、音声入力または発話形式であり得る。発話は、典型的には、ユーザ108によって話される言語である。たとえば、発話は、英語または何らかの他の言語であってもよい。発話が音声形式である場合、音声入力はその特定の言語のテキスト形式の発話に変換され、次いで、テキスト発話はデジタルアシスタント106によって処理される。様々な音声-テキスト処理技術を用いて、音声または聴覚的入力をテキスト発話に変換してもよく、テキスト発話は、その後、デジタルアシスタント106によって処理される。いくつかの実施形態では、音声からテキストへの変換は、デジタルアシスタント106自体によって行われてもよい。
テキスト発話または音声発話であってもよい発話は、断章、文、複数の文、1つ以上の単語、1つ以上の質問、前述のタイプの組合せなどであってもよい。デジタルアシスタント106は、ユーザ入力の意味を理解するために発話に自然言語理解(NLU)技術を適用するよう構成される。発話に対するNLU処理の一部として、デジタルアシスタント106は、発話の意味を理解するための処理を実行するように構成され、これは、発話に対応する1つ以上のインテントおよび1つ以上のエンティティを識別することを伴う。発話の意味を理解すると、デジタルアシスタント106は、理解された意味またはインテントに応答して1つ以上のアクションまたは動作を実行することができる。本開示の目的のために、発話は、デジタルアシスタント106のユーザ108によって直接提供されるテキスト発話であるか、または入力音声発話のテキスト形式への変換の結果であると仮定する。しかしながら、これは、いかなる態様においても限定的または制限的であることを意図するものではない。
例えば、ユーザ108の入力は、「私はピザを注文したい」等の発話を提供することによって、ピザが注文されることを要求してもよい。そのような発話を受信すると、デジタルアシスタント106は、発話の意味を理解し、適切なアクションを取るよう構成される。適切なアクションは、例えば、ユーザが注文したいピザのタイプ、ピザのサイズ、ピザの任意のトッピングなどに関する、ユーザ入力を要求する質問で、ユーザに応答することを含んでもよい。デジタルアシスタント106によって提供される応答はまた、自然言語形式であってもよく、典型的には入力発話と同じ言語であってもよい。これらの応答を生成することの一部として、デジタルアシスタント106は、自然言語生成(NLG)を実行してもよい。ユーザがピザを注文するために、ユーザとデジタルアシスタント106との間の会話を介して、デジタルアシスタントは、ピザを注文するためのすべての必要な情報を提供するようにユーザを誘導してもよく、次いで、会話の終わりに、ピザを注文させてもよい。デジタルアシスタント106は、ピザが注文されたことを示す情報をユーザに出力することによって、会話を終了してもよい。
概念レベルでは、デジタルアシスタント106は、ユーザから受信された発話に応答して、種々の処理を実行する。いくつかの実施形態では、この処理は、例えば、入力発話の意味を理解すること(自然言語理解(NLU)と呼ばれることもある)、発話に応答して実行されるべきアクションを決定すること、適切な場合にはアクションが実行されることを引き起こすこと、ユーザ発話に応答してユーザに出力されるべき応答を生成すること、応答をユーザに出力することなどを含む、一連の処理ステップまたは処理ステップのパイプラインを伴う。NLU処理は、受信した入力発話を構文解析して発話の構造および意味を理解することと、発話を精緻化および再構成して、発話について、よりよく理解可能な形式(例えば、論理形式)または構造を展開することとを含むことができる。応答を生成することは、NLG技術を使用することを含んでもよい。
デジタルアシスタント106などのデジタルアシスタントによって実行されるNLU処理は、文解析(例えば、トークン化、並べ換え、文に対する品詞タグの識別、文における固有表現の識別、文構造を表すための依存関係ツリーの生成、文の節への分割、個々の節の分析、照応形の解決、チャンク化の実行など)などの様々なNLP関連処理を含み得る。ある実施形態では、NLU処理またはその一部は、デジタルアシスタント106自体によって実行される。いくつかの他の実施形態では、デジタルアシスタント106は、他のリソースを用いて、NLU処理の一部を実行することができる。例えば、入力発話文の構文および構造は、構文解析、品詞タグ付け、および/または固有表現認識を用いて文を処理することによって識別されてもよい。一実現例では、英語の場合、文構造および構文を解析するために、Stanford Natural Language Processing (NLP) Groupによって提供されるもののような、構文解析、品詞タグ付け、および固有表現認識が用いられる。これらは、Stanford CoreNLPツールキットの一部として提供される。
本開示で提供される様々な例は英語の発話を示すが、これは単なる例として意味される。特定の実施形態では、デジタルアシスタント106は、英語以外の言語で発話を処理することもできる。デジタルアシスタント106は、異なる言語に対する処理を実行するよう構成されるサブシステム(例えば、NLU機能を実現するコンポーネント)を提供してもよい。これらのサブシステムは、NLUコアサーバからのサービスコールを用いて呼び出され得るプラグ可能ユニットとして実現されてもよい。これは、NLU処理を、異なる順序の処理を可能にすることを含めて、各言語に対して柔軟かつ拡張可能にする。言語パックは、個々の言語に対して提供されてもよく、言語パックは、NLUコアサーバからサービス提供され得るサブシステムのリストを登録することができる。
図1に示されるデジタルアシスタント106等のデジタルアシスタントは、限定ではないが、あるアプリケーションを介して、ソーシャルメディアプラットフォームを介して、種々のメッセージングサービスおよびアプリケーションを介して、ならびに他のアプリケーションまたはチャネル等の種々の異なるチャネルを介して、そのユーザ108に利用可能またはアクセス可能にされることができる。単一のデジタルアシスタントは、それのためにいくつかのチャネルを構成することができるので、異なるサービス上で同時に実行され、異なるサービスによって同時にアクセスされることができる。
デジタルアシスタントまたはチャットボットシステムは、一般に、1つ以上のスキルを含むか、または1つ以上のスキルに関連付けられる。ある実施形態では、これらのスキルは、ユーザと対話し、在庫の追跡、タイムカードの提出、経費報告の作成、食品の注文、銀行口座の確認、予約の作成、ウィジェットの購入などの特定の種類のタスクを満たすように構成された個々のチャットボット(スキルボットと呼ばれる)である。例えば、図1に示される実施形態では、デジタルアシスタントまたはチャットボットシステム106は、スキル116-1、116-2等を含む。本開示の目的のために、「スキル」という語は、「スキルボット」という語と同義的に用いられる。
デジタルアシスタントに関連付けられる各スキルは、ユーザとの会話を通じて、デジタルアシスタントのユーザがタスクを完了するのを助け、会話は、ユーザによって提供されるテキストまたは聴覚的入力と、スキルボットによって提供される応答との組み合わせを含むことができる。これらの応答は、ユーザへのテキストメッセージもしくは聴覚メッセージの形態、および/またはユーザが選択を行うようユーザに提示される単純なユーザインターフェイス要素(たとえば、選択リスト)を用いる形態であってもよい。
スキルまたはスキルボットをデジタルアシスタントに関連付けるかまたは追加することができる様々な方法がある。ある例では、スキルボットは企業によって開発され、次いでDABP102を用いてデジタルアシスタントに追加され得る。他の例では、スキルボットは、DABP102を用いて開発および作成され、次いで、DABP102を用いて作成されたデジタルアシスタントに追加され得る。さらに他の例では、DABP102は、広範囲のタスクに向けられた複数のスキルを提供するオンラインデジタルストア(「スキルストア」と呼ばれる)を提供する。スキルストアを通じて提供されるスキルも、様々なクラウドサービスを公開してもよい。DABP102を使用して生成されるデジタルアシスタントにスキルを追加するために、DABP102のユーザは、DABP102を介してスキルストアにアクセスし、所望のスキルを選択し、選択されたスキルがDABP102を使用して作成されるデジタルアシスタントに追加されることを示すことができる。スキルストアからのスキルは、そのまま、または修正された形態で、デジタルアシスタントに追加することができる(例えば、DABP102のユーザは、スキルストアによって提供される特定のスキルボットを選択してクローニングし、選択されたスキルボットをカスタマイズまたは修正し、次いで、修正されたスキルボットを、DABP102を用いて作成されたデジタルアシスタントに追加してもよい)。
デジタルアシスタントまたはチャットボットシステムを実現するために、様々な異なるアーキテクチャが使用されてもよい。例えば、ある実施形態では、DABP102を用いて作成および展開されるデジタルアシスタントは、マスタボット/子(もしくはサブ)ボットパラダイムまたはアーキテクチャを用いて実現されてもよい。このパラダイムによれば、デジタルアシスタントは、スキルボットである1つ以上の子ボットと対話するマスタボットとして実現される。例えば、図1に示す実施形態では、デジタルアシスタント106は、マスタボット114と、マスタボット114の子ボットであるスキルボット116-1、116-2などとを含む。特定の実施形態では、デジタルアシスタント106自体がマスタボットとして動作すると考えられる。
マスタ・子ボットアーキテクチャに従って実現されるデジタルアシスタントは、デジタルアシスタントのユーザが、統合されたユーザインターフェイスを介して、すなわちマスタボットを介して、複数のスキルと対話することを可能にする。ユーザがデジタルアシスタントに関与すると、ユーザ入力はマスタボットによって受信される。次いで、マスタボットは、ユーザ入力発話の意味を判定するための処理を実行する。次いで、マスタボットは、発話においてユーザによって要求されたタスクがマスタボット自体によって処理され得るかどうかを判定し、そうでなければ、マスタボットは、ユーザ要求を処理するために適切なスキルボットを選択し、会話を選択されたスキルボットにルーティングする。これにより、ユーザは共通の単一のインターフェイスを介してデジタルアシスタントと会話することができ、特定のタスクを実行するよう構成されるいくつかのスキルボットを使用する能力を依然として提供することができる。例えば、企業用に開発されたデジタルアシスタントの場合、デジタルアシスタントのマスタボットは、顧客関係管理(CRM)に関連する機能を実行するためのCRMボット、企業資源計画(ERP)に関連する機能を実行するためのERPボット、人的資本管理(HCM)に関連する機能を実行するためのHCMボットなどの特定の機能を有するスキルボットとインターフェイスすることができる。このように、デジタルアシスタントのエンドユーザまたは消費者は、共通のマスタボットインターフェイスを介してデジタルアシスタントにアクセスする方法を知るだけでよく、背後には、複数のスキルボットがユーザ要求を処理するために提供される。
ある実施形態では、マスタボット/子ボットインフラストラクチャにおいて、マスタボットは、スキルボットの利用可能なリストを認識するよう構成される。マスタボットは、様々な利用可能なスキルボット、および各スキルボットについて、各スキルボットによって実行され得るタスクを含む各スキルボットの能力を識別するメタデータへのアクセスを有してもよい。ユーザ要求を発話の形態で受信すると、マスタボットは、複数の利用可能なスキルボットから、ユーザ要求に最も良く対応できるかもしくはユーザ要求をもっとも良く処理することができる特定のスキルボットを識別または予測するよう構成される。次いで、マスタボットは、その発話(またはその発話の一部分)を、さらなる処理のために、その特定のスキルボットにルーティングする。従って、制御はマスタボットからスキルボットに流れる。マスタボットは、複数の入力および出力チャネルをサポートすることができる。
図1の実施形態は、マスタボット114ならびにスキルボット116-1、116-2、および116-3を備えるデジタルアシスタント106を示すが、これは限定を意図するものではない。デジタルアシスタントは、デジタルアシスタントの機能を提供する様々な他のコンポーネント(例えば、他のシステムおよびサブシステム)を含むことができる。これらのシステムおよびサブシステムは、ソフトウェア(例えば、コンピュータ可読媒体上に記憶され、1つ以上のプロセッサによって実行可能なコード、命令)のみ、ハードウェアのみ、またはソフトウェアとハードウェアとの組み合わせを用いる実現例において実現されてもよい。
DABP102は、DABP102のユーザが、デジタルアシスタントに関連付けられる1つ以上のスキルボットを含むデジタルアシスタントを作成することを可能にする、インフラストラクチャならびに種々のサービスおよび特徴を提供する。場合によっては、スキルボットは、既存のスキルボットをクローニングすることによって、例えば、スキルストアによって提供されるスキルボットをクローニングすることによって、作成することができる。前述のように、DABP102は、様々なタスクを実行するための複数のスキルボットを提供するスキルストアまたはスキルカタログを提供する。DABP102のユーザは、スキルストアからスキルボットをクローニングすることができる。必要に応じて、クローニングされたスキルボットに修正またはカスタマイズを行ってもよい。いくつかの他の事例では、DABP102のユーザは、DABP102によって提供されるツールおよびサービスを使用して、スキルボットをゼロから作成した。前述のように、DABP102によって提供されるスキルストアまたはスキルカタログは、様々なタスクを実行するための複数のスキルボットを提供してもよい。
特定の実施形態では、ある高次レベルにおいて、スキルボットを作成またはカスタマイズすることは、以下のステップを含む:
(1)新たなスキルボットに対する設定を設定する
(2)スキルボットに対して1つ以上のインテントを設定する
(3)1つ以上のインテントに対して1つ以上のエンティティを設定する
(4)スキルボットをトレーニングする
(5)スキルボットのためのダイアログフローを作成する
(6)必要に応じてカスタムコンポーネントをスキルボットに追加する
(7)スキルボットをテストおよび展開する。
以下、各工程について簡単に説明する。
(1)新たなスキルボットに対する設定を設定する
(2)スキルボットに対して1つ以上のインテントを設定する
(3)1つ以上のインテントに対して1つ以上のエンティティを設定する
(4)スキルボットをトレーニングする
(5)スキルボットのためのダイアログフローを作成する
(6)必要に応じてカスタムコンポーネントをスキルボットに追加する
(7)スキルボットをテストおよび展開する。
以下、各工程について簡単に説明する。
(1)新たなスキルボットに対する設定を設定する-様々な設定がスキルボットのために設定されてもよい。例えば、スキルボット設計者は、作成されているスキルボットの1つ以上の呼出し名を指定することができる。これらの呼出し名は、次いで、スキルボットを明示的に呼び出すためにデジタルアシスタントのユーザによって使用されることができる。例えば、ユーザは、ユーザの発話に呼出し名を入力して、対応するスキルボットを明示的に呼び出すことができる。
(2)スキルボットに対して1つ以上のインテントおよび関連付けられる例示的な発話を設定する-スキルボット設計者は、作成されているスキルボットに対して1つ以上のインテント(ボットインテントとも呼ばれる)を指定する。次いで、スキルボットは、これらの指定されたインテントに基づいてトレーニングされる。これらのインテントは、スキルボットが入力発話について推論するようにトレーニングされるカテゴリまたはクラスを表す。発話を受信すると、トレーニングされたスキルボットは、発話のインテントを推論し、推論されるインテントは、スキルボットをトレーニングするために使用されたインテントの事前定義されたセットから選択される。次いで、スキルボットは、発話に対して推論されたインテントに基づいて、その発話に応答する適切なアクションを取る。場合によっては、スキルボットのためのインテントは、スキルボットがデジタルアシスタントのユーザに対して実行することができるタスクを表す。各インテントには、インテント識別子またはインテント名が与えられる。例えば、銀行に対してトレーニングされたスキルボットの場合、そのスキルボットに対して指定されたインテントは、「CheckBalance(残高照会)」、「TransferMoney(送金)」、「DepositCheck(小切手を預け入れる)」などを含んでもよい。
スキルボットに対して定義される各インテントについて、スキルボット設計者はまた、そのインテントを代表し示す1つ以上の例示的な発話も提供してもよい。これらの例示的な発話は、ユーザがそのインテントのためにスキルボットに入力してもよい発話を表すよう意味される。例えば、残高照会のインテントについては、例示的な発話は、「What's my savings account balance?(私の普通預金口座の残高は?)」、「How much is in my checking account?(私の当座預金口座にはいくらありますか?)」、「How much money do I have in my account(私の口座にはいくらのお金がありますか?)」などを含んでもよい。したがって、典型的なユーザ発話の様々な順列が、インテントのための発話例として指定されてもよい。
インテントおよびそれらの関連付けられる例示的発話は、スキルボットをトレーニングするためのトレーニングデータとして使用される。様々な異なるトレーニング技術が使用されてもよい。このトレーニングの結果として、予測モデルが生成され、それは、発話を入力として取り込み、予測モデルによって発話について推論されたインテントを出力するよう構成される。いくつかの事例では、入力発話は、トレーニングされたモデルを使用して入力発話に対するインテントを予測または推測するよう構成される、インテント分析エンジンに提供される。次いで、スキルボットは、推論されたインテントに基づいて1つ以上のアクションを取ってもよい。
(3)1つ以上のインテントに対して1つ以上のエンティティを設定する-いくつかの例では、スキルボットがユーザ発話に適切に応答することを可能にするために追加のコンテキストが必要とされてもよい。例えば、ユーザ入力発話が、スキルボットにおいて同じインテントに解決する状況があり得る。例えば、上記の例では、発話「What's my savings account balance?(私の普通預金口座の残高は?)」および「How much is in my checking account?(私の当座預金口座にはいくらありますか?)」は両方とも、同じ残高照会のインテントに解決しているが、これらの発話は、異なることを望む異なる要求である。そのような要求を明確にするために、1つ以上のエンティティがインテントに追加される。銀行業務スキルボットの例を用いると、「checking(当座)」および「saving(普通)」と呼ばれる値を定義するAccountType(口座種類)と呼ばれるエンティティは、スキルボットがユーザ要求を解析し、適切に応答することを可能にしてもよい。上記の例では、発話は同じインテントに解決するが、AccountTypeエンティティに関連付けられる値は、2つの発話について異なる。これにより、スキルボットは、2つの発話が同じインテントに解決するにもかかわらず、2つの発話に対して場合によっては異なるアクションを実行することができる。1つ以上のエンティティは、スキルボットに対して設定された特定のインテントのために指定され得る。したがって、エンティティは、コンテキストをインテント自体に追加するために用いられる。エンティティは、インテントをより充分に記述するのに役立ち、スキルボットがユーザ要求を完了できるようにする。
ある実施形態では、2つのタイプのエンティティ、すなわち、(a)DABP102によって提供される組込みエンティティ、および(2)スキルボット設計者によって指定され得るカスタムエンティティがある。組込みエンティティは、多種多様なボットとともに用いることができる汎用エンティティである。組込みエンティティの例は、限定はしないが、時間、日付、アドレス、番号、電子メールアドレス、持続時間、循環期間、通貨、電話番号、URLなどに関連するエンティティを含む。カスタムエンティティは、よりカスタマイズされた用途に用いられる。例えば、銀行業務スキルについては、AccountTypeエンティティは、スキルボット設計者によって、当座、普通およびクレジットカードなどのようなキーワードについてユーザ入力をチェックすることによって様々な銀行取引を可能にするよう定義されてもよい。
(4)スキルボットをトレーニングする-スキルボットは、ユーザ入力を発話の形態で受信し、受信した入力を解析またはその他の方法で処理し、受信したユーザ入力に関連するインテントを識別または選択するように構成される。上述のように、スキルボットは、このためにトレーニングされなければならない。ある実施形態では、スキルボットは、そのスキルボットに対して設定されたインテント、およびそのインテントに関連付けられる例示的な発話(集合的にトレーニングデータ)に基づいてトレーニングされ、それにより、スキルボットは、ユーザ入力発話を、スキルボットの設定されたインテントの1つに解決することができる。特定の実施形態では、スキルボットは、トレーニングデータを用いてトレーニングされ、ユーザが何を言っているか(または場合によっては、何を言おうとしているか)をスキルボットが識別することを可能にする予測モデルを使用する。DABP102は、様々な機械学習ベースのトレーニング技術、ルールベースのトレーニング技術、および/またはそれらの組み合わせを含む、スキルボットをトレーニングするためにスキルボット設計者によって用いられ得る様々な異なるトレーニング技術を提供する。ある実施形態では、トレーニングデータの一部分(例えば80%)は、スキルボットモデルをトレーニングするために用いられ、別の部分(例えば残りの20%)は、モデルをテストまたは検証するために用いられる。トレーニングされると、トレーニングされたモデル(トレーニングされたスキルボットと呼ばれることもある)は、次いで、ユーザ発話を処理し、それに応答するよう使用されることができる。ある場合には、ユーザの発話は、単一の回答だけを必要とし、さらなる会話を必要としない質問であり得る。このような状況に対処するために、スキルボットに対してQ&A(質疑応答)インテントを定義してもよい。これは、スキルボットがダイアログ定義を更新する必要なしにユーザ要求に対する返答を出力することを可能にする。Q&Aインテントは、通常のインテントと同様に生成される。Q&Aインテントについてのダイアログフローは、通常のインテントについてのダイアログフローとは異なり得る。
(5)スキルボットのためにダイアログフローを作成する-スキルボットに対して指定されるダイアログフローは、受信されたユーザ入力に応答してスキルボットに対する異なるインテントが解決される際にスキルボットがどのように反応するかを記述する。ダイアログフローは、例えば、スキルボットがどのようにユーザ発話に応答するか、スキルボットがどのようにユーザに入力を促すか、スキルボットがどのようにデータを返すかといった、スキルボットがとる動作またはアクションを定義する。ダイアログフローは、スキルボットが辿るフローチャートのようなものである。スキルボット設計者は、マークダウン言語などの言語を用いてダイアログフローを指定する。ある実施形態では、OBotMLと呼ばれるYAMLのバージョンを用いて、スキルボットのためのダイアログフローを指定することができる。スキルボットのためのダイアログフロー定義は、スキルボット設計者に、スキルボットとスキルボットが対応するユーザとの間の対話のコレオグラフィを行わせる、会話自体のモデルとして働く。
ある実施形態では、スキルボットのダイアログフロー定義は、3つのセクションを含む:
(a)コンテキストセクション
(b)デフォルト遷移セクション
(c)状態セクション。
(a)コンテキストセクション
(b)デフォルト遷移セクション
(c)状態セクション。
コンテキストセクション-スキルボット設計者は、コンテキストセクションにおいて、会話フローで用いられる変数を定義することができる。コンテキストセクションで指名され得る他の変数は、限定されないが、エラー処理のための変数、組込みエンティティまたはカスタムエンティティのための変数、スキルボットがユーザ選好を認識および持続することを可能にするユーザ変数などを含む。
デフォルト遷移セクション-スキルボットのための遷移は、ダイアログフロー状態セクションまたはデフォルト遷移セクションで定義することができる。デフォルト遷移セクションで定義される遷移は、フォールバックとして作用し、状態内に定義される適用可能な遷移がない場合または状態遷移をトリガするために必要な条件を満たせない場合にトリガされる。デフォルト遷移セクションは、スキルボットが予想外のユーザアクションをそつなく処理することを可能にするルーティングを定義するために用いられ得る。
状態セクション-ダイアログフローおよびその関連動作は、ダイアログフロー内の論理を管理する一連の一時的な状態として定義される。ダイアログフロー定義内の各状態ノードは、ダイアログのその点において必要とされる機能を提供するコンポーネントを指名する。このようにして、コンポーネントの周囲に状態を構築する。状態は、コンポーネント固有の特性を含み、コンポーネントが実行された後にトリガされる他の状態への遷移を定義する。
特別なケースのシナリオは、状態セクションを用いて取り扱うことができる。例えば、ユーザが取りかかっている第1のスキルを一時的に出て、デジタルアシスタント内で第2のスキルにおいて何かを行うというオプションを、ユーザに与えたい場合があるかもしれない。例えば、ユーザがショッピングスキルとの会話に関わっている(例えば、ユーザは、購入のために何らかの選択を行った)場合、ユーザは、銀行業務スキルにジャンプし(例えば、ユーザは、その購入に十分な金額を有することを確かめたい場合がある)、その後、ユーザの注文を完了するためにショッピングスキルに戻ることを望む場合がある。これに対処するために、第1のスキルにおけるアクションは、同じデジタルアシスタントにおいて第2の異なるスキルとの対話を開始し、次いで元のフローに戻るように構成されることができる。
(6)カスタムコンポーネントをスキルボットに追加する-上述のように、スキルボットのためにダイアログフローにおいて指定される状態は、その状態に対応する必要な機能を提供するコンポーネントを指名する。コンポーネントは、スキルボットが機能を実行することを可能にする。ある実施形態では、DABP102は、広範囲の機能を実行するための事前設定されたコンポーネントのセットを提供する。スキルボット設計者は、これらの事前設定されたコンポーネントのうちの1つ以上を選択し、それらをスキルボットのためのダイアログフロー内の状態と関連付けることができる。スキルボット設計者はまた、DABP102によって提供されるツールを用いてカスタムまたは新たなコンポーネントを作成し、カスタムコンポーネントをスキルボットのためのダイアログフロー内の1つ以上の状態と関連付けることができる。
(7)スキルボットをテストおよび展開する-DABP102は、スキルボット設計者が開発中のスキルボットをテストすることを可能にするいくつかの特徴を提供する。次いで、スキルボットは、デジタルアシスタントにおいて展開され、それに含めることができる。
上記の説明は、スキルボットをどのように作成するかについて説明しているが、同様の技術を用いて、デジタルアシスタント(またはマスタボット)を作成することもできる。マスタボットまたはデジタルアシスタントレベルでは、デジタルアシスタントのために組込みシステムインテントを設定することができる。これらの組込みシステムインテントは、デジタルアシスタント自体(すなわち、マスタボット)が、デジタルアシスタントに関連付けられるスキルボットを呼び出すことなく取り扱うことができる一般的なタスクを識別するために用いられる。マスタボットに対して定義されるシステムインテントの例は、以下を含む:(1)退出:ユーザがデジタルアシスタントにおいて現在の会話またはコンテキストを終了したい旨を知らせる場合に当てはまる;(2)ヘルプ:ユーザがヘルプまたは方向付けを求める場合に当てはまる;(3)未解決のインテント(UnresolvedIntent):退出インテントおよびヘルプインテントとうまく一致しないユーザ入力に当てはまる。デジタルアシスタントはまた、デジタルアシスタントに関連付けられる1つ以上のスキルボットに関する情報を記憶する。この情報は、マスタボットが、発話を処理するために、特定のスキルボットを選択することを可能にする。
マスタボットまたはデジタルアシスタントレベルでは、ユーザがデジタルアシスタントに句または発話を入力すると、デジタルアシスタントは、発話および関連する会話をどのようにルーティングするかを判断する処理を行うように構成される。デジタルアシスタントは、ルールベース、AIベース、またはそれらの組み合わせとすることができるルーティングモデルを用いて、これを判断する。デジタルアシスタントは、ルーティングモデルを用いて、ユーザ入力発話に対応する会話が、処理のために特定のスキルにルーティングされるべきか、組込みシステムインテントに従ってデジタルアシスタントまたはマスタボット自体によって処理されるべきか、または現在の会話フローにおいて異なる状態として処理されるべきかを判断する。
特定の実施形態では、この処理の一部として、デジタルアシスタントは、ユーザ入力発話が、スキルボットを、その呼出し名を用いて明示的に識別するかどうかを判断する。呼出し名がユーザ入力に存在する場合、それは、呼出し名に対応するスキルボットの明示的な呼出しとして扱われる。そのようなシナリオでは、デジタルアシスタントは、ユーザ入力を、さらなる処理のために、明示的に呼び出されたスキルボットにルーティングすることができる。特定の、または明示的な呼出しがない場合、ある実施形態では、デジタルアシスタントは、受信されたユーザ入力発話を評価し、デジタルアシスタントに関連付けられるシステムインテントおよびスキルボットについて信頼度スコアを計算する。スキルボットまたはシステムインテントについて計算されるスコアは、ユーザ入力が、スキルボットが実行するように構成されるタスクを表すかまたはシステムインテントを表す可能性を表す。関連付けられる計算された信頼度スコアが閾値(例えば、Confidence Threshold(信頼度閾値)ルーティングパラメータ)を超えるシステムインテントまたはスキルボットは、さらなる評価の候補として選択される。次いで、デジタルアシスタントは、識別された候補から、ユーザ入力発話のさらなる処理のために、特定のシステムインテントまたはスキルボットを選択する。特定の実施形態では、1つ以上のスキルボットが候補として識別された後、それらの候補スキルに関連付けられるインテントが(各スキルに対するインテントモデルに従って)評価され、信頼度スコアが各インテントについて判断される。一般に、閾値(例えば70%)を超える信頼度スコアを有するインテントは、候補インテントとして扱われる。特定のスキルボットが選択された場合、ユーザ発話は、さらなる処理のために、そのスキルボットにルーティングされる。システムインテントが選択された場合、選択されたシステムインテントに従って、マスタボット自体によって、1つ以上のアクションが実行される。
2.0 バッチングシステムの例
図2は、ある実施形態による、例示的バッチ処理システムのブロック図を示す。具体的には、図2は、様々な実施形態による、チャットボットをトレーニングするためのトレーニングデータをバッチングするための要素を備えるバッチ処理システム200を示す。バッチ処理システムは、着信要求202を受信してもよい。着信要求202は、トレーニングデータのバッチを生成するためのデータを含む要求であってもよい。着信要求202は、複数の提案されたトレーニング発話を含む生発話データを含むバッチ生成要求であってもよい。例えば、バッチ処理システム200は、チャットボットサービスによって運営されるシステムであってもよい。チャットボットサービスの顧客は、複数のトレーニング発話をバッチ処理システム200に送信して、顧客の対話を処理するためにチャットボットをトレーニングするためのトレーニングデータを取得してもよい。
図2は、ある実施形態による、例示的バッチ処理システムのブロック図を示す。具体的には、図2は、様々な実施形態による、チャットボットをトレーニングするためのトレーニングデータをバッチングするための要素を備えるバッチ処理システム200を示す。バッチ処理システムは、着信要求202を受信してもよい。着信要求202は、トレーニングデータのバッチを生成するためのデータを含む要求であってもよい。着信要求202は、複数の提案されたトレーニング発話を含む生発話データを含むバッチ生成要求であってもよい。例えば、バッチ処理システム200は、チャットボットサービスによって運営されるシステムであってもよい。チャットボットサービスの顧客は、複数のトレーニング発話をバッチ処理システム200に送信して、顧客の対話を処理するためにチャットボットをトレーニングするためのトレーニングデータを取得してもよい。
着信要求202は、通信ポータル204において受信されてもよい。通信ポータル204は、着信および発信データを処理するための、バッチ処理システム200におけるエンティティであってもよい。通信ポータル204は、バッチ処理システム200との間でデータを送受信するユーザと通信ポータル204が対話してもよい1つ以上の態様を決定するユーザ通信命令206を含んでもよい。通信ポータル204は、着信要求および/または着信要求に関連付けられるデータがバッチ処理システム200内でどこにルーティングされるかを決定するバッチルーティング命令208をさらに含んでもよい。例えば、バッチルーティング命令208は、バッチ処理システム200において、着信要求202に従ってバッチングされたトレーニングデータを生成することになる1つ以上のバッチ生成モジュールを決定するよう実行されてもよい。
様々な実施形態では、通信ポータル204が、バッチ処理システム200において、トレーニングデータをバッチングするバッチ生成エンティティを決定すると、通信ポータルは、着信要求202からの生発話データ210をバッチ生成部212に転送してもよい。バッチ生成部212は、チャットボットをトレーニングするためにトレーニングデータをバッチングするための、バッチ処理システム200内のエンティティであってもよい。バッチ生成部212は発話データプール214を含んでもよい。発話データプール214は、生発話データを記憶し、決定された関連付けられる出力カテゴリに基づいて発話をソートする、バッチ処理システム200内の記憶場所であってもよい。例えば、バッチ生成部212は、発話データプール214において生発話データ210を受信し、生発話データ内の各発話に対応するインテントに基づいて生発話データをインテントプールにソートしてもよい。
バッチ生成部212は、モデル解析命令216などの、生発話データに基づいてバッチを生成するための命令をさらに含んでもよい。モデル解析命令216は、チャットボットに関連付けられるトレーニングモデルを解析して、そのモデルの1つ以上の局面を判断するための命令であってもよい。例えば、モデル解析命令216は、トレーニングモデルの解析を引き起こして、モデルに知られている複数のスキルおよび/またはインテントを判断してもよい。バッチ生成部212は、メトリック選択命令218を含んでもよい。メトリック選択命令218は、トレーニングデータのバッチを生成するためのメトリックを選択するための命令であってもよい。例えば、チャットボットトレーニングモデルについての解析された情報に基づいて、メトリック選択命令218は、バッチにおけるトレーニング発話の比例バッチ化のためのメトリックまたは分布の選択を引き起こしてもよい。バッチ生成部212は、選択された分布メトリックに基づいてバッチングするために、発話プール214から、ある数の発話を選択するための命令である、発話選択命令220を含んでもよい。バッチ生成部212は、当該ある数の選択された発話を1つ以上のトレーニングバッチにバッチングする方法に関する命令であってもよい、バッチ生成命令222を含んでもよい。例えば、バッチ生成命令222は、バッチごとに、ある数の選択された発話を含む、バッチデータを生成してもよい。
バッチデータは、バッチプール224などの、バッチ生成部212内のリポジトリに記憶されてもよい。次いで、バッチデータ226などの、生成されたバッチデータは、通信ポータル204に返送された後、チャットボットモデルをトレーニングするために発信バッチ228としてエクスポートされてもよい。バッチ処理システム200は、データストア230をさらに備えてもよい。データストア230は、ここで説明されるプロセスを実現するために任意の数のエンティティ、リポジトリ、または命令を含んでもよく、上記で説明されるシステムエンティティのうちのいずれに結合されてもよい。データストア230は、トレーニングデータバッチを生成するためにバッチ処理システム200によって利用される追加の生または合成トレーニングデータを含むリポジトリであってもよいトレーニングデータリポジトリ232を含んでもよい。データストア230は、当該ある数の発話をバッチ化するためのインテント分布を判断するために使用されるメトリックまたはモデルのリポジトリであってもよい、バッチメトリックリポジトリ234を含んでもよい。データストア230は、バッチ生成プロセスの一部として使用されてもよいユーザまたは顧客データのリポジトリであってもよい、ユーザデータリポジトリ236を含んでもよい。例えば、ユーザデータリポジトリ236は、モデル解析命令216に従って解析するための、ある数の既知のユーザチャットボットモデルを含んでもよい。
図2に示されるシステムおよびエンティティは、ここに記載される実施形態によるトレーニングデータのバッチングを可能にする任意の態様または構成で再構成されてもよいことが、当業者によって理解されるであろう。
3.0 例示的バッチングプロセスおよび技術
推論を実行するときに、トレーニングされた機械学習モデルから偏りが除去されるように、モデルをトレーニングするときに不均衡なトレーニングデータを扱うためのバッチング技術が説明される。ある実施形態では、トレーニングデータのバッチを均衡させるための技術を使用して、モデルによって行われる予測(例えば、入力発話について、トレーニングされたインテント分類部によって推論されるインテント)における偏りを解決するためのバッチング技術が説明される。例えば、スキルボットは、ある発話について、インテントのセットから、あるインテントを推論するようにトレーニングされてもよい。スキルボットをトレーニングするために使用されるトレーニングデータは、発話の例と、発話ごとに、その発話に関連付けられるインテントとを含み得る。トレーニングデータは、あるインテントに対するトレーニング発話の数が別のインテントに対するトレーニング発話の数よりもはるかに多い場合、偏り得る。そのようなトレーニングデータがモデルをトレーニングするために使用されると、結果として生じるトレーニングされたモデルは、より多くのトレーニング発話例を伴うインテントを推論することに偏る。例えば、2つのインテントを有するスキルが、1000個のトレーニング発話でトレーニングされる場合がある。950個のトレーニング発話はインテント1に対応し得、50個のトレーニング発話はインテント2に対応し得る。したがって、スキルは、インテント2と比較して、インテント1に対して、より高度にトレーニングされる。したがって、このスキルのインテント分類部は、実際の顧客発話の実際のコンテキストがインテント2に対応するときでも、顧客発話のコンテキストをインテント1に誤って帰属させ得る。これは望ましくない。
推論を実行するときに、トレーニングされた機械学習モデルから偏りが除去されるように、モデルをトレーニングするときに不均衡なトレーニングデータを扱うためのバッチング技術が説明される。ある実施形態では、トレーニングデータのバッチを均衡させるための技術を使用して、モデルによって行われる予測(例えば、入力発話について、トレーニングされたインテント分類部によって推論されるインテント)における偏りを解決するためのバッチング技術が説明される。例えば、スキルボットは、ある発話について、インテントのセットから、あるインテントを推論するようにトレーニングされてもよい。スキルボットをトレーニングするために使用されるトレーニングデータは、発話の例と、発話ごとに、その発話に関連付けられるインテントとを含み得る。トレーニングデータは、あるインテントに対するトレーニング発話の数が別のインテントに対するトレーニング発話の数よりもはるかに多い場合、偏り得る。そのようなトレーニングデータがモデルをトレーニングするために使用されると、結果として生じるトレーニングされたモデルは、より多くのトレーニング発話例を伴うインテントを推論することに偏る。例えば、2つのインテントを有するスキルが、1000個のトレーニング発話でトレーニングされる場合がある。950個のトレーニング発話はインテント1に対応し得、50個のトレーニング発話はインテント2に対応し得る。したがって、スキルは、インテント2と比較して、インテント1に対して、より高度にトレーニングされる。したがって、このスキルのインテント分類部は、実際の顧客発話の実際のコンテキストがインテント2に対応するときでも、顧客発話のコンテキストをインテント1に誤って帰属させ得る。これは望ましくない。
不均衡はまた、多くのスキルボットの中からあるスキルボットを選択するためにモデルをトレーニングするとき、例えば、ある発話を処理するためにマスタボットが特定のスキルボットを選択しなければならないときにも、生じ得る。マスタボットをトレーニングするための利用可能なトレーニングデータは、不均衡である場合がある。これも不均衡を作り出す。そのようなトレーニングデータがマスタボットをトレーニングするために使用されると、結果として生じるトレーニングされたマスタボットモデルは、学習されたトレーニング発話例の数がより多いスキルボットを推論するように偏る。たとえば、2つのスキル、すなわち、2つのインテントを有する第1のスキル、および1つのインテントを有する第2のスキルが、900個のトレーニング発話でトレーニングされる場合がある。各インテントは、300のトレーニング発話に対応し得、これは、インテント分布が均衡していることを意味する。しかし、第1のスキルは、第2のスキルよりも高度にトレーニング可能であり、なぜならば、前者は後者の2倍の数のトレーニング発話を有するからである。したがって、マスタスキルボット分類部は、実際の顧客発話の実際のコンテキストが第2のスキル内のインテントに対応するときでさえ、顧客発話のコンテキストを第1のスキル内のインテントに誤って帰属させ得る。これもやはり望ましくない。ここで説明されるプロセスは、トレーニングデータのために発話をバッチングする際にこれらの偏りを低減および排除する。
図3は、ある実施形態による、トレーニングバッチを生成し、予測モデルを取得するための例示的プロセスを示す。具体的には、例示的プロセス300は、チャットボット機能を実現するときに、より効率的な態様で対話し得る予測モデルを取得するよう、モデルをトレーニングするために、偏りが低減された、発話のトレーニングバッチを生成するためのフローチャートを示す。プロセス300は、ステップ310において、複数の発話を取得することによって開始する。複数の発話は、モデル上でトレーニングされると、偏ったトレーニングされたモデルを結果として生成するであろう、複数の生発話データであってもよい。たとえば、取得された複数の発話は、着信要求202などの着信要求の一部として取得されてもよく、トレーニングが進行し得る前に偏りが除去されるべきである、提案された複数の発話であってもよい。
ステップ320において、複数の発話間のインテントの分布が判断される。分布は、取得された複数の発話、取得された複数の発話に関連付けられるメタデータ、複数の発話がトレーニングされるように提案されるモデルなどに基づいて判断されてもよい。例えば、取得された複数の発話に対応するインテントの分布は、複数の発話における各表されたインテントの相対量に基づいて判断されてもよい。別の例では、着信要求の一部として取得されるメタデータは、1つ以上の所望のインテント分布を指定してもよく、分布の判断に影響を及ぼすよう解析されてもよい。さらに別の例では、ユーザデータリポジトリ236などのモデルリポジトリから既知のユーザチャットボットモデルを取得してもよく、モデル解析命令216などの命令がそのモデルを解析して、そのモデルによって利用されるスキルおよび/またはインテントの相対分布を判断してもよい。
ステップ330において、ある数の発話を含むバッチが、インテントの分布に基づいて生成される。バッチは、メトリック命令218、発話選択命令220、およびバッチ生成命令222などの命令に基づいて生成されてもよい。命令は、バッチに包含するための当該ある数の発話の既知のサブセットまたは当該ある数の発話のサブセットの相対確率を指定してもよい。例えば、特定のインテントに対応する静的な数の発話が、バッチに包含するために自動的に選択されてもよい。別の例では、複数のインテントについての包含の相対確率が判断され、複数のインテントに対応する発話が、対応する複数のインテントの相対確率分布に基づいてバッチに包含するためにランダムに選択される。
ステップ340において、バッチからトレーニングデータのセットが予測モデルに入力される。トレーニングデータのセットは、予測モデルをトレーニングするために予測モデルに系統的に入力される、生成されたバッチ内の当該ある数の発話のサブセットであってもよい。様々な実施形態では、バッチからトレーニングデータを入力するステップは、生成されたバッチを、バッチからのトレーニングデータを予測モデルに反復的に提供するモデル生成システムに送るステップを含む。ステップ350において、予測モデルは、モデルに入力されるトレーニングデータのセットでトレーニングされる。モデルは、ここで論じられる実施形態のいずれかに従ってトレーニングされてもよい。例えば、モデルは、ある発話を解析することに基づく予測されたインテントとその発話に対応する実際のインテントとの間の差を「学習」することができるインテント分類部を含んでもよい。インテント分類部は、これらの差を使用して、インテントを完全な精度で予測する理想的なモデルに、より近く類似するように、インテント判定のためのパラメータまたは閾値を変更してもよい。
ステップ360において、予測モデルは、トレーニングデータのセット内において関係を学習する。学習された関係は、複数の発話の1つ以上の局面と複数の発話の対応するインテントとの間の関係であってもよい。例えば、ある予測モデルのインテント分類部は、予測されたインテントと実際の対応するインテントとの間の判断された差を使用して、発話の局面と発話に対応する可能性のあるインテントとの間の関係をモデル化してもよい。さらなる例では、それらの局面は、発話の全体的な予測されるコンテキストを判断するために解析される文字列およびコンテキスト的確率値である。全体的な予測されるコンテキストは、予測モデルによって学習された関係に基づく、可能性のあるインテントに対応する。ステップ370において、学習された関係に関連付けられる複数のモデルパラメータ含むトレーニングされた予測モデルが得られる。トレーニングされた予測モデルは、バッチングされたトレーニングデータを使用してトレーニング期間が完了した後の上述の予測モデルであってもよい。種々の実施形態では、取得された、トレーニングされた予測モデルを利用して、非トレーニング発話を解析し、対応するインテントを、ユーザと対話するチャットボットサービスの一部として予測する。
3.1 均一バッチング技術
本開示は、少なくともインテントレベルを含む、上述の偏りを除去するための新規なバッチング技術を記載する。均一バッチング技術は、単一のマスタボットのレベルで、マスタボットシステムの各既知のインテントの分布にわたって、説明される。例えば、発話の分布は、複数のインテントにおけるインテントの総数に基づいて、複数のインテントの各インテントに一様に対応してもよい。各出力カテゴリ内のトレーニングデータから適切な数のトレーニング例を選択することによってトレーニングバッチが生成されるように、モデルトレーニングのためのバッチを選択するために新規なバッチング技術が使用される。このことは、バッチ上でトレーニングされたインテント分類部が、各出力カテゴリを等しくスコア付けする可能性を有することを保証する。
本開示は、少なくともインテントレベルを含む、上述の偏りを除去するための新規なバッチング技術を記載する。均一バッチング技術は、単一のマスタボットのレベルで、マスタボットシステムの各既知のインテントの分布にわたって、説明される。例えば、発話の分布は、複数のインテントにおけるインテントの総数に基づいて、複数のインテントの各インテントに一様に対応してもよい。各出力カテゴリ内のトレーニングデータから適切な数のトレーニング例を選択することによってトレーニングバッチが生成されるように、モデルトレーニングのためのバッチを選択するために新規なバッチング技術が使用される。このことは、バッチ上でトレーニングされたインテント分類部が、各出力カテゴリを等しくスコア付けする可能性を有することを保証する。
例として、トレーニングデータが9つの異なるインテント(a~i)について提供されるシナリオを考える。この例では、複数のインテントa~iに対するトレーニングデータは、他のインテントb~iよりも著しく多くのトレーニング例がインテントaに対して利用可能であるように、不均衡であってもよい。例えば、以下のトレーニング例がそれぞれのインテントa~iの各々に対して利用可能であると考える:
インテントa=900個の総トレーニング発話
インテントb、c、d=各々20個のトレーニング発話
インテントe、f、g、h、i=各々8個のトレーニング発話
この例では、トレーニング実行ごとに100個のトレーニング例のバッチが生成されると仮定する。当業者であれば、上記に述べたトレーニングデータの単純なランダムサンプリングは、インテントaに対する有意により多いトレーニング例が他のインテントの各々に対するトレーニング例よりもバッチに含まれる結果となることを認識し、なぜならば、インテントaからのトレーニング例は選択される可能性が9倍であるからであり、それは、(そのバッチを使用してトレーニングされたインテント分類部において)インテントaへの偏りをもたらすであろう。これを修正するために、システムは、インテントレベルで均一な均衡化を実行してもよい。これは、各インテントが、等しい選択される機会を有するように、バッチサイズの等しい部分を各インテントに割り当てることを伴う。例えば、上記のトレーニングデータに対する制約は、以下のように生成されてもよい:
インテント比率:1/(インテントの総数)=1/9
したがって、各インテントは、対応する発話がバッチングのために選択される、1/9の機会に対応する。当業者には認識されるように、トレーニングデータの選択に対する上記の制約の設定は、各インテントが最終的なバッチにおける包含の等しい確率を達成するであろうから、任意の特定のインテントへの偏りを排除するであろう。様々な実施形態では、利用可能なバッチスロットの数がインテントの数よりも大きい場合、少なくとも1つのインテントを、バッチに包含するために、対応する発話を介して選択してもよい。様々なさらなる実施形態では、バッチ内のバッチスロットの数がインテントの数の間で公平に分割可能でない場合、第1のバッチにおいて公平に分布されなかった任意のインテントに対応する発話の包含のために、後続のバッチにおいて、ある数のバッチスロットが予約されてもよい。当業者には認識されるように、トレーニングデータの選択に対する上記に述べた制約の設定は、任意の特定のインテントへの偏りを排除し、インテントは、トレーニングデータのバッチにおいて等しく表されるであろう。
インテントa=900個の総トレーニング発話
インテントb、c、d=各々20個のトレーニング発話
インテントe、f、g、h、i=各々8個のトレーニング発話
この例では、トレーニング実行ごとに100個のトレーニング例のバッチが生成されると仮定する。当業者であれば、上記に述べたトレーニングデータの単純なランダムサンプリングは、インテントaに対する有意により多いトレーニング例が他のインテントの各々に対するトレーニング例よりもバッチに含まれる結果となることを認識し、なぜならば、インテントaからのトレーニング例は選択される可能性が9倍であるからであり、それは、(そのバッチを使用してトレーニングされたインテント分類部において)インテントaへの偏りをもたらすであろう。これを修正するために、システムは、インテントレベルで均一な均衡化を実行してもよい。これは、各インテントが、等しい選択される機会を有するように、バッチサイズの等しい部分を各インテントに割り当てることを伴う。例えば、上記のトレーニングデータに対する制約は、以下のように生成されてもよい:
インテント比率:1/(インテントの総数)=1/9
したがって、各インテントは、対応する発話がバッチングのために選択される、1/9の機会に対応する。当業者には認識されるように、トレーニングデータの選択に対する上記の制約の設定は、各インテントが最終的なバッチにおける包含の等しい確率を達成するであろうから、任意の特定のインテントへの偏りを排除するであろう。様々な実施形態では、利用可能なバッチスロットの数がインテントの数よりも大きい場合、少なくとも1つのインテントを、バッチに包含するために、対応する発話を介して選択してもよい。様々なさらなる実施形態では、バッチ内のバッチスロットの数がインテントの数の間で公平に分割可能でない場合、第1のバッチにおいて公平に分布されなかった任意のインテントに対応する発話の包含のために、後続のバッチにおいて、ある数のバッチスロットが予約されてもよい。当業者には認識されるように、トレーニングデータの選択に対する上記に述べた制約の設定は、任意の特定のインテントへの偏りを排除し、インテントは、トレーニングデータのバッチにおいて等しく表されるであろう。
3.2 階層的バッチング技術
本開示は、スキルボットレベルおよびマスタボットレベルの両方において、上述の偏りを除去するための新規なバッチング技術を記載する。階層的均衡化技術が、マスタボットレベルおよびスキルボットレベルで説明される。例えば、トレーニングインフラストラクチャは、異なるスキルボット間のマスタボットレベルにおける第1の階層的均衡化と、スキルボットのために設定される様々なインテント間のスキルボットレベルにおける第2の階層的均衡化とを利用する、多階層的均衡化を実行する。各出力カテゴリ内のトレーニングデータから適切な数のトレーニング例を選択することによってトレーニングバッチが生成されるように、モデルトレーニングのためのバッチを選択するために新規なバッチング技術が使用される。このことは、バッチ上でトレーニングされたインテント分類部が、各出力カテゴリを等しくスコア付けする可能性を有することを保証する。
本開示は、スキルボットレベルおよびマスタボットレベルの両方において、上述の偏りを除去するための新規なバッチング技術を記載する。階層的均衡化技術が、マスタボットレベルおよびスキルボットレベルで説明される。例えば、トレーニングインフラストラクチャは、異なるスキルボット間のマスタボットレベルにおける第1の階層的均衡化と、スキルボットのために設定される様々なインテント間のスキルボットレベルにおける第2の階層的均衡化とを利用する、多階層的均衡化を実行する。各出力カテゴリ内のトレーニングデータから適切な数のトレーニング例を選択することによってトレーニングバッチが生成されるように、モデルトレーニングのためのバッチを選択するために新規なバッチング技術が使用される。このことは、バッチ上でトレーニングされたインテント分類部が、各出力カテゴリを等しくスコア付けする可能性を有することを保証する。
例として、トレーニングデータが2つの別々のスキルボット(スキルAおよびスキルB)に提供されるシナリオを考える。この例では、スキルAは5つの異なるインテント(a~e)のセットに関連付けられ、スキルBは4つの異なるインテント(f~i)のセットに関連付けられると考える。この例では、2つのスキルについてのトレーニングデータは、より多くのトレーニング例がスキルBよりもスキルAについて利用可能であるように、不均衡であり得る。例えば、スキルAおよびスキルBのそれぞれのインテントの各々について、以下のトレーニング例が利用可能であると考える(キー:Ni、「i」はインテントを識別し、「N」は、インテント「i」についてトレーニングセットにおいて利用可能なトレーニング発話例の数を識別する):
スキルA:5(a)+100(b)+100(c)+295(d)+500(e)=1000(スキルAの総トレーニング発話)
スキルB:5(f)+10(g)+25(h)+60(i)=100(スキルBの総トレーニング発話)
この例では、トレーニング実行ごとに100個のトレーニング例のバッチが生成されると仮定する。当業者であれば、上記のトレーニングデータの単純なランダムサンプリングは、スキルAに対する有意により多いトレーニング例がスキルBに対するトレーニング例よりもバッチに含まれる結果となることを認識し、なぜならば、スキルAからのトレーニング例は選択される可能性が10倍であるからであり、それは、(そのバッチを使用してトレーニングされたインテント分類部において)スキルAへの偏りをもたらすであろう。これを補正するために、システムは、スキルレベルで第1の階層的均衡化を実行してもよい。これは、スキルAおよびスキルBが、等しい選択される機会を有するように、バッチサイズの等しい部分を各スキルに割り当てることを伴う。例えば、上記のトレーニングデータに対する制約は、以下のように生成されてもよい:
スキルA:5/2000(a)+100/2000(b)+100/2000(c)+295/2000(d)+500/2000(e)=1/2
スキルB:5/200(f)+10/200(g)+25/200(h)+60/200(i)=1/2
当業者には認識されるように、トレーニングデータの選択に対する上記に述べた制約の設定は、各スキルが等しく表されるであろうから、任意の特定のスキルへの偏りを排除するであろう。しかしながら、スキル内であっても、各インテントは均衡を失して表される。このことに対処するように、システムは、インテントレベルで第2の階層的均衡化を実行してもよい。これは、あるスキルに対するインテントの特定のセット内で各インテントに等しい比率を割り当てることを含み、したがって、それらインテントはすべて、等しい選択される機会を有する。例えば、上記のトレーニングデータに対する制約は、以下のように調整されてもよい:
スキルA:1/10(a)+1/10(b)+1/10(c)+1/10(d)+1/10(e)=1/2
スキルB:1/8(f)+1/8(g)+1/8(h)+1/8(i)=1/2
当業者には認識されるように、トレーニングデータの選択に対する上記に述べた制約の設定は、各インテントがスキル内で等しく表されるであろうから、スキル内の任意の特定のインテントへの偏りを排除するであろう。上記に述べた制約を使用して、各インテントについて、適切な数のトレーニング例を計算することができ、それは、バッチサイズに、そのバッチのうち各スキルに割り当てられた部分を乗じ、それにそのインテントに対する比率を乗じることによって、行われる。例えば、スキルAのインテントeについて100個のトレーニング例のバッチに含まれるべき適切な数のトレーニング例を計算する際、バッチサイズ(例えば、100)に、そのバッチのうち各スキルに割り当てられた部分(例えば、1/2)を乗じ、それに、そのインテントに割り当てられた比率(1/10)を乗じる。この例では、100*1/2*1/10=5である。したがって、スキルAのインテントeの出力カテゴリとともに5つのトレーニング例を含むように、100個のトレーニング例のバッチが生成される。バッチを生成するとき、5つのトレーニング例は、スキルAのインテントeについて利用可能なトレーニング例からランダムに選択されてもよいことに留意されたい。
スキルA:5(a)+100(b)+100(c)+295(d)+500(e)=1000(スキルAの総トレーニング発話)
スキルB:5(f)+10(g)+25(h)+60(i)=100(スキルBの総トレーニング発話)
この例では、トレーニング実行ごとに100個のトレーニング例のバッチが生成されると仮定する。当業者であれば、上記のトレーニングデータの単純なランダムサンプリングは、スキルAに対する有意により多いトレーニング例がスキルBに対するトレーニング例よりもバッチに含まれる結果となることを認識し、なぜならば、スキルAからのトレーニング例は選択される可能性が10倍であるからであり、それは、(そのバッチを使用してトレーニングされたインテント分類部において)スキルAへの偏りをもたらすであろう。これを補正するために、システムは、スキルレベルで第1の階層的均衡化を実行してもよい。これは、スキルAおよびスキルBが、等しい選択される機会を有するように、バッチサイズの等しい部分を各スキルに割り当てることを伴う。例えば、上記のトレーニングデータに対する制約は、以下のように生成されてもよい:
スキルA:5/2000(a)+100/2000(b)+100/2000(c)+295/2000(d)+500/2000(e)=1/2
スキルB:5/200(f)+10/200(g)+25/200(h)+60/200(i)=1/2
当業者には認識されるように、トレーニングデータの選択に対する上記に述べた制約の設定は、各スキルが等しく表されるであろうから、任意の特定のスキルへの偏りを排除するであろう。しかしながら、スキル内であっても、各インテントは均衡を失して表される。このことに対処するように、システムは、インテントレベルで第2の階層的均衡化を実行してもよい。これは、あるスキルに対するインテントの特定のセット内で各インテントに等しい比率を割り当てることを含み、したがって、それらインテントはすべて、等しい選択される機会を有する。例えば、上記のトレーニングデータに対する制約は、以下のように調整されてもよい:
スキルA:1/10(a)+1/10(b)+1/10(c)+1/10(d)+1/10(e)=1/2
スキルB:1/8(f)+1/8(g)+1/8(h)+1/8(i)=1/2
当業者には認識されるように、トレーニングデータの選択に対する上記に述べた制約の設定は、各インテントがスキル内で等しく表されるであろうから、スキル内の任意の特定のインテントへの偏りを排除するであろう。上記に述べた制約を使用して、各インテントについて、適切な数のトレーニング例を計算することができ、それは、バッチサイズに、そのバッチのうち各スキルに割り当てられた部分を乗じ、それにそのインテントに対する比率を乗じることによって、行われる。例えば、スキルAのインテントeについて100個のトレーニング例のバッチに含まれるべき適切な数のトレーニング例を計算する際、バッチサイズ(例えば、100)に、そのバッチのうち各スキルに割り当てられた部分(例えば、1/2)を乗じ、それに、そのインテントに割り当てられた比率(1/10)を乗じる。この例では、100*1/2*1/10=5である。したがって、スキルAのインテントeの出力カテゴリとともに5つのトレーニング例を含むように、100個のトレーニング例のバッチが生成される。バッチを生成するとき、5つのトレーニング例は、スキルAのインテントeについて利用可能なトレーニング例からランダムに選択されてもよいことに留意されたい。
3.3 スケーリングされたバッチング技術
本開示は、ユニバーサルなスケーリングされたファクタに従って上述の偏りを除去するための新規なバッチング技術を記載する。スケーリングされた均衡化技術は、上述の均一かつ階層的な均衡化の利点を可能にし、スケーリングされたファクタまたは関数に従った追加の偏り制御を含む。例えば、トレーニングインフラストラクチャは、上述のように比例均衡化を実行してもよいが、モデルのユーザまたはモデルの管理者によって提供される定義された関数に従ってスケーリングされた割合および確率を利用してもよい。スケーリングファクタは、有害な偏りを同時に低減しながら、複数の生のトレーニング発話の特定の特性が維持されることを可能にする。
本開示は、ユニバーサルなスケーリングされたファクタに従って上述の偏りを除去するための新規なバッチング技術を記載する。スケーリングされた均衡化技術は、上述の均一かつ階層的な均衡化の利点を可能にし、スケーリングされたファクタまたは関数に従った追加の偏り制御を含む。例えば、トレーニングインフラストラクチャは、上述のように比例均衡化を実行してもよいが、モデルのユーザまたはモデルの管理者によって提供される定義された関数に従ってスケーリングされた割合および確率を利用してもよい。スケーリングファクタは、有害な偏りを同時に低減しながら、複数の生のトレーニング発話の特定の特性が維持されることを可能にする。
例として、トレーニングデータが5つの別々のインテントであるインテントa~eに対して提供されるシナリオを考える。この例では、インテント「a」は、モデルの主なユースケースに対応するインテントであり、モデルによって解析されるすべての発話の約3分の1と相関すると期待される、と考える。この例では、5つのインテントについてのトレーニングデータは、インテントb~eについてよりもはるかに多くのトレーニング例がインテント「a」について利用可能であるように、不均衡であり得る。例えば、以下のトレーニング例がそれぞれのインテントの各々に対して利用可能であると考える:
インテントa=100個の総トレーニング発話
インテントb=30個の総トレーニング発話
インテントc=20個の総トレーニング発話
インテントd=10個の総トレーニング発話
インテントe=5個の総トレーニング発話
この例では、トレーニング実行ごとに100個のトレーニング例のバッチが生成されると仮定する。当業者であれば、上記のトレーニングデータの単純なランダムサンプリングは、インテントaに対する有意により多いトレーニング例が他のインテントの各々に対するトレーニング例よりもバッチに含まれる結果となることを認識し、なぜならば、インテント「a」からのトレーニング例は、任意の他のインテント個々よりも、選択される可能性が少なくとも3倍であるからであり、それは、(そのバッチを使用してトレーニングされたインテント分類部において)インテントaへの偏りをもたらすであろう。しかしながら、インテント「a」は主なユースケースであり、発話を解析する時間の約3分の1で選択されることが期待されるはずであるので、均一なバッチング技術は、インテント「a」を各他のインテントと等しくトレーニングするときにこの特徴を完全に排除し得る。元の分布とのある類似度を維持しながら既存の偏りを修正するために、システムは、スケーリングされたバッチ化を実行してもよい。これは、各インテントがバッチについてコンテキスト的に正しい選択される機会を有するように、データの関数変換に従ってバッチサイズの一部分を各インテントに割り当てることを含む。例えば、ある対数スケーリング技術は、上記のトレーニングデータに対する制約を以下のように変換してもよい:
偏った生発話分布(x)=[100,30,20,10,5]
対数分布=log(x)/sum(log(x))=[0.31,0.23,0.20,0.15,0.11]
当業者には認識されるように、トレーニングデータの選択に対する上記に述べた制約の設定は、提供される生の発話プールにおいて過剰に表された任意の特定のインテントへの偏りを低減するであろう。しかしながら、各インテントは、依然として、データ上でトレーニングされるモデルについて、ある相対的重要度に従って、比例して表されてもよい。例えば、インテント「a」が、モデルの動作中の時間の約3分の1で、ある発話に対応するものとして理想的に選択されることが期待されることを知ると、以下の、インテント「a」に対する比例的選択の分布を比較することができる:
生発話トレーニング(a)=100/(100+30+20+10+5)=~3/5
均一バッチ化(a)=1/5
対数分布(a)=~1/3
したがって、上述の対数スケーリングされたバッチング技術は、モデルにとって有益であり得る、インテント「a」に与えられる相対的なトレーニング重要度を維持しながら、生のトレーニングデータに固有の偏りを低減する。当業者には認識されるように、上述の対数スケーリング関数技術は、トレーニングデータをバッチ化するためのスケーリング技術の一例にすぎず、任意の変換、関数、またはスケーリング技術が、この特定の技術に加えて、またはその代わりに使用されてもよい。
インテントa=100個の総トレーニング発話
インテントb=30個の総トレーニング発話
インテントc=20個の総トレーニング発話
インテントd=10個の総トレーニング発話
インテントe=5個の総トレーニング発話
この例では、トレーニング実行ごとに100個のトレーニング例のバッチが生成されると仮定する。当業者であれば、上記のトレーニングデータの単純なランダムサンプリングは、インテントaに対する有意により多いトレーニング例が他のインテントの各々に対するトレーニング例よりもバッチに含まれる結果となることを認識し、なぜならば、インテント「a」からのトレーニング例は、任意の他のインテント個々よりも、選択される可能性が少なくとも3倍であるからであり、それは、(そのバッチを使用してトレーニングされたインテント分類部において)インテントaへの偏りをもたらすであろう。しかしながら、インテント「a」は主なユースケースであり、発話を解析する時間の約3分の1で選択されることが期待されるはずであるので、均一なバッチング技術は、インテント「a」を各他のインテントと等しくトレーニングするときにこの特徴を完全に排除し得る。元の分布とのある類似度を維持しながら既存の偏りを修正するために、システムは、スケーリングされたバッチ化を実行してもよい。これは、各インテントがバッチについてコンテキスト的に正しい選択される機会を有するように、データの関数変換に従ってバッチサイズの一部分を各インテントに割り当てることを含む。例えば、ある対数スケーリング技術は、上記のトレーニングデータに対する制約を以下のように変換してもよい:
偏った生発話分布(x)=[100,30,20,10,5]
対数分布=log(x)/sum(log(x))=[0.31,0.23,0.20,0.15,0.11]
当業者には認識されるように、トレーニングデータの選択に対する上記に述べた制約の設定は、提供される生の発話プールにおいて過剰に表された任意の特定のインテントへの偏りを低減するであろう。しかしながら、各インテントは、依然として、データ上でトレーニングされるモデルについて、ある相対的重要度に従って、比例して表されてもよい。例えば、インテント「a」が、モデルの動作中の時間の約3分の1で、ある発話に対応するものとして理想的に選択されることが期待されることを知ると、以下の、インテント「a」に対する比例的選択の分布を比較することができる:
生発話トレーニング(a)=100/(100+30+20+10+5)=~3/5
均一バッチ化(a)=1/5
対数分布(a)=~1/3
したがって、上述の対数スケーリングされたバッチング技術は、モデルにとって有益であり得る、インテント「a」に与えられる相対的なトレーニング重要度を維持しながら、生のトレーニングデータに固有の偏りを低減する。当業者には認識されるように、上述の対数スケーリング関数技術は、トレーニングデータをバッチ化するためのスケーリング技術の一例にすぎず、任意の変換、関数、またはスケーリング技術が、この特定の技術に加えて、またはその代わりに使用されてもよい。
3.4 重み付きバッチング技術
本開示は、重み付き分布に従って上述の偏りを除去するための新規なバッチング技術を記載する。重み付き分布技術は、上述の均一かつ階層的な均衡化の利点を可能にし、指定された重み付き分布による追加の偏り制御を含む。例えば、トレーニングインフラストラクチャは、上述のように比例均衡化を実行してもよいが、モデルのユーザまたはモデルの管理者によって提供される別個の重みの分布を利用してもよい。重み分布は、有害な偏りを同時に低減しながら、複数の生のトレーニング発話の特定の特性が維持されることを可能にする。
本開示は、重み付き分布に従って上述の偏りを除去するための新規なバッチング技術を記載する。重み付き分布技術は、上述の均一かつ階層的な均衡化の利点を可能にし、指定された重み付き分布による追加の偏り制御を含む。例えば、トレーニングインフラストラクチャは、上述のように比例均衡化を実行してもよいが、モデルのユーザまたはモデルの管理者によって提供される別個の重みの分布を利用してもよい。重み分布は、有害な偏りを同時に低減しながら、複数の生のトレーニング発話の特定の特性が維持されることを可能にする。
例として、トレーニングデータが5つの別々のインテントであるインテントa~eに対して提供される上述のスケーリングされたバッチング技術のシナリオにおいて提示されるシナリオを、以下のように考える:
偏った生発話分布x=[100,30,20,10,5]
この例では、トレーニング実行ごとに100個のトレーニング例のバッチが生成されると仮定する。当業者であれば、上記のトレーニングデータの単純なランダムサンプリングは、インテントaに対する有意により多いトレーニング例が他のインテントの各々に対するトレーニング例よりもバッチに含まれる結果となることを認識し、なぜならば、インテント「a」からのトレーニング例は、任意の他のインテント個々よりも、選択される可能性が少なくとも3倍であるからであり、それは、(そのバッチを使用してトレーニングされたインテント分類部において)インテントaへの偏りをもたらすであろう。しかしながら、顧客またはサービスは、特定のインテントのトレーニングのための重要度の相対的分布に対応する重みの分布を提供してもよい。ある例では、顧客は、あるモデルに対するインテント認識の相対的重要度に従って重み付き分布を提供してもよい。別の例では、顧客に代わってモデルを維持するサービスが、他のインテントに対する特定のインテントの期待される相対的重要度を判断するようバッチトレーニングデータを入力として受信するモデルを解析してもよい。例えば、顧客は、以下のように、顧客に従って0から1の範囲の重みの相対的重要度を記述する重み付き分布をバッチシステムに送信してもよい:
重み付き重要度分布y=[0.4,0.3,0.3,0.1,0.1]
バッチング技術は、ここに記載の別のバッチング技術に重み付き分布を適用して、複合重み付きバッチング分布を形成してもよい。例えば、重み付き分布は、一様分布を変換して重み付き一様分布を形成するために使用されてもよい:
重み付き一様分布=(x*y)/sum(x*y)=[(0.2*0.4),(0.2*0.3),(0.2*0.3),(0.2*0.1),(0.2*0.1)]/0.24=[0.33,0.25,0.25,0.08,0.08]
当業者には認識されるように、トレーニングデータの選択に対する上記に述べた制約の設定は、提供される生の発話プールにおいて過剰に表された任意の特定のインテントへの偏りを低減するであろう。しかしながら、各インテントは、依然として、所与の重み分布によって指定されるように、データ上でトレーニングされるモデルについて、ある相対的重要度に従って、比例して表されてもよい。例えば、インテント「a」が重み分布において0.4の相対的重みを与えられることを知っており、指定された重み分布の和が合計1.2であると仮定すると、以下の、バッチにおけるインテント「a」の以下の可能性のある表現は、以下の技術に従って与えられる:
生発話トレーニング(a)=100/(100+30+20+10+5)=~3/5
均一バッチング(a)=1/5
重み付き分布(a)=~1/3
したがって、上述の重み付き分布バッチング技術は、モデルにとって有益であり得る、インテント「a」に与えられる相対的なトレーニング重要度を維持しながら、生のトレーニングデータに固有の偏りを低減する。当業者が認識し得るように、上述の既存の均一バッチング技術への重み付き分布関数の追加は、トレーニングデータをバッチングするための複合重み付け技術の一例にすぎず、任意の変換、関数、またはスケーリング技術が、この特定の技術に加えて、またはその代わりに使用されてもよい。
偏った生発話分布x=[100,30,20,10,5]
この例では、トレーニング実行ごとに100個のトレーニング例のバッチが生成されると仮定する。当業者であれば、上記のトレーニングデータの単純なランダムサンプリングは、インテントaに対する有意により多いトレーニング例が他のインテントの各々に対するトレーニング例よりもバッチに含まれる結果となることを認識し、なぜならば、インテント「a」からのトレーニング例は、任意の他のインテント個々よりも、選択される可能性が少なくとも3倍であるからであり、それは、(そのバッチを使用してトレーニングされたインテント分類部において)インテントaへの偏りをもたらすであろう。しかしながら、顧客またはサービスは、特定のインテントのトレーニングのための重要度の相対的分布に対応する重みの分布を提供してもよい。ある例では、顧客は、あるモデルに対するインテント認識の相対的重要度に従って重み付き分布を提供してもよい。別の例では、顧客に代わってモデルを維持するサービスが、他のインテントに対する特定のインテントの期待される相対的重要度を判断するようバッチトレーニングデータを入力として受信するモデルを解析してもよい。例えば、顧客は、以下のように、顧客に従って0から1の範囲の重みの相対的重要度を記述する重み付き分布をバッチシステムに送信してもよい:
重み付き重要度分布y=[0.4,0.3,0.3,0.1,0.1]
バッチング技術は、ここに記載の別のバッチング技術に重み付き分布を適用して、複合重み付きバッチング分布を形成してもよい。例えば、重み付き分布は、一様分布を変換して重み付き一様分布を形成するために使用されてもよい:
重み付き一様分布=(x*y)/sum(x*y)=[(0.2*0.4),(0.2*0.3),(0.2*0.3),(0.2*0.1),(0.2*0.1)]/0.24=[0.33,0.25,0.25,0.08,0.08]
当業者には認識されるように、トレーニングデータの選択に対する上記に述べた制約の設定は、提供される生の発話プールにおいて過剰に表された任意の特定のインテントへの偏りを低減するであろう。しかしながら、各インテントは、依然として、所与の重み分布によって指定されるように、データ上でトレーニングされるモデルについて、ある相対的重要度に従って、比例して表されてもよい。例えば、インテント「a」が重み分布において0.4の相対的重みを与えられることを知っており、指定された重み分布の和が合計1.2であると仮定すると、以下の、バッチにおけるインテント「a」の以下の可能性のある表現は、以下の技術に従って与えられる:
生発話トレーニング(a)=100/(100+30+20+10+5)=~3/5
均一バッチング(a)=1/5
重み付き分布(a)=~1/3
したがって、上述の重み付き分布バッチング技術は、モデルにとって有益であり得る、インテント「a」に与えられる相対的なトレーニング重要度を維持しながら、生のトレーニングデータに固有の偏りを低減する。当業者が認識し得るように、上述の既存の均一バッチング技術への重み付き分布関数の追加は、トレーニングデータをバッチングするための複合重み付け技術の一例にすぎず、任意の変換、関数、またはスケーリング技術が、この特定の技術に加えて、またはその代わりに使用されてもよい。
3.5 テール(tailed)バッチング技術
本開示は、マスタボットモデルに含まれる少なくとも各インテントに対するトレーニングを可能にしながら、上述の偏りを除去するためのテールバッチング技術を説明する。テール(tailed)均衡化技術は、少なくともある数の発話がバッチに含まれ、残りのバッチスロットが比例的に満たされることを可能にする、バッチにおけるインテントの比例的および静的表現のための複合アプローチを可能にする。例えば、特定の閾値より下の選択確率を有する任意のインテントが、生成されたバッチにおいて最小容量で含まれるように、モデルトレーニングのためにバッチを選択するための新規なテールバッチング技術が使用される。これは、各インテントがバッチにおいて表されるが、そのバッチは、依然として、大部分は、比例的に決定されることを保証する。
本開示は、マスタボットモデルに含まれる少なくとも各インテントに対するトレーニングを可能にしながら、上述の偏りを除去するためのテールバッチング技術を説明する。テール(tailed)均衡化技術は、少なくともある数の発話がバッチに含まれ、残りのバッチスロットが比例的に満たされることを可能にする、バッチにおけるインテントの比例的および静的表現のための複合アプローチを可能にする。例えば、特定の閾値より下の選択確率を有する任意のインテントが、生成されたバッチにおいて最小容量で含まれるように、モデルトレーニングのためにバッチを選択するための新規なテールバッチング技術が使用される。これは、各インテントがバッチにおいて表されるが、そのバッチは、依然として、大部分は、比例的に決定されることを保証する。
例として、トレーニングデータが6つのインテントa~fに対して提供されるシナリオを考える。表されたインテントは、以下の事項において生の複数の発話にわたって分布されてもよい:
インテント分布=[100,50,45,3,1,1]
この例では、各トレーニング実行について25個のトレーニング例のバッチが生成されると仮定する。当業者であれば、上記のトレーニングデータの単純なランダムサンプリングは、インテント「a」の有意により多いトレーニング例がバッチ内においてインテント「d」、「e」、および「f」のトレーニング例よりも含まれる結果となることを認識するであろう。これを補正するために、システムは、インテントレベルで偏りを低減するために比例均衡化技術を実行してもよい。しかしながら、均一比例均衡化などの技術を用いたバッチ化は、インテント「a」が生発話データにおいて100倍より多く表されるにもかかわらず、インテント「a」と同じ選択確率をインテント「f」に割り当てるであろう。比較的小さい発話プールを比例的に選択することによって効率を低下させることなく過剰に表される発話への偏りを排除するために、テールバッチング技術は、バッチの比例的表現が閾値量未満である場合に最小トレーニング発話をバッチに含むことを可能にする。例えば、選択の確率の特定の閾値を下回る特定の発話は、自動的に最小量でバッチに含められる。次いで、閾値以上のすべての残りの発話は、比例的選択技術に従ってバッチ間に分布されてもよい。例えば、上記の生発話データからの生の確率は、以下の分布に対応する:
生発話トレーニング分布=[0.5,0.25,0.23,0.01,0.05,0.05]
0.01のテール(tailed)閾値が与えられるとして、インテントa~dの各々はテール閾値を満たすかまたは超え、インテントeおよびfの各々はテール閾値を下回るであろう。閾値を下回るいずれのインテントも、少なくとも1つの対応する発話を、トレーニングデータの任意のバッチに含ませるべきであることを、様々な技術で指定してもよい。この場合、総数25個のバッチ発話におけるあるスロットに、インテントeおよびインテントfに対応する1つの発話が含まれるであろう。残りの23個の発話は、残りの4つのインテント間で比例して満たされるであろう。テールバッチング技術を用いて生成されたバッチについての例示的な分布は、以下の通りであってもよい:
トレーニングバッチインテント表現=[11,6,5,1,1,1]
当業者には認識されるように、トレーニングデータの選択に対する上記に述べた制約の設定は、任意の特定のインテントへの偏りを排除するであろう。しかしながら、比例技術では通常ほとんど決して選択されないであろうインテントは、バッチにおいてこれらのより表現されないインテントの過剰表現を必要とすることなく、バッチにおいて表現されてもよい。
インテント分布=[100,50,45,3,1,1]
この例では、各トレーニング実行について25個のトレーニング例のバッチが生成されると仮定する。当業者であれば、上記のトレーニングデータの単純なランダムサンプリングは、インテント「a」の有意により多いトレーニング例がバッチ内においてインテント「d」、「e」、および「f」のトレーニング例よりも含まれる結果となることを認識するであろう。これを補正するために、システムは、インテントレベルで偏りを低減するために比例均衡化技術を実行してもよい。しかしながら、均一比例均衡化などの技術を用いたバッチ化は、インテント「a」が生発話データにおいて100倍より多く表されるにもかかわらず、インテント「a」と同じ選択確率をインテント「f」に割り当てるであろう。比較的小さい発話プールを比例的に選択することによって効率を低下させることなく過剰に表される発話への偏りを排除するために、テールバッチング技術は、バッチの比例的表現が閾値量未満である場合に最小トレーニング発話をバッチに含むことを可能にする。例えば、選択の確率の特定の閾値を下回る特定の発話は、自動的に最小量でバッチに含められる。次いで、閾値以上のすべての残りの発話は、比例的選択技術に従ってバッチ間に分布されてもよい。例えば、上記の生発話データからの生の確率は、以下の分布に対応する:
生発話トレーニング分布=[0.5,0.25,0.23,0.01,0.05,0.05]
0.01のテール(tailed)閾値が与えられるとして、インテントa~dの各々はテール閾値を満たすかまたは超え、インテントeおよびfの各々はテール閾値を下回るであろう。閾値を下回るいずれのインテントも、少なくとも1つの対応する発話を、トレーニングデータの任意のバッチに含ませるべきであることを、様々な技術で指定してもよい。この場合、総数25個のバッチ発話におけるあるスロットに、インテントeおよびインテントfに対応する1つの発話が含まれるであろう。残りの23個の発話は、残りの4つのインテント間で比例して満たされるであろう。テールバッチング技術を用いて生成されたバッチについての例示的な分布は、以下の通りであってもよい:
トレーニングバッチインテント表現=[11,6,5,1,1,1]
当業者には認識されるように、トレーニングデータの選択に対する上記に述べた制約の設定は、任意の特定のインテントへの偏りを排除するであろう。しかしながら、比例技術では通常ほとんど決して選択されないであろうインテントは、バッチにおいてこれらのより表現されないインテントの過剰表現を必要とすることなく、バッチにおいて表現されてもよい。
3.6 自動化された混合バッチング技術
様々な実施形態では、ここで説明する技術のうちの2つ以上を使用して、モデルをトレーニングするための1つ以上のトレーニング発話をバッチングしてもよい。様々な実施形態では、2つ以上の技術を組み合わせて、複数のトレーニングバッチをバッチングしてもよい。種々の実施形態では、第1のバッチを生成するために第1の単数の技術が使用されてもよく、第2のバッチを生成するために第2の単数の技術が使用されてもよく、第1および第2のバッチは、複合バッチに組み合わせられてもよい。様々な実施形態では、ここで説明する技術は、特定の生発話データセットについて最良のバッチング技術を決定するためにパラメータとしてハイパーチューナエンティティに提供されてもよい。例えば、ハイパーチューナは、同じ生発話データセットに対してバッチ化技術の複数のインタラクションを実行し、結果として生じるバッチを比較して、最も効率的なバッチングスタイルを決定してもよい。ハイパーチューナは、それ自体が、ハイパーチューナに利用可能ないくつかのメトリックおよび技術ならびに生発話の入力セットに従って、最良のバッチ化実践を反復的に判断および学習するように、入力トレーニングデータを使用してトレーニングされ得るモデルであってもよい。
様々な実施形態では、ここで説明する技術のうちの2つ以上を使用して、モデルをトレーニングするための1つ以上のトレーニング発話をバッチングしてもよい。様々な実施形態では、2つ以上の技術を組み合わせて、複数のトレーニングバッチをバッチングしてもよい。種々の実施形態では、第1のバッチを生成するために第1の単数の技術が使用されてもよく、第2のバッチを生成するために第2の単数の技術が使用されてもよく、第1および第2のバッチは、複合バッチに組み合わせられてもよい。様々な実施形態では、ここで説明する技術は、特定の生発話データセットについて最良のバッチング技術を決定するためにパラメータとしてハイパーチューナエンティティに提供されてもよい。例えば、ハイパーチューナは、同じ生発話データセットに対してバッチ化技術の複数のインタラクションを実行し、結果として生じるバッチを比較して、最も効率的なバッチングスタイルを決定してもよい。ハイパーチューナは、それ自体が、ハイパーチューナに利用可能ないくつかのメトリックおよび技術ならびに生発話の入力セットに従って、最良のバッチ化実践を反復的に判断および学習するように、入力トレーニングデータを使用してトレーニングされ得るモデルであってもよい。
4.0 追加の例示的バッチング実施形態
図4Aは、ある実施形態による、トレーニングデータプールからトレーニングバッチを生成するための例示的実施形態を示す。具体的には、図4Aは、ここで説明される階層的バッチング技術を使用してトレーニングデータのバッチを生成する前の環境を示す。図4Aに示すように、発話データプール214などのデータプールは、複数の生の発話を含む。発話400などの生の発話は、発話に対応することが知られているスキルおよび/またはインテントに対応するメタデータを含んでもよい。例えば、発話400は、発話400がスキル「A」に対応することを示すスキルメタデータ410を含む。発話400は、発話400がスキル「A」内でインテント「1」に対応することを示すインテントメタデータ420をさらに含む。図4Aに示されていない様々な実施形態では、発話400などの発話は、ここで説明されるような重み付きバッチング技術の一部として使用されるべき、対応する発話、スキル、またはインテントに対する重みに対応するメタデータをさらに含んでもよい。
図4Aは、ある実施形態による、トレーニングデータプールからトレーニングバッチを生成するための例示的実施形態を示す。具体的には、図4Aは、ここで説明される階層的バッチング技術を使用してトレーニングデータのバッチを生成する前の環境を示す。図4Aに示すように、発話データプール214などのデータプールは、複数の生の発話を含む。発話400などの生の発話は、発話に対応することが知られているスキルおよび/またはインテントに対応するメタデータを含んでもよい。例えば、発話400は、発話400がスキル「A」に対応することを示すスキルメタデータ410を含む。発話400は、発話400がスキル「A」内でインテント「1」に対応することを示すインテントメタデータ420をさらに含む。図4Aに示されていない様々な実施形態では、発話400などの発話は、ここで説明されるような重み付きバッチング技術の一部として使用されるべき、対応する発話、スキル、またはインテントに対する重みに対応するメタデータをさらに含んでもよい。
インテント分布430は、比率間の可能なスキルおよびインテント対応関係を表示するチャートとして図4Aに示されている。インテント分布430は、図4Aでは簡略化された表として示されているが、当業者は、インテント分布が、ここで説明されるプロセスを実行するかまたはその実行を支援するために必要な任意の形態をとり得ることを認識するであろう。バッチプール224等のバッチ化されたデータのプールは、バッチスロット440を備えてもよい。バッチスロット440は、発話をバッチ化プロセスの一部として受け付けるバッチプール224内のストレージのサブセットであってもよい。
図4Bは、ある実施形態による、トレーニングデータプールからトレーニングバッチを生成するための例示的実施形態を示す。具体的には、図4Bは、ここで説明される階層的バッチ化技術を使用してトレーニングデータのバッチを生成した後の環境を示す。図4Bに示すように、発話データプール214からある数の発話が選択され、バッチプール224内のバッチスロットにコピーされている。インテント分布430は、スキルの数および各スキルに対するインテントの数について比率情報を含むように更新される。例えば、各スキル「A」および「B」についてのインテント分布は、各スキルについて、スキルの数にわたる発話確率の均等な分布を表す、「0.5」の対応するスキル比率を含む。インテント分布はさらに、各スキルの各インテントについてインテント比率に分解される。例えば、インテント「1」、「2」、「3」の各々は、スキル「A」の「0.5」比率をインテント比率間で「0.16」の等しいインテント比率のために均等に分割する。スキル「B」についての同様の数字も、3つのインテント「4」、「5」、および「6」を含む。
図4Bは、ある実施形態による、トレーニングデータプールからトレーニングバッチを生成するための例示的実施形態を示す。具体的には、図4Bは、ここで説明される階層的バッチ化技術を使用してトレーニングデータのバッチを生成した後の環境を示す。図4Bに示すように、発話データプール214からある数の発話が選択され、バッチプール224内のバッチスロットにコピーされている。インテント分布430は、スキルの数および各スキルに対するインテントの数について比率情報を含むように更新される。例えば、各スキル「A」および「B」についてのインテント分布は、各スキルについて、スキルの数にわたる発話確率の均等な分布を表す、「0.5」の対応するスキル比率を含む。インテント分布はさらに、各スキルの各インテントについてインテント比率に分解される。例えば、インテント「1」、「2」、「3」の各々は、スキル「A」の「0.5」比率をインテント比率間で「0.16」の等しいインテント比率のために均等に分割する。スキル「B」についての同様の数字も、3つのインテント「4」、「5」、および「6」を含む。
図4Bに示すように、バッチスロットの数は、インテント分布に記録されるインテントの数よりも多い。この場合、バッチングは、バッチプールにおいてインテントの各々に対応する少なくとも1つの発話を含むことを含んでもよい。例えば、インテント「1」、「2」、「3」、「4」、「5」および「6」の各々に対応するインテントメタデータを含む発話が、バッチスロットを満たすように発話データプール214からランダムに選択される。その場合、残りのバッチスロットは、インテントの数よりも少ない。したがって、残りの2つのバッチスロットは、インテント分布430において定義される選択の確率に基づいて、2つの追加の発話のランダムな選択によって満たされてもよい。図4Bに示すように、インテント「1」および「5」に対応する2つの追加の発話は、バッチプール224内のこれらの残りのバッチスロットを満たすためにランダムに選択される。図4Bに示されていない代替実施形態では、バッチプール224の各バッチスロットは、バッチプール224内に少なくとも1つの各対応するインテントを含むことなく、インテント分布430に定義される選択の確率のみに従って充填されてもよい。
5.0 インフラストラクチャ実現例
図5は、一実施形態を実現するための分散型システム500の簡略図を示す。図示の実施形態では、分散型システム500は、1つ以上の通信ネットワーク510を介してサーバ512に結合される1つ以上のクライアントコンピューティングデバイス502,504,506,および508を含む。クライアントコンピューティングデバイス502,504,506,および508は、1つ以上のアプリケーションを実行するよう構成されてもよい。
図5は、一実施形態を実現するための分散型システム500の簡略図を示す。図示の実施形態では、分散型システム500は、1つ以上の通信ネットワーク510を介してサーバ512に結合される1つ以上のクライアントコンピューティングデバイス502,504,506,および508を含む。クライアントコンピューティングデバイス502,504,506,および508は、1つ以上のアプリケーションを実行するよう構成されてもよい。
様々な実施形態では、サーバ512は、本開示で説明する処理を可能にする1つ以上のサービスまたはソフトウェアアプリケーションを実行するように適合されてもよい。
いくつかの実施形態では、サーバ512は、非仮想環境および仮想環境を含むことができる他のサービスまたはソフトウェアアプリケーションも提供してもよい。いくつかの実施形態では、これらのサービスは、クライアントコンピューティングデバイス502、504、506、および/または508のユーザに、ソフトウェア・アズ・ア・サービス(SaaS)モデル下でなど、ウェブベースまたはクラウドサービスとして提供されてもよい。クライアントコンピューティングデバイス502、504、506、および/または508を操作するユーザは、次いで、1つ以上のクライアントアプリケーションを利用して、サーバ512と対話して、これらのコンポーネントによって提供されるサービスを利用してもよい。
図5に示される構成では、サーバ512は、サーバ512によって実行される機能を実現する1つ以上のコンポーネント518、520および522を含み得る。これらのコンポーネントは、1つ以上のプロセッサ、ハードウェアコンポーネント、またはそれらの組合わせによって実行され得るソフトウェアコンポーネントを含み得る。分散型システム500とは異なり得る多種多様なシステム構成が可能であることが認識されるはずである。したがって、図5に示される実施形態は、例のシステムを実現するための分散型システムの実施形態であり、限定するよう意図されたものではない。
ユーザは、クライアントコンピューティングデバイス502、504、506および/または508を用いて、本開示の教示に従ってサーバ512と対話してもよい。クライアントデバイスは、当該クライアントデバイスのユーザが当該クライアントデバイスと対話することを可能にするインターフェイスを提供し得る。クライアントデバイスはまた、このインターフェイスを介してユーザに情報を出力してもよい。図5は4つのクライアントコンピューティングデバイスだけを示しているが、任意の数のクライアントコンピューティングデバイスがサポートされ得る。
クライアントデバイスは、ポータブルハンドヘルドデバイス、パーソナルコンピュータおよびラップトップのような汎用コンピュータ、ワークステーションコンピュータ、ウェアラブルデバイス、ゲームシステム、シンクライアント、各種メッセージングデバイス、センサまたはその他のセンシングデバイスなどの、さまざまな種類のコンピューティングシステムを含み得る。これらのコンピューティングデバイスは、さまざまな種類およびバージョンのソフトウェアアプリケーションおよびオペレーティングシステム(たとえばMicrosoft Windows(登録商標)、Apple Macintosh(登録商標)、UNIX(登録商標)またはUNIX系オペレーティングシステム、Linux(登録商標)またはLinux系オペレーティングシステム、たとえば、各種モバイルオペレーティングシステム(たとえばMicrosoft Windows Mobile(登録商標)、iOS(登録商標)、Windows Phone(登録商標)、Android(登録商標)、BlackBerry(登録商標)、Palm OS(登録商標))を含むGoogle Chrome(登録商標)OS)を含み得る。ポータブルハンドヘルドデバイスは、セルラーフォン、スマートフォン(たとえばiPhone(登録商標))、タブレット(たとえばiPad(登録商標))、携帯情報端末(PDA)などを含み得る。ウェアラブルデバイスは、Google Glass(登録商標)ヘッドマウントディスプレイおよびその他のデバイスを含み得る。ゲームシステムは、各種ハンドヘルドゲームデバイス、インターネット接続可能なゲームデバイス(たとえばKinect(登録商標)ジェスチャ入力デバイス付き/無しのMicrosoft Xbox(登録商標)ゲーム機、Sony PlayStation(登録商標)システム、Nintendo(登録商標)が提供する各種ゲームシステムなど)を含み得る。クライアントデバイスは、各種インターネット関連アプリケーション、通信アプリケーション(たとえばEメールアプリケーション、ショートメッセージサービス(SMS)アプリケーション)のような多種多様なアプリケーションを実行可能であってもよく、各種通信プロトコルを使用してもよい。
ネットワーク510は、利用可能な多様なプロトコルのうちのいずれかを用いてデータ通信をサポートできる、当該技術の当業者には周知のいずれかの種類のネットワークであればよく、上記プロトコルは、TCP/IP(伝送制御プロトコル/インターネットプロトコル)、SNA(システムネットワークアーキテクチャ)、IPX(インターネットパケット交換)、AppleTalk(登録商標)などを含むがこれらに限定されない。単に一例として、ネットワーク510は、ローカルエリアネットワーク(LAN)、Ethernet(登録商標)に基づくネットワーク、トークンリング、ワイドエリアネットワーク(WAN)、インターネット、仮想ネットワーク、仮想プライベートネットワーク(VPN)、イントラネット、エクストラネット、公衆交換電話網(PSTN)、赤外線ネットワーク、無線ネットワーク(たとえば電気電子学会(IEEE)802.11プロトコルスイートのいずれかの下で動作する無線ネットワーク、Bluetooth(登録商標)および/または任意の他の無線プロトコル)、および/またはこれらおよび/または他のネットワークの任意の組み合わせであり得る。
サーバ512は、1つ以上の汎用コンピュータ、専用サーバコンピュータ(一例としてPC(パーソナルコンピュータ)サーバ、UNIX(登録商標)サーバ、ミッドレンジサーバ、メインフレームコンピュータ、ラックマウント型サーバなどを含む)、サーバファーム、サーバクラスタ、またはその他の適切な構成および/または組み合わせで構成されてもよい。サーバ512は、仮想オペレーティングシステムを実行する1つ以上の仮想マシン、または仮想化を伴う他のコンピューティングアーキテクチャを含み得る。これはたとえば、サーバに対して仮想記憶装置を維持するように仮想化できる論理記憶装置の1つ以上のフレキシブルプールなどである。様々な実施形態において、サーバ512を、上記開示に記載の機能を提供する1つ以上のサービスまたはソフトウェアアプリケーションを実行するように適合させてもよい。
サーバ512内のコンピューティングシステムは、上記オペレーティングシステムのうちのいずれかを含む1つ以上のオペレーティングシステム、および、市販されているサーバオペレーティングシステムを実行し得る。また、サーバ512は、HTTP(ハイパーテキスト転送プロトコル)サーバ、FTP(ファイル転送プロトコル)サーバ、CGI(コモンゲートウェイインターフェイス)サーバ、JAVA(登録商標)サーバ、データベースサーバなどを含むさまざまなさらに他のサーバアプリケーションおよび/または中間層アプリケーションのうちのいずれかを実行し得る。例示的なデータベースサーバは、Oracle(登録商標)、Microsoft(登録商標)、Sybase(登録商標)、IBM(登録商標)(International Business Machines)などから市販されているものを含むが、それらに限定されない。
いくつかの実現例において、サーバ512は、クライアントコンピューティングデバイス502、504、506および508のユーザから受信したデータフィードおよび/またはイベントアップデートを解析および整理統合するための1つ以上のアプリケーションを含み得る。一例として、データフィードおよび/またはイベントアップデートは、センサデータアプリケーション、金融株式相場表示板、ネットワーク性能測定ツール(たとえば、ネットワークモニタリングおよびトラフィック管理アプリケーション)、クリックストリーム解析ツール、自動車交通モニタリングなどに関連するリアルタイムのイベントを含んでもよい、1つ以上の第三者情報源および連続データストリームから受信される、Twitter(登録商標)フィード、Facebook(登録商標)アップデートまたはリアルタイムのアップデートを含み得るが、それらに限定されない。サーバ512は、データフィードおよび/またはリアルタイムのイベントをクライアントコンピューティングデバイス502、504、506および508の1つ以上の表示デバイスを介して表示するための1つ以上のアプリケーションも含み得る。
分散型システム500はまた、1つ以上のデータリポジトリ514、516を含み得る。特定の実施形態において、これらのデータリポジトリを用いてデータおよびその他の情報を格納することができる。たとえば、データリポジトリ514、516のうちの1つ以上を用いて、ここに記載される処理によって生成されるデータ/情報、および/またはここに記載される処理のために用いられるデータもしくは情報を記憶してもよい。データリポジトリ514、516は、さまざまな場所に存在し得る。たとえば、サーバ512が使用するデータリポジトリは、サーバ512のローカル位置にあってもよく、またはサーバ512から遠隔の位置にあってもよく、ネットワークベースの接続または専用接続を介してサーバ512と通信する。データリポジトリ514、516は、異なる種類であってもよい。特定の実施形態において、サーバ512が使用するデータリポジトリは、データベース、たとえば、Oracle Corporation(登録商標)および他の製造業者が提供するデータベースのようなリレーショナルデータベースであってもよい。これらのデータベースのうちの1つ以上を、SQLフォーマットのコマンドに応じて、データの格納、アップデート、およびデータベースとの間での取り出しを可能にするように適合させてもよい。
特定の実施形態では、データリポジトリ514、516のうちの1つ以上は、アプリケーションデータを格納するためにアプリケーションによって用いられてもよい。アプリケーションが使用するデータリポジトリは、たとえば、キー値ストアリポジトリ、オブジェクトストアリポジトリ、またはファイルシステムがサポートする汎用ストレージリポジトリのようなさまざまな種類のものであってもよい。
特定の実施形態において、本開示に記載される機能は、クラウド環境を介してサービスとして提供され得る。図6は、特定の実施形態に係る、ここに記載される機能をクラウドサービスとして提供し得るクラウドベースのシステム環境の簡略化されたブロック図である。図6に示される実施形態において、クラウドインフラストラクチャシステム602は、ユーザが1つ以上のクライアントコンピューティングデバイス604、606および608を用いて要求し得る1つ以上のクラウドサービスを提供し得る。クラウドインフラストラクチャシステム602は、サーバ512に関して先に述べたものを含み得る1つ以上のコンピュータおよび/またはサーバを含み得る。クラウドインフラストラクチャシステム602内のコンピュータは、汎用コンピュータ、専用サーバコンピュータ、サーバファーム、サーバクラスタ、またはその他任意の適切な配置および/または組み合わせとして編成され得る。
ネットワーク610は、クライアント604、606、および608と、クラウドインフラストラクチャシステム602との間におけるデータの通信および交換を容易にし得る。ネットワーク610は、1つ以上のネットワークを含み得る。ネットワークは同じ種類であっても異なる種類であってもよい。ネットワーク610は、通信を容易にするために、有線および/または無線プロトコルを含む、1つ以上の通信プロトコルをサポートし得る。
図6に示される実施形態は、クラウドインフラストラクチャシステムの一例にすぎず、限定を意図したものではない。なお、その他いくつかの実施形態において、クラウドインフラストラクチャシステム602が、図6に示されるものよりも多くのコンポーネントもしくは少ないコンポーネントを有していてもよく、2つ以上のコンポーネントを組み合わせてもよく、または、異なる構成または配置のコンポーネントを有していてもよいことが、理解されるはずである。たとえば、図6は3つのクライアントコンピューティングデバイスを示しているが、代替実施形態においては、任意の数のクライアントコンピューティングデバイスがサポートされ得る。
クラウドサービスという用語は一般に、サービスプロバイダのシステム(たとえばクラウドインフラストラクチャシステム602)により、インターネット等の通信ネットワークを介してオンデマンドでユーザにとって利用可能にされるサービスを指すのに使用される。典型的に、パブリッククラウド環境では、クラウドサービスプロバイダのシステムを構成するサーバおよびシステムは、顧客自身のオンプレミスサーバおよびシステムとは異なる。クラウドサービスプロバイダのシステムは、クラウドサービスプロバイダによって管理される。よって、顧客は、別途ライセンス、サポート、またはハードウェアおよびソフトウェアリソースをサービスのために購入しなくても、クラウドサービスプロバイダが提供するクラウドサービスを利用できる。たとえば、クラウドサービスプロバイダのシステムはアプリケーションをホストし得るとともに、ユーザは、アプリケーションを実行するためにインフラストラクチャリソースを購入しなくても、インターネットを介してオンデマンドでアプリケーションをオーダーして使用し得る。クラウドサービスは、アプリケーション、リソースおよびサービスに対する容易でスケーラブルなアクセスを提供するように設計される。いくつかのプロバイダがクラウドサービスを提供する。たとえば、ミドルウェアサービス、データベースサービス、Java(登録商標)クラウドサービスなどのいくつかのクラウドサービスが、カリフォルニア州レッドウッド・ショアーズのOracle Corporation(登録商標)から提供される。
特定の実施形態において、クラウドインフラストラクチャシステム602は、ハイブリッドサービスモデルを含む、サービスとしてのソフトウェア(SaaS)モデル、サービスとしてのプラットフォーム(PaaS)モデル、サービスとしてのインフラストラクチャ(IaaS)モデルなどのさまざまなモデルを使用して、1つ以上のクラウドサービスを提供し得る。クラウドインフラストラクチャシステム602は、各種クラウドサービスのプロビジョンを可能にする、アプリケーション、ミドルウェア、データベース、およびその他のリソースのスイートを含み得る。
SaaSモデルは、アプリケーションまたはソフトウェアを、インターネットのような通信ネットワークを通して、顧客が基本となるアプリケーションのためのハードウェアまたはソフトウェアを購入しなくても、サービスとして顧客に配信することを可能にする。たとえば、SaaSモデルを用いることにより、クラウドインフラストラクチャシステム602がホストするオンデマンドアプリケーションに顧客がアクセスできるようにし得る。Oracle Corporation(登録商標)が提供するSaaSサービスの例は、人的資源/資本管理のための各種サービス、カスタマー・リレーションシップ・マネジメント(CRM)、エンタープライズ・リソース・プランニング(ERP)、サプライチェーン・マネジメント(SCM)、エンタープライズ・パフォーマンス・マネジメント(EPM)、解析サービス、ソーシャルアプリケーションなどを含むがこれらに限定されない。
IaaSモデルは一般に、インフラストラクチャリソース(たとえばサーバ、ストレージ、ハードウェアおよびネットワーキングリソース)を、クラウドサービスとして顧客に提供することにより、柔軟な計算およびストレージ機能を提供するために使用される。各種IaaSサービスがOracle Corporation(登録商標)から提供される。
PaaSモデルは一般に、顧客が、環境リソースを調達、構築、または管理しなくても、アプリケーションおよびサービスを開発、実行、および管理することを可能にするプラットフォームおよび環境リソースをサービスとして提供するために使用される。Oracle Corporation(登録商標)が提供するPaaSサービスの例は、Oracle Java Cloud Service(JCS)、Oracle Database Cloud Service(DBCS)、データ管理クラウドサービス、各種アプリケーション開発ソリューションサービスなどを含むがこれらに限定されない。
クラウドサービスは一般に、オンデマンドのセルフサービスベースで、サブスクリプションベースで、柔軟にスケーラブルで、信頼性が高く、可用性が高い、安全なやり方で提供される。たとえば、顧客は、サブスクリプションオーダーを介し、クラウドインフラストラクチャシステム602が提供する1つ以上のサービスをオーダーしてもよい。次いで、クラウドインフラストラクチャシステム602は、処理を実行することにより、顧客のサブスクリプションオーダーで要求されたサービスを提供する。例えば、ある実施形態において、ここに記載されるチャットボット関連機能を、ユーザ/定期購入者によって定期購入されるクラウドサービスとして提供してもよい。クラウドインフラストラクチャシステム602を、1つのクラウドサービスまたは複数のクラウドサービスであっても提供するように構成してもよい。
クラウドインフラストラクチャシステム602は、さまざまなデプロイメントモデルを介してクラウドサービスを提供し得る。パブリッククラウドモデルにおいて、クラウドインフラストラクチャシステム602は、第三者クラウドサービスプロバイダによって所有されていてもよく、クラウドサービスは一般のパブリックカスタマーに提供される。このカスタマーは個人または企業であってもよい。ある他の実施形態では、プライベートクラウドモデル下において、クラウドインフラストラクチャシステム602がある組織内で(たとえば企業組織内で)機能してもよく、サービスはこの組織内の顧客に提供される。たとえば、この顧客は、人事部、給与部などの企業のさまざまな部署であってもよく、企業内の個人であってもよい。ある他の実施形態では、コミュニティクラウドモデル下において、クラウドインフラストラクチャシステム602および提供されるサービスは、関連コミュニティ内のさまざまな組織で共有されてもよい。上記モデルの混成モデルなどのその他各種モデルが用いられてもよい。
クライアントコンピューティングデバイス604、606、および608は、異なるタイプであってもよく(たとえば図5に示されるデバイス502、504、506および508)、1つ以上のクライアントアプリケーションを操作可能であってもよい。ユーザは、クライアントデバイスを用いることにより、クラウドインフラストラクチャシステム602が提供するサービスを要求することなど、クラウドインフラストラクチャシステム602とのやり取りを行い得る。例えば、ユーザは、クライアントデバイスを使用して本開示に記載されているチャットボット関連サービスを要求することができる。
いくつかの実施形態において、クラウドインフラストラクチャシステム602が、実行する処理は、ビッグデータ解析を含み得る。この解析は、大きなデータセットを使用し、解析し、処理することにより、そのデータ内でさまざまな傾向、挙動、関係などを検出および視覚化することを含み得る。この解析は、1つ以上のプロセッサが、場合によっては、データを並列に処理し、データを用いてシミュレーションを実行するなどして、実行してもよい。この解析に使用されるデータは、構造化データ(たとえばデータベースに格納されたデータもしくは構造化モデルに従って構造化されたデータ)および/または非構造化データ(たとえばデータブロブ(blob)(binary large object:バイナリ・ラージ・オブジェクト))を含み得る。
図6の実施形態に示されるように、クラウドインフラストラクチャシステム602は、クラウドインフラストラクチャシステム602が提供する各種クラウドサービスのプロビジョンを容易にするために利用されるインフラストラクチャリソース630を含み得る。インフラストラクチャリソース630は、たとえば、処理リソース、ストレージまたはメモリリソース、ネットワーキングリソースなどを含み得る。
特定の実施形態において、異なる顧客に対しクラウドインフラストラクチャシステム602が提供する各種クラウドサービスをサポートするためのこれらのリソースを効率的にプロビジョニングし易くするために、リソースを、リソースのセットまたはリソースモジュール(「ポッド」とも処される)にまとめてもよい。各リソースモジュールまたはポッドは、1種類以上のリソースを予め一体化し最適化した組み合わせを含み得る。特定の実施形態において、異なるポッドを異なる種類のクラウドサービスに対して予めプロビジョニングしてもよい。たとえば、第1のポッドセットをデータベースサービスのためにプロビジョニングしてもよく、第1のポッドセット内のポッドと異なるリソースの組み合わせを含み得る第2のポッドセットをJavaサービスなどのためにプロビジョニングしてもよい。いくつかのサービスについて、これらのサービスをプロビジョニングするために割り当てられたリソースをサービス間で共有してもよい。
クラウドインフラストラクチャシステム602自体が、クラウドインフラストラクチャシステム602の異なるコンポーネントによって共有されるとともにクラウドインフラストラクチャシステム602によるサービスのプロビジョニングを容易にするサービス632を、内部で使用してもよい。これらの内部共有サービスは、セキュリティ・アイデンティティサービス、統合サービス、エンタープライズリポジトリサービス、エンタープライズマネージャサービス、ウィルススキャン・ホワイトリストサービス、高可用性、バックアップリカバリサービス、クラウドサポートを可能にするサービス、Eメールサービス、通知サービス、ファイル転送サービスなどを含み得るが、これらに限定されない。
クラウドインフラストラクチャシステム602は複数のサブシステムを含み得る。これらのサブシステムは、ソフトウェア、またはハードウェア、またはそれらの組み合わせで実現され得る。図6に示されるように、サブシステムは、クラウドインフラストラクチャシステム602のユーザまたは顧客がクラウドインフラストラクチャシステム602とやり取りすることを可能にするユーザインターフェイスサブシステム612を含み得る。ユーザインターフェイスサブシステム612は、ウェブインターフェイス614、クラウドインフラストラクチャシステム602が提供するクラウドサービスが宣伝広告され消費者による購入が可能なオンラインストアインターフェイス616、およびその他のインターフェイス618などの、各種異なるインターフェイスを含み得る。たとえば、顧客は、クライアントデバイスを用いて、クラウドインフラストラクチャシステム602がインターフェイス614、616、および618のうちの1つ以上を用いて提供する1つ以上のサービスを要求(サービス要求634)してもよい。たとえば、顧客は、オンラインストアにアクセスし、クラウドインフラストラクチャシステム602が提供するクラウドサービスをブラウズし、クラウドインフラストラクチャシステム602が提供するとともに顧客が申し込むことを所望する1つ以上のサービスについてサブスクリプションオーダーを行い得る。このサービス要求は、顧客と、顧客が申しむことを所望する1つ以上のサービスを識別する情報を含んでいてもよい。
図6に示される実施形態のような特定の実施形態において、クラウドインフラストラクチャシステム602は、新しいオーダーを処理するように構成されたオーダー管理サブシステム(order management subsystem:OMS)620を含み得る。この処理の一部として、OMS620は、既に作成されていなければ顧客のアカウントを作成し、要求されたサービスを顧客に提供するために顧客に対して課金するのに使用する課金および/またはアカウント情報を顧客から受け、顧客情報を検証し、検証後、顧客のためにこのオーダーを予約し、各種ワークフローを調整することにより、プロビジョニングのためにオーダーを準備するように、構成されてもよい。
適切に妥当性確認がなされると、OMS620は、処理、メモリ、およびネットワーキングリソースを含む、このオーダーのためのリソースをプロビジョニングするように構成されたオーダープロビジョニングサブシステム(OPS)624を呼び出し得る。プロビジョニングは、オーダーのためのリソースを割り当てることと、顧客オーダーが要求するサービスを容易にするようにリソースを構成することとを含み得る。オーダーのためにリソースをプロビジョニングするやり方およびプロビジョニングされるリソースのタイプは、顧客がオーダーしたクラウドサービスのタイプに依存し得る。たとえば、あるワークフローに従うと、OPS624を、要求されている特定のクラウドサービスを判断し、この特定のクラウドサービスのために予め構成されたであろうポッドの数を特定するように構成されてもよい。あるオーダーのために割り当てられるポッドの数は、要求されたサービスのサイズ/量/レベル/範囲に依存し得る。たとえば、割り当てるポッドの数は、サービスがサポートすべきユーザの数、サービスが要求されている期間などに基づいて決定してもよい。次に、割り当てられたポッドを、要求されたサービスを提供するために、要求している特定の顧客に合わせてカスタマイズしてもよい。
クラウドインフラストラクチャシステム602は、要求されたサービスがいつ使用できるようになるかを示すために、応答または通知644を、要求している顧客に送ってもよい。いくつかの例において、顧客が、要求したサービスの利益の使用および利用を開始できるようにする情報(たとえばリンク)を顧客に送信してもよい。
クラウドインフラストラクチャシステム602はサービスを複数の顧客に提供し得る。各顧客ごとに、クラウドインフラストラクチャシステム602は、顧客から受けた1つ以上のサブスクリプションオーダーに関連する情報を管理し、オーダーに関連する顧客データを維持し、要求されたサービスを顧客に提供する役割を果たす。また、クラウドインフラストラクチャシステム602は、申し込まれたサービスの顧客による使用に関する使用統計を収集してもよい。たとえば、統計は、使用されたストレージの量、転送されたデータの量、ユーザの数、ならびにシステムアップタイムおよびシステムダウンタイムの量などについて、収集されてもよい。この使用情報を用いて顧客に課金してもよい。課金はたとえば月ごとに行ってもよい。
クラウドインフラストラクチャシステム602は、サービスを複数の顧客に並列に提供してもよい。クラウドインフラストラクチャシステム602は、場合によっては著作権情報を含む、これらの顧客についての情報を格納してもよい。特定の実施形態において、クラウドインフラストラクチャシステム602は、顧客の情報を管理するとともに管理される情報を分離することで、ある顧客に関する情報が別の顧客に関する情報からアクセスされないようにするように構成された、アイデンティティ管理サブシステム(IMS)628を含む。IMS628は、情報アクセス管理などのアイデンティティサービス、認証および許可サービス、顧客のアイデンティティおよび役割ならびに関連する能力などを管理するためのサービスなどの、各種セキュリティ関連サービスを提供するように構成されてもよい。
図7は、特定の実施形態を実現するよう用いられてもよい例示的コンピュータシステム700を示す。例えば、いくつかの実施形態では、コンピュータシステム700は、チャットボットシステムのシステムおよびサブシステムのいずれか、ならびに上記の様々なサーバおよびコンピュータシステムを実現するために用いられ得る。図7に示されるように、コンピュータシステム700は、バスサブシステム702を介して他のいくつかのサブシステムと通信する処理サブシステム704を含むさまざまなサブシステムを含む。これらの他のサブシステムは、処理加速ユニット706、I/Oサブシステム708、ストレージサブシステム718、および通信サブシステム724を含み得る。ストレージサブシステム718は、記憶媒体722およびシステムメモリ710を含む非一時的なコンピュータ可読記憶媒体を含み得る。
バスサブシステム702は、コンピュータシステム700のさまざまなコンポーネントおよびサブシステムに意図されるように互いに通信させるための機構を提供する。バスサブシステム702は単一のバスとして概略的に示されているが、バスサブシステムの代替実施形態は複数のバスを利用してもよい。バスサブシステム702は、さまざまなバスアーキテクチャのうちのいずれかを用いる、メモリバスまたはメモリコントローラ、周辺バス、ローカルバスなどを含むいくつかのタイプのバス構造のうちのいずれかであってもよい。たとえば、このようなアーキテクチャは、業界標準アーキテクチャ(Industry Standard Architecture:ISA)バス、マイクロチャネルアーキテクチャ(Micro Channel Architecture:MCA)バス、エンハンストISA(Enhanced ISA:EISA)バス、ビデオ・エレクトロニクス・スタンダーズ・アソシエーション(Video Electronics Standards Association:VESA)ローカルバス、およびIEEE P1386.1規格に従って製造されるメザニンバスとして実現され得る周辺コンポーネントインターコネクト(Peripheral Component Interconnect:PCI)バスなどを含み得る。
処理サブシステム704は、コンピュータシステム700の動作を制御し、1つ以上のプロセッサ、特定用途向け集積回路(ASIC)、またはフィールドプログラマブルゲートアレイ(FPGA)を含み得る。プロセッサは、シングルコアまたはマルチコアプロセッサを含み得る。コンピュータシステム700の処理リソースを、1つ以上の処理ユニット732、734などに組織することができる。処理ユニットは、1つ以上のプロセッサ、同一のまたは異なるプロセッサからの1つ以上のコア、コアとプロセッサとの組み合わせ、またはコアとプロセッサとのその他の組み合わせを含み得る。いくつかの実施形態において、処理サブシステム704は、グラフィックスプロセッサ、デジタル信号プロセッサ(DSP)などのような1つ以上の専用コプロセッサを含み得る。いくつかの実施形態では、処理サブシステム704の処理ユニットの一部または全部は、特定用途向け集積回路(ASIC)またはフィールドプログラマブルゲートアレイ(FPGA)などのカスタマイズされた回路を使用し得る。
いくつかの実施形態において、処理サブシステム704内の処理ユニットは、システムメモリ710またはコンピュータ可読記憶媒体722に格納された命令を実行し得る。さまざまな実施形態において、処理ユニットはさまざまなプログラムまたはコード命令を実行するとともに、同時に実行する複数のプログラムまたはプロセスを維持し得る。任意の所定の時点で、実行されるべきプログラムコードの一部または全部は、システムメモリ710および/または潜在的に1つ以上の記憶装置を含むコンピュータ可読記憶媒体722に常駐していてもよい。適切なプログラミングを介して、処理サブシステム704は、上述のさまざまな機能を提供し得る。コンピュータシステム700が1つ以上の仮想マシンを実行している例において、1つ以上の処理ユニットが各仮想マシンに割り当ててもよい。
特定の実施形態において、コンピュータシステム700によって実行される全体的な処理を加速するように、カスタマイズされた処理を実行するために、または処理サブシステム704によって実行される処理の一部をオフロードするために、処理加速ユニット706を任意に設けることができる。
I/Oサブシステム708は、コンピュータシステム700に情報を入力するための、および/またはコンピュータシステム700から、もしくはコンピュータシステム700を介して、情報を出力するための、デバイスおよび機構を含むことができる。一般に、「入力デバイス」という語の使用は、コンピュータシステム700に情報を入力するためのすべての考えられ得るタイプのデバイスおよび機構を含むよう意図される。ユーザインターフェイス入力デバイスは、たとえば、キーボード、マウスまたはトラックボールなどのポインティングデバイス、ディスプレイに組み込まれたタッチパッドまたはタッチスクリーン、スクロールホイール、クリックホイール、ダイアル、ボタン、スイッチ、キーパッド、音声コマンド認識システムを伴う音声入力デバイス、マイクロフォン、および他のタイプの入力デバイスを含んでもよい。ユーザインターフェイス入力デバイスは、ユーザが入力デバイスを制御しそれと対話することを可能にするMicrosoft Kinect(登録商標)モーションセンサ、Microsoft Xbox(登録商標)360ゲームコントローラ、ジェスチャおよび音声コマンドを用いる入力を受信するためのインターフェイスを提供するデバイスなど、モーションセンシングおよび/またはジェスチャ認識デバイスも含んでもよい。ユーザインターフェイス入力デバイスは、ユーザから目の動き(たとえば、写真を撮っている間および/またはメニュー選択を行っている間の「まばたき」)を検出し、アイジェスチャを入力デバイス(たとえばGoogle Glass(登録商標))への入力として変換するGoogle Glass(登録商標)瞬き検出器などのアイジェスチャ認識デバイスも含んでもよい。また、ユーザインターフェイス入力デバイスは、ユーザが音声コマンドを介して音声認識システム(たとえばSiri(登録商標)ナビゲータ)と対話することを可能にする音声認識感知デバイスを含んでもよい。
ユーザインターフェイス入力デバイスの他の例は、三次元(3D)マウス、ジョイスティックまたはポインティングスティック、ゲームパッドおよびグラフィックタブレット、ならびにスピーカ、デジタルカメラ、デジタルカムコーダ、ポータブルメディアプレーヤ、ウェブカム、画像スキャナ、指紋スキャナ、バーコードリーダ3Dスキャナ、3Dプリンタ、レーザレンジファインダ、および視線追跡デバイスなどの聴覚/視覚デバイスも含んでもよいが、それらに限定されない。また、ユーザインターフェイス入力デバイスは、たとえば、コンピュータ断層撮影、磁気共鳴撮像、ポジションエミッショントモグラフィー、および医療用超音波検査デバイスなどの医療用画像化入力デバイスを含んでもよい。ユーザインターフェイス入力デバイスは、たとえば、MIDIキーボード、デジタル楽器などの音声入力デバイスも含んでもよい。
一般に、出力デバイスという語の使用は、コンピュータシステム700からユーザまたは他のコンピュータに情報を出力するための考えられるすべてのタイプのデバイスおよび機構を含むことを意図している。ユーザインターフェイス出力デバイスは、ディスプレイサブシステム、インジケータライト、または音声出力デバイスなどのような非ビジュアルディスプレイなどを含んでもよい。ディスプレイサブシステムは、陰極線管(CRT)、液晶ディスプレイ(LCD)またはプラズマディスプレイを使うものなどのフラットパネルデバイス、計画デバイス、タッチスクリーンなどであってもよい。たとえば、ユーザインターフェイス出力デバイスは、モニタ、プリンタ、スピーカ、ヘッドフォン、自動車ナビゲーションシステム、プロッタ、音声出力デバイスおよびモデムなどの、テキスト、グラフィックスおよび音声/映像情報を視覚的に伝えるさまざまな表示デバイスを含んでもよいが、それらに限定されない。
ストレージサブシステム718は、コンピュータシステム700によって使用される情報およびデータを格納するためのリポジトリまたはデータストアを提供する。ストレージサブシステム718は、いくつかの実施形態の機能を提供する基本的なプログラミングおよびデータ構成を格納するための有形の非一時的なコンピュータ可読記憶媒体を提供する。処理サブシステム704によって実行されると上述の機能を提供するソフトウェア(たとえばプログラム、コードモジュール、命令)が、ストレージサブシステム718に格納されてもよい。ソフトウェアは、処理サブシステム704の1つ以上の処理ユニットによって実行されてもよい。ストレージサブシステム718はまた、本開示の教示に従って用いられるデータを記憶するためのリポジトリを提供してもよい。
ストレージサブシステム718は、揮発性および不揮発性メモリデバイスを含む1つ以上の非一時的メモリデバイスを含み得る。図7に示すように、ストレージサブシステム718は、システムメモリ710およびコンピュータ可読記憶媒体722を含む。システムメモリ710は、プログラム実行中に命令およびデータを格納するための揮発性主ランダムアクセスメモリ(RAM)と、固定命令が格納される不揮発性読取り専用メモリ(ROM)またはフラッシュメモリとを含む、いくつかのメモリを含み得る。いくつかの実現例において、起動中などにコンピュータシステム700内の要素間における情報の転送を助ける基本的なルーチンを含むベーシックインプット/アウトプットシステム(basic input/output system:BIOS)は、典型的には、ROMに格納されてもよい。典型的に、RAMは、処理サブシステム704によって現在操作および実行されているデータおよび/またはプログラムモジュールを含む。いくつかの実現例において、システムメモリ710は、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)などのような複数の異なるタイプのメモリを含み得る。
一例として、限定を伴うことなく、図7に示されるように、システムメモリ710は、ウェブブラウザ、中間層アプリケーション、リレーショナルデータベース管理システム(RDBMS)などのような各種アプリケーションを含み得る、実行中のアプリケーションプログラム712、プログラムデータ714、およびオペレーティングシステム716を、ロードしてもよい。一例として、オペレーティングシステム716は、Microsoft Windows(登録商標)、Apple Macintosh(登録商標)および/またはLinuxオペレーティングシステム、市販されているさまざまなUNIX(登録商標)またはUNIX系オペレーティングシステム(さまざまなGNU/Linuxオペレーティングシステム、Google Chrome(登録商標)OSなどを含むがそれらに限定されない)、および/または、iOS(登録商標)、Windows Phone、Android(登録商標)OS、BlackBerry(登録商標)OS、Palm(登録商標)OSオペレーティングシステムのようなさまざまなバージョンのモバイルオペレーティングシステムなどを、含み得る。
コンピュータ可読記憶媒体722は、いくつかの実施形態の機能を提供するプログラミングおよびデータ構成を格納することができる。コンピュータ可読記憶媒体722は、コンピュータシステム700のための、コンピュータ可読命令、データ構造、プログラムモジュール、および他のデータのストレージを提供することができる。処理サブシステム704によって実行されると上記機能を提供するソフトウェア(プログラム、コードモジュール、命令)は、ストレージサブシステム718に格納されてもよい。一例として、コンピュータ可読記憶媒体722は、ハードディスクドライブ、磁気ディスクドライブ、CD ROM、DVD、Blu-Ray(登録商標)ディスクなどの光ディスクドライブ、またはその他の光学媒体のような不揮発性メモリを含み得る。コンピュータ可読記憶媒体722は、Zip(登録商標)ドライブ、フラッシュメモリカード、ユニバーサルシリアルバス(USB)フラッシュドライブ、セキュアデジタル(SD)カード、DVDディスク、デジタルビデオテープなどを含んでもよいが、それらに限定されない。コンピュータ可読記憶媒体722は、フラッシュメモリベースのSSD、エンタープライズフラッシュドライブ、ソリッドステートROMなどのような不揮発性メモリに基づくソリッドステートドライブ(SSD)、ソリッドステートRAM、ダイナミックRAM、スタティックRAMのような揮発性メモリに基づくSSD、DRAMベースのSSD、磁気抵抗RAM(MRAM)SSD、およびDRAMとフラッシュメモリベースのSSDとの組み合わせを使用するハイブリッドSSDも含み得る。
特定の実施形態において、ストレージサブシステム718は、コンピュータ可読記憶媒体722にさらに接続可能なコンピュータ可読記憶媒体リーダ720も含み得る。リーダ720は、ディスク、フラッシュドライブなどのようなメモリデバイスからデータを受け、読取るように構成されてもよい。
特定の実施形態において、コンピュータシステム700は、処理およびメモリリソースの仮想化を含むがこれに限定されない仮想化技術をサポートし得る。たとえば、コンピュータシステム700は、1つ以上の仮想マシンを実行するためのサポートを提供し得る。特定の実施形態において、コンピュータシステム700は、仮想マシンの構成および管理を容易にするハイパーバイザなどのプログラムを実行し得る。各仮想マシンには、メモリ、演算(たとえばプロセッサ、コア)、I/O、およびネットワーキングリソースを割り当てられてもよい。各仮想マシンは通常、他の仮想マシンから独立して実行される。仮想マシンは、典型的には、コンピュータシステム700によって実行される他の仮想マシンによって実行されるオペレーティングシステムと同じであり得るかまたは異なり得るそれ自体のオペレーティングシステムを実行する。したがって、潜在的に複数のオペレーティングシステムがコンピュータシステム700によって同時に実行され得る。
通信サブシステム724は、他のコンピュータシステムおよびネットワークに対するインターフェイスを提供する。通信サブシステム724は、他のシステムとコンピュータシステム700との間のデータの送受のためのインターフェイスとして機能する。たとえば、通信サブシステム724は、コンピュータシステム700が、1つ以上のクライアントデバイスとの間で情報を送受信するために、インターネットを介して1つ以上のクライアントデバイスへの通信チャネルを確立することを可能にし得る。
通信サブシステム724は、有線および/または無線通信プロトコルの両方をサポートし得る。例えば、ある実施形態において、通信サブシステム724は、(たとえば、セルラー電話技術、3G、4GもしくはEDGE(グローバル進化のための高速データレート)などの先進データネットワーク技術、WiFi(IEEE802.XXファミリー規格、もしくは他のモバイル通信技術、またはそれらのいずれかの組み合わせを用いて)無線音声および/またはデータネットワークにアクセスするための無線周波数(RF)送受信機コンポーネント、グローバルポジショニングシステム(GPS)受信機コンポーネント、および/または他のコンポーネントを含み得る。いくつかの実施形態において、通信サブシステム724は、無線インターフェイスに加えてまたはその代わりに、有線ネットワーク接続(たとえばEthernet(登録商標))を提供し得る。
通信サブシステム724は、さまざまな形式でデータを受信および送信し得る。例えば、いくつかの実施形態において、通信サブシステム724は、他の形式に加えて、構造化データフィードおよび/または非構造化データフィード726、イベントストリーム728、イベントアップデート730などの形式で入力通信を受信してもよい。たとえば、通信サブシステム724は、ソーシャルメディアネットワークおよび/またはTwitter(登録商標)フィード、Facebook(登録商標)アップデート、Rich Site Summary(RSS)フィードなどのウェブフィード、および/または1つ以上の第三者情報源からのリアルタイムアップデートなどのような他の通信サービスのユーザから、リアルタイムでデータフィード726を受信(または送信)するように構成されてもよい。
特定の実施形態において、通信サブシステム724は、連続データストリームの形式でデータを受信するように構成されてもよく、当該連続データストリームは、明確な終端を持たない、本来は連続的または無限であり得るリアルタイムイベントのイベントストリーム728および/またはイベントアップデート730を含んでもよい。連続データを生成するアプリケーションの例としては、たとえば、センサデータアプリケーション、金融株式相場表示板、ネットワーク性能測定ツール(たとえばネットワークモニタリングおよびトラフィック管理アプリケーション)、クリックストリーム解析ツール、自動車交通モニタリングなどを挙げることができる。
通信サブシステム724は、コンピュータシステム700からのデータを他のコンピュータシステムまたはネットワークに伝えるように構成されてもよい。このデータは、構造化および/または非構造化データフィード726、イベントストリーム728、イベントアップデート730などのような各種異なる形式で、コンピュータシステム700に結合された1つ以上のストリーミングデータソースコンピュータと通信し得る1つ以上のデータベースに、伝えられてもよい。
コンピュータシステム700は、ハンドヘルドポータブルデバイス(たとえばiPhone(登録商標)セルラーフォン、iPad(登録商標)コンピューティングタブレット、PDA)、ウェアラブルデバイス(たとえばGoogle Glass(登録商標)ヘッドマウントディスプレイ)、パーソナルコンピュータ、ワークステーション、メインフレーム、キオスク、サーバラック、またはその他のデータ処理システムを含む、さまざまなタイプのうちの1つであればよい。コンピュータおよびネットワークの性質が常に変化しているため、図7に示されるコンピュータシステム700の記載は、具体的な例として意図されているに過ぎない。図7に示されるシステムよりも多くのコンポーネントまたは少ないコンポーネントを有するその他多くの構成が可能である。本明細書における開示および教示に基づいて、当業者は、さまざまな実施形態を実現するための他の態様および/または方法を理解するであろう。
特定の実施形態について説明したが、さまざまな変形、変更、代替構成、および均等物が可能である。実施形態は、特定のデータ処理環境内の動作に限定されず、複数のデータ処理環境内で自由に動作させることができる。さらに、特定の実施形態を特定の一連のトランザクションおよびステップを使用して説明したが、これが限定を意図しているのではないことは当業者には明らかであるはずである。いくつかのフローチャートは動作を逐次的プロセスとして説明しているが、これらの動作のうちの多くは並列または同時に実行されてもよい。加えて、動作の順序を再指定してもよい。プロセスは図に含まれない追加のステップを有し得る。上記の実施形態の各種特徴および局面は、個別に使用されてもよく、またはともに使用されてもよい。
さらに、特定の実施形態をハードウェアとソフトウェアとの特定の組み合わせを用いて説明してきたが、ハードウェアとソフトウェアとの他の組み合わせも可能であることが理解されるはずである。特定の実施形態は、ハードウェアでのみ、またはソフトウェアでのみ、またはそれらの組み合わせを用いて実現されてもよい。本明細書に記載されたさまざまなプロセスは、同じプロセッサまたは任意の組み合わせの異なるプロセッサ上で実現されてもよい。
デバイス、システム、コンポーネントまたはモジュールが特定の動作または機能を実行するように構成されると記載されている場合、そのような構成は、たとえば、動作を実行するように電子回路を設計することにより、動作を実行するようにプログラミング可能な電子回路(マイクロプロセッサなど)をプログラミングすることにより、たとえば、非一時的なメモリ媒体に格納されたコードもしくは命令またはそれらの任意の組み合わせを実行するようにプログラミングされたコンピュータ命令もしくはコード、またはプロセッサもしくはコアを実行するなどにより、達成され得る。プロセスは、プロセス間通信のための従来の技術を含むがこれに限定されないさまざまな技術を使用して通信することができ、異なる対のプロセスは異なる技術を使用してもよく、同じ対のプロセスは異なる時間に異なる技術を使用してもよい。
本開示では具体的な詳細を示すことにより実施形態が十分に理解されるようにしている。しかしながら、実施形態はこれらの具体的な詳細がなくとも実施し得るものである。たとえば、周知の回路、プロセス、アルゴリズム、構造、および技術は、実施形態が曖昧にならないようにするために不必要な詳細事項なしで示している。本明細書は例示的な実施形態のみを提供し、他の実施形態の範囲、適用可能性、または構成を限定するよう意図されたものではない。むしろ、実施形態の上記説明は、各種実施形態を実現することを可能にする説明を当業者に提供する。要素の機能および構成の範囲内でさまざまな変更が可能である。
したがって、明細書および図面は、限定的な意味ではなく例示的なものとみなされるべきである。しかしながら、請求項に記載されているより広範な精神および範囲から逸脱することなく、追加、削減、削除、ならびに他の修正および変更がこれらになされ得ることは明らかであろう。このように、具体的な実施形態を説明してきたが、これらは限定を意図するものではない。さまざまな変形例および同等例は添付の特許請求の範囲内にある。
Claims (20)
- 方法であって、
複数の発話を取得することを含み、各発話は、複数のインテントのうちのあるインテントに対応し、前記複数のインテントの各インテントは、1つ以上のスキルのうちのあるスキルに対応し、前記方法はさらに、
前記複数の発話にわたってインテント分布を判断することを含み、前記インテント分布は複数のインテント割合を含み、前記インテント割合の各々は前記複数のインテントのうちのあるインテントに対応し、前記方法はさらに、
前記複数のインテント割合に基づいて前記複数の発話から選択されるバッチ数の発話を含むバッチを生成することと、
前記バッチからトレーニングデータのセットを前記1つ以上のスキルのための予測モデルに反復的に入力することとを含み、前記予測モデルは、目的関数の使用によって学習される複数のモデルパラメータを含むインテント分類部として構築され、前記方法はさらに、
前記目的関数を最小化または最大化することによって、前記トレーニングデータのセットで前記予測モデルをトレーニングすることを含み、トレーニングすることは、予測されるインテントとグラウンドトゥルースインテントとの間の差を測定し、前記方法はさらに、
前記トレーニングに応答して、前記予測されるインテントを生成するために前記予測モデルによって使用される前記トレーニングデータのセット内の関係を学習することと、
前記学習された関係に関連付けられる前記複数のモデルパラメータを含むトレーニングされた予測モデルを取得することとを含む、方法。 - 複数のインテントプールを生成することをさらに含み、各インテントプールは、前記複数のインテントのうちの特定のインテントに対応し、前記複数の発話のうち、前記特定のインテントに対応する各発話を含み、前記複数のインテント割合の各インテント割合は特定のインテントプールに対応し、前記バッチを生成することは、前記複数のインテント割合に基づいて前記複数のインテントプールから前記数の発話を選択することをさらに含む、請求項1に記載の方法。
- 前記複数のインテントプールから選択される各発話は、対応するインテントプールからランダムに選択される、請求項2に記載の方法。
- 前記方法はさらに、
複数の代表的割合を判断することを含み、前記複数の代表的割合の各代表的割合は、前記生成されたバッチにおいて、ある数の対応する発話にわたる、特定のインテントの比例的表現に対応し、前記方法はさらに、
前記複数の代表的割合の各代表的割合が、前記複数のインテント割合のうちの対応するインテント割合の閾値差内にあるかどうかを判断することを含み、
前記バッチを前記1つ以上のスキルに適用することによって前記1つ以上のスキルのトレーニングをすることを、前記複数の代表的割合の各代表的割合が前記複数のインテント割合のうちの対応するインテント割合の閾値差内にあると判断することに応答して実施する、請求項1に記載の方法。 - 前記インテント分布は一様分布であり、各インテント割合は、前記バッチにおける前記発話の数と前記複数のインテントにおけるインテントの数とから算出される均一な比率であり、
前記方法はさらに、前記数の発話の各特定の発話を、前記特定の発話に対応する特定のインテントおよび前記均一な比率に基づいて、前記バッチに包含するために選択することを含む、請求項1に記載の方法。 - 前記インテント分布は層状分布であり、各インテント割合は、複数の層状比率のうちのある層状比率に対応し、各層状比率は、前記バッチにおける前記発話の数の第1の比率および前記1つ以上のスキルにおけるスキルの数、ならびに特定のスキルに対応するインテントの数から計算され、
前記方法は、さらに、前記数の発話の各特定の発話を、前記特定の発話に対応する特定のインテント、前記特定のインテントに対応する特定のスキル、および前記特定のインテントに対応する特定のインテント割合に基づいて、前記バッチに包含するために選択することを含む、請求項1に記載の方法。 - 前記インテント分布は、テール分布であり、各インテント割合は、複数のテール比率のうちのあるテール比率に対応し、各テール比率は、前記複数の発話における前記発話の数の第1の比率および特定のインテントに対応する発話の数、ならびに前記バッチにおいて生成される発話の数から計算され、前記方法はさらに、
インテント閾値を下回るインテント割合に対応する1つ以上のインテントを判断することと、
前記バッチに包含するために、前記インテント閾値を下回るインテント割合に対応する1つ以上のインテントの各々に対応する少なくとも1つの発話を選択することと、
前記数の発話の各他の特定の発話を、前記特定の発話に対応する特定のインテントおよび前記特定のインテントに対応する特定のインテント割合に基づいて、前記バッチに包含するために選択することとを含む、請求項1に記載の方法。 - 前記インテント分布は重み付き分布であり、各インテント割合は重み付き比率であり、各重み付き比率は、前記複数の発話における、特定のインテントに対応する発話の数と、前記複数の発話における発話の総数とから計算され、複数の重み値のうちのある特定の重み値を乗算され、
前記方法はさらに、各特定の発話を、前記特定の発話に対応する特定のインテントおよび前記特定のインテントに対応する特定のインテント割合に基づいて、前記バッチに包含するために選択することをさらに含む、請求項1に記載の方法。 - 前記複数の重み値は、前記複数の発話に対応する前記インテントの頻度分布に部分的に基づく、請求項8に記載の方法。
- 前記複数の重み値の各重み値は、前記複数の発話のうち、特定のインテントに対応するすべての発話の平均ストリング長に部分的に基づく、請求項8に記載の方法。
- さらに、
各インテント割合はバッチ比率であり、各バッチ比率は、前記複数の発話において特定のインテントに対応する発話の数と、前記バッチに含まれるべき発話の数とから計算され、前記方法はさらに、
前記複数のインテント割合のうちの少なくとも1つのインテント割合は閾値を満たさないかまたは超えない、と判定することと、
前記複数のインテント割合のうちの少なくとも1つのインテント割合は閾値を満たさないかまたは超えない、と判定したことに応答して、前記バッチに含まれるべき発話の数を増加させることとを含む、請求項1に記載の方法。 - システムであって、
1つ以上のデータプロセッサと、
命令を含む非一時的なコンピュータ可読記憶媒体とを備え、前記命令は、前記1つ以上のデータプロセッサ上で実行されると、前記1つ以上のデータプロセッサに動作を実行させ、前記動作は、
複数の発話を取得することを含み、各発話は、複数のインテントのうちのあるインテントに対応し、前記複数のインテントの各インテントは、1つ以上のスキルのうちのあるスキルに対応し、前記動作はさらに、
前記複数の発話にわたってインテント分布を判断することを含み、前記インテント分布は複数のインテント割合を含み、前記インテント割合の各々は前記複数のインテントのうちのあるインテントに対応し、前記動作はさらに、
前記複数のインテント割合に基づいて前記複数の発話から選択されるバッチ数の発話を含むバッチを生成することと、
前記バッチからトレーニングデータのセットを前記1つ以上のスキルのための予測モデルに反復的に入力することとを含み、前記予測モデルは、目的関数の使用によって学習される複数のモデルパラメータを含むインテント分類部として構築され、前記動作はさらに、
前記目的関数を最小化または最大化することによって、前記トレーニングデータのセットで前記予測モデルをトレーニングすることを含み、それは、予測されるインテントとグラウンドトゥルースインテントとの間の差を測定し、前記動作はさらに、
前記トレーニングに応答して、前記予測されるインテントを生成するために前記予測モデルによって使用される前記トレーニングデータのセット内の関係を学習することと、
前記学習された関係に関連付けられる前記複数のモデルパラメータを含むトレーニングされた予測モデルを取得することとを含む、システム。 - さらに、前記1つ以上のデータプロセッサ上で実行されると、前記1つ以上のデータプロセッサに動作を実行させる命令を含み、前記動作は、複数のインテントプールを生成することを含み、各インテントプールは、前記複数のインテントのうちの特定のインテントに対応し、前記複数の発話のうち、前記特定のインテントに対応する各発話を含み、前記複数のインテント割合の各インテント割合は特定のインテントプールに対応し、前記バッチを生成することは、前記複数のインテント割合に基づいて前記複数のインテントプールから前記数の発話を選択することをさらに含む、請求項12に記載のシステム。
- 前記複数のインテントプールから選択される各発話は、対応するインテントプールからランダムに選択される、請求項13に記載のシステム。
- さらに、前記1つ以上のデータプロセッサ上で実行されると、前記1つ以上のデータプロセッサに動作を実行させる命令を含み、前記動作は、
複数の代表的割合を判断することを含み、前記複数の代表的割合の各代表的割合は、前記生成されたバッチにおいて、ある数の対応する発話にわたる、特定のインテントの比例的表現に対応し、前記動作はさらに、
前記複数の代表的割合の各代表的割合が、前記複数のインテント割合のうちの対応するインテント割合の閾値差内にあるかどうかを判断することを含み、
前記バッチを前記1つ以上のスキルに適用することによって前記1つ以上のスキルのトレーニングを引き起こすことは、前記複数の代表的割合の各代表的割合が前記複数のインテント割合のうちの対応するインテント割合の閾値差内にあると判断することに応答して生じる、請求項12に記載のシステム。 - さらに、前記1つ以上のデータプロセッサ上で実行されると、前記1つ以上のデータプロセッサに動作を実行させる命令を含み、前記動作では、
各インテント割合はバッチ比率であり、各バッチ比率は、前記複数の発話において特定のインテントに対応する発話の数と、前記バッチに含まれるべき発話の数とから計算され、前記動作はさらに、
前記複数のインテント割合のうちの少なくとも1つのインテント割合は閾値を満たさないかまたは超えない、と判定することと、
前記複数のインテント割合のうちの少なくとも1つのインテント割合は閾値を満たさないかまたは超えない、と判定したことに応答して、前記バッチに含まれるべき発話の数を増加させることとを含む、請求項12に記載のシステム。 - 1つ以上のプロセッサによって実行可能な複数の命令を記憶する非一時的なコンピュータ可読記憶媒体であって、前記複数の命令は、前記1つ以上のプロセッサによって実行されると、
複数の発話を取得することを引き起こし、各発話は、複数のインテントのうちのあるインテントに対応し、前記複数のインテントの各インテントは、1つ以上のスキルのうちのあるスキルに対応し、前記複数の命令は、さらに、前記1つ以上のプロセッサによって実行されると、
前記複数の発話にわたってインテント分布を判断することを引き起こし、前記インテント分布は複数のインテント割合を含み、前記インテント割合の各々は前記複数のインテントのうちのあるインテントに対応し、前記複数の命令は、さらに、前記1つ以上のプロセッサによって実行されると、
前記複数のインテント割合に基づいて前記複数の発話から選択されるバッチ数の発話を含むバッチを生成することと、
前記バッチからトレーニングデータのセットを前記1つ以上のスキルのための予測モデルに反復的に入力することとを引き起こし、前記予測モデルは、目的関数の使用によって学習される複数のモデルパラメータを含むインテント分類部として構築され、前記複数の命令は、さらに、前記1つ以上のプロセッサによって実行されると、
前記目的関数を最小化または最大化することによって、前記トレーニングデータのセットで前記予測モデルをトレーニングすることを引き起こし、それは、予測されるインテントとグラウンドトゥルースインテントとの間の差を測定し、前記複数の命令は、さらに、前記1つ以上のプロセッサによって実行されると、
前記トレーニングに応答して、前記予測されるインテントを生成するために前記予測モデルによって使用される前記トレーニングデータのセット内の関係を学習することと、
前記学習された関係に関連付けられる前記複数のモデルパラメータを含むトレーニングされた予測モデルを取得することとを引き起こす、非一時的なコンピュータ可読記憶媒体。 - さらに、命令を含み、前記命令は、前記1つ以上のプロセッサによって実行されると、複数のインテントプールを生成することを引き起こし、各インテントプールは、前記複数のインテントのうちの特定のインテントに対応し、前記複数の発話のうち、前記特定のインテントに対応する各発話を含み、前記複数のインテント割合の各インテント割合は特定のインテントプールに対応し、前記バッチを生成することは、前記複数のインテント割合に基づいて前記複数のインテントプールから前記数の発話を選択することをさらに含む、請求項17に記載の、1つ以上のプロセッサによって実行可能な複数の命令を記憶する非一時的なコンピュータ可読記憶媒体。
- 前記複数のインテントプールから選択される各発話は、対応するインテントプールからランダムに選択される、請求項18に記載の、1つ以上のプロセッサによって実行可能な複数の命令を記憶する非一時的なコンピュータ可読記憶媒体。
- さらに、命令を含み、前記命令は、前記1つ以上のプロセッサによって実行されると、
複数の代表的割合を判断することを引き起こし、前記複数の代表的割合の各代表的割合は、前記生成されたバッチにおいて、ある数の対応する発話にわたる、特定のインテントの比例的表現に対応し、前記命令は、さらに、前記1つ以上のプロセッサによって実行されると、
前記複数の代表的割合の各代表的割合が、前記複数のインテント割合のうちの対応するインテント割合の閾値差内にあるかどうかを判断することを引き起こし、
前記バッチを前記1つ以上のスキルに適用することによって前記1つ以上のスキルのトレーニングを引き起こすことは、前記複数の代表的割合の各代表的割合が前記複数のインテント割合のうちの対応するインテント割合の閾値差内にあると判断することに応答して生じる、請求項17に記載の、1つ以上のプロセッサによって実行可能な複数の命令を記憶する非一時的なコンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063002151P | 2020-03-30 | 2020-03-30 | |
US63/002,151 | 2020-03-30 | ||
PCT/US2021/024946 WO2021202569A1 (en) | 2020-03-30 | 2021-03-30 | Batching techniques for handling unbalanced training data for a chatbot |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023520420A true JP2023520420A (ja) | 2023-05-17 |
JPWO2021202569A5 JPWO2021202569A5 (ja) | 2024-03-29 |
Family
ID=77856167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022559638A Pending JP2023520420A (ja) | 2020-03-30 | 2021-03-30 | チャットボットのために不均衡なトレーニングデータを取り扱うためのバッチング技術 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210304075A1 (ja) |
EP (1) | EP4128011A1 (ja) |
JP (1) | JP2023520420A (ja) |
CN (1) | CN115485690A (ja) |
WO (1) | WO2021202569A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
CN104969289B (zh) | 2013-02-07 | 2021-05-28 | 苹果公司 | 数字助理的语音触发器 |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
DK201770429A1 (en) | 2017-05-12 | 2018-12-14 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
US20180336275A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Intelligent automated assistant for media exploration |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US11651162B2 (en) * | 2019-04-26 | 2023-05-16 | Oracle International Corporation | Composite entity for rule driven acquisition of input data to chatbots |
US11227599B2 (en) | 2019-06-01 | 2022-01-18 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
US11704474B2 (en) * | 2020-02-25 | 2023-07-18 | Transposit Corporation | Markdown data content with action binding |
US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
US11715464B2 (en) * | 2020-09-14 | 2023-08-01 | Apple Inc. | Using augmentation to create natural language models |
WO2022240918A1 (en) * | 2021-05-11 | 2022-11-17 | AskWisy, Inc. | Intelligent training and education bot |
US20220374604A1 (en) * | 2021-05-18 | 2022-11-24 | International Business Machines Corporation | Natural language bias detection in conversational system environments |
US20230008868A1 (en) * | 2021-07-08 | 2023-01-12 | Nippon Telegraph And Telephone Corporation | User authentication device, user authentication method, and user authentication computer program |
US11763803B1 (en) * | 2021-07-28 | 2023-09-19 | Asapp, Inc. | System, method, and computer program for extracting utterances corresponding to a user problem statement in a conversation between a human agent and a user |
US20230098315A1 (en) * | 2021-09-30 | 2023-03-30 | Sap Se | Training dataset generation for speech-to-text service |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120262461A1 (en) * | 2011-02-17 | 2012-10-18 | Conversive, Inc. | System and Method for the Normalization of Text |
US10909980B2 (en) * | 2017-02-27 | 2021-02-02 | SKAEL, Inc. | Machine-learning digital assistants |
US10546583B2 (en) * | 2017-08-30 | 2020-01-28 | Amazon Technologies, Inc. | Context-based device arbitration |
US10617959B2 (en) * | 2018-01-18 | 2020-04-14 | Moveworks, Inc. | Method and system for training a chatbot |
US10621976B2 (en) * | 2018-09-18 | 2020-04-14 | International Business Machines Corporation | Intent classification from multiple sources when building a conversational system |
-
2021
- 2021-03-30 CN CN202180026697.8A patent/CN115485690A/zh active Pending
- 2021-03-30 EP EP21720888.3A patent/EP4128011A1/en active Pending
- 2021-03-30 JP JP2022559638A patent/JP2023520420A/ja active Pending
- 2021-03-30 US US17/217,623 patent/US20210304075A1/en active Pending
- 2021-03-30 WO PCT/US2021/024946 patent/WO2021202569A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
US20210304075A1 (en) | 2021-09-30 |
WO2021202569A1 (en) | 2021-10-07 |
EP4128011A1 (en) | 2023-02-08 |
CN115485690A (zh) | 2022-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210304075A1 (en) | Batching techniques for handling unbalanced training data for a chatbot | |
US11657797B2 (en) | Routing for chatbots | |
US20220078140A1 (en) | Directed acyclic graph based framework for training models | |
US20210304003A1 (en) | Method and system for constraint based hyperparameter tuning | |
JP2023520416A (ja) | ドメイン外(ood)検出のための改良された技術 | |
JP2022547631A (ja) | 自然言語処理のためのストップワードデータ拡張 | |
US11989523B2 (en) | Composite entity for rule driven acquisition of input data to chatbots | |
US20210243141A1 (en) | Application initiated conversations for chatbots | |
JP2022547596A (ja) | チャットボットシステムにおける無関係な発話の検出 | |
US20220172021A1 (en) | Method and system for over-prediction in neural networks | |
JP2024503517A (ja) | 自然言語処理のための多因子モデリング | |
JP2023538923A (ja) | テキスト分類についての説明を与えるための技術 | |
JP2023544328A (ja) | チャットボットの自動スコープ外遷移 | |
US20220230462A1 (en) | Usage based resource utilization of training pool for chatbots | |
KR20240091051A (ko) | 문서들로부터의 임베딩된 데이터의 추출을 위한 딥 러닝 기술들 | |
JP2024503519A (ja) | 自然言語プロセッサのための複数特徴均衡化 | |
US20230136965A1 (en) | Prohibiting inconsistent named entity recognition tag sequences | |
US20240086767A1 (en) | Continuous hyper-parameter tuning with automatic domain weight adjustment based on periodic performance checkpoints | |
US20240095584A1 (en) | Objective function optimization in target based hyperparameter tuning | |
KR20240091214A (ko) | 데이터로부터의 질문 및 답변 쌍들의 추출을 위한 규칙-기반 기술들 | |
KR20240101703A (ko) | 사전-트레이닝된 언어 모델들에 대한 긴 텍스트를 핸들링하기 위한 시스템 및 기술들 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240318 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240318 |