JP2023520420A - チャットボットのために不均衡なトレーニングデータを取り扱うためのバッチング技術 - Google Patents

Abstract

本開示は、チャットボットシステムに関し、より詳細には、推論を実行するときに、トレーニングされた機械学習モデルから偏りが除去されるように、モデルをトレーニングするときに不均衡なトレーニングデータを扱うためのバッチング技術に関する。ある実施形態では、複数の生の発話が取得される。偏り排除分布が決定され、複数の生発話のサブセットが、偏り低減分布に従ってバッチングがなされる。結果として生じる偏りのないトレーニングデータは、予測モデルをトレーニングするために予測モデルに入力されてもよい。トレーニングされた予測モデルは、トレーニングされた予測モデルによって受信される新たな入力から偏りのない結果を予測するために取得および利用されてもよい。

Description

関連出願への相互参照
本出願は、「チャットボットのために不均衡なトレーニングデータを取り扱うためのバッチング技術（“BATCHING TECHNIQUES FOR HANDLING UNBALANCED TRAINING DATA FOR A CHATBOT”）」と題される２０２０年３月３０日に出願された米国仮特許出願第６２／００２，１５１号の利益および優先権を主張する。上記出願の全内容は、あらゆる目的のためにその全体が参照によりここに組み込まれる。

著作権
この特許出願の開示の一部は、著作権保護の対象となる資料を含む。著作権保有者は、この特許出願または特許開示の、それが特許商標庁の包袋または記録に現れているとおりの、何人による複写複製にも異議を唱えないが、それ以外の場合にはすべての著作権をどのようなものであろうと所有する。

技術分野
本開示は、チャットボットシステムに関し、より詳細には、推論決定を実行するときに、トレーニングされた機械学習モデルから偏りが低減または除去されるように、モデルをトレーニングするときに不均衡なトレーニングデータを扱うためのバッチ化技術に関する。

背景
世界中のサービスプロバイダは、彼らのサービスの顧客と通信するためにインスタントメッセージングチャットプラットフォームを利用する。プロバイダはしばしば、これらのインスタントメッセージングチャットプラットフォームを使用して、顧客に関与し、問題を解決し、または要求を満たす。例えば、あるサービスのある顧客は、顧客が経験している問題を記述してもよく、そのサービスに対する応答者は、ライブ会話中に問題を改善するステップを記述してもよい。別の例では、ある顧客は、サービスの何らかの局面を利用するために、ライブ会話の一部として応答者に要求を出してもよい。顧客またはエンドユーザとのライブ通信を容易にするために人間の応答者を使用することは、プロバイダにとって非常に費用がかかり得る。プロバイダによって提供される様々な特徴を取り扱うように人間の従業員をトレーニングすることは、時間がかかり、顧客とライブで会話する能力は、特定の期間中、特にサービスが１日中実行される場合、制限され得る。

チャットボットシステムは、顧客などのエンティティとサービスとの間の対話を管理するための様々な技術を提供する。サービスプロバイダは、顧客エンティティと通信するためにチャットボットを利用して、２人の人の間で典型的に行われる、費用および時間のかかる手動対話を排除してもよい。チャットボットシステムは、テキスト認識技術を利用して、顧客エンティティとのライブ会話に固有の特定の手掛かりおよびコンテキストを識別し、それに応答してもよい。典型的にはトレーニングを通じて高度に洗練されたインテリジェントチャットボットは、ライブ会話中に顧客とより自然に通信することができる。これは、サービスのリソースを効率的に利用しながら、顧客に合理的で快適な会話体験を提供する。インテリジェントチャットボットシステムは、チャットボットを包括的なトレーニング入力で定期的にトレーニングすることによって、継続的に改善されてもよい。チャットボットの連続トレーニングは、ボットに顧客エンティティと対話する能力を絶えず改善させ、また、新鮮かつ関連するユースケースでのトレーニングを通してボットが柔軟なままであることを可能にする。

チャットボットシステムは、それがトレーニングされるデータの質によって大きく影響される。例えば、より大量のトレーニングデータでチャットボットシステムをトレーニングすることは、典型的には、チャットボットが、より文脈的に複雑な挙動を学習し、より広い範囲の対話型状況に応答することを可能にする。高品質トレーニングデータのグループ化または「バッチ」は、チャットボットが機能を効率的に学習し、顧客エンティティとのより高品質の対話を提供することを可能にする。しかしながら、チャットボットは、より最適でないトレーニングデータが提供される場合、不良な挙動を学習することもあり得る。例えば、ある対話型コンテキストに向かって有意に偏った多数のトレーニング例を有するトレーニングデータ等の不均衡なフィードバックのバッチをチャットボットシステムに提供することは、チャットボットシステムに、偏った挙動を経時的に学習させることになる。偏った挙動は、チャットボットシステムを、エンティティとの非効率的または不正確な対話に関与させ得る。これらのアクションは、エンティティと間違ったコンテキストで対話すること、顧客エンティティに役立たない解決策を推奨すること、および／またはサービスの無関係な要素と間違って関与することによって重要なリソースを浪費することを含む。これらおよび他の偏ったチャットボット対話は、サービスプロバイダおよび対話するエンティティの両方にとって有害である。したがって、チャットボットシステムの対話モデルをトレーニングするときに、チャットボットシステムに偏りのない効率的なトレーニングデータバッチを提供することが重要である。

概要
ここに開示される技術は、概して、チャットボットに関する。より具体的には、限定されないが、ここに開示される技術は、チャットボットシステムをトレーニングするためにトレーニングデータをバッチング（batching）するための技術に関する。チャットボットは、ユーザ発話を、対話するユーザ／顧客の事前定義されたインテントなどの、異なるクラスに分類することができる。チャットボットの分類部は、入力（たとえば、ユーザ発話）に基づいて出力（たとえば、インテント）を生成するトレーニングされた機械学習（ＭＬ）モデルを含んでもよい。ＭＬモデルをトレーニングするために使用されるトレーニングデータが適切でない場合、チャットボットは、誤ったインテントをより頻繁に判定し得る。具体的には、偏ったトレーニングデータは、チャットボットシステムをトレーニングするために使用されると、チャットボットに、偏った無効な挙動を引き起こさせる。ここに開示される技術は、バッチを用いてチャットボットをトレーニングしてもよいように、効果的かつ偏りのないトレーニングデータをともにバッチングすることを可能する。偏りのないトレーニングバッチの生成は、さもなければチャットボットの学習された挙動に深く染みこむであろう偏りを大幅に低減または排除する。チャットボットモデルにおける偏りの排除は、チャットボットシステムが最も効果的でリソース効率の良い態様でトレーニングされることを可能にする。例えば、トレーニングレベルにおいて偏りを排除することによって、チャットボットを利用するサービスは、貧弱な対話挙動を、当該挙動が学習される前に防止し、そうでなければチャットボットを再トレーニングするのに費やされる貴重な時間およびリソースを節約し得る。トレーニングレベルにおける偏った挙動の排除はまた、そうでなければ、あまりトレーニングされていないチャットボットが動作しているときに結果として生じるであろう、顧客紛糾も防止するであろう。

ここでは、方法、システム、１つ以上のプロセッサによって実行可能なプログラム、コード、または命令を記憶する非一時的なコンピュータ可読記憶媒体などを含む様々な実施形態について説明する。チャットボットシステムでは、１つ以上の発話について１つ以上のインテントを識別するためにインテント分類部をトレーニングするために、発話のトレーニングセットを用いる。発話は、会話の単語のストリングなどの、エンティティとの予想される対話であってもよい。インテントは、発話に固有である対話のコンテキスト的カテゴリであってもよい。インテント分類部は、発話とカテゴリ的インテントとの間の対応を識別するためのツールであってもよい。インテント分類部は、特定の発話の対応するインテントをより効率的に識別するために反復的にトレーニングされるように設計されたモデルであってもよい。発話のトレーニングセットは、典型的には特定のサイズの、生発話データのセットから選択される発話のバッチとして提供される。そのようなトレーニングバッチを生成するためにランダムサンプリングを使用するシステムでは、より多くのトレーニング発話でトレーニングされたインテント分類部の出力カテゴリ（たとえば、特定のインテント）は、より少ないトレーニング発話での出力カテゴリと比較して、たとえ両方のカテゴリが入力発話に等しくよくマッチするとしても、より頻繁にインテント分類部によって選択される。

したがって、そのようなシステムは、将来のトレーニング中にインテント分類部をトレーニングするとき、およびエンティティと対話するときにも、偏りを被り得る。これらの偏りは、トレーニングデータが、他の出力カテゴリと比較して、特定の出力カテゴリに対して、均衡を失した量のトレーニング発話を含む場合に生じることが多い。本開示は、インテント分類部をトレーニングするために使用されるトレーニングバッチを均衡させるための技術を使用して、この偏りを解決する。より具体的には、本システムは、インテント分布を利用して、分散された偏りのないトレーニングバッチを生成する。これは、分散された偏りのないトレーニングバッチ上でトレーニングされたインテント分類部が、各出力カテゴリをより等しく利用し、以前のランダムサンプリング法に固有の非効率的な偏りを低減することを保証する。

一実施形態は、方法に向けられ、本方法は、複数の発話を含むトレーニングデータを取得することを含み、各発話は、複数のインテントのうちのあるインテントに対応し、複数のインテントの各インテントは、１つ以上のスキルのうちのあるスキルに対応し、本方法はさらに、複数の発話にわたってインテント分布を判断することを含み、インテント分布は複数のインテント割合を含み、インテント割合の各々は複数のインテントのうちのあるインテントに対応し、本方法はさらに、複数のインテント割合に基づいて複数の発話から選択されるバッチ数の発話を含むバッチを生成することと、バッチからトレーニングデータのセットを１つ以上のスキルのための予測モデルに反復的に入力することとを含み、予測モデルは、目的関数の使用によって学習される複数のモデルパラメータを含むインテント分類部として構築され、本方法はさらに、目的関数を最小化または最大化することによって、トレーニングデータのセットで予測モデルをトレーニングすることを含み、それは、予測されるインテントとグラウンドトゥルースインテントとの間の差を測定し、本方法はさらに、トレーニングに応答して、予測されるインテントを生成するために予測モデルによって使用されるトレーニングデータのセット内の関係を学習することと、学習された関係に関連付けられる複数のモデルパラメータを含むトレーニングされた予測モデルを取得することとを含む。別の実施形態は、上記で説明した方法を含む動作を実行するよう、１つ以上のデータプロセッサと、非一時的なコンピュータ可読記憶媒体とを備えるシステムを対象とする。さらに別の実施形態は、１つ以上のプロセッサによって実行可能な複数の命令を記憶する非一時的なコンピュータ可読記憶媒体を対象とし、命令は、１つ以上のプロセッサによって実行されると、上述の方法のステップの実施を引き起こす。

これらの例示的な実施形態は、本開示を限定または定義するためではなく、その理解を助けるための例を提供するために言及される。前述は、他の特徴および実施形態とともに、以下の明細書、請求項、および添付の図面を参照すると、より明白となるであろう。

特定の実施形態によるチャットボットシステムの簡略図である。 ある実施形態による、例示的バッチ処理システムのブロック図である。 ある実施形態による、トレーニングバッチを生成し、予測モデルを取得するための例示的プロセスを示す図である。 ある実施形態による、トレーニングデータプールからトレーニングバッチを生成するための例示的実施形態を示す図である。 ある実施形態による、トレーニングデータプールからトレーニングバッチを生成するための例示的実施形態を示す図である。 一実施形態を実現するための分散システムの簡略図である。 ある実施形態による、クラウドサービスを提供するクラウドベースのシステム環境の簡略化されたブロック図である。 いくつかの実施形態を実現するために使用されてもよい例示的なコンピュータシステムを示す図である。

詳細な説明
以下の説明では、説明の目的のために、特定の詳細が、特定の実施形態の完全な理解を促すために記載される。しかしながら、様々な実施形態がこれらの具体的な詳細なしに実施されてもよいことは明らかであろう。図および記載は、限定することを意図したものではない。「例示的」という文言は、ここでは、「例、事例、または例示として供される」ことを意味するために用いられる。「例示的」としてここに記載される任意の実施形態または設計は、必ずしも、他の実施形態または設計よりも好ましいまたは有利であると解釈されるべきではない。ここで使用される「～に基づく」という文言は、必ずしもアクションについての排他的要件を意味すると解釈されるべきではなく、任意のそのようなアクションは、排他的ではなく、この文言に続く要件に少なくとも部分的に基づく、と解釈され得る。

１．０ 例示的なチャットボットシステム概要
図１は、特定の実施形態によるチャットボットシステムを組み込んだ環境１００の簡略ブロック図である。環境１００は、デジタルアシスタントビルダプラットフォーム（ＤＡＢＰ）１０２を含み、ＤＡＢＰ１０２のユーザがデジタルアシスタントまたはチャットボットシステムを作成および展開することを可能にする。ＤＡＢＰ１０２は、１つ以上のデジタルアシスタント（またはＤＡ）またはチャットボットシステムを作成するために使用することができる。例えば、図１に示すように、特定の企業を表すユーザ１０４は、ＤＡＢＰ１０２を使用して、特定の企業のユーザ用のデジタルアシスタント１０６を作成および展開することができる。例えば、銀行が、ＤＡＢＰ１０２を使用して、銀行の顧客による使用のために１つ以上のデジタルアシスタントを作成することができる。複数の企業が、同じＤＡＢＰ１０２プラットフォームを使用して、デジタルアシスタントを作成することができる。別の例として、レストラン（例えば、ピザショップ）の所有者は、ＤＡＢＰ１０２を用いて、レストランの顧客が食べ物を注文すること（例えば、ピザを注文すること）を可能にするデジタルアシスタントを作成および展開することができる。

本開示の目的のために、「デジタルアシスタント」は、デジタルアシスタントのユーザが自然言語会話を通じて様々なタスクを達成するのに役立つエンティティである。デジタルアシスタントは、ソフトウェア（たとえば、デジタルアシスタントは、１つ以上のプロセッサによって実行可能なプログラム、コード、または命令を用いて実現されるデジタルエンティティである）のみを用いて、ハードウェアを用いて、またはハードウェアとソフトウェアとの組み合わせを用いて、実現されてもよい。デジタルアシスタントは、コンピュータ、携帯電話、腕時計、器具、車両など、様々な物理的システムもしくはデバイスにおいて具現化または実現されてもよい。デジタルアシスタントは、チャットボットシステムとも称されることもある。したがって、本開示の目的のために、デジタルアシスタントおよびチャットボットシステムという文言は交換可能である。

ＤＡＢＰ１０２を使用して構築されるデジタルアシスタント１０６等のデジタルアシスタントは、デジタルアシスタントとそのユーザ１０８との間の自然言語ベースの会話を介して、種々のタスクを行うために使用されることができる。会話の一部として、ユーザは、１つ以上のユーザ入力１１０をデジタルアシスタント１０６に提供し、デジタルアシスタント１０６から応答１１２を得てもよい。会話は、入力１１０および応答１１２のうちの１つ以上を含むことができる。これらの会話を介して、ユーザは、１つ以上のタスクがデジタルアシスタント１０６によって実行されるよう要求することができ、それに応答して、デジタルアシスタント１０６は、ユーザ要求タスクを実行し、ユーザに適切な応答で応答するよう構成される。

ユーザ入力１１０は、概して自然言語形式であり、発話と呼ばれる。ユーザ発話１１０は、ユーザが文、質問、テキスト片、または単一の単語でさえタイプし、それを入力としてデジタルアシスタント１０６に提供するときなどの、テキスト形式であり得る。いくつかの実施形態では、ユーザ発話１１０は、ユーザがデジタルアシスタント１０６に入力として提供される何かを言うかまたは話すときなどの、音声入力または発話形式であり得る。発話は、典型的には、ユーザ１０８によって話される言語である。たとえば、発話は、英語または何らかの他の言語であってもよい。発話が音声形式である場合、音声入力はその特定の言語のテキスト形式の発話に変換され、次いで、テキスト発話はデジタルアシスタント１０６によって処理される。様々な音声－テキスト処理技術を用いて、音声または聴覚的入力をテキスト発話に変換してもよく、テキスト発話は、その後、デジタルアシスタント１０６によって処理される。いくつかの実施形態では、音声からテキストへの変換は、デジタルアシスタント１０６自体によって行われてもよい。

テキスト発話または音声発話であってもよい発話は、断章、文、複数の文、１つ以上の単語、１つ以上の質問、前述のタイプの組合せなどであってもよい。デジタルアシスタント１０６は、ユーザ入力の意味を理解するために発話に自然言語理解（ＮＬＵ）技術を適用するよう構成される。発話に対するＮＬＵ処理の一部として、デジタルアシスタント１０６は、発話の意味を理解するための処理を実行するように構成され、これは、発話に対応する１つ以上のインテントおよび１つ以上のエンティティを識別することを伴う。発話の意味を理解すると、デジタルアシスタント１０６は、理解された意味またはインテントに応答して１つ以上のアクションまたは動作を実行することができる。本開示の目的のために、発話は、デジタルアシスタント１０６のユーザ１０８によって直接提供されるテキスト発話であるか、または入力音声発話のテキスト形式への変換の結果であると仮定する。しかしながら、これは、いかなる態様においても限定的または制限的であることを意図するものではない。

例えば、ユーザ１０８の入力は、「私はピザを注文したい」等の発話を提供することによって、ピザが注文されることを要求してもよい。そのような発話を受信すると、デジタルアシスタント１０６は、発話の意味を理解し、適切なアクションを取るよう構成される。適切なアクションは、例えば、ユーザが注文したいピザのタイプ、ピザのサイズ、ピザの任意のトッピングなどに関する、ユーザ入力を要求する質問で、ユーザに応答することを含んでもよい。デジタルアシスタント１０６によって提供される応答はまた、自然言語形式であってもよく、典型的には入力発話と同じ言語であってもよい。これらの応答を生成することの一部として、デジタルアシスタント１０６は、自然言語生成（ＮＬＧ）を実行してもよい。ユーザがピザを注文するために、ユーザとデジタルアシスタント１０６との間の会話を介して、デジタルアシスタントは、ピザを注文するためのすべての必要な情報を提供するようにユーザを誘導してもよく、次いで、会話の終わりに、ピザを注文させてもよい。デジタルアシスタント１０６は、ピザが注文されたことを示す情報をユーザに出力することによって、会話を終了してもよい。

概念レベルでは、デジタルアシスタント１０６は、ユーザから受信された発話に応答して、種々の処理を実行する。いくつかの実施形態では、この処理は、例えば、入力発話の意味を理解すること（自然言語理解（ＮＬＵ）と呼ばれることもある）、発話に応答して実行されるべきアクションを決定すること、適切な場合にはアクションが実行されることを引き起こすこと、ユーザ発話に応答してユーザに出力されるべき応答を生成すること、応答をユーザに出力することなどを含む、一連の処理ステップまたは処理ステップのパイプラインを伴う。ＮＬＵ処理は、受信した入力発話を構文解析して発話の構造および意味を理解することと、発話を精緻化および再構成して、発話について、よりよく理解可能な形式（例えば、論理形式）または構造を展開することとを含むことができる。応答を生成することは、ＮＬＧ技術を使用することを含んでもよい。

デジタルアシスタント１０６などのデジタルアシスタントによって実行されるＮＬＵ処理は、文解析（例えば、トークン化、並べ換え、文に対する品詞タグの識別、文における固有表現の識別、文構造を表すための依存関係ツリーの生成、文の節への分割、個々の節の分析、照応形の解決、チャンク化の実行など）などの様々なＮＬＰ関連処理を含み得る。ある実施形態では、ＮＬＵ処理またはその一部は、デジタルアシスタント１０６自体によって実行される。いくつかの他の実施形態では、デジタルアシスタント１０６は、他のリソースを用いて、ＮＬＵ処理の一部を実行することができる。例えば、入力発話文の構文および構造は、構文解析、品詞タグ付け、および／または固有表現認識を用いて文を処理することによって識別されてもよい。一実現例では、英語の場合、文構造および構文を解析するために、Stanford Natural Language Processing (NLP) Groupによって提供されるもののような、構文解析、品詞タグ付け、および固有表現認識が用いられる。これらは、Stanford CoreNLPツールキットの一部として提供される。

本開示で提供される様々な例は英語の発話を示すが、これは単なる例として意味される。特定の実施形態では、デジタルアシスタント１０６は、英語以外の言語で発話を処理することもできる。デジタルアシスタント１０６は、異なる言語に対する処理を実行するよう構成されるサブシステム（例えば、ＮＬＵ機能を実現するコンポーネント）を提供してもよい。これらのサブシステムは、ＮＬＵコアサーバからのサービスコールを用いて呼び出され得るプラグ可能ユニットとして実現されてもよい。これは、ＮＬＵ処理を、異なる順序の処理を可能にすることを含めて、各言語に対して柔軟かつ拡張可能にする。言語パックは、個々の言語に対して提供されてもよく、言語パックは、ＮＬＵコアサーバからサービス提供され得るサブシステムのリストを登録することができる。

図１に示されるデジタルアシスタント１０６等のデジタルアシスタントは、限定ではないが、あるアプリケーションを介して、ソーシャルメディアプラットフォームを介して、種々のメッセージングサービスおよびアプリケーションを介して、ならびに他のアプリケーションまたはチャネル等の種々の異なるチャネルを介して、そのユーザ１０８に利用可能またはアクセス可能にされることができる。単一のデジタルアシスタントは、それのためにいくつかのチャネルを構成することができるので、異なるサービス上で同時に実行され、異なるサービスによって同時にアクセスされることができる。

デジタルアシスタントまたはチャットボットシステムは、一般に、１つ以上のスキルを含むか、または１つ以上のスキルに関連付けられる。ある実施形態では、これらのスキルは、ユーザと対話し、在庫の追跡、タイムカードの提出、経費報告の作成、食品の注文、銀行口座の確認、予約の作成、ウィジェットの購入などの特定の種類のタスクを満たすように構成された個々のチャットボット（スキルボットと呼ばれる）である。例えば、図１に示される実施形態では、デジタルアシスタントまたはチャットボットシステム１０６は、スキル１１６－１、１１６－２等を含む。本開示の目的のために、「スキル」という語は、「スキルボット」という語と同義的に用いられる。

デジタルアシスタントに関連付けられる各スキルは、ユーザとの会話を通じて、デジタルアシスタントのユーザがタスクを完了するのを助け、会話は、ユーザによって提供されるテキストまたは聴覚的入力と、スキルボットによって提供される応答との組み合わせを含むことができる。これらの応答は、ユーザへのテキストメッセージもしくは聴覚メッセージの形態、および／またはユーザが選択を行うようユーザに提示される単純なユーザインターフェイス要素（たとえば、選択リスト）を用いる形態であってもよい。

スキルまたはスキルボットをデジタルアシスタントに関連付けるかまたは追加することができる様々な方法がある。ある例では、スキルボットは企業によって開発され、次いでＤＡＢＰ１０２を用いてデジタルアシスタントに追加され得る。他の例では、スキルボットは、ＤＡＢＰ１０２を用いて開発および作成され、次いで、ＤＡＢＰ１０２を用いて作成されたデジタルアシスタントに追加され得る。さらに他の例では、ＤＡＢＰ１０２は、広範囲のタスクに向けられた複数のスキルを提供するオンラインデジタルストア（「スキルストア」と呼ばれる）を提供する。スキルストアを通じて提供されるスキルも、様々なクラウドサービスを公開してもよい。ＤＡＢＰ１０２を使用して生成されるデジタルアシスタントにスキルを追加するために、ＤＡＢＰ１０２のユーザは、ＤＡＢＰ１０２を介してスキルストアにアクセスし、所望のスキルを選択し、選択されたスキルがＤＡＢＰ１０２を使用して作成されるデジタルアシスタントに追加されることを示すことができる。スキルストアからのスキルは、そのまま、または修正された形態で、デジタルアシスタントに追加することができる（例えば、ＤＡＢＰ１０２のユーザは、スキルストアによって提供される特定のスキルボットを選択してクローニングし、選択されたスキルボットをカスタマイズまたは修正し、次いで、修正されたスキルボットを、ＤＡＢＰ１０２を用いて作成されたデジタルアシスタントに追加してもよい）。

デジタルアシスタントまたはチャットボットシステムを実現するために、様々な異なるアーキテクチャが使用されてもよい。例えば、ある実施形態では、ＤＡＢＰ１０２を用いて作成および展開されるデジタルアシスタントは、マスタボット／子（もしくはサブ）ボットパラダイムまたはアーキテクチャを用いて実現されてもよい。このパラダイムによれば、デジタルアシスタントは、スキルボットである１つ以上の子ボットと対話するマスタボットとして実現される。例えば、図１に示す実施形態では、デジタルアシスタント１０６は、マスタボット１１４と、マスタボット１１４の子ボットであるスキルボット１１６－１、１１６－２などとを含む。特定の実施形態では、デジタルアシスタント１０６自体がマスタボットとして動作すると考えられる。

マスタ・子ボットアーキテクチャに従って実現されるデジタルアシスタントは、デジタルアシスタントのユーザが、統合されたユーザインターフェイスを介して、すなわちマスタボットを介して、複数のスキルと対話することを可能にする。ユーザがデジタルアシスタントに関与すると、ユーザ入力はマスタボットによって受信される。次いで、マスタボットは、ユーザ入力発話の意味を判定するための処理を実行する。次いで、マスタボットは、発話においてユーザによって要求されたタスクがマスタボット自体によって処理され得るかどうかを判定し、そうでなければ、マスタボットは、ユーザ要求を処理するために適切なスキルボットを選択し、会話を選択されたスキルボットにルーティングする。これにより、ユーザは共通の単一のインターフェイスを介してデジタルアシスタントと会話することができ、特定のタスクを実行するよう構成されるいくつかのスキルボットを使用する能力を依然として提供することができる。例えば、企業用に開発されたデジタルアシスタントの場合、デジタルアシスタントのマスタボットは、顧客関係管理（ＣＲＭ）に関連する機能を実行するためのＣＲＭボット、企業資源計画（ＥＲＰ）に関連する機能を実行するためのＥＲＰボット、人的資本管理（ＨＣＭ）に関連する機能を実行するためのＨＣＭボットなどの特定の機能を有するスキルボットとインターフェイスすることができる。このように、デジタルアシスタントのエンドユーザまたは消費者は、共通のマスタボットインターフェイスを介してデジタルアシスタントにアクセスする方法を知るだけでよく、背後には、複数のスキルボットがユーザ要求を処理するために提供される。

ある実施形態では、マスタボット／子ボットインフラストラクチャにおいて、マスタボットは、スキルボットの利用可能なリストを認識するよう構成される。マスタボットは、様々な利用可能なスキルボット、および各スキルボットについて、各スキルボットによって実行され得るタスクを含む各スキルボットの能力を識別するメタデータへのアクセスを有してもよい。ユーザ要求を発話の形態で受信すると、マスタボットは、複数の利用可能なスキルボットから、ユーザ要求に最も良く対応できるかもしくはユーザ要求をもっとも良く処理することができる特定のスキルボットを識別または予測するよう構成される。次いで、マスタボットは、その発話（またはその発話の一部分）を、さらなる処理のために、その特定のスキルボットにルーティングする。従って、制御はマスタボットからスキルボットに流れる。マスタボットは、複数の入力および出力チャネルをサポートすることができる。

図１の実施形態は、マスタボット１１４ならびにスキルボット１１６－１、１１６－２、および１１６－３を備えるデジタルアシスタント１０６を示すが、これは限定を意図するものではない。デジタルアシスタントは、デジタルアシスタントの機能を提供する様々な他のコンポーネント（例えば、他のシステムおよびサブシステム）を含むことができる。これらのシステムおよびサブシステムは、ソフトウェア（例えば、コンピュータ可読媒体上に記憶され、１つ以上のプロセッサによって実行可能なコード、命令）のみ、ハードウェアのみ、またはソフトウェアとハードウェアとの組み合わせを用いる実現例において実現されてもよい。

ＤＡＢＰ１０２は、ＤＡＢＰ１０２のユーザが、デジタルアシスタントに関連付けられる１つ以上のスキルボットを含むデジタルアシスタントを作成することを可能にする、インフラストラクチャならびに種々のサービスおよび特徴を提供する。場合によっては、スキルボットは、既存のスキルボットをクローニングすることによって、例えば、スキルストアによって提供されるスキルボットをクローニングすることによって、作成することができる。前述のように、ＤＡＢＰ１０２は、様々なタスクを実行するための複数のスキルボットを提供するスキルストアまたはスキルカタログを提供する。ＤＡＢＰ１０２のユーザは、スキルストアからスキルボットをクローニングすることができる。必要に応じて、クローニングされたスキルボットに修正またはカスタマイズを行ってもよい。いくつかの他の事例では、ＤＡＢＰ１０２のユーザは、ＤＡＢＰ１０２によって提供されるツールおよびサービスを使用して、スキルボットをゼロから作成した。前述のように、ＤＡＢＰ１０２によって提供されるスキルストアまたはスキルカタログは、様々なタスクを実行するための複数のスキルボットを提供してもよい。

特定の実施形態では、ある高次レベルにおいて、スキルボットを作成またはカスタマイズすることは、以下のステップを含む：
（１）新たなスキルボットに対する設定を設定する
（２）スキルボットに対して１つ以上のインテントを設定する
（３）１つ以上のインテントに対して１つ以上のエンティティを設定する
（４）スキルボットをトレーニングする
（５）スキルボットのためのダイアログフローを作成する
（６）必要に応じてカスタムコンポーネントをスキルボットに追加する
（７）スキルボットをテストおよび展開する。
以下、各工程について簡単に説明する。

（１）新たなスキルボットに対する設定を設定する－様々な設定がスキルボットのために設定されてもよい。例えば、スキルボット設計者は、作成されているスキルボットの１つ以上の呼出し名を指定することができる。これらの呼出し名は、次いで、スキルボットを明示的に呼び出すためにデジタルアシスタントのユーザによって使用されることができる。例えば、ユーザは、ユーザの発話に呼出し名を入力して、対応するスキルボットを明示的に呼び出すことができる。

（２）スキルボットに対して１つ以上のインテントおよび関連付けられる例示的な発話を設定する－スキルボット設計者は、作成されているスキルボットに対して１つ以上のインテント（ボットインテントとも呼ばれる）を指定する。次いで、スキルボットは、これらの指定されたインテントに基づいてトレーニングされる。これらのインテントは、スキルボットが入力発話について推論するようにトレーニングされるカテゴリまたはクラスを表す。発話を受信すると、トレーニングされたスキルボットは、発話のインテントを推論し、推論されるインテントは、スキルボットをトレーニングするために使用されたインテントの事前定義されたセットから選択される。次いで、スキルボットは、発話に対して推論されたインテントに基づいて、その発話に応答する適切なアクションを取る。場合によっては、スキルボットのためのインテントは、スキルボットがデジタルアシスタントのユーザに対して実行することができるタスクを表す。各インテントには、インテント識別子またはインテント名が与えられる。例えば、銀行に対してトレーニングされたスキルボットの場合、そのスキルボットに対して指定されたインテントは、「CheckBalance（残高照会）」、「TransferMoney（送金）」、「DepositCheck（小切手を預け入れる）」などを含んでもよい。

スキルボットに対して定義される各インテントについて、スキルボット設計者はまた、そのインテントを代表し示す１つ以上の例示的な発話も提供してもよい。これらの例示的な発話は、ユーザがそのインテントのためにスキルボットに入力してもよい発話を表すよう意味される。例えば、残高照会のインテントについては、例示的な発話は、「What's my savings account balance?（私の普通預金口座の残高は？）」、「How much is in my checking account?（私の当座預金口座にはいくらありますか？）」、「How much money do I have in my account（私の口座にはいくらのお金がありますか？）」などを含んでもよい。したがって、典型的なユーザ発話の様々な順列が、インテントのための発話例として指定されてもよい。

インテントおよびそれらの関連付けられる例示的発話は、スキルボットをトレーニングするためのトレーニングデータとして使用される。様々な異なるトレーニング技術が使用されてもよい。このトレーニングの結果として、予測モデルが生成され、それは、発話を入力として取り込み、予測モデルによって発話について推論されたインテントを出力するよう構成される。いくつかの事例では、入力発話は、トレーニングされたモデルを使用して入力発話に対するインテントを予測または推測するよう構成される、インテント分析エンジンに提供される。次いで、スキルボットは、推論されたインテントに基づいて１つ以上のアクションを取ってもよい。

（３）１つ以上のインテントに対して１つ以上のエンティティを設定する－いくつかの例では、スキルボットがユーザ発話に適切に応答することを可能にするために追加のコンテキストが必要とされてもよい。例えば、ユーザ入力発話が、スキルボットにおいて同じインテントに解決する状況があり得る。例えば、上記の例では、発話「What's my savings account balance?（私の普通預金口座の残高は？）」および「How much is in my checking account?（私の当座預金口座にはいくらありますか？）」は両方とも、同じ残高照会のインテントに解決しているが、これらの発話は、異なることを望む異なる要求である。そのような要求を明確にするために、１つ以上のエンティティがインテントに追加される。銀行業務スキルボットの例を用いると、「checking（当座）」および「saving（普通）」と呼ばれる値を定義するAccountType（口座種類）と呼ばれるエンティティは、スキルボットがユーザ要求を解析し、適切に応答することを可能にしてもよい。上記の例では、発話は同じインテントに解決するが、AccountTypeエンティティに関連付けられる値は、２つの発話について異なる。これにより、スキルボットは、２つの発話が同じインテントに解決するにもかかわらず、２つの発話に対して場合によっては異なるアクションを実行することができる。１つ以上のエンティティは、スキルボットに対して設定された特定のインテントのために指定され得る。したがって、エンティティは、コンテキストをインテント自体に追加するために用いられる。エンティティは、インテントをより充分に記述するのに役立ち、スキルボットがユーザ要求を完了できるようにする。

ある実施形態では、２つのタイプのエンティティ、すなわち、（ａ）ＤＡＢＰ１０２によって提供される組込みエンティティ、および（２）スキルボット設計者によって指定され得るカスタムエンティティがある。組込みエンティティは、多種多様なボットとともに用いることができる汎用エンティティである。組込みエンティティの例は、限定はしないが、時間、日付、アドレス、番号、電子メールアドレス、持続時間、循環期間、通貨、電話番号、ＵＲＬなどに関連するエンティティを含む。カスタムエンティティは、よりカスタマイズされた用途に用いられる。例えば、銀行業務スキルについては、AccountTypeエンティティは、スキルボット設計者によって、当座、普通およびクレジットカードなどのようなキーワードについてユーザ入力をチェックすることによって様々な銀行取引を可能にするよう定義されてもよい。

（４）スキルボットをトレーニングする－スキルボットは、ユーザ入力を発話の形態で受信し、受信した入力を解析またはその他の方法で処理し、受信したユーザ入力に関連するインテントを識別または選択するように構成される。上述のように、スキルボットは、このためにトレーニングされなければならない。ある実施形態では、スキルボットは、そのスキルボットに対して設定されたインテント、およびそのインテントに関連付けられる例示的な発話（集合的にトレーニングデータ）に基づいてトレーニングされ、それにより、スキルボットは、ユーザ入力発話を、スキルボットの設定されたインテントの１つに解決することができる。特定の実施形態では、スキルボットは、トレーニングデータを用いてトレーニングされ、ユーザが何を言っているか（または場合によっては、何を言おうとしているか）をスキルボットが識別することを可能にする予測モデルを使用する。ＤＡＢＰ１０２は、様々な機械学習ベースのトレーニング技術、ルールベースのトレーニング技術、および／またはそれらの組み合わせを含む、スキルボットをトレーニングするためにスキルボット設計者によって用いられ得る様々な異なるトレーニング技術を提供する。ある実施形態では、トレーニングデータの一部分（例えば８０％）は、スキルボットモデルをトレーニングするために用いられ、別の部分（例えば残りの２０％）は、モデルをテストまたは検証するために用いられる。トレーニングされると、トレーニングされたモデル（トレーニングされたスキルボットと呼ばれることもある）は、次いで、ユーザ発話を処理し、それに応答するよう使用されることができる。ある場合には、ユーザの発話は、単一の回答だけを必要とし、さらなる会話を必要としない質問であり得る。このような状況に対処するために、スキルボットに対してＱ＆Ａ（質疑応答）インテントを定義してもよい。これは、スキルボットがダイアログ定義を更新する必要なしにユーザ要求に対する返答を出力することを可能にする。Ｑ＆Ａインテントは、通常のインテントと同様に生成される。Ｑ＆Ａインテントについてのダイアログフローは、通常のインテントについてのダイアログフローとは異なり得る。

（５）スキルボットのためにダイアログフローを作成する－スキルボットに対して指定されるダイアログフローは、受信されたユーザ入力に応答してスキルボットに対する異なるインテントが解決される際にスキルボットがどのように反応するかを記述する。ダイアログフローは、例えば、スキルボットがどのようにユーザ発話に応答するか、スキルボットがどのようにユーザに入力を促すか、スキルボットがどのようにデータを返すかといった、スキルボットがとる動作またはアクションを定義する。ダイアログフローは、スキルボットが辿るフローチャートのようなものである。スキルボット設計者は、マークダウン言語などの言語を用いてダイアログフローを指定する。ある実施形態では、ＯＢｏｔＭＬと呼ばれるＹＡＭＬのバージョンを用いて、スキルボットのためのダイアログフローを指定することができる。スキルボットのためのダイアログフロー定義は、スキルボット設計者に、スキルボットとスキルボットが対応するユーザとの間の対話のコレオグラフィを行わせる、会話自体のモデルとして働く。

ある実施形態では、スキルボットのダイアログフロー定義は、３つのセクションを含む：
（ａ）コンテキストセクション
（ｂ）デフォルト遷移セクション
（ｃ）状態セクション。

コンテキストセクション－スキルボット設計者は、コンテキストセクションにおいて、会話フローで用いられる変数を定義することができる。コンテキストセクションで指名され得る他の変数は、限定されないが、エラー処理のための変数、組込みエンティティまたはカスタムエンティティのための変数、スキルボットがユーザ選好を認識および持続することを可能にするユーザ変数などを含む。

デフォルト遷移セクション－スキルボットのための遷移は、ダイアログフロー状態セクションまたはデフォルト遷移セクションで定義することができる。デフォルト遷移セクションで定義される遷移は、フォールバックとして作用し、状態内に定義される適用可能な遷移がない場合または状態遷移をトリガするために必要な条件を満たせない場合にトリガされる。デフォルト遷移セクションは、スキルボットが予想外のユーザアクションをそつなく処理することを可能にするルーティングを定義するために用いられ得る。

状態セクション－ダイアログフローおよびその関連動作は、ダイアログフロー内の論理を管理する一連の一時的な状態として定義される。ダイアログフロー定義内の各状態ノードは、ダイアログのその点において必要とされる機能を提供するコンポーネントを指名する。このようにして、コンポーネントの周囲に状態を構築する。状態は、コンポーネント固有の特性を含み、コンポーネントが実行された後にトリガされる他の状態への遷移を定義する。

特別なケースのシナリオは、状態セクションを用いて取り扱うことができる。例えば、ユーザが取りかかっている第１のスキルを一時的に出て、デジタルアシスタント内で第２のスキルにおいて何かを行うというオプションを、ユーザに与えたい場合があるかもしれない。例えば、ユーザがショッピングスキルとの会話に関わっている（例えば、ユーザは、購入のために何らかの選択を行った）場合、ユーザは、銀行業務スキルにジャンプし（例えば、ユーザは、その購入に十分な金額を有することを確かめたい場合がある）、その後、ユーザの注文を完了するためにショッピングスキルに戻ることを望む場合がある。これに対処するために、第１のスキルにおけるアクションは、同じデジタルアシスタントにおいて第２の異なるスキルとの対話を開始し、次いで元のフローに戻るように構成されることができる。

（６）カスタムコンポーネントをスキルボットに追加する－上述のように、スキルボットのためにダイアログフローにおいて指定される状態は、その状態に対応する必要な機能を提供するコンポーネントを指名する。コンポーネントは、スキルボットが機能を実行することを可能にする。ある実施形態では、ＤＡＢＰ１０２は、広範囲の機能を実行するための事前設定されたコンポーネントのセットを提供する。スキルボット設計者は、これらの事前設定されたコンポーネントのうちの１つ以上を選択し、それらをスキルボットのためのダイアログフロー内の状態と関連付けることができる。スキルボット設計者はまた、ＤＡＢＰ１０２によって提供されるツールを用いてカスタムまたは新たなコンポーネントを作成し、カスタムコンポーネントをスキルボットのためのダイアログフロー内の１つ以上の状態と関連付けることができる。

（７）スキルボットをテストおよび展開する－ＤＡＢＰ１０２は、スキルボット設計者が開発中のスキルボットをテストすることを可能にするいくつかの特徴を提供する。次いで、スキルボットは、デジタルアシスタントにおいて展開され、それに含めることができる。

上記の説明は、スキルボットをどのように作成するかについて説明しているが、同様の技術を用いて、デジタルアシスタント（またはマスタボット）を作成することもできる。マスタボットまたはデジタルアシスタントレベルでは、デジタルアシスタントのために組込みシステムインテントを設定することができる。これらの組込みシステムインテントは、デジタルアシスタント自体（すなわち、マスタボット）が、デジタルアシスタントに関連付けられるスキルボットを呼び出すことなく取り扱うことができる一般的なタスクを識別するために用いられる。マスタボットに対して定義されるシステムインテントの例は、以下を含む：（１）退出：ユーザがデジタルアシスタントにおいて現在の会話またはコンテキストを終了したい旨を知らせる場合に当てはまる；（２）ヘルプ：ユーザがヘルプまたは方向付けを求める場合に当てはまる；（３）未解決のインテント（UnresolvedIntent）：退出インテントおよびヘルプインテントとうまく一致しないユーザ入力に当てはまる。デジタルアシスタントはまた、デジタルアシスタントに関連付けられる１つ以上のスキルボットに関する情報を記憶する。この情報は、マスタボットが、発話を処理するために、特定のスキルボットを選択することを可能にする。

マスタボットまたはデジタルアシスタントレベルでは、ユーザがデジタルアシスタントに句または発話を入力すると、デジタルアシスタントは、発話および関連する会話をどのようにルーティングするかを判断する処理を行うように構成される。デジタルアシスタントは、ルールベース、ＡＩベース、またはそれらの組み合わせとすることができるルーティングモデルを用いて、これを判断する。デジタルアシスタントは、ルーティングモデルを用いて、ユーザ入力発話に対応する会話が、処理のために特定のスキルにルーティングされるべきか、組込みシステムインテントに従ってデジタルアシスタントまたはマスタボット自体によって処理されるべきか、または現在の会話フローにおいて異なる状態として処理されるべきかを判断する。

特定の実施形態では、この処理の一部として、デジタルアシスタントは、ユーザ入力発話が、スキルボットを、その呼出し名を用いて明示的に識別するかどうかを判断する。呼出し名がユーザ入力に存在する場合、それは、呼出し名に対応するスキルボットの明示的な呼出しとして扱われる。そのようなシナリオでは、デジタルアシスタントは、ユーザ入力を、さらなる処理のために、明示的に呼び出されたスキルボットにルーティングすることができる。特定の、または明示的な呼出しがない場合、ある実施形態では、デジタルアシスタントは、受信されたユーザ入力発話を評価し、デジタルアシスタントに関連付けられるシステムインテントおよびスキルボットについて信頼度スコアを計算する。スキルボットまたはシステムインテントについて計算されるスコアは、ユーザ入力が、スキルボットが実行するように構成されるタスクを表すかまたはシステムインテントを表す可能性を表す。関連付けられる計算された信頼度スコアが閾値（例えば、Confidence Threshold（信頼度閾値）ルーティングパラメータ）を超えるシステムインテントまたはスキルボットは、さらなる評価の候補として選択される。次いで、デジタルアシスタントは、識別された候補から、ユーザ入力発話のさらなる処理のために、特定のシステムインテントまたはスキルボットを選択する。特定の実施形態では、１つ以上のスキルボットが候補として識別された後、それらの候補スキルに関連付けられるインテントが（各スキルに対するインテントモデルに従って）評価され、信頼度スコアが各インテントについて判断される。一般に、閾値（例えば７０％）を超える信頼度スコアを有するインテントは、候補インテントとして扱われる。特定のスキルボットが選択された場合、ユーザ発話は、さらなる処理のために、そのスキルボットにルーティングされる。システムインテントが選択された場合、選択されたシステムインテントに従って、マスタボット自体によって、１つ以上のアクションが実行される。

２．０ バッチングシステムの例
図２は、ある実施形態による、例示的バッチ処理システムのブロック図を示す。具体的には、図２は、様々な実施形態による、チャットボットをトレーニングするためのトレーニングデータをバッチングするための要素を備えるバッチ処理システム２００を示す。バッチ処理システムは、着信要求２０２を受信してもよい。着信要求２０２は、トレーニングデータのバッチを生成するためのデータを含む要求であってもよい。着信要求２０２は、複数の提案されたトレーニング発話を含む生発話データを含むバッチ生成要求であってもよい。例えば、バッチ処理システム２００は、チャットボットサービスによって運営されるシステムであってもよい。チャットボットサービスの顧客は、複数のトレーニング発話をバッチ処理システム２００に送信して、顧客の対話を処理するためにチャットボットをトレーニングするためのトレーニングデータを取得してもよい。

着信要求２０２は、通信ポータル２０４において受信されてもよい。通信ポータル２０４は、着信および発信データを処理するための、バッチ処理システム２００におけるエンティティであってもよい。通信ポータル２０４は、バッチ処理システム２００との間でデータを送受信するユーザと通信ポータル２０４が対話してもよい１つ以上の態様を決定するユーザ通信命令２０６を含んでもよい。通信ポータル２０４は、着信要求および／または着信要求に関連付けられるデータがバッチ処理システム２００内でどこにルーティングされるかを決定するバッチルーティング命令２０８をさらに含んでもよい。例えば、バッチルーティング命令２０８は、バッチ処理システム２００において、着信要求２０２に従ってバッチングされたトレーニングデータを生成することになる１つ以上のバッチ生成モジュールを決定するよう実行されてもよい。

様々な実施形態では、通信ポータル２０４が、バッチ処理システム２００において、トレーニングデータをバッチングするバッチ生成エンティティを決定すると、通信ポータルは、着信要求２０２からの生発話データ２１０をバッチ生成部２１２に転送してもよい。バッチ生成部２１２は、チャットボットをトレーニングするためにトレーニングデータをバッチングするための、バッチ処理システム２００内のエンティティであってもよい。バッチ生成部２１２は発話データプール２１４を含んでもよい。発話データプール２１４は、生発話データを記憶し、決定された関連付けられる出力カテゴリに基づいて発話をソートする、バッチ処理システム２００内の記憶場所であってもよい。例えば、バッチ生成部２１２は、発話データプール２１４において生発話データ２１０を受信し、生発話データ内の各発話に対応するインテントに基づいて生発話データをインテントプールにソートしてもよい。

バッチ生成部２１２は、モデル解析命令２１６などの、生発話データに基づいてバッチを生成するための命令をさらに含んでもよい。モデル解析命令２１６は、チャットボットに関連付けられるトレーニングモデルを解析して、そのモデルの１つ以上の局面を判断するための命令であってもよい。例えば、モデル解析命令２１６は、トレーニングモデルの解析を引き起こして、モデルに知られている複数のスキルおよび／またはインテントを判断してもよい。バッチ生成部２１２は、メトリック選択命令２１８を含んでもよい。メトリック選択命令２１８は、トレーニングデータのバッチを生成するためのメトリックを選択するための命令であってもよい。例えば、チャットボットトレーニングモデルについての解析された情報に基づいて、メトリック選択命令２１８は、バッチにおけるトレーニング発話の比例バッチ化のためのメトリックまたは分布の選択を引き起こしてもよい。バッチ生成部２１２は、選択された分布メトリックに基づいてバッチングするために、発話プール２１４から、ある数の発話を選択するための命令である、発話選択命令２２０を含んでもよい。バッチ生成部２１２は、当該ある数の選択された発話を１つ以上のトレーニングバッチにバッチングする方法に関する命令であってもよい、バッチ生成命令２２２を含んでもよい。例えば、バッチ生成命令２２２は、バッチごとに、ある数の選択された発話を含む、バッチデータを生成してもよい。

バッチデータは、バッチプール２２４などの、バッチ生成部２１２内のリポジトリに記憶されてもよい。次いで、バッチデータ２２６などの、生成されたバッチデータは、通信ポータル２０４に返送された後、チャットボットモデルをトレーニングするために発信バッチ２２８としてエクスポートされてもよい。バッチ処理システム２００は、データストア２３０をさらに備えてもよい。データストア２３０は、ここで説明されるプロセスを実現するために任意の数のエンティティ、リポジトリ、または命令を含んでもよく、上記で説明されるシステムエンティティのうちのいずれに結合されてもよい。データストア２３０は、トレーニングデータバッチを生成するためにバッチ処理システム２００によって利用される追加の生または合成トレーニングデータを含むリポジトリであってもよいトレーニングデータリポジトリ２３２を含んでもよい。データストア２３０は、当該ある数の発話をバッチ化するためのインテント分布を判断するために使用されるメトリックまたはモデルのリポジトリであってもよい、バッチメトリックリポジトリ２３４を含んでもよい。データストア２３０は、バッチ生成プロセスの一部として使用されてもよいユーザまたは顧客データのリポジトリであってもよい、ユーザデータリポジトリ２３６を含んでもよい。例えば、ユーザデータリポジトリ２３６は、モデル解析命令２１６に従って解析するための、ある数の既知のユーザチャットボットモデルを含んでもよい。

図２に示されるシステムおよびエンティティは、ここに記載される実施形態によるトレーニングデータのバッチングを可能にする任意の態様または構成で再構成されてもよいことが、当業者によって理解されるであろう。

３．０ 例示的バッチングプロセスおよび技術
推論を実行するときに、トレーニングされた機械学習モデルから偏りが除去されるように、モデルをトレーニングするときに不均衡なトレーニングデータを扱うためのバッチング技術が説明される。ある実施形態では、トレーニングデータのバッチを均衡させるための技術を使用して、モデルによって行われる予測（例えば、入力発話について、トレーニングされたインテント分類部によって推論されるインテント）における偏りを解決するためのバッチング技術が説明される。例えば、スキルボットは、ある発話について、インテントのセットから、あるインテントを推論するようにトレーニングされてもよい。スキルボットをトレーニングするために使用されるトレーニングデータは、発話の例と、発話ごとに、その発話に関連付けられるインテントとを含み得る。トレーニングデータは、あるインテントに対するトレーニング発話の数が別のインテントに対するトレーニング発話の数よりもはるかに多い場合、偏り得る。そのようなトレーニングデータがモデルをトレーニングするために使用されると、結果として生じるトレーニングされたモデルは、より多くのトレーニング発話例を伴うインテントを推論することに偏る。例えば、２つのインテントを有するスキルが、１０００個のトレーニング発話でトレーニングされる場合がある。９５０個のトレーニング発話はインテント１に対応し得、５０個のトレーニング発話はインテント２に対応し得る。したがって、スキルは、インテント２と比較して、インテント１に対して、より高度にトレーニングされる。したがって、このスキルのインテント分類部は、実際の顧客発話の実際のコンテキストがインテント２に対応するときでも、顧客発話のコンテキストをインテント１に誤って帰属させ得る。これは望ましくない。

不均衡はまた、多くのスキルボットの中からあるスキルボットを選択するためにモデルをトレーニングするとき、例えば、ある発話を処理するためにマスタボットが特定のスキルボットを選択しなければならないときにも、生じ得る。マスタボットをトレーニングするための利用可能なトレーニングデータは、不均衡である場合がある。これも不均衡を作り出す。そのようなトレーニングデータがマスタボットをトレーニングするために使用されると、結果として生じるトレーニングされたマスタボットモデルは、学習されたトレーニング発話例の数がより多いスキルボットを推論するように偏る。たとえば、２つのスキル、すなわち、２つのインテントを有する第１のスキル、および１つのインテントを有する第２のスキルが、９００個のトレーニング発話でトレーニングされる場合がある。各インテントは、３００のトレーニング発話に対応し得、これは、インテント分布が均衡していることを意味する。しかし、第１のスキルは、第２のスキルよりも高度にトレーニング可能であり、なぜならば、前者は後者の２倍の数のトレーニング発話を有するからである。したがって、マスタスキルボット分類部は、実際の顧客発話の実際のコンテキストが第２のスキル内のインテントに対応するときでさえ、顧客発話のコンテキストを第１のスキル内のインテントに誤って帰属させ得る。これもやはり望ましくない。ここで説明されるプロセスは、トレーニングデータのために発話をバッチングする際にこれらの偏りを低減および排除する。

図３は、ある実施形態による、トレーニングバッチを生成し、予測モデルを取得するための例示的プロセスを示す。具体的には、例示的プロセス３００は、チャットボット機能を実現するときに、より効率的な態様で対話し得る予測モデルを取得するよう、モデルをトレーニングするために、偏りが低減された、発話のトレーニングバッチを生成するためのフローチャートを示す。プロセス３００は、ステップ３１０において、複数の発話を取得することによって開始する。複数の発話は、モデル上でトレーニングされると、偏ったトレーニングされたモデルを結果として生成するであろう、複数の生発話データであってもよい。たとえば、取得された複数の発話は、着信要求２０２などの着信要求の一部として取得されてもよく、トレーニングが進行し得る前に偏りが除去されるべきである、提案された複数の発話であってもよい。

ステップ３２０において、複数の発話間のインテントの分布が判断される。分布は、取得された複数の発話、取得された複数の発話に関連付けられるメタデータ、複数の発話がトレーニングされるように提案されるモデルなどに基づいて判断されてもよい。例えば、取得された複数の発話に対応するインテントの分布は、複数の発話における各表されたインテントの相対量に基づいて判断されてもよい。別の例では、着信要求の一部として取得されるメタデータは、１つ以上の所望のインテント分布を指定してもよく、分布の判断に影響を及ぼすよう解析されてもよい。さらに別の例では、ユーザデータリポジトリ２３６などのモデルリポジトリから既知のユーザチャットボットモデルを取得してもよく、モデル解析命令２１６などの命令がそのモデルを解析して、そのモデルによって利用されるスキルおよび／またはインテントの相対分布を判断してもよい。

ステップ３３０において、ある数の発話を含むバッチが、インテントの分布に基づいて生成される。バッチは、メトリック命令２１８、発話選択命令２２０、およびバッチ生成命令２２２などの命令に基づいて生成されてもよい。命令は、バッチに包含するための当該ある数の発話の既知のサブセットまたは当該ある数の発話のサブセットの相対確率を指定してもよい。例えば、特定のインテントに対応する静的な数の発話が、バッチに包含するために自動的に選択されてもよい。別の例では、複数のインテントについての包含の相対確率が判断され、複数のインテントに対応する発話が、対応する複数のインテントの相対確率分布に基づいてバッチに包含するためにランダムに選択される。

ステップ３４０において、バッチからトレーニングデータのセットが予測モデルに入力される。トレーニングデータのセットは、予測モデルをトレーニングするために予測モデルに系統的に入力される、生成されたバッチ内の当該ある数の発話のサブセットであってもよい。様々な実施形態では、バッチからトレーニングデータを入力するステップは、生成されたバッチを、バッチからのトレーニングデータを予測モデルに反復的に提供するモデル生成システムに送るステップを含む。ステップ３５０において、予測モデルは、モデルに入力されるトレーニングデータのセットでトレーニングされる。モデルは、ここで論じられる実施形態のいずれかに従ってトレーニングされてもよい。例えば、モデルは、ある発話を解析することに基づく予測されたインテントとその発話に対応する実際のインテントとの間の差を「学習」することができるインテント分類部を含んでもよい。インテント分類部は、これらの差を使用して、インテントを完全な精度で予測する理想的なモデルに、より近く類似するように、インテント判定のためのパラメータまたは閾値を変更してもよい。

ステップ３６０において、予測モデルは、トレーニングデータのセット内において関係を学習する。学習された関係は、複数の発話の１つ以上の局面と複数の発話の対応するインテントとの間の関係であってもよい。例えば、ある予測モデルのインテント分類部は、予測されたインテントと実際の対応するインテントとの間の判断された差を使用して、発話の局面と発話に対応する可能性のあるインテントとの間の関係をモデル化してもよい。さらなる例では、それらの局面は、発話の全体的な予測されるコンテキストを判断するために解析される文字列およびコンテキスト的確率値である。全体的な予測されるコンテキストは、予測モデルによって学習された関係に基づく、可能性のあるインテントに対応する。ステップ３７０において、学習された関係に関連付けられる複数のモデルパラメータ含むトレーニングされた予測モデルが得られる。トレーニングされた予測モデルは、バッチングされたトレーニングデータを使用してトレーニング期間が完了した後の上述の予測モデルであってもよい。種々の実施形態では、取得された、トレーニングされた予測モデルを利用して、非トレーニング発話を解析し、対応するインテントを、ユーザと対話するチャットボットサービスの一部として予測する。

３．１ 均一バッチング技術
本開示は、少なくともインテントレベルを含む、上述の偏りを除去するための新規なバッチング技術を記載する。均一バッチング技術は、単一のマスタボットのレベルで、マスタボットシステムの各既知のインテントの分布にわたって、説明される。例えば、発話の分布は、複数のインテントにおけるインテントの総数に基づいて、複数のインテントの各インテントに一様に対応してもよい。各出力カテゴリ内のトレーニングデータから適切な数のトレーニング例を選択することによってトレーニングバッチが生成されるように、モデルトレーニングのためのバッチを選択するために新規なバッチング技術が使用される。このことは、バッチ上でトレーニングされたインテント分類部が、各出力カテゴリを等しくスコア付けする可能性を有することを保証する。

例として、トレーニングデータが９つの異なるインテント（ａ～ｉ）について提供されるシナリオを考える。この例では、複数のインテントａ～ｉに対するトレーニングデータは、他のインテントｂ～ｉよりも著しく多くのトレーニング例がインテントａに対して利用可能であるように、不均衡であってもよい。例えば、以下のトレーニング例がそれぞれのインテントａ～ｉの各々に対して利用可能であると考える：
インテントａ＝９００個の総トレーニング発話
インテントｂ、ｃ、ｄ＝各々２０個のトレーニング発話
インテントｅ、ｆ、ｇ、ｈ、ｉ＝各々８個のトレーニング発話
この例では、トレーニング実行ごとに１００個のトレーニング例のバッチが生成されると仮定する。当業者であれば、上記に述べたトレーニングデータの単純なランダムサンプリングは、インテントａに対する有意により多いトレーニング例が他のインテントの各々に対するトレーニング例よりもバッチに含まれる結果となることを認識し、なぜならば、インテントａからのトレーニング例は選択される可能性が９倍であるからであり、それは、（そのバッチを使用してトレーニングされたインテント分類部において）インテントａへの偏りをもたらすであろう。これを修正するために、システムは、インテントレベルで均一な均衡化を実行してもよい。これは、各インテントが、等しい選択される機会を有するように、バッチサイズの等しい部分を各インテントに割り当てることを伴う。例えば、上記のトレーニングデータに対する制約は、以下のように生成されてもよい：
インテント比率：１／（インテントの総数）＝１／９
したがって、各インテントは、対応する発話がバッチングのために選択される、１／９の機会に対応する。当業者には認識されるように、トレーニングデータの選択に対する上記の制約の設定は、各インテントが最終的なバッチにおける包含の等しい確率を達成するであろうから、任意の特定のインテントへの偏りを排除するであろう。様々な実施形態では、利用可能なバッチスロットの数がインテントの数よりも大きい場合、少なくとも１つのインテントを、バッチに包含するために、対応する発話を介して選択してもよい。様々なさらなる実施形態では、バッチ内のバッチスロットの数がインテントの数の間で公平に分割可能でない場合、第１のバッチにおいて公平に分布されなかった任意のインテントに対応する発話の包含のために、後続のバッチにおいて、ある数のバッチスロットが予約されてもよい。当業者には認識されるように、トレーニングデータの選択に対する上記に述べた制約の設定は、任意の特定のインテントへの偏りを排除し、インテントは、トレーニングデータのバッチにおいて等しく表されるであろう。

３．２ 階層的バッチング技術
本開示は、スキルボットレベルおよびマスタボットレベルの両方において、上述の偏りを除去するための新規なバッチング技術を記載する。階層的均衡化技術が、マスタボットレベルおよびスキルボットレベルで説明される。例えば、トレーニングインフラストラクチャは、異なるスキルボット間のマスタボットレベルにおける第１の階層的均衡化と、スキルボットのために設定される様々なインテント間のスキルボットレベルにおける第２の階層的均衡化とを利用する、多階層的均衡化を実行する。各出力カテゴリ内のトレーニングデータから適切な数のトレーニング例を選択することによってトレーニングバッチが生成されるように、モデルトレーニングのためのバッチを選択するために新規なバッチング技術が使用される。このことは、バッチ上でトレーニングされたインテント分類部が、各出力カテゴリを等しくスコア付けする可能性を有することを保証する。

例として、トレーニングデータが２つの別々のスキルボット（スキルＡおよびスキルＢ）に提供されるシナリオを考える。この例では、スキルＡは５つの異なるインテント（ａ～ｅ）のセットに関連付けられ、スキルＢは４つの異なるインテント（ｆ～ｉ）のセットに関連付けられると考える。この例では、２つのスキルについてのトレーニングデータは、より多くのトレーニング例がスキルＢよりもスキルＡについて利用可能であるように、不均衡であり得る。例えば、スキルＡおよびスキルＢのそれぞれのインテントの各々について、以下のトレーニング例が利用可能であると考える（キー：Ｎｉ、「ｉ」はインテントを識別し、「Ｎ」は、インテント「ｉ」についてトレーニングセットにおいて利用可能なトレーニング発話例の数を識別する）：
スキルＡ：５（ａ）＋１００（ｂ）＋１００（ｃ）＋２９５（ｄ）＋５００（ｅ）＝１０００（スキルＡの総トレーニング発話）
スキルＢ：５（ｆ）＋１０（ｇ）＋２５（ｈ）＋６０（ｉ）＝１００（スキルＢの総トレーニング発話）
この例では、トレーニング実行ごとに１００個のトレーニング例のバッチが生成されると仮定する。当業者であれば、上記のトレーニングデータの単純なランダムサンプリングは、スキルＡに対する有意により多いトレーニング例がスキルＢに対するトレーニング例よりもバッチに含まれる結果となることを認識し、なぜならば、スキルＡからのトレーニング例は選択される可能性が１０倍であるからであり、それは、（そのバッチを使用してトレーニングされたインテント分類部において）スキルＡへの偏りをもたらすであろう。これを補正するために、システムは、スキルレベルで第１の階層的均衡化を実行してもよい。これは、スキルＡおよびスキルＢが、等しい選択される機会を有するように、バッチサイズの等しい部分を各スキルに割り当てることを伴う。例えば、上記のトレーニングデータに対する制約は、以下のように生成されてもよい：
スキルＡ：５／２０００（ａ）＋１００／２０００（ｂ）＋１００／２０００（ｃ）＋２９５／２０００（ｄ）＋５００／２０００（ｅ）＝１／２
スキルＢ：５／２００（ｆ）＋１０／２００（ｇ）＋２５／２００（ｈ）＋６０／２００（ｉ）＝１／２
当業者には認識されるように、トレーニングデータの選択に対する上記に述べた制約の設定は、各スキルが等しく表されるであろうから、任意の特定のスキルへの偏りを排除するであろう。しかしながら、スキル内であっても、各インテントは均衡を失して表される。このことに対処するように、システムは、インテントレベルで第２の階層的均衡化を実行してもよい。これは、あるスキルに対するインテントの特定のセット内で各インテントに等しい比率を割り当てることを含み、したがって、それらインテントはすべて、等しい選択される機会を有する。例えば、上記のトレーニングデータに対する制約は、以下のように調整されてもよい：
スキルＡ：１／１０（ａ）＋１／１０（ｂ）＋１／１０（ｃ）＋１／１０（ｄ）＋１／１０（ｅ）＝１／２
スキルＢ：１／８（ｆ）＋１／８（ｇ）＋１／８（ｈ）＋１／８（ｉ）＝１／２
当業者には認識されるように、トレーニングデータの選択に対する上記に述べた制約の設定は、各インテントがスキル内で等しく表されるであろうから、スキル内の任意の特定のインテントへの偏りを排除するであろう。上記に述べた制約を使用して、各インテントについて、適切な数のトレーニング例を計算することができ、それは、バッチサイズに、そのバッチのうち各スキルに割り当てられた部分を乗じ、それにそのインテントに対する比率を乗じることによって、行われる。例えば、スキルＡのインテントｅについて１００個のトレーニング例のバッチに含まれるべき適切な数のトレーニング例を計算する際、バッチサイズ（例えば、１００）に、そのバッチのうち各スキルに割り当てられた部分（例えば、１／２）を乗じ、それに、そのインテントに割り当てられた比率（１／１０）を乗じる。この例では、１００＊１／２＊１／１０＝５である。したがって、スキルＡのインテントｅの出力カテゴリとともに５つのトレーニング例を含むように、１００個のトレーニング例のバッチが生成される。バッチを生成するとき、５つのトレーニング例は、スキルＡのインテントｅについて利用可能なトレーニング例からランダムに選択されてもよいことに留意されたい。

３．３ スケーリングされたバッチング技術
本開示は、ユニバーサルなスケーリングされたファクタに従って上述の偏りを除去するための新規なバッチング技術を記載する。スケーリングされた均衡化技術は、上述の均一かつ階層的な均衡化の利点を可能にし、スケーリングされたファクタまたは関数に従った追加の偏り制御を含む。例えば、トレーニングインフラストラクチャは、上述のように比例均衡化を実行してもよいが、モデルのユーザまたはモデルの管理者によって提供される定義された関数に従ってスケーリングされた割合および確率を利用してもよい。スケーリングファクタは、有害な偏りを同時に低減しながら、複数の生のトレーニング発話の特定の特性が維持されることを可能にする。

例として、トレーニングデータが５つの別々のインテントであるインテントａ～ｅに対して提供されるシナリオを考える。この例では、インテント「ａ」は、モデルの主なユースケースに対応するインテントであり、モデルによって解析されるすべての発話の約３分の１と相関すると期待される、と考える。この例では、５つのインテントについてのトレーニングデータは、インテントｂ～ｅについてよりもはるかに多くのトレーニング例がインテント「ａ」について利用可能であるように、不均衡であり得る。例えば、以下のトレーニング例がそれぞれのインテントの各々に対して利用可能であると考える：
インテントａ＝１００個の総トレーニング発話
インテントｂ＝３０個の総トレーニング発話
インテントｃ＝２０個の総トレーニング発話
インテントｄ＝１０個の総トレーニング発話
インテントｅ＝５個の総トレーニング発話
この例では、トレーニング実行ごとに１００個のトレーニング例のバッチが生成されると仮定する。当業者であれば、上記のトレーニングデータの単純なランダムサンプリングは、インテントａに対する有意により多いトレーニング例が他のインテントの各々に対するトレーニング例よりもバッチに含まれる結果となることを認識し、なぜならば、インテント「ａ」からのトレーニング例は、任意の他のインテント個々よりも、選択される可能性が少なくとも３倍であるからであり、それは、（そのバッチを使用してトレーニングされたインテント分類部において）インテントａへの偏りをもたらすであろう。しかしながら、インテント「ａ」は主なユースケースであり、発話を解析する時間の約３分の１で選択されることが期待されるはずであるので、均一なバッチング技術は、インテント「ａ」を各他のインテントと等しくトレーニングするときにこの特徴を完全に排除し得る。元の分布とのある類似度を維持しながら既存の偏りを修正するために、システムは、スケーリングされたバッチ化を実行してもよい。これは、各インテントがバッチについてコンテキスト的に正しい選択される機会を有するように、データの関数変換に従ってバッチサイズの一部分を各インテントに割り当てることを含む。例えば、ある対数スケーリング技術は、上記のトレーニングデータに対する制約を以下のように変換してもよい：
偏った生発話分布（ｘ）＝［１００，３０，２０，１０，５］
対数分布＝ｌｏｇ（ｘ）／ｓｕｍ（ｌｏｇ（ｘ））＝［０．３１，０．２３，０．２０，０．１５，０．１１］
当業者には認識されるように、トレーニングデータの選択に対する上記に述べた制約の設定は、提供される生の発話プールにおいて過剰に表された任意の特定のインテントへの偏りを低減するであろう。しかしながら、各インテントは、依然として、データ上でトレーニングされるモデルについて、ある相対的重要度に従って、比例して表されてもよい。例えば、インテント「ａ」が、モデルの動作中の時間の約３分の１で、ある発話に対応するものとして理想的に選択されることが期待されることを知ると、以下の、インテント「ａ」に対する比例的選択の分布を比較することができる：
生発話トレーニング（ａ）＝１００／（１００＋３０＋２０＋１０＋５）＝～３／５
均一バッチ化（ａ）＝１／５
対数分布（ａ）＝～１／３
したがって、上述の対数スケーリングされたバッチング技術は、モデルにとって有益であり得る、インテント「ａ」に与えられる相対的なトレーニング重要度を維持しながら、生のトレーニングデータに固有の偏りを低減する。当業者には認識されるように、上述の対数スケーリング関数技術は、トレーニングデータをバッチ化するためのスケーリング技術の一例にすぎず、任意の変換、関数、またはスケーリング技術が、この特定の技術に加えて、またはその代わりに使用されてもよい。

３．４ 重み付きバッチング技術
本開示は、重み付き分布に従って上述の偏りを除去するための新規なバッチング技術を記載する。重み付き分布技術は、上述の均一かつ階層的な均衡化の利点を可能にし、指定された重み付き分布による追加の偏り制御を含む。例えば、トレーニングインフラストラクチャは、上述のように比例均衡化を実行してもよいが、モデルのユーザまたはモデルの管理者によって提供される別個の重みの分布を利用してもよい。重み分布は、有害な偏りを同時に低減しながら、複数の生のトレーニング発話の特定の特性が維持されることを可能にする。

例として、トレーニングデータが５つの別々のインテントであるインテントａ～ｅに対して提供される上述のスケーリングされたバッチング技術のシナリオにおいて提示されるシナリオを、以下のように考える：
偏った生発話分布ｘ＝［１００，３０，２０，１０，５］
この例では、トレーニング実行ごとに１００個のトレーニング例のバッチが生成されると仮定する。当業者であれば、上記のトレーニングデータの単純なランダムサンプリングは、インテントａに対する有意により多いトレーニング例が他のインテントの各々に対するトレーニング例よりもバッチに含まれる結果となることを認識し、なぜならば、インテント「ａ」からのトレーニング例は、任意の他のインテント個々よりも、選択される可能性が少なくとも３倍であるからであり、それは、（そのバッチを使用してトレーニングされたインテント分類部において）インテントａへの偏りをもたらすであろう。しかしながら、顧客またはサービスは、特定のインテントのトレーニングのための重要度の相対的分布に対応する重みの分布を提供してもよい。ある例では、顧客は、あるモデルに対するインテント認識の相対的重要度に従って重み付き分布を提供してもよい。別の例では、顧客に代わってモデルを維持するサービスが、他のインテントに対する特定のインテントの期待される相対的重要度を判断するようバッチトレーニングデータを入力として受信するモデルを解析してもよい。例えば、顧客は、以下のように、顧客に従って０から１の範囲の重みの相対的重要度を記述する重み付き分布をバッチシステムに送信してもよい：
重み付き重要度分布ｙ＝［０．４，０．３，０．３，０．１，０．１］
バッチング技術は、ここに記載の別のバッチング技術に重み付き分布を適用して、複合重み付きバッチング分布を形成してもよい。例えば、重み付き分布は、一様分布を変換して重み付き一様分布を形成するために使用されてもよい：
重み付き一様分布＝（ｘ＊ｙ）／ｓｕｍ（ｘ＊ｙ）＝［（０．２＊０．４），（０．２＊０．３），（０．２＊０．３），（０．２＊０．１），（０．２＊０．１）］／０．２４＝［０．３３，０．２５，０．２５，０．０８，０．０８］
当業者には認識されるように、トレーニングデータの選択に対する上記に述べた制約の設定は、提供される生の発話プールにおいて過剰に表された任意の特定のインテントへの偏りを低減するであろう。しかしながら、各インテントは、依然として、所与の重み分布によって指定されるように、データ上でトレーニングされるモデルについて、ある相対的重要度に従って、比例して表されてもよい。例えば、インテント「ａ」が重み分布において０．４の相対的重みを与えられることを知っており、指定された重み分布の和が合計１．２であると仮定すると、以下の、バッチにおけるインテント「ａ」の以下の可能性のある表現は、以下の技術に従って与えられる：
生発話トレーニング（ａ）＝１００／（１００＋３０＋２０＋１０＋５）＝～３／５
均一バッチング（ａ）＝１／５
重み付き分布（ａ）＝～１／３
したがって、上述の重み付き分布バッチング技術は、モデルにとって有益であり得る、インテント「ａ」に与えられる相対的なトレーニング重要度を維持しながら、生のトレーニングデータに固有の偏りを低減する。当業者が認識し得るように、上述の既存の均一バッチング技術への重み付き分布関数の追加は、トレーニングデータをバッチングするための複合重み付け技術の一例にすぎず、任意の変換、関数、またはスケーリング技術が、この特定の技術に加えて、またはその代わりに使用されてもよい。

３．５ テール（tailed）バッチング技術
本開示は、マスタボットモデルに含まれる少なくとも各インテントに対するトレーニングを可能にしながら、上述の偏りを除去するためのテールバッチング技術を説明する。テール(tailed)均衡化技術は、少なくともある数の発話がバッチに含まれ、残りのバッチスロットが比例的に満たされることを可能にする、バッチにおけるインテントの比例的および静的表現のための複合アプローチを可能にする。例えば、特定の閾値より下の選択確率を有する任意のインテントが、生成されたバッチにおいて最小容量で含まれるように、モデルトレーニングのためにバッチを選択するための新規なテールバッチング技術が使用される。これは、各インテントがバッチにおいて表されるが、そのバッチは、依然として、大部分は、比例的に決定されることを保証する。

例として、トレーニングデータが６つのインテントａ～ｆに対して提供されるシナリオを考える。表されたインテントは、以下の事項において生の複数の発話にわたって分布されてもよい：
インテント分布＝［１００，５０，４５，３，１，１］
この例では、各トレーニング実行について２５個のトレーニング例のバッチが生成されると仮定する。当業者であれば、上記のトレーニングデータの単純なランダムサンプリングは、インテント「ａ」の有意により多いトレーニング例がバッチ内においてインテント「ｄ」、「ｅ」、および「ｆ」のトレーニング例よりも含まれる結果となることを認識するであろう。これを補正するために、システムは、インテントレベルで偏りを低減するために比例均衡化技術を実行してもよい。しかしながら、均一比例均衡化などの技術を用いたバッチ化は、インテント「ａ」が生発話データにおいて１００倍より多く表されるにもかかわらず、インテント「ａ」と同じ選択確率をインテント「ｆ」に割り当てるであろう。比較的小さい発話プールを比例的に選択することによって効率を低下させることなく過剰に表される発話への偏りを排除するために、テールバッチング技術は、バッチの比例的表現が閾値量未満である場合に最小トレーニング発話をバッチに含むことを可能にする。例えば、選択の確率の特定の閾値を下回る特定の発話は、自動的に最小量でバッチに含められる。次いで、閾値以上のすべての残りの発話は、比例的選択技術に従ってバッチ間に分布されてもよい。例えば、上記の生発話データからの生の確率は、以下の分布に対応する：
生発話トレーニング分布＝［０．５，０．２５，０．２３，０．０１，０．０５，０．０５］
０．０１のテール(tailed)閾値が与えられるとして、インテントａ～ｄの各々はテール閾値を満たすかまたは超え、インテントｅおよびｆの各々はテール閾値を下回るであろう。閾値を下回るいずれのインテントも、少なくとも１つの対応する発話を、トレーニングデータの任意のバッチに含ませるべきであることを、様々な技術で指定してもよい。この場合、総数２５個のバッチ発話におけるあるスロットに、インテントｅおよびインテントｆに対応する１つの発話が含まれるであろう。残りの２３個の発話は、残りの４つのインテント間で比例して満たされるであろう。テールバッチング技術を用いて生成されたバッチについての例示的な分布は、以下の通りであってもよい：
トレーニングバッチインテント表現＝［１１，６，５，１，１，１］
当業者には認識されるように、トレーニングデータの選択に対する上記に述べた制約の設定は、任意の特定のインテントへの偏りを排除するであろう。しかしながら、比例技術では通常ほとんど決して選択されないであろうインテントは、バッチにおいてこれらのより表現されないインテントの過剰表現を必要とすることなく、バッチにおいて表現されてもよい。

３．６ 自動化された混合バッチング技術
様々な実施形態では、ここで説明する技術のうちの２つ以上を使用して、モデルをトレーニングするための１つ以上のトレーニング発話をバッチングしてもよい。様々な実施形態では、２つ以上の技術を組み合わせて、複数のトレーニングバッチをバッチングしてもよい。種々の実施形態では、第１のバッチを生成するために第１の単数の技術が使用されてもよく、第２のバッチを生成するために第２の単数の技術が使用されてもよく、第１および第２のバッチは、複合バッチに組み合わせられてもよい。様々な実施形態では、ここで説明する技術は、特定の生発話データセットについて最良のバッチング技術を決定するためにパラメータとしてハイパーチューナエンティティに提供されてもよい。例えば、ハイパーチューナは、同じ生発話データセットに対してバッチ化技術の複数のインタラクションを実行し、結果として生じるバッチを比較して、最も効率的なバッチングスタイルを決定してもよい。ハイパーチューナは、それ自体が、ハイパーチューナに利用可能ないくつかのメトリックおよび技術ならびに生発話の入力セットに従って、最良のバッチ化実践を反復的に判断および学習するように、入力トレーニングデータを使用してトレーニングされ得るモデルであってもよい。

４．０ 追加の例示的バッチング実施形態
図４Ａは、ある実施形態による、トレーニングデータプールからトレーニングバッチを生成するための例示的実施形態を示す。具体的には、図４Ａは、ここで説明される階層的バッチング技術を使用してトレーニングデータのバッチを生成する前の環境を示す。図４Ａに示すように、発話データプール２１４などのデータプールは、複数の生の発話を含む。発話４００などの生の発話は、発話に対応することが知られているスキルおよび／またはインテントに対応するメタデータを含んでもよい。例えば、発話４００は、発話４００がスキル「Ａ」に対応することを示すスキルメタデータ４１０を含む。発話４００は、発話４００がスキル「Ａ」内でインテント「１」に対応することを示すインテントメタデータ４２０をさらに含む。図４Ａに示されていない様々な実施形態では、発話４００などの発話は、ここで説明されるような重み付きバッチング技術の一部として使用されるべき、対応する発話、スキル、またはインテントに対する重みに対応するメタデータをさらに含んでもよい。

インテント分布４３０は、比率間の可能なスキルおよびインテント対応関係を表示するチャートとして図４Ａに示されている。インテント分布４３０は、図４Ａでは簡略化された表として示されているが、当業者は、インテント分布が、ここで説明されるプロセスを実行するかまたはその実行を支援するために必要な任意の形態をとり得ることを認識するであろう。バッチプール２２４等のバッチ化されたデータのプールは、バッチスロット４４０を備えてもよい。バッチスロット４４０は、発話をバッチ化プロセスの一部として受け付けるバッチプール２２４内のストレージのサブセットであってもよい。

図４Ｂは、ある実施形態による、トレーニングデータプールからトレーニングバッチを生成するための例示的実施形態を示す。具体的には、図４Ｂは、ここで説明される階層的バッチ化技術を使用してトレーニングデータのバッチを生成した後の環境を示す。図４Ｂに示すように、発話データプール２１４からある数の発話が選択され、バッチプール２２４内のバッチスロットにコピーされている。インテント分布４３０は、スキルの数および各スキルに対するインテントの数について比率情報を含むように更新される。例えば、各スキル「Ａ」および「Ｂ」についてのインテント分布は、各スキルについて、スキルの数にわたる発話確率の均等な分布を表す、「０．５」の対応するスキル比率を含む。インテント分布はさらに、各スキルの各インテントについてインテント比率に分解される。例えば、インテント「１」、「２」、「３」の各々は、スキル「Ａ」の「０．５」比率をインテント比率間で「０．１６」の等しいインテント比率のために均等に分割する。スキル「Ｂ」についての同様の数字も、３つのインテント「４」、「５」、および「６」を含む。

図４Ｂは、ある実施形態による、トレーニングデータプールからトレーニングバッチを生成するための例示的実施形態を示す。具体的には、図４Ｂは、ここで説明される階層的バッチ化技術を使用してトレーニングデータのバッチを生成した後の環境を示す。図４Ｂに示すように、発話データプール２１４からある数の発話が選択され、バッチプール２２４内のバッチスロットにコピーされている。インテント分布４３０は、スキルの数および各スキルに対するインテントの数について比率情報を含むように更新される。例えば、各スキル「Ａ」および「Ｂ」についてのインテント分布は、各スキルについて、スキルの数にわたる発話確率の均等な分布を表す、「０．５」の対応するスキル比率を含む。インテント分布はさらに、各スキルの各インテントについてインテント比率に分解される。例えば、インテント「１」、「２」、「３」の各々は、スキル「Ａ」の「０．５」比率をインテント比率間で「０．１６」の等しいインテント比率のために均等に分割する。スキル「Ｂ」についての同様の数字も、３つのインテント「４」、「５」、および「６」を含む。

図４Ｂに示すように、バッチスロットの数は、インテント分布に記録されるインテントの数よりも多い。この場合、バッチングは、バッチプールにおいてインテントの各々に対応する少なくとも１つの発話を含むことを含んでもよい。例えば、インテント「１」、「２」、「３」、「４」、「５」および「６」の各々に対応するインテントメタデータを含む発話が、バッチスロットを満たすように発話データプール２１４からランダムに選択される。その場合、残りのバッチスロットは、インテントの数よりも少ない。したがって、残りの２つのバッチスロットは、インテント分布４３０において定義される選択の確率に基づいて、２つの追加の発話のランダムな選択によって満たされてもよい。図４Ｂに示すように、インテント「１」および「５」に対応する２つの追加の発話は、バッチプール２２４内のこれらの残りのバッチスロットを満たすためにランダムに選択される。図４Ｂに示されていない代替実施形態では、バッチプール２２４の各バッチスロットは、バッチプール２２４内に少なくとも１つの各対応するインテントを含むことなく、インテント分布４３０に定義される選択の確率のみに従って充填されてもよい。

５．０ インフラストラクチャ実現例
図５は、一実施形態を実現するための分散型システム５００の簡略図を示す。図示の実施形態では、分散型システム５００は、１つ以上の通信ネットワーク５１０を介してサーバ５１２に結合される１つ以上のクライアントコンピューティングデバイス５０２，５０４，５０６，および５０８を含む。クライアントコンピューティングデバイス５０２，５０４，５０６，および５０８は、１つ以上のアプリケーションを実行するよう構成されてもよい。

様々な実施形態では、サーバ５１２は、本開示で説明する処理を可能にする１つ以上のサービスまたはソフトウェアアプリケーションを実行するように適合されてもよい。

いくつかの実施形態では、サーバ５１２は、非仮想環境および仮想環境を含むことができる他のサービスまたはソフトウェアアプリケーションも提供してもよい。いくつかの実施形態では、これらのサービスは、クライアントコンピューティングデバイス５０２、５０４、５０６、および／または５０８のユーザに、ソフトウェア・アズ・ア・サービス（ＳａａＳ）モデル下でなど、ウェブベースまたはクラウドサービスとして提供されてもよい。クライアントコンピューティングデバイス５０２、５０４、５０６、および／または５０８を操作するユーザは、次いで、１つ以上のクライアントアプリケーションを利用して、サーバ５１２と対話して、これらのコンポーネントによって提供されるサービスを利用してもよい。

図５に示される構成では、サーバ５１２は、サーバ５１２によって実行される機能を実現する１つ以上のコンポーネント５１８、５２０および５２２を含み得る。これらのコンポーネントは、１つ以上のプロセッサ、ハードウェアコンポーネント、またはそれらの組合わせによって実行され得るソフトウェアコンポーネントを含み得る。分散型システム５００とは異なり得る多種多様なシステム構成が可能であることが認識されるはずである。したがって、図５に示される実施形態は、例のシステムを実現するための分散型システムの実施形態であり、限定するよう意図されたものではない。

ユーザは、クライアントコンピューティングデバイス５０２、５０４、５０６および／または５０８を用いて、本開示の教示に従ってサーバ５１２と対話してもよい。クライアントデバイスは、当該クライアントデバイスのユーザが当該クライアントデバイスと対話することを可能にするインターフェイスを提供し得る。クライアントデバイスはまた、このインターフェイスを介してユーザに情報を出力してもよい。図５は４つのクライアントコンピューティングデバイスだけを示しているが、任意の数のクライアントコンピューティングデバイスがサポートされ得る。

クライアントデバイスは、ポータブルハンドヘルドデバイス、パーソナルコンピュータおよびラップトップのような汎用コンピュータ、ワークステーションコンピュータ、ウェアラブルデバイス、ゲームシステム、シンクライアント、各種メッセージングデバイス、センサまたはその他のセンシングデバイスなどの、さまざまな種類のコンピューティングシステムを含み得る。これらのコンピューティングデバイスは、さまざまな種類およびバージョンのソフトウェアアプリケーションおよびオペレーティングシステム（たとえばMicrosoft Windows(登録商標)、Apple Macintosh（登録商標）、UNIX（登録商標）またはUNIX系オペレーティングシステム、Linux（登録商標）またはLinux系オペレーティングシステム、たとえば、各種モバイルオペレーティングシステム（たとえばMicrosoft Windows Mobile（登録商標）、iOS（登録商標）、Windows Phone（登録商標）、Android（登録商標）、BlackBerry(登録商標)、Palm OS(登録商標))を含むGoogle Chrome(登録商標)OS)を含み得る。ポータブルハンドヘルドデバイスは、セルラーフォン、スマートフォン(たとえばiPhone(登録商標))、タブレット(たとえばiPad(登録商標))、携帯情報端末(ＰＤＡ)などを含み得る。ウェアラブルデバイスは、Google Glass(登録商標)ヘッドマウントディスプレイおよびその他のデバイスを含み得る。ゲームシステムは、各種ハンドヘルドゲームデバイス、インターネット接続可能なゲームデバイス（たとえばKinect（登録商標）ジェスチャ入力デバイス付き／無しのMicrosoft Xbox（登録商標）ゲーム機、Sony PlayStation（登録商標）システム、Nintendo（登録商標）が提供する各種ゲームシステムなど）を含み得る。クライアントデバイスは、各種インターネット関連アプリケーション、通信アプリケーション（たとえばＥメールアプリケーション、ショートメッセージサービス（ＳＭＳ）アプリケーション）のような多種多様なアプリケーションを実行可能であってもよく、各種通信プロトコルを使用してもよい。

ネットワーク５１０は、利用可能な多様なプロトコルのうちのいずれかを用いてデータ通信をサポートできる、当該技術の当業者には周知のいずれかの種類のネットワークであればよく、上記プロトコルは、ＴＣＰ／ＩＰ（伝送制御プロトコル／インターネットプロトコル）、ＳＮＡ（システムネットワークアーキテクチャ）、ＩＰＸ（インターネットパケット交換）、AppleTalk（登録商標）などを含むがこれらに限定されない。単に一例として、ネットワーク５１０は、ローカルエリアネットワーク（ＬＡＮ）、Ethernet（登録商標）に基づくネットワーク、トークンリング、ワイドエリアネットワーク（ＷＡＮ）、インターネット、仮想ネットワーク、仮想プライベートネットワーク（ＶＰＮ）、イントラネット、エクストラネット、公衆交換電話網（ＰＳＴＮ）、赤外線ネットワーク、無線ネットワーク（たとえば電気電子学会（ＩＥＥＥ）８０２．１１プロトコルスイートのいずれかの下で動作する無線ネットワーク、Bluetooth（登録商標）および／または任意の他の無線プロトコル）、および／またはこれらおよび／または他のネットワークの任意の組み合わせであり得る。

サーバ５１２は、１つ以上の汎用コンピュータ、専用サーバコンピュータ（一例としてＰＣ（パーソナルコンピュータ）サーバ、UNIX（登録商標）サーバ、ミッドレンジサーバ、メインフレームコンピュータ、ラックマウント型サーバなどを含む）、サーバファーム、サーバクラスタ、またはその他の適切な構成および／または組み合わせで構成されてもよい。サーバ５１２は、仮想オペレーティングシステムを実行する１つ以上の仮想マシン、または仮想化を伴う他のコンピューティングアーキテクチャを含み得る。これはたとえば、サーバに対して仮想記憶装置を維持するように仮想化できる論理記憶装置の１つ以上のフレキシブルプールなどである。様々な実施形態において、サーバ５１２を、上記開示に記載の機能を提供する１つ以上のサービスまたはソフトウェアアプリケーションを実行するように適合させてもよい。

サーバ５１２内のコンピューティングシステムは、上記オペレーティングシステムのうちのいずれかを含む１つ以上のオペレーティングシステム、および、市販されているサーバオペレーティングシステムを実行し得る。また、サーバ５１２は、ＨＴＴＰ（ハイパーテキスト転送プロトコル）サーバ、ＦＴＰ（ファイル転送プロトコル）サーバ、ＣＧＩ（コモンゲートウェイインターフェイス）サーバ、JAVA（登録商標）サーバ、データベースサーバなどを含むさまざまなさらに他のサーバアプリケーションおよび／または中間層アプリケーションのうちのいずれかを実行し得る。例示的なデータベースサーバは、Oracle（登録商標）、Microsoft（登録商標）、Sybase（登録商標）、IBM（登録商標）（International Business Machines）などから市販されているものを含むが、それらに限定されない。

いくつかの実現例において、サーバ５１２は、クライアントコンピューティングデバイス５０２、５０４、５０６および５０８のユーザから受信したデータフィードおよび／またはイベントアップデートを解析および整理統合するための１つ以上のアプリケーションを含み得る。一例として、データフィードおよび／またはイベントアップデートは、センサデータアプリケーション、金融株式相場表示板、ネットワーク性能測定ツール（たとえば、ネットワークモニタリングおよびトラフィック管理アプリケーション）、クリックストリーム解析ツール、自動車交通モニタリングなどに関連するリアルタイムのイベントを含んでもよい、１つ以上の第三者情報源および連続データストリームから受信される、Ｔｗｉｔｔｅｒ（登録商標）フィード、Facebook（登録商標）アップデートまたはリアルタイムのアップデートを含み得るが、それらに限定されない。サーバ５１２は、データフィードおよび／またはリアルタイムのイベントをクライアントコンピューティングデバイス５０２、５０４、５０６および５０８の１つ以上の表示デバイスを介して表示するための１つ以上のアプリケーションも含み得る。

分散型システム５００はまた、１つ以上のデータリポジトリ５１４、５１６を含み得る。特定の実施形態において、これらのデータリポジトリを用いてデータおよびその他の情報を格納することができる。たとえば、データリポジトリ５１４、５１６のうちの１つ以上を用いて、ここに記載される処理によって生成されるデータ／情報、および／またはここに記載される処理のために用いられるデータもしくは情報を記憶してもよい。データリポジトリ５１４、５１６は、さまざまな場所に存在し得る。たとえば、サーバ５１２が使用するデータリポジトリは、サーバ５１２のローカル位置にあってもよく、またはサーバ５１２から遠隔の位置にあってもよく、ネットワークベースの接続または専用接続を介してサーバ５１２と通信する。データリポジトリ５１４、５１６は、異なる種類であってもよい。特定の実施形態において、サーバ５１２が使用するデータリポジトリは、データベース、たとえば、Oracle Corporation（登録商標）および他の製造業者が提供するデータベースのようなリレーショナルデータベースであってもよい。これらのデータベースのうちの１つ以上を、ＳＱＬフォーマットのコマンドに応じて、データの格納、アップデート、およびデータベースとの間での取り出しを可能にするように適合させてもよい。

特定の実施形態では、データリポジトリ５１４、５１６のうちの１つ以上は、アプリケーションデータを格納するためにアプリケーションによって用いられてもよい。アプリケーションが使用するデータリポジトリは、たとえば、キー値ストアリポジトリ、オブジェクトストアリポジトリ、またはファイルシステムがサポートする汎用ストレージリポジトリのようなさまざまな種類のものであってもよい。

特定の実施形態において、本開示に記載される機能は、クラウド環境を介してサービスとして提供され得る。図６は、特定の実施形態に係る、ここに記載される機能をクラウドサービスとして提供し得るクラウドベースのシステム環境の簡略化されたブロック図である。図６に示される実施形態において、クラウドインフラストラクチャシステム６０２は、ユーザが１つ以上のクライアントコンピューティングデバイス６０４、６０６および６０８を用いて要求し得る１つ以上のクラウドサービスを提供し得る。クラウドインフラストラクチャシステム６０２は、サーバ５１２に関して先に述べたものを含み得る１つ以上のコンピュータおよび／またはサーバを含み得る。クラウドインフラストラクチャシステム６０２内のコンピュータは、汎用コンピュータ、専用サーバコンピュータ、サーバファーム、サーバクラスタ、またはその他任意の適切な配置および／または組み合わせとして編成され得る。

ネットワーク６１０は、クライアント６０４、６０６、および６０８と、クラウドインフラストラクチャシステム６０２との間におけるデータの通信および交換を容易にし得る。ネットワーク６１０は、１つ以上のネットワークを含み得る。ネットワークは同じ種類であっても異なる種類であってもよい。ネットワーク６１０は、通信を容易にするために、有線および／または無線プロトコルを含む、１つ以上の通信プロトコルをサポートし得る。

図６に示される実施形態は、クラウドインフラストラクチャシステムの一例にすぎず、限定を意図したものではない。なお、その他いくつかの実施形態において、クラウドインフラストラクチャシステム６０２が、図６に示されるものよりも多くのコンポーネントもしくは少ないコンポーネントを有していてもよく、２つ以上のコンポーネントを組み合わせてもよく、または、異なる構成または配置のコンポーネントを有していてもよいことが、理解されるはずである。たとえば、図６は３つのクライアントコンピューティングデバイスを示しているが、代替実施形態においては、任意の数のクライアントコンピューティングデバイスがサポートされ得る。

クラウドサービスという用語は一般に、サービスプロバイダのシステム（たとえばクラウドインフラストラクチャシステム６０２）により、インターネット等の通信ネットワークを介してオンデマンドでユーザにとって利用可能にされるサービスを指すのに使用される。典型的に、パブリッククラウド環境では、クラウドサービスプロバイダのシステムを構成するサーバおよびシステムは、顧客自身のオンプレミスサーバおよびシステムとは異なる。クラウドサービスプロバイダのシステムは、クラウドサービスプロバイダによって管理される。よって、顧客は、別途ライセンス、サポート、またはハードウェアおよびソフトウェアリソースをサービスのために購入しなくても、クラウドサービスプロバイダが提供するクラウドサービスを利用できる。たとえば、クラウドサービスプロバイダのシステムはアプリケーションをホストし得るとともに、ユーザは、アプリケーションを実行するためにインフラストラクチャリソースを購入しなくても、インターネットを介してオンデマンドでアプリケーションをオーダーして使用し得る。クラウドサービスは、アプリケーション、リソースおよびサービスに対する容易でスケーラブルなアクセスを提供するように設計される。いくつかのプロバイダがクラウドサービスを提供する。たとえば、ミドルウェアサービス、データベースサービス、Java（登録商標）クラウドサービスなどのいくつかのクラウドサービスが、カリフォルニア州レッドウッド・ショアーズのOracle Corporation（登録商標）から提供される。

特定の実施形態において、クラウドインフラストラクチャシステム６０２は、ハイブリッドサービスモデルを含む、サービスとしてのソフトウェア（ＳａａＳ）モデル、サービスとしてのプラットフォーム（ＰａａＳ）モデル、サービスとしてのインフラストラクチャ（ＩａａＳ）モデルなどのさまざまなモデルを使用して、１つ以上のクラウドサービスを提供し得る。クラウドインフラストラクチャシステム６０２は、各種クラウドサービスのプロビジョンを可能にする、アプリケーション、ミドルウェア、データベース、およびその他のリソースのスイートを含み得る。

ＳａａＳモデルは、アプリケーションまたはソフトウェアを、インターネットのような通信ネットワークを通して、顧客が基本となるアプリケーションのためのハードウェアまたはソフトウェアを購入しなくても、サービスとして顧客に配信することを可能にする。たとえば、ＳａａＳモデルを用いることにより、クラウドインフラストラクチャシステム６０２がホストするオンデマンドアプリケーションに顧客がアクセスできるようにし得る。Oracle Corporation（登録商標）が提供するＳａａＳサービスの例は、人的資源／資本管理のための各種サービス、カスタマー・リレーションシップ・マネジメント（ＣＲＭ）、エンタープライズ・リソース・プランニング（ＥＲＰ）、サプライチェーン・マネジメント（ＳＣＭ）、エンタープライズ・パフォーマンス・マネジメント（ＥＰＭ）、解析サービス、ソーシャルアプリケーションなどを含むがこれらに限定されない。

ＩａａＳモデルは一般に、インフラストラクチャリソース（たとえばサーバ、ストレージ、ハードウェアおよびネットワーキングリソース）を、クラウドサービスとして顧客に提供することにより、柔軟な計算およびストレージ機能を提供するために使用される。各種ＩａａＳサービスがOracle Corporation（登録商標）から提供される。

ＰａａＳモデルは一般に、顧客が、環境リソースを調達、構築、または管理しなくても、アプリケーションおよびサービスを開発、実行、および管理することを可能にするプラットフォームおよび環境リソースをサービスとして提供するために使用される。Oracle Corporation（登録商標）が提供するＰａａＳサービスの例は、Oracle Java Cloud Service（ＪＣＳ）、Oracle Database Cloud Service（ＤＢＣＳ）、データ管理クラウドサービス、各種アプリケーション開発ソリューションサービスなどを含むがこれらに限定されない。

クラウドサービスは一般に、オンデマンドのセルフサービスベースで、サブスクリプションベースで、柔軟にスケーラブルで、信頼性が高く、可用性が高い、安全なやり方で提供される。たとえば、顧客は、サブスクリプションオーダーを介し、クラウドインフラストラクチャシステム６０２が提供する１つ以上のサービスをオーダーしてもよい。次いで、クラウドインフラストラクチャシステム６０２は、処理を実行することにより、顧客のサブスクリプションオーダーで要求されたサービスを提供する。例えば、ある実施形態において、ここに記載されるチャットボット関連機能を、ユーザ／定期購入者によって定期購入されるクラウドサービスとして提供してもよい。クラウドインフラストラクチャシステム６０２を、１つのクラウドサービスまたは複数のクラウドサービスであっても提供するように構成してもよい。

クラウドインフラストラクチャシステム６０２は、さまざまなデプロイメントモデルを介してクラウドサービスを提供し得る。パブリッククラウドモデルにおいて、クラウドインフラストラクチャシステム６０２は、第三者クラウドサービスプロバイダによって所有されていてもよく、クラウドサービスは一般のパブリックカスタマーに提供される。このカスタマーは個人または企業であってもよい。ある他の実施形態では、プライベートクラウドモデル下において、クラウドインフラストラクチャシステム６０２がある組織内で（たとえば企業組織内で）機能してもよく、サービスはこの組織内の顧客に提供される。たとえば、この顧客は、人事部、給与部などの企業のさまざまな部署であってもよく、企業内の個人であってもよい。ある他の実施形態では、コミュニティクラウドモデル下において、クラウドインフラストラクチャシステム６０２および提供されるサービスは、関連コミュニティ内のさまざまな組織で共有されてもよい。上記モデルの混成モデルなどのその他各種モデルが用いられてもよい。

クライアントコンピューティングデバイス６０４、６０６、および６０８は、異なるタイプであってもよく（たとえば図５に示されるデバイス５０２、５０４、５０６および５０８）、１つ以上のクライアントアプリケーションを操作可能であってもよい。ユーザは、クライアントデバイスを用いることにより、クラウドインフラストラクチャシステム６０２が提供するサービスを要求することなど、クラウドインフラストラクチャシステム６０２とのやり取りを行い得る。例えば、ユーザは、クライアントデバイスを使用して本開示に記載されているチャットボット関連サービスを要求することができる。

いくつかの実施形態において、クラウドインフラストラクチャシステム６０２が、実行する処理は、ビッグデータ解析を含み得る。この解析は、大きなデータセットを使用し、解析し、処理することにより、そのデータ内でさまざまな傾向、挙動、関係などを検出および視覚化することを含み得る。この解析は、１つ以上のプロセッサが、場合によっては、データを並列に処理し、データを用いてシミュレーションを実行するなどして、実行してもよい。この解析に使用されるデータは、構造化データ（たとえばデータベースに格納されたデータもしくは構造化モデルに従って構造化されたデータ）および／または非構造化データ（たとえばデータブロブ（blob）（binary large object：バイナリ・ラージ・オブジェクト））を含み得る。

図６の実施形態に示されるように、クラウドインフラストラクチャシステム６０２は、クラウドインフラストラクチャシステム６０２が提供する各種クラウドサービスのプロビジョンを容易にするために利用されるインフラストラクチャリソース６３０を含み得る。インフラストラクチャリソース６３０は、たとえば、処理リソース、ストレージまたはメモリリソース、ネットワーキングリソースなどを含み得る。

特定の実施形態において、異なる顧客に対しクラウドインフラストラクチャシステム６０２が提供する各種クラウドサービスをサポートするためのこれらのリソースを効率的にプロビジョニングし易くするために、リソースを、リソースのセットまたはリソースモジュール（「ポッド」とも処される）にまとめてもよい。各リソースモジュールまたはポッドは、１種類以上のリソースを予め一体化し最適化した組み合わせを含み得る。特定の実施形態において、異なるポッドを異なる種類のクラウドサービスに対して予めプロビジョニングしてもよい。たとえば、第１のポッドセットをデータベースサービスのためにプロビジョニングしてもよく、第１のポッドセット内のポッドと異なるリソースの組み合わせを含み得る第２のポッドセットをJavaサービスなどのためにプロビジョニングしてもよい。いくつかのサービスについて、これらのサービスをプロビジョニングするために割り当てられたリソースをサービス間で共有してもよい。

クラウドインフラストラクチャシステム６０２自体が、クラウドインフラストラクチャシステム６０２の異なるコンポーネントによって共有されるとともにクラウドインフラストラクチャシステム６０２によるサービスのプロビジョニングを容易にするサービス６３２を、内部で使用してもよい。これらの内部共有サービスは、セキュリティ・アイデンティティサービス、統合サービス、エンタープライズリポジトリサービス、エンタープライズマネージャサービス、ウィルススキャン・ホワイトリストサービス、高可用性、バックアップリカバリサービス、クラウドサポートを可能にするサービス、Ｅメールサービス、通知サービス、ファイル転送サービスなどを含み得るが、これらに限定されない。

クラウドインフラストラクチャシステム６０２は複数のサブシステムを含み得る。これらのサブシステムは、ソフトウェア、またはハードウェア、またはそれらの組み合わせで実現され得る。図６に示されるように、サブシステムは、クラウドインフラストラクチャシステム６０２のユーザまたは顧客がクラウドインフラストラクチャシステム６０２とやり取りすることを可能にするユーザインターフェイスサブシステム６１２を含み得る。ユーザインターフェイスサブシステム６１２は、ウェブインターフェイス６１４、クラウドインフラストラクチャシステム６０２が提供するクラウドサービスが宣伝広告され消費者による購入が可能なオンラインストアインターフェイス６１６、およびその他のインターフェイス６１８などの、各種異なるインターフェイスを含み得る。たとえば、顧客は、クライアントデバイスを用いて、クラウドインフラストラクチャシステム６０２がインターフェイス６１４、６１６、および６１８のうちの１つ以上を用いて提供する１つ以上のサービスを要求（サービス要求６３４）してもよい。たとえば、顧客は、オンラインストアにアクセスし、クラウドインフラストラクチャシステム６０２が提供するクラウドサービスをブラウズし、クラウドインフラストラクチャシステム６０２が提供するとともに顧客が申し込むことを所望する１つ以上のサービスについてサブスクリプションオーダーを行い得る。このサービス要求は、顧客と、顧客が申しむことを所望する１つ以上のサービスを識別する情報を含んでいてもよい。

図６に示される実施形態のような特定の実施形態において、クラウドインフラストラクチャシステム６０２は、新しいオーダーを処理するように構成されたオーダー管理サブシステム（order management subsystem：ＯＭＳ）６２０を含み得る。この処理の一部として、ＯＭＳ６２０は、既に作成されていなければ顧客のアカウントを作成し、要求されたサービスを顧客に提供するために顧客に対して課金するのに使用する課金および／またはアカウント情報を顧客から受け、顧客情報を検証し、検証後、顧客のためにこのオーダーを予約し、各種ワークフローを調整することにより、プロビジョニングのためにオーダーを準備するように、構成されてもよい。

適切に妥当性確認がなされると、ＯＭＳ６２０は、処理、メモリ、およびネットワーキングリソースを含む、このオーダーのためのリソースをプロビジョニングするように構成されたオーダープロビジョニングサブシステム（ＯＰＳ）６２４を呼び出し得る。プロビジョニングは、オーダーのためのリソースを割り当てることと、顧客オーダーが要求するサービスを容易にするようにリソースを構成することとを含み得る。オーダーのためにリソースをプロビジョニングするやり方およびプロビジョニングされるリソースのタイプは、顧客がオーダーしたクラウドサービスのタイプに依存し得る。たとえば、あるワークフローに従うと、ＯＰＳ６２４を、要求されている特定のクラウドサービスを判断し、この特定のクラウドサービスのために予め構成されたであろうポッドの数を特定するように構成されてもよい。あるオーダーのために割り当てられるポッドの数は、要求されたサービスのサイズ／量／レベル／範囲に依存し得る。たとえば、割り当てるポッドの数は、サービスがサポートすべきユーザの数、サービスが要求されている期間などに基づいて決定してもよい。次に、割り当てられたポッドを、要求されたサービスを提供するために、要求している特定の顧客に合わせてカスタマイズしてもよい。

クラウドインフラストラクチャシステム６０２は、要求されたサービスがいつ使用できるようになるかを示すために、応答または通知６４４を、要求している顧客に送ってもよい。いくつかの例において、顧客が、要求したサービスの利益の使用および利用を開始できるようにする情報（たとえばリンク）を顧客に送信してもよい。

クラウドインフラストラクチャシステム６０２はサービスを複数の顧客に提供し得る。各顧客ごとに、クラウドインフラストラクチャシステム６０２は、顧客から受けた１つ以上のサブスクリプションオーダーに関連する情報を管理し、オーダーに関連する顧客データを維持し、要求されたサービスを顧客に提供する役割を果たす。また、クラウドインフラストラクチャシステム６０２は、申し込まれたサービスの顧客による使用に関する使用統計を収集してもよい。たとえば、統計は、使用されたストレージの量、転送されたデータの量、ユーザの数、ならびにシステムアップタイムおよびシステムダウンタイムの量などについて、収集されてもよい。この使用情報を用いて顧客に課金してもよい。課金はたとえば月ごとに行ってもよい。

クラウドインフラストラクチャシステム６０２は、サービスを複数の顧客に並列に提供してもよい。クラウドインフラストラクチャシステム６０２は、場合によっては著作権情報を含む、これらの顧客についての情報を格納してもよい。特定の実施形態において、クラウドインフラストラクチャシステム６０２は、顧客の情報を管理するとともに管理される情報を分離することで、ある顧客に関する情報が別の顧客に関する情報からアクセスされないようにするように構成された、アイデンティティ管理サブシステム（ＩＭＳ）６２８を含む。ＩＭＳ６２８は、情報アクセス管理などのアイデンティティサービス、認証および許可サービス、顧客のアイデンティティおよび役割ならびに関連する能力などを管理するためのサービスなどの、各種セキュリティ関連サービスを提供するように構成されてもよい。

図７は、特定の実施形態を実現するよう用いられてもよい例示的コンピュータシステム７００を示す。例えば、いくつかの実施形態では、コンピュータシステム７００は、チャットボットシステムのシステムおよびサブシステムのいずれか、ならびに上記の様々なサーバおよびコンピュータシステムを実現するために用いられ得る。図７に示されるように、コンピュータシステム７００は、バスサブシステム７０２を介して他のいくつかのサブシステムと通信する処理サブシステム７０４を含むさまざまなサブシステムを含む。これらの他のサブシステムは、処理加速ユニット７０６、Ｉ／Ｏサブシステム７０８、ストレージサブシステム７１８、および通信サブシステム７２４を含み得る。ストレージサブシステム７１８は、記憶媒体７２２およびシステムメモリ７１０を含む非一時的なコンピュータ可読記憶媒体を含み得る。

バスサブシステム７０２は、コンピュータシステム７００のさまざまなコンポーネントおよびサブシステムに意図されるように互いに通信させるための機構を提供する。バスサブシステム７０２は単一のバスとして概略的に示されているが、バスサブシステムの代替実施形態は複数のバスを利用してもよい。バスサブシステム７０２は、さまざまなバスアーキテクチャのうちのいずれかを用いる、メモリバスまたはメモリコントローラ、周辺バス、ローカルバスなどを含むいくつかのタイプのバス構造のうちのいずれかであってもよい。たとえば、このようなアーキテクチャは、業界標準アーキテクチャ（Industry Standard Architecture：ＩＳＡ）バス、マイクロチャネルアーキテクチャ（Micro Channel Architecture：ＭＣＡ）バス、エンハンストＩＳＡ（Enhanced ISA：ＥＩＳＡ）バス、ビデオ・エレクトロニクス・スタンダーズ・アソシエーション（Video Electronics Standards Association：ＶＥＳＡ）ローカルバス、およびＩＥＥＥ Ｐ１３８６．１規格に従って製造されるメザニンバスとして実現され得る周辺コンポーネントインターコネクト（Peripheral Component Interconnect：ＰＣＩ）バスなどを含み得る。

処理サブシステム７０４は、コンピュータシステム７００の動作を制御し、１つ以上のプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含み得る。プロセッサは、シングルコアまたはマルチコアプロセッサを含み得る。コンピュータシステム７００の処理リソースを、１つ以上の処理ユニット７３２、７３４などに組織することができる。処理ユニットは、１つ以上のプロセッサ、同一のまたは異なるプロセッサからの１つ以上のコア、コアとプロセッサとの組み合わせ、またはコアとプロセッサとのその他の組み合わせを含み得る。いくつかの実施形態において、処理サブシステム７０４は、グラフィックスプロセッサ、デジタル信号プロセッサ（ＤＳＰ）などのような１つ以上の専用コプロセッサを含み得る。いくつかの実施形態では、処理サブシステム７０４の処理ユニットの一部または全部は、特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのカスタマイズされた回路を使用し得る。

いくつかの実施形態において、処理サブシステム７０４内の処理ユニットは、システムメモリ７１０またはコンピュータ可読記憶媒体７２２に格納された命令を実行し得る。さまざまな実施形態において、処理ユニットはさまざまなプログラムまたはコード命令を実行するとともに、同時に実行する複数のプログラムまたはプロセスを維持し得る。任意の所定の時点で、実行されるべきプログラムコードの一部または全部は、システムメモリ７１０および／または潜在的に１つ以上の記憶装置を含むコンピュータ可読記憶媒体７２２に常駐していてもよい。適切なプログラミングを介して、処理サブシステム７０４は、上述のさまざまな機能を提供し得る。コンピュータシステム７００が１つ以上の仮想マシンを実行している例において、１つ以上の処理ユニットが各仮想マシンに割り当ててもよい。

特定の実施形態において、コンピュータシステム７００によって実行される全体的な処理を加速するように、カスタマイズされた処理を実行するために、または処理サブシステム７０４によって実行される処理の一部をオフロードするために、処理加速ユニット７０６を任意に設けることができる。

Ｉ／Ｏサブシステム７０８は、コンピュータシステム７００に情報を入力するための、および／またはコンピュータシステム７００から、もしくはコンピュータシステム７００を介して、情報を出力するための、デバイスおよび機構を含むことができる。一般に、「入力デバイス」という語の使用は、コンピュータシステム７００に情報を入力するためのすべての考えられ得るタイプのデバイスおよび機構を含むよう意図される。ユーザインターフェイス入力デバイスは、たとえば、キーボード、マウスまたはトラックボールなどのポインティングデバイス、ディスプレイに組み込まれたタッチパッドまたはタッチスクリーン、スクロールホイール、クリックホイール、ダイアル、ボタン、スイッチ、キーパッド、音声コマンド認識システムを伴う音声入力デバイス、マイクロフォン、および他のタイプの入力デバイスを含んでもよい。ユーザインターフェイス入力デバイスは、ユーザが入力デバイスを制御しそれと対話することを可能にするMicrosoft Kinect（登録商標）モーションセンサ、Microsoft Xbox（登録商標）３６０ゲームコントローラ、ジェスチャおよび音声コマンドを用いる入力を受信するためのインターフェイスを提供するデバイスなど、モーションセンシングおよび／またはジェスチャ認識デバイスも含んでもよい。ユーザインターフェイス入力デバイスは、ユーザから目の動き（たとえば、写真を撮っている間および／またはメニュー選択を行っている間の「まばたき」）を検出し、アイジェスチャを入力デバイス（たとえばGoogle Glass（登録商標））への入力として変換するGoogle Glass（登録商標）瞬き検出器などのアイジェスチャ認識デバイスも含んでもよい。また、ユーザインターフェイス入力デバイスは、ユーザが音声コマンドを介して音声認識システム（たとえばSiri（登録商標）ナビゲータ）と対話することを可能にする音声認識感知デバイスを含んでもよい。

ユーザインターフェイス入力デバイスの他の例は、三次元（３Ｄ）マウス、ジョイスティックまたはポインティングスティック、ゲームパッドおよびグラフィックタブレット、ならびにスピーカ、デジタルカメラ、デジタルカムコーダ、ポータブルメディアプレーヤ、ウェブカム、画像スキャナ、指紋スキャナ、バーコードリーダ３Ｄスキャナ、３Ｄプリンタ、レーザレンジファインダ、および視線追跡デバイスなどの聴覚／視覚デバイスも含んでもよいが、それらに限定されない。また、ユーザインターフェイス入力デバイスは、たとえば、コンピュータ断層撮影、磁気共鳴撮像、ポジションエミッショントモグラフィー、および医療用超音波検査デバイスなどの医療用画像化入力デバイスを含んでもよい。ユーザインターフェイス入力デバイスは、たとえば、ＭＩＤＩキーボード、デジタル楽器などの音声入力デバイスも含んでもよい。

一般に、出力デバイスという語の使用は、コンピュータシステム７００からユーザまたは他のコンピュータに情報を出力するための考えられるすべてのタイプのデバイスおよび機構を含むことを意図している。ユーザインターフェイス出力デバイスは、ディスプレイサブシステム、インジケータライト、または音声出力デバイスなどのような非ビジュアルディスプレイなどを含んでもよい。ディスプレイサブシステムは、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）またはプラズマディスプレイを使うものなどのフラットパネルデバイス、計画デバイス、タッチスクリーンなどであってもよい。たとえば、ユーザインターフェイス出力デバイスは、モニタ、プリンタ、スピーカ、ヘッドフォン、自動車ナビゲーションシステム、プロッタ、音声出力デバイスおよびモデムなどの、テキスト、グラフィックスおよび音声／映像情報を視覚的に伝えるさまざまな表示デバイスを含んでもよいが、それらに限定されない。

ストレージサブシステム７１８は、コンピュータシステム７００によって使用される情報およびデータを格納するためのリポジトリまたはデータストアを提供する。ストレージサブシステム７１８は、いくつかの実施形態の機能を提供する基本的なプログラミングおよびデータ構成を格納するための有形の非一時的なコンピュータ可読記憶媒体を提供する。処理サブシステム７０４によって実行されると上述の機能を提供するソフトウェア（たとえばプログラム、コードモジュール、命令）が、ストレージサブシステム７１８に格納されてもよい。ソフトウェアは、処理サブシステム７０４の１つ以上の処理ユニットによって実行されてもよい。ストレージサブシステム７１８はまた、本開示の教示に従って用いられるデータを記憶するためのリポジトリを提供してもよい。

ストレージサブシステム７１８は、揮発性および不揮発性メモリデバイスを含む１つ以上の非一時的メモリデバイスを含み得る。図７に示すように、ストレージサブシステム７１８は、システムメモリ７１０およびコンピュータ可読記憶媒体７２２を含む。システムメモリ７１０は、プログラム実行中に命令およびデータを格納するための揮発性主ランダムアクセスメモリ（ＲＡＭ）と、固定命令が格納される不揮発性読取り専用メモリ（ＲＯＭ）またはフラッシュメモリとを含む、いくつかのメモリを含み得る。いくつかの実現例において、起動中などにコンピュータシステム７００内の要素間における情報の転送を助ける基本的なルーチンを含むベーシックインプット／アウトプットシステム（basic input/output system：ＢＩＯＳ）は、典型的には、ＲＯＭに格納されてもよい。典型的に、ＲＡＭは、処理サブシステム７０４によって現在操作および実行されているデータおよび／またはプログラムモジュールを含む。いくつかの実現例において、システムメモリ７１０は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）などのような複数の異なるタイプのメモリを含み得る。

一例として、限定を伴うことなく、図７に示されるように、システムメモリ７１０は、ウェブブラウザ、中間層アプリケーション、リレーショナルデータベース管理システム（ＲＤＢＭＳ）などのような各種アプリケーションを含み得る、実行中のアプリケーションプログラム７１２、プログラムデータ７１４、およびオペレーティングシステム７１６を、ロードしてもよい。一例として、オペレーティングシステム７１６は、Microsoft Windows（登録商標）、Apple Macintosh（登録商標）および／またはLinuxオペレーティングシステム、市販されているさまざまなUNIX（登録商標）またはUNIX系オペレーティングシステム（さまざまなGNU/Linuxオペレーティングシステム、Google Chrome（登録商標）ＯＳなどを含むがそれらに限定されない）、および／または、iOS（登録商標）、Windows Phone、Android（登録商標）ＯＳ、BlackBerry（登録商標）ＯＳ、Palm（登録商標）ＯＳオペレーティングシステムのようなさまざまなバージョンのモバイルオペレーティングシステムなどを、含み得る。

コンピュータ可読記憶媒体７２２は、いくつかの実施形態の機能を提供するプログラミングおよびデータ構成を格納することができる。コンピュータ可読記憶媒体７２２は、コンピュータシステム７００のための、コンピュータ可読命令、データ構造、プログラムモジュール、および他のデータのストレージを提供することができる。処理サブシステム７０４によって実行されると上記機能を提供するソフトウェア（プログラム、コードモジュール、命令）は、ストレージサブシステム７１８に格納されてもよい。一例として、コンピュータ可読記憶媒体７２２は、ハードディスクドライブ、磁気ディスクドライブ、ＣＤ ＲＯＭ、ＤＶＤ、Ｂｌｕ－Ｒａｙ（登録商標）ディスクなどの光ディスクドライブ、またはその他の光学媒体のような不揮発性メモリを含み得る。コンピュータ可読記憶媒体７２２は、Ｚｉｐ（登録商標）ドライブ、フラッシュメモリカード、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ、セキュアデジタル（ＳＤ）カード、ＤＶＤディスク、デジタルビデオテープなどを含んでもよいが、それらに限定されない。コンピュータ可読記憶媒体７２２は、フラッシュメモリベースのＳＳＤ、エンタープライズフラッシュドライブ、ソリッドステートＲＯＭなどのような不揮発性メモリに基づくソリッドステートドライブ（ＳＳＤ）、ソリッドステートＲＡＭ、ダイナミックＲＡＭ、スタティックＲＡＭのような揮発性メモリに基づくＳＳＤ、ＤＲＡＭベースのＳＳＤ、磁気抵抗ＲＡＭ（ＭＲＡＭ）ＳＳＤ、およびＤＲＡＭとフラッシュメモリベースのＳＳＤとの組み合わせを使用するハイブリッドＳＳＤも含み得る。

特定の実施形態において、ストレージサブシステム７１８は、コンピュータ可読記憶媒体７２２にさらに接続可能なコンピュータ可読記憶媒体リーダ７２０も含み得る。リーダ７２０は、ディスク、フラッシュドライブなどのようなメモリデバイスからデータを受け、読取るように構成されてもよい。

特定の実施形態において、コンピュータシステム７００は、処理およびメモリリソースの仮想化を含むがこれに限定されない仮想化技術をサポートし得る。たとえば、コンピュータシステム７００は、１つ以上の仮想マシンを実行するためのサポートを提供し得る。特定の実施形態において、コンピュータシステム７００は、仮想マシンの構成および管理を容易にするハイパーバイザなどのプログラムを実行し得る。各仮想マシンには、メモリ、演算（たとえばプロセッサ、コア）、Ｉ／Ｏ、およびネットワーキングリソースを割り当てられてもよい。各仮想マシンは通常、他の仮想マシンから独立して実行される。仮想マシンは、典型的には、コンピュータシステム７００によって実行される他の仮想マシンによって実行されるオペレーティングシステムと同じであり得るかまたは異なり得るそれ自体のオペレーティングシステムを実行する。したがって、潜在的に複数のオペレーティングシステムがコンピュータシステム７００によって同時に実行され得る。

通信サブシステム７２４は、他のコンピュータシステムおよびネットワークに対するインターフェイスを提供する。通信サブシステム７２４は、他のシステムとコンピュータシステム７００との間のデータの送受のためのインターフェイスとして機能する。たとえば、通信サブシステム７２４は、コンピュータシステム７００が、１つ以上のクライアントデバイスとの間で情報を送受信するために、インターネットを介して１つ以上のクライアントデバイスへの通信チャネルを確立することを可能にし得る。

通信サブシステム７２４は、有線および／または無線通信プロトコルの両方をサポートし得る。例えば、ある実施形態において、通信サブシステム７２４は、（たとえば、セルラー電話技術、３Ｇ、４ＧもしくはＥＤＧＥ（グローバル進化のための高速データレート）などの先進データネットワーク技術、ＷｉＦｉ（ＩＥＥＥ８０２．ＸＸファミリー規格、もしくは他のモバイル通信技術、またはそれらのいずれかの組み合わせを用いて）無線音声および／またはデータネットワークにアクセスするための無線周波数（ＲＦ）送受信機コンポーネント、グローバルポジショニングシステム（ＧＰＳ）受信機コンポーネント、および／または他のコンポーネントを含み得る。いくつかの実施形態において、通信サブシステム７２４は、無線インターフェイスに加えてまたはその代わりに、有線ネットワーク接続（たとえばEthernet（登録商標））を提供し得る。

通信サブシステム７２４は、さまざまな形式でデータを受信および送信し得る。例えば、いくつかの実施形態において、通信サブシステム７２４は、他の形式に加えて、構造化データフィードおよび／または非構造化データフィード７２６、イベントストリーム７２８、イベントアップデート７３０などの形式で入力通信を受信してもよい。たとえば、通信サブシステム７２４は、ソーシャルメディアネットワークおよび／またはTwitter（登録商標）フィード、Facebook（登録商標）アップデート、Rich Site Summary（ＲＳＳ）フィードなどのウェブフィード、および／または１つ以上の第三者情報源からのリアルタイムアップデートなどのような他の通信サービスのユーザから、リアルタイムでデータフィード７２６を受信（または送信）するように構成されてもよい。

特定の実施形態において、通信サブシステム７２４は、連続データストリームの形式でデータを受信するように構成されてもよく、当該連続データストリームは、明確な終端を持たない、本来は連続的または無限であり得るリアルタイムイベントのイベントストリーム７２８および／またはイベントアップデート７３０を含んでもよい。連続データを生成するアプリケーションの例としては、たとえば、センサデータアプリケーション、金融株式相場表示板、ネットワーク性能測定ツール（たとえばネットワークモニタリングおよびトラフィック管理アプリケーション）、クリックストリーム解析ツール、自動車交通モニタリングなどを挙げることができる。

通信サブシステム７２４は、コンピュータシステム７００からのデータを他のコンピュータシステムまたはネットワークに伝えるように構成されてもよい。このデータは、構造化および／または非構造化データフィード７２６、イベントストリーム７２８、イベントアップデート７３０などのような各種異なる形式で、コンピュータシステム７００に結合された１つ以上のストリーミングデータソースコンピュータと通信し得る１つ以上のデータベースに、伝えられてもよい。

コンピュータシステム７００は、ハンドヘルドポータブルデバイス（たとえばiPhone（登録商標）セルラーフォン、iPad（登録商標）コンピューティングタブレット、ＰＤＡ）、ウェアラブルデバイス（たとえばGoogle Glass（登録商標）ヘッドマウントディスプレイ）、パーソナルコンピュータ、ワークステーション、メインフレーム、キオスク、サーバラック、またはその他のデータ処理システムを含む、さまざまなタイプのうちの１つであればよい。コンピュータおよびネットワークの性質が常に変化しているため、図７に示されるコンピュータシステム７００の記載は、具体的な例として意図されているに過ぎない。図７に示されるシステムよりも多くのコンポーネントまたは少ないコンポーネントを有するその他多くの構成が可能である。本明細書における開示および教示に基づいて、当業者は、さまざまな実施形態を実現するための他の態様および／または方法を理解するであろう。

特定の実施形態について説明したが、さまざまな変形、変更、代替構成、および均等物が可能である。実施形態は、特定のデータ処理環境内の動作に限定されず、複数のデータ処理環境内で自由に動作させることができる。さらに、特定の実施形態を特定の一連のトランザクションおよびステップを使用して説明したが、これが限定を意図しているのではないことは当業者には明らかであるはずである。いくつかのフローチャートは動作を逐次的プロセスとして説明しているが、これらの動作のうちの多くは並列または同時に実行されてもよい。加えて、動作の順序を再指定してもよい。プロセスは図に含まれない追加のステップを有し得る。上記の実施形態の各種特徴および局面は、個別に使用されてもよく、またはともに使用されてもよい。

さらに、特定の実施形態をハードウェアとソフトウェアとの特定の組み合わせを用いて説明してきたが、ハードウェアとソフトウェアとの他の組み合わせも可能であることが理解されるはずである。特定の実施形態は、ハードウェアでのみ、またはソフトウェアでのみ、またはそれらの組み合わせを用いて実現されてもよい。本明細書に記載されたさまざまなプロセスは、同じプロセッサまたは任意の組み合わせの異なるプロセッサ上で実現されてもよい。

デバイス、システム、コンポーネントまたはモジュールが特定の動作または機能を実行するように構成されると記載されている場合、そのような構成は、たとえば、動作を実行するように電子回路を設計することにより、動作を実行するようにプログラミング可能な電子回路（マイクロプロセッサなど）をプログラミングすることにより、たとえば、非一時的なメモリ媒体に格納されたコードもしくは命令またはそれらの任意の組み合わせを実行するようにプログラミングされたコンピュータ命令もしくはコード、またはプロセッサもしくはコアを実行するなどにより、達成され得る。プロセスは、プロセス間通信のための従来の技術を含むがこれに限定されないさまざまな技術を使用して通信することができ、異なる対のプロセスは異なる技術を使用してもよく、同じ対のプロセスは異なる時間に異なる技術を使用してもよい。

本開示では具体的な詳細を示すことにより実施形態が十分に理解されるようにしている。しかしながら、実施形態はこれらの具体的な詳細がなくとも実施し得るものである。たとえば、周知の回路、プロセス、アルゴリズム、構造、および技術は、実施形態が曖昧にならないようにするために不必要な詳細事項なしで示している。本明細書は例示的な実施形態のみを提供し、他の実施形態の範囲、適用可能性、または構成を限定するよう意図されたものではない。むしろ、実施形態の上記説明は、各種実施形態を実現することを可能にする説明を当業者に提供する。要素の機能および構成の範囲内でさまざまな変更が可能である。

したがって、明細書および図面は、限定的な意味ではなく例示的なものとみなされるべきである。しかしながら、請求項に記載されているより広範な精神および範囲から逸脱することなく、追加、削減、削除、ならびに他の修正および変更がこれらになされ得ることは明らかであろう。このように、具体的な実施形態を説明してきたが、これらは限定を意図するものではない。さまざまな変形例および同等例は添付の特許請求の範囲内にある。

Claims (20)

1. 方法であって、
   複数の発話を取得することを含み、各発話は、複数のインテントのうちのあるインテントに対応し、前記複数のインテントの各インテントは、１つ以上のスキルのうちのあるスキルに対応し、前記方法はさらに、
   前記複数の発話にわたってインテント分布を判断することを含み、前記インテント分布は複数のインテント割合を含み、前記インテント割合の各々は前記複数のインテントのうちのあるインテントに対応し、前記方法はさらに、
   前記複数のインテント割合に基づいて前記複数の発話から選択されるバッチ数の発話を含むバッチを生成することと、
   前記バッチからトレーニングデータのセットを前記１つ以上のスキルのための予測モデルに反復的に入力することとを含み、前記予測モデルは、目的関数の使用によって学習される複数のモデルパラメータを含むインテント分類部として構築され、前記方法はさらに、
   前記目的関数を最小化または最大化することによって、前記トレーニングデータのセットで前記予測モデルをトレーニングすることを含み、トレーニングすることは、予測されるインテントとグラウンドトゥルースインテントとの間の差を測定し、前記方法はさらに、
   前記トレーニングに応答して、前記予測されるインテントを生成するために前記予測モデルによって使用される前記トレーニングデータのセット内の関係を学習することと、
   前記学習された関係に関連付けられる前記複数のモデルパラメータを含むトレーニングされた予測モデルを取得することとを含む、方法。
2. 複数のインテントプールを生成することをさらに含み、各インテントプールは、前記複数のインテントのうちの特定のインテントに対応し、前記複数の発話のうち、前記特定のインテントに対応する各発話を含み、前記複数のインテント割合の各インテント割合は特定のインテントプールに対応し、前記バッチを生成することは、前記複数のインテント割合に基づいて前記複数のインテントプールから前記数の発話を選択することをさらに含む、請求項１に記載の方法。
3. 前記複数のインテントプールから選択される各発話は、対応するインテントプールからランダムに選択される、請求項２に記載の方法。
4. 前記方法はさらに、
   複数の代表的割合を判断することを含み、前記複数の代表的割合の各代表的割合は、前記生成されたバッチにおいて、ある数の対応する発話にわたる、特定のインテントの比例的表現に対応し、前記方法はさらに、
   前記複数の代表的割合の各代表的割合が、前記複数のインテント割合のうちの対応するインテント割合の閾値差内にあるかどうかを判断することを含み、
   前記バッチを前記１つ以上のスキルに適用することによって前記１つ以上のスキルのトレーニングをすることを、前記複数の代表的割合の各代表的割合が前記複数のインテント割合のうちの対応するインテント割合の閾値差内にあると判断することに応答して実施する、請求項１に記載の方法。
5. 前記インテント分布は一様分布であり、各インテント割合は、前記バッチにおける前記発話の数と前記複数のインテントにおけるインテントの数とから算出される均一な比率であり、
   前記方法はさらに、前記数の発話の各特定の発話を、前記特定の発話に対応する特定のインテントおよび前記均一な比率に基づいて、前記バッチに包含するために選択することを含む、請求項１に記載の方法。
6. 前記インテント分布は層状分布であり、各インテント割合は、複数の層状比率のうちのある層状比率に対応し、各層状比率は、前記バッチにおける前記発話の数の第１の比率および前記１つ以上のスキルにおけるスキルの数、ならびに特定のスキルに対応するインテントの数から計算され、
   前記方法は、さらに、前記数の発話の各特定の発話を、前記特定の発話に対応する特定のインテント、前記特定のインテントに対応する特定のスキル、および前記特定のインテントに対応する特定のインテント割合に基づいて、前記バッチに包含するために選択することを含む、請求項１に記載の方法。
7. 前記インテント分布は、テール分布であり、各インテント割合は、複数のテール比率のうちのあるテール比率に対応し、各テール比率は、前記複数の発話における前記発話の数の第１の比率および特定のインテントに対応する発話の数、ならびに前記バッチにおいて生成される発話の数から計算され、前記方法はさらに、
   インテント閾値を下回るインテント割合に対応する１つ以上のインテントを判断することと、
   前記バッチに包含するために、前記インテント閾値を下回るインテント割合に対応する１つ以上のインテントの各々に対応する少なくとも１つの発話を選択することと、
   前記数の発話の各他の特定の発話を、前記特定の発話に対応する特定のインテントおよび前記特定のインテントに対応する特定のインテント割合に基づいて、前記バッチに包含するために選択することとを含む、請求項１に記載の方法。
8. 前記インテント分布は重み付き分布であり、各インテント割合は重み付き比率であり、各重み付き比率は、前記複数の発話における、特定のインテントに対応する発話の数と、前記複数の発話における発話の総数とから計算され、複数の重み値のうちのある特定の重み値を乗算され、
   前記方法はさらに、各特定の発話を、前記特定の発話に対応する特定のインテントおよび前記特定のインテントに対応する特定のインテント割合に基づいて、前記バッチに包含するために選択することをさらに含む、請求項１に記載の方法。
9. 前記複数の重み値は、前記複数の発話に対応する前記インテントの頻度分布に部分的に基づく、請求項８に記載の方法。
10. 前記複数の重み値の各重み値は、前記複数の発話のうち、特定のインテントに対応するすべての発話の平均ストリング長に部分的に基づく、請求項８に記載の方法。
11. さらに、
    各インテント割合はバッチ比率であり、各バッチ比率は、前記複数の発話において特定のインテントに対応する発話の数と、前記バッチに含まれるべき発話の数とから計算され、前記方法はさらに、
    前記複数のインテント割合のうちの少なくとも１つのインテント割合は閾値を満たさないかまたは超えない、と判定することと、
    前記複数のインテント割合のうちの少なくとも１つのインテント割合は閾値を満たさないかまたは超えない、と判定したことに応答して、前記バッチに含まれるべき発話の数を増加させることとを含む、請求項１に記載の方法。
12. システムであって、
    １つ以上のデータプロセッサと、
    命令を含む非一時的なコンピュータ可読記憶媒体とを備え、前記命令は、前記１つ以上のデータプロセッサ上で実行されると、前記１つ以上のデータプロセッサに動作を実行させ、前記動作は、
    複数の発話を取得することを含み、各発話は、複数のインテントのうちのあるインテントに対応し、前記複数のインテントの各インテントは、１つ以上のスキルのうちのあるスキルに対応し、前記動作はさらに、
    前記複数の発話にわたってインテント分布を判断することを含み、前記インテント分布は複数のインテント割合を含み、前記インテント割合の各々は前記複数のインテントのうちのあるインテントに対応し、前記動作はさらに、
    前記複数のインテント割合に基づいて前記複数の発話から選択されるバッチ数の発話を含むバッチを生成することと、
    前記バッチからトレーニングデータのセットを前記１つ以上のスキルのための予測モデルに反復的に入力することとを含み、前記予測モデルは、目的関数の使用によって学習される複数のモデルパラメータを含むインテント分類部として構築され、前記動作はさらに、
    前記目的関数を最小化または最大化することによって、前記トレーニングデータのセットで前記予測モデルをトレーニングすることを含み、それは、予測されるインテントとグラウンドトゥルースインテントとの間の差を測定し、前記動作はさらに、
    前記トレーニングに応答して、前記予測されるインテントを生成するために前記予測モデルによって使用される前記トレーニングデータのセット内の関係を学習することと、
    前記学習された関係に関連付けられる前記複数のモデルパラメータを含むトレーニングされた予測モデルを取得することとを含む、システム。
13. さらに、前記１つ以上のデータプロセッサ上で実行されると、前記１つ以上のデータプロセッサに動作を実行させる命令を含み、前記動作は、複数のインテントプールを生成することを含み、各インテントプールは、前記複数のインテントのうちの特定のインテントに対応し、前記複数の発話のうち、前記特定のインテントに対応する各発話を含み、前記複数のインテント割合の各インテント割合は特定のインテントプールに対応し、前記バッチを生成することは、前記複数のインテント割合に基づいて前記複数のインテントプールから前記数の発話を選択することをさらに含む、請求項１２に記載のシステム。
14. 前記複数のインテントプールから選択される各発話は、対応するインテントプールからランダムに選択される、請求項１３に記載のシステム。
15. さらに、前記１つ以上のデータプロセッサ上で実行されると、前記１つ以上のデータプロセッサに動作を実行させる命令を含み、前記動作は、
    複数の代表的割合を判断することを含み、前記複数の代表的割合の各代表的割合は、前記生成されたバッチにおいて、ある数の対応する発話にわたる、特定のインテントの比例的表現に対応し、前記動作はさらに、
    前記複数の代表的割合の各代表的割合が、前記複数のインテント割合のうちの対応するインテント割合の閾値差内にあるかどうかを判断することを含み、
    前記バッチを前記１つ以上のスキルに適用することによって前記１つ以上のスキルのトレーニングを引き起こすことは、前記複数の代表的割合の各代表的割合が前記複数のインテント割合のうちの対応するインテント割合の閾値差内にあると判断することに応答して生じる、請求項１２に記載のシステム。
16. さらに、前記１つ以上のデータプロセッサ上で実行されると、前記１つ以上のデータプロセッサに動作を実行させる命令を含み、前記動作では、
    各インテント割合はバッチ比率であり、各バッチ比率は、前記複数の発話において特定のインテントに対応する発話の数と、前記バッチに含まれるべき発話の数とから計算され、前記動作はさらに、
    前記複数のインテント割合のうちの少なくとも１つのインテント割合は閾値を満たさないかまたは超えない、と判定することと、
    前記複数のインテント割合のうちの少なくとも１つのインテント割合は閾値を満たさないかまたは超えない、と判定したことに応答して、前記バッチに含まれるべき発話の数を増加させることとを含む、請求項１２に記載のシステム。
17. １つ以上のプロセッサによって実行可能な複数の命令を記憶する非一時的なコンピュータ可読記憶媒体であって、前記複数の命令は、前記１つ以上のプロセッサによって実行されると、
    複数の発話を取得することを引き起こし、各発話は、複数のインテントのうちのあるインテントに対応し、前記複数のインテントの各インテントは、１つ以上のスキルのうちのあるスキルに対応し、前記複数の命令は、さらに、前記１つ以上のプロセッサによって実行されると、
    前記複数の発話にわたってインテント分布を判断することを引き起こし、前記インテント分布は複数のインテント割合を含み、前記インテント割合の各々は前記複数のインテントのうちのあるインテントに対応し、前記複数の命令は、さらに、前記１つ以上のプロセッサによって実行されると、
    前記複数のインテント割合に基づいて前記複数の発話から選択されるバッチ数の発話を含むバッチを生成することと、
    前記バッチからトレーニングデータのセットを前記１つ以上のスキルのための予測モデルに反復的に入力することとを引き起こし、前記予測モデルは、目的関数の使用によって学習される複数のモデルパラメータを含むインテント分類部として構築され、前記複数の命令は、さらに、前記１つ以上のプロセッサによって実行されると、
    前記目的関数を最小化または最大化することによって、前記トレーニングデータのセットで前記予測モデルをトレーニングすることを引き起こし、それは、予測されるインテントとグラウンドトゥルースインテントとの間の差を測定し、前記複数の命令は、さらに、前記１つ以上のプロセッサによって実行されると、
    前記トレーニングに応答して、前記予測されるインテントを生成するために前記予測モデルによって使用される前記トレーニングデータのセット内の関係を学習することと、
    前記学習された関係に関連付けられる前記複数のモデルパラメータを含むトレーニングされた予測モデルを取得することとを引き起こす、非一時的なコンピュータ可読記憶媒体。
18. さらに、命令を含み、前記命令は、前記１つ以上のプロセッサによって実行されると、複数のインテントプールを生成することを引き起こし、各インテントプールは、前記複数のインテントのうちの特定のインテントに対応し、前記複数の発話のうち、前記特定のインテントに対応する各発話を含み、前記複数のインテント割合の各インテント割合は特定のインテントプールに対応し、前記バッチを生成することは、前記複数のインテント割合に基づいて前記複数のインテントプールから前記数の発話を選択することをさらに含む、請求項１７に記載の、１つ以上のプロセッサによって実行可能な複数の命令を記憶する非一時的なコンピュータ可読記憶媒体。
19. 前記複数のインテントプールから選択される各発話は、対応するインテントプールからランダムに選択される、請求項１８に記載の、１つ以上のプロセッサによって実行可能な複数の命令を記憶する非一時的なコンピュータ可読記憶媒体。
20. さらに、命令を含み、前記命令は、前記１つ以上のプロセッサによって実行されると、
    複数の代表的割合を判断することを引き起こし、前記複数の代表的割合の各代表的割合は、前記生成されたバッチにおいて、ある数の対応する発話にわたる、特定のインテントの比例的表現に対応し、前記命令は、さらに、前記１つ以上のプロセッサによって実行されると、
    前記複数の代表的割合の各代表的割合が、前記複数のインテント割合のうちの対応するインテント割合の閾値差内にあるかどうかを判断することを引き起こし、
    前記バッチを前記１つ以上のスキルに適用することによって前記１つ以上のスキルのトレーニングを引き起こすことは、前記複数の代表的割合の各代表的割合が前記複数のインテント割合のうちの対応するインテント割合の閾値差内にあると判断することに応答して生じる、請求項１７に記載の、１つ以上のプロセッサによって実行可能な複数の命令を記憶する非一時的なコンピュータ可読記憶媒体。

Images