JP4380144B2 - Information processing device for spoken dialogue - Google Patents
Information processing device for spoken dialogue Download PDFInfo
- Publication number
- JP4380144B2 JP4380144B2 JP2002334482A JP2002334482A JP4380144B2 JP 4380144 B2 JP4380144 B2 JP 4380144B2 JP 2002334482 A JP2002334482 A JP 2002334482A JP 2002334482 A JP2002334482 A JP 2002334482A JP 4380144 B2 JP4380144 B2 JP 4380144B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- dialog
- information
- matching
- dialogue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Telephonic Communication Services (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、音声サーバを媒介とした電子的なネットワーク上で形成される電子コミュニティでのコミュニケーションシステムに関わり、特に、音声入出力手段を用いて音声対話システムに接続し対話を進めていくことで特定の業務を実行する音声対話システム、電話回線を用いて遠隔地から音声対話サーバに接続し、語学学習を行うような語学学習システムに関する発明である。
【0002】
【従来の技術】
現在、音声認識機能を用いて、学習者が教師システムとインタラクティブに対話を進め、目標とするダイアログやスキットを学習する「対話型語学学習システム」が実現されつつある。一般に、対話型語学学習システムは、(1)インターネットなどのネットワークに接続されておらず単体で動作可能なオフライン型学習システム、(2)ネットワークを介してデータ通信を行い学習を進めるオンライン型学習システム、(3)電話回線網を介して音声通話を行い音声対話によって学習を進める音声対話型学習システムの3種類に分類される。例えば、上記(3)の実現方法としては、インターネットを利用している利用者が、遠隔地にある音声サーバに接続し、語学学習する方法が提案されている(例えば、特許文献1参照。)。このような音声対話型語学学習システムは、音声通話回線ボードを備えるコンピュータと、音声対話を実現するソフトウェアプログラムから構成され、語学学習サービスを提供するサービス提供者が設置・運用するのが一般的である。音声対話型語学学習システムでは、あらかじめ、学習内容や学習手順などの手続きをプログラムとして記述しておけば、自動的に実行できるメリットがある。すなわち、音声合成手段を用いて学習者への情報提示を行い、音声認識手段を用いて学習者の発話を認識することが可能であるため、発話及び認識を逐次実行するような対話制御手順が決められていれば自動実行可能であり、既にこのような対話制御手順を逐次実行するプログラムは、例えばVoiceXML(Voice eXtensible Markup Language)インタプリタなどで実現されている。VoiceXMLでは、VoiceXMLスクリプトと呼ばれる標準スクリプトで記述された対話内容が、VoiceXMLインタプリタにより逐次実行され、利用者との対話を可能とする。例えば、以下の対話例1を実現するVoiceXMLスクリプトは、スクリプト例1のように記述される。
対話例1
(1)システム:こちらは、音声自動応答システムです。ご利用になりたい、メニュー番号を発声してください。
(2)利用者:2番をお願いします。
(3)システム:2番ですね? 初級の学習を開始します。よろしいですか?
(4)利用者:はい。
このように、語学学習サービス等の音声対話システムは、これまで開発されている手段で実現可能であり、同様の手法で音声対話型のサービス、例えば株価情報や天気情報などの情報を音声対話で取得するサービスなども実現可能である。
ところで、このような音声対話型語学学習を実施する上での長所は、学習者の発話内容によってシステムの応答を変更することができる点である。すなわち、学習者の回答内容が、システムにとって不十分な回答であれば再発話を促す機能や、複数の選択肢がある場合に、選択した内容に応じてシステムの応答を変更する機能などを付加できる。
【特許文献1】
特開2002−157113号公報
【0003】
【発明が解決しようとする課題】
語学学習に際しては、一般の語学学習教室で見られるように、教師と学習者の対話や学習者同士の対話、すなわち「人間同士の対話」を欠くことができない。更に、学習した内容を実際に運用することで他者からフィードバックを受け、学習進度の確認や欠点を自ら知ることも重要である。例えば、語学学習では、学んだことを実地に体験し状況に対応して応答を変えていく、「ロールプレイ」もしくは「ロールプレイング」と呼ぶ学習が効果的であると言われており、語学学習に応用する場合には特に重要な機能であると考えられる。しかしながら、上記の音声対話型学習システムでは、場面に応じた対話の実行が可能であるが、その反面システムが発する音声は一般に機械音声であり、人間の発声音声には遠く及ばないため、人間同士が行うような自然な対話を実現することは難しい。更に、現在の音声対話システムでは、学習者と教師の1対1の対話に限定されているため、例えば、学習者が他の学習者とロールプレイングを実施したいという欲求がある場合には、ロールプレイングを希望する他の学習者を探し出し、該音声対話システムとは異なる手段を利用して、学習者自らが他の学習者に接触する必要がある。このような学習者間コミュニティはフォーラム等の形態で実現されているが、一般に、学習者が自分の希望する他の学習者を探索する作業は時間や労力がかかり、学習サービスによっては、プライバシーの観点から学習者の特徴を示すプロフィールにアクセスを試みること自体を禁止する場合も想定され、現在の音声対話システムを用いた語学学習サービスでは、学習者同士のロールプレイングの機能を容易に実現することは困難であった。そこで本発明の課題は、音声対話型学習システムにおいて「人間同士の対話」ができるシステム実現することである。以上のように、これまでの音声対話システムを用いて語学学習サービスを実施する場合には多くの課題があり、当然ながら、該課題は語学学習サービスのみに限定されるものではなく、音声対話システムを利用するサービス一般でも同様な課題となる。
【0004】
【課題を解決するための手段】
上記課題を解決する手段として、本発明では、ユーザからの入出力を制御する入出力手段と、ユーザとの対話を管理する対話管理クライアントと、対話管理クライアントと通信線で接続されている対話調停手段が情報を交換することで、所定の条件が満足された場合には、対話管理クライアント間にブリッジをはることのできる情報処理システムを提供する。
【0005】
【発明の実施の形態】
本発明の実施の一形態について、図面に基づいて説明する。
まず、下記に示す対話例2A、対話例2B、及び図1を用いて、本発明に関わるブリッジをはる方法の実施形態に関して説明する。下記対話例では、説明中で引用するために各発話内容に対して”[]”を用いて付番し、対話管理クライアントを「システム」と呼称する。
対話例2A
[1]システム1:こんにちは。日本語学習システムです。
[2]ユーザA:会員番号0123のマイクです。
[3]システム1:本日は、「買い物」のダイアログを学習します。よろしいですか?
[4]ユーザA:はい。
[5]システム1:
[6]ユーザA:
[7]システム1:
[8]ユーザA:
[9]システム1:ただいま、あなたと同クラスの学習者がいます。その学習者と実際に練習しますか?
[10]ユーザ:はい。
[11]システム1:では、接続いたします。少々お待ちください。
[12]システム1:接続できました。終了するときは1を押してください。では、お話ください。
[13]ユーザA:もしもし?
[14]ユーザB:こんにちは。
[15]ユーザA:私の名前はマイクです。
[16]ユーザB:私はケントです。
[17]ユーザA:今日どこへ買い物に行きましたか?
対話例2B
[18]システム2:こんにちは。日本語学習システムです。
[19]ユーザB:会員番号0867のケントです。
[20]システム2:本日は、「買い物」のダイアログを学習します。よろしいですか?
[21]ユーザB:はい。
[22]システム2:
[23]ユーザB:
[24]システム2:
[25]ユーザB:
[26]システム2:ただいま、あなたと同クラスの学習者がいます。その学習者と実際に練習しますか?
[27]ユーザB:はい。
[28]システム2:では、接続いたします。少々お待ちください。
[29]システム2:接続できました。終了するときは1を押してください。では、お話ください。
図1は、本発明に関わる情報システムの内部構成と実行ステップの一例を示した図である。まず、本システムの利用者であるユーザ1(101)が携帯電話もしくは固定電話を用いて音声システムに接続し、利用開始要求を行う(1)。利用開始要求を行う際には、アクセス元を識別する情報を付加する。アクセス元を識別する情報は、上記対話例2Aの[2]の発声のようにユーザが申告する方法や、音声対話システムに接続する際に数字ボタンで指定する方法等が利用できる。続いて、利用開始要求を受けた対話管理クライアント1(104)は、ユーザ情報管理サーバ103に対して、ユーザ情報の要求を行う(2)。ユーザ情報管理サーバ103は、ユーザ情報データ110を参照してユーザを特定し、ユーザに関する情報を対話管理クライアント1(104)に対して返送する(3)。返送するユーザ情報は、例えば、ユーザの名前、学習段階、学習履歴、マッチング対話履歴情報などから構成されている。ユーザ情報が返送された対話管理クライアント1(104)は、対話調停手段106に対して、利用を開始する実行ユーザであるユーザ1の情報を登録する(4)。対話調停手段106では、対話管理クライアント1(104)から登録されたユーザ情報を、単独実行ユーザデータ108に格納し、対話管理クライアント1(104)に対して、実行ユーザの登録完了を通知する(5)。上記の手順で実行ユーザの登録が完了すると、音声対話のセッションを開始する。対話セッションの一例は、上記対話例2Aに記載した[1]から[8]までのような対話である。ここでは、日本語学習の例で実施の形態を説明したが、もちろん日本人向けの外国語学習などの用途でも同様の対話を行うことができるため、必ずしも対話例2A[1]〜[8]のように日本語でなくとも構わず、言語や対話内容を拘束するものではない。
一方、ユーザ1(101)と対話管理クライアント1(104)とが対話を行っていると同時に、別の利用者であるユーザ2(102)が音声対話の利用要求を行う場合も、上記のステップ(1)から(6)までは同様の手順で遂行される。図1では、ユーザ2に関するステップには、”’”記号を付加したステップを記載した。上記の手順により、ユーザ1及びユーザ2が対話システムを利用し、対話セッションを実行している形態が実現できる。
対話調停手段106では、同時刻にシステムを利用している利用者(本実施例では、ユーザ1及びユーザ2)の情報を、単独実行ユーザデータ108に格納して管理している。対話調停手段106では、該単独実行ユーザデータを参照して、ユーザ1及びユーザ2のマッチング対話を提案(オファー)するかどうか判定するする(7)。例えば、ユーザ1及びユーザ2の学習段階が同一である場合や、学習内容が近い場合等にマッチング対話を提案する。例えば、ユーザ1及びユーザ2の学習段階が「初級」でかつ学習内容が「買い物」であれば、マッチング対話を提案できる。本実施例では、ユーザ1及びユーザ2の学習段階及び学習内容が同一である場合にマッチング対話を提案するステップとしたが、もちろん、マッチング対話を行うことにより効果が高いと判断される組み合わせであれば如何様な判定でもよく、上記例に限定されるものではない。
上記のマッチング結果の判定の結果、ユーザ1とユーザ2の直接対話をオファーする条件が整った後(7)、対話管理クライアント1(104)及び対話管理クライアント2(105)に対して、それぞれ対話管理クライアント2及び対話管理クライアント1を利用しているユーザとの直接対話を行うよう、他ユーザのマッチング要求を出す(8)。次に、各対話管理クライアントは、ユーザに対してマッチングのオファーを行う(9)。上記の対話例2A及び2Bにおいては、対話例2A[9]と対話例2B[26]がオファー発話に相当する。ユーザ1及びユーザ2は、それぞれマッチング対話を受諾するかどうかの判断を行う(10)。ユーザ1及びユーザ2が両方ともマッチングを受諾したら対話管理クライアント1及び対話管理クライアント2のコネクションを確立し、ユーザ1とユーザ2の直接対話に移行する(11)。上記対話例2A及び2Bでは、対話例2A[13]〜[17]が該コネクション確立及びコネクション確立後の対話例を示している。最後に、対話管理クライアント104及び105は、対話調停手段106に対して、コネクションが確立した旨の通知を行い(12)、対話調停手段106は該情報を元にユーザ1及びユーザ2を単独実行ユーザデータ108から削除し、コネクション確立ユーザデータ109に登録する。
図2を用いて、本発明に係わるブリッジをはるまでのステップにおいて、ユーザから要求があった場合の実施の形態に関して説明する。図2では、上記図1に関する実施例と構成は同一であるが、ユーザからの要求によりマッチング対話を行う点が異なっている。まず、図1におけるステップ(1)ユーザの利用開始要求から、ステップ(6)の対話セッション開始までのステップは同一である。続いて、ユーザ1(201)は、対話管理クライアント1(204)に対して、マッチング対話の要求を行う(7)。ステップ(7)ユーザ1が対話管理クライアントに対してマッチング対話を行いたい旨を要求する方法は、例えば、マッチング対話を行うためにあらかじめ割り当てられているキーやボタンの押下を検出する方法や、ユーザの「マッチング対話希望」等の発声を音声認識する方法などが利用できる。上記の方法で入力された要求項目を受け、対話管理クライアント1(204)は、対話調停手段206に対してマッチング対話要求の通知を行う(8)。以下、対話調停手段206はユーザ同士のマッチング判定を行うが、以降のステップは図1と同様のステップで実現できる。
図3を用いて、マッチング対話を行っているユーザ1及びユーザ2に対して、対話調停手段が終了の提案を行う実施の形態を示す。図3は、ユーザ1及びユーザ2がマッチング対話を終了する場合の構成図とステップの一例である。まず、対話調停手段306は、コネクション確立ユーザデータ309を検索し、マッチング対話を行っているユーザ組に関する情報を取得し、上記ユーザ組に関する情報データからマッチング対話の終了判定を行う(1)。続いて、マッチング対話の終了提案を、対話管理クライアント1(304)に対して通知する(2)。同時に対話管理クライアント1(304)は対話管理クライアント2(305)に対してマッチング対話終了提案通知を転送する(2’)。続くステップ(3)では、各対話管理クライアントがユーザに対してマッチング対話を終了してほしい旨の通知を行い、ユーザの終了承諾の後(4)、コネクションを切断する(5)。コネクションが切断された後に、対話管理クライアント1(304)は、ユーザ情報管理サーバ303に対して、行われていたマッチング対話履歴の登録を行い(6)、ユーザとの通常セッションを開始する(7)。最後に、通常セッションに復帰した旨を通知された対話調停手段306は、コネクション確立ユーザデータ309からマッチング対話を行っていたユーザデータを削除し(9)、両ユーザの情報を単独実行ユーザデータ308に再登録する(10)。上記のステップで本発明に関わるマッチング対話の終了手段を実現できる。
図4にて、本発明に関わるマッチング対話を終了するステップについて、特にユーザが希望した時点でマッチング対話を終了するステップの一例を説明する。ここでは、ユーザ1がマッチング対話終了を希望する場合を想定する。まず、ユーザ1(401)が対話管理クライアント1(404)に対して会話終了申請を行う(1)。会話終了の申請は、例えば、電話装置の特定の押しボタン(例えば、0番)を押下することで、マッチング対話を終了したい旨をシステムに通知する方法や、対話管理クライアントがマッチング対話を傍受し、マッチング対話者の発言内容に含まれる「マッチング対話終了」というキーワードを認識する方法等を用いるが、本発明においては、ユーザが対話の終了を指定できる方法であれば上記に限定されるものではない。更に、上記では「マッチング対話終了」を音声中から検出する方法を示したが、日本語学習者の学習レベルが初期段階にある場合には、「マッチング対話終了」というキーワードを記憶していない場合が有りえるので、学習者の母国語での「マッチング対話終了」を意味する単語乃至はフレーズでも構わない。この場合、対話管理クライアントは学習者の母国語による「終了」を意味する音声を音声認識する。以上の手順で、マッチング対話の終了を申請した後、対話管理クライアント1(404)は、対話調停手段406に対してユーザからのマッチング終了申請があった旨を通知する(2)。以降、図3における終了手段と同様の手法で通常セッションに復帰する。
図5及び図1を用いて本発明の対話調停手段に関する実施の形態を説明する。図5は、図1の対話調停手段106におけるステップ(7)「マッチング判定」の一実施形態である。対話調停手段は、初期状態として、対話管理クライアントからの情報登録などを受けつける待機状態(S501)にある。次に、任意の対話管理クライアントNから対話セッションを開始しようとしている”実行ユーザ”の登録を受ける(S502)。次に、対話調停手段106は単独実行ユーザ管理データ108に実行ユーザデータを登録する(S503)。続いて、該時刻に本発明に関わる情報処理装置を利用している全てのユーザリストである「単独実行ユーザデータ」を単独実行ユーザデータから取得する(S504)。ステップS504で得られた単独実行ユーザデータが2人以上であれば次のステップS505を実行し、もし単独実行ユーザが2人未満であったならば、対話の調停を行わず待機状態に遷移する(S505)。ステップS505で単独実行ユーザが2人以上であるならば、該単独実行ユーザの任意の組み合わせ、例えばユーザIとユーザJに対してマッチング度M(I,J)を計算する(S506)。該マッチング度は例えば、0から100までの整数値で表現されており、数値が大きければマッチング度が大きく対話調停の効果が高いとされる組み合わせを示す。もちろん、マッチング度は、ユーザの組み合わせの結びつき度合いを評価できる指標であれば該上記実施の形態に限定されるものではない。続いて、ステップS506で計算されたマッチング度M(I,J)について最も値の大きいユーザの組み合わせ(P,Q)を求める(S507)。ここで、P及びQはユーザのインデックスを示すものとする。次に、S507で求められたマッチング度M(P,Q)に対して、あらかじめ定められたマッチング度以上かどうかを判定し、一定のマッチング度以上であれば続くステップS510を実行し、以上でなければ対話の調停を行わず待機状態に遷移する(S509)。上記あらかじめ定められたマッチング度は、例えば50のような数値である。続くステップS510にて、ユーザP及びユーザQを管理する対話クライアントに対して、他ユーザとのマッチング要求を送出し、各対話管理クライアントからの応答の待ち状態に遷移する(S511)。上記ステップS509にて送出される情報は、図1ステップ(8)の他ユーザマッチング要求の一実施形態である。
図6及び図1を用いて、本発明におけるブリッジをはるユーザの組み合わせを、複数生じせしめる手段の実施例に関して説明する。図6は、図1の対話調停手段106における処理ステップを示す図である。対話調停手段106は、まず待機状態に設定されている(S601)。続いて、図5のステップS502、S503、S504と同様の手順により、全単独実行ユーザデータを取得する(S602)。続いて、単独実行ユーザは2人以上か判定し、2人以上であればS604、2人未満であれば待機状態S601に遷移する(S603)。続くステップS604では、図5のステップS506、S507、S508、S509と同様の手順でマッチング度最大のユーザ組(P,Q)を選択して、マッチング対話開始を要求する。次に、ユーザP及びQがマッチング対話を受諾したならば、図1の単独実行ユーザデータ108から、ユーザP及びQを削除し、同時にコネクション確立ユーザデータ109にユーザ組(P,Q)を登録し(図1のステップ(14))、待機状態に遷移する(S606)。上記の手順で、まず単独実行ユーザから2人のユーザを選択しマッチング対話を行わせる調停が可能となる。待機状態に遷移した対話調停手段は、繰り返しステップS602からステップS606を実行し、単独実行ユーザデータに残っているユーザに対してカップリングを行い、マッチング対話を提案する。尚、本実施例では、マッチング度最大のユーザ組が存在し、かつマッチング対話を受諾するという条件で実施したので、図6のステップは、単独実行ユーザが2人未満になるので問題はない。しかし、上記の前提が成立しない場合、例えば、マッチング度最大のユーザ組(P,Q)のどちらかがマッチング対話のオファーを受諾しなければ、続くステップS606で単独実行ユーザからユーザP及びQを削除することができなくなり、ユーザP及びQに対して永遠にマッチング対話のオファーが実行されることになる。従って、マッチング度最大のユーザ組を再び選択しないよう、利用中ユーザデータ107に、マッチング拒否ペアの類のデータを格納しておけば、S604の選択を行う際に、既にマッチングを拒否したユーザ組を排除することができるので、問題はない。
図7及び図1を用いて、本発明におけるブリッジをはるユーザを3人とする場合の対話調停手段の一実施例について説明する。図7は、図1の対話調停手段106における処理ステップを示す図である。対話調停手段は、初期状態として、対話管理クライアントからの情報登録などを受けつける待機状態(S701)にある。続いて、図5のステップS502、S503、S504と同様の手順により、全単独実行ユーザデータを取得する(S702)。続いて、単独実行ユーザは3人以上か判定し、3人以上であればS704、2人未満であれば待機状態S701に遷移する(S703)。次に、2人のユーザの全ての組み合わせに対して、マッチング度M(I,J)を求める(S704)。続いて、ステップS704で得られた2ユーザのマッチング度M(I,J)と、ユーザIを含む全てのマッチング度M(I,X)と、ユーザJを含む全てのマッチング度M(J,X)とから、式M(I,J,X)=M(I,J)+M(I,X)+M(J,X)を計算し、最大のMとなるようなユーザXを求める。ここで、Xは、I及びJではないという条件で探索する。例えば、ユーザKに対して上式M(I,J,X)=M(I,J)+M(I,X)+M(J,X)が最大となったのであれば、ユーザI,J,Kの間のマッチング度M(I,J,K)を該3人の組み合わせのマッチング度とする(S705)。続いて、任意の3人のユーザ組のマッチング度が最も高いM(I,J,K)を選択し(S706)、一定のマッチング度以上であれば、ユーザI,J,Kを管理する対話管理クライアントにマッチング対話を要求し(S708)返答待ち状態に遷移する(S709)。上記の手順で3人の対話調停を行うことができたが、3人以上の対話調停においても同様の手法を用いることができる。3人以上の対話調停においては、ステップS704及びステップS705の処理を再帰的に実行すれば良い。
図8及び図9を用いて、本発明に関わる対話調停手段でのマッチング度判定の実施例を語学学習サービスに応用する例に関して説明する。図9は、マッチング度を計算するステップを示す図である。まず、マッチング度を判定すべき2人のユーザA及びユーザBの登録情報を取得する(S901)。ユーザ情報は、例えば図1のユーザ情報管理サーバから取得する。ここでは、図8の801がユーザAの登録情報を示し、図8の806がユーザBの登録情報を示している。ユーザに関する情報は、名前802、学習コース803、学習内容804、マッチング対話希望情報805の属性情報から構成される。ステップS901にて取得された登録情報を参照し、ユーザA及びBが両者ともマッチング対話を希望しているかを参照する(S902)。両ユーザがマッチング対話を希望していればステップS902を実行し、いずれかのユーザが「希望しない」と設定していればマッチング度を0として処理を終了する(S904)。ステップS902で両者ともマッチング対話を希望していると判定されたならば、まず、両ユーザの学習コースの一致度を計算する(S903)。ここでは、図8の803及び808を参照し、両者とも「英語初級」という学習コースで同一であるので、M1=100を設定する(S903)。ここで一致度を100と設定したのはあくまでも一実施例であって、一致度を実現できる評価値であれば、該値に限定するものではない。続くステップS904では、両ユーザの学習内容の類似度M2を計算する。図8の804及び809を参照し、両者のいずれの学習内容も「買い物」が含まれているので、M2=100を設定する。以上のステップから求められた類似をM1,M2を用いて、ユーザA及びBのマッチング度Mを求める(S906)。ここでは、M=100と求められる。上記の手順で、語学学習サービスの2利用者のマッチング度判定を行う実施の形態を示した。上記実施例では、図8に示す属性から構成されているユーザ登録情報を利用したが、もちろん該属性に限定するものではない。すなわち、上記実施例以外の属性を利用する場合には、ステップS903と同様の手段で属性値から類似度Mを算出する手段を、ステップS905とステップS906の間に挿入し、S906の計算式を変更すればよい。
図10を用いて、ユーザが学習を終了した後に、ユーザの端末を利用してユーザ情報にアクセスする手段を開示する。図10は、サービス提供者が公開するユーザ情報の一例である。ユーザ情報1001は、インターネット上のWEBサービスや公開掲示板などを利用して公開されている。ユーザは、ユーザ情報中のマッチング対話の履歴を確認し、次回のサービス利用時に前回以前にマッチング対話を行ったユーザと次回以降も対話を行うかどうかを選択できる。すなわち、ユーザ情報1001においては、前回のマッチング対話ユーザがユーザBであることを示しており(1002)、マッチング対話の時刻も示されている(1003)。従って、ユーザは該情報からマッチング対話の内容を想起し、次回もマッチング対話を行うかどうかを判断できる。図10では、ユーザは「次回も対話を行う(1004)」を選択したので、図1のステップ(7)における対話調停手段において、ユーザAとユーザBのマッチング度を高く設定することで、マッチング対話の継続利用が可能となる。尚、該実施例では、マッチング対話を行ったユーザを「ユーザB」と匿名で表記したが、プライバシーの観点から匿名乃至は実名を選択可能としても良い。
上記の実施の形態では、ユーザの学習コース及び学習内容の情報を利用して対話調停を行う手段を開示した。ここでは、本発明に関わる「利用者のマッチング対話利用履歴に応じて対話調停を行う方法」の実施形態に関して、図11を用いて説明する。図3のステップ(6)で示すように、ユーザ1とユーザ2とのマッチング対話が終了すると、対話管理クライアントは、ユーザ情報管理サーバに対して、ユーザ1とユーザ2がマッチング対話を行った情報を送出する。例えば、図6に記載する類の情報、すなわち、ユーザ情報1101、マッチング対話を行った相手方のユーザ1102、学習時刻1103から構成する。例えば、上記対話例2A及び2Bでは、それぞれ、以下のようなデータが送出される。
データ1:(ユーザA、ユーザB、2002年8月20日15:30〜15:38)
データ2:(ユーザB、ユーザA、2002年8月20日15:30〜15:38)
上記の履歴データがユーザ情報管理サーバに送出されると、ユーザ情報管理サーバは受理した履歴データをユーザ情報データに記録する。対話調停手段では、図1のステップ(7)マッチング判定時に、ユーザ情報管理サーバから取得するユーザA及びユーザBのユーザ情報を検索し、再度ユーザAが音声システムを利用した場合には、ユーザBに対して優先的にマッチングを行うように調停を行う。図12及び図3を用いて、本発明に関わるサービス利用者への課金の実施形態に関して説明する。図12は、図3ステップ(6)のマッチング対話履歴登録の際にユーザ情報管理サーバ303にて行うステップを示したものである。まず、図3ユーザ情報管理サーバ303では、学習システムの利用時間をユーザ情報1201の学習システム利用時間エリア1202に加算する(S1210)。続いて、マッチング対話の利用回数をユーザ情報1201のマッチング対話利用回数エリア1203に加算する(S1211)。続いて、学習システム利用時間からポイント数Pを計算する(S1212)。例えば、10分の利用であれば10ポイントのようにする。ステップS1212にて計算されたポイント数Pを、ユーザ情報1201内にある課金情報エリア1204に加算する。続いて、ステップS1214では、学習システムでのマッチング対話の回数をマッチング対話利用回数エリア1203から取得する。取得した利用回数を参照し、マッチング対話の回数がN回以上であればステップS1216を実行し、N回未満であれば処理を終了する。ここでNの数はサービスに応じてあらかじめ決められている数である。続いて、ステップS1216では、マッチング対話を利用した回数Nからポイント数Qを計算する。例えば、5回の利用であれば、0.5ポイントのようにする。ステップS1216で計算されたポイント数Qを課金情報エリア1204から減算する(S1217)。減算のステップは、マイナスの値を加算するステップに置き換えても良い。以上の手順で、本発明に関わる課金情報の管理手段を提供する。
図13及び図14を用いて、本発明に関わる対話調停手段でのマッチング度判定の実施例をテレマティクスサービスに応用する例に関して説明する。図14は、マッチング度を計算するステップを示す図である。まず、マッチング度を判定すべき2人のユーザA及びBの登録情報を取得する(S1401)。ここでは、図13の1301がユーザAの登録情報を示し、図13の1308がユーザBの登録情報を示している。ユーザAに関する情報は、名前1302、自宅1303、所持している車種1304、興味1305、マッチング対話希望情報1306、目的地登録情報1307の属性情報から構成される。ステップS1401にて取得された登録情報を参照し、ユーザA及びBが両者ともマッチング対話を希望しているかを参照する(S1402)。両ユーザがマッチング対話を希望していればステップS1403を実行し、いずれかのユーザが「希望しない」と設定していればマッチング度を0として処理を終了する(S1404)。ステップS1402で両者ともマッチング対話を希望していると判定されたならば、まず、両ユーザの車種の一致度を計算する(S1403)。ここでは、図13の1304及び1311を参照し、両者とも「セイサク」という車種で同一であるので、M1=100を設定する(S1403)。ここで一致度を100と設定したのはあくまでも一実施例であって、一致度を表す評価値であれば、該値に限定するものではない。続くステップS1405では、両ユーザの興味の類似度M2を計算する。図13の1305及び1312を参照し、両者のいずれの興味にも「ショッピング」が含まれているが、1312のユーザには「旅行」の興味が含まれているので完全に興味が同じではないので、M2=80を設定する。続くステップS1406では、両ユーザの目的地の近さM3を計算する。ここで図13の1307及び1314より、ユーザAは「富士五湖」、ユーザBは「富士山」と登録されており、両者はあらかじめ設定されている地図情報における同一メッシュに含まれるので、M3=100とする。目的地の近さに関しては、目的地が含まれているメッシュのマンハッタン距離(メッシュ数)を計算し、該メッシュ数に10を掛けた値を100から減じることで計算できる。もちろん、目的地の近さの判定方法は該手段に限定するものではなく、地図上の実際の距離をスケール変換したもの等を利用できる。以上のステップから求められた類似をM1,M2,M3を用いて、ユーザA及びBのマッチング度Mを求める(S1407)。ここでは、M=94と求められる。ここでマッチング度MがM=94であり、ユーザA及びユーザBは目的地が近いと判定されたので、目的地周辺の観光情報やショッピング情報交換のガイダンスなどを提示し、ユーザ対話を誘導することが可能である。上記の手順で、テレマティクスサービスの2利用者のマッチング度判定を行う実施の形態を示した。上記実施例では、図13に示す属性から構成されているユーザ登録情報を利用したが、もちろん該属性に限定するものではない。すなわち、上記実施例以外の属性を利用する場合には、ステップS1403と同様の手段で属性値から類似度Mを算出する手段を、ステップS1406とステップS1407の間に挿入し、ステップS1407の計算式を変更すればよい。
図15、図16、図17、図18及び図19を用いて、本発明に関わる対話調停手段でのマッチング度判定の実施例を結婚情報サービスに応用する例に関して説明する。図16は、マッチング度を計算するステップを示す図である。まず、マッチング度を判定すべき2人のユーザF及びMの登録情報を取得する(S1601)。ここでは、図15の1501がユーザFの登録情報を示し、図15の1508がユーザMの登録情報を示している。ユーザに関する情報は、名前1502、住所1503、生年月日1504、血液型1505、趣味1506、マッチング対話希望情報1507の属性情報から構成される。ステップS1601にて取得された登録情報を参照し、ユーザF及びMが両者ともマッチング対話を希望しているかを参照する(S1602)。両ユーザがマッチング対話を希望していればステップS1603を実行し、いずれかのユーザが「希望しない」と設定していればマッチング度を0として処理を終了する(S1604)。ステップS1602で両者ともマッチング対話を希望していると判定されたならば、まず、両ユーザの星座の相性度M1を検索する(S1603)。図17は星座間の相性度を定義する表である。図17から男性の星座「乙女座」(1702)及び女性の星座「天秤座」(1703)から、相性度はM1=85(1703)と求めることができる。ここで、相性度表を用いるのはあくまでも一実施例であって、相性度を表現するものであれば該値に限定するものではない。続くステップS1605では、両ユーザの血液型の相性度M2を検索する。本ステップもS1603と同様に、図18の1802及び1803から、相性度をM2=58(1803)と求めることができる。最後にステップS1606にて、両ユーザの趣味の近さM3を計算する。ここでは、図19のような表を用いて、1901及び1902から相性度を求めM=10(1903)とする。以上のステップから求められた類似度M1,M2,M3を用いて、ユーザA及びBのマッチング度Mを求める(S1607)。ここでは、M=43.3と求められる。ここで、マッチング度MがM=43.3であり、ユーザAとユーザBの相性が比較的近いと判断されたので、趣味に対するガイダンスなどを提示し、ユーザ対話を誘導することが可能である。上記の手順で、結婚情報サービスを利用する2人のユーザのマッチング度判定を行う実施の形態を示した。上記実施例では、図15に示す属性から構成されているユーザ登録情報を利用したが、もちろん該属性に限定するものではない。すなわち、上記実施例以外の属性を利用する場合には、ステップS1603と同様の手段で属性値から類似度Mを算出する手段を、ステップS1606とステップS1607の間に挿入し、ステップS1607の計算式を変更すればよい。
図20及び図21を用いて本発明に関わるブリッジをはる手段の実施の一形態を説明する。図20は、ユーザ1及びユーザ2が音声入力手段を用いて、各々に対応する対話管理クライアント1及び対話管理クライアント2と対話を行っている図を示すものである。ユーザ1は、音声入出力手段2009の音声チャネル1(2011)に接続され、上り音声チャネル2013及び下り音声チャネル2014を利用している。音声チャネル1(2011)は、スイッチング手段1(2003)を介して対話管理手段1(2001)に接続され対話が実行されている。ここで、対話管理手段は対話の各ステップを実行する手段であり、本発明で度々記述されている対話管理クライアントが、該対話管理手段の一実施形態である。スイッチング手段1(2003)及び音声入出力手段1(2011)は上り線(2006)と下り線(2007)で接続されている。スイッチング手段2005は、一般にソフトウェアとして実現されるため、対話管理手段内(2001乃至は2002)で実施される方法、音声入出力手段内(2009)で実施される方法があるが、スイッチング手段2005が実現できれば構成は上記の限りではない。このように、音声入出力手段への音声の入出力は上り線と下り線の全二重通信によって実現されることが多く、公知の技術で実現できる。同様に、ユーザ2は音声入出力手段3(2012)及びスイッチング手段(2004)を介して、対話管理手段2(2002)と対話を行う。本実施例では、音声入出力手段は1及び3を利用したが、ユーザ毎に分離可能な音声入出力手段が割り当てられていればいずれのチャネルを利用しても構わない。上記の形態において、ユーザ1及びユーザ2が対話管理手段1及び2と対話を行っている形態を示した。該形態は、図21の2101に示すスイッチ管理テーブルによって管理できる。すなわち、現在利用中のスイッチIDに対して、接続されている音声入出力手段、対話管理手段の入出力線の接続番号を、図21の2101に記述している方式で管理する。例えば、スイッチID=1のスイッチング手段は、音声入出力手段からの入力信号線(IN)は音声入出力手段1に接続されているので、INの項目に「1」と記載する。同様に、音声入出力手段への出力信号線(OUT)は音声入出力手段1に接続されているので、OUTの項目に「1」と記載する。また、対話管理手段についても同様に、対話管理手段からの入力信号線(IN)は、対話管理手段1に接続されているので、INの項目に「1」と記載する。同様に、OUTの項目に「1」と記載する。上記の手順で、対話が行われている時点での対話管理手段と音声入出力手段の接続関係を、図21のスイッチ管理テーブルで管理できる。さて次に、ユーザ1及びユーザ2の直接対話を行うためのブリッジをはる手順に関して説明する。ここでは、図1におけるステップ(11)のコネクション確立に関する実施の形態を説明する。図1ステップ(11)は、対話管理クライアント1(104)及び対話管理クライアント2(105)は、ユーザからのマッチング受諾の通知を受け、ブリッジをはるステップである。図1の104及び105は、図20では2001及び2002に相当するので、以下図20の記号のみを用いて説明する。まず、対話管理手段1(2001)は、スイッチ管理テーブル2101を参照して、ブリッジをはる相手方である対話管理手段2をIN・OUT線に接続しているスイッチIDを取得する。すなわち、図21の2101では、スイッチID=2を取得する。次に、スイッチID=2を取得した対話管理手段1(2001)は、スイッチング手段に対して、対話管理手段1自身が接続しているスイッチID=1と、上記手順で取得したスイッチID=2の音声入出力手段側の信号線OUTを入れ替えるよう通知する。すなわち、スイッチID=1の音声入出力手段OUTは「1」、スイッチID=2の音声入出力手段OUTは「3」であるから、この「1」と「3」を入れ替える。尚、上記例では、対話管理手段1がスイッチIDを取得したが、対話管理手段2がスイッチIDを取得し同様の手順により信号線を入れ替えても良い。但し、対話管理手段1及び対話管理手段2が同時に入れ替えると競合が起こるので、スイッチIDの取得及び切り替えの手順は、優先度の高い対話管理手段が行う必要があり、例えば、対話管理手段IDの若い方が優先度が高いとするなどの制約が必要である。上記ステップで、図20スイッチング手段2053及び2054と、音声入出力手段2061及び2062は、信号線2056、2057、2058、2059の接続形態とすることができる。上記の手順で、音声入出力手段1(2061)と接続しているユーザ1と音声入出力手段2(2062)に接続しているユーザ2の全二重通信路、すなわち、ユーザ1からユーザ2への接続は、ユーザ1→2061→2056→2053→2057→2062→ユーザ2となり、ユーザ2からユーザ1への接続は、ユーザ2→2062→2058→2054→2059→2061→ユーザ1の通信路が確立され、直接対話が可能となる。続いて、対話管理手段1(2051)及び対話管理手段2(2052)の各々がユーザ1及びユーザ2の通話を傍受するため、対話管理手段1はスイッチング手段2(2054)と、対話管理手段2はスイッチング手段1(2053)との接続を確立し、図21スイッチ管理テーブル2102に記載するように各々のスイッチは両方の対話管理手段に接続されている状態となる。上記の手順で、ユーザ1及びユーザ2のコネクションを確立することができた。
図22及び図3を用いて本発明に関わる対話調停手段において、マッチング対話を行っているユーザに対してマッチング対話を終了するように要請する一実施例を説明する。図22は、図3の対話調停手段306におけるステップ(1)マッチング対話終了判定を実現するステップの一例である。対話調停手段306は、初期状態である待機状態(S2201)から、タイマー処理により終了判定処理を起動する(S2202)。タイマーは、例えば1分毎に起動するように設定しておけばよい。次に、現在マッチング対話を行っているコネクション確立ユーザ情報を、図30コネクション確立ユーザデータ309から取得する(S2203)。ステップS2203で取得した確立ユーザ組数が1以上であれば、続くステップS2205を実行し、1未満(すなわち0)であれば待機状態に遷移する。ステップS2205では、ステップS2203で取得した全てのコネクション確立ユーザ情報から、マッチング対話の経過時間Tを抽出する。次に、Tが最も大きいユーザ組(I,J)を選択し(S2206)、一定時間以上経過しているかどうか判定し、経過していればステップS2208を実行し、経過していなければ待機状態S2201に遷移する。ここでは、経過時間Tとシステム固定の経過時間を比較したが、マッチング対話を行ってユーザ組に異なるシステム利用可能時間を与えてもよく、その場合には、コネクション確立ユーザ情報に、経過時間Tとシステム利用可能時間Taを記載して利用すれば良い。ステップS2208では、ステップS2207にて選択されたユーザ組(I,J)を管理する対話管理クライアント(図3−304)に対話終了を要請する。対話終了の要請を受けた対話管理クライアント1(304)は、対話管理クライアント2に通知し各ユーザに対してマッチング対話の終了の要請を行う。その後、ユーザのどちらが承諾すればマッチング対話を終了し、コネクションを切断する。上記実施例では、マッチング対話の終了に際して各ユーザに通知し承諾を得る手続きをとったが、もちろん、承諾を得ずにコネクションを切断しても良く、その場合はマッチング対話の終了要請の手続きは不要である。以上の手順により、マッチング対話を終了させる手段を実現する。
図23を利用して、本発明に関わる対話管理クライアント生成の実施の一形態を示す。まず、音声対話システムが起動すると対話管理クライアント生成手段2304が生成され、ユーザ2301からの利用開始メッセージの待ち状態に移行する(1)。次に、音声入出力手段2302に対して利用者から通話があると(2)、音声入出力手段2302は対話管理クライアント生成手段2304に対して通話開始メッセージを送出する(3)。対話管理クライアント生成手段2304は音声入出力手段2302から送出される利用開始メッセージを受理すると、利用者との対話を行う対話管理クライアント2303を生成する(4)。生成された対話管理クライアント2303は、音声入出力手段2302に対して、例えば、図20を用いて説明した実施の形態を用いて通信路を確立し、ユーザとの対話を開始する(5)。
図24を利用して、本発明に関わる対話管理クライアント生成の実施の一形態を示す。まず、音声対話システムが起動されると、対話管理クライアント生成手段2404が対話管理クライアント2403を生成する(1)。生成された対話管理クライアント2403は、音声入出力手段2402から送出される利用開始メッセージの待ち状態に移行する(2)。次に、ユーザ2401から音声入出力手段2402に対して電話回線等を通じて利用の要求があると(3)、音声入出力手段2402は対話管理クライアント2403に対して利用開始メッセージを送出する(4)。利用開始メッセージを受理した対話管理クライアント2403は、音声入出力手段2402に対して、例えば、図20を用いて説明した実施の形態を用いて通信路を確立し、ユーザとの通話を開始する(5)。
以上、対話管理クライアントとユーザの通信路確立に関して2種類の実施の形態を示したが、対話管理クライアントとユーザの通信路が確立されれば良く、上記実施の形態のみに限定するものではない。
図25は、本発明に関わる情報処理装置のシステム構成例である。図25に示すように、情報処理装置は、ユーザ2501が音声対話を行う際の音声の入力及び出力を司るための音声入出力手段2503と、音声入出力手段2503を通じて、ユーザが入力する音声を認識し、ユーザへ提示すべき音声を構成する対話管理クライアント2506と、対話管理クライアント2506に対して、対話マッチングの制御を行う対話調停手段2509と、音声対話システムを利用中のユーザに関する情報を格納する利用中ユーザデータ2510と、ユーザに関する情報をサービス提供者から得る手段として利用するコンピュータネットワーク2512と、ユーザのユーザ情報を管理するユーザ情報管理サーバ2513と、ユーザが自らのプロファイル等を入力するためのユーザ端末2511から構成される。音声入出力手段2503は、一般にユーザと電話回線網2502で接続されており、ユーザが発声する音声をデジタル化し(A/D変換)、音声デジタルデータをアナログデータに変換する(D/A変換)装置を利用するが、例えば、コンピュータに接続されているマイク及びスピーカでも良い。また、音声入出力手段2503は必ずしも電話回線で接続されていることに限定しない。例えば、IP(Internet Protocol)で実現されるインターネット網上で、デジタル化された音声データを送受信する方法を利用してもよい。対話管理クライアント2506は、ユーザが発する音声データを認識しユーザの発するところの音声内容を理解する手段と、現在の対話の状況に関する発話内容を音声データとして構成し出力する手段を有する。なお、一般に対話管理クライアントは複数起動できるようにプログラミングされており、複数のユーザが同時にシステムを利用できる構成とする。ここで、本発明に関わる情報処理装置は、複数のユーザが利用可能な音声入出力手段及び対話管理クライアントを備えている。一般に、音声入出力手段の数は音声対話装置に接続可能とする電話回線数である。図25の構成では、3回線の音声入出力手段を備え、3人までのユーザが同時利用可能である。
図26は、本発明に関わる情報処理装置のシステム構成例である。図26における情報処理装置は、ユーザが利用する電話端末装置2601、電話網2610、ポータルサーバ2603から構成されている。ポータルサーバ2603は、音声入出力手段2604、対話管理クライアント2605、ユーザ情報管理サーバ2607、対話管理クライアント生成手段2608、対話調停手段2609を備えている。図27及び図28は、本発明に係わる情報処理装置のシステム構成例である。特に、カーナビゲーション端末とポータルサーバが情報の授受を行う形態に関わるものである。図27カーナビゲーション端末2703は、音声の入力手段であるマイク2701と出力手段であるスピーカ2702が音声入出力手段2704に接続され、カーナビゲーション端末上で動作する対話管理クライアント2705とを備えている。この形態では、対話管理クライアントにより実行する対話スクリプトを、通信網2709を経由してダウンロードする。ダウンロードは、図28の2808の太線で示すデータ通信路を利用する。ポータルサーバ2710は、ユーザ情報管理サーバ2711と対話管理クライアント生成手段2712と対話調停手段2713とを備える。一般に、通信網においては音声信号を交換する系とデータ類を交換する系は異なる。図28における通信網に接続されている細線(2807、2809、2812)は電話回線であり、太線(2808、2810、2813)はデータ回線を示している。本実施の形態を利用する情報処理システムでは、ユーザ情報や対話スクリプトの交換はデータ通信線を用い、ユーザ間のマッチング対話は音声通信線を利用する。すなわち、図28のシステムを用いた場合の図1におけるコネクション確立のステップ(11)は以下のようになる。まず、マッチング受諾を受けた各対話管理クライアント2803及び2806は、対話調停手段2814に対してコネクション確立の要請を行う。対話調停手段2814はユーザ情報管理サーバからユーザの電話番号を抽出し、対話調停手段からカーナビゲーション端末2801及び2804に通話をかける。続いて、図20と同様の方法を用いてユーザ間の通信路の上り下り回線のスイッチングを行う。以上の手順で、ユーザ間の直接対話を実現する。上記実施例はユーザ間の対話を、音声回線を用いて実現したが、もちろん音声データをパケットデータに変換してデータ通信回線を利用する技術なども同様に利用可能であり、上記実施例の方法には限定しない。
図29は、本発明に係わる情報処理装置のシステム構成例である。特に、パーソナルコンピュータ上におけるe−Learningや語学学習の実施に関わるものである。図29のユーザ端末1は、音声入出力手段2906としてマイク2901及びスピーカ2902、画像入出力手段2907としてカメラ2903及びディスプレイ2904、テキスト・位置入力手段2908としてキーボード・マウス2905等を備えている。該形態での対話管理クライアント2909は、ユーザと複数の入出力手段を利用して対話を行う。この場合、対話管理クライアントは、音声や画像情報の入力や出力をステップ実行する手段と、各入出力チャネルの同期情報を管理する同期管理手段により構成すれば良い。上記の手段で構成された複数のユーザ端末を、コンピュータネットワーク2912を経由して、学習提供サーバ2913に接続し電子的なネットワークを構築する。学習提供サーバ2913は、上記実施例図27と同様に、ユーザ情報管理サーバ2914、対話管理クライアント2915、対話調停手段2916から構成する。上記実施例では、通信網乃至はコンピュータネットワーク上を流通するのは音声データが前提であったが、本実施例の構成を用いれば、音声及び画像情報の送受信によりユーザ同士のマッチング対話が可能である。すなわち、音声及び画像情報を利用する場合には、図20のスイッチング手段に関して音声情報用スイッチ及び画像情報用スイッチを構成すれば良い。
図30は、本発明に関わる情報処理装置のシステム構成例である。特に、パーソナルコンピュータ上におけるe−Learningにおいて、教師が端末を利用して学習に介在する場合に関わるものである。図30の3001から3016で示される構成要素は図29と同一である。図30では、教師用端末1(3017)及び教師用端末2(3018)は学習提供サーバ3013と接続され、学習者との対話が可能となっている。例えば、教師用端末1(3017)の教師がユーザ端末1(3010)のユーザと、教師用端末2(3018)の教師がユーザ端末2(3011)のユーザと学習を進めているものとする。この際、教師用端末1(3018)を利用している教師から、学習者間のマッチング対話を行うよう要請があった場合には、図2の実施の形態で示した音声認識乃至キーボタンの押下を検出する方法等を用いるステップを利用して、学習者間のマッチング対話を判定する手段を構成すればよい。該形態のe−Learningシステムでは、概して学習進度を採点する必要が生じるが、該学習者を担当していた教師が、各々の教師用端末を用いて学習者間のマッチング対話を傍受することにより、学習状況を採点しキーボード入力などの手段を用いて、例えば、ユーザ情報管理サーバ3014に登録されているユーザ情報(図12・1201)において、学習者の学習進度管理状況のデータ格納エリアを設置し、該データを更新する手段を構成すればよく、該データの更新手段はWeb等を利用した一般的な方法で構成可能である。
【0006】
【発明の効果】
本発明を利用することにより、従来不可能であったコンピュータを利用した学習における人間同士の直接対話を実現することができ、ロールプレイングなどを通じて学習効果の高い語学学習サービスを提供することが可能となる。また、テレマティクスサービスに応用した場合、サービスに加入している運転者同士が直接情報交換できる仕組みを提供できるため、魅力的なサービスを実現することが可能となる。
【図面の簡単な説明】
【図1】本発明のブリッジをはる手段の一実施手段を示した図である。
【図2】本発明のブリッジをはる手段の一実施手段を示した図である。
【図3】本発明の確立されているコネクションを切断する手段の一実施例を示した図である。
【図4】本発明の確立されているコネクションを切断する手段の一実施例を示した図である。
【図5】本発明の対話マッチング(調停)を行う一実施ステップを示した図である。
【図6】本発明の対話マッチング(調停)を行う一実施ステップを示した図である。
【図7】本発明の対話マッチング(調停)を3人の利用者間で行う一実施ステップを示した図である。
【図8】本発明を利用する語学学習サービスにおける利用者登録情報の一例を示す図である。
【図9】本発明を利用する語学学習サービスにおけるマッチング度判定の一実施例を示した図である。
【図10】本発明を利用する語学学習サービスにおいて、利用者が行うマッチング対話履歴変更を説明する図である。
【図11】本発明を利用するユーザ情報管理サーバにて、利用者のマッチング対話履歴を格納するデータを示すデータ構造図である。
【図12】本発明を利用する語学学習サービスにおいて、学習者のシステム利用料金を課金及び割り引く方法の一実施例を示す図である。
【図13】本発明を利用するテレマティクスサービスにおける利用者登録情報の一例を示す図である。
【図14】本発明を利用するテレマティクスサービスにおけるマッチング度判定の一実施例を示した図である。
【図15】本発明を利用する結婚情報サービスにおける利用者登録情報の一例を示す図である。
【図16】本発明を利用する結婚情報サービスにおけるマッチング度判定の一実施例を示した図である。
【図17】本発明を利用する結婚情報サービスにおけるマッチング度判定に用いられる利用者の星座の相性度の一例を示す図である。
【図18】本発明を利用する結婚情報サービスにおけるマッチング度判定に用いられる利用者の血液型の相性度の一例を示す図である。
【図19】本発明を利用する結婚情報サービスにおけるマッチング度判定に用いられる利用者の趣味の相性度の一例を示す図である。
【図20】本発明を利用する情報処理装置におけるブリッジをはる一実施例に関する機構図である。
【図21】本発明を利用する情報処理装置におけるブリッジをはる手段において、接続先を管理するスイッチ管理テーブルの一例を示す図である。
【図22】本発明を利用するマッチング対話を終了する手段の一実施例を示す図である。
【図23】本発明を利用する音声対話システムにおける対話管理クライアント生成の一実施例を示す図である。
【図24】本発明を利用する音声対話システムにおける対話管理クライアント生成の一実施例を示す図である。
【図25】本発明を利用する情報処理システムの一例を示す構成図である。
【図26】本発明を利用する情報処理システムの一例を示す構成図である。
【図27】本発明を利用する情報処理システムの一例を示す構成図である。
【図28】本発明を利用する情報処理システムの一例を示す構成図である。
【図29】本発明を利用する情報処理システムの一例を示す構成図である。
【図30】本発明を利用する情報処理システムの一例を示す構成図である。
【符号の説明】
101 ユーザ1
102 ユーザ2
103 ユーザ情報管理サーバ
104 対話管理クライアント1
105 対話管理クライアント2
106 対話調停手段
107 利用中ユーザデータ
108 単独実行ユーザデータ
109 コネクション確立ユーザデータ
110 ユーザ情報データ
201 ユーザ1
202 ユーザ2
203 ユーザ情報管理サーバ
204 対話管理クライアント1
205 対話管理クライアント2
206 対話調停手段
207 利用中ユーザデータ
208 単独実行ユーザデータ
209 コネクション確立ユーザデータ
301 ユーザ1
302 ユーザ2
303 ユーザ情報管理サーバ
304 対話管理クライアント1
305 対話管理クライアント2
306 対話調停手段
307 利用中ユーザデータ
308 単独実行ユーザデータ
309 コネクション確立ユーザデータ
401 ユーザ1
402 ユーザ2
403 ユーザ情報管理サーバ
404 対話管理クライアント1
405 対話管理クライアント2
406 対話調停手段
407 利用中ユーザデータ
408 単独実行ユーザデータ
409 コネクション確立ユーザデータ
S501 待機状態ステップ
S502 登録受付ステップ
S503 データ登録ステップ
S504 データ取得ステップ
S505 人数判定ステップ
S506 マッチング度計算ステップ
S507 選択ステップ
S508 マッチング度判定ステップ
S509 対話要求ステップ
S510 返答待ちステップ
S601 待機状態ステップ
S602 データ取得ステップ
S603 人数判定ステップ
S604 対話要求ステップ
S605 対話受諾ステップ
S606 データ削除ステップ
S701 待機状態ステップ
S702 データ取得ステップ
S703 人数判定ステップ
S704 マッチング度計算ステップ
S705 マッチング度計算ステップ
S706 選択ステップ
S707 マッチング度判定ステップ
S708 対話要求ステップ
801 ユーザ情報
802 名前情報
803 学習コース情報
804 学習内容情報
805 マッチング対話希望情報
806 ユーザ情報
807 名前情報
808 学習コース情報
809 学習内容情報
810 マッチング対話希望情報
S901 ユーザ情報取得ステップ
S902 希望判定ステップ
S903 学習コース一致度計算ステップ
S904 マッチング度設定ステップ
S905 学習内容一致度計算ステップ
S906 マッチング度計算ステップ
1001 ユーザ履歴情報画面
1002 マッチング対話ユーザ履歴情報
1003 マッチング対話時刻履歴情報
1004 対話希望指定
1005 対話不希望指定
1101 ユーザ情報
1102 マッチング対話利用者情報
1103 マッチング対話実施時刻情報
1201 ユーザ情報
1202 学習システム利用時間エリア
1203 マッチング対話利用回数エリア
1204 課金情報エリア
S1210 利用時間加算ステップ
S1211 利用回数加算ステップ
S1212 ポイント数計算ステップ
S1213 加算ステップ
S1214 情報取得ステップ
S1215 比較ステップ
S1216 ポイント数計算ステップ
S1217 割引ステップ
1301 ユーザ情報
1302 名前情報
1303 自宅情報
1304 車種情報
1305 興味情報
1306 マッチング対話希望情報
1307 目的地情報
1308 ユーザ情報
1309 名前情報
1310 自宅情報
1311 車種情報
1312 興味情報
1313 マッチング対話希望情報
1314 目的地情報
S1401 ユーザ情報取得ステップ
S1402 希望判定ステップ
S1403 車種一致度計算ステップ
S1404 マッチング度設定ステップ
S1405 興味類似度計算ステップ
S1406 目的地類似度計算ステップ
S1407 マッチング度計算ステップ
1501 ユーザ情報
1502 名前情報
1503 自宅情報
1504 生年月日情報
1505 血液型情報
1506 趣味情報
1507 マッチング対話希望情報
1508 ユーザ情報
1509 名前情報
1510 自宅情報
1511 生年月日情報
1512 血液型情報
1513 趣味情報
1514 マッチング対話希望情報
S1601 ユーザ情報取得ステップ
S1602 希望判定ステップ
S1603 星座相性度計算ステップ
S1604 マッチング度設定ステップ
S1605 血液型相性度計算ステップ
S1606 趣味類似度計算ステップ
S1607 マッチング度計算ステップ
1701 星座
1702 星座
1703 相性度
1801 血液型
1802 血液型
1803 相性度
1901 趣味カテゴリ
1902 趣味カテゴリ
1903 相性度
2001 対話管理手段1
2002 対話管理手段1
2003 スイッチング手段1
2004 スイッチング手段2
2005 スイッチング手段
2006 コネクション上り線
2007 コネクション下り線
2008 コネクション下り線
2009 音声入出力手段
2010 コネクション上り線
2011 音声入出力手段1
2012 音声入出力手段3
2013 音声上り回線
2014 音声下り回線
2015 音声上り回線
2016 音声下り回線
2051 対話管理手段1
2052 対話管理手段1
2053 スイッチング手段1
2054 スイッチング手段2
2055 スイッチング手段
2056 コネクション上り線
2057 コネクション下り線
2058 コネクション上り線
2059 コネクション上り線
2060 音声入出力手段
2061 音声入出力手段1
2062 音声入出力手段3
2101 スイッチ管理テーブル
2102 スイッチ管理テーブル
S2201 待機状態ステップ
S2202 処理起動ステップ
S2203 情報取得ステップ
S2204 組数確認ステップ
S2205 経過時間抽出ステップ
S2206 選択ステップ
S2207 経過時間判定ステップ
S2208 要請ステップ
S2209 返答待ちステップ
2301 ユーザ
2302 音声入出力手段
2303 対話管理クライアント
2304 対話管理クライアント生成手段
2401 ユーザ
2402 音声入出力手段
2403 対話管理クライアント
2404 対話管理クライアント生成手段
2501 ユーザ1
2502 通信網
2503 音声入出力手段
2504 音声入出力手段
2505 音声入出力手段
2506 対話管理クライアント1
2507 対話管理クライアント2
2508 対話管理クライアント3
2509 対話管理クライアント1
2510 実行利用者データ
2511 ユーザ端末
2512 コンピュータネットワーク
2513 ユーザ情報管理サーバ
2514 ユーザ情報データ
2601 電話端末装置
2602 電話端末装置
2603 ポータルサーバ
2604 音声入出力手段
2605 対話管理クライアント1
2606 対話管理クライアント2
2607 ユーザ情報管理サーバ
2608 対話管理クライアント生成手段
2609 対話調停手段
2610 電話網
2701 マイク
2702 スピーカ
2703 カーナビゲーション端末1
2704 音声入出力手段
2705 対話管理クライアント1
2706 カーナビゲーション端末2
2707 音声入出力手段
2708 対話管理クライアント2
2709 通信網
2710 ポータルサーバ
2711 ユーザ情報管理サーバ
2712 対話管理クライアント生成手段
2713 対話調停手段
2801 カーナビゲーション端末1
2802 音声入出力手段
2803 対話管理クライアント1
2804 カーナビゲーション端末2
2805 音声入出力手段
2806 対話管理クライアント2
2807 電話回線
2808 パケット回線
2809 電話回線
2810 パケット回線
2811 通信網
2812 電話回線
2813 パケット回線
2814 対話調停手段
2901 マイク
2902 スピーカ
2903 カメラ
2904 ディスプレイ
2905 キーボード・マウス
2906 音声入出力手段
2907 画像入出力手段
2908 テキスト・位置入力手段
2909 対話管理クライアント1
2910 ユーザ端末1
2911 ユーザ端末2
2912 コンピュータネットワーク
2913 学習提供サーバ
2914 ユーザ情報管理サーバ
2915 対話管理クライアント生成手段
2916 対話調停手段
3001 マイク
3002 スピーカ
3003 カメラ
3004 ディスプレイ
3005 キーボード・マウス
3006 音声入出力手段
3007 画像入出力手段
3008 テキスト・位置入力手段
3009 対話管理クライアント1
3010 ユーザ端末1
3011 ユーザ端末2
3012 コンピュータネットワーク
3013 学習提供サーバ
3014 ユーザ情報管理サーバ
3015 対話管理クライアント生成手段
3016 対話調停手段
3017 教師用端末1
3018 教師用端末2。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a communication system in an electronic community formed on an electronic network mediated by a voice server, and in particular, by connecting to a voice dialogue system using voice input / output means to advance a dialogue. The invention relates to a speech learning system that performs a specific task, and a language learning system that connects to a speech dialogue server from a remote location using a telephone line to perform language learning.
[0002]
[Prior art]
Currently, using a speech recognition function, an “interactive language learning system” in which a learner interactively interacts with a teacher system and learns a target dialog or skit is being realized. In general, an interactive language learning system includes (1) an offline learning system that is not connected to a network such as the Internet and can operate alone, and (2) an online learning system that facilitates learning through data communication via the network. , (3) There are three types of voice interactive learning systems in which a voice call is made via a telephone line network and learning is performed by voice dialogue. For example, as a method for realizing the above (3), a method in which a user who uses the Internet connects to a remote voice server and learns a language is proposed (see, for example, Patent Document 1). . Such a spoken dialogue type language learning system is composed of a computer having a voice call line board and a software program for realizing a voice dialogue, and is generally installed and operated by a service provider providing a language learning service. is there. The spoken language learning system has the merit that it can be automatically executed if procedures such as learning contents and learning procedures are described in advance as a program. That is, since it is possible to present information to the learner using the speech synthesizer and to recognize the learner's utterance using the speech recognizer, there is an interactive control procedure that sequentially executes utterance and recognition. If it is determined, the program can be automatically executed, and a program that sequentially executes such a dialog control procedure is, for example, VoiceXML ( Voice e X tensible M arcup L (anguage) interpreter. In VoiceXML, the conversation content described by a standard script called VoiceXML script is sequentially executed by the VoiceXML interpreter, thereby enabling interaction with the user. For example, a VoiceXML script that realizes the following dialogue example 1 is described as in script example 1.
Dialogue example 1
(1) System: This is an automatic voice response system. Say the menu number you want to use.
(2) User: Please give me
(3) System: No. 2? Beginner learning begins. Is it OK?
(4) User: Yes.
In this way, a spoken dialogue system such as a language learning service can be realized by means that have been developed so far, and a voice dialogue type service, for example, information such as stock price information and weather information can be obtained by voice dialogue using the same method. Acquiring services are also possible.
By the way, an advantage in carrying out such speech interactive language learning is that the response of the system can be changed according to the utterance content of the learner. In other words, if the learner's response content is insufficient for the system, a function that prompts re-speech, or a function that changes the system response according to the selected content when there are multiple options, can be added. .
[Patent Document 1]
JP 2002-157113 A
[0003]
[Problems to be solved by the invention]
In language learning, as seen in general language learning classrooms, teacher-learner dialogue and learner dialogue, that is, “human dialogue” is indispensable. Furthermore, it is important to receive feedback from others by actually using the learned content, and to check the learning progress and know the faults themselves. For example, in language learning, it is said that learning called "role play" or "role playing", where students learn what they have learned and change their responses according to the situation, is effective. It is considered to be a particularly important function when applied to the above. However, in the above-mentioned spoken dialogue type learning system, it is possible to execute dialogues according to the scene, but on the other hand, the voices produced by the system are generally machine voices and are not far from human voices. It is difficult to realize a natural dialogue like that. Furthermore, since the current voice dialogue system is limited to a one-to-one dialogue between a learner and a teacher, for example, when a learner desires to perform role playing with another learner, a role is played. It is necessary to search for other learners who want to play and to make contact with other learners by using means different from the spoken dialogue system. Such inter-learner communities are realized in the form of forums, etc., but in general, it takes time and effort for a learner to search for other learners he / she desires. In some cases, it may be prohibited to attempt to access a profile that shows the characteristics of learners from a viewpoint, and in the language learning service using the current spoken dialogue system, the role playing function between learners can be easily realized. Was difficult. Therefore, an object of the present invention is to realize a system capable of “dialogue between humans” in a speech interactive learning system. As described above, there are many problems when implementing a language learning service using a conventional voice dialogue system. Of course, the problem is not limited to a language learning service. The same problem arises for services that generally use.
[0004]
[Means for Solving the Problems]
As means for solving the above problems, in the present invention, input / output means for controlling input / output from a user, a dialog management client for managing dialog with the user, and dialog mediation connected to the dialog management client via a communication line An information processing system capable of bridging between dialog management clients when a predetermined condition is satisfied by exchanging information by means.
[0005]
DETAILED DESCRIPTION OF THE INVENTION
An embodiment of the present invention will be described with reference to the drawings.
First, an embodiment of a method for building a bridge according to the present invention will be described with reference to an interactive example 2A, an interactive example 2B, and FIG. In the following dialogue example, each utterance content is numbered using “[]” for citation in the description, and the dialogue management client is called “system”.
Dialogue example 2A
[1] System 1: Hello. Japanese learning system.
[2] User A: A microphone with a membership number 0123.
[3] System 1: Today we will learn the “shopping” dialog. Is it OK?
[4] User A: Yes.
[5] System 1:
[6] User A:
[7] System 1:
[8] User A:
[9] System 1: There is a learner in the same class as you. Do you really practice with the learner?
[10] User: Yes.
[11] System 1: Connect. Please wait a moment.
[12] System 1: Connected.
[13] User A: What if?
[14] User B: Hello.
[15] User A: My name is microphone.
[16] User B: I am Kent.
[17] User A: Where did you go shopping today?
Dialogue example 2B
[18] System 2: Hello. Japanese learning system.
[19] User B: Kent with membership number 0867.
[20] System 2: Today we will learn the “shopping” dialog. Is it OK?
[21] User B: Yes.
[22] System 2:
[23] User B:
[24] System 2:
[25] User B:
[26] System 2: There is a learner in the same class as you. Do you really practice with the learner?
[27] User B: Yes.
[28] In System 2: Connect. Please wait a moment.
[29] System 2: Connected.
FIG. 1 is a diagram showing an example of the internal configuration and execution steps of an information system according to the present invention. First, a user 1 (101) who is a user of the present system connects to the voice system using a mobile phone or a fixed telephone and makes a use start request (1). When making a use start request, information for identifying the access source is added. As the information for identifying the access source, a method in which the user declares it like the utterance [2] in the above dialogue example 2A, a method in which the number button is used when connecting to the voice dialogue system, or the like can be used. Subsequently, the dialog management client 1 (104) that has received the use start request requests the user
On the other hand, when the user 1 (101) and the dialogue management client 1 (104) are conducting a dialogue, and the user 2 (102) as another user makes a voice dialogue use request, the above-described steps (1) to (6) are performed in the same procedure. In FIG. 1, a step in which a “′” symbol is added to the step relating to the
The dialog mediation means 106 manages the information of users (
As a result of the determination of the matching result, after the condition for offering direct dialogue between the
With reference to FIG. 2, an embodiment in the case where there is a request from the user in the steps up to the construction of the bridge according to the present invention will be described. In FIG. 2, the configuration is the same as that of the embodiment shown in FIG. 1 except that a matching dialogue is performed according to a request from the user. First, the steps from step (1) user use start request to step (6) start of the interactive session in FIG. 1 are the same. Subsequently, the user 1 (201) makes a matching dialog request to the dialog management client 1 (204) (7). Step (7) The method of requesting that the
With reference to FIG. 3, an embodiment in which the dialog mediation means proposes termination to the
FIG. 4 illustrates an example of the step of ending the matching dialogue according to the present invention, in particular, the step of ending the matching dialogue when the user desires. Here, it is assumed that the
An embodiment relating to the dialog mediation means of the present invention will be described with reference to FIGS. FIG. 5 is an embodiment of step (7) “matching determination” in the dialog mediation means 106 of FIG. The dialog mediation means is in a standby state (S501) for accepting information registration from the dialog management client as an initial state. Next, registration of an “execution user” who is going to start a dialogue session is received from an arbitrary dialogue management client N (S502). Next, the dialog mediation means 106 registers the execution user data in the single execution user management data 108 (S503). Subsequently, “single execution user data”, which is all user lists using the information processing apparatus according to the present invention at the time, is acquired from the single execution user data (S504). If the number of single execution user data obtained in step S504 is two or more, the next step S505 is executed. If there are less than two single execution users, the transition to the standby state is performed without performing mediation of dialogue. (S505). If there are two or more single execution users in step S505, the degree of matching M (I, J) is calculated for any combination of the single execution users, for example, user I and user J (S506). The matching degree is expressed by an integer value from 0 to 100, for example, and indicates a combination in which the matching degree is large and the dialog mediation effect is high if the numerical value is large. Of course, the matching degree is not limited to the above embodiment as long as it is an index that can evaluate the degree of combination of user combinations. Subsequently, a combination (P, Q) of users having the largest value for the matching degree M (I, J) calculated in step S506 is obtained (S507). Here, P and Q represent user indexes. Next, it is determined whether or not the matching degree M (P, Q) obtained in S507 is equal to or higher than a predetermined matching degree. If the matching degree is equal to or higher than a predetermined matching degree, the following step S510 is executed. If there is not, the transition to the standby state is made without performing the mediation of the dialogue (S509). The predetermined matching degree is a numerical value such as 50, for example. In the subsequent step S510, a matching request with another user is sent to the dialog client managing the user P and the user Q, and a transition is made to a waiting state for a response from each dialog management client (S511). The information sent in step S509 is an embodiment of another user matching request in step (8) of FIG.
With reference to FIG. 6 and FIG. 1, an embodiment of means for generating a plurality of combinations of users who bridge the present invention will be described. FIG. 6 is a diagram showing processing steps in the dialog mediation means 106 of FIG. The dialog mediation means 106 is first set to a standby state (S601). Subsequently, all single execution user data is acquired by the same procedure as in steps S502, S503, and S504 in FIG. 5 (S602). Subsequently, it is determined whether there are two or more single execution users. If there are two or more, the process proceeds to S604, and if it is less than two, the process proceeds to the standby state S601 (S603). In subsequent step S604, a user group (P, Q) having the maximum matching degree is selected in the same procedure as in steps S506, S507, S508, and S509 in FIG. 5, and a matching dialogue start is requested. Next, if the users P and Q accept the matching dialogue, the users P and Q are deleted from the single execution user data 108 in FIG. 1 and the user set (P, Q) is registered in the connection
7 and 1, an embodiment of dialogue mediation means in the case where the number of users who bridge the present invention is three will be described. FIG. 7 is a diagram showing processing steps in the dialog mediation means 106 of FIG. The dialog mediation means is in a standby state (S701) for accepting information registration from the dialog management client as an initial state. Subsequently, all single execution user data is acquired by the same procedure as in steps S502, S503, and S504 in FIG. 5 (S702). Subsequently, it is determined whether there are three or more single execution users. If there are three or more, the process proceeds to S704, and if it is less than two, the process proceeds to the standby state S701 (S703). Next, the matching degree M (I, J) is obtained for all combinations of the two users (S704). Subsequently, the matching degrees M (I, J) of the two users obtained in step S704, all matching degrees M (I, X) including the user I, and all matching degrees M (J, J including the user J). X) is calculated from the equation M (I, J, X) = M (I, J) + M (I, X) + M (J, X), and the user X having the maximum M is obtained. Here, the search is performed under the condition that X is not I or J. For example, if the above formula M (I, J, X) = M (I, J) + M (I, X) + M (J, X) is the maximum for the user K, the user I, J, The matching degree M (I, J, K) between K is set as the matching degree of the combination of the three persons (S705). Subsequently, M (I, J, K) having the highest matching degree among any three user groups is selected (S706). If the matching degree is equal to or higher than a certain matching degree, the dialogue for managing the users I, J, K is performed. A matching dialogue is requested from the management client (S708), and a transition is made to a response wait state (S709). Although the dialogue mediation of three people can be performed by the above procedure, the same method can be used also in the dialogue mediation of three or more people. In dialog mediation of three or more people, the processes in steps S704 and S705 may be executed recursively.
With reference to FIG. 8 and FIG. 9, an example in which an example of matching level determination by the dialog mediation means according to the present invention is applied to a language learning service will be described. FIG. 9 is a diagram illustrating steps for calculating the matching degree. First, registration information of two users A and B whose matching degrees should be determined is acquired (S901). The user information is acquired from, for example, the user information management server in FIG. Here,
The means for accessing user information using the user's terminal after the user finishes learning will be disclosed with reference to FIG. FIG. 10 is an example of user information disclosed by the service provider.
In the above-described embodiment, means for performing mediation using a user's learning course and learning content information is disclosed. Here, an embodiment of “a method of performing mediation according to a user's matching dialogue usage history” according to the present invention will be described with reference to FIG. As shown in step (6) of FIG. 3, when the matching dialogue between the
Data 1: (User A, User B, August 20, 2002, 15: 30-15: 38)
Data 2: (User B, User A, August 20, 2002, 15: 30-15: 38)
When the history data is sent to the user information management server, the user information management server records the received history data in the user information data. The dialog mediation means searches user information of user A and user B acquired from the user information management server at the time of step (7) matching in FIG. 1, and when user A uses the voice system again, user B Arbitration is performed so that matching is performed with priority. With reference to FIG. 12 and FIG. 3, an embodiment of charging a service user according to the present invention will be described. FIG. 12 shows the steps performed by the user
With reference to FIG. 13 and FIG. 14, an example in which the matching degree determination example in the dialog mediation means according to the present invention is applied to a telematics service will be described. FIG. 14 is a diagram illustrating steps for calculating a matching degree. First, registration information of two users A and B whose matching degrees should be determined is acquired (S1401). Here, 1301 in FIG. 13 indicates registration information of the user A, and 1308 in FIG. 13 indicates registration information of the user B. The information related to the user A includes attribute information of a
With reference to FIGS. 15, 16, 17, 18, and 19, an example of applying the matching degree determination by the dialog mediation means according to the present invention to a marriage information service will be described. FIG. 16 is a diagram illustrating steps for calculating a matching degree. First, registration information of two users F and M whose matching degrees should be determined is acquired (S1601). Here, 1501 in FIG. 15 indicates registration information of the user F, and 1508 in FIG. 15 indicates registration information of the user M. Information about the user includes attribute information of
An embodiment of a means for setting a bridge according to the present invention will be described with reference to FIGS. FIG. 20 shows a diagram in which the
An embodiment for requesting a user who is performing a matching dialog to end the matching dialog in the dialog mediation means according to the present invention will be described with reference to FIGS. 22 and 3. FIG. 22 shows an example of the step (1) of realizing the matching dialog end determination in the dialog mediation means 306 of FIG. The
FIG. 23 is used to show an embodiment of dialog management client generation according to the present invention. First, when the voice interaction system is activated, the interaction management client generating means 2304 is generated, and a transition is made to a waiting state for a use start message from the user 2301 (1). Next, when there is a call from the user to the voice input / output unit 2302 (2), the voice input /
FIG. 24 is used to show an embodiment of dialog management client generation according to the present invention. First, when the voice dialog system is activated, the dialog management
As described above, two types of embodiments have been shown regarding the establishment of the communication path between the dialog management client and the user. However, the communication path between the dialog management client and the user may be established, and the present invention is not limited to the above embodiment.
FIG. 25 is a system configuration example of an information processing apparatus according to the present invention. As shown in FIG. 25, the information processing apparatus receives voice input by the user through the voice input /
FIG. 26 is a system configuration example of an information processing apparatus according to the present invention. The information processing apparatus in FIG. 26 includes a
FIG. 29 shows a system configuration example of the information processing apparatus according to the present invention. In particular, it relates to the implementation of e-learning and language learning on a personal computer. 29 includes a
FIG. 30 is a system configuration example of an information processing apparatus according to the present invention. Particularly, in e-learning on a personal computer, it relates to a case where a teacher intervenes in learning using a terminal. The components shown by 3001 to 3016 in FIG. 30 are the same as those in FIG. In FIG. 30, the teacher terminal 1 (3017) and the teacher terminal 2 (3018) are connected to the
[0006]
【The invention's effect】
By utilizing the present invention, it is possible to realize a direct dialogue between humans in learning using a computer, which was impossible in the past, and to provide a language learning service with a high learning effect through role playing and the like. Become. In addition, when applied to a telematics service, it is possible to provide a mechanism that allows drivers who have subscribed to the service to exchange information directly, so that an attractive service can be realized.
[Brief description of the drawings]
FIG. 1 is a diagram showing one implementation means of a means for bridging a bridge according to the present invention.
FIG. 2 is a view showing one implementation means of the means for bridging the bridge according to the present invention.
FIG. 3 is a diagram showing an embodiment of means for disconnecting an established connection according to the present invention.
FIG. 4 is a diagram showing an embodiment of a means for disconnecting an established connection according to the present invention.
FIG. 5 is a diagram showing one implementation step of performing dialog matching (arbitration) according to the present invention.
FIG. 6 is a diagram illustrating one implementation step of performing dialog matching (arbitration) according to the present invention.
FIG. 7 is a diagram illustrating one implementation step of performing dialogue matching (arbitration) according to the present invention among three users.
FIG. 8 is a diagram showing an example of user registration information in a language learning service using the present invention.
FIG. 9 is a diagram showing an example of matching degree determination in a language learning service using the present invention.
FIG. 10 is a diagram illustrating a matching dialog history change performed by a user in a language learning service using the present invention.
FIG. 11 is a data structure diagram showing data for storing a user's matching dialog history in the user information management server using the present invention.
FIG. 12 is a diagram showing an embodiment of a method for charging and discounting a learner's system usage fee in a language learning service using the present invention;
FIG. 13 is a diagram showing an example of user registration information in a telematics service using the present invention.
FIG. 14 is a diagram showing an example of matching degree determination in a telematics service using the present invention.
FIG. 15 is a diagram showing an example of user registration information in a marriage information service using the present invention.
FIG. 16 is a diagram showing an example of matching degree determination in a marriage information service using the present invention.
FIG. 17 is a diagram showing an example of compatibility of a user's constellation used for matching level determination in a marriage information service using the present invention.
FIG. 18 is a diagram showing an example of the compatibility of the blood type of a user used for matching level determination in the marriage information service using the present invention.
FIG. 19 is a diagram illustrating an example of a degree of affinity of a user's hobby used for matching level determination in a marriage information service using the present invention.
FIG. 20 is a mechanism diagram relating to an embodiment of building a bridge in an information processing apparatus using the present invention.
FIG. 21 is a diagram showing an example of a switch management table for managing connection destinations in a means for bridging in an information processing apparatus using the present invention.
FIG. 22 is a diagram showing an embodiment of means for terminating a matching dialogue using the present invention.
FIG. 23 is a diagram showing an embodiment of dialog management client generation in a voice dialog system using the present invention.
FIG. 24 is a diagram showing an embodiment of dialog management client generation in a voice dialog system using the present invention.
FIG. 25 is a block diagram showing an example of an information processing system using the present invention.
FIG. 26 is a block diagram showing an example of an information processing system using the present invention.
FIG. 27 is a block diagram showing an example of an information processing system using the present invention.
FIG. 28 is a block diagram showing an example of an information processing system using the present invention.
FIG. 29 is a block diagram showing an example of an information processing system using the present invention.
FIG. 30 is a block diagram showing an example of an information processing system using the present invention.
[Explanation of symbols]
101
102
103 User information management server
104
105
106 Dialog mediation means
107 User data in use
108 Single execution user data
109 Connection establishment user data
110 User information data
201
202
203 User information management server
204
205
206 Dialogue mediation means
207 User data in use
208 Single execution user data
209 Connection establishment user data
301
302
303 User information management server
304
305
306 Dialog mediation means
307 User data in use
308 Single execution user data
309 Connection establishment user data
401
402
403 User information management server
404
405
406 Dialog mediation means
407 User data in use
408 Single execution user data
409 Connection establishment user data
S501 Standby state step
S502 Registration acceptance step
S503 Data registration step
S504 Data acquisition step
S505 Number of people determination step
S506 Matching degree calculation step
S507 Selection step
S508 Matching degree determination step
S509 Dialog request step
S510 Response waiting step
S601 Standby state step
S602 Data acquisition step
S603 Number determination step
S604 Dialog request step
S605 Dialogue acceptance step
S606 Data deletion step
S701 Standby state step
S702 Data acquisition step
S703 Number determination step
S704 Matching degree calculation step
S705 Matching degree calculation step
S706 Selection step
S707 Matching degree determination step
S708 Dialog request step
801 User information
802 Name information
803 Course information
804 Learning content information
805 Matching dialog request information
806 User information
807 Name information
808 Study course information
809 Learning content information
810 Matching dialogue request information
S901 User information acquisition step
S902 Hope determination step
S903 Learning course coincidence calculation step
S904 Matching degree setting step
S905 Learning content coincidence calculation step
S906 Matching degree calculation step
1001 User history information screen
1002 Matching dialog user history information
1003 Matching dialog time history information
1004 Dialogue request designation
1005 Dialogue undesired designation
1101 User information
1102 Matching dialog user information
1103 Matching dialogue implementation time information
1201 User information
1202 Learning system usage time area
1203 Matching dialog usage area
1204 Accounting information area
S1210 Usage time addition step
S1211 Usage count addition step
S1212 Point number calculation step
S1213 addition step
S1214 Information acquisition step
S1215 Comparison step
S1216 Point number calculation step
S1217 Discount step
1301 User information
1302 Name information
1303 Home information
1304 Car information
1305 Interest information
1306 Matching dialog request information
1307 Destination information
1308 User information
1309 Name information
1310 Home information
1311 Model information
1312 Interest information
1313 Matching dialog request information
1314 Destination information
S1401 User information acquisition step
S1402 Desire determination step
S1403 Vehicle model coincidence calculation step
S1404 Matching degree setting step
S1405 Interest similarity calculation step
S1406 Destination similarity calculation step
S1407 Matching degree calculation step
1501 User information
1502 Name information
1503 Home information
1504 Date of birth information
1505 Blood type information
1506 Hobby Information
1507 Matching dialog request information
1508 User information
1509 Name information
1510 Home information
1511 Date of birth information
1512 Blood type information
1513 Hobby information
1514 Matching dialogue request information
S1601 User information acquisition step
S1602 hope determination step
S1603 Constellation compatibility degree calculation step
S1604 Matching degree setting step
S1605 blood type compatibility degree calculation step
S1606 Hobby similarity calculation step
S1607 Matching degree calculation step
1701 Constellation
1702 Constellation
1703 compatibility
1801 Blood type
1802 Blood type
1803 degree of compatibility
1901 Hobby Category
1902 Hobby Category
1903 degree of compatibility
2001 Dialog management means 1
2002 Dialog management means 1
2003 Switching means 1
2004 switching means 2
2005 switching means
2006 Connection uplink
2007 Connection Downline
2008 Connection Downline
2009 Voice input / output means
2010 Connection Up Line
2011 voice input / output means 1
2012 Voice input / output means 3
2013 voice uplink
2014 voice downlink
2015 voice uplink
2016 voice downlink
2051 Dialog management means 1
2052 Dialogue management means 1
2053 switching means 1
2054 switching means 2
2055 switching means
2056 connection uplink
2057 Connection Downline
2058 Connection uplink
2059 Connection uplink
2060 Voice input / output means
2061 Voice input / output means 1
2062 Voice input / output means 3
2101 Switch management table
2102 Switch management table
S2201 Standby state step
S2202 processing start step
S2203 Information acquisition step
S2204 Number of sets confirmation step
S2205 Elapsed time extraction step
S2206 Selection step
S2207 Elapsed time determination step
S2208 Request Step
S2209 Response waiting step
2301 users
2302 Voice input / output means
2303 Dialogue management client
2304 Dialog management client generation means
2401 users
2402 Voice input / output means
2403 Dialog management client
2404 Dialog management client generation means
2501
2502 Communication network
2503 Voice input / output means
2504 Voice input / output means
2505 Voice input / output means
2506
2507
2508
2509
2510 Execution user data
2511 User terminal
2512 Computer Network
2513 User information management server
2514 User information data
2601 Telephone terminal device
2602 Telephone terminal device
2603 Portal server
2604 Voice input / output means
2605
2606
2607 User information management server
2608 Dialog management client generation means
2609 Dialog mediation means
2610 telephone network
2701 microphone
2702 Speaker
2703
2704 Voice input / output means
2705
2706
2707 Voice input / output means
2708
2709 communication network
2710 Portal Server
2711 User information management server
2712 Dialog management client generation means
2713 Dialogue mediation means
2801
2802 Voice input / output means
2803
2804
2805 Voice input / output means
2806
2807 Telephone line
2808 packet line
2809 Telephone line
2810 packet line
2811 communication network
2812 telephone line
2813 packet line
2814 Dialogue mediation means
2901 Microphone
2902 Speaker
2903 camera
2904 display
2905 Keyboard / Mouse
2906 Voice input / output means
2907 Image input / output means
2908 Text / position input means
2909
2910
2911
2912 Computer Network
2913 Learning server
2914 User information management server
2915 Dialog management client generation means
2916 Dialogue Mediation Means
3001 Microphone
3002 Speaker
3003 Camera
3004 display
3005 Keyboard and mouse
3006 Voice input / output means
3007 Image input / output means
3008 Text / position input means
3009
3010
3011
3012 computer network
3013 Learning server
3014 User information management server
3015 Dialog management client generation means
3016 Dialogue mediation means
3017
3018
Claims (1)
前記第1のユーザの前記第1の電話機の利用による通信回線を介した利用開始要求を、アクセス元である前記第1のユーザを識別する情報を付加された形で、第1の対話管理クライアントは受け付けるように構成され、A first dialog management client in which a request for starting use of the first user via the communication line by using the first telephone is added with information for identifying the first user who is an access source Is configured to accept,
前記利用開始要求を受け付けた前記第1の対話管理クライアントはユーザ情報管理サーバに対して、第1のユーザのユーザ情報の提供要求を行うように構成され、The first dialog management client that has received the use start request is configured to make a user information provision request for the first user to the user information management server,
前記ユーザ情報管理サーバはユーザの名前、学習段階、学習履歴およびマッチング対話履歴情報を有する第1の記憶手段中の第1のユーザのユーザ情報データを参照して前記第1のユーザを特定するように構成され、The user information management server identifies the first user by referring to the user information data of the first user in the first storage means having the user name, learning stage, learning history and matching dialog history information. Composed of
前記第1のユーザのユーザ情報が返送された前記第1の対話管理クライアントは対話調停手段に対して、利用を開始する実行ユーザである前記第1のユーザのユーザ情報を登録するように構成され、The first dialog management client to which the user information of the first user is returned is configured to register the user information of the first user who is an executing user who starts using the dialog mediation unit. ,
前記対話調停手段は前記第1の対話管理クライアントから登録された前記第1のユーザのユーザ情報を第2の記憶手段の単独実行ユーザデータの領域に記憶すると共に、前記第1の対話管理クライアントに対し実行ユーザの登録完了を通知するように構成され、The dialog mediation means stores the user information of the first user registered from the first dialog management client in the single execution user data area of the second storage means, and stores it in the first dialog management client. Configured to notify the execution user registration completion,
前記第1のユーザの前記実行ユーザとしての登録が完了した後、前記第1のユーザと前記第1の対話管理クライアントとの音声対話のセッションを開始するように前記第1の対話管理クライアントは構成され、The first dialog management client is configured to start a voice dialog session between the first user and the first dialog management client after registration of the first user as the executing user is completed. And
前記第2のユーザの前記第2の電話機の利用による通信回線を介した利用開始要求を、アクセス元である前記第2のユーザを識別する情報を付加された形で、第2の対話管理クライアントは受け付けるように構成され、A second dialog management client in which a request to start using the second telephone of the second user via the communication line is added with information identifying the second user as an access source Is configured to accept,
前記利用開始要求を受け付けた前記第2の対話管理クライアントはユーザ情報管理サーバに対して、第2のユーザのユーザ情報の提供要求を行うように構成され、The second dialog management client that has received the use start request is configured to make a user information provision request for the second user to the user information management server,
前記ユーザ情報管理サーバはユーザの名前、学習段階、学習履歴およびマッチング対話履歴情報を有する第1の記憶手段中の第2のユーザのユーザ情報データを参照して前記第2のユーザを特定するように構成され、The user information management server identifies the second user by referring to the user information data of the second user in the first storage means having the user name, learning stage, learning history and matching dialog history information. Composed of
前記第2のユーザのユーザ情報が返送された前記第2の対話管理クライアントは対話調停手段に対して、利用を開始する実行ユーザである前記第2のユーザのユーザ情報を登録するように構成され、The second dialog management client to which the user information of the second user is returned is configured to register the user information of the second user who is an executing user who starts using the dialog mediation means. ,
前記対話調停手段は前記第2の対話管理クライアントから登録された前記第2のユーザのユーザ情報を前記第2の記憶手段の単独実行ユーザデータの領域に記憶すると共に、前記第2の対話管理クライアントに対し実行ユーザの登録完了を通知するように構成され、The dialog mediation means stores the user information of the second user registered from the second dialog management client in the area of single execution user data of the second storage means, and the second dialog management client. Is configured to notify the execution user registration completion to
前記第2のユーザの前記実行ユーザとしての登録が完了した後、前記第2のユーザと前記第2の対話管理クライアントとの音声対話のセッションを開始するように前記第2の対話管理クライアントは構成され、The second dialog management client is configured to start a voice dialog session between the second user and the second dialog management client after the registration of the second user as the executing user is completed. And
前記対話調停手段は、同時刻にシステムを利用している前記第1および第2のユーザの前記各ユーザ情報を前記第2の記憶手段に格納して管理するように構成され、The dialog mediation means is configured to store and manage the user information of the first and second users using the system at the same time in the second storage means,
前記対話調停手段は、前記単独実行ユーザデータを参照して、前記第1のユーザと前記第2のユーザの学習段階が同一である場合には、マッチング対話の提案を前記第1および第2の対話管理クライアントを介して前記第1および第2のユーザに対して行うように構成され、When the learning stage of the first user and the second user is the same with reference to the single execution user data, the dialog mediation means sends a matching dialog proposal to the first and second users. Configured to perform to the first and second users via a dialogue management client;
前記第1および第2のユーザからのマッチング対話受諾を受けた場合には、前記第1および第2の対話管理クライアントは前記第1および第2の対話管理クライアント間のコネクションを確立し、前記第1および第2のユーザ間の直接対話に移行するように構成され、When receiving the matching dialog acceptance from the first and second users, the first and second dialog management clients establish a connection between the first and second dialog management clients, and Configured to transition to a direct interaction between the first and second users;
前記第1および第2の対話管理クライアントは前記対話調停手段に対してコネクションが確立した旨の通知を行うように構成され、The first and second dialog management clients are configured to notify the dialog mediation means that a connection has been established;
前記対話調停手段は前記第1および第2のユーザを前記単独実行ユーザデータの中から削除し、前記第2の記憶手段中のコネクション確立ユーザデータの領域に各々の前記ユーザ情報を記憶するように構成されていることを特徴とする音声対話用情報処理装置。The dialog mediation means deletes the first and second users from the single execution user data, and stores each of the user information in a connection establishment user data area in the second storage means. An information processing apparatus for voice conversation characterized by being configured.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002334482A JP4380144B2 (en) | 2002-11-19 | 2002-11-19 | Information processing device for spoken dialogue |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002334482A JP4380144B2 (en) | 2002-11-19 | 2002-11-19 | Information processing device for spoken dialogue |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004172781A JP2004172781A (en) | 2004-06-17 |
JP2004172781A5 JP2004172781A5 (en) | 2005-11-10 |
JP4380144B2 true JP4380144B2 (en) | 2009-12-09 |
Family
ID=32698848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002334482A Expired - Fee Related JP4380144B2 (en) | 2002-11-19 | 2002-11-19 | Information processing device for spoken dialogue |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4380144B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102572134A (en) * | 2010-12-30 | 2012-07-11 | 上海博泰悦臻电子设备制造有限公司 | Work order processing method, work order building system and work order processing system |
CN103802761A (en) * | 2012-11-06 | 2014-05-21 | 罗伯特·博世有限公司 | Method for activating a voice interaction with a passenger of a motor vehicle and voice interaction system for a vehicle |
CN104766178A (en) * | 2015-04-23 | 2015-07-08 | 中电科安(北京)***集成有限公司 | Emergency plan management system based on man-machine voice interaction |
CN105425648A (en) * | 2016-01-11 | 2016-03-23 | 北京光年无限科技有限公司 | Portable robot and data processing method and system thereof |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6528536B2 (en) * | 2015-05-18 | 2019-06-12 | 株式会社リコー | INFORMATION PROCESSING APPARATUS, PROGRAM, AND INFORMATION PROCESSING SYSTEM |
CN108694035B (en) * | 2017-04-05 | 2022-09-02 | 北京嘀嘀无限科技发展有限公司 | Voice information broadcasting management method and device |
CN109582762A (en) * | 2018-09-26 | 2019-04-05 | 阿里巴巴集团控股有限公司 | Data processing method and server |
CN111816189B (en) * | 2020-07-03 | 2023-12-26 | 斑马网络技术有限公司 | Multi-voice-zone voice interaction method for vehicle and electronic equipment |
JP7082650B2 (en) * | 2020-09-14 | 2022-06-08 | 株式会社シンミドウ | Sales role-playing training support system |
-
2002
- 2002-11-19 JP JP2002334482A patent/JP4380144B2/en not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102572134A (en) * | 2010-12-30 | 2012-07-11 | 上海博泰悦臻电子设备制造有限公司 | Work order processing method, work order building system and work order processing system |
CN102572134B (en) * | 2010-12-30 | 2015-10-07 | 上海博泰悦臻电子设备制造有限公司 | Worksheet method, work order set up system and worksheet system |
CN103802761A (en) * | 2012-11-06 | 2014-05-21 | 罗伯特·博世有限公司 | Method for activating a voice interaction with a passenger of a motor vehicle and voice interaction system for a vehicle |
CN104766178A (en) * | 2015-04-23 | 2015-07-08 | 中电科安(北京)***集成有限公司 | Emergency plan management system based on man-machine voice interaction |
CN105425648A (en) * | 2016-01-11 | 2016-03-23 | 北京光年无限科技有限公司 | Portable robot and data processing method and system thereof |
Also Published As
Publication number | Publication date |
---|---|
JP2004172781A (en) | 2004-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11024286B2 (en) | Spoken dialog system, spoken dialog device, user terminal, and spoken dialog method, retrieving past dialog for new participant | |
US20150149149A1 (en) | System and method for translation | |
WO2016194740A1 (en) | Speech recognition device, speech recognition system, terminal used in said speech recognition system, and method for generating speaker identification model | |
WO2006085565A1 (en) | Information communication terminal, information communication system, information communication method, information communication program, and recording medium on which program is recorded | |
CN105190607A (en) | User training by intelligent digital assistant | |
CN101405732A (en) | A search tool providing optional use of human search guides | |
WO2012055315A1 (en) | System and method for providing and managing interactive services | |
JP2004246610A (en) | Information provision/exchange service system | |
TW201034004A (en) | Systems and methods for interactively accessing hosted services using voice communications | |
JP3748379B2 (en) | Remark support method and apparatus | |
US20050124322A1 (en) | System for communication information from a server via a mobile communication device | |
JP4380144B2 (en) | Information processing device for spoken dialogue | |
US11398224B2 (en) | Communication system and method for providing advice to improve a speaking style | |
JP4250938B2 (en) | Communication support method and communication server | |
WO2019088638A1 (en) | Method, computer device and computer readable recording medium for providing natural language conversation by timely providing substantial reply | |
JP2021180427A (en) | Group communication system, group communication program and group communication method | |
JP2005011089A (en) | Interactive device | |
TWI723988B (en) | Information processing system, receiving server, information processing method and program | |
CN112905859A (en) | Service method, device, system, equipment and storage medium | |
JP7462595B2 (en) | Human resource development support system, collaboration support system, method, and computer program | |
JP2020053715A (en) | Information processing system, information processing method, and information processing program | |
Melto et al. | Evaluation of predictive text and speech inputs in a multimodal mobile route guidance application | |
Goldman et al. | Voice Portals—Where Theory Meets Practice | |
JP2002006871A (en) | Internet karaoke sing-along machine system | |
WO2022270603A1 (en) | A system and method for delivering domain or use-case switch suggestion for an ongoing conversation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050928 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050928 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060420 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070319 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070403 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070604 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080715 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080911 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090901 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090914 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131002 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |