JP2004309631A - 対話練習支援装置、方法及びプログラム - Google Patents

Abstract

【課題】実際の模擬的な対話練習のように音声及び映像で行われる対話型であって、質問に対する利用者の返答内容及び返答時間等を評価する対話練習支援装置、方法及びプログラムを提供する。
【解決手段】質問情報に対して返答情報に含まれる用語及び無言時間とによって分岐し、次に送信すべき質問情報を選択するシナリオ情報を有する。返答情報における音声情報をテキスト情報に変換し、特定用語が含まれていればその旨を又は無言時間があればその旨をマーク付けして蓄積する。端末から評価録要求を受信した際に、質問情報及び返答情報と共に、マーク付けされた部分に特定用語が用いられている旨又は無言時間がある旨の情報とからなる評価録情報を、端末へ送信する。
【選択図】 図３

Description

【０００１】
【発明の属する技術分野】
本発明は、模擬的に対話練習を行うための対話練習支援装置、方法及びプログラムに関する。
【０００２】
【従来の技術】
従来より、コンピュータを使用した会話マナー教育システムがある（例えば特許文献１参照）。このシステムは、利用者の自由な発話を入力し、それを文字情報に変換し、利用者の発話の文字情報と正しい発話の文字情報とを比較して、評価するものであった。そして、その総合的な評価を、ディスプレイに画像情報として出力する。これにより、敬語に対する文法知識、敬語運用知識、会話状況情報等を学習することができる。
【０００３】
【特許文献１】
特許第２６７３８３１号
【０００４】
【発明が解決しようとする課題】
しかしながら、従来のシステムは、利用者の一方的な発話に対して評価するものであり、実際に行われるような対話型のものではなかった。従って、質問に対する返答内容に応じて、次の質問を選択したり、返答に詰まった場合の無言時間を評価することはできなかった。
【０００５】
そこで、本発明は、実際の模擬的な対話練習のように音声及び映像で行われる対話型であって、質問に対する利用者の返答内容及び返答時間等を評価する対話練習支援装置、方法及びプログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の対話練習支援装置によれば、
面接官の音声映像情報からなる質問情報に対して、利用者の音声映像情報からなる返答情報に含まれる用語と、該返答情報が受信されるまでの無言時間とによって分岐し、次に送信すべき質問情報を選択するシナリオ情報を含む質問情報蓄積手段と、
シナリオ情報に基づいて質問情報を端末へ送信する手段と、
端末から受信した返答情報を蓄積する音声映像情報蓄積手段と、
特定用語を蓄積した用語蓄積手段と、
利用者の音声映像情報における音声情報をテキスト情報に変換し、特定用語が含まれていればその旨を又は無言時間があればその旨を、テキスト情報の部分にマーク付けする音声認識処理手段と、
音声認識処理手段によってマーク付けされたテキスト情報を蓄積する対話情報蓄積手段と、
端末から評価録要求を受信した際に、対話情報蓄積手段からマーク付けされた部分を抽出する対話評価手段と、
質問情報蓄積手段から抽出した質問情報と、音声映像情報蓄積手段から抽出した返答情報と、マーク付けされた部分に特定用語が用いられている旨又は無言時間がある旨の情報とからなる評価録情報を、端末へ送信する評価録生成手段と
を有することを特徴とする。
【０００７】
本発明の対話練習支援装置における他の実施形態によれば、
質問情報蓄積手段に蓄積されたシナリオ情報は、分岐に応じて評価ポイント情報が含まれており、
対話評価手段は、シナリオ情報を辿る分岐に応じて評価ポイント情報を加算し、
評価録生成手段は、更に評価ポイント情報を端末へ送信することも好ましい。
【０００８】
また、本発明の対話練習支援装置における他の実施形態によれば、
音声認識処理手段は、シナリオ情報における分岐の通過統計情報を収集し、該通過統計情報を質問情報蓄積手段に蓄積することも好ましい。
【０００９】
本発明の対話練習支援方法によれば、
装置は、面接官の音声映像情報からなる質問情報に対して、利用者の音声映像情報からなる返答情報に含まれる用語と、該返答情報が受信されるまでの無言時間とによって分岐し、次に送信すべき質問情報を選択するシナリオ情報を含む質問情報蓄積手段と、特定用語を蓄積した用語蓄積手段とを有しており、
装置が、シナリオ情報に基づいて質問情報を端末へ送信する第１のステップと、
端末が、質問情報に対する返答情報を装置へ送信する第２のステップと、
装置が、返答情報を音声映像情報蓄積手段に蓄積する第３のステップと、
装置が、利用者の音声映像情報における音声情報をテキスト情報に変換し、特定用語が含まれていればその旨を又は無言時間があればその旨を、テキスト情報の部分にマーク付けして音声認識処理をする第４のステップと、
装置が、音声認識処理手段によってマーク付けされたテキスト情報を対話情報蓄積手段に蓄積する第５のステップと
を有し、第１から第５のステップを繰返し、
端末が、評価録要求を装置へ送信する第６のステップと、
装置が、対話情報蓄積手段からマーク付けされた部分を抽出する第７のステップと、
装置が、質問情報蓄積手段から抽出された質問情報と、音声映像情報蓄積手段から抽出された返答情報と、マーク付けされた部分に特定用語が用いられている旨又は無言時間がある旨の情報とからなる評価録情報を、端末へ送信する第８のステップとを有することを特徴とする。
【００１０】
また、本発明の対話練習支援方法によれば、
装置は、面接官の音声映像情報からなる質問情報に対して、利用者の音声映像情報からなる返答情報に含まれる用語と、該返答情報が受信されるまでの無言時間とによって分岐し、次に送信すべき質問情報を選択するシナリオ情報を含む質問情報蓄積手段と、特定用語を蓄積した用語蓄積手段とを有しており、
端末も、質問情報蓄積手段を有しており、
端末が、シナリオ情報に基づいて質問情報を利用者に出力し、且つ、該質問情報に対する返答情報を入力することを繰返して、一連の返答情報を収集する第１のステップと、
端末が、返答情報を、装置へ送信する第２のステップと、
装置が、返答情報を音声映像情報蓄積手段に蓄積する第３のステップと、
装置が、利用者の音声映像情報における音声情報をテキスト情報に変換し、特定用語が含まれていればその旨を又は無言時間があればその旨を、テキスト情報の部分にマーク付けして音声認識処理をする第４のステップと、
装置が、音声認識処理手段によってマーク付けされたテキスト情報を対話情報蓄積手段に蓄積する第５のステップと
を有し、
端末が、評価録要求を装置へ送信する第６のステップと、
装置が、対話情報蓄積手段からマーク付けされた部分を抽出する第７のステップと、
装置が、質問情報蓄積手段から抽出された質問情報と、音声映像情報蓄積手段から抽出された返答情報と、マーク付けされた部分に特定用語が用いられている旨又は無言時間がある旨の情報とからなる評価録情報を、端末へ送信する第８のステップとを有することを特徴とする。
【００１１】
本発明の対話練習支援方法における他の実施形態によれば、
質問情報蓄積手段に蓄積されたシナリオ情報は、分岐に応じて評価ポイント情報が含まれており、
第５のステップは、シナリオ情報を辿る分岐に応じて評価ポイント情報を加算し、
第６のステップは、更に評価ポイント情報を端末へ送信することも好ましい。
【００１２】
また、本発明の対話練習支援方法における他の実施形態によれば、
音声認識処理手段は、シナリオ情報における分岐の通過統計情報を収集し、該通過統計情報を質問情報蓄積手段に蓄積することも好ましい。
【００１３】
本発明の対話練習支援プログラムによれば、
面接官の音声映像情報からなる質問情報に対して、利用者の音声映像情報からなる返答情報に含まれる用語と、該返答情報が受信されるまでの無言時間とによって分岐し、次に送信すべき質問情報を選択するシナリオ情報を含む質問情報蓄積手段と、
シナリオ情報に基づいて質問情報を端末へ送信する手段と、
端末から受信した返答情報を蓄積する音声映像情報蓄積手段と、
特定用語を蓄積した用語蓄積手段と、
利用者の音声映像情報における音声情報をテキスト情報に変換し、特定用語が含まれていればその旨を又は無言時間があればその旨を、テキスト情報の部分にマーク付けする音声認識処理手段と、
音声認識処理手段によってマーク付けされたテキスト情報を蓄積する対話情報蓄積手段と、
端末から評価録要求を受信した際に、対話情報蓄積手段からマーク付けされた部分を抽出する対話評価手段と、
質問情報蓄積手段から抽出された質問情報と、音声映像情報蓄積手段から抽出された返答情報と、マーク付けされた部分に特定用語が用いられている旨又は無言時間がある旨の情報とからなる評価録情報を、端末へ送信する評価録生成手段としてコンピュータを機能させることを特徴とする。
【００１４】
本発明の対話練習支援プログラムにおける他の実施形態によれば、
質問情報蓄積手段に蓄積されたシナリオ情報は、分岐に応じて評価ポイント情報が含まれており、
対話評価手段は、シナリオ情報を辿る分岐に応じて評価ポイント情報を加算し、
評価録生成手段は、更に評価ポイント情報を端末へ送信するようにコンピュータを機能させることも好ましい。
【００１５】
また、本発明の対話練習支援プログラムにおける他の実施形態によれば、
音声認識処理手段は、シナリオ情報における分岐の通過統計情報を収集し、該通過統計情報を質問情報蓄積手段に蓄積するようにコンピュータを機能させることも好ましい。
【００１６】
【発明の実施の形態】
以下で、図面を用いて、本発明の実施の形態を説明する。
【００１７】
図１は、本発明におけるシステム構成図である。
【００１８】
図１によれば、本発明における対話評価装置１と、利用者の端末２とが、インターネット３を介して接続されている。端末２には、音声情報を取得するマイク２１と、映像情報を取得するビデオカメラ２２と、面接官の声を出力するスピーカ２３とが備えられている。
【００１９】
端末２は、対話評価装置１から送信される質問情報を受信する。質問情報は音声映像情報からなり、端末２は、ブラウザによって映像情報を表示し、スピーカ２３によって音声を出力する。また、マイク２１によって利用者の発話が取得され、ビデオカメラ２２によって利用者の映像情報が取得される。端末２は、これら音声映像情報を対話評価装置１へ送信する。
【００２０】
ここで、端末２が対話評価装置１へ送信する音声映像情報は、質問毎に個別にリアルタイムに送信するものと、複数の質問について一括して送信するものとからなる。後者については、端末２が、対話評価装置１から予め質問情報を受信して蓄積しておく必要がある。
【００２１】
更に、端末２は、対話評価装置１へ対話評価録を要求することができる。受信された評価録情報について、その映像情報はブラウザによって表示され、その音声情報はスピーカ２３から出力される。
【００２２】
図２は、本発明における対話評価装置１の機能構成図である。
【００２３】
図２によれば、対話評価装置１は、音声映像情報データベース１１と、質問情報（シナリオ）データベース１２と、タイムスタンプ１３と、音声認識処理部１４と、対話情報データベース１５と、対話評価部１６と、評価録生成部１７と、特定用語データベース１８と、通信インタフェース１９とを有する。
【００２４】
インターネット３には、通信インタフェース１９を介して接続される。
【００２５】
質問情報データベース１２は、利用者の端末２へ送信すべき質問情報を蓄積している。質問情報は、対話模擬練習を行うためのシナリオ情報と、その面接官の音声映像情報とからなる。例えば就職のための模擬対話に関するものであれば、質問情報は、情報関連企業、バイオテクノロジ関連企業等にパタン分けされている。
【００２６】
シナリオ情報は、質問内容に対する返答に含まれる用語を分岐条件とするフローチャートである。また、質問終了時刻と返答開始時刻との間に一定時間の無言時間が発生した場合、即ち、返答に詰まった場合も、シナリオ情報に基づく分岐条件となる。その条件としては、例えば、複数の用語を演算子で結合したもの（ＡＮＤ／ＯＲ等）、言語の言い直しの場合、語尾や口癖の検出などがある。特に、最後に発言した用語を選択することができる。例えば、「営業部では無く、経理部」という発言があった場合、経理部をシナリオ分岐のキーとなる用語にすることができる。これらシナリオは、プログラムとして構成され、変更及び修正が容易なものである。
【００２７】
また、シナリオ情報のフローチャートには、評価ポイント情報の加点があり、最終的な対話評価の点数とすることができる。例えば、無音時間が長いほど評価ポイント情報を減点することもできる。
【００２８】
更に、シナリオ情報として、予め想定した理想の返答内容を蓄積しておくことも好ましい。この質問情報に対する理想的な返答情報を、端末２へ送信することにより、利用者は、客観的に、自己の受け答えの様子を把握できるばかりか、悪かった点と良かった点を理由つきで把握することや理想パタンを学習することができるようになり、利用者の利便性を向上させることができる。
【００２９】
タイムスタンプ部１３は、通信インタフェース１９によって受信された音声映像情報に時刻を付する。
【００３０】
受信された音声映像情報は、利用者毎に、音声映像情報データベース１１に蓄積される。このとき、音声映像情報は、タイムスタンプにより時刻が付される。尚、映像情報は、端末２に備えられたビデオカメラ２２から取得されたものに限られず、利用者によってプレゼンテーションに利用される文書資料データ又は投影資料データ等の、視覚的効果を有する資料データであってもよい。
【００３１】
音声映像情報データベース１１に蓄積された音声情報は、次に、音声認識処理部１４において、テキスト情報に変換される。このとき、音声認識処理部１４は、特定用語データベース１８と質問情報データベース１２とを用いる。
【００３２】
特定用語データベース１８は、対話時に使用しない方がよい言葉（分岐キーワードとなる用語）を蓄積しているものである。特定用語データベース１３に蓄積された特定用語を、変換されたテキスト情報から検索する。その特定用語は、例えば、対話時には使用しない方がよい用語である。そして、その特定用語の部分にマーク付けされたテキスト情報が、対話情報データベース１５に蓄積される。
【００３３】
また、音声認識処理部１４は、質問終了時刻と返答開始時刻との間の無言時間を計算し、シナリオ情報に基づいて所定の無言時間が発生したと判断した場合、テキスト情報のその箇所にマーク付けする。その無言時間は、例えば、返答が思いつかず、返答までに時間がかかっていることを意味する。そして、そのテキスト情報を対話情報データベース１５に蓄積する。
【００３４】
無音時間は、入力音声のレベルが閾値をもって発話開始及び終了を判定する。発話開始とは、例えば、閾値以上の状態が所定の時間長以上（例えば２秒）継続することをいう。発話終了とは、例えば、閾値以下の状態が所定の時間長以上（例えば２秒）継続することをいう。
【００３５】
更に、音声認識処理部１４は、シナリオ情報における分岐の通過統計情報を収集し、該通過統計情報を質問情報蓄積手段に蓄積する。これは、シナリオ情報のフローチャートの分岐部分に通過統計情報を加算することで実現できる。複数の利用者に対して同じシナリオ情報の対話を実施した場合、ほとんどの利用者について特性の分岐部分で分岐するといった、統計を得ることができる。
【００３６】
模擬対話終了後、端末２は、対話評価装置１に対して、評価録を要求することができる。このとき、端末２は、対話評価装置１に対して、評価録要求メッセージを送信する。ここでは、対話全体に拘わらず、ワンポイント教習のように例えば一部の時間についてのみ、評価録を要求することもできる。
【００３７】
対話評価部１６は、通信インタフェース１９によって受信された評価録要求メッセージを取得する。このとき、対話評価部１６は、質問情報データベース１２から質問情報及び／又は統計情報を抽出し、対話情報蓄積データベース１５からマーク付けされた部分を抽出する。
【００３８】
評価録生成部１７は、対話評価部１６によって検索されたテキスト情報に基づいて、マーク位置及びその時刻情報に基づいて、音声映像情報データベース１１を検索する。評価録生成部１７は、検索されたテキスト情報に付された時刻情報に相当する音声映像情報を取得する。そして、その音声映像情報と、質問情報及び／又は統計情報と、マーク位置に相当するアドバイス情報と、評価ポイント情報とからなるＨＴＭＬ形式のＡＶ（Ａｕｄｉｏ ａｎｄ Ｖｉｓｕａｌ）評価録を生成し、その評価録情報を、評価録要求メッセージを送信した端末２へ返送する。
【００３９】
評価録要求メッセージを送信した端末は、評価録情報を再生することができる。このとき、ブラウザには、面接官の映像と、利用者の映像と、不適切な返答及び無言発生等によるアドバイス事項と、評価ポイント情報とが表示される。
【００４０】
アドバイス事項としは、例えば、以下のような表示がなされる。
（１）特定用語に該当した場合「対話中、使用しない方がいい言葉を○回使っています。△△△と発言するようにしましょう。」
（２）無音時間に該当した場合「対話中、返答に詰まった箇所が○件ありました。○○○の問いに対する返答に詰まりましたね。×××といったような返答は、準備しておくようにしましょう。」
【００４１】
これらは、音声認識処理部１４によって、不適切な用語等を検出した回数をカウントすることによって容易に実現できる。
【００４２】
尚、図２の他の実施形態としては、質問情報データベース１２に蓄積されたシナリオ情報を、端末２へ予め送信するものがある。端末２は、そのシナリオ情報に基づいて一連の対話を進行させ、利用者の音声映像情報を蓄積する。その一連の対話が終了後、端末２は、その音声映像情報を対話評価装置１へ送信する。対話評価装置１におけるその後の処理は、前述したものと同様である。
【００４３】
図３は、本発明による対話評価装置と端末との間のシーケンス図である。
【００４４】
（Ｓ１）端末２は、対話評価装置１へ対話評価開始要求メッセージを送信する。このとき、メッセージには、レッスン番号、ユーザＩＤ等が含まれる。
（Ｓ２）対話評価装置１は、質問情報データベース１２から、音声映像情報の質問情報を、端末２へ送信する。端末２は、ブラウザを用いて面接官の映像を表示し、スピーカ２３を用いて質問の音声を出力する。これにより、利用者は、画面に表示される面接官像をあたかも実際の面接官と感じながら、模擬対話を行うことができる。このとき、自己の映像又は自己の履歴書文書等が表示されることも好ましい。
（Ｓ３）端末２は、マイク２１によって取得した利用者の返答の音声情報と、ビデオカメラ２２によって取得した利用者の映像情報とを、対話評価装置１へ送信する。
前述した（Ｓ２）（Ｓ３）のシーケンスを繰り返すことにより、対話情報が対話評価装置１に蓄積されていく。
【００４５】
（Ｓ４）対話模擬練習の終了後、利用者は、端末２を用いて、対話評価装置１へ対話評価要求メッセージを送信する。
（Ｓ５）対話評価装置１は、対話評価録情報を、端末２へ送信する。対話評価録情報は、面接官の音声映像情報及び利用者の音声映像情報と、アドバイス情報と、対話評価ポイント情報とが含まれる。端末２は、映像情報とアドバイス情報とポイント情報とをブラウザによって表示し、音声情報はスピーカによって出力される。これにより、利用者は、利用者の対話の様子を見ながら、面接官になったような感覚で、客観的に自己の受け答えの様子を把握できることになる。
【００４６】
図４は、本発明における対話評価装置１が、端末２からの音声映像情報を受信した際のフローチャートである。
【００４７】
図４によれば、以下のシーケンスで進行する。
（Ｓ４１）端末２から、質問に対する返答である音声映像情報を受信する。
（Ｓ４２）その音声映像情報に、現在の時刻をスタンプする。端末において時刻がファイルにスタンプされていれば、ここで時刻をスタンプする必要はない。
（Ｓ４３）音声映像情報は、音声映像情報データベース１１に、利用者毎に蓄積される。
（Ｓ４４）音声映像情報における音声情報は、音声認識処理によって、テキスト情報に変換される。このとき、特定用語データベース１８に蓄積された特定用語を検索し、質問情報データベース１２に蓄積されたシナリオ情報に基づいてマーク付けする。また、シナリオ情報のフローチャートの分岐部分に通過統計情報を加算することもできる。
（Ｓ４５）そのテキスト情報は、対話情報データベース１５に、利用者毎に蓄積される。
【００４８】
図５は、本発明における対話評価装置１が、評価録要求メッセージを受信した際のフローチャートである。
【００４９】
図５によれば、以下のシーケンスで進行する。
（Ｓ５１）端末から、評価録要求メッセージを受信する。
（Ｓ５２）対話情報データベース１５から、テキスト情報を検索する。
（Ｓ５３）検索されたテキスト情報の時刻情報を特定する。
（Ｓ５４）特定された時刻情報に相当する音声映像情報を、音声映像情報データベース１１から取得する。
（Ｓ５５）取得された音声映像情報からなる評価録を生成する。ここで、評価録は、ＨＴＭＬ形式のものである。これにより、マルチメディア評価録を提供することができる。評価録には、テキスト情報にマーク付けされた評価内容のアドバイス情報も含まれる。
（Ｓ５６）生成された評価録を、評価録要求メッセージを送信した端末２へ、送信する。
【００５０】
図６は、質問情報データベース１２におけるシナリオ情報のフローチャートである。
【００５１】
例えば面接においては、誘導面接型と圧迫面接型とがある。誘導面接型は、面接官が志願者に確認したい項目をシナリオにしたものである。一方、圧迫面接型は、希望の意思を確認するために、志願者があえて困るような質問を浴びせるような項目をシナリオにする。以下では、誘導面接型のシナリオ情報（用語抽出によるシナリオ分岐で実施した場合）と、圧迫面接型のシナリオ情報（返答につまった場合にシナリオ分岐を実施した場合）とを説明する。
【００５２】
誘導面接型のシナリオ情報について説明する。例として説明するシナリオ情報は、企業が欲しい研究分野の研究志願者が多く、研究者を選別する場合に、基礎研究者に求めるスキルと今後の希望とに応じて振り分けるものである。
（Ｓ１）「修士論文の概要を説明してください」との質問情報を端末２へ送信する。
（Ｓ２）端末２から返答を受信する。
（Ｓ３）その返答の中に、企業が取り組む研究テーマ「量子コンピューティング」又は「ＤＮＡ」を含むか否か判定する。ＹＥＳであれば、ポイント情報が＋２点となる。
（Ｓ４）ＹＥＳであれば、基礎研究者としてのスキルの確認として「研究は何を支えに進めてきましたか？」との質問情報を端末２へ送信する。
（Ｓ５）端末２から返答を受信する。
（Ｓ６）その返答の中に、自己を信じて遂行できる忍耐力を有するといったような「自己」の用語を含むか否か判定する。ＹＥＳであれば、ポイント情報が＋２点となる。
（Ｓ７）ＹＥＳであれば、今後の希望を問うために「今後も基礎研究を進めたいと思いますか？」との質問情報を端末２へ送信する。
（Ｓ８）ＮＯであれば、メンバを信じて遂行できるといった「メンバ」を含むか否か判定する。メンバとの協調性よりも個人の追求力を必要とする研究者においては、ＮＯであれば、ポイント情報が＋２点となる。
【００５３】
次に、圧迫面接型のシナリオ情報について説明する。例として説明するシナリオ情報は、志願者が営業を希望している場合に、あえて志願者が返答に窮すると思われる質問を浴びせるようなものである。
（Ｓ９）経理部を希望し且つ経理部員として見込みのある志願者に対してその真意を確かめるべく、あえて希望に反した質問として「営業部に配属になった場合どうしますか？」との質問情報を端末２へ送信する。
（Ｓ１０）ここで沈黙が５秒以上あったか否かを判定する。ＹＥＳであれば、この質問に窮したこととなる。ＮＯであれば、この返答に詰まらずに返答したこととなり、ポイント情報が＋１点となる。
（Ｓ１１）ＮＯであれば、返答を受信する。
（Ｓ１２）その返答の中に、営業部に配属されれば御社の損失になるとして「御社」「損失」の用語を含むか否か判定する。ＹＥＳであれば、見込みのある志願者であるとして、ポイント情報が＋２点となる。
（Ｓ１３）前述の（Ｓ１０）についてＹＥＳであれば、返答を受信する。
（Ｓ１４）このような詰まった場合に、その返答の中に、他の部門でもかまわないか又は他社を選択するような「他社」「他の部」の用語を含むか否か判定する。
（Ｓ１５）ＮＯであれば、切迫した質問を浴びせるために「会社に個人としてどのような貢献ができますか？」との質問情報を端末２へ送信する。
（Ｓ１６）ここで沈黙が５秒以上あったか否かを判定する。ＹＥＳであれば、この質問に窮したこととなる。ＮＯであれば、この返答に詰まらずに返答したこととなり、ポイント情報が＋１点となる。
【００５４】
本発明の対話練習支援方法における各ステップは、計算機に内蔵された記録媒体を用い、ＣＰＵ等の制御手段を用いて実行可能である。また、計算機読み取り可能なプログラムをＣＤ等の記録媒体若しくは通信回線を介してインストールして当該計算機に実行させることもできる。これらプログラムは、主に、インターネットにおける装置の一機能として、装置に搭載されるプログラムによって実現されてもよい。もちろん、これら機能は、端末に搭載されるプログラムによっても実現され、Ｐｅｅｒ−ｔｏ−Ｐｅｅｒ型で利用することもできる。
【００５５】
【発明の効果】
以上、詳細に説明したように、本発明の対話練習支援方法、装置及びプログラムによれば、実際の模擬的な対話練習のように音声及び映像で行われる対話型であって、質問に対する利用者の返答内容及び返答時間等を評価することができる。
【００５６】
また、自分が相手方になったような環境で自己の質疑応答の様子を確認でき、対話時には不適切と思われる言葉を指摘したり、返答に窮する場合を設定するなどして、対話の本番さながらの体験が可能になる。特に、入学、就職等における利用者の受け答えの円滑性及び言葉使いの練習が可能となる。
【００５７】
現在、生涯雇用が保証されない時代になっており、自分を短時間にＰＲできる技術として、巷には、対話克服に関する書物が多数出版されている。本発明によれば、実際の対話に近い類似体験を経験することができる。また、対話練習本に書かれている対話の心得や対話の達人なる人達の知識を織り込むことが可能になり、技術や希望業務のスキル等には実力を有すが、人前で話すことが苦手な者などに、対話練習の機会を与えることものであり、対話関連市場に十分合致したサービスが構築できる。また、この応用として、本システムは、営業プレゼンテーション訓練やビジネスマナー研修に応用でき、そのマーケットは計り知れない。
【図面の簡単な説明】
【図１】本発明におけるシステム構成図である。
【図２】本発明における対話評価装置１の機能構成図である。
【図３】本発明による対話評価装置と端末との間のシーケンス図である。
【図４】本発明における対話評価装置１が、端末２からの音声映像情報を受信した際のフローチャートである。
【図５】本発明における対話評価装置１が、評価録要求メッセージを受信した際のフローチャートである。
【図６】質問情報データベース１２におけるシナリオ情報のフローチャートである。
【符号の説明】
１ 対話評価装置
１１ 音声映像情報データベース、音声映像情報蓄積手段
１２ 質問情報データベース、質問情報蓄積手段
１３ タイムスタンプ部
１４ 音声認識処理部、音声認識処理手段
１５ 対話情報データベース、対話情報蓄積手段
１６ 対話評価部
１７ 評価録生成部、評価録生成手段
１８ 特定用語データベース、特定用語蓄積手段
１９ 通信インタフェース部
２ 端末
２１ マイク
２２ ビデオカメラ
２３ スピーカ
３ インターネット

Claims (10)

1. 端末にインターネットを介して接続された対話練習支援装置において、
   面接官の音声映像情報からなる質問情報に対して、利用者の音声映像情報からなる返答情報に含まれる用語と、該返答情報が受信されるまでの無言時間とによって分岐し、次に送信すべき質問情報を選択するシナリオ情報を含む質問情報蓄積手段と、
   前記シナリオ情報に基づいて前記質問情報を前記端末へ送信する手段と、
   前記端末から受信した前記返答情報を蓄積する音声映像情報蓄積手段と、
   特定用語を蓄積した用語蓄積手段と、
   前記利用者の音声映像情報における音声情報をテキスト情報に変換し、前記特定用語が含まれていればその旨を又は前記無言時間があればその旨を、前記テキスト情報の部分にマーク付けする音声認識処理手段と、
   前記音声認識処理手段によって前記マーク付けされた前記テキスト情報を蓄積する対話情報蓄積手段と、
   前記端末から評価録要求を受信した際に、前記対話情報蓄積手段から前記マーク付けされた部分を抽出する対話評価手段と、
   前記質問情報蓄積手段から抽出した前記質問情報と、前記音声映像情報蓄積手段から抽出した前記返答情報と、前記マーク付けされた部分に前記特定用語が用いられている旨又は前記無言時間がある旨の情報とからなる評価録情報を、前記端末へ送信する評価録生成手段と
   を有することを特徴とする対話練習支援装置。
2. 前記質問情報蓄積手段に蓄積された前記シナリオ情報は、分岐に応じて評価ポイント情報が含まれており、
   前記対話評価手段は、前記シナリオ情報を辿る分岐に応じて前記評価ポイント情報を加算し、
   前記評価録生成手段は、更に前記評価ポイント情報を前記端末へ送信することを特徴とする請求項１に記載の対話練習支援装置。
3. 前記音声認識処理手段は、前記シナリオ情報における分岐の通過統計情報を収集し、該通過統計情報を前記質問情報蓄積手段に蓄積することを特徴とする請求項１又は２に記載の対話練習支援装置。
4. 端末と、該端末にインターネットを介して接続された装置とにおける対話練習支援方法において、
   前記装置は、面接官の音声映像情報からなる質問情報に対して、利用者の音声映像情報からなる返答情報に含まれる用語と、該返答情報が受信されるまでの無言時間とによって分岐し、次に送信すべき質問情報を選択するシナリオ情報を含む質問情報蓄積手段と、特定用語を蓄積した用語蓄積手段とを有しており、
   前記装置が、前記シナリオ情報に基づいて前記質問情報を前記端末へ送信する第１のステップと、
   前記端末が、前記質問情報に対する返答情報を前記装置へ送信する第２のステップと、
   前記装置が、前記返答情報を音声映像情報蓄積手段に蓄積する第３のステップと、
   前記装置が、前記利用者の音声映像情報における音声情報をテキスト情報に変換し、前記特定用語が含まれていればその旨を又は前記無言時間があればその旨を、前記テキスト情報の部分にマーク付けして音声認識処理をする第４のステップと、
   前記装置が、前記音声認識処理手段によって前記マーク付けされた前記テキスト情報を対話情報蓄積手段に蓄積する第５のステップと
   を有し、前記第１から第５のステップを繰返し、
   前記端末が、評価録要求を前記装置へ送信する第６のステップと、
   前記装置が、前記対話情報蓄積手段から前記マーク付けされた部分を抽出する第７のステップと、
   前記装置が、前記質問情報蓄積手段から抽出された前記質問情報と、前記音声映像情報蓄積手段から抽出された前記返答情報と、前記マーク付けされた部分に前記特定用語が用いられている旨又は前記無言時間がある旨の情報とからなる評価録情報を、前記端末へ送信する第８のステップと
   を有することを特徴とする対話練習支援方法。
5. 端末と、該端末にインターネットを介して接続された装置とにおける対話練習支援方法において、
   前記装置は、面接官の音声映像情報からなる質問情報に対して、利用者の音声映像情報からなる返答情報に含まれる用語と、該返答情報が受信されるまでの無言時間とによって分岐し、次に送信すべき質問情報を選択するシナリオ情報を含む質問情報蓄積手段と、特定用語を蓄積した用語蓄積手段とを有しており、
   前記端末も、前記質問情報蓄積手段を有しており、
   前記端末が、前記シナリオ情報に基づいて前記質問情報を利用者に出力し、且つ、該質問情報に対する返答情報を入力することを繰返して、一連の返答情報を収集する第１のステップと、
   前記端末が、前記返答情報を、前記装置へ送信する第２のステップと、
   前記装置が、前記返答情報を音声映像情報蓄積手段に蓄積する第３のステップと、
   前記装置が、前記利用者の音声映像情報における音声情報をテキスト情報に変換し、前記特定用語が含まれていればその旨を又は前記無言時間があればその旨を、前記テキスト情報の部分にマーク付けして音声認識処理をする第４のステップと、
   前記装置が、前記音声認識処理手段によって前記マーク付けされた前記テキスト情報を対話情報蓄積手段に蓄積する第５のステップと
   を有し、
   前記端末が、評価録要求を前記装置へ送信する第６のステップと、
   前記装置が、前記対話情報蓄積手段から前記マーク付けされた部分を抽出する第７のステップと、
   前記装置が、前記質問情報蓄積手段から抽出された前記質問情報と、前記音声映像情報蓄積手段から抽出された前記返答情報と、前記マーク付けされた部分に前記特定用語が用いられている旨又は前記無言時間がある旨の情報とからなる評価録情報を、前記端末へ送信する第８のステップと
   を有することを特徴とする対話練習支援方法。
6. 前記質問情報蓄積手段に蓄積された前記シナリオ情報は、分岐に応じて評価ポイント情報が含まれており、
   前記第５のステップは、前記シナリオ情報を辿る分岐に応じて前記評価ポイント情報を加算し、
   前記第６のステップは、更に前記評価ポイント情報を前記端末へ送信することを特徴とする請求項４又は５に記載の対話練習支援方法。
7. 前記音声認識処理手段は、前記シナリオ情報における分岐の通過統計情報を収集し、該通過統計情報を前記質問情報蓄積手段に蓄積することを特徴とする請求項４から６のいずれか１項に記載の対話練習支援方法。
8. 端末にインターネットを介して接続された装置について機能させる対話練習支援プログラムにおいて、
   面接官の音声映像情報からなる質問情報に対して、利用者の音声映像情報からなる返答情報に含まれる用語と、該返答情報が受信されるまでの無言時間とによって分岐し、次に送信すべき質問情報を選択するシナリオ情報を含む質問情報蓄積手段と、
   前記シナリオ情報に基づいて前記質問情報を前記端末へ送信する手段と、
   前記端末から受信した前記返答情報を蓄積する音声映像情報蓄積手段と、
   特定用語を蓄積した用語蓄積手段と、
   前記利用者の音声映像情報における音声情報をテキスト情報に変換し、前記特定用語が含まれていればその旨を又は前記無言時間があればその旨を、前記テキスト情報の部分にマーク付けする音声認識処理手段と、
   前記音声認識処理手段によって前記マーク付けされた前記テキスト情報を蓄積する対話情報蓄積手段と、
   前記端末から評価録要求を受信した際に、前記対話情報蓄積手段から前記マーク付けされた部分を抽出する対話評価手段と、
   前記質問情報蓄積手段から抽出された前記質問情報と、前記音声映像情報蓄積手段から抽出された前記返答情報と、前記マーク付けされた部分に前記特定用語が用いられている旨又は前記無言時間がある旨の情報とからなる評価録情報を、前記端末へ送信する評価録生成手段と
   してコンピュータを機能させることを特徴とする対話練習支援プログラム。
9. 前記質問情報蓄積手段に蓄積された前記シナリオ情報は、分岐に応じて評価ポイント情報が含まれており、
   前記対話評価手段は、前記シナリオ情報を辿る分岐に応じて前記評価ポイント情報を加算し、
   前記評価録生成手段は、更に前記評価ポイント情報を前記端末へ送信するようにコンピュータを機能させることを特徴とする請求項８に記載の対話練習支援プログラム。
10. 前記音声認識処理手段は、前記シナリオ情報における分岐の通過統計情報を収集し、該通過統計情報を前記質問情報蓄積手段に蓄積するようにコンピュータを機能させることを特徴とする請求項８又は９に記載の対話練習支援プログラム。

Images